CN115730206A - 一种信息处理设备、方法及计算机存储介质 - Google Patents

一种信息处理设备、方法及计算机存储介质 Download PDF

Info

Publication number
CN115730206A
CN115730206A CN202110988139.1A CN202110988139A CN115730206A CN 115730206 A CN115730206 A CN 115730206A CN 202110988139 A CN202110988139 A CN 202110988139A CN 115730206 A CN115730206 A CN 115730206A
Authority
CN
China
Prior art keywords
feature
model
sample
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110988139.1A
Other languages
English (en)
Inventor
徐敬蘅
赵艺宾
章明星
刘彦南
位凯志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN202110988139.1A priority Critical patent/CN115730206A/zh
Publication of CN115730206A publication Critical patent/CN115730206A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种信息处理设备、方法及计算机存储介质,其中,该设备包括:特征存储模块和训练模块;所述特征存储模块用于:存储第一特征数据集合,所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;所述训练模块用于:获取第二训练样本集合,并从所述特征存储模块中获取所述第一特征数据集合,基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型;所述第二训练样本集合中包括多个带标签的样本。

Description

一种信息处理设备、方法及计算机存储介质
技术领域
本申请实施例涉及但不限于信息处理技术领域,尤其涉及一种信息处理设备、方法及计算机存储介质。
背景技术
为了训练出目标模型,需要先获取原始数据,然后对原始数据进行标注,得到带标签的样本,接着通过带标签的样本对初始模型进行训练,得到目标模型。然而,如何高效的得到目标模型是本领域亟需解决的问题。
发明内容
本申请实施例提供一种信息处理设备、方法及计算机存储介质。
本申请实施例提供一种信息处理设备,所述设备包括:特征存储模块和训练模块;
所述特征存储模块用于:存储第一特征数据集合,所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;
所述训练模块用于:获取第二训练样本集合,并从所述特征存储模块中获取所述第一特征数据集合,基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型;所述第二训练样本集合中包括多个带标签的样本。
在一些实施例中,所述训练模块还用于:获取并向所述特征存储模块输出第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
所述特征存储模块还用于:存储所述第二特征数据集合;
所述训练模块还用于:获取第三训练样本集合,并从所述特征存储模块中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合,基于所述第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
在一些实施例中,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
在一些实施例中,所述设备还包括特征转发模块和特征输出模块;
所述特征转发模块用于:从所述特征存储模块的所述第一特征数据集合中获取指定特征数据集合,通过所述特征输出模块输出所述指定特征数据集合;
和/或,
所述特征转发模块用于:接收所述训练模块发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,通过所述特征输出模块输出所述特定特征数据集合。
在一些实施例中,所述设备还包括以下至少之一:数据解析模块、模型预测模块、样本分析模块;
所述数据解析模块用于:获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息;
所述模型预测模块用于:获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果;
所述样本分析模块用于:获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
在一些实施例中,所述设备还包括模型压缩模块;
所述模型压缩模块用于:获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
在一些实施例中,所述设备还包括模型集成模块;
所述模型集成模块用于:获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
在一些实施例中,所述设备还包括模型分析模块;
所述模型分析模块用于:获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息;和/或,
所述模型分析模块用于:分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
在一些实施例中,所述训练模块还用于:获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;从所述特征存储模块存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块中获取与所述模型参数信息匹配的所述第一特征数据集合。
在一些实施例中,所述信息处理设备包括中台和/或后台。
本申请实施例提供一种信息处理方法,应用于信息处理设备,所述方法包括:
获取第二训练样本集合;所述第二训练样本集合中包括多个带标签的样本;
从特征存储模块中获取第一特征数据集合;所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;
基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型。
在一些实施例中,所述方法还包括:
获取第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
向所述特征存储模块发送所述第二特征数据集合;
从所述特征存储模块中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合;
基于获取的第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
在一些实施例中,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
在一些实施例中,所述方法还包括以下至少之一:
从所述特征存储模块的所述第一特征数据集合中获取指定特征数据集合,输出所述指定特征数据集合;
接收所述训练模块发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,输出所述特定特征数据集合。
在一些实施例中,所述方法还包括以下至少之一:
获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息;
获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果;
获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
在一些实施例中,所述方法还包括:
获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;
基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
在一些实施例中,所述方法还包括:
获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;
基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
在一些实施例中,所述方法还包括以下至少之一:
获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息;
分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
在一些实施例中,所述方法还包括:
获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;
从所述特征存储模块存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块中获取与所述模型参数信息匹配的所述第一特征数据集合。
本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述方法中的步骤。
在本申请实施例中,通过训练模块用于获取第二训练样本集合,并从特征存储模块中获取第一特征数据集合,基于第二训练样本集合和第一特征数据集合,训练得到第一目标模型,这样,训练模块在训练得到第一目标模型的时候,能够使用已经进行了特征提取的第一特征数据集合,并采用第一特征数据集合和第二训练样本集合共同训练,在训练过程中无需对第一特征数据集合进行特征提取操作,进而能够减少信息处理设备在得到第一目标模型时的计算量,从而高效的得到第一目标模型。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种信息处理设备的结构示意图;
图2为本申请实施例提供的另一种信息处理设备的结构示意图;
图3为本申请实施例提供的又一种信息处理设备的结构示意图;
图4为本申请实施例提供的一种信息处理方法的结构示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是:在本申请实例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
另外,本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。本申请实施例中的多个可以为至少两个。
图1为本申请实施例提供的一种信息处理设备的结构示意图,如图1所示,信息处理设备10可以包括:特征存储模块11和训练模块12。
所述特征存储模块11用于:存储第一特征数据集合,所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;
所述训练模块12用于:获取第二训练样本集合,并从所述特征存储模块11中获取所述第一特征数据集合,基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型;所述第二训练样本集合中包括多个带标签的样本。
在一些实施例中,信息处理设备10还可以包括:模型输出模块;模型输出模块可以用于接收训练模块12发送的第一目标模型,输出第一目标模型。
在一些实施方式中,特征存储模块11可以包括:特征存储数据库和特征存取处理单元,特征存储数据库用于存储包括第一特征数据集合的特征数据,特征存取处理单元用于从特征存储数据库中读取第一特征数据集合。
第一训练样本集合中可以包括多个第一样本,每一第一样本可以包括以下至少之一:图像、视频、语音、文本、点云数据等。例如,在每一第一样本为图像的情况下,对每一第一样本进行特征提取可以包括:采用一个或多个卷积层以及一个或多个池化层对每一第一样本进行特征提取,或者,采用一个或多个卷积层对每一第一样本进行特征提取。对每一第一样本进行特征提取得到的特征信息,可以是用于输入至全连接层的特征信息,或者经过一个或多个卷积层进行卷积得到的特征信息。
第二训练样本集合中可以包括多个第二样本,每一第二样本可以包括以下至少之一:图像、视频、语音、文本、点云数据等。训练模块12可以对每一第二样本进行特征提取得到特征信息,训练模块12接着可以基于每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签,以及每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签,对初始模型进行训练,得到第一目标模型。
例如,在每一第二样本为图像的情况下,对每一第二样本进行特征提取可以包括:采用一个或多个卷积层以及一个或多个池化层对每一第二样本进行特征提取,或者,采用一个或多个卷积层对每一第二样本进行特征提取。对每一第二样本进行特征提取得到的特征信息,可以是用于输入至全连接层的特征信息,或者经过一个或多个卷积层进行卷积得到的特征信息。
在一些实施方式中,对每一第一样本和每一第二样本进行特征提取得到的特征信息,所采用的一个或多个卷积核可以相同,或者,所采用的一个或多个卷积层以及一个或多个池化层可以相同。在另一些实施方式中,对每一第一样本和每一第二样本进行特征提取得到的特征信息,所采用的一个或多个卷积核可以不同,或者,所采用的一个或多个卷积层以及一个或多个池化层可以不同。
在得到第一目标模型的情况下,训练模块12可以将第一目标模型输出至模型输出模块。在一些实施方式中,模型输出模块可以将模型输出模块存储至模型存储模块,并向显示设备输出第一目标模型的下载链接,以使用户通过触发显示设备上显示的下载链接,下载模型存储模块中的第一目标模型。在另一些实施方式中,模型输出模块可以将第一目标模型输出至显示设备。
模型输出模块可以设置在信息处理设备10的应用程序接口(ApplicationProgramming Interface,API)层。
在一些实施方式中,信息处理设备10可以包括中台和/或后台,显示设备可以是前台。在另一些实施方式中,信息处理设备10可以是任一能够信息处理功能的设备,显示设备可以是任一能够进行显示的设备。信息处理设备10和显示设备可以集成在一起或者分开设置。
在一些实施方式中,信息处理设备10或者显示设备可以包括以下之一或者至少两者的结合:服务器、手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(VirtualReality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端、车联网系统中的车、车载设备、车载模块等等。
在本申请实施例中,通过训练模块12用于获取第二训练样本集合,并从特征存储模块11中获取第一特征数据集合,基于第二训练样本集合和第一特征数据集合,训练得到第一目标模型,这样,训练模块12在训练得到第一目标模型的时候,能够使用已经进行了特征提取的第一特征数据集合,并采用第一特征数据集合和第二训练样本集合共同训练,在训练过程中无需对第一特征数据集合进行特征提取操作,进而能够减少信息处理设备10在得到第一目标模型时的计算量,从而高效的得到第一目标模型。
在一些实施例中,所述训练模块12还用于:获取并向所述特征存储模块11输出第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
所述特征存储模块11还用于:存储所述第二特征数据集合;
所述训练模块12还用于:获取第三训练样本集合,并从所述特征存储模块11中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合,基于所述第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
在一些实施例中,模型输出模块可以用于接收训练模块12发送的第二目标模型,输出第二目标模型。
对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,可以是用于输入至全连接层的特征信息,或者经过一个或多个卷积层进行卷积得到的特征信息。
训练模块12在训练过程中可以得到第二特征数据集合,训练模块12可以向特征存取处理单元输出第二特征数据集合,以使特征存取处理单元向特征存储数据库存储第二特征数据集合。
第三训练样本集合中可以包括多个第三样本,每一第三样本可以包括以下至少之一:图像、视频、语音、文本、点云数据等。训练模块12可以对每一第三样本进行特征提取得到特征信息,训练模块12接着可以基于每一第三样本进行特征提取得到的特征信息,和所述每一第三样本对应的标签,以及目标特征数据集合和目标特征数据集合对应的每一样本对应的标签,对初始模型进行训练,得到第二目标模型。
例如,在每一第三样本为图像的情况下,对每一第三样本进行特征提取可以包括:采用一个或多个卷积层以及一个或多个池化层对每一第三样本进行特征提取,或者,采用一个或多个卷积层对每一第三样本进行特征提取。对每一第三样本进行特征提取得到的特征信息,可以是用于输入至全连接层的特征信息,或者经过一个或多个卷积层进行卷积得到的特征信息。
在一些实施方式中,对每一第一样本和每一第三样本进行特征提取得到的特征信息,所采用的一个或多个卷积核可以相同,或者,所采用的一个或多个卷积层,以及一个或多个池化层可以相同。在另一些实施方式中,对每一第一样本和每一第三样本进行特征提取得到的特征信息,所采用的一个或多个卷积核可以不同,或者,所采用的一个或多个卷积层,以及一个或多个池化层可以不同。
在得到第二目标模型的情况下,训练模块12可以将第二目标模型输出至模型输出模块13。在一些实施方式中,模型输出模块13可以将模型输出模块13存储至模型存储模块,并向显示设备输出第二目标模型的下载链接,以使用户通过触发显示设备上显示的下载链接,下载模型存储模块中的第二目标模型。在另一些实施方式中,模型输出模块13可以将第二目标模型输出至显示设备。
在训练得到的第一目标模型和第二目标模型均用于对输入的数据进行分类的情况下,每一第一样本、第二样本以及第三样本的标签可以为每一第一样本、第二样本以及第三样本的类别。在训练得到的第一目标模型和第二目标模型均用于对输入的数据中的对象进行检测框提取的情况下,每一第一样本、第二样本以及第三样本的标签可以为每一第一样本、第二样本以及第三样本中对象的检测框。在训练得到的第一目标模型和第二目标模型均用于对输入的数据中的对象进行轮廓提取的情况下,每一第一样本、第二样本以及第三样本的标签可以为每一第一样本、第二样本以及第三样本中对象的轮廓。
在一些实施方式中,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
第一提取属性信息和第二提取属性信息可以相同或不同。第一提取属性信息和第二提取属性信息用于表征用于提取特征信息的模型的属性信息。例如,以对图像进行特征提取进行举例,第一提取属性信息和第二提取属性信息可以包括以下至少之一:卷积层的属性信息和/或池化层的属性信息。卷积层的属性信息可以包括卷积层的结构信息和数据信息等。池化层的属性信息可以包括池化方式信息,例如,池化方式信息可以包括一般池化、最大池化或平均池化等。
图2为本申请实施例提供的另一种信息处理设备10的结构示意图,如图2所示,信息处理设备10可以包括:特征存储模块11、训练模块12以及模型输出模块13。
信息处理设备10还可以包括:特征转发模块14和特征输出模块15;在一些实施例中,所述特征转发模块14用于:从所述特征存储模块11的所述第一特征数据集合中获取指定特征数据集合,通过所述特征输出模块15输出所述指定特征数据集合。
在一些实施场景中,用户可以通过显示设备输入需要获得的指定特征数据集合的标识,进而特征转发模块14可以基于指定特征数据集合的标识,从特征存储模块11中获取指定特征数据集合,通过所述特征输出模块15,向显示设备输出所述指定特征数据集合。
在另一些实施场景中,用户可以通过显示设备输入需要获得特征数据的属性信息,例如,特征数据的属性信息可以包括:提取属性信息和样本标签信息;特征转发模块14可以从特征存储模块11中,获取与提取属性信息和样本标签信息匹配的指定特征数据集合,通过所述特征输出模块15,向显示设备输出所述指定特征数据集合。
在一些实施例中,所述特征转发模块14用于:接收所述训练模块12发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,通过所述特征输出模块15输出所述特定特征数据集合。
特征转发模块14还可以将特定特征数据集合和/或相应的提取属性信息,存储到特征存储模块11。
在一些实施场景中,训练模块12可以接收用户通过显示设备输入的特定训练样本集合,特定训练样本集合可以包括带标签的样本集合和/或未带标签的样本集合。在特定训练样本集合中包括带标签的样本集合的情况下,特征转发模块14还可以将特定特征数据集合、相应的样本标签以及相应的提取属性信息中的至少一者,存储至特征存储模块11。
图3为本申请实施例提供的又一种信息处理设备10的结构示意图,如图3所示,信息处理设备10可以包括:特征存储模块11、训练模块12、模型输出模块13、特征转发模块14和特征输出模块15。
信息处理设备还可以包括以下至少之一:数据解析模块16、模型预测模块17、样本分析模块18。
其中,所述数据解析模块16用于:获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息。
待解析数据的属性信息可以包括以下至少之一:文件类型、存储位置信息、文件大小信息、文件创建时间、文件尺寸信息、分辨率信息、帧率信息、码率信息等。
在这种实施场景中,数据解析模块16可以接收显示设备发送的待解析数据。在得到待解析数据的属性信息的情况下,可以向显示设备输出待解析数据的属性信息。
所述模型预测模块17用于:获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果。
在这种实施场景中,模型预测模块17可以接收显示设备发送的待预测数据。在得到待预测数据的预测结果的情况下,可以向显示设备输出待预测数据的预测结果。
在第一目标模型用于对输入的数据进行分类的情况下,待预测数据的预测结果可以包括与待预测数据中每一数据对应的分类结果。在第一目标模型用于对输入的数据中对象进行检测框检测的情况下,待预测数据的预测结果可以包括在待预测数据中每一数据中对象上标识的检测框。在第一目标模型用于对输入的数据中对象进行轮廓检测的情况下,待预测数据的预测结果可以包括在待预测数据中每一数据中对象上标识的轮廓。
在另一些实施方式中,模型预测模块17还可以采用第二目标模型对待预测数据进行预测。第二目标模型和第一目标模型可以是用户通过显示设备输入至模型预测模块17的,或者,可以是模型预测模块17从模型存储模块中获取的。
所述样本分析模块18用于:获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
在这种实施场景中,样本分析模块18可以接收显示设备发送的待分析的样本数据,对待分析的样本数据中的每一带标签的样本数据进行分析,确定每一所述带标签的样本数据中标签的准确性信息,样本分析模块18可以向显示设备输出该每一所述带标签的样本数据中标签的准确性信息。每一所述带标签的样本数据中标签的准确性信息,可以是每一所述带标签的样本数据中标签是否正确,或者,可以是每一所述带标签的样本数据中标签的准确率信息。
在图3所示的实施例中,所述设备还包括模型压缩模块19;所述模型压缩模块19用于:获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
压缩参数可以包括以下至少之一:压缩后模型大小与压缩前模型大小的比值、压缩后的模型大小、压缩方式。压缩方式可以包括以下至少之一:修剪、权重分解、削减精度、共享权重。
在一些实施方式中,模型压缩模块19可以接收用户通过显示设备发送的第一目标模型和设定压缩参数。在另一些实施方式中,模型压缩模块19可以接收用户通过显示设备发送的设定压缩参数,并从模型存储模块中获取第一目标模型。在又一些实施方式中,模型压缩模块19对模型进行压缩时所采用的压缩参数可以是预先配置的。
在一些实施方式中,模型压缩模块19还可以对第二目标模型或者其它模型进行模型压缩。
在一些实施场景中,在训练模块12得到第一目标模型或者第二目标模型的情况下,可以确定第一目标模型或者第二目标模型的大小,在第一目标模型或者第二目标模型的大小大于阈值的情况下,可以向显示设备输出是否压缩的指示信息,以使显示设备可以显示是否对得到的模型进行压缩的选项,在用户选择是的情况下,显示设备可以显示压缩参数的输入区域,以使用户通过输入区域向显示设备输入设定压缩参数,显示设备可以向模型压缩模块19发出以设定压缩参数对第一目标模型和第二目标模型进行压缩的消息,从而模型压缩模块19可以对第一目标模型和第二目标模型继续模型压缩。在模型压缩完成后,可以向显示设备和/或模型存储模块输出压缩后的模型。
在图3所示的实施例中,所述设备还包括模型集成模块20;所述模型集成模块20用于:获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
集成参数可以包括模型集成方法,模型集成方法可以包括:Bagging、Stacking、Adaboost等。
在一些实施方式中,模型集成模块20可以接收用户通过显示设备发送的一个或多个模型,和/或,从模型存储模块中获取一个或多个模型,以得到至少两个模型。至少两个模型中可以包括第一目标模型和/或第二目标模型等。模型集成模块20可以接收显示设备发送的集成参数。在另一些实施方式中,集成参数可以是在模型集成模块20中预先配置的。
在一些实施场景中,显示设备可以显示有多个模型或者多个模型的标识,用户可以对多个模型或者多个模型的标识进行触发,以得到待集成的至少两个模型,并通过显示设备输入集成参数,以使模型集成模块20得到至少两个模型和集成参数。在模型集成模块20对至少两个模型集成完成后,可以向显示设备和/或模型存储模块输出集成后的模型。
在图3所示的实施例中,所述设备还包括模型分析模块21;在一些实施例中,所述模型分析模块21用于:获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息。在一些实施例中,所述模型分析模块21用于:分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
在一些实施例中,所述训练模块12还用于:获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;从所述特征存储模块11存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块11中获取与所述模型参数信息匹配的所述第一特征数据集合。
模型类型信息可以包括以下至少之一:分类模型、检测框模型、分割模型。模型的功能信息可以表征模型所实现的功能,例如,模型功能信息可以包括对图像中的猫狗分类,识别图像中的对象,确定图像中的对象在图像中的且区域信息。分割模型可以包括语义分割模型、全景分割模型或者实例分割模型等。
在本申请实施例中,第一训练样本、第二训练样本、第三训练样本以及第四训练样本中的至少一者,可以是用户通过显示设备输入的,或者可以是从信息处理设备10中包括的样本存储模块中获取的。
样本存储模块中可以包括样本存储数据库和样本存取处理单元,样本存储模块用于存储上述的训练样本,样本存取处理单元用于从样本存储数据库中读取第一训练样本、第二训练样本、第三训练样本以及第四训练样本中的至少一者。
在这这种实施方式中,通过从所述特征存储模块11存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块11中获取与所述模型参数信息匹配的所述第一特征数据集合,从而使得得到的第二训练样本集合和第一特征数据集合,能够与模型参数信息匹配,进而能够根据用户的需求,合理地选择样本数据和特征数据,使得到的第一模型更符合用户的需求。
本申请实施例提供一种基于集群的机器学习训练中台(即上述的信息处理设备10)。该中台以集群为基础,针对不同的数据处理、机器学习模型,提供定制化的功能接口,相关人员进行机器学习相关开发任务时,只需关心部分文件配置信息,无需关心底层数据库、集群交互方式,即可在该集群中台上面高效的完成模型的训练任务。并在上层封装如模型集成、样本分析等更高级API接口。
本申请实施例能够使得各个功能组件之间相互独立,为上层人员提供定制化的功能接口,加快模型训练速度,简化数据处理流程,提高得到目标模型的效率。
在图3所示的实施例中,包含底层的数据区、数据接口、分布式集群、部署优化以及上层API接口。数据区包括样本存储模块和特征存储模块11。
数据接口可以包括样本下载接口、样本上传接口、特征上传接口以及特征下载接口。样本下载接口可以从样本存储模块中下载样本数据,样本上传接口可以向样本存储模块上传样本数据,特征下载接口可以从特征存储模块11下载特征数据,特征上传接口可以向特征存储模块11上传特征数据。
分布式集群可以包括训练模块12和特征转发模块14。训练模块12可以包括一个或多个训练设备的集成。特征转发单元可以包括一个或多个设备的集成。
部署优化可以包括模型压缩模块19、模型集成模块20以及模型分析模块21。
API接口可以包括:数据解析模块16、特征提取模块、模型预测模块17以及样本分析模块18。
数据区可以提供原始样本、机器学习的特征数据的存储,数据区需要的硬盘资源较大,可以确定数据库存放样本、特征的硬盘存放地址,在使用时可以通过数据库查询对应的数据存放位置,然后从存放位置读取对应的数据。数据区包括:用于存储原始训练样本的样本存储区,以及提取的中间特征存放位置的特征存储区。本申请实施例中的中间特征可以是指用于输入至全连接层的特征,或者经过一个或多个卷积层进行卷积得到的特征。
数据接口可以提供给集群读取数据的功能,主要包括样本的下载上传、以及特征的下载上传接口,相互独立,可同时结合使用。例如,样本接口和特征接口可以同时工作而不会相互影响。数据接口包括:原始样本、特征数据上传与下载的数据库接口。
本申请实施例考虑到模型训练与特征上传之间的冲突性,以及新增样本的持续性,设计了两块独立的集群,即训练模块12和特征转发模块14,从而能够防止上传任务与训练任务的冲突,使得二者可同时进行。分布式集群包括:用于完成模型训练、预测任务的训练集群(对应上述的训练模块12)和用于完成特征上传任务的上传集群(对应上述的特征转发模块14)。
在部署优化的部分,可以提供模型压缩模块19、模型集成模块20、以及模型分析模块21,可对模型占用内存,模型效果等进一步优化。部署优化用于提供压缩、集成、模型分析算法实现不同环境下模型的按需部署。
在API接口的部分提供对应功能模块的接口,如数据解析模块16、特征提取模块、模型预测模块17、样本分析模块18,从而简化了数据处理、样本分析流程,实现底层处理的自动化。API接口用于训练、分析流程的上层接口,根据部分配置文件实现自动化处理。
在图3所示的实施例中,各模块之间可以通过VS组网的方式关联。
相关技术中的机器学习开发流程涉及到过多的数据处理步骤,而在机器学习算法本身花费的时间相对较少。本发明通过构建一个机器学习中台,将功能模块接口化、数据处理透明化,用户只需关心使用哪些数据、训练基本流程,直接调用相关功能模块即可完成特征处理、模型训练、样本分析,有效提高得到模型的效率。
本申请实施例通过提供一种基于集群的机器学习训练中台架构,通过对底层组件透明化、功能接口低耦合化,支持更加灵活、高效的得到模型流程。
图4为本申请实施例提供的一种信息处理方法的结构示意图,如图4所示,该方法应用于信息处理设备,所述方法包括:
S401、获取第二训练样本集合;所述第二训练样本集合中包括多个带标签的样本。
S402、从特征存储模块中获取第一特征数据集合;所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签。
在一些实施方式中,特征存储模块可以设置于信息处理设备之内。在另一些实施方式中,特征存储模块可以设置于信息处理设备之外,与信息处理设备独立设置。
S403、基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型。
在一些实施例中,所述方法还包括:
获取第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
向所述特征存储模块发送所述第二特征数据集合;
从所述特征存储模块中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合;
基于获取的第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
本实施例中的步骤可以是在得到第一目标模型之后执行的。
在一些实施例中,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
在一些实施例中,所述方法还包括以下至少之一:
从所述特征存储模块的所述第一特征数据集合中获取指定特征数据集合,输出所述指定特征数据集合;
接收所述训练模块发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,输出所述特定特征数据集合。
在一些实施例中,所述方法还包括以下至少之一:
获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息;
获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果;
获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
在一些实施例中,所述方法还包括:
获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;
基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
在一些实施例中,所述方法还包括:
获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;
基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
在一些实施例中,所述方法还包括以下至少之一:
获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息;
分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
在一些实施例中,所述方法还包括:
获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;
从所述特征存储模块存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块中获取与所述模型参数信息匹配的所述第一特征数据集合。
本申请实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的信息处理方法的步骤。
以上信息处理方法和计算机存储介质实施例的描述,与上述信息处理设备实施例的描述是类似的,具有同信息处理设备实施例相似的有益效果。对于本申请信息处理方法和计算机存储介质实施例中未披露的技术细节,请参照本申请信息处理设备实施例的描述而理解。
本申请实施例中信息处理设备执行上述信息处理方法中的步骤,可以是信息处理设备中的各个相关模块或各个模型的处理器执行上述信息处理方法中的步骤,或者,可以是处理器或芯片执行上述信息处理方法中的步骤。
本申请实施例的每一模块、处理器或芯片可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的每一模块、处理器或芯片可以包括以下任一个或多个的集成:特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital SignalProcessing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central ProcessingUnit,CPU)、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(neural-network processing units,NPU)、控制器、微控制器、微处理器。可以实现或者执行本申请实施例中的公开的各个实施例。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述实施例。
可以理解,本申请实施例中的计算机存储介质、特征存储模块、样本存储模块、特征存储数据库或者样本存储数据库可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct RambusRAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,上述计算机存储介质、特征存储模块、样本存储模块、特征存储数据库或者样本存储数据库为示例性但不是限制性说明,例如,本申请实施例中的计算机存储介质、特征存储模块、样本存储模块、特征存储数据库或者样本存储数据库还可以是静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)等等。也就是说,本申请实施例中的特征存储模块、样本存储模块、特征存储数据库或者样本存储数据库旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施方式”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施方式”或“一些实施例”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和电路,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个电路实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的电路实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的设备实施例。
本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
值得注意的是,本申请实施例中的附图只是为了说明各个器件位置的示意位置,并不代表在相互之间的真实位置,各器件或各个区域的真实位置可根据实际情况(例如,终端设备的结构)作出相应改变或偏移,并且,图中的终端设备中不同部分的比例并不代表真实的比例。
在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种信息处理设备,其特征在于,所述设备包括:特征存储模块和训练模块;
所述特征存储模块用于:存储第一特征数据集合,所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;
所述训练模块用于:获取第二训练样本集合,并从所述特征存储模块中获取所述第一特征数据集合,基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型;所述第二训练样本集合中包括多个带标签的样本。
2.根据权利要求1所述的信息处理设备,其特征在于,
所述训练模块还用于:获取并向所述特征存储模块输出第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
所述特征存储模块还用于:存储所述第二特征数据集合;
所述训练模块还用于:获取第三训练样本集合,并从所述特征存储模块中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合,基于所述第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
3.根据权利要求2所述的信息处理设备,其特征在于,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
4.根据权利要求1至3任一项所述的信息处理设备,其特征在于,所述设备还包括特征转发模块和特征输出模块;
所述特征转发模块用于:从所述特征存储模块的所述第一特征数据集合中获取指定特征数据集合,通过所述特征输出模块输出所述指定特征数据集合;
和/或,
所述特征转发模块用于:接收所述训练模块发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,通过所述特征输出模块输出所述特定特征数据集合。
5.根据权利要求1至3任一项所述的信息处理设备,其特征在于,所述设备还包括以下至少之一:数据解析模块、模型预测模块、样本分析模块;
所述数据解析模块用于:获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息;
所述模型预测模块用于:获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果;
所述样本分析模块用于:获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
6.根据权利要求1至3任一项所述的信息处理设备,其特征在于,所述设备还包括模型压缩模块;
所述模型压缩模块用于:获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
7.根据权利要求1至3任一项所述的信息处理设备,其特征在于,所述设备还包括模型集成模块;
所述模型集成模块用于:获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
8.根据权利要求1至3任一项所述的信息处理设备,其特征在于,所述设备还包括模型分析模块;
所述模型分析模块用于:获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息;和/或,
所述模型分析模块用于:分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
9.根据权利要求1至3任一项所述的信息处理设备,其特征在于,
所述训练模块还用于:获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;从所述特征存储模块存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块中获取与所述模型参数信息匹配的所述第一特征数据集合。
10.一种信息处理方法,其特征在于,应用于信息处理设备,所述方法包括:
获取第二训练样本集合;所述第二训练样本集合中包括多个带标签的样本;
从特征存储模块中获取第一特征数据集合;所述第一特征数据集合包括:对第一训练样本集合中每一第一样本进行特征提取得到的特征信息,和所述每一第一样本对应的标签;
基于所述第二训练样本集合和所述第一特征数据集合,训练得到第一目标模型。
11.根据权利要求10所述的信息处理方法,其特征在于,所述方法还包括:
获取第二特征数据集合;所述第二特征数据集合包括:对所述第二训练样本集合中每一第二样本进行特征提取得到的特征信息,和所述每一第二样本对应的标签;
向所述特征存储模块发送所述第二特征数据集合;
从所述特征存储模块中的所述第一特征数据集合和所述第一特征数据集合中,获取目标特征数据集合;
基于获取的第三训练样本集合以及所述目标特征数据集合,训练得到第二目标模型;所述第三训练样本集合中包括多个带标签的样本。
12.根据权利要求11所述的信息处理方法,其特征在于,所述第一特征数据集合还包括第一提取属性信息;所述第二特征数据集合还包括第二提取属性信息。
13.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括以下至少之一:
从所述特征存储模块的所述第一特征数据集合中获取指定特征数据集合,输出所述指定特征数据集合;
接收所述训练模块发送的对与特定训练样本集合进行特征提取得到的特定特征数据集合,输出所述特定特征数据集合。
14.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括以下至少之一:
获取待解析数据,对所述待解析数据进行解析,确定并输出所述待解析数据的属性信息;
获取待预测数据和所述第一目标模型,采用所述第一目标模型对所述待预测数据进行预测,确定并输出所述待预测数据的预测结果;
获取待分析的样本数据,对所述待分析的样本数据进行分析,确定并输出所述待分析的样本数据的分析结果;所述待分析的样本数据包括至少一个带标签的样本数据;所述分析结果包括每一所述带标签的样本数据中标签的准确性信息。
15.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括:
获取所述第一目标模型和与所述第一目标模型对应的设定压缩参数;
基于所述设定压缩参数对所述第一目标模型进行压缩,确定并输出压缩后的模型。
16.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括:
获取至少两个模型和用于对所述至少两个模型进行集成的集成参数;
基于所述集成参数对所述至少两个模型进行集成,确定并输出集成后的模型。
17.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括以下至少之一:
获取所述第一目标模型和用于训练得到所述第一目标模型的多个特征信息;分别确定并输出所述多个特征信息在训练所述目标模型时的重要性信息;
分析并输出至少两个同种类型的模型分别对应的准确率、精度、召回率中的至少之一。
18.根据权利要求10至12任一项所述的信息处理方法,其特征在于,所述方法还包括:
获取模型参数信息和第四训练样本集合;所述模型参数信息包括以下至少之一:模型类型信息、模型的功能信息、模型的应用场景信息;
从所述特征存储模块存储的第四训练样本中确定与所述模型参数信息匹配的所述第二训练样本集合,并从所述特征存储模块中获取与所述模型参数信息匹配的所述第一特征数据集合。
19.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求10至18任一项所述方法中的步骤。
CN202110988139.1A 2021-08-26 2021-08-26 一种信息处理设备、方法及计算机存储介质 Pending CN115730206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988139.1A CN115730206A (zh) 2021-08-26 2021-08-26 一种信息处理设备、方法及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988139.1A CN115730206A (zh) 2021-08-26 2021-08-26 一种信息处理设备、方法及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115730206A true CN115730206A (zh) 2023-03-03

Family

ID=85289738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988139.1A Pending CN115730206A (zh) 2021-08-26 2021-08-26 一种信息处理设备、方法及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115730206A (zh)

Similar Documents

Publication Publication Date Title
US11822600B2 (en) Content tagging
EP3559804B1 (en) Vision intelligence management for electronic devices
US10885099B1 (en) Systems and methods for presenting image classification results
CN110008808B (zh) 全景分割方法、装置和系统及存储介质
CN113453040B (zh) 短视频的生成方法、装置、相关设备及介质
US10664721B1 (en) Systems and methods for generating graphical user interfaces
CN110378410B (zh) 多标签场景分类方法、装置及电子设备
US11562179B2 (en) Artificial intelligence system for inspecting image reliability
CN112328823A (zh) 多标签分类模型的训练方法、装置、电子设备及存储介质
US11087140B2 (en) Information generating method and apparatus applied to terminal device
AU2019361220B2 (en) Augmented reality system and method
CN113168403A (zh) 设备消息框架
US20200210754A1 (en) Cloud device, terminal device, and method for classifyiing images
CN112328888A (zh) 信息推荐方法、装置、服务器及存储介质
CN114257816A (zh) 一种点云媒体的数据处理方法、装置、设备及存储介质
CN107665232A (zh) 检测类似应用的方法及其适配的电子装置
CN114220076A (zh) 多目标检测方法、装置及其应用
CN113496208A (zh) 视频的场景分类方法及装置、存储介质、终端
CN114650167A (zh) 一种异常检测方法、装置、设备及计算机可读存储介质
WO2021185184A1 (zh) 内容推荐方法、装置、电子设备和存储介质
CN115730206A (zh) 一种信息处理设备、方法及计算机存储介质
CN114782780A (zh) 数据集构建方法、装置以及电子设备
CN108536343B (zh) 控件展示方法、装置、终端及存储介质
CN116524330B (zh) 嵌入式图像识别模型运行管理方法、系统和图像识别装置
CN113011580B (zh) 一种嵌入表征的处理方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination