CN114357875A - 基于机器学习的智能数据处理系统 - Google Patents
基于机器学习的智能数据处理系统 Download PDFInfo
- Publication number
- CN114357875A CN114357875A CN202111618877.3A CN202111618877A CN114357875A CN 114357875 A CN114357875 A CN 114357875A CN 202111618877 A CN202111618877 A CN 202111618877A CN 114357875 A CN114357875 A CN 114357875A
- Authority
- CN
- China
- Prior art keywords
- learning
- parameter
- data processing
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明涉及一种基于机器学习的智能数据处理系统,该系统包括设置模块,用以设置若干个学习周期;构建模块,用以构建学习模型并在每个学习周期内利用学习模型进行数据输入以及输出数据处理结果,学习模型包括至少两个参数元;采集模块,用以在学习周期内采集环境参数,将环境参数输入至学习模型内;比较模块,用以在获取历史学习周期内的任意多个学习周期内的数据处理结果的均值与当前的数据处理结果进行比较,获取比较结果,处理模块根据比较结果调整采集模块的采集策略以及构建模块内的参数元的数量。通过在后续的学习周期内学习模型的选择更为准确,实现学习模型的不断修正,进而不断提高数据处理的精度,提高数据处理准确性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于机器学习的智能数据处理系统。
背景技术
在信息技术高速发展的今天,所产生的数据信息量不断增加,随之产生了海量数据的处理问题,因此需要有更快的信息数据处理速度才能够对海量信息数据进行处理。
机器学习是一门涉及多个领域的交叉学科,包括统计学、算法和概率学等,在大规模数据中,机器学习能够在异构数据中进行规律总结,找到不同数据之间的联系,从而实现对数据的深度挖掘。通常机器学习在进行数据处理时要对已有数据进行分类形成多个数据集,然后通过模型构建完成对每个数据集的数据的回归分析,然后将各个数据集的分析结果进行聚类,进而完成对已有数据的数据分析。
但是基于现有的机器学习对于已有数据的处理方法单一,准确性较低,对于实际缺乏指导意义。
发明内容
为此,本发明提供一种基于机器学习的智能数据处理系统,可以解决现有技术中的数据处理方法准确性低的技术问题。
为实现上述目的,本发明提供一种基于机器学习的智能数据处理系统,包括:
设置模块,用以设置若干个学习周期,每个学习周期的时间长度是相同的;
构建模块,用以构建学习模型并在每个学习周期内利用所述学习模型进行数据输入以及输出数据处理结果,所述学习模型包括至少两个参数元;
采集模块,用以在学习周期内采集环境参数,将所述环境参数输入至学习模型内,利用所述学习模型内的参数元对环境参数进行处理,获取在当前学习周期内的数据处理结果;
比较模块,用以在获取历史学习周期内的任意多个学习周期内的数据处理结果的均值与当前的数据处理结果进行比较,获取比较结果,在所述比较模块内对于数据处理结果的数据量进行检测,获取实际数据量D,在对历史学习周期内的数据处理结果的均值进行获取时,若设置第一历史学习周期、第二历史学习周期以及第三历史学习周期,且第一历史学习周期的处理结果的数据量为D1、第二历史学习周期的处理结果的数据量为D2、第三历史学习周期的处理结果的数据量为D3,在计算历史学习周期内的数据处理结果的均值DA则为DA=(D1+D2+D3)/3,在进行比较时,存在实际数据量D>DA、D=DA和D=DA三种比较结果;
处理模块,分别与所述采集模块、构建模块和比较模块连接,所述处理模块根据比较结果调整采集模块的采集策略以及所述构建模块内的参数元的数量。
进一步地,当实际数据量D>处理结果的均值DA时,则在下一学习周期内增加采集策略和/或增加参数元的数量;
当实际数据量D<处理结果的均值DA时,则在下一学习周期内降低采集策略和/或降低参数元的数量;
当实际数据量D=处理结果的均值DA时,则将当前学习周期内的采集策略以及参数元的数量应用在下一学习周期内。
进一步地,在下一学习周期内增加采集策略时,处理模块预先设置有若干采集策略,每个采集策略对应一个关键词,在进行数据采集时,采集与所述关键词匹配的数据,设置处理模块内的关键词的标准数量为n0,在处理模块内还设置有第一调整系数k1、第二调整系数k2和第三调整系数k3,处理模块在进行增加采集策略时,若1.2×DA≥实际数据量D>DA,则处理模块选择第一调整系数k1对关键词的标准数量进行增加;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块选择第二调整系数k2对关键词的标准数量进行增加;
若实际数据量D>1.5×DA,则处理模块选择第三调整系数k3对关键词的标准数量进行增加;
增加后的关键词的数量为ni=n0×(1+ki),其中i=1,2,3,并且ni为整数,n0为整数,且0<k1<k2<k3<1,并且当ni计算时不为整数时采用向上取整。
进一步地,第一调整系数k1=(D-DA)/D;
第二调整系数k2=(D-0.8×DA)/D;
第三调整系数k3=(D-0.5×DA)/D。
进一步地,在下一学习周期内增加参数元的数量时,设置原学习模型内的参数元的数量为X个,若1.2×DA≥实际数据量D>DA,则处理模块将学习模型内的参数元增加至原来的2倍,增加之后的参数元的数量为2×X;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块将学习模型内的参数元增加至原来的5倍,增加之后的参数元的数量为5×X;
若实际数据量D>1.5×DA,则处理模块将学习模型内的参数元增加至原来的8倍,增加之后的参数元的数量为8×X;
每个学习模型内的参数元均设置有极限数量Xmax,若调整后的参数元的数量≥极限数量Xmax,则将参数元的数量调整为极限数量Xmax。
进一步地,所述极限数量Xmax为100。
进一步地,在下一学习周期内降低采集策略时,在处理模块内设置有标准差值ΔD0,将处理结果的均值DA与D的实际差值设置为ΔD,若实际差值ΔD≤标准差值ΔD0,则采用第一参数α1降低关键词中关键字的耦合关系;
若实际差值ΔD>标准差值ΔD0,则采用第二参数α2降低关键词中关键字的耦合关系,其中第一参数α1+第二参数α2=1,且第一参数α1<第二参数α2。
进一步地,所述第一参数α1=k1/(k1+k2+k3);
所述第二参数α2=(k2+k3)/(k1+k2+k3)。
进一步地,在下一学习周期内降低参数元的数量时,若0.8×DA≥实际数据量D<DA,则处理模块将学习模型内的参数元的降幅调整为原来的0.2倍,降低之后的参数元的数量为0.8×X;
若0.5×DA≤实际数据量D<0.8×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.5倍,降低之后的参数元的数量为0.5×X;
若实际数据量D<0.5×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.8倍,降低之后的参数元的数量为0.2×X;
每个学习模型内的参数元均设置有极值数量Xmin,若调整后的参数元的数量≤极值数量Xmin,则将参数元的数量调整为极值数量Xmin。
进一步地,在任意学习周期内,所述环境参数为图像数据中的参数,所述学习模型为卷积神经网络,所述参数元为对于任意参数的迭代次数,所述数据处理结果为基于所述图像数据经过处理之后的简要图像中的直接获取数据量。
与现有技术相比,本发明的有益效果在于,通过设置学习周期,并且根据历史学习周期内对于数据处理结果的数据量的均值与当前学习周期内的数据量进行比较,并根据比较结果去调整下一学习周期内的采集模块的采集策略以及所述构建模块内的参数元的数量,使得下一学习周期内的数据处理结果更符合在学习周期内的数据处理的趋势,使得利用同一学习模型进行处理的数据的处理结果更为统一,也使得在后续的学习周期内学习模型的选择更为准确,实现学习模型的不断修正,进而不断提高数据处理的精度,提高数据处理准确性。
尤其,通过在实际数据量D>处理结果的均值DA时,表示当前的数据处理结果中的数据量多于历史数据均值,此时需要在下一学习周期内,增加采集策略,实现对环境参数的有效筛选,剔除更多的冗余数据,或者,增加参数元的数量,使得经过学习模型进行处理的数据结果的数据量有效降低,进而在下一周期内实现数据处理结果中的数据量的有效降低,相反,若实际数据量D<处理结果的均值DA时,表示当前的数据处理结果中的数据量低于历史数据均值,则在下一学习周期内降低采集策略和/或降低参数元的数量来提高数据处理结果中的数据量,使得数据处理结果的准确性更高。
尤其,通过当前学习周期内的数据处理结果的实际数据量的判定,确定在进行数据采集以及学习模型内的参数的有效性和合理性进行推断,若是当前周期内的数据处理结果的实际数据量与历史周期内的数据处理结果数据量的均值相等,则表示采集的数据体量是合适的,采用学习模型中的参数元也是合适的,因此在下一学习周期内,为了保证数据处理结果的数据量的偏差较小,因此要延续该学子周期内的数据采集策略以及学习模型中的参数元,保证不改变,使得数据处理结果中的数据量保持稳定,提高数据处理的效率
尤其,通过在进行对采集策略中的关键字的设置数量进行调整,实现对输入学习模型内的参数的数量进行有效地调整,若是增加关键字的设置数量,则输入学习模型内的所采集的数据进行有效筛选,使得进入学习模型内的数据的准确性更好,经过学习模型处理后的数据处理结果的数据量更为精确,进一步提供数据处理的效率,也使得数据处理的结果更为精准。
尤其,通过设置第一调整系数、第二调整系数和第三调整系数,且各调整系数采用与实际数据量和数据量均值有关,如此基于实际数据量对于关键词的数量进行调整更为精准,便于对学习模型的输入进行有效调整,提高调整效率,并且调整后的输入数据以及学习模型处理后的数据的精准性更高。
尤其,通过学习模型中的参数元的数量进行调整,使得学习模型在进行数据处理时,能够对于数据处理结果的体量进行高效调整,使得数据处理结果的数据量符合学习周期内的数据趋势,提高数据处理的精确性。
尤其,通过降低采集策略时,利用第一参数和第二参数来降低关键词中关键字的耦合关系,在实际应用中每个采集策略均设置有关键词,但每个关键词均设置有至少两个关键字,而关键字之间是否存在耦合关系,还是关键字之间还是不存在耦合关系,只是独立存在,在实际应用中关键词中的关键字是存在耦合关系的,这种耦合关系可以是基于字义,还可能是关键字在关键词中所起的作用等,但是本发明实施例通过降低这种耦合关系,使得关键词中的关键字的耦合关系降低,进而采用若干关键字来进行数据信息的筛选,使得输入的数据信息的体量大大提升,使得进入学习模型内的数据量增加,进而增加了经过学习模型进行数据处理的处理结果的数据量,使得数据处理结果的数据量满足各学习周期内的趋势,进一步提高数据处理的精度。
尤其,通过处理模块将学习模型内的参数元的降幅进行不同程度的调整,实现对于下一学习周期内降低参数元的数量的精准确定,进而使得对于数据处理结果的数据量符合各学习周期内的数据处理结果的数据量,进而有效控制数据处理的精准性。
附图说明
图1为本发明实施例提供的基于机器学习的智能数据处理系统的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,本发明实施例提供的基于机器学习的智能数据处理系统,包括:
设置模块10,用以设置若干个学习周期,每个学习周期的时间长度是相同的;
构建模块20,用以构建学习模型并在每个学习周期内利用所述学习模型进行数据输入以及输出数据处理结果,所述学习模型包括至少两个参数元;
采集模块30,用以在学习周期内采集环境参数,将所述环境参数输入至学习模型内,利用所述学习模型内的参数元对环境参数进行处理,获取在当前学习周期内的数据处理结果;
比较模块40,用以在获取历史学习周期内的任意多个学习周期内的数据处理结果的均值与当前的数据处理结果进行比较,获取比较结果,在所述比较模块内对于数据处理结果的数据量进行检测,获取实际数据量D,在对历史学习周期内的数据处理结果的均值进行获取时,若设置第一历史学习周期、第二历史学习周期以及第三历史学习周期,且第一历史学习周期的处理结果的数据量为D1、第二历史学习周期的处理结果的数据量为D2、第三历史学习周期的处理结果的数据量为D3,在计算历史学习周期内的数据处理结果的均值DA则为DA=(D1+D2+D3)/3,在进行比较时,存在实际数据量D>DA、D=DA和D=DA三种比较结果;
处理模块50,分别与所述采集模块、构建模块和比较模块连接,所述处理模块根据比较结果调整采集模块的采集策略以及所述构建模块内的参数元的数量。
具体而言,本发明实施例通过设置学习周期,并且根据历史学习周期内对于数据处理结果的数据量的均值与当前学习周期内的数据量进行比较,并根据比较结果去调整下一学习周期内的采集模块的采集策略以及所述构建模块内的参数元的数量,使得下一学习周期内的数据处理结果更符合在学习周期内的数据处理的趋势,使得利用同一学习模型进行处理的数据的处理结果更为统一,也使得在后续的学习周期内学习模型的选择更为准确,实现学习模型的不断修正,进而不断提高数据处理的精度,提高数据处理准确性。
具体而言,当实际数据量D>处理结果的均值DA时,则在下一学习周期内增加采集策略和/或增加参数元的数量;
当实际数据量D<处理结果的均值DA时,则在下一学习周期内降低采集策略和/或降低参数元的数量。
具体而言,本发明实施例通过在实际数据量D>处理结果的均值DA时,表示当前的数据处理结果中的数据量多于历史数据均值,此时需要在下一学习周期内,增加采集策略,实现对环境参数的有效筛选,剔除更多的冗余数据,或者,增加参数元的数量,使得经过学习模型进行处理的数据结果的数据量有效降低,进而在下一周期内实现数据处理结果中的数据量的有效降低,相反,若实际数据量D<处理结果的均值DA时,表示当前的数据处理结果中的数据量低于历史数据均值,则在下一学习周期内降低采集策略和/或降低参数元的数量来提高数据处理结果中的数据量,使得数据处理结果的准确性更高。
具体而言,当实际数据量D=处理结果的均值DA时,则将当前学习周期内的采集策略以及参数元的数量应用在下一学习周期内。
具体而言,本发明实施例通过当前学习周期内的数据处理结果的实际数据量的判定,确定在进行数据采集以及学习模型内的参数的有效性和合理性进行推断,若是当前周期内的数据处理结果的实际数据量与历史周期内的数据处理结果数据量的均值相等,则表示采集的数据体量是合适的,采用学习模型中的参数元也是合适的,因此在下一学习周期内,为了保证数据处理结果的数据量的偏差较小,因此要延续该学子周期内的数据采集策略以及学习模型中的参数元,保证不改变,使得数据处理结果中的数据量保持稳定,提高数据处理的效率。
具体而言,在下一学习周期内增加采集策略时,处理模块预先设置有若干采集策略,每个采集策略对应一个关键词,在进行数据采集时,采集与所述关键词匹配的数据,设置处理模块内的关键词的标准数量为n0,在处理模块内还设置有第一调整系数k1、第二调整系数k2和第三调整系数k3,处理模块在进行增加采集策略时,若1.2×DA≥实际数据量D>DA,则处理模块选择第一调整系数k1对关键词的标准数量进行增加;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块选择第二调整系数k2对关键词的标准数量进行增加;
若实际数据量D>1.5×DA,则处理模块选择第三调整系数k3对关键词的标准数量进行增加;
增加后的关键词的数量为ni=n0×(1+ki),其中i=1,2,3,并且ni为整数,n0为整数,且0<k1<k2<k3<1,并且当ni计算时不为整数时采用向上取整。
具体而言,本发明实施例通过在进行对采集策略中的关键字的设置数量进行调整,实现对输入学习模型内的参数的数量进行有效地调整,若是增加关键字的设置数量,则输入学习模型内的所采集的数据进行有效筛选,使得进入学习模型内的数据的准确性更好,经过学习模型处理后的数据处理结果的数据量更为精确,进一步提供数据处理的效率,也使得数据处理的结果更为精准。
具体而言,第一调整系数k1=(D-DA)/D;
第二调整系数k2=(D-0.8×DA)/D;
第三调整系数k3=(D-0.5×DA)/D。
具体而言,本发明实施例通过设置第一调整系数、第二调整系数和第三调整系数,且各调整系数采用与实际数据量和数据量均值有关,如此基于实际数据量对于关键词的数量进行调整更为精准,便于对学习模型的输入进行有效调整,提高调整效率,并且调整后的输入数据以及学习模型处理后的数据的精准性更高。
具体而言,在下一学习周期内增加参数元的数量时,设置原学习模型内的参数元的数量为X个,若1.2×DA≥实际数据量D>DA,则处理模块将学习模型内的参数元增加至原来的2倍,增加之后的参数元的数量为2×X;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块将学习模型内的参数元增加至原来的5倍,增加之后的参数元的数量为5×X;
若实际数据量D>1.5×DA,则处理模块将学习模型内的参数元增加至原来的8倍,增加之后的参数元的数量为8×X;
每个学习模型内的参数元均设置有极限数量Xmax,若调整后的参数元的数量≥极限数量Xmax,则将参数元的数量调整为极限数量Xmax。
具体而言,本发明实施例通过学习模型中的参数元的数量进行调整,使得学习模型在进行数据处理时,能够对于数据处理结果的体量进行高效调整,使得数据处理结果的数据量符合学习周期内的数据趋势,提高数据处理的精确性。
具体而言,所述极限数量Xmax为100。
具体而言,本发明实施例通过设置极限数量,使得每个学习模型内的参数元均需要在100以内,使得学习模型在进行数据迭代过程中是收敛的,对数据处理的时间进行有效控制,进而对于数据处理的有效性进行控制,使得数据处理的精准度大大提高,也进一步对数据处理的过程进行有效控制。
具体而言,在下一学习周期内降低采集策略时,在处理模块内设置有标准差值ΔD0,将处理结果的均值DA与D的实际差值设置为ΔD,若实际差值ΔD≤标准差值ΔD0,则采用第一参数α1降低关键词中关键字的耦合关系;
若实际差值ΔD>标准差值ΔD0,则采用第二参数α2降低关键词中关键字的耦合关系,其中第一参数α1+第二参数α2=1,且第一参数α1<第二参数α2。
具体而言,本发明实施例通过降低采集策略时,利用第一参数和第二参数来降低关键词中关键字的耦合关系,在实际应用中每个采集策略均设置有关键词,但每个关键词均设置有至少两个关键字,而关键字之间是否存在耦合关系,还是关键字之间还是不存在耦合关系,只是独立存在,在实际应用中关键词中的关键字是存在耦合关系的,这种耦合关系可以是基于字义,还可能是关键字在关键词中所起的作用等,但是本发明实施例通过降低这种耦合关系,使得关键词中的关键字的耦合关系降低,进而采用若干关键字来进行数据信息的筛选,使得输入的数据信息的体量大大提升,使得进入学习模型内的数据量增加,进而增加了经过学习模型进行数据处理的处理结果的数据量,使得数据处理结果的数据量满足各学习周期内的趋势,进一步提高数据处理的精度。
具体而言,所述第一参数α1=k1/(k1+k2+k3);
所述第二参数α2=(k2+k3)/(k1+k2+k3)。
具体而言,本发明实施例通过对于第一参数和第二参数的计算方式进行界定,使得第一参数和第二参数的计算过程更为简单,便于提高数据处理的效率,另外采用第一调整系数、第二调整系数以及第三调整系数来表示第一参数和第二参数,使得第一参数和第二参数的计算方法更符合实际数据处理需要,使得对于数据处理结果的精准性进一步提高。
具体而言,在下一学习周期内降低参数元的数量时,若0.8×DA≥实际数据量D<DA,则处理模块将学习模型内的参数元的降幅调整为原来的0.2倍,降低之后的参数元的数量为0.8×X;
若0.5×DA≤实际数据量D<0.8×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.5倍,降低之后的参数元的数量为0.5×X;
若实际数据量D<0.5×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.8倍,降低之后的参数元的数量为0.2×X;
每个学习模型内的参数元均设置有极值数量Xmin,若调整后的参数元的数量≤极值数量Xmin,则将参数元的数量调整为极值数量Xmin。
具体而言,本发明实施例通过处理模块将学习模型内的参数元的降幅进行不同程度的调整,实现对于下一学习周期内降低参数元的数量的精准确定,进而使得对于数据处理结果的数据量符合各学习周期内的数据处理结果的数据量,进而有效控制数据处理的精准性。
具体而言,在任意学习周期内,所述环境参数为图像数据中的参数,所述学习模型为卷积神经网络,所述参数元为对于任意参数的迭代次数,所述数据处理结果为基于所述图像数据经过处理之后的简要图像中的直接获取数据量。
具体而言,本发明实施例通过应用在图像数据中进行数据处理,采用卷积神经网络作为学习模型,使得对于图像数据处理的效率大大提高,不但提高了图像数据处理的准确性也提高了图像数据处理的处理速度。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器学习的智能数据处理系统,其特征在于,包括:
设置模块,用以设置若干个学习周期,每个学习周期的时间长度是相同的;
构建模块,用以构建学习模型并在每个学习周期内利用所述学习模型进行数据输入以及输出数据处理结果,所述学习模型包括至少两个参数元;
采集模块,用以在学习周期内采集环境参数,将所述环境参数输入至学习模型内,利用所述学习模型内的参数元对环境参数进行处理,获取在当前学习周期内的数据处理结果;
比较模块,用以在获取历史学习周期内的任意多个学习周期内的数据处理结果的均值与当前的数据处理结果进行比较,获取比较结果,在所述比较模块内对于数据处理结果的数据量进行检测,获取实际数据量D,在对历史学习周期内的数据处理结果的均值进行获取时,若设置第一历史学习周期、第二历史学习周期以及第三历史学习周期,且第一历史学习周期的处理结果的数据量为D1、第二历史学习周期的处理结果的数据量为D2、第三历史学习周期的处理结果的数据量为D3,在计算历史学习周期内的数据处理结果的均值DA则为DA=(D1+D2+D3)/3;
处理模块,分别与所述采集模块、构建模块和比较模块连接,所述处理模块根据比较结果调整采集模块的采集策略以及所述构建模块内的参数元的数量。
2.根据权利要求1所述的基于机器学习的智能数据处理系统,其特征在于,当实际数据量D>处理结果的均值DA时,则在下一学习周期内增加采集策略和/或增加参数元的数量;
当实际数据量D<处理结果的均值DA时,则在下一学习周期内降低采集策略和/或降低参数元的数量;
当实际数据量D=处理结果的均值DA时,则将当前学习周期内的采集策略以及参数元的数量应用在下一学习周期内。
3.根据权利要求2所述的基于机器学习的智能数据处理系统,其特征在于,在下一学习周期内增加采集策略时,处理模块预先设置有若干采集策略,每个采集策略对应一个关键词,在进行数据采集时,采集与所述关键词匹配的数据,设置处理模块内的关键词的标准数量为n0,在处理模块内还设置有第一调整系数k1、第二调整系数k2和第三调整系数k3,处理模块在进行增加采集策略时,若1.2×DA≥实际数据量D>DA,则处理模块选择第一调整系数k1对关键词的标准数量进行增加;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块选择第二调整系数k2对关键词的标准数量进行增加;
若实际数据量D>1.5×DA,则处理模块选择第三调整系数k3对关键词的标准数量进行增加;
增加后的关键词的数量为ni=n0×(1+ki),其中i=1,2,3,并且ni为整数,n0为整数,且0<k1<k2<k3<1,并且当ni计算时不为整数时采用向上取整。
4.根据权利要求3所述的基于机器学习的智能数据处理系统,其特征在于,
第一调整系数k1=(D-DA)/D;
第二调整系数k2=(D-0.8×DA)/D;
第三调整系数k3=(D-0.5×DA)/D。
5.根据权利要求4所述的基于机器学习的智能数据处理系统,其特征在于,
在下一学习周期内增加参数元的数量时,设置原学习模型内的参数元的数量为X个,若1.2×DA≥实际数据量D>DA,则处理模块将学习模型内的参数元增加至原来的2倍,增加之后的参数元的数量为2×X;
若1.5×DA≥实际数据量D>1.2×DA,则处理模块将学习模型内的参数元增加至原来的5倍,增加之后的参数元的数量为5×X;
若实际数据量D>1.5×DA,则处理模块将学习模型内的参数元增加至原来的8倍,增加之后的参数元的数量为8×X;
每个学习模型内的参数元均设置有极限数量Xmax,若调整后的参数元的数量≥极限数量Xmax,则将参数元的数量调整为极限数量Xmax。
6.根据权利要求5所述的基于机器学习的智能数据处理系统,其特征在于,所述极限数量Xmax为100。
7.根据权利要求6所述的基于机器学习的智能数据处理系统,其特征在于,在下一学习周期内降低采集策略时,在处理模块内设置有标准差值ΔD0,将处理结果的均值DA与D的实际差值设置为ΔD,若实际差值ΔD≤标准差值ΔD0,则采用第一参数α1降低关键词中关键字的耦合关系;
若实际差值ΔD>标准差值ΔD0,则采用第二参数α2降低关键词中关键字的耦合关系,其中第一参数α1+第二参数α2=1,且第一参数α1<第二参数α2。
8.根据权利要求7所述的基于机器学习的智能数据处理系统,其特征在于,所述第一参数α1=k1/(k1+k2+k3);
所述第二参数α2=(k2+k3)/(k1+k2+k3)。
9.根据权利要求8所述的基于机器学习的智能数据处理系统,其特征在于,
在下一学习周期内降低参数元的数量时,若0.8×DA≥实际数据量D<DA,则处理模块将学习模型内的参数元的降幅调整为原来的0.2倍,降低之后的参数元的数量为0.8×X;
若0.5×DA≤实际数据量D<0.8×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.5倍,降低之后的参数元的数量为0.5×X;
若实际数据量D<0.5×DA,则处理模块将学习模型内的参数元的降幅调整至原来的0.8倍,降低之后的参数元的数量为0.2×X;
每个学习模型内的参数元均设置有极值数量Xmin,若调整后的参数元的数量≤极值数量Xmin,则将参数元的数量调整为极值数量Xmin。
10.根据权利要求9所述的基于机器学习的智能数据处理系统,其特征在于,在任意学习周期内,所述环境参数为图像数据中的参数,所述学习模型为卷积神经网络,所述参数元为对于任意参数的迭代次数,所述数据处理结果为基于所述图像数据经过处理之后的简要图像中的直接获取数据量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618877.3A CN114357875B (zh) | 2021-12-27 | 2021-12-27 | 基于机器学习的智能数据处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111618877.3A CN114357875B (zh) | 2021-12-27 | 2021-12-27 | 基于机器学习的智能数据处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114357875A true CN114357875A (zh) | 2022-04-15 |
CN114357875B CN114357875B (zh) | 2022-09-02 |
Family
ID=81104080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111618877.3A Active CN114357875B (zh) | 2021-12-27 | 2021-12-27 | 基于机器学习的智能数据处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114357875B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446979A (zh) * | 2014-06-27 | 2016-03-30 | 华为技术有限公司 | 数据挖掘方法和节点 |
CN106547807A (zh) * | 2015-09-23 | 2017-03-29 | 财团法人工业技术研究院 | 数据分析方法与装置 |
CN109325104A (zh) * | 2018-10-30 | 2019-02-12 | 中译语通科技股份有限公司 | 一种动态计算新闻采集服务资源的方法 |
US20190102693A1 (en) * | 2017-09-29 | 2019-04-04 | Facebook, Inc. | Optimizing parameters for machine learning models |
CN112907406A (zh) * | 2021-02-07 | 2021-06-04 | 北京科技大学 | 一种基于云端融合多模态分析的在线学习系统 |
-
2021
- 2021-12-27 CN CN202111618877.3A patent/CN114357875B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446979A (zh) * | 2014-06-27 | 2016-03-30 | 华为技术有限公司 | 数据挖掘方法和节点 |
CN106547807A (zh) * | 2015-09-23 | 2017-03-29 | 财团法人工业技术研究院 | 数据分析方法与装置 |
US20190102693A1 (en) * | 2017-09-29 | 2019-04-04 | Facebook, Inc. | Optimizing parameters for machine learning models |
CN109325104A (zh) * | 2018-10-30 | 2019-02-12 | 中译语通科技股份有限公司 | 一种动态计算新闻采集服务资源的方法 |
CN112907406A (zh) * | 2021-02-07 | 2021-06-04 | 北京科技大学 | 一种基于云端融合多模态分析的在线学习系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114357875B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022174658A1 (zh) | 面向五轴数控机床旋转轴空间定位误差快速优化补偿方法 | |
CN113544599A (zh) | 执行过程并优化在该过程中使用的控制信号的方法 | |
CN106201849B (zh) | 一种有限数据驱动的长寿命部件余寿预测方法 | |
CN109978025B (zh) | 一种基于高斯过程回归的智能网联车辆前车加速度预测方法 | |
CN101782743A (zh) | 神经网络建模方法及系统 | |
CN109472397B (zh) | 基于粘度变化的聚合工艺参数调节方法 | |
CN111709454B (zh) | 一种基于最优copula模型的多风电场出力聚类评估方法 | |
CN112597610B (zh) | 机械臂结构轻量化设计的优化方法、装置及设备 | |
CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
CN111325310A (zh) | 一种数据预测方法、装置及存储介质 | |
CN108227759A (zh) | 一种基于神经网络预测技术的太阳能跟踪控制系统及方法 | |
CN114721263B (zh) | 基于机器学习和智能优化算法的水泥分解炉智慧调控方法 | |
CN114970371A (zh) | 应用ga-bp神经网络预测slm成形钛合金薄壁件变形的方法 | |
CN114357875B (zh) | 基于机器学习的智能数据处理系统 | |
CN109782586A (zh) | 参数自整定的miso异因子紧格式无模型控制方法 | |
CN101995845A (zh) | 基于fpga的自调匀整控制系统及控制方法 | |
CN117877587A (zh) | 一种全基因组预测模型的深度学习算法 | |
CN110598900A (zh) | 基于遗传算法和支持向量机的电力负荷预测算法 | |
CN113536685B (zh) | 一种基于神经网络外推的风速概率模型的建模方法 | |
CN115048858A (zh) | 一种反向神经传播网络的核电材料寿命预测模型及方法 | |
CN111859263B (zh) | 一种用于自来水处理的精准投药方法 | |
CN114967472A (zh) | 一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法 | |
CN112463643A (zh) | 一种软件质量预测方法 | |
CN111933226A (zh) | 一种基于分级分类模型的人工智能筛选材料方法 | |
CN109814388A (zh) | 参数自整定的miso异因子偏格式无模型控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |