CN115908948A - 一种在线调整模型的智能分选系统及其控制方法 - Google Patents
一种在线调整模型的智能分选系统及其控制方法 Download PDFInfo
- Publication number
- CN115908948A CN115908948A CN202310011173.2A CN202310011173A CN115908948A CN 115908948 A CN115908948 A CN 115908948A CN 202310011173 A CN202310011173 A CN 202310011173A CN 115908948 A CN115908948 A CN 115908948A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- sample
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013145 classification model Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 19
- 239000004575 stone Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003066 decision tree Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 5
- 239000013072 incoming material Substances 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 abstract description 3
- 238000012351 Integrated analysis Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种在线调整模型的智能分选系统及其控制方法,系统包括多个智能分选机和云服务器,多个智能分选机通过互联网连接云服务器;智能分选机包括中央数据服务器、工控机,中央数据服务器连接路由器,工控机通过交换机连接路由器,路由器通过互联网连接云服务器。本申请通过将本地采集的样本数据集上传到云端,技术人员在线进行模型训练,再将训练好的模型回传到本地识别系统。技术人员在云端可以对所有矿山的数据进行综合分析,同时将所有矿山数据收集起来,训练一个统一的分类模型。解决每一个矿山的分选系统都需要一个单独的分类模型问题,也解决来料特性变化时现场没有专门的技术人员,出现应对不及时的问题。
Description
技术领域
本申请涉及计算机模型训练技术领域,尤其涉及一种在线调整模型的智能分选系统及其控制方法。
背景技术
随着矿山客户的增多,每个矿山都需要根据其需求单独训练一个分类模型,现有的方法都是针对每一个矿山客户单独训练。如果某个矿山的矿石随着生产的进行,矿石内的成分含量与训练的矿样发生变化,导致分类模型识别率下降,此时也需要专业人士来随时调整模型从而应对矿石成分的变化,保证矿石分选的效率。如果有100个矿山那么就需要调试100个模型,而且每个分类模型的训练都需要专业的人士去完成,从而浪费大量人力物力。
发明内容
本申请实施例提供一种在线调整模型的智能分选系统及控制方法,对所有矿山的数据进行综合分析,同时将所有矿山数据收集起来,训练一个统一的分类模型,解决每一个矿山的分选系统都需要一个单独的分类模型问题,也解决来料特性变化时现场没有专门的技术人员,出现应对不及时的问题。
本申请实施例提供一种在线调整模型的智能分选系统,用于本申请任一实施例的方法,包括多个智能分选机和云服务器,所述多个智能分选机通过互联网连接所述云服务器;所述智能分选机包括中央数据服务器、工控机,所述中央数据服务器连接路由器,所述工控机通过交换机连接所述路由器,所述路由器通过互联网连接所述云服务器。其中,互联网还设置防火墙。
本申请实施例还提供一种在线调整模型的智能分选系统的控制方法,包括以下步骤:
对预先分选的矿石进行分类扫描,然后将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上;
将所述扫描好的样本数据上传到中央数据服务器的训练样本数据文件夹中;
中央数据服务器检测到所述训练样本数据文件夹内有文件上传后,中央数据服务器将训练样本数据文件夹内所有文件通过互联网服务(web service)自动上传到云服务器相应设备文件夹中;
云服务器上的模型训练系统将所述相应设备文件夹中上传的训练样本数据训练成一个可用于各个矿山矿石的分类模型;
云服务器将训练好的所述分类模型保存在本地,中央数据服务器上互联网服务获取云服务器上对应目录下的新模型文件;
中央数据服务器轮询云服务器,查询模型文件时间戳,如果模型文件时间戳发生改变,则将新的模型文件下载到本地,并向工控机发送重新加载模型的指令,工控机将重新加载分选模型,然后用于矿石分类;
工控机每隔t分钟将矿石数据及分选结果的信息发送到中央数据服务器,中央数据服务器将分选结果的数据保存到中央数据服务器的本地数据库中,将矿石数据保存到相应文件夹中;
中央数据服务器本地数据库每隔h小时将所述本地数据库中保存的数据通过互联网服务将发送到云服务器,云服务器中对所有的数据进行实时分析,指导终端设备生产及在线矿石分类模型训练。
进一步的,每个中央数据服务器设置唯一的SN,所述训练样本数据文件夹内所有文件的标识信息为所述SN,用以标识文件的来源,所述云服务器的文件系统以SN为名称进行路径的创建,所有带有SN标识的文件均上传至所述路径下。
进一步的,所述将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上,具体为:通过文件名字来区分样本的类别信息,根据每一个类别,分别从样本的raw文件中随机选择m个石块,根据每个石块的数据信息,从中提取出纹理、大小、平均灰度的数据并组成一维向量。
进一步的,纹理数据提取包括:灰度共生矩阵的生成,通过灰度共生矩阵得到角二阶矩、对比度和熵信息。
本申请还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请中任一实施例所述的方法。
进一步地,本申请还提出一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请通过将本地采集的样本数据集上传到云端,技术人员在线进行模型训练,再将训练好的模型回传到本地识别系统。技术人员在云端可以对所有矿山的数据进行综合分析,同时将所有矿山数据收集起来,训练一个统一的分类模型。解决每一个矿山的分选系统都需要一个单独的分类模型问题,也解决来料特性变化时现场没有专门的技术人员,出现应对不及时的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请的系统原理框图;
图2为本申请的系统控制方法结构原理图;
图3为本申请的系统控制方法流程图;
图4为本申请实施例提供的终端设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,一种在线调整模型的智能分选系统,包括多个智能分选机1和云服务器2,多个智能分选机1通过互联网连接云服务器2;智能分选机1包括中央数据服务器11、工控机12,中央数据服务器11连接路由器13,工控机12通过交换机14连接路由器13,路由器13通过互联网连接云服务器2。其中工控机12与中央数据服务器11(图中标识为cds)在设备内部的局域网中,中央数据服务器11可通过互联网与云服务器2建立连接(cds是分选机唯一对外交互的设备,工控机不允许对外交互)。
如图2、3所示,本申请实施例还提供一种在线调整模型的智能分选系统的控制方法。如图2中,设备1、设备2等为智能分选机,本发明支持多分选机同时上传训练数据及实时生产信息数据,云端服务器将对生产结果数据进行实时分析,云端服务器将收到的所有训练数据进行统一建模,训练完成后将新的训练模型下发到所有设备中,以改进生产。结合图3的方法流程图,本发明的智能分选系统的控制方法包括以下步骤:
步骤1、确定训练样本数据,对预先手动分选的矿石进行分类扫描,然后将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上;
步骤2、将扫描好的样本数据上传到中央数据服务器的训练样本数据文件夹中;
步骤3、中央数据服务器检测到训练样本数据文件夹内有文件上传后,中央数据服务器将训练样本数据文件夹内所有文件通过互联网服务自动上传到云服务器相应设备文件夹中;中央数据服务器将成功上传到云服务器的文件自动删除,直至训练文件夹为空为止;
步骤4、云服务器上的模型训练系统将相应设备文件夹中上传的训练样本数据训练成一个可用于各个矿山矿石的分类模型,该算法模型是由M个CART树组成树型结构。CART树型采用一种二分递归分割的技术,分割方法采用基于最小距离的基尼指数估计函数。将当前的样本集分为两个子样本集,使得生成的每个非叶子节点都有两个分支。对分类树用基尼指数最小化原则,进行特征选择,最终生成二叉树。算法步骤:具体为:
步骤4.1、定义节点的训练数据集为D,计算现有特征对该数据集的基尼指数,所述基尼指数反映了数据集D中随机抽取两个样本其类别不一致的概率;基尼指数可采用如下公式计算:
其中K表示类别数,pi表示类别为i时的概率;
对每一个特征A,对其将取得每个值a,根据样本点测试是否A=a,将D分割成D1和D2两部分,利用集合的基尼指数公式计算A=a的基尼指数;
步骤4.2、在所有特征A以及对应的所有切分点a中,选择基尼指数最小的特征及其对应的切分点a作为最优特征与最优切分点,依照最优特征和最优切分点,从现节点生成两个子节点,将训练数据集依特征分配到两个子节点中去;
步骤4.3、对两个子节点递归地分配训练数据集,直到达到最佳递归结果。
对两个子节点递归地调用步骤4.1、步骤4.2,分配训练数据集,直到满足停止条件(即达到最佳递归结果);
步骤4.4、生成CART决策树;
使用梯度下降法训练分类模型,损失函数为:
其中,yi表示样本i的实际值,F(xi)表示样本i的预测值;
梯度下降法是寻找损失函数的最小值,损失函数与CART树之间是弱相关的;其中,F(x)是由CART树产生的,F(x)与a是有关系的,他们之间的关系是生成了CART树,生成CART树的方法按照上述的步骤4.1~4.3,y代表实际值。
再需要说明的是,CART树是后面损失函数寻找各个参数的子集,寻找最优参数使用的方法叫做梯度下降法。最终F(x)是由“M个CART树”不断优化而来的。
步骤4.5、假设预测函数由M个CART树组成,第一个CART树的初始值为:
其中,yi表示样本i的实际值,ρ表示当样本集的预测值与真实值之间整体误差最小时取得的参数值;
步骤4.6、对于M个CART树,依次进行如下操作,
Fm(x)=Fm-1(x)+ρmh(x;am))
(4.4)
其中,表示前m-1个CART树对样本i的预测值,am表示第m个CART树在参数α、β下的预测值与之间误差最小时取得的值,h(xi;a)表示第m个CART树的预测函数,α表示h(xi;a)函数的偏移因子,β表示h(xi;a)函数的乘数因子,ρm表示前m个CART树的样本集预测值与真实值之间整体误差最小时取得的参数值,Fm(x)表示样本在前m个CART树的预测值;
步骤4.7、经过步骤4.6的训练得到一个由M个CART树组成的树型结构分类模型。
步骤5、云服务器将训练好的分类模型保存在本地,中央数据服务器上互联网服务获取云服务器上对应目录下的新模型文件;
步骤6、中央数据服务器中监控模块(图中XMonitor)轮询云服务器,查询模型文件时间戳,如果模型文件时间戳发生改变,则将新的模型文件下载到本地,并向工控机内自动识别系统发送重新加载模型的指令,工控机自动识别系统将重新加载分选模型,然后用于矿石分类;
步骤7、工控机自动识别系统每隔t分钟将矿石数据及分选结果的信息发送到中央数据服务器,中央数据服务器将分选结果的数据保存到中央数据服务器的本地数据库中,将矿石数据保存到相应文件夹中;
步骤8、中央数据服务器本地数据库每隔h小时将本地数据库中保存的数据通过互联网服务将发送到云服务器,云服务器中对所有的数据进行实时分析,指导终端设备生产及在线矿石分类模型训练。
其中,步骤5中央数据服务器上互联网服务获取云服务器上对应目录下的新模型文件,具体方法为:将训练样本数据输入到算法模型中进行训练,训练完成后输出相应的模型文件,使用未参与训练的样本数据分别对训练后的新模型文件与训练前的旧模型文件进行测试,计算出新旧模型文件的正确率,如果新模型文件的正确率比旧模型文件低,则不需要更新模型文件,反之更新为新模型文件,正确率计算公式如下:
其中,步骤6中互联网服务读取云服务器模型文件的时间戳来判断模型文件是否更新,如果模型文件时间戳发生改变则将新模型文件存储到本地并上传到工控机上,互联网服务向工控机自动识别系统发送重新加载模型的指令,否则舍弃该模型文件。
其中,步骤3中每个中央数据服务器设置唯一的SN,训练样本数据文件夹内所有文件的标识信息为SN,用以标识文件的来源,云服务器的文件系统以SN为名称进行路径的创建,所有带有SN标识的文件均上传至路径下。
其中,步骤1中将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上,具体为:通过文件名字来区分样本的类别信息,根据每一个类别,分别从样本的raw文件中随机选择m个石块,根据每个石块的数据信息,从中提取出纹理、大小、平均灰度的数据并组成一维向量,raw文件即原始光谱数据文件,一个raw文件中包含n个物块信息。
上述纹理数据提取包括:灰度共生矩阵的生成,通过灰度共生矩阵得到角二阶矩、对比度和熵信息。
其中,灰度共生矩阵生成过程如下:
将石块的X射线低能数据通过缩放,将其缩放到0-255的范围内,得到石块的灰度图像:
G(i,j)=D(i,j)/256 (6)
其中,D(i,j)为X射线低能数据,G(i,j)为灰度图像;
根据灰度图像计算出石块的平均灰度值;
根据石块的高度和宽度求平均值得到大小信息;
将灰度图像进一步进行压缩,将其缩放到0-31的范围内,得到石块的压缩后灰度图像;
P(i,j)=G(i,j)/8 (7)
其中,G(i,j)为灰度图像数据,P(i,j)为压缩后的对应数据;
计算从灰度为i的像素点出发,距离(dx,dy)的另一像素点灰度为j的概率,数学表达式:
p(i,j|d,θ)={(x,y)|f(x,y)=i,f(x+dx,y+dy)=j;x,y=0,1,2,...,N-1} (8)
式中:d:用像素数量表示的相对距离;θ:分别为0°,45°,90°,135°;i,j=0,1,2,…,L-1;(x,y)为图像中像素坐标,L=32。
其中,角二阶矩、对比度和熵信息表达式分别为:
角二阶矩
熵信息
对比度
将上述得到的数据,做成一个向量,输入到模型中进行训练。向量组成为:灰度平均值、大小值。
图4是本发明一实施例提供的处理设备的示意图。如图4所示,该实施例的处理设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如在线调整模型的智能分选系统的控制方法程序。所述处理器60执行所述计算机程序62时实现上述在线调整模型的智能分选系统的控制方法实施例中的步骤,例如上述步骤S1至S8。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图1所示智能分选机1、云服务器2的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述处理设备6中的执行过程。
处理设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图4仅仅是处理设备6的示例,并不构成对处理设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述处理设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述处理设备6的内部存储单元,例如处理设备6的硬盘或内存。所述存储器61也可以是所述处理设备6的外部存储设备,例如所述处理设备6上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述处理设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包含一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种在线调整模型的智能分选系统的控制方法,其特征在于,所述系统包括多个智能分选机和云服务器,所述多个智能分选机通过互联网连接所述云服务器;所述智能分选机包括中央数据服务器、工控机,所述中央数据服务器连接路由器,所述工控机通过交换机连接所述路由器,所述路由器通过互联网连接所述云服务器,所述方法包括以下步骤:
对预先分选的矿石进行分类扫描,然后将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上;
将所述扫描好的样本数据上传到中央数据服务器的训练样本数据文件夹中;
中央数据服务器检测到所述训练样本数据文件夹内有文件上传后,中央数据服务器将训练样本数据文件夹内所有文件通过互联网服务自动上传到云服务器相应设备文件夹中;
云服务器上的模型训练系统将所述相应设备文件夹中上传的训练样本数据训练成一个可用于各个矿山矿石的分类模型;
云服务器将训练好的所述分类模型保存在本地,中央数据服务器上互联网服务获取云服务器上对应目录下的新模型文件;
中央数据服务器轮询云服务器,查询模型文件时间戳,如果模型文件时间戳发生改变,则将新的模型文件下载到本地,并向工控机发送重新加载模型的指令,工控机将重新加载分选模型,然后用于矿石分类。
2.根据权利要求1所述的一种在线调整模型的智能分选系统的控制方法,其特征在于:
工控机每隔t分钟将矿石数据及分选结果的信息发送到中央数据服务器,中央数据服务器将分选结果的数据保存到中央数据服务器的本地数据库中,将矿石数据保存到相应文件夹中;
中央数据服务器本地数据库每隔h小时将所述本地数据库中保存的数据通过互联网服务将发送到云服务器,云服务器中对所有的数据进行实时分析,指导终端设备生产及在线矿石分类模型训练。
4.根据权利要求1所述的一种在线调整模型的智能分选系统的控制方法,其特征在于,将所述相应设备文件夹中上传的训练样本数据训练成一个可用于各个矿山矿石的分类模型,具体为:
定义节点的训练数据集为D,计算现有特征对该数据集的基尼指数,所述基尼指数反映了数据集D中随机抽取两个样本其类别不一致的概率;
基尼指数可采用如下公式计算:
其中K表示类别数,pi表示类别为i时的概率;
对每一个特征A,对其将取得每个值a,根据样本点测试是否A=a,将D分割成D1和D2两部分,利用集合的基尼指数公式计算A=a的基尼指数;
在所有特征A以及对应的所有切分点a中,选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点,依照最优特征和最优切分点生成两个子节点,将训练数据集依特征分配到两个子节点中去;
对两个子节点递归地分配训练数据集,直到达到最佳递归结果;生成CART决策树;使用梯度下降法训练分类模型,损失函数为:
其中,yi表示样本i的实际值,F(xi)表示样本i的预测值;
假设预测函数由M个CART树组成,第一个CART树的初始值为:
其中,yi表示样本i的实际值,ρ表示当样本集的预测值与真实值之间整体误差最小时取得的参数值;
对于M个CART树,依次进行如下操作,
Fm(x)=Fm-1(x)+ρmh(x;am))
其中,表示前m-1个CART树对样本i的预测值,am表示第m个CART树在参数α、β下的预测值与之间误差最小时取得的值,h(xi;a)表示第m个CART树的预测函数,α表示h(xi;a)函数的偏移因子,β表示h(xi;a)函数的乘数因子,ρm表示前m个CART树的样本集预测值与真实值之间整体误差最小时取得的参数值,Fm(x)表示样本在前m个CART树的预测值;
最后,训练得到一个由M个CART树组成的树型结构分类模型。
5.根据权利要求1所述的一种在线调整模型的智能分选系统的控制方法,其特征在于,每个中央数据服务器设置唯一的SN,所述训练样本数据文件夹内所有文件的标识信息为所述SN,用以标识文件的来源,所述云服务器的文件系统以SN为名称进行路径的创建,所有带有SN标识的文件均上传至所述路径下。
6.根据权利要求1所述的一种在线调整模型的智能分选系统的控制方法,其特征在于,将扫描好的样本数据按照类别命名,并保存在智能分选机的工控机上,具体为:通过文件名字来区分样本的类别信息,根据每一个类别,分别从样本的raw文件中随机选择m个石块,根据每个石块的数据信息,从中提取出纹理、大小、平均灰度的数据并组成一维向量。
7.根据权利要求6所述的一种在线调整模型的智能分选系统的控制方法,其特征在于,纹理数据提取包括:灰度共生矩阵的生成,通过灰度共生矩阵得到角二阶矩、对比度和熵信息。
8.根据权利要求7所述的一种在线调整模型的智能分选系统的控制方法,其特征在于,灰度共生矩阵生成过程如下:
将石块的X射线低能数据通过缩放,将其缩放到0-255的范围内,得到石块的灰度图像:
G(i,j)=D(i,j)/256
其中,D(i,j)为X射线低能数据,G(i,j)为灰度图像;
根据灰度图像计算出石块的平均灰度值;
根据石块的高度和宽度求平均值得到大小信息;
将灰度图像进一步进行压缩,将其缩放到0-31的范围内,得到石块的压缩后灰度图像;
P(i,j)=G(i,j)/8
其中,G(i,j)为灰度图像数据,P(i,j)为压缩后的对应数据;
计算从灰度为i的像素点出发,距离(dx,dy)的另一像素点灰度为j的概率,数学表达式:
p(i,j|d,θ)={(x,y)|f(x,y)=i,f(x+dx,y+dy)=j;x,y=0,1,2,...,N-1}
式中:d:用像素数量表示的相对距离;θ:分别为0°,45°,90°,135°;i,j=0,1,2,…,L-1;(x,y)为图像中像素坐标,L=32。
10.一种在线调整模型的智能分选系统,用于实现权利要求1~9任意一项所述方法,其特征在于,包括多个智能分选机和云服务器,所述多个智能分选机通过互联网连接所述云服务器;所述智能分选机包括中央数据服务器、工控机,所述中央数据服务器连接路由器,所述工控机通过交换机连接所述路由器,所述路由器通过互联网连接所述云服务器。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
12.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310011173.2A CN115908948B (zh) | 2023-01-05 | 2023-01-05 | 一种在线调整模型的智能分选系统及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310011173.2A CN115908948B (zh) | 2023-01-05 | 2023-01-05 | 一种在线调整模型的智能分选系统及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115908948A true CN115908948A (zh) | 2023-04-04 |
CN115908948B CN115908948B (zh) | 2024-04-26 |
Family
ID=86489709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310011173.2A Active CN115908948B (zh) | 2023-01-05 | 2023-01-05 | 一种在线调整模型的智能分选系统及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115908948B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017201540A1 (en) * | 2016-05-20 | 2017-11-23 | Techcyte, Inc. | Machine learning classification of particles or substances in digital microscopy images |
CN107992906A (zh) * | 2018-01-02 | 2018-05-04 | 联想(北京)有限公司 | 一种模型处理方法、系统、终端设备及服务器 |
CN110008993A (zh) * | 2019-03-01 | 2019-07-12 | 华东师范大学 | 一种基于深度神经网络的端到端图像识别方法 |
CN110135289A (zh) * | 2019-04-28 | 2019-08-16 | 北京天地玛珂电液控制系统有限公司 | 一种基于深度学习的煤矿井下智能应用云服务平台 |
CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
CN112264330A (zh) * | 2020-10-22 | 2021-01-26 | 安徽理工大学 | 一种移动端煤矸光电分选系统 |
CN112541569A (zh) * | 2020-11-24 | 2021-03-23 | 常州罗盘星检测科技有限公司 | 一种基于机器学习的传感器在线训练系统和方法 |
CN112613548A (zh) * | 2020-12-17 | 2021-04-06 | 中山大学 | 基于弱监督学习的用户定制化目标检测方法、系统和存储介质 |
US20210201461A1 (en) * | 2017-02-27 | 2021-07-01 | Parikh Holdings LLC | System and method for processing multiple loose gemstones using image-based analysis techniques |
WO2021189952A1 (zh) * | 2020-10-21 | 2021-09-30 | 平安科技(深圳)有限公司 | 模型训练方法、动作识别方法、装置、设备及存储介质 |
-
2023
- 2023-01-05 CN CN202310011173.2A patent/CN115908948B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017201540A1 (en) * | 2016-05-20 | 2017-11-23 | Techcyte, Inc. | Machine learning classification of particles or substances in digital microscopy images |
US20210201461A1 (en) * | 2017-02-27 | 2021-07-01 | Parikh Holdings LLC | System and method for processing multiple loose gemstones using image-based analysis techniques |
CN107992906A (zh) * | 2018-01-02 | 2018-05-04 | 联想(北京)有限公司 | 一种模型处理方法、系统、终端设备及服务器 |
CN110008993A (zh) * | 2019-03-01 | 2019-07-12 | 华东师范大学 | 一种基于深度神经网络的端到端图像识别方法 |
CN110135289A (zh) * | 2019-04-28 | 2019-08-16 | 北京天地玛珂电液控制系统有限公司 | 一种基于深度学习的煤矿井下智能应用云服务平台 |
CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
WO2021189952A1 (zh) * | 2020-10-21 | 2021-09-30 | 平安科技(深圳)有限公司 | 模型训练方法、动作识别方法、装置、设备及存储介质 |
CN112264330A (zh) * | 2020-10-22 | 2021-01-26 | 安徽理工大学 | 一种移动端煤矸光电分选系统 |
CN112541569A (zh) * | 2020-11-24 | 2021-03-23 | 常州罗盘星检测科技有限公司 | 一种基于机器学习的传感器在线训练系统和方法 |
CN112613548A (zh) * | 2020-12-17 | 2021-04-06 | 中山大学 | 基于弱监督学习的用户定制化目标检测方法、系统和存储介质 |
Non-Patent Citations (4)
Title |
---|
J. LU 等: "High-performance Neural Network Training on a Computational Cluster", 《COMPUTER SOCIETY》, 24 August 2004 (2004-08-24), pages 1 - 6 * |
时兵 等: "复杂网络数据流频繁项集人工智能挖掘仿真", 《计算机仿真》, vol. 37, no. 4, 30 April 2020 (2020-04-30), pages 330 - 334 * |
邢丹 等: "边缘计算环境下基于区块链和联邦学习的医疗健康数据共享模型", 《医学信息学杂志》, vol. 42, no. 2, 25 February 2021 (2021-02-25), pages 33 - 37 * |
马标 等: "基于融合马尔科夫模型的工控网络流量异常检测方法", 《信息安全学报》, vol. 7, no. 3, 31 May 2022 (2022-05-31), pages 17 - 32 * |
Also Published As
Publication number | Publication date |
---|---|
CN115908948B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444966B (zh) | 媒体信息分类方法及装置 | |
CN111984641B (zh) | 基于工业互联网和智能制造的数据处理方法及大数据平台 | |
CN103927387A (zh) | 图像检索系统及其相关方法和装置 | |
CN107368614A (zh) | 基于深度学习的图像检索方法及装置 | |
CN111488917A (zh) | 一种基于增量学习的垃圾图像细粒度分类方法 | |
CN112257801B (zh) | 图像的增量聚类方法、装置、电子设备及存储介质 | |
CN111107107B (zh) | 网络行为的检测方法、装置、计算机设备和存储介质 | |
CN111428682B (zh) | 快件分拣方法、装置、设备及存储介质 | |
CN112367273A (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
CN115795329B (zh) | 一种基于大数据网格下的用电异常行为分析方法和装置 | |
CN116614705B (zh) | 基于多模态视频特征分析的采煤工作面相机调控系统 | |
CN106709474A (zh) | 一种手写电话号码识别、校验及信息发送系统 | |
CN115757124A (zh) | 一种基于神经网络的测试用例生成方法 | |
CN113191235A (zh) | 杂物检测方法、装置、设备及存储介质 | |
CN111882034A (zh) | 神经网络处理及人脸识别方法、装置、设备和存储介质 | |
CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
CN117830711A (zh) | 基于深度学习的自动图像内容审核方法 | |
CN115908948B (zh) | 一种在线调整模型的智能分选系统及其控制方法 | |
CN115905983A (zh) | 一种人工智能数据归类系统 | |
CN113110804B (zh) | 重复图片删除方法、装置、设备及存储介质 | |
CN111340078B (zh) | 证件信息自动归类的方法、装置、介质及电子设备 | |
CN113342518A (zh) | 任务处理方法和装置 | |
CN118312657B (zh) | 一种基于知识库的智能化大模型分析推荐系统及方法 | |
CN114723748B (zh) | 电机控制器的检测方法、装置、设备及存储介质 | |
CN116701962B (zh) | 边缘数据处理方法、装置、计算设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |