CN116104559A - 一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 - Google Patents
一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 Download PDFInfo
- Publication number
- CN116104559A CN116104559A CN202310058548.0A CN202310058548A CN116104559A CN 116104559 A CN116104559 A CN 116104559A CN 202310058548 A CN202310058548 A CN 202310058548A CN 116104559 A CN116104559 A CN 116104559A
- Authority
- CN
- China
- Prior art keywords
- coal
- gangue
- tail
- internet
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 192
- 238000007599 discharging Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000006073 displacement reaction Methods 0.000 claims abstract description 37
- 230000005236 sound signal Effects 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 239000010720 hydraulic oil Substances 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 19
- 239000003921 oil Substances 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000002789 length control Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000005065 mining Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 230000003116 impacting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/12—Control, e.g. using remote control
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/04—Structural features of the supporting construction, e.g. linking members between adjacent frames or sets of props; Means for counteracting lateral sliding on inclined floor
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/04—Structural features of the supporting construction, e.g. linking members between adjacent frames or sets of props; Means for counteracting lateral sliding on inclined floor
- E21D23/0472—Supports specially adapted for people walking or transporting material
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/16—Hydraulic or pneumatic features, e.g. circuits, arrangement or adaptation of valves, setting or retracting devices
- E21D23/26—Hydraulic or pneumatic control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Architecture (AREA)
- Structural Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法,属于煤矸识别技术领域,利用物联网结构实现多源信息融合的煤矸识别、放顶煤监测及尾梁控制。通过振动传感器、声音传感器、工业相机同时获取振动信号、声音信号、以及图像信息,并获取尾梁倾角传感器、插板位移传感器数据,利用多个卷积神经网络结构分别对振动、声音、图像多源异构信息进行识别,并运用D‑S决策对多源异构信息识别结果进行决策级的融合,从而准确地按照含矸率不同实现煤矸分类;并根据分类结果所对应的尾梁角度和插板长度控制原则做出控制决策,实现放煤控制。本发明通过物联网结构和多源信息的融合,有利于实现精准煤矸识别和放煤控制。
Description
技术领域
本发明涉及一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法,属于煤矸识别技术领域。
背景技术
综放开采技术是我国厚及特厚煤层主要的采煤方法之一。目前在综放开采中,顶煤的放落主要是依靠人工控制来完成。然而矿井环境复杂恶劣,长时间的井下工作会对工作人员的身心健康造成严重危害,而且工人受主观意识的影响极易造成误判,导致放煤过程中的过放或欠放。放顶煤煤矸识别是推动综放开采智能化控制发展的关键技术之一。对于放顶煤智能煤矸识别技术,现有的研究大多是基于单一的传感器,受矿井不确定因素的影响识别结果不稳定。当达到关停阈值时直接控制尾梁从打开到关闭,插板从收回到伸出,具有迟滞性。仅依赖矿井下的控制器和微型计算机进行煤矸识别和决策,发生误判的风险过大。因此,该项技术在识别精度、放顶煤控制等方面尚不成熟。随着移动物联网系统的不断发展,其可靠性与稳定性日益增加,已被广泛应用于各个领域。物联网技术可以实现顶煤放落、煤矸识别、液压支架姿态控制等放顶煤全过程监管。
发明内容
针对现有技术的不足,本发明提供一种基于煤矸多源信息融合识别的单架放煤物联控制系统,能够解决放顶煤作业中的过放和欠放、尾梁控制中的迟滞性等问题,并实现放顶煤全过程煤矸混合比、尾梁位姿的实时监测。
本发明的技术方案如下:
模型利用物联网结构实现多源信息融合的煤矸识别、放顶煤监测及尾梁控制。通过振动传感器、声音传感器、工业相机同时获取煤矸颗粒撞击尾梁产生的振动信号、煤矸放落产生的声音信号、以及煤流和刮板输送机表面的图像信息,并获取尾梁倾角传感器、插板位移传感器数据,经控制器处理,由物联网模块和移动通信网络发送至MYSQL数据库存储;通过读取在线数据库,利用多个卷积神经网络结构分别对振动、声音、图像多源异构信息进行识别,并运用D-S决策对多源异构信息识别结果进行决策级的融合,从而准确地按照含矸率不同实现煤矸分类;将含矸率以及此时尾梁夹角、插板伸出长度实时上传至云平台,并根据分类结果所对应的尾梁角度和插板长度控制原则做出控制决策,发送给控制器,通过电磁阀控制溢流阀改变油压以实现尾梁角度、插板长度等放煤控制。本发明通过物联网结构和多源信息的融合,有利于实现精准煤矸识别和放煤控制。
一种基于煤矸多源信息融合识别的单架放煤物联控制系统,如图1所示主要包括液压支架、刮板输送机、多源信息采集装置;
液压支架用来支撑采煤工作面和控制顶煤放落,液压支架包括相互连接的顶梁、掩护梁、尾梁,尾梁末端设有插板,插板用于通过其收回和伸出动作来调节放煤口的大小以控制放煤速度,尾梁下方设有前立柱,液压支架上设有放煤控制液压系统,放煤控制液压系统包括电磁阀、溢流阀、液压油箱、液压油缸、接头油管,液压油缸包括两组,分别设于尾梁底部和尾梁内部,液压油缸通过接头油管与液压油箱连接,电磁阀与溢流阀连接安装在液压油箱上,用来控制液压油箱对液压油缸的供油量;
刮板输送机安装于液压支架下方用于接收放落的煤矸混合物;
多源信息采集装置包括工业相机、振动传感器、倾角传感器、声音传感器、位移传感器;工业相机利用相机固定支架安装于液压支架前立柱,既不受放顶煤工况影响,又能够及时获取最新放顶煤流图像信息,镜头正对刮板输送机,用来采集煤流及刮板输送机表面的图像信息;振动传感器位于尾梁末端底部,振动敏感度最高的地方,用于采集煤流冲击尾梁产生的振动信号;倾角传感器设置在尾梁底部,轴线与尾梁轴线平行,用于采集尾梁任一时刻与水平面的夹角;声音传感器置于尾梁或掩护梁底部,用于采集放顶煤过程中煤矸滑落产生的声音信号;位移传感器设置在尾梁内部,轴线与尾梁轴线平行,用于采集插板的伸出长度;
多源信息采集装置将信息发送于数据转换模块,数据转换模块将多源异构信息转换成数字信号形式发送给控制器,控制器安装于液压支架前立柱,工业相机的上方;物联网模块esp8266安装于液压支架前立柱,通过串口与控制器连接,物联网模块esp8266通过无线与MQTT消息队列模块连接,MQTT消息队列模块对物联网模块esp8266推送的数据包进行数据提取,并发送至云平台,云平台与计算机连接,计算机内设有煤矸识别模块,煤矸识别模块在计算机内执行,煤矸识别模块包括卷积神经网络机构和D-S决策模块,煤矸识别模块根据识别结果将控制决策信息反馈给控制器,从而实现对液压支架位姿的控制。
优选的,振动传感器的数量为三个,通过磁吸底座横向排布于尾梁末端底部。振动加速度传感器排布在液压支架尾梁末端底部,该位置对于振动信号响应敏感度高,横向排布三个加速度传感器能够避免单个位置煤矸颗粒异常所导致的误判。
优选的,声音传感器的数量为三个,无线挂壁式,由近及远纵向排布在尾梁与掩护梁底部,通过焊接在尾梁和掩护梁底部的法兰盘上的寄丝来固定,从而更加立体地接收放顶煤声音信号。
优选的,位移传感器位于插板始端与尾梁内壁之间的间隔槽内。
优选的,数据转换模块包括ADC模块和CMOS模块,ADC模块用于将振动、声音、倾角、位移模拟电压信号转换成数字信号,CMOS模块用于将图片信息转换成数字量。
优选的,云平台包括MYSQL数据库和云监测显示平台,云监测显示平台实时监测液压支架放顶煤状况,计算机读取MYSQL数据库多源异构数据进行煤矸识别,并将识别结果反馈给云监测显示平台。
所有的仪器设备采用矿用本安型或者安装在矿用本安壳体内。
一种利用上述基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,包括步骤如下:
①控制器控制液压支架收回插板、打开尾梁开始放煤;
②振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,倾角传感器采集当前尾梁与水平面的夹角,位移传感器采集当前插板的伸出长度;模拟电压信号和图像信息分别由ADC模块和CMOS模块转换为数字信号,由I2C总线同步发送至控制器;如图11所示,每间隔0.1s定义为一组采集数据:在这0.1s内,三个振动加速度传感器持续采集振动信号,三个声音传感器持续采集声音信号;在0.1s末,工业相机采集此时刮板输送机及煤流的图像信息,倾角传感器采集当前尾梁与水平面的夹角,位移传感器采集当前插板的伸出长度,将这5种数据时间同步上传。
③控制器将这些数据打包成json格式,通过串口发送至物联网模块esp8266;物联网模块esp8266将整个数据包通过wifi推送到MQTT消息队列,进行数据提取;由MQTT规则引擎提取出所有数据,再由规则引擎进行打包,发送至MYSQL数据库存储;
④煤矸识别模块每间隔0.1s读取MYSQL数据库中最新上传的振动、声音、图像信息,进行识别并得出识别结果;将所得含矸率区间与尾梁倾角和插板位移信息同步上传至云监测显示平台,同时,将该含矸率区间所对应的控制决策反馈给控制器,所述控制决策包括尾梁夹角、插板长度;
⑤控制器通过电磁阀进而控制溢流阀,改变液压油箱对液压油缸供油量以调节压力,从而达到控制尾梁夹角与插板长度的目的。
优选的,步骤④中,在进行煤矸识别之前,首先要对卷积神经网络多通道煤矸识别模型进行训练,将含矸率划分为A1,A1-A2,…,An-1-An,大于An,共n+1个区间;
将已知含矸率区间的煤矸混合物置于液压支架顶梁,人工控制顶煤放落的动作,使煤矸混合物从尾梁滑落,振动传感器与声音传感器分别采集放顶煤试验过程中的振动与声音信号,设置采样频率为30000Hz,时间间隔为0.1s;煤矸混合物放落到后刮板输送机上,利用工业相机采集煤流及刮板输送机表面的图像信息,对这三种多源异构信息定义同样的标签,作为一个样本;每个含矸率区间的煤矸混合物分别进行m组试验;
1)模型训练
将图像信息、3条振动信号构成的振动加速度信息矩阵和3条声音信号构成的声音信息矩阵分别输入三个卷积神经网络中,在每个含矸率区间取前m/2组样本作为训练集,后m/2组样本数据作为测试集;设置初始的训练次数为30,若准确度较低(误差高于设定值)则训练次数依10次增加,直到三个卷积神经网络对于n+1个区间的测试集误差均低于设定值σ;然后,运用D-S决策将同一样本下,图像、振动、声音三种信息所在的卷积神经网络识别结果融合,得到最终的含矸率区间,并与该样本的实际含矸率区间对比,若多源异构融合煤矸识别模型对各含矸率区间的测试集误差也同时低于σ,则模型训练结束;若最终训练次数达到150次或网络过拟合时,仍未满足准确度要求,则选取准确度最高时作为卷积神经网络训练次数;
进一步优选的,三个卷积神经网络结构为:包括单卷积层、单池化层和全连接层,对振动信号矩阵和声音信号矩阵周围进行补零,卷积核大小为3×3,池化尺寸为2×2,全连接层由“Softmax”作为激活函数进行多分类;
其中,i表示类别索引,Vi为分类器前级单元的输出,C为总的类别个数,Si为预测样本为该类的相对概率;
对于卷积神经网络模型中的其他主要参数,将根据测试集精度进行适当调整:进一步优选的,学习率初始设置为0.1,每次除以0.5来改进;样本批次容量初始值设置为10,每次增加10来改进;其他参数采用卷积神经网络系统默认值。三个卷积神经网络的参数或有所不同。
2)煤矸识别
然后利用训练好的模型进行煤矸识别;振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,通过控制器与物联网模块打包发送至MYSQL数据库;训练好的煤矸识别模型读取数据库最新储存数据,分别输入到三个卷积神经网络中,得到三个识别结果;每个卷积神经网络可能输出的结果为θ1,θ2,…,θn+1以及不确定性等共n+2个事件;这n+2个事件组成的集合即为该辨识问题下的识别框架Θ:
Θ={θ1,θ2,…,θn+1,θ'}(2)
其中,θ1为含矸率区间小于A1,θ2为含矸率区间在A1-A2区间内,…,θn+1为含矸率区间大于An,θ'为不确定性;各元素两两互斥;辨识框架全部子集的集合,记作幂集2Θ:
对Θ中每个子集按照特定的概率进行基本概率分配(BPA),其中分配函数m是一个从2Θ→[0,1]的映射,即对于任意一个子集θ,其必须同时满足以下2个条件:
对于图像、振动、声音3种信息源识别结果的BPA计算方法为:
mi(θj)=αiuj,i=1,2,3;j=1,2,3,…,n+1(6)
mi(θ')=1-αi(7)
式中,mi(θj)为第i个信息源对含矸率在θj区间内的概率分配函数;αi为第i类信息源的可靠性系数(本文用第i类信息源单独在CNN下的测试准确率代替可靠性系数);uj为第i个信息源对于输出含矸率在θj区间内的隶属度;mi(θ')为第i个信息源不确定性的BPA值;
根据D-S证据理论的合成规则,将3种信息源的BPA进行合成,得到最终的煤矸识别结果:
最终根据D-S决策对于各含矸率区间的概率,选取最大的概率区间作为最终的识别结果。
优选的,步骤④中,控制决策具体包括:
每个含矸率区间相应地定义其尾梁夹角与插板伸出长度,如下表1所示。(具体的值根据实际开采条件及液压支架型号来确定)
表1尾梁夹角与插板伸出长度对应表
含矸率区间依次分为小于A1、A1-A2、……An-1-An、大于An,尾梁夹角依次定义为完全打开、θ1、……、θn-1、完全关闭,插板伸出长度依次定义为完全收回、x1、……、xn-1、完全伸出;
控制器控制自动放顶煤开始,尾梁打开、插板收回,顶煤经尾梁滑落到后刮板输送机上;卷积神经网络多源异构煤矸识别模型每隔0.1s识别一次,给出对应的含矸率区间;将煤矸识别结果得到的含矸率对应的尾梁角度和插板长度反馈给控制器,控制器给出信号,通过控制电磁阀调整溢流阀改变放煤控制液压系统的供油量,从而使尾梁夹角和插板长度调整到设定值;在控制过程中,倾角传感器和位移传感器不断地反馈当前的尾梁夹角和插板位移数值,直到达到设定数值;
当含矸率大于A1时,开始向液压支架控制器发送该含矸率区间所对应的控制决策,尾梁摆动到相应的角度,插板伸出至相应的长度;继续进行放煤,若含矸率降低到A1以下,尾梁全部打开,插板完全收回;若含矸率持续增长到大于An,则控制关闭尾梁、插板伸出,停止放煤;每个含矸率区间都控制尾梁和插板至所对应的夹角与长度,从而实现具有过渡效果的渐进式控制决策,减少控制响应慢造成的迟滞性影响。
本发明的有益效果在于:
1.本发明采用多源信息采集装置(振动传感器、声音传感器、工业相机、倾角传感器、位移传感器)对多源异构信息进行采集。
2.本发明建立卷积神经网络多源异构融合煤矸识别模型。对尾梁振动加速度信号、放煤过程中产生的声音信号、刮板输送机煤流表面图像信息多源信息得到的含矸率结果进行决策级融合,得到最终的识别准确度。
3.本发明明确尾梁倾角、插板长度控制方法。由多阈值分类结果,制定不同含矸率区间与对应的尾梁倾角、插板长度,从而形成渐进式的液压支架放顶煤控制策略。
4.本发明利用物联网系统,实现对煤流中含矸率、液压支架尾梁夹角及插板长度进行实时的监测
5.关于传感器排布,本发明3个振动传感器排布在敏感的尾梁伸出端,横向排布,减少单个位置煤矸颗粒异常造成误判的概率;尾梁和掩护梁由近及远排布3个声音传感器,采集立体声音信息;工业相机安装在前立柱,不会受放顶煤作业影响。
6.本发明采用无线传感器,运用矿用无线wifi进行数据传输。
附图说明
图1为物联网系统;
图2为液压支架结构图;
图3为放煤控制液压系统示意图;
图4为尾梁底部结构示意图;
图5为掩护梁底部结构示意图;
图6为液压支架与刮板输送机结构示意图;
图7为多源信息传输示意图;
图8为煤矸识别模块与云平台传输示意图;
图9为多源信息与煤矸识别模块传输示意图;
图10为控制流程图;
图11为采集过程示意图;
图12为D-S判别示意图;
其中:1-液压支架、2-刮板输送机、3-多源信息采集装置、4-数据转换模块、5-控制器、6-物联网模块esp8266、7-MQTT消息队列模块、8-计算机、9-云平台、10-煤矸识别模块;
1-液压支架主要包括11-顶梁、12-掩护梁、13-尾梁、14-插板、15-前立柱、16-放煤控制液压系统,161-电磁阀、162-溢流阀、163-液压油箱、164-液压油缸、165-接头油管;
3-多源信息采集装置主要包括17-工业相机、18-振动传感器、19-倾角传感器、20-声音传感器、21-位移传感器、22-ADC模块,23-CMOS模块,24-MYSQL数据库,25-云监测显示平台。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明,但不限于此。
实施例1:
一种基于煤矸多源信息融合识别的单架放煤物联控制系统,如图1、图2所示主要包括液压支架1、刮板输送机2、多源信息采集装置3。
液压支架用来支撑采煤工作面和控制顶煤放落,液压支架包括相互连接的顶梁11、掩护梁12、尾梁13,尾梁末端设有插板14,插板用于通过其收回和伸出动作来调节放煤口的大小以控制放煤速度,尾梁下方设有前立柱15,液压支架上设有放煤控制液压系统16,如图3所示,放煤控制液压系统包括电磁阀161、溢流阀162、液压油箱163、液压油缸164、接头油管165,液压油缸包括两组,分别设于尾梁底部和尾梁内部,液压油缸通过接头油管与液压油箱连接,电磁阀与溢流阀连接安装在液压油箱上,用来控制液压油箱对液压油缸的供油量。
刮板输送机安装于液压支架下方用于接收放落的煤矸混合物。
多源信息采集装置包括工业相机17、振动传感器18、倾角传感器19、声音传感器20、位移传感器21;如图4-图6所示,工业相机利用相机固定支架安装于液压支架前立柱,既不受放顶煤工况影响,又能够及时获取最新放顶煤流图像信息,镜头正对刮板输送机,用来采集煤流及刮板输送机表面的图像信息;振动传感器位于尾梁末端底部,振动敏感度最高的地方,用于采集煤流冲击尾梁产生的振动信号;倾角传感器设置在尾梁底部,轴线与尾梁轴线平行,用于采集尾梁任一时刻与水平面的夹角;声音传感器置于尾梁或掩护梁底部,用于采集放顶煤过程中煤矸滑落产生的声音信号;位移传感器设置在尾梁内部,轴线与尾梁轴线平行,用于采集插板的伸出长度;
如图7-图10所示,多源信息采集装置将信息发送于数据转换模块4,数据转换模块将多源异构信息转换成数字信号形式发送给控制器5,控制器安装于液压支架前立柱,工业相机的上方;物联网模块esp8266 6安装于液压支架前立柱,通过串口与控制器连接,物联网模块esp8266 6通过无线与MQTT消息队列7模块连接,MQTT消息队列模块对物联网模块esp8266推送的数据包进行数据提取,并发送至云平台9,云平台与计算机8连接,计算机内设有煤矸识别模块10,煤矸识别模块在计算机内执行,煤矸识别模块包括卷积神经网络机构和D-S决策模块,煤矸识别模块根据识别结果将控制决策信息反馈给控制器,从而实现对液压支架位姿的控制。
数据转换模块包括ADC模块和CMOS模块,ADC模块用于将振动、声音、倾角、位移模拟电压信号转换成数字信号,CMOS模块用于将图片信息转换成数字量。云平台包括MYSQL数据库和云监测显示平台,云监测显示平台实时监测液压支架放顶煤状况,计算机读取MYSQL数据库多源异构数据进行煤矸识别,并将识别结果反馈给云监测显示平台。所有的仪器设备采用矿用本安型或者安装在矿用本安壳体内。
实施例2:
一种基于煤矸多源信息融合识别的单架放煤物联控制系统,其结构如实施例1所述,所不同的是,振动传感器的数量为三个,通过磁吸底座横向排布于尾梁末端底部。振动加速度传感器排布在液压支架尾梁末端底部,该位置对于振动信号响应敏感度高,横向排布三个加速度传感器能够避免单个位置煤矸颗粒异常所导致的误判。
声音传感器的数量为三个,无线挂壁式,由近及远纵向排布在尾梁与掩护梁底部,通过焊接在尾梁和掩护梁底部的法兰盘上的寄丝来固定,从而更加立体地接收放顶煤声音信号。
位移传感器位于插板始端与尾梁内壁之间的间隔槽内。
实施例3:
一种利用实施例2所述基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,包括步骤如下:
①控制器控制液压支架收回插板、打开尾梁开始放煤;
②振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,倾角传感器采集当前尾梁与水平面的夹角,位移传感器采集当前插板的伸出长度;模拟电压信号和图像信息分别由ADC模块和CMOS模块转换为数字信号,由I2C总线同步发送至控制器;如图11所示,每间隔0.1s定义为一组采集数据:在这0.1s内,三个振动加速度传感器持续采集振动信号,三个声音传感器持续采集声音信号;在0.1s末,工业相机采集此时刮板输送机及煤流的图像信息,倾角传感器采集当前尾梁与水平面的夹角,位移传感器采集当前插板的伸出长度,将这5种数据时间同步上传。
③控制器将这些数据打包成json格式,通过串口发送至物联网模块esp8266;物联网模块esp8266将整个数据包通过wifi推送到MQTT消息队列,进行数据提取;由MQTT规则引擎提取出所有数据,再由规则引擎进行打包,发送至MYSQL数据库存储;
④煤矸识别模块每间隔0.1s读取MYSQL数据库中最新上传的振动、声音、图像信息,进行识别并得出识别结果;将所得含矸率区间与尾梁倾角和插板位移信息同步上传至云监测显示平台,同时,将该含矸率区间所对应的控制决策反馈给控制器,所述控制决策包括尾梁夹角、插板长度;
步骤④中,在进行煤矸识别之前,首先要对卷积神经网络多通道煤矸识别模型进行训练,将含矸率划分为A1,A1-A2,…,An-1-An,大于An,共n+1个区间;
将已知含矸率区间的煤矸混合物置于液压支架顶梁,人工控制顶煤放落的动作,使煤矸混合物从尾梁滑落,振动传感器与声音传感器分别采集放顶煤试验过程中的振动与声音信号,设置采样频率为30000Hz,时间间隔为0.1s;煤矸混合物放落到后刮板输送机上,利用工业相机采集煤流及刮板输送机表面的图像信息,对这三种多源异构信息定义同样的标签,作为一个样本;每个含矸率区间的煤矸混合物分别进行m组试验;
1)模型训练
将图像信息、3条振动信号构成的振动加速度信息矩阵和3条声音信号构成的声音信息矩阵分别输入三个卷积神经网络中,在每个含矸率区间取前m/2组样本作为训练集,后m/2组样本数据作为测试集;设置初始的训练次数为30,若准确度较低(误差高于设定值)则训练次数依10次增加,直到三个卷积神经网络对于n+1个区间的测试集误差均低于设定值σ;然后,运用D-S决策将同一样本下,图像、振动、声音三种信息所在的卷积神经网络识别结果融合,得到最终的含矸率区间,并与该样本的实际含矸率区间对比,若多源异构融合煤矸识别模型对各含矸率区间的测试集误差也同时低于σ,则模型训练结束;若最终训练次数达到150次或网络过拟合时,仍未满足准确度要求,则选取准确度最高时作为卷积神经网络训练次数;
三个卷积神经网络结构为:包括单卷积层、单池化层和全连接层,对振动信号矩阵和声音信号矩阵周围进行补零,卷积核大小为3×3,池化尺寸为2×2,全连接层由“Softmax”作为激活函数进行多分类;
其中,i表示类别索引,Vi为分类器前级单元的输出,C为总的类别个数,Si为预测样本为该类的相对概率;
对于卷积神经网络模型中的其他主要参数,将根据测试集精度进行适当调整:学习率初始设置为0.1,每次除以0.5来改进;样本批次容量初始值设置为10,每次增加10来改进;其他参数采用卷积神经网络系统默认值。三个卷积神经网络的参数或有所不同。
2)煤矸识别
然后利用训练好的模型进行煤矸识别;振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,通过控制器与物联网模块打包发送至MYSQL数据库;训练好的煤矸识别模型读取数据库最新储存数据,分别输入到三个卷积神经网络中,得到三个识别结果;每个卷积神经网络可能输出的结果为θ1,θ2,…,θn+1以及不确定性等共n+2个事件;这n+2个事件组成的集合即为该辨识问题下的识别框架Θ:
Θ={θ1,θ2,…,θn+1,θ'}(2)
其中,θ1为含矸率区间小于A1,θ2为含矸率区间在A1-A2区间内,…,θn+1为含矸率区间大于An,θ'为不确定性;各元素两两互斥;辨识框架全部子集的集合,记作幂集2Θ:
对Θ中每个子集按照特定的概率进行基本概率分配(BPA),其中分配函数m是一个从2Θ→[0,1]的映射,即对于任意一个子集θ,其必须同时满足以下2个条件:
对于图像、振动、声音3种信息源识别结果的BPA计算方法为:
mi(θj)=αiuj,i=1,2,3;j=1,2,3,…,n+1(6)
mi(θ')=1-αi(7)
式中,mi(θj)为第i个信息源对含矸率在θj区间内的概率分配函数;αi为第i类信息源的可靠性系数(本文用第i类信息源单独在CNN下的测试准确率代替可靠性系数);uj为第i个信息源对于输出含矸率在θj区间内的隶属度;mi(θ')为第i个信息源不确定性的BPA值;
根据D-S证据理论的合成规则,将3种信息源的BPA进行合成,得到最终的煤矸识别结果:
最终根据D-S决策对于各含矸率区间的概率,选取最大的概率区间作为最终的识别结果。
步骤④中,控制决策具体包括:
每个含矸率区间相应地定义其尾梁夹角与插板伸出长度,如下表1所示。(具体的值根据实际开采条件及液压支架型号来确定)
表1尾梁夹角与插板伸出长度对应表
控制器控制自动放顶煤开始,尾梁打开、插板收回,顶煤经尾梁滑落到后刮板输送机上;卷积神经网络多源异构煤矸识别模型每隔0.1s识别一次,给出对应的含矸率区间;将煤矸识别结果得到的含矸率对应的尾梁角度和插板长度反馈给控制器,控制器给出信号,通过控制电磁阀调整溢流阀改变放煤控制液压系统的供油量,从而使尾梁夹角和插板长度调整到设定值;在控制过程中,倾角传感器和位移传感器不断地反馈当前的尾梁夹角和插板位移数值,直到达到设定数值;
当含矸率大于A1时,开始向液压支架控制器发送该含矸率区间所对应的控制决策,尾梁摆动到相应的角度,插板伸出至相应的长度;继续进行放煤,若含矸率降低到A1以下,尾梁全部打开,插板完全收回;若含矸率持续增长到大于An,则控制关闭尾梁、插板伸出,停止放煤;每个含矸率区间都控制尾梁和插板至所对应的夹角与长度,从而实现具有过渡效果的渐进式控制决策,减少控制响应慢造成的迟滞性影响。
⑤控制器通过电磁阀进而控制溢流阀,改变液压油箱对液压油缸供油量以调节压力,从而达到控制尾梁夹角与插板长度的目的。
Claims (10)
1.一种基于煤矸多源信息融合识别的单架放煤物联控制系统,其特征在于,包括液压支架、刮板输送机、多源信息采集装置;
液压支架用来支撑采煤工作面和控制顶煤放落,液压支架包括相互连接的顶梁、掩护梁、尾梁,尾梁末端设有插板,插板用于调节放煤口的大小以控制放煤速度,尾梁下方设有前立柱,液压支架上设有放煤控制液压系统,放煤控制液压系统包括电磁阀、溢流阀、液压油箱、液压油缸、接头油管,液压油缸包括两组,分别设于尾梁底部和尾梁内部,液压油缸通过接头油管与液压油箱连接,电磁阀与溢流阀连接安装在液压油箱上,用来控制液压油箱对液压油缸的供油量;
刮板输送机安装于液压支架下方用于接收放落的煤矸混合物;
多源信息采集装置包括工业相机、振动传感器、倾角传感器、声音传感器、位移传感器;工业相机安装于液压支架前立柱,镜头正对刮板输送机;振动传感器位于尾梁末端底部;倾角传感器设置在尾梁底部,轴线与尾梁轴线平行;声音传感器置于尾梁或掩护梁底部;位移传感器设置在尾梁内部,轴线与尾梁轴线平行;
多源信息采集装置将信息发送于数据转换模块,数据转换模块将多源异构信息转换成数字信号形式发送给控制器,控制器安装于液压支架前立柱;物联网模块esp8266安装于液压支架前立柱,通过串口与控制器连接,物联网模块esp8266通过无线与MQTT消息队列模块连接,MQTT消息队列模块对物联网模块esp8266推送的数据包进行数据提取,并发送至云平台,云平台与计算机连接,计算机内设有煤矸识别模块。
2.根据权利要求1所述的基于煤矸多源信息融合识别的单架放煤物联控制系统,其特征在于,振动传感器的数量为三个,通过磁吸底座横向排布于尾梁末端底部;
优选的,声音传感器的数量为三个,由近及远纵向排布在尾梁与掩护梁底部。
3.根据权利要求1所述的基于煤矸多源信息融合识别的单架放煤物联控制系统,其特征在于,位移传感器位于插板始端与尾梁内壁之间的间隔槽内。
4.根据权利要求1所述的基于煤矸多源信息融合识别的单架放煤物联控制系统,其特征在于,数据转换模块包括ADC模块和CMOS模块,ADC模块用于将振动、声音、倾角、位移模拟电压信号转换成数字信号,CMOS模块用于将图片信息转换成数字量。
5.根据权利要求4所述的基于煤矸多源信息融合识别的单架放煤物联控制系统,其特征在于,云平台包括MYSQL数据库和云监测显示平台,云监测显示平台实时监测液压支架放顶煤状况,计算机读取MYSQL数据库多源异构数据进行煤矸识别,并将识别结果反馈给云监测显示平台。
6.一种利用权利要求5所述基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,其特征在于,包括步骤如下:
①控制器控制液压支架收回插板、打开尾梁开始放煤;
②振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,倾角传感器采集当前尾梁与水平面的夹角,位移传感器采集当前插板的伸出长度;模拟电压信号和图像信息分别由ADC模块和CMOS模块转换为数字信号,由I2C总线同步发送至控制器;
③控制器将这些数据打包成json格式,通过串口发送至物联网模块esp8266;物联网模块esp8266将整个数据包通过wifi推送到MQTT消息队列,进行数据提取;由MQTT规则引擎提取出所有数据,再由规则引擎进行打包,发送至MYSQL数据库存储;
④煤矸识别模块每间隔0.1s读取MYSQL数据库中最新上传的振动、声音、图像信息,进行识别并得出识别结果;将所得含矸率区间与尾梁倾角和插板位移信息同步上传至云监测显示平台,同时,将该含矸率区间所对应的控制决策反馈给控制器,所述控制决策包括尾梁夹角、插板长度;
⑤控制器通过电磁阀进而控制溢流阀,改变液压油箱对液压油缸供油量以调节压力,从而控制尾梁夹角与插板长度。
7.根据权利要求6所述的基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,其特征在于,步骤④中,在进行煤矸识别之前,首先要对卷积神经网络多通道煤矸识别模型进行训练,将含矸率划分为A1,A1-A2,…,An-1-An,大于An,共n+1个区间;
将已知含矸率区间的煤矸混合物置于液压支架顶梁,人工控制顶煤放落的动作,使煤矸混合物从尾梁滑落,振动传感器与声音传感器分别采集放顶煤试验过程中的振动与声音信号,设置采样频率为30000Hz,时间间隔为0.1s;煤矸混合物放落到后刮板输送机上,利用工业相机采集煤流及刮板输送机表面的图像信息,对这三种多源异构信息定义同样的标签,作为一个样本;每个含矸率区间的煤矸混合物分别进行m组试验;
1)模型训练
将图像信息、3条振动信号构成的振动加速度信息矩阵和3条声音信号构成的声音信息矩阵分别输入三个卷积神经网络中,在每个含矸率区间取前m/2组样本作为训练集,后m/2组样本数据作为测试集;设置初始的训练次数为30,若准确度较低则训练次数依10次增加,直到三个卷积神经网络对于n+1个区间的测试集误差均低于设定值σ;然后,运用D-S决策将同一样本下,图像、振动、声音三种信息所在的卷积神经网络识别结果融合,得到最终的含矸率区间,并与该样本的实际含矸率区间对比,若多源异构融合煤矸识别模型对各含矸率区间的测试集误差也同时低于σ,则模型训练结束;若最终训练次数达到150次或网络过拟合时,仍未满足准确度要求,则选取准确度最高时作为卷积神经网络训练次数;
2)煤矸识别
然后利用训练好的模型进行煤矸识别;振动传感器采集0.1s内尾梁振动加速度信号,声音传感器采集0.1s内煤矸放落产生的声音信号,工业相机采集0.1s末煤流和刮板输送机表面的图像信息,通过控制器与物联网模块打包发送至MYSQL数据库;训练好的煤矸识别模型读取数据库最新储存数据,分别输入到三个卷积神经网络中,得到三个识别结果;每个卷积神经网络输出的结果为θ1,θ2,…,θn+1以及不确定性共n+2个事件;这n+2个事件组成的集合即为该辨识问题下的识别框架Θ:
Θ={θ1,θ2,…,θn+1,θ'}(2)
其中,θ1为含矸率区间小于A1,θ2为含矸率区间在A1-A2区间内,…,θn+1为含矸率区间大于An,θ'为不确定性;各元素两两互斥;辨识框架全部子集的集合,记作幂集2Θ:
对Θ中每个子集按照特定的概率进行基本概率分配(BPA),其中分配函数m是一个从2Θ→[0,1]的映射,即对于任意一个子集θ,其必须同时满足以下2个条件:
对于图像、振动、声音3种信息源识别结果的BPA计算方法为:
mi(θj)=αiuj,i=1,2,3;j=1,2,3,…,n+1(6)
mi(θ')=1-αi(7)
式中,mi(θj)为第i个信息源对含矸率在θj区间内的概率分配函数;αi为第i类信息源的可靠性系数;uj为第i个信息源对于输出含矸率在θj区间内的隶属度;mi(θ')为第i个信息源不确定性的BPA值;
根据D-S证据理论的合成规则,将3种信息源的BPA进行合成,得到最终的煤矸识别结果:
最终根据D-S决策对于各含矸率区间的概率,选取最大的概率区间作为最终的识别结果。
9.根据权利要求8所述的基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,其特征在于,步骤1)中,对于卷积神经网络模型中的其他主要参数,将根据测试集精度进行适当调整:学习率初始设置为0.1,每次除以0.5来改进;样本批次容量初始值设置为10,每次增加10来改进;其他参数采用卷积神经网络系统默认值。
10.根据权利要求6所述的基于煤矸多源信息融合识别的单架放煤物联控制系统的控制方法,其特征在于,步骤④中,控制决策具体包括:
每个含矸率区间相应地定义其尾梁夹角与插板伸出长度,含矸率区间依次分为小于A1、A1-A2、……An-1-An、大于An,尾梁夹角依次定义为完全打开、θ1、……、θn-1、完全关闭,插板伸出长度依次定义为完全收回、x1、……、xn-1、完全伸出;
控制器控制自动放顶煤开始,尾梁打开、插板收回,顶煤经尾梁滑落到后刮板输送机上;卷积神经网络多源异构煤矸识别模型每隔0.1s识别一次,给出对应的含矸率区间;将煤矸识别结果得到的含矸率对应的尾梁角度和插板长度反馈给控制器,控制器给出信号,通过控制电磁阀调整溢流阀改变放煤控制液压系统的供油量,从而使尾梁夹角和插板长度调整到设定值;在控制过程中,倾角传感器和位移传感器不断地反馈当前的尾梁夹角和插板位移数值,直到达到设定数值;
当含矸率大于A1时,开始向液压支架控制器发送该含矸率区间所对应的控制决策,尾梁摆动到相应的角度,插板伸出至相应的长度;继续进行放煤,若含矸率降低到A1以下,尾梁全部打开,插板完全收回;若含矸率持续增长到大于An,则控制关闭尾梁、插板伸出,停止放煤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310058548.0A CN116104559A (zh) | 2023-01-17 | 2023-01-17 | 一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310058548.0A CN116104559A (zh) | 2023-01-17 | 2023-01-17 | 一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116104559A true CN116104559A (zh) | 2023-05-12 |
Family
ID=86262256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310058548.0A Pending CN116104559A (zh) | 2023-01-17 | 2023-01-17 | 一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116104559A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116698977A (zh) * | 2023-08-07 | 2023-09-05 | 山东科技大学 | 一种基于声音信号的煤矸识别传感器及识别方法 |
-
2023
- 2023-01-17 CN CN202310058548.0A patent/CN116104559A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116698977A (zh) * | 2023-08-07 | 2023-09-05 | 山东科技大学 | 一种基于声音信号的煤矸识别传感器及识别方法 |
CN116698977B (zh) * | 2023-08-07 | 2023-10-31 | 山东科技大学 | 一种基于声音信号的煤矸识别传感器及识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116104559A (zh) | 一种基于煤矸多源信息融合识别的单架放煤物联控制系统及控制方法 | |
CN111739315B (zh) | 一种交通信号灯绿波智能调节方法及智能调节系统 | |
CN113277342B (zh) | 基于光栅扫描的选煤厂全自动装车系统及方法 | |
CN110067566B (zh) | 盾构纠偏力矩的预测方法及系统 | |
CN102592451B (zh) | 一种基于双截面环形线圈检测器的道路交通事件检测方法 | |
CN104698937B (zh) | 三维冲击记录仪及其记录方法 | |
CN102735178A (zh) | 一种基于比较测量法的滚动轴承外圈多参数自动测量系统 | |
CN101550566B (zh) | 一种氧化铝智能调节出料装置及自动控制方法 | |
CN212459073U (zh) | 一种可升降的机载气溶胶粒子垂直采样装置 | |
CN103754596B (zh) | 一种卷烟机组的喂丝机的烟丝输送控制装置 | |
CN108690895A (zh) | 高炉炉内物料跟踪方法及预警装置 | |
CN109947115A (zh) | 一种割草机控制系统及其控制方法 | |
CN114940358A (zh) | 一种煤炭码头电动料斗物料流量恒定智能控制系统及方法 | |
CN117145581B (zh) | 井下作业空间尘源智能识别-追踪精准降尘系统及方法 | |
CN116651306B (zh) | 一种智能焦煤配比系统 | |
CN209447038U (zh) | 一种割草机控制系统 | |
CN107570692A (zh) | 一种铸造工艺时间数据解析方法及其应用的监控系统 | |
CN201969694U (zh) | 一种大米整粒和碎粒自动分开装置 | |
CN103754634A (zh) | 食品分离装置 | |
CN112986105A (zh) | 一种基于机器视觉的液滴计数和速度测量方法 | |
CN113291865B (zh) | 洗选分厂全自动装车系统及方法 | |
CN206333359U (zh) | 一种基于工业相机的烟叶厚度监测装置 | |
CN111079548A (zh) | 基于目标高度信息和色彩信息的固废在线识别方法 | |
CN216925460U (zh) | 一种煤流检测装置及配煤系统 | |
CN212300547U (zh) | 一种煤粉流量偏差实时检测装置、制粉系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |