CN106951889A - 井下高危区域动目标监测和管理系统 - Google Patents
井下高危区域动目标监测和管理系统 Download PDFInfo
- Publication number
- CN106951889A CN106951889A CN201710367748.9A CN201710367748A CN106951889A CN 106951889 A CN106951889 A CN 106951889A CN 201710367748 A CN201710367748 A CN 201710367748A CN 106951889 A CN106951889 A CN 106951889A
- Authority
- CN
- China
- Prior art keywords
- image
- personnel
- high risk
- feature points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000012806 monitoring device Methods 0.000 claims abstract description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 18
- 238000007726 management method Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 210000003141 lower extremity Anatomy 0.000 claims description 7
- 210000001364 upper extremity Anatomy 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 4
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 claims description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims description 2
- 229910000037 hydrogen sulfide Inorganic materials 0.000 claims description 2
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 claims description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims 1
- 229910002091 carbon monoxide Inorganic materials 0.000 claims 1
- 238000003795 desorption Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000003245 coal Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007873 sieving Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种井下高危区域动目标监测和管理系统。所述系统包括：现场图像采集装置，用于采集所述井下高危区域的视频图像，对所述视频图像进行分析；人员定位装置，用于采集井下工作人员的实时位置信息；安全监控装置，布设于所述井下高危区域的关键位置，用于采集所述关键位置处的环境参数；所述后台分析设备，通过所述网络连接获取所述井下高危区域的现场采集图像、人员位置信息和环境信息，以及所述现场图像、人员、环境采集装置对所述现场采集信息的分析结果，并将所述现场采集信息及所述分析结果与预设的目标风险预控知识库进行比对。本发明实施例提供的井下高危区域动目标监测和管理系统实现了对井下高危区域运动目标的监测和预警。
Description
技术领域
本发明实施例涉及矿井安全监控技术领域，尤其涉及一种井下高危区域动目标监测和管理系统。
背景技术
随着对煤矿安全的重视程度日益提高及管控手段的不断加大，近年来，煤矿安全工作取得了显著成效，但是仍然没有彻底杜绝安全事故的发生，安全管理中还存在一定盲区和薄弱环节。特别是一些由于人员对危险源的辩识不到位、人员不安全行为导致的事故时有发生。现有的安全监控系统主要针对工作环境和设备进行监控，未对动目标的行为实施有效监控，只是单纯依靠管理人员现场检查发现，存在不全面、不及时的局限性。煤矿井下人员定位系统主要是对井下人员定位、考勤信息等进行实时上传和存储，没有进行分析处理和判断预警。综上，现有的系统满足不了高危区域动目标的监测和预警的需求。
发明内容
针对上述技术问题，本发明实施例提供了一种井下高危区域动目标监测和管理系统，以实现对井下高危区域运动目标的监测和预警。
一方面，本发明实施例提供了一种井下高危区域动目标监测和管理系统，所述系统包括：
现场图像采集装置，布设于需要监测的井下高危区域，用于采集所述井下高危区域的视频图像信息，对所述视频图像进行分析，并将所述视频图像及其分析结果传输至后台分析设备；
人员定位装置，由井下工作人员佩戴，用于采集井下工作人员的实时位置信息；
安全监控装置，布设于所述井下高危区域的关键位置，用于采集所述关键位置处的环境参数信息；
所述后台分析设备，与所述现场图像采集装置、所述人员定位装置以及所述安全监控装置之间均保持网络连接，通过所述网络连接获取所述井下高危区域的现场采集图像，所述人员定位装置采集的实时位置，以及所述安全监控装置采集的环境参数，并将所述现场采集图像、所述实时位置及所述环境参数的分析结果与预设的目标风险预控知识库进行比对，以得到人员和车辆等动目标的实时危险预警、人员出勤情况统计、车辆出入统计、车辆违章统计，以及违章关联分析。
另一方面，本发明实施例还提供一种井下目标图像识别方法，所述方法包括：
A.在相同的成像条件下，分别采集工作人员图像，并组成样本图像集；
B.对所述样本图像集中的图像进行分割，分别组成身躯样本图像集、上肢样本图像集、下肢样本图像集及头部样本图像集；
C.分别对所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集进行灰度化；
D.将所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集中的图像分别与高斯核函数进行卷积运算，以得到图像的多尺度空间；
E.将每个样本图像与相邻尺度图像做差，以得到高斯差分尺度空间；
F.将所述高斯差分尺度空间中的采样点，与预设大小像素块的邻域点和其上下尺度对应的预设大小像素块的邻域点进行比较，当所述采样点比邻域点均大或均小时，将该采样点选择为候选特征点；
G.对所述候选特征点，通过拟合三维二次方程和Hessian矩阵，剔除所述候选特征点中的低对比度点和边缘点，得到精确特征点；
H.计算所述精确特征点的梯度值及梯度方向；
I.通过统计预定圆域内各个像素的梯度值，绘制梯度直方图，其中，所述预定圆域以精确特征点为圆心；
J.根据所述梯度直方图，确定精确特征点的主方向；
K.以所述精确特征点为中心，以所述精确特征点的主方向为坐标轴方向，建立坐标系；
L.将所述高斯差分尺度空间中精确特征点预定大小的邻域空间中的像素点，分成预定大小的像素块，并将所述像素块按照其梯度，绘制成具有不同区间的梯度直方图；
M.从所述精确特征点中选取种子特征点，根据所述种子特征点的梯度直方图的统计信息，组成所述精确特征点的特征向量；
N.对所述特征向量进行规范化；
O.基于规范化之后的特征向量，建立精确特征点的精确特征描述子集合；
P.获取待识别图像，并对所述待识别图像重复C至U的操作，获取所述待识别图像的精确特征描述子集合；
Q.利用欧式距离求每个精确特征点的模值，并组成所述精确特征点的模值向量；
R.对所述待识别图像与样本图像集中的图像的模值向量根据杰卡德系数进行相似度度量，并将相似度最大的图像类别作为所述待识别图像的类别。
本发明实施例提供的井下高危区域动目标监测和管理系统，通过布设在井下高危区域的现场图像采集装置、人员定位装置、安全监控装置，以及与该现场图像、人员位置、环境参数采集装置之间存在网络连接的后台分析设备，实现了对井下高危区域内运动目标的监测和预警。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例提供的井下高危区域动目标监测和管理系统的系统架构图；
图2是本发明实施例提供的现场图像采集装置的逻辑结构图。
图3是本发明实施例提供的基于特征信息的模板匹配方式进行结构化的模板匹配图。
图4是本发明实施例提供的基于SIFT提取矿工区域特征的差分空间构建图。
图5是本发明实施例提供的基于SIFT提取矿工区域特征的特征向量形成图。
图6是本发明实施例提供的矿车图像识别的CNN结构图。
图7是本发明实施例提供的矿工图像识别的HOG特征提取过程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
本实施例提供了井下高危区域动目标监测和管理系统的一种技术方案。参见图1，在该技术方案中，所述井下高危区域动目标监测和管理系统包括：现场图像采集装置11、人员定位装置12、安全监控装置13，以及后台分析设备14。
现场图像采集装置11需要被布设在井下的高危作业区域，用于对这个区域的图像进行实时采集，实时分析，以及实时回传。
人员定位装置12由井下工作人员佩戴，用于采集井下工作人员的实时位置，以及数据的实时回传。
安全监控装置13，需要被布设在井下高危区域的关键位置，用于采集所述关键位置处的环境参数，以及数据的实时回传。
相对于现有的煤矿中采用的视频监控系统中的图像采集装置，本实施例提供的现场图像采集装置11有一个突出的特点，在于能够对采集到的实时图像进行实时的运动目标检测，以便从采集图像中分辨作业中的人员图像及车辆图像。具备上述特点之后，现场图像采集装置11能够将上述分析结果回传至远程设置的后台分析装置。这样后台分析装置能够根据现场图像采集装置11的分别结果做进一步的处理，得到对人员违规操作、出勤统计等其他进一步的分析结果。
图2示出了本实施例提供的现场图像采集装置11的一种结构。参见图2，现场图像采集装置11包括：图像采集单元21、处理芯片22，以及通讯芯片23。
图像采集单元21是专门用来现场图像采集的电路单元，一般会与静止的摄像头连接，完成图像采集。
处理芯片22与图像采集单元21连接，用于完成对现场采集图像的识别、分析。具体的，处理芯片22需要完成对采集图像中运动目标的检测。这些运动目标可以是现场的工作人员的图像，也可以是现场的作业车辆的图像。除了完成对运动目标的检测以外，处理芯片22还需要完成对人员图像进行行为识别，以便对人员的违章行为等特定行为进行识别。
更为具体的，处理芯片22采用逐像素统计建模方法进行背景建模和前景提取，实现快速、准确、鲁棒地检测和提取人员、车辆等动目标信息。
在识别人员图像时，处理芯片22通过结构化模板匹配的方式完成上述操作。结构化的模型不仅包含人体的整体信息，还包括人体各个部分的表观以及位置信息。通过以上的方法可以建立一个对人体具有判别能力的描述模型。利用上述模型，能够实现对人员图像的准确识别。
在本实施例中，如图3所示采用基于特征信息的模板匹配方式进行上述结构化的模板匹配。在上述描述模型中，采用Gabor特征表示人体的整体特征信息；采用改进的尺度不变特征变换(Scale-invariant feature transform,SIFT)特征表示人体各个部分的特征信息；采用各个部分之间的相对位置变化信息表示上述位置信息。
在执行上述模板匹配之初，如图3所示，首先利用基于灰度值的图像分割，确定人体图像的图像区域。然后对确定的图像区域，应用Gabor小波变换，提取Gabor特征。在基于提取到的Gabor特征，执行与模板图像的Gabor特征之间的全局特征匹配。
完成了全局特征的匹配之后，如图4与图5所示，在利用人体图像内部的灰度差异，将人体图像划分为不同的几个部分。然后对划分的各个部分，分别应用改进的SIFT提取特征，并基于提取到的特征进行与模板图像之间的特征匹配。
具体提取改进的SIFT特征方法如下：
A.在相同成像条件下，分别采集工作人员图像，并组成样本图像集E；
B.如图4所示，对所述的图像集E中的图像中工作人员的进行分割，并分别组成身躯样本图像集A(身躯)、工作人员的上肢样本图像集B(手臂)、工作人员的下肢样本图像集C、工作人员的头部样本图像集D；
C.分别对所述样本图像集A、B、C、D中的图像灰度化；
D.如图4所示，对所述灰度化后的样本图像集A、B、C、D中每个样本图像分别与高斯核函数进行卷积运算，通过改变高斯核函数中的σ来得到图像的多尺度空间，其中x表示与中心点之间水平方向的距离，y表示与中心点之间竖直方向的距离，σ表示高斯函数的宽度参数；
E.如图4所示，对所述灰度化后的样本图像集A、B、C、D中每个样本图像的相邻尺度图像做差计算得到高斯差分尺度空间，即公式表示为 其中I(x，y)表示输入图像，k表示两相邻尺度空间倍数的常数；对所述的样本图像集A、B、C、D中的图像的差分空间，其中尺度空间可分为o阶，每一阶有s层。所述样本图像集中的图像的尺度因子σ逐个以常数k倍递增，即当前的尺度因子若是为σ，则下一层的尺度因子为kσ，且k＝21/s；
F.如图4所示，对所述的样本图像集A、B、C、D中的图像的差分空间的图像，对所述图像的采样点的3×3像素块的8邻域点和其上下尺度对应的3×3像素块的9邻域点组成的共26邻域点做比较，当所述的采样点比26邻域点都大或都小时，所述的采样点就被选为候选特征点其中，σ表示特征点所在图像的尺度；
G.对所述的样本图像集A、B、C、D中的图像的差分空间图像筛选出来的候选特征点通过拟合三维二次方程的方法和Hessian矩阵，剔除候选特征点中的低对比度点和边缘相应点，得到精确特征点X＝(x,y,σ)T；
H.对所述的样本图像集A、B、C、D中的图像的差分空间图像筛选出来的精确特征点X，通过与θ(x,y)＝arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))计算精确特征点X的梯度值m(x,y)与梯度方向θ(x,y)，其中L(x,y)表示(x,y)位置处的灰度值；
I.如图5所示，对所述的样本图像集A、B、C、D中的图像的差分空间图像中的精确特征点，以此特征点为圆心，以r＝3*1.5*σ为半径，统计圆域内各个像素的梯度值，并绘制成36区间的梯度直方图，由于远离精确特征点的像素点对精确特征点的方向的影响小，靠近精确特征点的像素点对精确特征点的方向影响大，因此，在统计梯度直方图信息时，对相邻的3个像素点采用[0.25,0.5,0.25]的模板进行高斯加权，并连续加权两次；
J.对所述的样本图像集A、B、C、D中的图像差分空间图像的精确特征点的梯度直方图，确定其特征点的方向，主要判断标准：梯度直方图的峰值处为精确特征点主方向，当梯度直方图中存在另外的相当于主峰值的80％的峰值时，将此方向判定为此精确特征点的辅助方向；
K.如图5所示，对所述的样本图像集A、B、C、D中的图像查分空间图像的精确特征点，以精确特征点为中心取16×16的的邻域作为采样空间，并以精确特征点为中心建立坐标系，且把坐标轴旋转为精确特征点的主方向；
L.如图5所示，对所述的样本图像集A、B、C、D中的图像查分空间图像的精确特征点的16×16的的邻域空间中像素点，按4×4大小分成16个像素块，并把像素块按其梯度，绘制成16个8区间的梯度直方图，且由于远离精确特征点的像素点对精确特征点的方向的影响小，靠近精确特征点的像素点对精确特征点的方向影响大，因此，在统计梯度直方图信息时，对相邻的3个像素点采用[0.25,0.5,0.25]的模板进行高斯加权；
M.如图5所示，对所述的样本图像集A、B、C、D中的图像查分空间图像的精确特征点的16个种子特征点，按照其梯度直方图的统计信息，组成描述精确特征点的128维的特征向量W＝(w1，w2，w3，…，w128)；
N.对所述的样本图像集A、B、C、D中的图像查分空间图像的精确特征点的特征向量W＝(w1，w2，w3，…，w128)进行规范化，规范后的精确特征点的规范特征向量为L＝(l1，l2，l3，…，l128)，其中于规范公式是：
其中j表示第j维特征值，i表示第i维特征值；
O.对所述的样本图像集A、B、C、D中的图像差分空间图像的精确特征点分别建立精确特征点描述子集合A1:{a1,a2,...,am}、B1:{b1,b2,...,bn}、C1:{c1,c2,...,cs}、D1:{d1,d2,..,dt}；
P.对于待识别的图像X，经过步骤C、D、E、F、G、H、I、J、K、L、M、N、O得到其精确特征点描述子集合X1:{x1,x2,...,xu}；
Q.对于待识别图像X的精确特征点描述子集合X1:{x1,x2,...,xu}，我们利用欧式距离求子集合X1中每个特征点的模值，然后组成特征点的模值向量根据同样的方式，我们分别求得精确特征点描述子集合A1、B1、C1、D1的模值向量
R.对于所述的待识别图像X与样本图像集中A、B、C、D中的模值向量分别根据杰卡德系数进行相似性度量，即求得 我们对这4个值进行比较，待识别图像与样本图像集A、B、C、D的杰卡德系数最大的图像类别赋予待识别图像的类别。
在识别车辆图像时，处理芯片22使用更为精细的细粒度视觉特征进行对车辆图像特征描述。具体的，如图6所示，利用一个卷积神经网络来表示上述的细粒度视觉特征。之所以这样做的原因在于，车辆的种类较多，颜色也受光照影响较大，如果提取的视觉特征的粒度不够细，难免会出现对车辆图像的漏识别及误识别。
具体利用卷积神经网络提取特征的方法如下：
A.一种基于CNN(Convolutional Neural Network)矿车图像的识别方法采用的CNN结构特征如图6所示：卷积神经网络由K个卷积层、k-1个子采样层、1个全连接层、1个softmax层构成。其中，神经元的激活函数采用sigmoid函数。输入设置为1000×1000的灰度图像，卷积层中的图像中的矩形边长为5×5表示该卷积层的局部感受域的大小，矩形的个数表示该卷积层特征映射的个数；子采样层中矩形边长为2×2表示该采样层的采样大小。本发明中全连接层的神经元的个数设置为160，并将160个神经元的激活值经过二值化后，作为矿车图像的特征向量。
B.在相同成像条件下，分别采集已知a类矿车图像集、b类矿车图像集、c类矿车图像集和d类矿车图像集。
C.对所述的各类矿车样本图像集作为输入图像，输入CNN卷积神经网络进行训练，并使用欧式距离作为判断依据。
D.对于待识别图像x，经过CNN以后，得到矿车图像的二值特征向量P，并采用欧式距离进行判断。
除了上面描述的对采集图像中各种运动对象的检测和识别之外，处理芯片22还需要完成对人员图像的行为识别。所谓行为识别，主要集中在对人员违章行为的识别。具体的，处理芯片22采用时域空域特征结合的方法，对人员图像进行行为识别。
方向梯度直方图HOG(Histogram of gradient)特征可以有效的描述视觉图像中各种物体或者人体的外观轮廓，并具有很高的鲁棒性。因此，如图7所示，处理芯片22实时计算采集到的实时图像的HOG，并将实时计算得到的HOG与目标HOG进行匹配，以完成对人员图像的行为识别。
具体利用HOG特征提取特征的方法如下：
上述对实时图像采集HOG特征的包括以下步骤：
A.在相同成像条件下，分别采集一组已知有工作人员的图像集A(正样本)和无工作人员的图像集B(负样本)；
B.如图7所示，对采集到的正样本图像进行标注，即对采集到的正样本的工作人员的区域标注一个的矩形，并截取正样本图像集中标注区域的内容并压缩到统一尺寸128×64，并形成标准的正样本集A1；
C.对采集到的负样本图像随机截取128×64大小的图像，并形成标准的负样本集B1；
D.对所述的标准的正样本集A1和标准的负样本集B1分别进行灰度化；
E.如图7所示，对所述的灰度化后标准样本集A1和标准样本集B1中的每个样本图像，分别求其各个像素的梯度(大小和方向)；
F.如图7所示，对所述的灰度化后标准样本集A1和标准样本集B1中的每个样本图像，分别以8×8大小的像素块组成细胞单元，并以9区间直方图统计细胞单元中的梯度信息，并根据梯度直方图信息组成9维的特征向量L1；
G.如图7所示，对所述的灰度化后标准样本集A1和标准样本集B1中的每个样本图像的细胞单元，分别以2×2大小的细胞块组成区域单元，并把区域单元中的4个细胞单元的特征向量L1串接成区域单元的特征向量L2；
H.如图7所示，对所述的灰度化后标准样本集A1和标准样本集B1中的每个样本图像的所有区域单元的特征向量L2串接成样本图像的特征向量L；
I.对所述的灰度化后标准样本集A1和标准样本集B1分别得到的特征向量进行汇总，分别得到正样本的模板特征矩阵和负样本的模板特征矩阵；
J.对于待识别图像X，以大小为128×64的窗口滑动，并按照步骤D、E、F、G提取特征向量，以此判断检测窗口是否有工作人员。
处理芯片22可以是现场可编程门阵列FPGA(Field programmable gate array)，也可以是数字信号处理器DSP(Digital signal processor)，或者上述二者的结合。当采用二者结合的方式时，可以利用DSP并行计算性能较好的特点，将计算量较大的运动目标识别的计算任务迁移至DSP，同时仍然由FPGA完成其他的计算任务。
通讯芯片23用于对上述采集图像，以及对上述采用图像的分析结果信号进行编码，并将编码后的信号通过无线网络传输至后台分析装置12。更为具体的，通讯芯片23需要对编码后的信号进行调制，再将调制信号通过无线连接发送至后台分析装置14。
人员定位装置12由在井下进行采掘作业的作业人员佩戴，能够实时的人员进行精确定位。完成对人员的精确定位之后，人员定位装置12能够利用自身与后台分析设备14之间的网络连接，将实时确定的定位位置回传至后台分析设备14。
安全监控装置13是指布设在井下一些关键位置上的，用于采集环境参数的装置。这些环境参数可以有：甲烷浓度、一氧化碳浓度、风速、风压、温度、湿度、二氧化氮、硫化氢、二氧化硫、烟雾、馈电状态、风门状态、风筒状态、局部通风机开停、主通风机开停。安全监控装置13采集到这些环境参数后，将采集到的环境参数回传至后台分析设备14，后台分析设备14能够对关键位置当地的作业环境进行判断，以便决定是否发出安全警报。具体的，后台分析设备14在获取到回传的上述环境参数，可以根据这些环境参数与预置的目标风险预控知识库的信息比对，判定关键位置上是否存在安全隐患。
后台分析设备14接收到通讯芯片23发送的采集图像信号及分析结果信号之后，将所述现场采集图像、所述分析结果、人员位置信息、安全监控信息与预设的目标风险预控知识库进行比对，以得到人员出勤情况统计、车辆出入统计、车辆违章统计，以及违章关联分析。采用预设的目标风险预控知识库之后，后台分析装置14能够有效的对井下危险区域人员进行管理，以及对安全生产提供决策支持。
后台分析设备14上运行的管理决策逻辑主要包括：生产期间人员进出危险区域预警，主要使用人体检测与跟踪发现人，进而利用标定的危险区域位置与人的位置相互关系，进行距离判断，进而视情况发出预警。
管理人员跟班、值班考勤情况，主要使用人体检测算法获取相关人员在各个场合的出现情况，然后结合其它身份识别的方法进行精细化的身份识别，从而自动统计人员的考勤。
特定区域工作人员在岗情况，主要使用人体检测算法获取相关人的在各个场合的出现情况(如空岗)，进而利用人体行为分析算法进行在岗人员的行为分析(如睡岗)，然后视情况发出警告信息等。
人员和车辆出入统计、抓拍、识别，主要使用人体检测、跟踪算法和车辆检测、跟踪算法获取相关人员和车辆在各出入口的出现情况，进而进行统计、识别与抓拍。
违章人员/车辆关联分析，在人体检测、身份识别与车辆检测识别的基础上，对人员与车辆出现的时空信息进行数据库存储与关联查询，自动生成查询报告。
违章高危地点、人员、区域、时间的挖掘分析，利用事件分析算法，结合人体检测和身份识别的结果，建立语义事件数据库，支持事件的时空快速查询，并可自动生成报告。
违章事件、人员分析报告，在人体检测、跟踪与事件分析的基础上，自动生成违章分析报告。
采用本实施例提供的井下高危区域动目标监测和管理系统，能够大大提高目标风险的识别准确率。采用该系统之后，识别成功率大于98％，识别成功情况下耗时小于2秒，实现了准确、高效的危险区域动目标监测和管理。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种井下高危区域动目标监测和管理系统，其特征在于，包括：
现场图像采集装置，布设于需要监测的井下高危区域，用于采集所述井下高危区域的视频图像信息，对所述视频图像进行分析，并将所述视频图像及其分析结果传输至后台分析设备；
人员定位装置，由井下工作人员佩戴，用于采集井下工作人员的实时位置信息；
安全监控装置，布设于所述井下高危区域的关键位置，用于采集所述关键位置处的环境参数信息；
所述后台分析设备，与所述现场图像采集装置、所述人员定位装置以及所述安全监控装置之间均保持网络连接，通过所述网络连接获取所述井下高危区域的现场采集图像，所述人员定位装置采集的实时位置，以及所述安全监控装置采集的环境参数，并将所述现场采集图像、所述实时位置及所述环境参数的分析结果与预设的目标风险预控知识库进行比对，以得到人员和车辆等动目标的实时危险预警、人员出勤情况统计、车辆出入统计、车辆违章统计，以及违章关联分析。
2.根据权利要求1所述的系统，其特征在于，所述现场图像采集装置包括：
图像采集单元，用于采集所述井下高危区域的所述视频图像；
处理芯片，与所述图像采集卡连接，用于通过运动目标检测由所述视频图像中检测出运动的人员图像或者车辆图像，并对所述人员图像进行行为分析；
通讯芯片，与所述处理芯片连接，用于将所述视频图像及对所述视频图像的分析结果传输至所述后台分析设备。
3.根据权利要求2所述的系统，其特征在于，所述处理芯片包括：现场可编程门阵列FPGA，和/或数字信号处理器DSP。
4.根据权利要求2所述的系统，其特征在于，所述处理芯片通过背景建模及前景检测，将可能的运动目标图像与背景图像分离，其中，所述运动目标图像包括所述人员图像及所述车辆图像。
5.根据权利要求2所述的系统，其特征在于，所述处理芯片通过结构化的模板匹配进行所述人员图像的识别。
6.根据权利要求2所述的系统，其特征在于，所述处理芯片通过预置的卷积神经网络进行所述车辆图像的识别。
7.根据权利要求2所述的系统，其特征在于，所述处理芯片通过方向梯度直方图对所述人员和车辆等动目标图像进行行为分析。
8.根据权利要求2所述的系统，其特征在于，所述通讯芯片具体用于对经过压缩编码后的视频图像，以及所述视频图像的分析结果进行调制，再将调制信号通过与所述后台分析设备之间的无线网络连接传输至所述后台分析设备。
9.根据权利要求1所述的系统，其特征在于，所述环境参数包括：甲烷浓度、一氧化碳浓度、风速、风压、温度、湿度、二氧化氮、硫化氢、二氧化硫、烟雾、馈电状态、风门状态、风筒状态、局部通风机开停、主通风机开停。
10.一种井下目标图像识别方法，其特征在于，包括：
A.在相同的成像条件下，分别采集工作人员图像，并组成样本图像集；
B.对所述样本图像集中的图像进行分割，分别组成身躯样本图像集、上肢样本图像集、下肢样本图像集及头部样本图像集；
C.分别对所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集进行灰度化；
D.将所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集中的图像分别与高斯核函数进行卷积运算，以得到图像的多尺度空间；
E.将每个样本图像与相邻尺度图像做差，以得到高斯差分尺度空间；
F.将所述高斯差分尺度空间中的采样点，与预设大小像素块的邻域点和其上下尺度对应的预设大小像素块的邻域点进行比较，当所述采样点比邻域点均大或均小时，将该采样点选择为候选特征点；
G.对所述候选特征点，通过拟合三维二次方程和Hessian矩阵，剔除所述候选特征点中的低对比度点和边缘点，得到精确特征点；
H.计算所述精确特征点的梯度值及梯度方向；
I.通过统计预定圆域内各个像素的梯度值，绘制梯度直方图，其中，所述预定圆域以精确特征点为圆心；
J.根据所述梯度直方图，确定精确特征点的主方向；
K.以所述精确特征点为中心，以所述精确特征点的主方向为坐标轴方向，建立坐标系；
L.将所述高斯差分尺度空间中精确特征点预定大小的邻域空间中的像素点，分成预定大小的像素块，并将所述像素块按照其梯度，绘制成具有不同区间的梯度直方图；
M.从所述精确特征点中选取种子特征点，根据所述种子特征点的梯度直方图的统计信息，组成所述精确特征点的特征向量；
N.对所述特征向量进行规范化；
O.基于规范化之后的特征向量，建立精确特征点的精确特征描述子集合；
P.获取待识别图像，并对所述待识别图像重复C至U的操作，获取所述待识别图像的精确特征描述子集合；
Q.利用欧式距离求每个精确特征点的模值，并组成所述精确特征点的模值向量；
R.对所述待识别图像与样本图像集中的图像的模值向量根据杰卡德系数进行相似度度量，并将相似度最大的图像类别作为所述待识别图像的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710367748.9A CN106951889A (zh) | 2017-05-23 | 2017-05-23 | 井下高危区域动目标监测和管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710367748.9A CN106951889A (zh) | 2017-05-23 | 2017-05-23 | 井下高危区域动目标监测和管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106951889A true CN106951889A (zh) | 2017-07-14 |
Family
ID=59480379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710367748.9A Pending CN106951889A (zh) | 2017-05-23 | 2017-05-23 | 井下高危区域动目标监测和管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106951889A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886543A (zh) * | 2017-11-07 | 2018-04-06 | 煤炭科学技术研究院有限公司 | 一种矿井人员定位方法及装置 |
| CN108009497A (zh) * | 2017-11-30 | 2018-05-08 | 深圳中兴网信科技有限公司 | 图像识别监控方法、系统、计算设备以及可读存储介质 |
| CN108133178A (zh) * | 2017-12-08 | 2018-06-08 | 重庆广睿达科技有限公司 | 一种基于图像识别的智能环境监控系统与方法 |
| CN109948500A (zh) * | 2019-03-13 | 2019-06-28 | 西安科技大学 | 一种用于煤矿的精确监测人员进出的方法 |
| CN109974771A (zh) * | 2017-12-28 | 2019-07-05 | 北京元正数据科技有限公司 | 一种监控井下环境的方法、装置及系统 |
| CN110007272A (zh) * | 2019-04-19 | 2019-07-12 | 中国矿业大学(北京) | 一种井下动目标精确定位方法 |
| CN110259514A (zh) * | 2019-05-31 | 2019-09-20 | 中国神华能源股份有限公司 | 危险区域人员预警方法、存储介质、电子设备和预警系统 |
| CN110359960A (zh) * | 2019-07-24 | 2019-10-22 | 精英数智科技股份有限公司 | 一种用于煤矿转载机推移的安全报警方法及设备 |
| CN110717449A (zh) * | 2019-10-09 | 2020-01-21 | 上海眼控科技股份有限公司 | 车辆年检人员的行为检测方法、装置和计算机设备 |
| CN111667380A (zh) * | 2020-06-05 | 2020-09-15 | 中国石油天然气集团有限公司 | 一种用于油气井抢险的切割可视化辅助装置及方法 |
| CN111814711A (zh) * | 2020-07-15 | 2020-10-23 | 中国矿业大学 | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 |
| CN111965726A (zh) * | 2020-08-12 | 2020-11-20 | 浙江科技学院 | 一种用于核电安全的进出场器物检查系统及方法 |
| CN112418717A (zh) * | 2020-12-07 | 2021-02-26 | 国网山东省电力公司经济技术研究院 | 基于人工智能的工程现场人员行为预警方法和系统 |
| CN116844116A (zh) * | 2023-09-01 | 2023-10-03 | 山东乐普矿用设备股份有限公司 | 基于照明控制体系的井下综合安全监控系统 |
| CN118071112A (zh) * | 2024-04-17 | 2024-05-24 | 中网华信科技股份有限公司 | 一种基于语音交互和大模型的指挥调度系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077383A (zh) * | 2013-01-09 | 2013-05-01 | 西安电子科技大学 | 基于时空梯度特征的分部位的人体运动识别方法 |
| CN103761523A (zh) * | 2014-01-02 | 2014-04-30 | 北京理工大学 | 一种机载遥感视频特定人造区域自动识别跟踪方法 |
| CN105550381A (zh) * | 2016-03-17 | 2016-05-04 | 北京工业大学 | 一种基于改进sift特征的高效图像检索方法 |
| CN106228122A (zh) * | 2016-07-15 | 2016-12-14 | 哈尔滨工业大学 | 基于集合相似度的行星表面特征匹配方法 |
-
2017
- 2017-05-23 CN CN201710367748.9A patent/CN106951889A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077383A (zh) * | 2013-01-09 | 2013-05-01 | 西安电子科技大学 | 基于时空梯度特征的分部位的人体运动识别方法 |
| CN103761523A (zh) * | 2014-01-02 | 2014-04-30 | 北京理工大学 | 一种机载遥感视频特定人造区域自动识别跟踪方法 |
| CN105550381A (zh) * | 2016-03-17 | 2016-05-04 | 北京工业大学 | 一种基于改进sift特征的高效图像检索方法 |
| CN106228122A (zh) * | 2016-07-15 | 2016-12-14 | 哈尔滨工业大学 | 基于集合相似度的行星表面特征匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘香兰等: "基于物联网的煤矿瓦斯爆炸动态安全预警系统的设计研究", 《煤炭工程》 * |
| 钟露明: "基于SIFT动态背景下的视频目标跟踪方法", 《南昌工程学院学报》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886543A (zh) * | 2017-11-07 | 2018-04-06 | 煤炭科学技术研究院有限公司 | 一种矿井人员定位方法及装置 |
| CN108009497A (zh) * | 2017-11-30 | 2018-05-08 | 深圳中兴网信科技有限公司 | 图像识别监控方法、系统、计算设备以及可读存储介质 |
| WO2019105131A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳中兴网信科技有限公司 | 用于监控的图像识别方法及系统、计算设备以及可读存储介质 |
| CN108133178A (zh) * | 2017-12-08 | 2018-06-08 | 重庆广睿达科技有限公司 | 一种基于图像识别的智能环境监控系统与方法 |
| CN109974771A (zh) * | 2017-12-28 | 2019-07-05 | 北京元正数据科技有限公司 | 一种监控井下环境的方法、装置及系统 |
| CN109948500B (zh) * | 2019-03-13 | 2022-12-27 | 西安科技大学 | 一种用于煤矿的精确监测人员进出的方法 |
| CN109948500A (zh) * | 2019-03-13 | 2019-06-28 | 西安科技大学 | 一种用于煤矿的精确监测人员进出的方法 |
| CN110007272A (zh) * | 2019-04-19 | 2019-07-12 | 中国矿业大学(北京) | 一种井下动目标精确定位方法 |
| CN110259514A (zh) * | 2019-05-31 | 2019-09-20 | 中国神华能源股份有限公司 | 危险区域人员预警方法、存储介质、电子设备和预警系统 |
| CN110359960A (zh) * | 2019-07-24 | 2019-10-22 | 精英数智科技股份有限公司 | 一种用于煤矿转载机推移的安全报警方法及设备 |
| CN110717449A (zh) * | 2019-10-09 | 2020-01-21 | 上海眼控科技股份有限公司 | 车辆年检人员的行为检测方法、装置和计算机设备 |
| CN111667380A (zh) * | 2020-06-05 | 2020-09-15 | 中国石油天然气集团有限公司 | 一种用于油气井抢险的切割可视化辅助装置及方法 |
| CN111814711A (zh) * | 2020-07-15 | 2020-10-23 | 中国矿业大学 | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 |
| CN111814711B (zh) * | 2020-07-15 | 2023-08-08 | 中国矿业大学 | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 |
| CN111965726A (zh) * | 2020-08-12 | 2020-11-20 | 浙江科技学院 | 一种用于核电安全的进出场器物检查系统及方法 |
| CN111965726B (zh) * | 2020-08-12 | 2023-09-08 | 浙江科技学院 | 一种用于核电安全的进出场器物检查系统及方法 |
| CN112418717A (zh) * | 2020-12-07 | 2021-02-26 | 国网山东省电力公司经济技术研究院 | 基于人工智能的工程现场人员行为预警方法和系统 |
| CN116844116A (zh) * | 2023-09-01 | 2023-10-03 | 山东乐普矿用设备股份有限公司 | 基于照明控制体系的井下综合安全监控系统 |
| CN116844116B (zh) * | 2023-09-01 | 2023-12-05 | 山东乐普矿用设备股份有限公司 | 基于照明控制体系的井下综合安全监控系统 |
| CN118071112A (zh) * | 2024-04-17 | 2024-05-24 | 中网华信科技股份有限公司 | 一种基于语音交互和大模型的指挥调度系统 |
| CN118071112B (zh) * | 2024-04-17 | 2024-06-25 | 中网华信科技股份有限公司 | 一种基于语音交互和大模型的指挥调度系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106951889A (zh) | 井下高危区域动目标监测和管理系统 | |
| CN103069434B (zh) | 用于多模式视频事件索引的方法和系统 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| Golparvar-Fard et al. | Vision-based action recognition of earthmoving equipment using spatio-temporal features and support vector machine classifiers | |
| US8744125B2 (en) | Clustering-based object classification | |
| CN107145851A (zh) | 建筑作业区危险源智能识别系统 | |
| US9412025B2 (en) | Systems and methods to classify moving airplanes in airports | |
| CN108038424B (zh) | 一种适用于高空作业的视觉自动化检测方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN103914702A (zh) | 用于提高视频中的对象检测性能的系统和方法 | |
| CN109829382B (zh) | 基于行为特征智能分析的异常目标预警追踪系统及方法 | |
| Soilán et al. | Semantic segmentation of point clouds with pointnet and kpconv architectures applied to railway tunnels | |
| CN115761537B (zh) | 一种面向动态特征补充机制的输电线路异物入侵识别方法 | |
| CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
| CN111681382A (zh) | 一种基于视觉分析检测施工现场跨越临时围栏的方法 | |
| CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
| CN117437599B (zh) | 面向监控场景的行人异常事件检测方法和系统 | |
| Kongurgsa et al. | Real-time intrusion—detecting and alert system by image processing techniques | |
| CN116311078A (zh) | 一种林火分析及监测方法、系统 | |
| CN111582084A (zh) | 基于弱监督学习的空基视角下的铁轨异物检测方法及系统 | |
| Tao et al. | Smoky vehicle detection based on multi-feature fusion and ensemble neural networks | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN112308032A (zh) | 一种视频检测的井下风门智能协同联动控制方法 | |
| Guo et al. | Surface defect detection of civil structures using images: Review from data perspective | |
| Saini et al. | DroneRTEF: development of a novel adaptive framework for railroad track extraction in drone images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170714 |