CN111178244A - 一种异常生产场景的识别方法 - Google Patents

一种异常生产场景的识别方法 Download PDF

Info

Publication number
CN111178244A
CN111178244A CN201911379226.6A CN201911379226A CN111178244A CN 111178244 A CN111178244 A CN 111178244A CN 201911379226 A CN201911379226 A CN 201911379226A CN 111178244 A CN111178244 A CN 111178244A
Authority
CN
China
Prior art keywords
key
scene image
sift feature
identified
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911379226.6A
Other languages
English (en)
Other versions
CN111178244B (zh
Inventor
刘敬
周海伦
安俊君
施子楷
韩东平
林娜
孙春阳
郑旭
梁玉
张银萍
李少英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shougang Automation Information Technology Co Ltd
Original Assignee
Beijing Shougang Automation Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shougang Automation Information Technology Co Ltd filed Critical Beijing Shougang Automation Information Technology Co Ltd
Priority to CN201911379226.6A priority Critical patent/CN111178244B/zh
Publication of CN111178244A publication Critical patent/CN111178244A/zh
Application granted granted Critical
Publication of CN111178244B publication Critical patent/CN111178244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异常生产场景的识别方法,包括:获取第一运行部位的待识别场景图像;基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量;获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,N为正整数;基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,发出预警信息。本申请解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。

Description

一种异常生产场景的识别方法
技术领域
本发明涉及钢卷生产线智能监控的技术领域,尤其涉及一种异常生产场景的识别方法。
背景技术
冶金行业生产线目前使用的视频监控系统,具有摄像、传输、显示、记录等功能,通过布置于钢卷生产线上的图像采集设备对现场的生产场景的空间结构进行实时图像的采集,并将采集到的实时图像通过网络传输到后台进行显示和记录,操作人员根据实时图像对生产线进行远程监控。
此种传统监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,需要操作人员人眼随时观测实时图像,对监控场景中的变化进行定位、识别和跟踪,一旦发生状态,需要立即做出调控,导致操作人员工作量巨大;同时,若操作人员未发现生产场景的空间结构异常,容易导致废钢率增加。
发明内容
本申请实施例通过提供一种异常生产场景的识别方法,解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。
第一方面,本申请通过本申请的一实施例提供如下技术方案:
一种异常生产场景的识别方法,包括:获取第一运行部位的待识别场景图像;基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,发出预警信息。
在一个实施例中,所述基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度,具体包括:利用SIFT-Flow算法、所述关键SIFT特征向量及所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
在一个实施例中,所述利用SIFT-Flow算法、所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度,具体包括:基于所述关键SIFT特征向量与所述第一SIFT特征向量之间的相似度,确定出所述待识别场景图像与所述标准场景图像中的相似关键点;获取所述待识别场景图像与所述标准场景图像中所述相似关键点的水平位移差和竖直位移差,分别得到水平位移匹配矢量矩阵和竖直位移匹配矢量矩阵;基于所述水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
在一个实施例中,所述获取第一运行部位的待识别场景图像,具体包括:通过OPCserver监测PLC控制程序中的第一自动步信号对应的第一状态数据,其中,所述第一自动步信号用于标识所述第一运行部位,所述第一状态数据用于表征所述第一运行部位处于运行状态;当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像。
在一个实施例中,所述获取所述第一运行部位对应的第一关键视觉词典,具体包括:基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典,其中,所述标准场景图像库中存储有所述第一关键视觉词典,所述第一关键视觉词典标识有所述第一自动步信号;所述基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典之前,还包括:构建所述标准场景图像库。
在一个实施例中,所述构建所述标准场景图像库,具体包括:在生产线正常运行过程中,通过OPCserver监测PLC控制程序中所述第一自动步信号对应的第一状态数据;当监测到所述第一状态数据时,通过设置在所述第一自动步信号对应的所述第一运行部位的所述第一图像采集装置,以预设频率抓拍所述第一运行部位的Q个正常场景图像,构建所述第一运行部位的第一基础图像序列集,并基于所述第一自动步信号,对所述第一基础图像序列集进行标识后存储;基于SIFT算法,对所述第一基础图像序列集中的所述Q个正常场景图像进行特征提取,获得M个第二SIFT特征向量,基于所述M个第二SIFT特征向量,构建第一视觉词典,并基于所述第一自动步信号,对所述第一视觉词典进行标识,Q为正整数;基于K-means聚类方法,对所述第一视觉词典中的所述M个第二SIFT特征向量进行聚类,获得所述N个关键SIFT特征向量,基于所述N个关键SIFT特征向量,构建所述第一运行部位对应的所述第一关键视觉词典,并基于所述第一自动步信号,对所述第一关键视觉词典进行标识,形成所述第一关键视觉词典,M为大于或等于N正整数;将形成的所述第一关键视觉词典存储,形成所述标准场景图像库。
在一个实施例中,在所述当所述匹配度低于预设阈值时,发出预警信息之后,还包括:获取第一核检信息,所述第一核检信息为操作人员对所述待识别场景图像的运行状态是否异常进行核检判定后反馈的信息;判断所述第一核检信息是否表征所述待识别场景图像属于正常运行状态;若是,基于所述第一SIFT特征向量,更新所述第一运行部位的所述第一视觉词典;基于所述K-means聚类方法,对所述更新后的第一视觉词典进行聚类,更新所述第一关键视觉词典。
在一个实施例中,所述当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像之后,还包括:将所述第一运行部位的所述待识别场景图像输出到显示屏中进行显示。
第二方面,本申请通过本申请的一实施例提供如下技术方案:
一种异常生产场景的识别系统,包括:图像获取单元,用于获取第一运行部位的待识别场景图像;特征提取单元,基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;关键视觉词典获取单元,用于获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;异常生产场景识别单元,基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;预警单元,用于当所述匹配度低于预设阈值时,发出预警信息。
第三方面,本申请通过本申请的一实施例提供如下技术方案:
一种计算机存储介质,其上存储有计算机程序,包括:该程序被处理器执行时可以实现上述任一实施例所述的方法步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请通过获取第一运行部位的待识别场景图像,并基于SIFT算法提取待识别场景图像中的各个关键点对应的第一SIFT特征向量;基于提取待识别场景图像的第一SIFT特征向量和第一运行部位对应的标准场景图像的N个关键SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,说明待识别场景图像与标准场景图像不匹配,待识别场景图像为异常图像,对应的第一运行部位的生产场景的空间结构异常,发出预警信息进行预警,进而实现了异常生产场景的自动识别。本申请基于对待识别场景图像内容的提取,完成了后续异常的识别,解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请较佳实施例提供的一种异常生产场景的识别方法的流程图;
图2为本申请较佳实施例提供的一种异常生产场景的识别系统的结构框图;
图3为本申请较佳实施例提供的一种计算机存储介质的架构图。
具体实施方式
本申请实施例通过提供一种异常生产场景的识别方,解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。
本申请实施例的技术方案为解决上述技术问题,总体思路如下:
一种异常生产场景的识别方法,包括:获取第一运行部位的待识别场景图像;基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,发出预警信息。
本申请通过获取第一运行部位的待识别场景图像,并基于SIFT算法提取待识别场景图像中的各个关键点对应的第一SIFT特征向量;基于提取待识别场景图像的第一SIFT特征向量和第一运行部位对应的标准场景图像的N个关键SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,说明待识别场景图像与标准场景图像不匹配,待识别场景图像为异常图像,对应的第一运行部位的生产场景的空间结构异常,发出预警信息进行预警,进而实现了异常生产场景的自动识别。本申请基于对待识别场景图像内容的提取,完成了后续异常的识别,解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
如图1所示,本实施例提供了一种异常生产场景的识别方法,包括:
步骤S101:获取第一运行部位的待识别场景图像;
作为一种可选的实施例,所述步骤S101,具体包括:
通过OPCserver监测PLC控制程序中的第一自动步信号对应的第一状态数据,其中,所述第一自动步信号用于标识所述第一运行部位,所述第一状态数据用于表征所述第一运行部位处于运行状态;
当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像。
需要说明的是,第一自动步信号可以为PLC控制程序中用于指示钢卷生产线上第一运行部位的参数,第一运行部位可以为:卷取机、张力辊、轧机、酸洗槽、拉矫机等,第一状态数据为用于控制钢卷生产线上第一自动步信号指示的第一运行部位启动运行的参数,通常为1,例如:PLC控制程序中,控制卷取机运行的程序为:A卷取机=1,第一自动步信号为A卷取机,第一状态数据为1。通过在OPCserver中预先设置需要监测的第一自动步信号,即可通过OPCserver监测PLC控制程序中的第一自动步信号对应的第一状态数据。
步骤S102:基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;
具体的,特征提取过程:
(1)构建尺度空间,检测极值点,获得尺度不变性:首先构建高斯差分DoG金字塔,然后检测DoG空间的极值点,将每一个观测点同它所有临近的点比较,当一个检测点在相邻点中是最大值时,就将此检测点作为该尺度下图像的一个局部极值点。
(2)关键点过滤并进行精确定位:对步骤(1)中检测到的局部极值点通过曲线拟合来精确定位关键点的位置和尺度,除去低对比度的关键点和不稳定的边缘响应点;
(3)为关键点分配方向:基于图像局部的梯度方向分布特性,给每个关键点指定一个基准方向,使特征描述子具有旋转不变性;
(4)生成特征描述子:在以关键点为中心取4*4的邻域作为采样窗口内采样,并用8个bin的方向直方图统计邻域内像素的梯度和方向,定位出的关键点含有位置、尺度和方向信息,最后获得4×4×8的128维特征描述子,作为该待识别场景图像的第一SIFT特征向量。
需要说明的是,第一SIFT特征向量所表征的关键点对应的邻域,是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。因此,将这些具有高度辨识性的关键点对应的邻域的第一SIFT特征向量提取出来,能够精准描述待识别场景图像。后续基于待识别场景图像的第一SIFT特征向量和标准场景图像的相似的关键SIFT特征向量进行比较,就能够确定待识别场景图像和标准场景图像是否匹配。
步骤S103:获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;
需要说明的是,第一关键视觉词典采用基于K-means聚类算法的BOW(Bag OfWords)模型构建。
单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,那么,N个关键SIFT特征向量就表征了N个关键点,通过第一关键视觉词典的N个关键SIFT特征向量,能够精准定义第一运行部位的标准场景图像。需要说明的是,所谓的标准场景图像,而标准场景图像,是指第一运行部位在正常运行过程应有的场景图像,是通过N个关键SIFT特征向量所表征的虚拟场景图像,并不实际存在,表示第一运行部位处于正常运行状态时,应该包括所述N个关键SIFT特征向量。
作为一种可选的实施例,所述步骤S103,具体包括:
基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典,其中,所述标准场景图像库中存储有所述第一关键视觉词典,所述第一关键视觉词典标识有所述第一自动步信号;
所述基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典之前,还包括:
构建所述标准场景图像库。
需要说明的是,标准场景图像库除了存储第一运行部位的第一关键视觉词典外,还可以存储其他运行部位的其他关键视觉词典。
作为一种可选的实施例,所述构建所述标准场景图像库,具体包括:
在生产线正常运行过程中,通过OPCserver监测PLC控制程序中所述第一自动步信号对应的第一状态数据;
具体的,本实施例中建立标准场景图像库的训练集中的图像,一定是要保证在生产线正常运行过程中采集的,可通过操作人员识别生产线是否处于正常运行过程,进而控制OPCserver开始监测。
当监测到所述第一状态数据时,通过设置在所述第一自动步信号对应的所述第一运行部位的所述第一图像采集装置,以预设频率抓拍所述第一运行部位的Q个正常场景图像,构建所述第一运行部位的第一基础图像序列集,并基于所述第一自动步信号,对所述第一基础图像序列集进行标识后存储;
具体的,PLC控制程序中的第一自动步信号用于指示钢卷生产线上第一运行部位,因此,可以唯一标识钢卷生产线中的第一运行部位。本实施例中,以自动步信号为触发信号,对钢卷生产线中相应的运行部位的正常场景图像进行采集,后续能够基于自动步信号对前端图像采集装置采集的图片进行划分,将同一个运行部位的正常场景图像存储于同一基础图像序列集中,为后续为不同运行部位建立相应的关键视觉词典起了铺垫作用。
基于SIFT算法,对所述第一基础图像序列集中的所述Q个正常场景图像进行特征提取,获得M个第二SIFT特征向量,基于所述M个第二SIFT特征向量,构建第一视觉词典,并基于所述第一自动步信号,对所述第一视觉词典进行标识,Q为正整数;
具体的,正常场景图像为通过第一图像采集装置采集的第一运行部位的正常运行过程的场景图像,第二SIFT特征向量由于是基于第一运行部位的正常场景图像提取的,因此,能够表征第一运行部位的正常场景图像的关键点。
此处对Q个正常场景图像中每个正常场景图像进行特征提取的过程,和对待识别场景图像的特征提取过程一样,此处不再赘述。
基于K-means聚类方法,对所述第一视觉词典中的所述M个第二SIFT特征向量进行聚类,获得所述N个关键SIFT特征向量;基于所述N个关键SIFT特征向量,构建所述第一运行部位对应的所述第一关键视觉词典,所述第一关键视觉词典,并基于所述第一自动步信号,对所述第一关键视觉词典进行标识,形成所述第一关键视觉词典,M为大于或等于N正整数;
具体的,聚类过程如下:
(1)对于第一视觉词典中的M个第二SIFT特征向量{X1,X2,…,Xm},随机从中选取N个聚类中心{U1,U2,…,Un};
(2)对于每个第二SIFT特征向量Xi,1≤i≤m,将其标记为距离类别中心最近的类别,即根据K-Means算法进行聚类,即Ci=argmin‖Xi-Uj‖,1≤j≤n,即距离哪个聚类中心最近就划分到哪一簇中。然后每个聚类中心更新为该簇下所有第二SIFT特征向量的均值;然后重复步骤(2),直到每一聚类中心在迭代后变化不大为止。
需要说明的是,正常场景图像为通过第一图像采集装置采集的第一运行部位的正常运行过程中的实际场景图像;而标准场景图像,是指第一运行部位在正常运行过程应有的场景图像,是通过正常场景图像的M个第二SIFT特征向量聚类后形成的N个关键SIFT特征向量所表征的虚拟场景图像,并不实际存在,表示第一运行部位处于正常运行状态时,应该包括所述N个关键SIFT特征向量,聚类得到的第一关键视觉词典中的N个关键SIFT特征向量为标准场景图像最具代表性的关键特征。
将形成的所述第一关键视觉词典存储,形成所述标准场景图像库。
需要说明的是,标准场景图像库其他运行部位的其他关键视觉词典的构建过程和第一运行部位的第一关键视觉词典的构建过程一样。
步骤S104:基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;
具体的,由于SIFT特征向量所表征的关键点对应的邻域,是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。因此,将这些具有高度辨识性的关键点对应的邻域的SIFT特征向量提取出来,能够精准描述图像的关键点。
因此,第一SIFT特征向量能够准确描述待识别场景图像的关键点,关键SIFT特征向量能够准确描述标准场景图像的关键点,后续基于第一SIFT特征向量和关键SIFT特征向量进行比较,就能够确定待识别场景图像和标准场景图像的各关键点的匹配程度,若各关键点均达到预设的匹配程度,则说明待识别场景图像和标准场景图像匹配。
作为一种可选的实施例,所述步骤S104,具体包括:
利用SIFT-Flow算法、所述关键SIFT特征向量及所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
作为一种可选的实施例,所述利用SIFT-Flow算法、所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度,具体包括:
基于所述关键SIFT特征向量与所述第一SIFT特征向量之间的相似度,确定出所述待识别场景图像与所述标准场景图像中的相似关键点;
具体的,对于钢卷生产线上同一个运行部位的生产空间结构异常的异常场景图像和生产空间结构正常的正常场景图像,基于相同过程进行SIFT特征提取后,是存在维度相同的SIFT特征向量的,即用于描述第一运行部位的同一元素的SIFT特征向量,换而言之,描述第一运行部位的同一元素的关键SIFT特征向量与第一SIFT特征向量是具有高度相似性的,其相似度高于预设相似度阈值;本实施例中,第一SIFT特征向量与关键SIFT特征向量的相似度高于预设相似度阈值,说明第一关键SIFT特征向量对应的待识别场景图像的关键点、和关键SIFT特征向量对应的标准场景图像的关键点是相似的,均是描述第一运行部位的同一元素。
获取所述待识别场景图像与所述标准场景图像中所述相似关键点的水平位移差和竖直位移差,分别得到水平位移匹配矢量矩阵和竖直位移匹配矢量矩阵;
本实施例,针对描述第一运行部位同一元素的相似关键点,分别求取水平位移差和竖直位移差,就能够获得第一运行部位的同一元素在待识别场景图像中与标准场景图像中的位置偏差。针对N组相似关键点,分别求取水平位移差和竖直位移差,就能够代表各对相似关键点在待识别场景图像与标准场景图像中的位置偏差的水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵。
基于所述水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
具体的,基于SIFT-Flow算法对代表待识别场景图像中与标准场景图像中的所有相似关键点的位置偏差的水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵进行计算,评估各对相似关键点在待识别场景图像与标准场景图像中的整体位置偏差程度,进而得到所述待识别场景图像与所述标准场景图像的所述匹配度。
步骤S105:当所述匹配度低于预设阈值时,发出预警信息。
若所述匹配度低于预设阈值,说明待识别场景图像与标准场景图像中的各对相似关键点的整体位置偏差程度太大,待识别场景图像的生产空间结构处于异常状态,进行预警。通过本申请,实现生产线中重要操作部位运行异常场景的精准定位及判定,大幅降低因空间结构异常生产废钢的几率,提高视觉跟踪系统的识别精度和鲁棒性,有效辅助岗位日常工作,提升视频监控的目标化、自动化和智能化。
作为一种可选的实施例,在所述步骤S105之后,还包括:
获取第一核检信息,所述第一核检信息为操作人员对所述待识别场景图像的运行状态是否异常进行核检判定后反馈的信息;
判断所述第一核检信息是否表征所述待识别场景图像属于正常运行状态;
若是,基于所述第一SIFT特征向量,更新所述第一运行部位的所述第一视觉词典;
基于所述K-means聚类方法,对所述更新后的第一视觉词典进行聚类,更新所述第一关键视觉词典。
本实施例基于人工核检功能,实现第一关键视觉词典BOW模型的自训练功能,为异常生产场景的预判提供高质量的空间数据支撑。
作为一种可选的实施例,所述当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像之后,还包括:
将所述第一运行部位的所述待识别场景图像输出到显示屏中进行显示。
上述本申请实施例中的技术方案,至少具有如下的技术效果或优点:
本申请通过获取第一运行部位的待识别场景图像,并基于SIFT算法提取待识别场景图像中的各个关键点对应的第一SIFT特征向量;基于提取待识别场景图像的第一SIFT特征向量和第一运行部位对应的标准场景图像的N个关键SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,说明待识别场景图像与标准场景图像不匹配,待识别场景图像为异常图像,对应的第一运行部位的生产场景的空间结构异常,发出预警信息进行预警,进而实现了异常生产场景的自动识别。本申请基于对待识别场景图像内容的提取,完成了后续异常的识别,解决了传统钢铁生产线的监控方式,缺乏对图像数据的处理、分析和理解,对人工的依赖性很强,导致操作人员工作量巨大的技术问题。
实施例二
如图2所示,基于相同的发明构思,本实施例提供了一种异常生产场景的识别系统,包括:
图像获取单元201,用于获取第一运行部位的待识别场景图像;
特征提取单元202,基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;
关键视觉词典获取单元203,用于获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;
异常生产场景识别单元204,基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;
预警单元205,用于当所述匹配度低于预设阈值时,发出预警信息。
作为一种可选的实施例,所述异常生产场景识别单元204,具体用于:
利用SIFT-Flow算法、所述关键SIFT特征向量及所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
作为一种可选的实施例,所述异常生产场景识别单元204,具体用于:
基于所述关键SIFT特征向量与所述第一SIFT特征向量之间的相似度,确定出所述待识别场景图像与所述标准场景图像中的相似关键点;
获取所述待识别场景图像与所述标准场景图像中所述相似关键点的水平位移差和竖直位移差,分别得到水平位移匹配矢量矩阵和竖直位移匹配矢量矩阵;
基于所述水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
作为一种可选的实施例,所述图像获取单元201,具体用于:
通过OPCserver监测PLC控制程序中的第一自动步信号对应的第一状态数据,其中,所述第一自动步信号用于标识所述第一运行部位,所述第一状态数据用于表征所述第一运行部位处于运行状态;
当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像。
作为一种可选的实施例,所述关键视觉词典获取单元203,具体用于:
基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典,其中,所述标准场景图像库中存储有所述第一关键视觉词典,所述第一关键视觉词典标识有所述第一自动步信号;
所述识别系统还包括:标准场景图像库建立单元,所述标准场景图像库建立单元用于:
基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典之前,构建所述标准场景图像库。
作为一种可选的实施例,所述标准场景图像库建立单元,具体用于:
在生产线正常运行过程中,通过OPCserver监测PLC控制程序中所述第一自动步信号对应的第一状态数据;
当监测到所述第一状态数据时,通过设置在所述第一自动步信号对应的所述第一运行部位的所述第一图像采集装置,以预设频率抓拍所述第一运行部位的Q个正常场景图像,构建所述第一运行部位的第一基础图像序列集,并基于所述第一自动步信号,对所述第一基础图像序列集进行标识后存储;
基于SIFT算法,对所述第一基础图像序列集中的所述Q个正常场景图像进行特征提取,获得M个第二SIFT特征向量,基于所述M个第二SIFT特征向量,构建第一视觉词典,并基于所述第一自动步信号,对所述第一视觉词典进行标识,Q为正整数;
基于K-means聚类方法,对所述第一视觉词典中的所述M个第二SIFT特征向量进行聚类,获得所述N个关键SIFT特征向量,基于所述N个关键SIFT特征向量,构建所述第一运行部位对应的所述第一关键视觉词典,并基于所述第一自动步信号,对所述第一关键视觉词典进行标识,形成所述第一关键视觉词典,M为大于或等于N的正整数;
将形成的所述第一关键视觉词典存储,形成所述标准场景图像库。
作为一种可选的实施例,所述识别系统还包括:场景视觉库优化单元,所述场景视觉库优化单元用于:
所述当所述匹配度低于预设阈值时,发出预警信息之后,获取第一核检信息,所述第一核检信息为操作人员对所述待识别场景图像的运行状态是否异常进行核检判定后反馈的信息;
判断所述第一核检信息是否表征所述待识别场景图像属于正常运行状态;
若是,基于所述第一SIFT特征向量,更新所述第一运行部位的所述第一视觉词典;
基于所述K-means聚类方法,对所述更新后的第一视觉词典进行聚类,更新所述第一关键视觉词典。
作为一种可选的实施例,所述识别系统,还包括:输出单元,所述输出单元用于:
所述当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像之后,将所述第一运行部位的所述待识别场景图像输出到显示屏中进行显示。
实施例三
如图3所示,基于相同的发明构思,本实施例提供了一种计算机存储介质300,其上存储有计算机程序311,包括:该计算机程序311被处理器执行时可以实现以下步骤:
获取第一运行部位的待识别场景图像;基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;当所述匹配度低于预设阈值时,发出预警信息。
在具体实施过程中,该计算机程序311被处理器执行时,可以实现实施例一中的任一方法步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种异常生产场景的识别方法,其特征在于,包括:
获取第一运行部位的待识别场景图像;
基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;
获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;
基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;
当所述匹配度低于预设阈值时,发出预警信息。
2.如权利要求1所述的异常生产场景的识别方法,其特征在于,所述基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度,具体包括:
利用SIFT-Flow算法、所述关键SIFT特征向量及所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
3.如权利要求2所述的异常生产场景的识别方法,其特征在于,所述利用SIFT-Flow算法、所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的所述匹配度,具体包括:
基于所述关键SIFT特征向量与所述第一SIFT特征向量之间的相似度,确定出所述待识别场景图像与所述标准场景图像中的相似关键点;
获取所述待识别场景图像与所述标准场景图像中所述相似关键点的水平位移差和竖直位移差,分别得到水平位移匹配矢量矩阵和竖直位移匹配矢量矩阵;
基于所述水平位移匹配矢量矩阵及所述竖直位移匹配矢量矩阵,得到所述待识别场景图像与所述标准场景图像的所述匹配度。
4.如权利要求1所述的异常生产场景的识别方法,其特征在于,所述获取第一运行部位的待识别场景图像,具体包括:
通过OPCserver监测PLC控制程序中的第一自动步信号对应的第一状态数据,其中,所述第一自动步信号用于标识所述第一运行部位,所述第一状态数据用于表征所述第一运行部位处于运行状态;
当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像。
5.如权利要求4所述的异常生产场景的识别方法,其特征在于,所述获取所述第一运行部位对应的第一关键视觉词典,具体包括:
基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典,其中,所述标准场景图像库中存储有所述第一关键视觉词典,所述第一关键视觉词典标识有所述第一自动步信号;
所述基于所述第一自动步信号,从标准场景图像库中获取所述第一运行部位对应的所述第一关键视觉词典之前,还包括:
构建所述标准场景图像库。
6.如权利要求5所述的异常生产场景的识别方法,其特征在于,所述构建所述标准场景图像库,具体包括:
在生产线正常运行过程中,通过OPCserver监测PLC控制程序中所述第一自动步信号对应的第一状态数据;
当监测到所述第一状态数据时,通过设置在所述第一自动步信号对应的所述第一运行部位的所述第一图像采集装置,以预设频率抓拍所述第一运行部位的Q个正常场景图像,构建所述第一运行部位的第一基础图像序列集,并基于所述第一自动步信号,对所述第一基础图像序列集进行标识后存储;
基于SIFT算法,对所述第一基础图像序列集中的所述Q个正常场景图像进行特征提取,获得M个第二SIFT特征向量,基于所述M个第二SIFT特征向量,构建第一视觉词典,并基于所述第一自动步信号,对所述第一视觉词典进行标识,Q为正整数;
基于K-means聚类方法,对所述第一视觉词典中的所述M个第二SIFT特征向量进行聚类,获得所述N个关键SIFT特征向量,基于所述N个关键SIFT特征向量,构建所述第一运行部位对应的所述第一关键视觉词典,并基于所述第一自动步信号,对所述第一关键视觉词典进行标识,形成所述第一关键视觉词典,M为大于或等于N正整数;
将形成的所述第一关键视觉词典存储,形成所述标准场景图像库。
7.如权利要求6所述的异常生产场景的识别方法,其特征在于,在所述当所述匹配度低于预设阈值时,发出预警信息之后,还包括:
获取第一核检信息,所述第一核检信息为操作人员对所述待识别场景图像的运行状态是否异常进行核检判定后反馈的信息;
判断所述第一核检信息是否表征所述待识别场景图像属于正常运行状态;
若是,基于所述第一SIFT特征向量,更新所述第一运行部位的所述第一视觉词典;
基于所述K-means聚类方法,对所述更新后的第一视觉词典进行聚类,更新所述第一关键视觉词典。
8.如权利要求4所述的异常生产场景的识别方法,其特征在于,所述当监测到所述第一状态数据时,通过设置在所述第一运行部位的第一图像采集装置获取所述第一运行部位的所述待识别场景图像之后,还包括:
将所述第一运行部位的所述待识别场景图像输出到显示屏中进行显示。
9.一种异常生产场景的识别系统,其特征在于,包括:
图像获取单元,用于获取第一运行部位的待识别场景图像;
特征提取单元,基于SIFT算法对所述待识别场景图像进行特征提取,获得N个第一SIFT特征向量,单个所述第一SIFT特征向量用于表征所述待识别场景图像的一个关键点;
关键视觉词典获取单元,用于获取所述第一运行部位对应的第一关键视觉词典,所述第一关键视觉词典中存储有表征所述第一运行部位的标准场景图像的N个关键SIFT特征向量,其中,单个所述关键SIFT特征向量用于表征所述第一运行部位的标准场景图像的一个关键点,N为正整数;
异常生产场景识别单元,基于所述第一关键视觉词典中的所述关键SIFT特征向量与所述第一SIFT特征向量,得到所述待识别场景图像与所述标准场景图像的匹配度;
预警单元,用于当所述匹配度低于预设阈值时,发出预警信息。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,包括:该程序被处理器执行时可以实现如权利要求1~8任一权项所述的方法步骤。
CN201911379226.6A 2019-12-27 2019-12-27 一种异常生产场景的识别方法 Active CN111178244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911379226.6A CN111178244B (zh) 2019-12-27 2019-12-27 一种异常生产场景的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379226.6A CN111178244B (zh) 2019-12-27 2019-12-27 一种异常生产场景的识别方法

Publications (2)

Publication Number Publication Date
CN111178244A true CN111178244A (zh) 2020-05-19
CN111178244B CN111178244B (zh) 2024-03-15

Family

ID=70658203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379226.6A Active CN111178244B (zh) 2019-12-27 2019-12-27 一种异常生产场景的识别方法

Country Status (1)

Country Link
CN (1) CN111178244B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486942A (zh) * 2021-06-30 2021-10-08 武汉理工光科股份有限公司 一种重复火警判定方法、装置、电子设备及存储介质
CN116361668A (zh) * 2023-06-02 2023-06-30 北京安天网络安全技术有限公司 一种多个sdr设备的监控方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016050290A1 (en) * 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
CN108573213A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种轨道扣件缺损状态自动检测系统及方法
CN109685075A (zh) * 2018-11-27 2019-04-26 山东鲁能软件技术有限公司 一种基于图像的电力设备识别方法、装置及系统
CN110427517A (zh) * 2019-07-18 2019-11-08 华戎信息产业有限公司 一种基于场景词典树的图搜视频方法,装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016050290A1 (en) * 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
CN108573213A (zh) * 2018-03-12 2018-09-25 北京交通大学 一种轨道扣件缺损状态自动检测系统及方法
CN109685075A (zh) * 2018-11-27 2019-04-26 山东鲁能软件技术有限公司 一种基于图像的电力设备识别方法、装置及系统
CN110427517A (zh) * 2019-07-18 2019-11-08 华戎信息产业有限公司 一种基于场景词典树的图搜视频方法,装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刁蒙蒙;张菁;卓力;隋磊;: "一种基于视觉单词的图像检索方法", 测控技术 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486942A (zh) * 2021-06-30 2021-10-08 武汉理工光科股份有限公司 一种重复火警判定方法、装置、电子设备及存储介质
CN116361668A (zh) * 2023-06-02 2023-06-30 北京安天网络安全技术有限公司 一种多个sdr设备的监控方法、装置、设备及介质
CN116361668B (zh) * 2023-06-02 2023-08-11 北京安天网络安全技术有限公司 一种多个sdr设备的监控方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111178244B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109710780B (zh) 一种归档方法及装置
CN108229321B (zh) 人脸识别模型及其训练方法和装置、设备、程序和介质
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN107257161B (zh) 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN107977639B (zh) 一种人脸清晰度判断方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN101179713A (zh) 复杂背景下单个运动目标的检测方法
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN117095005B (zh) 一种基于机器视觉的塑料母粒质检方法及系统
Buayai et al. End-to-end automatic berry counting for table grape thinning
US20160343144A1 (en) Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle
CN111178244B (zh) 一种异常生产场景的识别方法
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
CN113469201A (zh) 图像采集设备偏移检测方法、图像匹配方法、系统和设备
CN111191708A (zh) 自动化样本关键点标注方法、装置及系统
CN111652080B (zh) 基于rgb-d图像的目标跟踪方法和装置
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN114662594B (zh) 一种目标特征识别分析系统
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
CN116228661A (zh) 布匹瑕疵在线检测方法及系统
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN114417965A (zh) 图像处理模型的训练方法、目标检测方法及相关装置
CN111862144A (zh) 一种确定物体移动轨迹分数的方法及装置
CN118096833B (zh) 一种复杂道路场景车辆实时跟踪检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant