CN109029731A - 一种基于多目视觉的电力设备异常监测系统及方法 - Google Patents
一种基于多目视觉的电力设备异常监测系统及方法 Download PDFInfo
- Publication number
- CN109029731A CN109029731A CN201810507828.4A CN201810507828A CN109029731A CN 109029731 A CN109029731 A CN 109029731A CN 201810507828 A CN201810507828 A CN 201810507828A CN 109029731 A CN109029731 A CN 109029731A
- Authority
- CN
- China
- Prior art keywords
- power equipment
- image
- abnormal heating
- region
- visible images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000010438 heat treatment Methods 0.000 claims abstract description 97
- 230000002159 abnormal effect Effects 0.000 claims abstract description 95
- 238000001514 detection method Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 206010037660 Pyrexia Diseases 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 6
- 230000006698 induction Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多目视觉的电力设备异常监测系统及方法,所述监测系统包括数据采集装置、工控机和异常监测中心;数据采集装置包括采集电力设备所处区域红外图像的红外摄像机和采集电力设备所处区域可见光图像的左目可见光摄像机和右目可见光摄像机;工控机对红外图像、可见光图像进行分析处理,检测出电力设备异常发热区域并对异常发热区域进行定位,将异常发热信息发送到异常监测中心;异常监测中心接收到异常发热信息后输出预警信息。本发明能够准确、快速地检测出电力设备发热异常区域并准确定位出异常发热位置,及时进行故障预警,有效地避免了电力设备故障的发生,减少了经济损失。
Description
技术领域
本发明涉及电力设备监测技术领域,特别涉及一种基于多目视觉的电力设备异常监测系统及方法。
背景技术
绝大多数电力设备发生故障或出现异常情况时,最初都伴随着局部、整体的过热或温度分布相对异常的现象,因此,为确保电力设备的安全运行,需要对电力设备热状态进行实时监测。
传统的变电站故障检测是由运行人员手持红外成像测温仪定期现场巡视,在后台PC机上对存储的热图像进行分析诊断,该工作方式过于依赖技术人员,受到疲劳和经验的影响,难免漏扫、误判;巡检周期较长也会影响预警的及时性。如何提高电力巡检的实时性和自动化程度,是亟待解决的关键问题。
随着计算机视觉技术的发展,多目视觉协同检测以其信息获取全面、优势互补等特点成为未来故障检测领域的发展趋势。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种基于多目视觉的电力设备异常监测系统及方法,解决现有技术中电力设备异常监测依赖人工存在漏检、误判、实时性差和自动化程度低的技术问题。
为解决上述技术问题,本发明所提供的技术方案为:
一种基于多目视觉的电力设备异常监测系统,其特征在于,包括数据采集装置、工控机和异常监测中心;
所述数据采集装置包括采集电力设备所处区域红外图像的红外摄像机和采集电力设备所处区域可见光图像的左目可见光摄像机和右目可见光摄像机;
所述工控机对红外图像、可见光图像进行分析处理,检测出电力设备异常发热区域并对异常发热区域进行定位,将异常发热信息发送到异常监测中心;异常监测中心接收到异常发热信息后输出预警信息。
进一步地,所述工控机包括如下模块:
摄像机标定模块:用于红外摄像机标定和可见光摄像机标定;
红外图像分割模块:根据红外图像分割出电力设备发热区域作为异常发热候选区域;
全景拼接模块:根据多幅可见光图像获取全景拼接图像,通过对全景拼接图像进行信息标注完成电子地图绘制;
电力设备类型识别模块:将异常发热候选区域映射到全景拼接图像中,根据电子地图的信息标注进行电力设备类型识别;
异常发热区域检测模块:计算红外图像中电力设备的相对温差,根据电力设备类型确定相应电力设备温差阈值,通过比较相对温差与温差阈值确定异常发热区域;
异常发热区域定位模块:将红外图像映射到可见光图像中实现异常发热区域定位;
三维空间定位模块:用于对电力设备及异常发热区域进行三维空间定位。
进一步地,所述红外图像分割模块包括:
颜色空间转换模块:将红外图像由RGB颜色空间转换到Lab颜色空间;
显著性检测模块:对转换到Lab颜色空间的红外图像进行显著性检测,采用基于视觉显著性的模糊聚类分割方法获得分割图像;
形态学处理模块:利用具有不同尺寸的结构元素的形态学开运算对分割图像进行处理,再加权平均得到最终的异常发热候选区域。
进一步地,所述全景拼接模块包括:
特征点提取模块:对左目可见光图像和右目可见光图像进行特征点提取;
特征点匹配模块:根据提取的左目可见光图像特征点和右目可见光图像特征点进行特征点匹配,去除误差匹配点;
图像融合模块:对特征点匹配完成的图像进行图像融合,获取全景拼接图像。
优选地,所述红外摄像机采用捕获光谱带范围为7.5~13μm,捕获帧率为60fps,视频帧尺寸为320×240px,具备实时记录视场范围内温度信息功能的红外摄像机;所述左目可见光摄像机和右目可见光摄像机采用捕获帧率为50bps,视频帧尺寸为640×480px,具备实时记录视场范围内可见光信息功能的可见光摄像机。
本发明还提供一种基于多目视觉的电力设备异常监测方法,包括如下步骤:
采集电力设备所处区域红外图像、左目可见光图像和右目可见光图像;
对红外图像进行图像分割,获取异常发热候选区域;
根据左目可见光图像和右目可见光图像进行全景拼接,获取电力设备区域的全景拼接图像,并对全景拼接图像进行信息标注,绘制电子地图;
根据电子地图对异常发热候选区域内的电力设备进行类型识别,获取电力设备类型;
根据电力设备类型确定电力设备的相对温差阈值,根据红外图像计算电力设备的实际相对温差,若实际相对温差大于或等于相对温差阈值,则判定电力设备出现异常发热,并对异常发热区域定位;
对异常发热区域及检测出异常发热的电力设备进行三维空间定位,将三维空间位置信息及异常发热信息发送至异常监测中心,由异常监测中心输出预警。
优选地,获取异常发热候选区域的方法包括:
将红外图像由RGB颜色空间转换到Lab颜色空间,并提取亮度通道图像IL;
利用颜色对比度和边缘对比度对图像IL进行显著性检测,得到显著性区域;
对显著性区域和非显著性区域进行直方图统计得到直方图H1和H2;
搜索H1和H2中密度最大值所对应的灰度级L1和L2,并作为初始模糊聚类中心;
对图像IL直方图灰度级进行聚类运算,得到分割图像Icut;
利用具有不同尺寸的结构元素Si的形态学开运算对分割图像进行处理,再加权平均得到最终的候选检测区域Idetect,公式如下:
Idetect=a1(IcutΘS1)+a2(IcutΘS2)+…+an(IcutΘSn)
其中,Θ为开运算操作,ai为加权系数,n为结构元素个数,并且满足a1+a2+…+an=1。
优选地,所述全景拼接包括:
分别对左目可见光图像、右目可见光图像进行特征点提取;
采用基于图像分块的方法对两目可见光图像进行特征点匹配,去除误匹配点;
将两目可见光图像融合获得全景拼接图像。
优选地,采用RANSAC算法去除误匹配点。
优选地,采用基于边缘保持的图像融合方法将红外图像上检测到的异常发热区域映射到可见光图像上,实现异常发热区域定位。
优选地,将红外图像上检测到的异常发热区域映射到可见光图像上之前需要将红外图像采样到指定大小,采样后红外图像中像素点的计算公式如下:
其中,Ii为原红外图像中像素点,s为下采样倍数,pk为采样后红外图像中的像素点,Vedge为边缘像素点集合,(i,j)为像素点坐标,win(k)为像素点pk的八邻域窗口。
优选地,对电力设备进行三维空间定位的方法包括:
对两目可见光摄像机进行标定,获取两目可见光摄像机的内外参数,并进行畸变校正和立体校正,使两目可见光摄像机图像平面在同一平面上;
对于左目可见光图像中检测出的异常发热电力设备区域,在右目可见光图像中搜索对应区域,并利用三维空间定位模型进行目标深度计算,其计算公式如下:
由式(1)可得
式中:T为基线距,xl和xr为三维空间点在左右两个像平面上的投影横坐标,Z为深度信息,f为可见光摄像机焦距,两目可见光摄像机焦距一致。
优选地,对可见光摄像机进行标定的具体方法如下:
可见光摄像机获取多角度的棋盘格可见光图像后利用张氏标定法进行标定。
优选地,所述异常发热信息包括电力设备类型、异常发热中心、异常区域面积、异常区域最高温度、环境温度、参考温度、温升速度、异常类型和检测时间。
与现有技术相比,本发明所达到的有益效果是:
本发明利用多目视觉获取电力设备的红外图像和可见光图像,然后通过图像处理技术对获取的红外和可见光图像进行分析处理,能够准确、快速地检测出电力设备发热异常区域并准确定位出异常发热位置,及时进行故障预警,有效地避免了电力设备故障的发生,减少了经济损失,具有较大的经济价值和实用价值。
附图说明
图1是本发明实施例提供的系统的结构框图;
图2是用于可见光摄像机标定的棋盘格标定板图像;
图3是用于红外摄像机标定的棋盘格标定板背面二值化后图像;
图4是显著性区域直方图;
图5是非显著性区域直方图;
图6是本发明实施例提供的方法中特征点匹配方法示意图;
图7是本发明中所采用的三维空间定位模型。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,为本发明提供的一种基于多目视觉的电力设备异常监测系统,包括数据采集装置、工控机和异常监测中心;数据采集装置包括采集电力设备所处区域红外图像的红外摄像机和采集电力设备所处区域可见光图像的左目可见光摄像机和右目可见光摄像机;工控机对红外图像、可见光图像进行分析处理,检测出电力设备异常发热区域并对异常发热区域进行定位,将异常发热信息发送到异常监测中心。异常监测中心通过TCP协议与工控机建立可靠连接,接收电力设备发热异常相关信息并存储到数据库中,同时向维护人员发出预警信息,提醒维护人员及时处理电力设备发热异常,异常监测中心还可以通过人机交互为用户提供电力设备异常信息查询和故障二次检测等功能,防止虚警、误警等情况的发生。
具体的,工控机可以包括如下模块:
摄像机标定模块:包括红外摄像机标定模块和可见光摄像机标定模块,分别用于红外摄像机标定和可见光摄像机标定,以便于红外图像与左目可见光图像、右目可见光图像进行图像融合,从而实现电力设备类型识别及异常发热区域的定位;同时还为左目可见光图像、右目可见光图像进行图像融合做准备,以便进行全景拼接及三维空间定位。
红外图像分割模块:利用发热物体产生热辐射的特性,根据红外图像分割出电力设备发热区域作为异常发热候选区域。红外图像分割模块可以包括如下模块:
颜色空间转换模块:将红外图像由RGB颜色空间转换到Lab颜色空间;
显著性检测模块:对转换到Lab颜色空间的红外图像进行显著性检测,采用基于视觉显著性的模糊聚类分割方法获得分割图像;
形态学处理模块:利用具有不同尺寸的结构元素的形态学开运算对分割图像进行处理,再加权平均得到最终的异常发热候选区域。
全景拼接模块:根据不同视角的多幅可见光图像获取全景拼接图像,可通过人机交互人工对全景拼接图像进行信息标注完成电子地图绘制,方便管理人员查看,进一步了解监测区域的情况。标注信息包括:标注信息包括:设备类型、正常发热温度、异常发热温度、坐标位置。全景拼接模块可以包括如下模块:
特征点提取模块:对左目可见光图像和右目可见光图像进行特征点提取;
特征点匹配模块:根据提取的左目可见光图像特征点和右目可见光图像特征点进行特征点匹配,去除误差匹配点;
图像融合模块:对特征点匹配完成的图像进行图像融合,获取全景拼接图像。
电力设备类型识别模块:将异常发热候选区域映射到全景拼接图像中,根据电子地图的信息标注进行电力设备类型识别。
异常发热区域检测模块:用于计算红外图像中电力设备的相对温差,根据电力设备类型确定相应电力设备温差阈值,通过比较相对温差与温差阈值确定异常发热区域。
异常发热区域定位模块:利用红外图像可感应电力设备热信息但成像不符合人眼视觉特性、可见光图像无法感应电力设备热信息但成像符合人眼视觉特性的特点,利用基于边缘保持的图像融合方法将红外图像映射到可见光图像中实现异常发热区域定位。
三维空间定位模块:用于对电力设备及异常发热区域进行三维空间定位。
作为本发明的较佳实施例,红外摄像机可以采用捕获光谱带范围为7.5~13μm,捕获帧率为60fps,视频帧尺寸为320×240px,具备实时记录视场范围内温度信息功能的红外摄像机;左目可见光摄像机和右目可见光摄像机可以采用捕获帧率为50bps,视频帧尺寸为640×480px,具备实时记录视场范围内可见光信息功能的可见光摄像机。
异常监测中心通过TCP协议与工控机建立可靠连接,接收电力设备发热异常相关信息存储到数据库中,同时向维护人员发出预警信息,提醒维护人员及时处理电力设备发热异常,进一步,异常监测中心通过人机交互提供设备异常信息查询和故障二次检测等功能,防止虚警、误警等情况的发生。
下面结合图2~7对本发明提供的一种基于多目视觉的电力设备异常监测方法做进一步详细描述,所述监测方法可以采用前述的监测系统实现,具体包括如下步骤:
步骤一:采集电力设备所处区域红外图像、左目可见光图像和右目可见光图像,并分别对红外摄像机、左目可见光摄像机和右目可见光摄像机进行标定,以便于各图像进行图像融合。
其中,可见光摄像机获取多角度的棋盘格可见光图像后利用张氏标定法进行标定,获取可见光摄像机内外参数,棋盘格标定板如图2所示。
对于红外摄像机的标定,将圆形电热膜贴在棋盘格的背面,圆心与正面棋盘格角点重合,在红外图像中,利用统计学特征,即直径是圆中最长的弦和任意两不重合的直径交点为圆心的特征,对圆形电热膜的圆心进行定位,并完成红外摄像机的标定。如图3所示,圆内像素值不为0,圆外像素值为0,首先利用深度优先搜索确定连通域1,同时确定其外接矩形,然后对外接矩形分别进行横向搜索和纵向搜索,通过搜索像素和的最大值确定两条直径,并由两条直径的交点确定圆形电热膜的圆心,然后依次确定其他圆形电热膜的圆心,并最终完成红外摄像机的标定。
步骤二:对红外图像进行图像分割,获取异常发热候选区域,具体方法如下:
将红外图像由RGB颜色空间转换到Lab颜色空间,并提取亮度通道图像IL;
采用基于显著性的模糊聚类分割方法对亮度通道图像进行处理,具体为:利用颜色对比度和边缘对比度对图像IL进行显著性检测,得到显著性区域;
对显著性区域和非显著性区域进行直方图统计得到直方图H1和H2如图4和图5所示,分别是显著性区域直方图和非显著性区域直方图;
搜索H1和H2中密度最大值所对应的灰度级L1和L2,并作为初始模糊聚类中心;
为了将计算量,对图像IL直方图灰度级进行聚类运算,得到分割图像Icut;
为了防止噪声和分割后图像中离散的小块的干扰,利用具有不同尺寸的结构元素Si的形态学开运算对分割图像进行处理,再加权平均得到最终的候选检测区域Idetect,公式如下:
Idetect=a1(IcutΘS1)+a2(IcutΘS2)+…+an(IcutΘSn)
其中,Θ为开运算操作,ai为加权系数,n为结构元素个数,并且满足a1+a2+…+an=1。
步骤三:根据左目可见光图像和右目可见光图像进行全景拼接,获取电力设备区域的全景拼接图像,并对全景拼接图像进行信息标注,绘制电子地图。
全景拼接包括如下步骤:
分别对左目可见光图像、右目可见光图像进行特征点提取;
采用基于图像分块的方法对两目可见光图像进行特征点匹配,如图6所示,在双目系统中,物体在左目可见光图像中成像位置偏右,在右目可见光图像中成像位置偏左。对于左目可见光图像中的区域1,在右目可见光图像中的候选区域利用滑动窗搜索相似度最大的区域作为特征匹配区域3,同时,可以利用位置关系确定左目图像中区域2在右目图像中的特征匹配区域4,对区域1和区域3中的特征点进行匹配,同理,对区域2和区域4执行上述操作,然后利用RANSAC算法去除误匹配点并获取单应矩阵H。
将两目可见光图像融合获得全景拼接图像。
步骤四:根据电子地图对异常发热候选区域内的电力设备进行类型识别,获取电力设备类型。具体为:首先将获取的异常发热候选区域映射到全景拼接图像中,利用人工标注的信息进行电力设备类型识别,最终获取到红外图像中异常发热候选区域对应的电力设备类型,实现电力设备类型识别。
步骤五:根据电力设备类型确定电力设备的相对温差阈值,根据红外图像计算电力设备的实际相对温差,实际相对温差δt定义如下:
式中T1为发热点温度,T2为电力设备正常相对应点的温度,T0为环境参照体的温度。
若实际相对温差大于或等于相对温差阈值,则判定电力设备出现异常发热,进一步采用基于边缘保持的图像融合方法将红外图像上检测到的异常发热区域映射到可见光图像上,实现异常发热区域定位。
异常发热区域定位是利用红外图像可感应电力设备热信息但成像不符合人眼视觉特性、可见光图像无法感应电力设备热信息但成像符合人眼视觉特性的特点,利用基于边缘保持的图像融合方法将红外图像上检测到的异常区域映射到可见光图像上,实现异常发热区域的定位。在进行映射之前,需要将红外图像下采样到指定大小,为了保持更好的保持异常发热区域的边缘,采样方法如下:
其中,Iij为原红外图像中像素点,s为下采样倍数,pk为采样后红外图像中的像素点,Vedge为边缘像素点集合,(i,j)为像素点坐标,win(k)为像素点pk的八邻域窗口。
步骤六:对异常发热区域及检测出异常发热的电力设备进行三维空间定位,将三维空间位置信息、红外图像、可见光图像及异常发热信息发送至异常监测中心,由异常监测中心输出预警。异常发热信息包括电力设备类型、异常发热中心、异常区域面积、异常区域最高温度、环境温度、参考温度、温升速度、异常类型和检测时间。
对电力设备进行三维空间定位的方法包括:
对两目可见光摄像机进行标定,获取两目可见光摄像机的内外参数,并进行畸变校正和立体校正,使两目可见光摄像机图像平面在同一平面上;
对于左目可见光图像中检测出的异常发热电力设备区域,在右目可见光图像中搜索对应区域,并利用如图7所示的三维空间定位模型进行目标深度计算,其计算公式如下:
由式(1)可得
式中:T为基线距,xl和xr为三维空间点在左右两个像平面上的投影横坐标,Z为深度信息,f为可见光摄像机焦距,两目可见光摄像机焦距一致。
同理可获取到异常发热位置的空间信息,最终实现电力设备的空间定位和异常发热区域的空间定位。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (14)
1.一种基于多目视觉的电力设备异常监测系统,其特征在于,包括数据采集装置、工控机和异常监测中心;
所述数据采集装置包括采集电力设备所处区域红外图像的红外摄像机和采集电力设备所处区域可见光图像的左目可见光摄像机和右目可见光摄像机;
所述工控机对红外图像、可见光图像进行分析处理,检测出电力设备异常发热区域并对异常发热区域进行定位,将异常发热信息发送到异常监测中心;异常监测中心接收到异常发热信息后输出预警信息。
2.根据权利要求1所述的基于多目视觉的电力设备异常监测系统,其特征在于,所述工控机包括如下模块:
摄像机标定模块:用于红外摄像机标定和可见光摄像机标定;
红外图像分割模块:根据红外图像分割出电力设备发热区域作为异常发热候选区域;
全景拼接模块:根据多幅可见光图像获取全景拼接图像,通过对全景拼接图像进行信息标注完成电子地图绘制;
电力设备类型识别模块:将异常发热候选区域映射到全景拼接图像中,根据电子地图的信息标注进行电力设备类型识别;
异常发热区域检测模块:计算红外图像中电力设备的相对温差,根据电力设备类型确定相应电力设备温差阈值,通过比较相对温差与温差阈值确定异常发热区域;
异常发热区域定位模块:将红外图像映射到可见光图像中实现异常发热区域定位;
三维空间定位模块:用于对电力设备及异常发热区域进行三维空间定位。
3.根据权利要求2所述的基于多目视觉的电力设备异常监测系统,其特征在于,所述红外图像分割模块包括:
颜色空间转换模块:将红外图像由RGB颜色空间转换到Lab颜色空间;
显著性检测模块:对转换到Lab颜色空间的红外图像进行显著性检测,采用基于视觉显著性的模糊聚类分割方法获得分割图像;
形态学处理模块:利用具有不同尺寸的结构元素的形态学开运算对分割图像进行处理,再加权平均得到最终的异常发热候选区域。
4.根据权利要求2所述的基于多目视觉的电力设备异常监测系统,其特征在于,所述全景拼接模块包括:
特征点提取模块:对左目可见光图像和右目可见光图像进行特征点提取;
特征点匹配模块:根据提取的左目可见光图像特征点和右目可见光图像特征点进行特征点匹配,去除误差匹配点;
图像融合模块:对特征点匹配完成的图像进行图像融合,获取全景拼接图像。
5.据权利要求1所述的基于多目视觉的电力设备异常监测系统,其特征在于,所述红外摄像机采用捕获光谱带范围为7.5~13μm,捕获帧率为60fps,视频帧尺寸为320×240px,具备实时记录视场范围内温度信息功能的红外摄像机;
所述左目可见光摄像机和右目可见光摄像机采用捕获帧率为50bps,视频帧尺寸为640×480px,具备实时记录视场范围内可见光信息功能的可见光摄像机。
6.一种基于多目视觉的电力设备异常监测方法,其特征在于:包括如下步骤:
采集电力设备所处区域红外图像、左目可见光图像和右目可见光图像;
对红外图像进行图像分割,获取异常发热候选区域;
根据左目可见光图像和右目可见光图像进行全景拼接,获取电力设备区域的全景拼接图像,并对全景拼接图像进行信息标注,绘制电子地图;
根据电子地图对异常发热候选区域内的电力设备进行类型识别,获取电力设备类型;
根据电力设备类型确定电力设备的相对温差阈值,根据红外图像计算电力设备的实际相对温差,若实际相对温差大于或等于相对温差阈值,则判定电力设备出现异常发热,并对异常发热区域定位;
对异常发热区域及检测出异常发热的电力设备进行三维空间定位,将三维空间位置信息及异常发热信息发送至异常监测中心,由异常监测中心输出预警。
7.根据权利要求6所述的基于多目视觉的电力设备异常监测方法,其特征在于,获取异常发热候选区域的方法包括:
将红外图像由RGB颜色空间转换到Lab颜色空间,并提取亮度通道图像IL;
利用颜色对比度和边缘对比度对图像IL进行显著性检测,得到显著性区域;
对显著性区域和非显著性区域进行直方图统计得到直方图H1和H2;
搜索H1和H2中密度最大值所对应的灰度级L1和L2,并作为初始模糊聚类中心;
对图像IL直方图灰度级进行聚类运算,得到分割图像Icut;
利用具有不同尺寸的结构元素Si的形态学开运算对分割图像进行处理,再加权平均得到最终的候选检测区域Idetect,公式如下:
Idetect=a1(IcutΘS1)+a2(IcutΘS2)+...+an(IcutΘSn)
其中,Θ为开运算操作,ai为加权系数,n为结构元素个数,并且满足a1+a2+…+an=1。
8.根据权利要求6所述的基于多目视觉的电力设备异常监测方法,其特征在于,所述全景拼接包括:
分别对左目可见光图像、右目可见光图像进行特征点提取;
采用基于图像分块的方法对两目可见光图像进行特征点匹配,去除误匹配点;
将两目可见光图像融合获得全景拼接图像。
9.根据权利要求8所述的基于多目视觉的电力设备异常监测方法,其特征在于,采用RANSAC算法去除误匹配点。
10.根据权利要求6所述的基于多目视觉的电力设备异常监测方法,其特征在于,采用基于边缘保持的图像融合方法将红外图像上检测到的异常发热区域映射到可见光图像上,实现异常发热区域定位。
11.根据权利要求10所述的基于多目视觉的电力设备异常监测方法,其特征在于,将红外图像上检测到的异常发热区域映射到可见光图像上之前需要将红外图像采样到指定大小,采样后红外图像中像素点的计算公式如下:
其中,Ii为原红外图像中像素点,s为下采样倍数,pk为采样后红外图像中的像素点,Vedge为边缘像素点集合,(i,j)为像素点坐标;win(k)为像素点pk的八邻域窗口。
12.根据权利要求6所述的基于多目视觉的电力设备异常监测方法,其特征在于,对电力设备进行三维空间定位的方法包括:
对两目可见光摄像机进行标定,获取两目可见光摄像机的内外参数,并进行畸变校正和立体校正,使两目可见光摄像机图像平面在同一平面上;
对于左目可见光图像中检测出的异常发热电力设备区域,在右目可见光图像中搜索对应区域,并利用三维空间定位模型进行目标深度计算,其计算公式如下:
由式(1)可得
式中:T为基线距,xl和xr为三维空间点在左右两个像平面上的投影横坐标,Z为深度信息,f为可见光摄像机焦距,两目可见光摄像机焦距一致。
13.根据权利要求12所述的基于多目视觉的电力设备异常监测方法,其特征在于,对可见光摄像机进行标定的具体方法如下:
可见光摄像机获取多角度的棋盘格可见光图像后利用张氏标定法进行标定。
14.根据权利要求6所述的基于多目视觉的电力设备异常监测方法,其特征在于,所述异常发热信息包括电力设备类型、异常发热中心、异常区域面积、异常区域最高温度、环境温度、参考温度、温升速度、异常类型和检测时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507828.4A CN109029731A (zh) | 2018-05-24 | 2018-05-24 | 一种基于多目视觉的电力设备异常监测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507828.4A CN109029731A (zh) | 2018-05-24 | 2018-05-24 | 一种基于多目视觉的电力设备异常监测系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109029731A true CN109029731A (zh) | 2018-12-18 |
Family
ID=64611181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810507828.4A Pending CN109029731A (zh) | 2018-05-24 | 2018-05-24 | 一种基于多目视觉的电力设备异常监测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109029731A (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885030A (zh) * | 2019-03-13 | 2019-06-14 | 东北大学 | 基于协同建模流形降维的氧化镁冶炼过程故障监测方法 |
CN110487414A (zh) * | 2019-08-16 | 2019-11-22 | 云南电网有限责任公司电力科学研究院 | 基于红外图像技术的断路器温度监测方法及系统 |
CN110488125A (zh) * | 2019-08-28 | 2019-11-22 | 上海许继电气有限公司 | 基于断路器的状态信息量实现主动预警处理的方法及其系统 |
CN110658864A (zh) * | 2019-09-03 | 2020-01-07 | 深圳供电局有限公司 | 一种电力设备监控方法及其装置、计算机可读存储介质 |
CN110674827A (zh) * | 2019-09-24 | 2020-01-10 | 哈尔滨工业大学 | 一种融合深度学习与形态学滤波的设备状态视觉检测方法 |
CN110989666A (zh) * | 2019-12-06 | 2020-04-10 | 国网山东省电力公司日照供电公司 | 一种用于线路巡检的无人机系统及其控制方法 |
CN111199544A (zh) * | 2020-01-06 | 2020-05-26 | 国网河南省电力公司检修公司 | 一种变电站红外监测方法、装置和计算机可读存储介质 |
CN111209980A (zh) * | 2019-12-25 | 2020-05-29 | 深圳供电局有限公司 | 环境检测方法和装置、电子设备、计算机可读存储介质 |
CN111486960A (zh) * | 2020-03-27 | 2020-08-04 | 深圳光启超材料技术有限公司 | 异常区域的确定方法、头戴设备、存储介质 |
CN111798560A (zh) * | 2020-06-09 | 2020-10-20 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
CN112381784A (zh) * | 2020-11-12 | 2021-02-19 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
CN112468780A (zh) * | 2020-11-24 | 2021-03-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 变压器设备远程试验监督方法 |
CN112577603A (zh) * | 2020-10-09 | 2021-03-30 | 国网浙江宁波市奉化区供电有限公司 | 基于电缆接头及其周围温度的开关柜实时监测方法及系统 |
CN112669278A (zh) * | 2020-12-25 | 2021-04-16 | 中铁大桥局集团有限公司 | 一种基于无人机的梁底巡检及病害可视化方法及系统 |
CN112669316A (zh) * | 2021-01-29 | 2021-04-16 | 南方电网调峰调频发电有限公司 | 电力生产异常监控方法、装置、计算机设备和存储介质 |
CN112815990A (zh) * | 2020-12-28 | 2021-05-18 | 齐丰科技股份有限公司 | 一种基于物联网技术的配电设备监测系统 |
CN112927214A (zh) * | 2021-03-12 | 2021-06-08 | 深圳信息职业技术学院 | 建筑物缺陷定位方法、系统和存储介质 |
CN113284128A (zh) * | 2021-06-11 | 2021-08-20 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
CN113551775A (zh) * | 2021-06-23 | 2021-10-26 | 国网福建省电力有限公司 | 基于红外热成像的设备故障在线监测报警方法和系统 |
CN113739923A (zh) * | 2020-05-29 | 2021-12-03 | 比亚迪股份有限公司 | 一种配电柜故障的监测方法、系统及车辆 |
CN113780312A (zh) * | 2019-11-21 | 2021-12-10 | 同济大学 | 一种高速公路路面状况检测系统 |
CN114001833A (zh) * | 2021-11-25 | 2022-02-01 | 三门核电有限公司 | 一种基于目标检测的设备红外成像诊断方法及系统 |
CN114494778A (zh) * | 2022-01-25 | 2022-05-13 | 南方电网物资有限公司 | 用于电力设备远程监造的图像采集处理系统及其控制方法 |
CN114595448A (zh) * | 2022-03-14 | 2022-06-07 | 山东省计算中心(国家超级计算济南中心) | 一种基于相关性分析和三维卷积的工控异常检测方法、系统、设备及存储介质 |
CN115294748A (zh) * | 2022-09-08 | 2022-11-04 | 广东中科凯泽信息科技有限公司 | 一种基于视觉数据分析的固定目标消失预警方法 |
CN115687023A (zh) * | 2022-12-08 | 2023-02-03 | 深圳阿塔基科技有限公司 | 互联网大数据的处理方法及系统 |
CN115856556A (zh) * | 2023-03-02 | 2023-03-28 | 深圳市帝稳电子有限公司 | 一种电源适配器生产用产品检测方法及系统 |
CN116052004A (zh) * | 2023-02-17 | 2023-05-02 | 深圳金三立视频科技股份有限公司 | 一种异常事件双向监测方法、装置、电子设备及存储介质 |
CN117314896A (zh) * | 2023-11-28 | 2023-12-29 | 国网湖北省电力有限公司 | 一种基于深度学习的电力系统异常检测方法及系统 |
WO2024104365A1 (zh) * | 2022-11-15 | 2024-05-23 | 华为技术有限公司 | 一种设备测温方法及其相关设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739843A (zh) * | 2009-12-04 | 2010-06-16 | 河海大学常州校区 | 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 |
CN201674162U (zh) * | 2010-06-01 | 2010-12-15 | 国网通用航空有限公司 | 一种电力巡线直升机 |
CN104021544A (zh) * | 2014-05-07 | 2014-09-03 | 中国农业大学 | 一种温室蔬菜病害监控视频关键帧提取方法即提取系统 |
CN105096333A (zh) * | 2015-09-06 | 2015-11-25 | 河海大学常州校区 | 一种森林火灾红外热成像图像分割方法 |
CN105203210A (zh) * | 2015-10-23 | 2015-12-30 | 国网山西省电力公司大同供电公司 | 基于360°红外全景视图与支持向量机的特高压变电站变压器故障检测装置及检测方法 |
CN105512667A (zh) * | 2014-09-22 | 2016-04-20 | 中国石油化工股份有限公司 | 红外和可见光视频图像融合识别火灾的方法 |
CN107943078A (zh) * | 2017-11-24 | 2018-04-20 | 贵州电网有限责任公司 | 多旋翼双机系统无人机巡检故障诊断系统及方法 |
CN107992067A (zh) * | 2017-11-24 | 2018-05-04 | 贵州电网有限责任公司 | 基于集成吊舱和ai技术的无人机巡检故障诊断系统 |
-
2018
- 2018-05-24 CN CN201810507828.4A patent/CN109029731A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739843A (zh) * | 2009-12-04 | 2010-06-16 | 河海大学常州校区 | 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 |
CN201674162U (zh) * | 2010-06-01 | 2010-12-15 | 国网通用航空有限公司 | 一种电力巡线直升机 |
CN104021544A (zh) * | 2014-05-07 | 2014-09-03 | 中国农业大学 | 一种温室蔬菜病害监控视频关键帧提取方法即提取系统 |
CN105512667A (zh) * | 2014-09-22 | 2016-04-20 | 中国石油化工股份有限公司 | 红外和可见光视频图像融合识别火灾的方法 |
CN105096333A (zh) * | 2015-09-06 | 2015-11-25 | 河海大学常州校区 | 一种森林火灾红外热成像图像分割方法 |
CN105203210A (zh) * | 2015-10-23 | 2015-12-30 | 国网山西省电力公司大同供电公司 | 基于360°红外全景视图与支持向量机的特高压变电站变压器故障检测装置及检测方法 |
CN107943078A (zh) * | 2017-11-24 | 2018-04-20 | 贵州电网有限责任公司 | 多旋翼双机系统无人机巡检故障诊断系统及方法 |
CN107992067A (zh) * | 2017-11-24 | 2018-05-04 | 贵州电网有限责任公司 | 基于集成吊舱和ai技术的无人机巡检故障诊断系统 |
Non-Patent Citations (3)
Title |
---|
代小红 编: "《基于机器视觉的数字图像处理与识别研究》", 31 March 2012, 西南交通大学出版社 * |
刘劲松 主编: "《专业学位研究生实验课程 工科篇》", 30 November 2017 * |
赵宗贵 编: "《信息融合概念、方法与应用》", 30 November 2012 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885030A (zh) * | 2019-03-13 | 2019-06-14 | 东北大学 | 基于协同建模流形降维的氧化镁冶炼过程故障监测方法 |
CN110487414A (zh) * | 2019-08-16 | 2019-11-22 | 云南电网有限责任公司电力科学研究院 | 基于红外图像技术的断路器温度监测方法及系统 |
CN110488125A (zh) * | 2019-08-28 | 2019-11-22 | 上海许继电气有限公司 | 基于断路器的状态信息量实现主动预警处理的方法及其系统 |
CN110658864A (zh) * | 2019-09-03 | 2020-01-07 | 深圳供电局有限公司 | 一种电力设备监控方法及其装置、计算机可读存储介质 |
CN110674827A (zh) * | 2019-09-24 | 2020-01-10 | 哈尔滨工业大学 | 一种融合深度学习与形态学滤波的设备状态视觉检测方法 |
CN113780312B (zh) * | 2019-11-21 | 2024-04-12 | 同济大学 | 一种高速公路路面状况检测系统 |
CN113780312A (zh) * | 2019-11-21 | 2021-12-10 | 同济大学 | 一种高速公路路面状况检测系统 |
CN110989666A (zh) * | 2019-12-06 | 2020-04-10 | 国网山东省电力公司日照供电公司 | 一种用于线路巡检的无人机系统及其控制方法 |
CN111209980B (zh) * | 2019-12-25 | 2024-02-09 | 深圳供电局有限公司 | 环境检测方法和装置、电子设备、计算机可读存储介质 |
CN111209980A (zh) * | 2019-12-25 | 2020-05-29 | 深圳供电局有限公司 | 环境检测方法和装置、电子设备、计算机可读存储介质 |
CN111199544A (zh) * | 2020-01-06 | 2020-05-26 | 国网河南省电力公司检修公司 | 一种变电站红外监测方法、装置和计算机可读存储介质 |
CN111486960A (zh) * | 2020-03-27 | 2020-08-04 | 深圳光启超材料技术有限公司 | 异常区域的确定方法、头戴设备、存储介质 |
CN113739923A (zh) * | 2020-05-29 | 2021-12-03 | 比亚迪股份有限公司 | 一种配电柜故障的监测方法、系统及车辆 |
CN111798560A (zh) * | 2020-06-09 | 2020-10-20 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
CN111798560B (zh) * | 2020-06-09 | 2023-09-01 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
CN112577603A (zh) * | 2020-10-09 | 2021-03-30 | 国网浙江宁波市奉化区供电有限公司 | 基于电缆接头及其周围温度的开关柜实时监测方法及系统 |
CN112381784A (zh) * | 2020-11-12 | 2021-02-19 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
CN112468780A (zh) * | 2020-11-24 | 2021-03-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 变压器设备远程试验监督方法 |
CN112669278A (zh) * | 2020-12-25 | 2021-04-16 | 中铁大桥局集团有限公司 | 一种基于无人机的梁底巡检及病害可视化方法及系统 |
CN112815990A (zh) * | 2020-12-28 | 2021-05-18 | 齐丰科技股份有限公司 | 一种基于物联网技术的配电设备监测系统 |
CN112669316A (zh) * | 2021-01-29 | 2021-04-16 | 南方电网调峰调频发电有限公司 | 电力生产异常监控方法、装置、计算机设备和存储介质 |
CN112927214A (zh) * | 2021-03-12 | 2021-06-08 | 深圳信息职业技术学院 | 建筑物缺陷定位方法、系统和存储介质 |
CN113284128A (zh) * | 2021-06-11 | 2021-08-20 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
CN113284128B (zh) * | 2021-06-11 | 2023-05-16 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
CN113551775A (zh) * | 2021-06-23 | 2021-10-26 | 国网福建省电力有限公司 | 基于红外热成像的设备故障在线监测报警方法和系统 |
CN114001833A (zh) * | 2021-11-25 | 2022-02-01 | 三门核电有限公司 | 一种基于目标检测的设备红外成像诊断方法及系统 |
CN114494778B (zh) * | 2022-01-25 | 2023-02-10 | 南方电网物资有限公司 | 用于电力设备远程监造的图像采集处理系统及其控制方法 |
CN114494778A (zh) * | 2022-01-25 | 2022-05-13 | 南方电网物资有限公司 | 用于电力设备远程监造的图像采集处理系统及其控制方法 |
CN114595448A (zh) * | 2022-03-14 | 2022-06-07 | 山东省计算中心(国家超级计算济南中心) | 一种基于相关性分析和三维卷积的工控异常检测方法、系统、设备及存储介质 |
CN115294748A (zh) * | 2022-09-08 | 2022-11-04 | 广东中科凯泽信息科技有限公司 | 一种基于视觉数据分析的固定目标消失预警方法 |
WO2024104365A1 (zh) * | 2022-11-15 | 2024-05-23 | 华为技术有限公司 | 一种设备测温方法及其相关设备 |
CN115687023A (zh) * | 2022-12-08 | 2023-02-03 | 深圳阿塔基科技有限公司 | 互联网大数据的处理方法及系统 |
CN116052004A (zh) * | 2023-02-17 | 2023-05-02 | 深圳金三立视频科技股份有限公司 | 一种异常事件双向监测方法、装置、电子设备及存储介质 |
CN115856556A (zh) * | 2023-03-02 | 2023-03-28 | 深圳市帝稳电子有限公司 | 一种电源适配器生产用产品检测方法及系统 |
CN117314896A (zh) * | 2023-11-28 | 2023-12-29 | 国网湖北省电力有限公司 | 一种基于深度学习的电力系统异常检测方法及系统 |
CN117314896B (zh) * | 2023-11-28 | 2024-02-06 | 国网湖北省电力有限公司 | 一种基于深度学习的电力系统异常检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109029731A (zh) | 一种基于多目视觉的电力设备异常监测系统及方法 | |
CN106845502B (zh) | 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法 | |
CN110850723B (zh) | 一种基于变电站巡检机器人系统的故障诊断及定位方法 | |
CN107491781A (zh) | 一种巡检机器人可见光与红外传感器数据融合方法 | |
CA3100569A1 (en) | Ship identity recognition method base on fusion of ais data and video data | |
CN104054091B (zh) | 用于图像识别的面部印记生成 | |
CN103247039B (zh) | 一种基于复合视觉的高压线缆带电检测方法 | |
CN105741379A (zh) | 一种变电站全景巡检方法 | |
CN104410839B (zh) | 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测系统与监测方法 | |
CN111079600A (zh) | 多摄像头的行人识别方法及识别系统 | |
CN110244314A (zh) | 一种“低慢小”目标探测识别系统与方法 | |
CN108363482A (zh) | 一种基于双目结构光的三维手势控制智能电视的方法 | |
CN111753712A (zh) | 电力生产人员安全监测方法、系统以及设备 | |
CN108537170A (zh) | 一种电力设备固件无人机巡检销钉缺失检测方法 | |
CN108761290A (zh) | 机器人及其管廊电力舱巡检方法、系统、设备、存储介质 | |
CN113794857A (zh) | 一种开关柜非介入式监测方法、装置、存储介质 | |
CN109145796A (zh) | 一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法 | |
CN113762161B (zh) | 一种障碍物智能监测方法及系统 | |
CN208335212U (zh) | 一种人脸识别图像采集设备 | |
CN110324589A (zh) | 一种旅游景区的监控系统与方法 | |
Chaoxia et al. | Weakly aligned multimodal flame detection for fire-fighting robots | |
CN115994911B (zh) | 一种基于多模态视觉信息融合的游泳馆目标检测方法 | |
CN110619626B (zh) | 图像处理设备、系统、方法以及装置 | |
CN113792684B (zh) | 弱对齐条件下的消防机器人多模态视觉火焰检测方法 | |
Goecks et al. | Combining visible and infrared spectrum imagery using machine learning for small unmanned aerial system detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |