CN110097555A - 基于测温点阵融合可见光图像的电子设备安全监控方法 - Google Patents
基于测温点阵融合可见光图像的电子设备安全监控方法 Download PDFInfo
- Publication number
- CN110097555A CN110097555A CN201910345714.9A CN201910345714A CN110097555A CN 110097555 A CN110097555 A CN 110097555A CN 201910345714 A CN201910345714 A CN 201910345714A CN 110097555 A CN110097555 A CN 110097555A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- visible images
- point
- super
- dot matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于测温点阵融合可见光图像的电子设备安全监控方法，包括如下步骤：a、利用温度点阵相机获取可见光图像的超像素块；b、利用语义分割网络对可见光图像进行语义分割；c、结合超像素块和语义分割，通过语义分割图获得每个超像素块的属性，判断属于电子设备的超像素块对应的温度是否存在异常，如果存在，则输出报警提示，并作出相应措施。本发明通过温度点阵相机与可见光相机融合，以基于卷积神经网络FCN模型的语义分割获取电子设备温度，提供温度异常报警功能。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是一种基于测温点阵融合可见光图 像的电子设备安全监控方法。
背景技术
物体分类作为计算机视觉一大重要研究方向，其目的是对图像整体进行分 类，深度学习时代到来之前，语义分割工作大都根据图像像素自身的低阶视觉信 息来进行图像语义分割。由于这样的方法不存在训练过程，因此算法简单、复杂 度低，但是当图像背景复杂、分割较困难时，这类方法的分割结果往往并不理想。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于测温点阵融合可见 光图像的电子设备安全监控方法，该方法通过温度点阵相机与可见光相机融合， 以基于卷积神经网络FCN(Fully Convolutional Networks，全卷积网络)模型 的语义分割获取电子设备温度，提供温度异常报警功能。
本发明采用的技术方案是：
一种基于测温点阵融合可见光图像的电子设备安全监控方法，包括如下步 骤：
a、利用温度点阵相机获取可见光图像的超像素块；
b、利用语义分割网络对可见光图像进行语义分割；
c、结合超像素块和语义分割，通过语义分割图获得每个超像素块的属性， 判断属于电子设备的超像素块对应的温度是否存在异常，如果存在，则输出报警 提示，并作出相应措施。
优选地，步骤a中采用的算法为SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)，其包括步骤如下：
a1、利用温度点阵，作为可见光图像中的初始化种子点，在图像中均匀地分 配种子点；
a2、在种子点的3×3领域内重新选择种子点；
a3、在每个种子点周围的邻域内为每个像素点分配类标签；
a4、将每个点的色域转换为Lab域；
a5、对每个点与周围的中心点进行距离度量；
a6、迭代优化，直到每个点都找到它的聚类中心点。
进一步优选地，在步骤a2中，选择原则为选择梯度最处的点。
优选地，步骤b采用的语义分割网络为FCN，步骤b包括如下步骤：
b1、建立一个简单高效的语义分割网络；
b2、将可见光图输入到分割网络中，得到一张拥有语义分割的结果图，其中， 该结果图主要包含对电子设备的分割，获取电子设备的主要区域。
本发明的有益效果是：
1、本发明通过温度点阵相机与可见光相机融合，获取电子设备温度，提供 温度异常报警功能；
2、利用超像素块技术，降低了语义分割的计算量，可以在相对算力较低的 设备上部署该算法。通过对语义分割网络的训练，可以识别各种不一样的目标和 场景，从而极大的拓展了该发明的使用范围，因此本发明基于视觉的温度报警装 置，具有更广泛的使用场景和更低的硬件成本。
附图说明
图1为本发明实施例的流程框图；
图2为本发明实施例中由VGG改进FCN的示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例1
如图1所示，一种基于测温点阵融合可见光图像的电子设备安全监控方法， 包括如下步骤：
a、利用温度点阵相机获取可见光图像的超像素块；
b、利用语义分割网络对可见光图像进行语义分割；
c、结合超像素块和语义分割，通过语义分割图获得每个超像素块的属性， 判断属于电子设备的超像素块对应的温度是否存在异常，如果存在，则输出报警 提示，并作出相应措施。
实施例2
本实施例在实施例1的基础上，进一步具体地，步骤a中采用的算法为SLIC， 其包括步骤如下：
a1、利用温度点阵，作为可见光图像中的初始化种子点，在图像中均匀地分 配种子点；
a2、在种子点的3×3领域内重新选择种子点；
a3、在每个种子点周围的邻域内为每个像素点分配类标签；
a4、将每个点的色域转换为Lab域；
a5、对每个点与周围的中心点进行距离度量；
a6、迭代优化，直到每个点都找到它的聚类中心点。
进一步优选地，在步骤a2中，选择原则为选择梯度最处的点。
实施例3
本实施例在实施例2的基础上，进一步具体地，步骤b采用的语义分割网 络为FCN，步骤b包括如下步骤：
b1、建立一个简单高效的语义分割网络；
b2、将可见光图输入到分割网络中，得到一张拥有语义分割的结果图，其中， 该结果图主要包含对电子设备的分割，获取电子设备的主要区域。
在计算机视觉进入深度学习时代之后，图像语义分割同样也有了突破性的 进展，以FCN模型为代表的一系列基于卷积神经网络的语义分割方法被相继提 出，图像语义分割的准确度不断提高。
FCN模型以端到端的形式实现对图像像素点的分类预测，其在主流的深度卷 积神经网络模型(VGG、Alex Net、Google Net)进行改进，如图2以VGG为例， 将VGG中的全连接层转化成卷积层。在传统的VGG网络结构中，前面有5个阶 段的卷积层，接下来的fc6和fc7分别是一个长度为4096的一维向量，fc8是 长度为1000的一维向量，分别对应1000个类别的概率。FCN将fc7、fc7和fc8 转化成卷积层，其中卷积核的大小是(4096，1，1)、(4096，1，1)、(1000，1， 1)。FCN进行了很多开创性的工作，是首个对像素点进行end-to-end训练，同 时进行有监督的预训练，同时对现有的网络修改为全卷积网络，可以对任意大小 的输入产生密集输出。学习和推理的过程都是通过前馈计算和反向传播在整幅 图像上进行的。网络内的上采样层可以实现像素的预测，同时，采用降采样的池 化层在网络中进行学习。分批训练目前是很常见的方式，但是和全卷积训练相比， 效率上还是稍逊一点。FCN并不需要产生proposals,或通过随机场，分类器进行 事后的优化操作等，由此可以看出，FCN还是很轻便的。语义分割在位置和语义 之间有一个紧密的联系，全局信息可以解析局部信息。深层特征层次在非线性的 局部-全局金字塔上进行位置和语义的编码。作者由此定义了前面的跳跃结构， 以更好的利用特征信息。
FCN所用到的三种技术:
1、卷积化(convolutionalization)
分类所使用的网络通常会在最后连接全连接层，它会将原来二维的矩阵(图 片)压缩成一维的，从而丢失了空间信息，最后训练输出一个标量，这就是我们 的分类标签。
而图像语义分割的输出则需要是个分割图，且不论尺寸大小，但是至少是二 维的。所以，我们丢弃全连接层，换上卷积层，而这就是所谓的卷积化了。
2、上采样(Upsampling)
上采样也就是最后生成heatmap的过程。
在一般的CNN结构中,如AlexNet,VGGNet均是使用池化层来缩小输出图片 的size，例如VGG16,五次池化后图片被缩小了32倍；而在ResNet中，某些卷 积层也参与到缩小图片size的过程。我们需要得到的是一个与原图像size相 同的分割图，因此我们需要对最后一层进行上采样，在caffe中也被称为反卷 积(Deconvolution),可能叫做转置卷积(conv_transpose)更为恰当一点。
3、跳跃结构(Skip Architecture)
其实直接使用前两种结构就已经可以得到结果了，但是直接将全卷积后的 结果上采样后得到的结果通常是很粗糙的。所以这一结构主要是用来优化最终 结果的，思路就是将不同池化层的结果进行上采样，然后结合这些结果来优化输 出。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细， 但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进， 这些都属于本发明的保护范围。
Claims (4)
1.一种基于测温点阵融合可见光图像的电子设备安全监控方法，其特征在于，包括如下步骤：
a、利用温度点阵相机获取可见光图像的超像素块；
b、利用语义分割网络对可见光图像进行语义分割；
c、结合超像素块和语义分割，通过语义分割图获得每个超像素块的属性，判断属于电子设备的超像素块对应的温度是否存在异常，如果存在，则输出报警提示，并作出相应措施。
2.根据权利要求1所述的基于测温点阵融合可见光图像的电子设备安全监控方法，其特征在于，步骤a中采用的算法为SLIC，其包括步骤如下：
a1、利用温度点阵，作为可见光图像中的初始化种子点，在图像中均匀地分配种子点；
a2、在种子点的3×3领域内重新选择种子点；
a3、在每个种子点周围的邻域内为每个像素点分配类标签；
a4、将每个点的色域转换为Lab域；
a5、对每个点与周围的中心点进行距离度量；
a6、迭代优化，直到每个点都找到它的聚类中心点。
3.根据权利要求2所述的基于测温点阵融合可见光图像的电子设备安全监控方法，其特征在于，在步骤a2中，选择原则为选择梯度最处的点。
4.根据权利要求1所述的基于测温点阵融合可见光图像的电子设备安全监控方法，其特征在于，步骤b采用的语义分割网络为FCN，步骤b包括如下步骤：
b1、建立一个简单高效的语义分割网络；
b2、将可见光图输入到分割网络中，得到一张拥有语义分割的结果图，其中，该结果图主要包含对电子设备的分割，获取电子设备的主要区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345714.9A CN110097555A (zh) | 2019-04-26 | 2019-04-26 | 基于测温点阵融合可见光图像的电子设备安全监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345714.9A CN110097555A (zh) | 2019-04-26 | 2019-04-26 | 基于测温点阵融合可见光图像的电子设备安全监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110097555A true CN110097555A (zh) | 2019-08-06 |
Family
ID=67446013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910345714.9A Pending CN110097555A (zh) | 2019-04-26 | 2019-04-26 | 基于测温点阵融合可见光图像的电子设备安全监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097555A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| CN104217425A (zh) * | 2014-08-15 | 2014-12-17 | 国家电网公司 | 一种基于超像素的输变电设备红外故障图像分割方法 |
| CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
| CN106991682A (zh) * | 2016-01-21 | 2017-07-28 | 深圳中兴力维技术有限公司 | 自动港口货船的提取方法及装置 |
| CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
| CN109034001A (zh) * | 2018-07-04 | 2018-12-18 | 安徽大学 | 一种基于时空线索的跨模态视频显著性检测方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109284663A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 |
-
2019
- 2019-04-26 CN CN201910345714.9A patent/CN110097555A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| CN104217425A (zh) * | 2014-08-15 | 2014-12-17 | 国家电网公司 | 一种基于超像素的输变电设备红外故障图像分割方法 |
| CN106991682A (zh) * | 2016-01-21 | 2017-07-28 | 深圳中兴力维技术有限公司 | 自动港口货船的提取方法及装置 |
| CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
| CN107424159A (zh) * | 2017-07-28 | 2017-12-01 | 西安电子科技大学 | 基于超像素边缘和全卷积网络的图像语义分割方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109034001A (zh) * | 2018-07-04 | 2018-12-18 | 安徽大学 | 一种基于时空线索的跨模态视频显著性检测方法 |
| CN109284663A (zh) * | 2018-07-13 | 2019-01-29 | 上海大学 | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| RADHAKRISHNA ACHANTA等: "SLIC Superpixels Compared to State-of-the-Art Superpixel Methods", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 王晨: "基于深度学习的红外图像语义分割技术研究", 《中国博士论文全文数据库 信息科技辑》 * |
| 计算机视觉LIFE: "SLIC超像素分割详解（一）：简介", 《HTTPS://BLOG.CSDN.NET/ELECTECH6/ARTICLE/DETAILS/45509779》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059710B (zh) | 用于利用卷积神经网络进行图像分类的装置和方法 | |
| CN106897732B (zh) | 一种基于连接文字段的自然图片中多方向文本检测方法 | |
| CN109961019A (zh) | 一种时空行为检测方法 | |
| Tang et al. | DFFNet: An IoT-perceptive dual feature fusion network for general real-time semantic segmentation | |
| CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
| CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN108921198A (zh) | 基于深度学习的商品图像分类方法、服务器及系统 | |
| Li et al. | Lemon‐YOLO: An efficient object detection method for lemons in the natural environment | |
| Yin et al. | End-to-end face parsing via interlinked convolutional neural networks | |
| Voulodimos et al. | Improving multi-camera activity recognition by employing neural network based readjustment | |
| Zhu et al. | Attentive multi-stage convolutional neural network for crowd counting | |
| CN110889416A (zh) | 一种基于级联改良网络的显著性物体检测方法 | |
| CN110334622A (zh) | 基于自适应特征金字塔的行人检索方法 | |
| Dou et al. | An improved yolov5s fire detection model | |
| Zheng et al. | Feature pyramid of bi-directional stepped concatenation for small object detection | |
| Jing et al. | SmokeSeger: A Transformer-CNN coupled model for urban scene smoke segmentation | |
| Shi et al. | Object detection based on Swin Deformable Transformer‐BiPAFPN‐YOLOX | |
| CN110503014A (zh) | 基于多尺度掩码感知回馈卷积神经网络的人数统计方法 | |
| Li et al. | HoloParser: Holistic visual parsing for real-time semantic segmentation in autonomous driving | |
| CN110097555A (zh) | 基于测温点阵融合可见光图像的电子设备安全监控方法 | |
| CN116863237A (zh) | 一种基于类别相关特征重建的图像分类方法及装置 | |
| CN111339950A (zh) | 一种遥感图像目标检测方法 | |
| Li et al. | An improved lightweight network based on yolov5s for object detection in autonomous driving | |
| Wang et al. | Multi‐level feature fusion network for crowd counting | |
| Vijayan et al. | Contextual background modeling using deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190806 |