CN108665487A - 基于红外和可见光融合的变电站作业对象和目标定位方法 - Google Patents

基于红外和可见光融合的变电站作业对象和目标定位方法 Download PDF

Info

Publication number
CN108665487A
CN108665487A CN201710966928.9A CN201710966928A CN108665487A CN 108665487 A CN108665487 A CN 108665487A CN 201710966928 A CN201710966928 A CN 201710966928A CN 108665487 A CN108665487 A CN 108665487A
Authority
CN
China
Prior art keywords
image
target
fusion
infrared
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710966928.9A
Other languages
English (en)
Other versions
CN108665487B (zh
Inventor
贾学东
林慧
张伟政
宋伟
董明
陈国军
辛军
马佳琳
何婷
鲍薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
PLA Information Engineering University
Zhengzhou Power Supply Co of Henan Electric Power Co
Original Assignee
State Grid Corp of China SGCC
PLA Information Engineering University
Zhengzhou Power Supply Co of Henan Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, PLA Information Engineering University, Zhengzhou Power Supply Co of Henan Electric Power Co filed Critical State Grid Corp of China SGCC
Priority to CN201710966928.9A priority Critical patent/CN108665487B/zh
Publication of CN108665487A publication Critical patent/CN108665487A/zh
Application granted granted Critical
Publication of CN108665487B publication Critical patent/CN108665487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于红外和可见光融合的变电站作业对象和目标定位方法，其技术方案是：利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。分三个阶段进行：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型。本发明采用基于三维场景模型的融合方法，利用可见光和红外图像的空间对应关系进行变换，解决大视场多角度情况下融合问题，取得了较好的效果，获得更加完整和可靠的图像信息。

Description

基于红外和可见光融合的变电站作业对象和目标定位方法
技术领域：
本发明涉及一种变电站现场作业定位方法，特别是涉及一种基于红外和可见光融合的变电站作业对象和目标定位方法。
背景技术：
目前变电站现场安全管控采用人工观察的方式，在变电站进行工作时会有安全监督员，实时观察工作现场情况，观察现场工作人员是否与带电设备保持足够的安全距离，利用在变电站工作区域布设安全围栏的方法对作业区域进行管控。但是在变电站实际作业现场，电站内进出通道过长，基本无法进行完整封闭，工作人员可能会通过不正常路径到达工作区域，增加了人员误入带电间隔而触电的风险；当变电站内作业面积过大、作业点较多时，现场安全监护人员不足，难以对作业区域进行实时监督，增加了安全风险。
发明内容：
本发明所要解决的技术问题是：克服现有技术的不足，提供一种设计合理、容易实施、监控精确且减少人力投入的基于红外和可见光融合的变电站作业对象和目标定位方法。
本发明的技术方案是：
一种基于红外和可见光融合的变电站作业对象和目标定位方法，利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
在上述动态目标的识别、定位和跟踪的过程中，主要分三个阶段进行，包括：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型；所述基于三维场景和多光谱图像融合的动态目标检测识别包括序列图像中运动目标的检测、多光谱图像融合、动态目标检测识别。
所述序列图像中运动目标的检测是针对目标在一系列连续图像中存在运动、相对位置变化的现象，通过分析相邻两幅图像中目标的状态差异，得到序列图像中的运动目标；采用基于Codebook和连通成分分析的运动检测算法训练静止状态的参考模板，然后将待检测图像与该参考模板进行比对分析，得到相应运动目标的掩码图像；采用简单的背景减除法分析当前图像与前面紧邻多幅参考图像之间的背景差别，以及当前图像与训练图像之间的背景差别，分别得到相应的掩码图像；将上述三种情况下的掩码图像融合，得到最终的运动目标检测结果。
CodeBook算法是得到每个像素的时间序列模型，当前图像的每个像素建立一个CodeBook结构，每个CB结构又由多个CodeWord 组成；CB和CW的形式如下：
CB={CW1, CW2, … CWn, t}
CW={lHigh, lLow, max, min, t_last, stale}
其中n为一个CB所包含的CW数目，n太小时，退化为简单背景，n较大时对复杂背景进行建模；t为CB更新的次数；CW是一个6元组，IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大和最小值；上次更新时间t_last和陈旧时间stale用来删除很少使用的CodeWord；
使用已建好的CB进行运动目标检测的方法为，记判断前景的范围上下界为minMod和maxMod，对于当前待检测图像上的某一像素I(x,y)，遍历它对应像素背景模型CB中的每一个码字CW，若存在一个CW，使得I(x,y) < max + maxMod并且I(x,y) > min – minMod，则I(x,y)被判断为背景，否则被判断为前景。
连通成分分析的二值图像中互相连通的0像素集或1像素集称之为连通域；被1像素包围的0像素叫做孔；1像素连通域不含孔时，叫做单连通成分，含有一个或多个孔的连通称为叫做多重连通成分；差值后的一帧图像可能存在多个连通域，每个非连通域对应一个目标图像区，给各目标区分配相应标号的工作称为标记；
图像标识的作用是确定物体是否独立，图像中有几个运动目标，标识过程为：按一定顺序逐个扫描像素，扫描到1的像素，检测其领域的像素值，若一样则为连通域，并标记为第一个目标，然后依次寻找下一个目标；
在所有可能的目标都找到了之后，为每个目标划出一个波门，将目标框起来，并建立一个多目标位置链表，找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来，针对所存储起来的目标，基于图像分割来判断当前的目标是属于同一个目标还是不同的目标；
图像分割用于分离目标和背景的组合或者分离不同目标的组合，首先利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割，然后利用腐蚀的方法消除物体边界点，把小于结构元素的物体去除；如果两物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开，利用膨胀运算把图像周围的背景点合并到物体中；如果两个物体比较接近，那么膨胀运算可能会使这两个物体连通在一起；膨胀对填补图像的空洞很有用，膨胀运算最简单的应用之一就是将裂缝接起来。
基于简单的背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标；通过相邻帧的差分图像来寻找运动的目标，由于相邻两帧之间的背景变化非常小，而前景则变化很大，因此画面中一部分本来是背景的像素被前景覆盖、而另外一些本来被前景遮挡的背景则会显露出来，相邻两帧的差异主要体现在物体垂直于运动方向的边缘部分，与物体运动速度相关，得到的结果不稳定；利用对称差分方法对连续三帧的差分图像来提取目标轮廓，并进一步利用形态学处理等手段获得目标掩模，对称帧差获得的运动目标边缘宽度由平滑滤波的参数决定，而与目标运动速度没有太大的关系，具有很强的适用性。
红外光图像与可见光图像融合是在校正可见光和红外传感器畸变的基础上，精确测定相机内外参数，实现基于三维空间位置的多光谱图像融合，即在每一个光谱图像上，三维空间中的每一点，都有唯一的像素与之对应，此空间关系是实现后继光谱成像特性分析的重要基础；利用该校正图像，即可在三维空间域内实现目标的特征分析，包括交联、温度、运动、光谱等特征的融合分析处理；
图像融合技术是一种先进的综合多个源图像信息的图像处理技术，是采用一定的算法对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述；通常在观察同一场景或目标时，由多个不同特性的传感器获取的图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间、不同观测角度获得的信息也不同，图像融合能够充分利用这些在时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。
对于热红外图像和可见光图像，首要关注的是目标信息，包括目标的位置、行为、状态；其次是目标周边的场景信息，该场景信息有助于对目标当前位置、状态、行为等特征进行推理和判断；最后是场景外围的背景信息；融合的原则是尽量保留热红外图像中的目标特征信息和可见光图像中的纹理细节信息，应尽可能地提高融合图像的清晰度、亮度和对比度，提高融合图像整体空间质量和保真度；在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，应考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
图像融合包括图像内容划分、多源图像的多级融合和基于加权平均的像素级图像融合，图像内容划分是在明确图像内容重要性等级和融合原则之后，首先要实现对热红外图像与可见光图像内容的划分，对于该组图像中特征目标信息主要来自热红外图像；多源图像的多级融合包括像素级图像融合、特征级图像融合和决策级图像融合，三个层次的图像融合与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，要根据具体的需要选择及结合不同层次融合的特点，以获得最优的融合结果。
基于三维场景和多光谱图像融合的动态目标检测识别，主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，基于这种融合图像进行分析，能够更好地满足变电站现场的全天候实时监测需求；在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
本发明的有益效果是：
1、本发明采用基于三维场景模型的融合方法，即利用可见光和红外图像的空间对应关系进行变换，解决大视场多角度情况下融合问题，取得了较好的效果，并且可见光图像与红外图像融合是全天候视觉辨识的基础，这两种图像的融合能获得更加完整和可靠的图像信息。
2、本发明通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性能等。
3、本发明在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
4、本发明能够更好地满足变电站现场的全天候实时监测需求。在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
5、本发明主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，以监测识别人员位置，其应用范围广，易于推广实施，具有良好的经济效益。
附图说明：
图1为本发明的流程图；
图2为多源图像的信息构成图；
图3为本发明多源图像融合示意图。
具体实施方式：
实施例：参见图1-图3。
一种基于红外和可见光融合的变电站作业对象和目标定位方法，利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
在上述动态目标的识别、定位和跟踪的过程中，主要分三个阶段进行，包括：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型；所述基于三维场景和多光谱图像融合的动态目标检测识别包括序列图像中运动目标的检测、多光谱图像融合、动态目标检测识别。
序列图像中运动目标的检测是针对目标在一系列连续图像中存在运动、相对位置变化的现象，通过分析相邻两幅图像中目标的状态差异，得到序列图像中的运动目标；采用基于Codebook和连通成分分析的运动检测算法训练静止状态的参考模板，然后将待检测图像与该参考模板进行比对分析，得到相应运动目标的掩码图像；采用简单的背景减除法分析当前图像与前面紧邻多幅参考图像之间的背景差别，以及当前图像与训练图像之间的背景差别，分别得到相应的掩码图像；将上述三种情况下的掩码图像融合，得到最终的运动目标检测结果。
CodeBook算法是得到每个像素的时间序列模型，当前图像的每个像素建立一个CodeBook结构，每个CB结构又由多个CodeWord 组成；CB和CW的形式如下：
CB={CW1, CW2, … CWn, t}
CW={lHigh, lLow, max, min, t_last, stale}
其中n为一个CB所包含的CW数目，n太小时，退化为简单背景，n较大时对复杂背景进行建模；t为CB更新的次数；CW是一个6元组，IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大和最小值；上次更新时间t_last和陈旧时间stale(记录CW多久未被访问)用来删除很少使用的CodeWord；
假设当前训练图像I中某一像素为I(x,y)，该像素的CB的更新算法如下，另外记背景阈值的增长判定阈值为Bounds：
CB的访问次数加1；
遍历CB中的每个CW，如果存在一个CW中的IHigh，ILow满足ILow ≤ I(x,y) ≤IHigh，则转；
创建一个新的码字CWnew加入到CB中，CWnew的max与min都赋值为I(x,y)，IHigh赋值为I(x,y) + Bounds，ILow赋值为I(x,y)–Bounds，并且转；
更新该码字的t_last，若当前像素值I(x,y)大于该码字的max，则max = I(x,y)，若I(x,y)小于该码字的min，则min = I(x,y)；
更新该码字的学习上下界，以增加背景模型对于复杂背景的适应能力，具体做法是：若IHigh < I(x,y) + Bounds，则IHigh 增长1，若ILow > I(x,y) – Bounds，则ILow减少1；
更新CB中每个CW的stale。
使用已建好的CB进行运动目标检测的方法为，记判断前景的范围上下界为minMod和maxMod，对于当前待检测图像上的某一像素I(x,y)，遍历它对应像素背景模型CB中的每一个码字CW，若存在一个CW，使得I(x,y) < max + maxMod并且I(x,y) > min – minMod，则I(x,y)被判断为背景，否则被判断为前景。
连通成分分析的二值图像中互相连通的0像素集或1像素集称之为连通域；被1像素包围的0像素叫做孔；1像素连通域不含孔时，叫做单连通成分，含有一个或多个孔的连通称为叫做多重连通成分；差值后的一帧图像可能存在多个连通域，每个非连通域对应一个目标图像区，给各目标区分配相应标号的工作称为标记；
图像标识的作用是确定物体是否独立，图像中有几个运动目标，标识过程为：按一定顺序逐个扫描像素，扫描到1的像素，检测其领域的像素值，若一样则为连通域，并标记为第一个目标，然后依次寻找下一个目标；
在所有可能的目标都找到了之后，为每个目标划出一个波门，将目标框起来，并建立一个多目标位置链表，找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来，针对所存储起来的目标，基于图像分割来判断当前的目标是属于同一个目标还是不同的目标；
图像分割用于分离目标和背景的组合或者分离不同目标的组合，首先利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割，然后利用腐蚀的方法消除物体边界点，把小于结构元素的物体去除；如果两物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开，利用膨胀运算把图像周围的背景点合并到物体中；如果两个物体比较接近，那么膨胀运算可能会使这两个物体连通在一起；膨胀对填补图像的空洞很有用，膨胀运算最简单的应用之一就是将裂缝接起来。
基于简单的背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标；通过相邻帧的差分图像来寻找运动的目标，由于相邻两帧之间的背景变化非常小，而前景则变化很大，因此画面中一部分本来是背景的像素被前景覆盖、而另外一些本来被前景遮挡的背景则会显露出来，相邻两帧的差异主要体现在物体垂直于运动方向的边缘部分，与物体运动速度相关，得到的结果不稳定。
对称差分方法利用连续三帧的差分图像来提取目标轮廓，并进一步利用形态学处理等手段获得目标掩模。其大致算法流程为：
第一步：输入视频图像流
读取当前帧（记为fk）及其前两帧（fk-1和fk-2），进行局部对比度增强；
获得差分图像dk=|fk-fk-1|、dk=|fk-1-fk-2|；
对差分图像进行平滑滤波，得到gk和gk-1，用阈值去除较小的响应；
将gk和gk-1按像素相与，得到运动目标大致轮廓的二值图像hk；
利用像素及图像处理和数学形态学对hk进行后处理，获得完整的目标掩模。
第二步：输出上一帧fk-1的目标掩模
该方法侦测出来的目标实际上是中间帧（fk-1）的目标，因此在实际应用中，处理结果要落后真实时间一帧，但这种程度的时延对监控不会产生影响。
对称帧差获得的运动目标边缘宽度由平滑滤波的参数决定，而与目标运动速度没有太大的关系，具有很强的适用性。另外，该方法还能快速地在线处理，可以提供几乎实时的检测结果。
基于背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标。
红外光图像与可见光图像融合是在校正可见光和红外传感器畸变的基础上，精确测定相机内外参数，实现基于三维空间位置的多光谱图像融合，即在每一个光谱图像上，三维空间中的每一点，都有唯一的像素与之对应，此空间关系是实现后继光谱成像特性分析的重要基础；利用该校正图像，即可在三维空间域内实现目标的特征分析，包括交联、温度、运动、光谱等特征的融合分析处理；
图像融合技术是一种先进的综合多个源图像信息的图像处理技术，是采用一定的算法对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述；通常在观察同一场景或目标时，由多个不同特性的传感器获取的图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间、不同观测角度获得的信息也不同，图像融合能够充分利用这些在时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。融合后的图像应该更适合于人类视觉感知或计算机后续处理。以两个传感器A、B为例，其信息构成的示意图如图2所示。
对于热红外图像和可见光图像，首要关注的是目标信息，包括目标的位置、行为、状态；其次是目标周边的场景信息，该场景信息有助于对目标当前位置、状态、行为等特征进行推理和判断；最后是场景外围的背景信息；融合的原则是尽量保留热红外图像中的目标特征信息和可见光图像中的纹理细节信息，应尽可能地提高融合图像的清晰度、亮度和对比度，提高融合图像整体空间质量和保真度；在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，应考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
图像融合包括图像内容划分、多源图像的多级融合和基于加权平均的像素级图像融合。
（1）图像内容划分
在明确图像内容重要性等级和融合原则之后，首先要实现对热红外图像与可见光图像内容的划分。对于该组图像，我们感兴趣的是特征目标信息，这些信息主要来自热红外图像，我们以热红外图像作为参考图像，进行不同内容的划分。首先将热红外图像分为目标区域、目标周围场景区域和背景区域，然后将这些内容区域对应映射到可见光图像中。目前，常用的图像分割方法主要分以下几类：基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法以及基于特定理论的分割方法等。
项目组获取的变电站图像中主要包含电线杆、输电线、变压器以及一些开关、刀闸、电缆、接地电压器等小型设备，具有图像内容数量多而且布局复杂的特点，因此，根据变电站设备在图像中的分布特征，结合各类图像分割算法的优缺点，研究并采用基于区域的图像分割方法，具体算法为分水岭分割方法。
分水岭分割方法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。
分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化，都会产生过度分割的现象。但同时应当看出，分水岭算法对微弱边缘具有良好的响应，是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区域特征提供了可能。
为消除分水岭算法产生的过度分割，用阈值限制梯度图像以达到消除灰度值的微小变化产生的过度分割，获得适量的区域，再对这些区域的边缘点的灰度级进行从低到高排序，然后在从低到高实现淹没的过程，梯度图像用Sobel算子计算获得。对梯度图像进行阈值处理时，选取的阈值对最终分割的图像有很大影响，因此阈值的选取是图像分割效果好坏的一个关键。在实际应用中，通常可根据大量的处理经验来确定合适的阈值。
分水岭分割方法有以下基本步骤：
1）计算分割函数。图像中较暗的区域是要分割的对象；
2）计算前景标志。这些是每个对象内部连接的斑点像素；
3）计算背景标志。这些是不属于任何对象的像素；
4）修改分割函数，使其仅在前景和后景标记位置有极小值；
5）对修改后的分割函数做分水岭变换计算。
图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。根据图像融合处理所处的阶段不同，通常可以在三个不同层次上进行：像素级(Pixel-level)图像融合、特征级(Feature-level)图像融合以及决策级(Decsion-level)图像融合。图3示意了在图像处理的全过程中，图像融合所处的位置与层次。
1）像素级图像融合
像素级图像融合是在严格配准的条件下，对各传感器输出的图像信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础。但是与其它两个层次的融合相比，像素级融合需要处理的信息量最大，处理时间较长，对设备的要求也比较高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。
2）特征级图像融合
特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合是在中间层次上进行的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相似景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。
3）决策级图像融合
决策级图像融合是根据一定的准则以及每个决策的可信度做出最优决策。决策级融合是高层次的信息融合，在每个传感器已完成了目标提取与分类之后，融合系统根据一定的准则以及每个决策的可信度做出决策融合处理。此种融合实时性好，并且具有一定的容错能力，但其预处理代价较高，图像中原始信息的损失最多。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。
上述三个层次的图像融合与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，要根据具体的需要选择及结合不同层次融合的特点，以获得最优的融合结果。
基于三维场景和多光谱图像融合的动态目标检测识别，主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，基于这种融合图像进行分析，能够更好地满足变电站现场的全天候实时监测需求；在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的
限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
2.根据权利要求1所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：在上述动态目标的识别、定位和跟踪的过程中，主要分三个阶段进行，包括：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪，并给出了相应的算法原型；所述基于三维场景和多光谱图像融合的动态目标检测识别包括序列图像中运动目标的检测、多光谱图像融合、动态目标检测识别。
3.根据权利要求2所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：所述序列图像中运动目标的检测是针对目标在一系列连续图像中存在运动、相对位置变化的现象，通过分析相邻两幅图像中目标的状态差异，得到序列图像中的运动目标；采用基于Codebook和连通成分分析的运动检测算法训练静止状态的参考模板，然后将待检测图像与该参考模板进行比对分析，得到相应运动目标的掩码图像；采用简单的背景减除法分析当前图像与前面紧邻多幅参考图像之间的背景差别，以及当前图像与训练图像之间的背景差别，分别得到相应的掩码图像；将上述三种情况下的掩码图像融合，得到最终的运动目标检测结果。
4.根据权利要求3所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：CodeBook算法是得到每个像素的时间序列模型，当前图像的每个像素建立一个CodeBook结构，每个CB结构又由多个CodeWord 组成；CB和CW的形式如下：
CB={CW1, CW2, … CWn, t}
CW={lHigh, lLow, max, min, t_last, stale}
其中n为一个CB所包含的CW数目，n太小时，退化为简单背景，n较大时对复杂背景进行建模；t为CB更新的次数；CW是一个6元组，IHigh和ILow作为更新时的学习上下界，max和min记录当前像素的最大和最小值；上次更新时间t_last和陈旧时间stale用来删除很少使用的CodeWord；
使用已建好的CB进行运动目标检测的方法为，记判断前景的范围上下界为minMod和maxMod，对于当前待检测图像上的某一像素I(x,y)，遍历它对应像素背景模型CB中的每一个码字CW，若存在一个CW，使得I(x,y) < max + maxMod并且I(x,y) > min – minMod，则I(x,y)被判断为背景，否则被判断为前景。
5.根据权利要求3所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：连通成分分析的二值图像中互相连通的0像素集或1像素集称之为连通域；被1像素包围的0像素叫做孔；1像素连通域不含孔时，叫做单连通成分，含有一个或多个孔的连通称为叫做多重连通成分；差值后的一帧图像可能存在多个连通域，每个非连通域对应一个目标图像区，给各目标区分配相应标号的工作称为标记；
图像标识的作用是确定物体是否独立，图像中有几个运动目标，标识过程为：按一定顺序逐个扫描像素，扫描到1的像素，检测其领域的像素值，若一样则为连通域，并标记为第一个目标，然后依次寻找下一个目标；
在所有可能的目标都找到了之后，为每个目标划出一个波门，将目标框起来，并建立一个多目标位置链表，找到的每一个目标区域的中心位置都作为一个结点加入该链表储存起来，针对所存储起来的目标，基于图像分割来判断当前的目标是属于同一个目标还是不同的目标；
图像分割用于分离目标和背景的组合或者分离不同目标的组合，首先利用图像目标与背景这两类的总体灰度之间存在的差距确定阈值从而进行分割，然后利用腐蚀的方法消除物体边界点，把小于结构元素的物体去除；如果两物体之间有细小的连通，那么当结构元素足够大时，通过腐蚀运算可以将两个物体分开，利用膨胀运算把图像周围的背景点合并到物体中；如果两个物体比较接近，那么膨胀运算可能会使这两个物体连通在一起；膨胀对填补图像的空洞很有用，膨胀运算最简单的应用之一就是将裂缝接起来。
6.根据权利要求3所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：基于简单的背景减除法的运动目标检测，首先基于像素做差来分析当前图像与过去紧邻多幅图像之间的差异，然后，基于上述的图像分割来判断待检测图像中的运动目标；通过相邻帧的差分图像来寻找运动的目标，由于相邻两帧之间的背景变化非常小，而前景则变化很大，因此画面中一部分本来是背景的像素被前景覆盖、而另外一些本来被前景遮挡的背景则会显露出来，相邻两帧的差异主要体现在物体垂直于运动方向的边缘部分，与物体运动速度相关，得到的结果不稳定；利用对称差分方法对连续三帧的差分图像来提取目标轮廓，并进一步利用形态学处理等手段获得目标掩模，对称帧差获得的运动目标边缘宽度由平滑滤波的参数决定，而与目标运动速度没有太大的关系，具有很强的适用性。
7.根据权利要求2所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：红外光图像与可见光图像融合是在校正可见光和红外传感器畸变的基础上，精确测定相机内外参数，实现基于三维空间位置的多光谱图像融合，即在每一个光谱图像上，三维空间中的每一点，都有唯一的像素与之对应，此空间关系是实现后继光谱成像特性分析的重要基础；利用该校正图像，即可在三维空间域内实现目标的特征分析，包括交联、温度、运动、光谱等特征的融合分析处理；
图像融合技术是一种先进的综合多个源图像信息的图像处理技术，是采用一定的算法对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述；通常在观察同一场景或目标时，由多个不同特性的传感器获取的图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间、不同观测角度获得的信息也不同，图像融合能够充分利用这些在时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。
8.根据权利要求7所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：对于热红外图像和可见光图像，首要关注的是目标信息，包括目标的位置、行为、状态；其次是目标周边的场景信息，该场景信息有助于对目标当前位置、状态、行为等特征进行推理和判断；最后是场景外围的背景信息；融合的原则是尽量保留热红外图像中的目标特征信息和可见光图像中的纹理细节信息，应尽可能地提高融合图像的清晰度、亮度和对比度，提高融合图像整体空间质量和保真度；在图像融合时，针对不同内容区域，设定了不同的融合规则，在选取融合方法和设计融合规则时，应考虑图像整体融合效果，尽可能同时兼顾和协调图像各部分内容，保证不同内容区域之间过渡自然，图像整体和谐统一。
9.根据权利要求7所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：图像融合包括图像内容划分、多源图像的多级融合和基于加权平均的像素级图像融合，图像内容划分是在明确图像内容重要性等级和融合原则之后，首先要实现对热红外图像与可见光图像内容的划分，对于该组图像中特征目标信息主要来自热红外图像；多源图像的多级融合包括像素级图像融合、特征级图像融合和决策级图像融合，三个层次的图像融合与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，要根据具体的需要选择及结合不同层次融合的特点，以获得最优的融合结果。
10.根据权利要求2所述的基于红外和可见光融合的变电站作业对象和目标定位方法，其特征是：基于三维场景和多光谱图像融合的动态目标检测识别，主要采用基于序列图像的运动监测方法，分析来自于可见光、红外光等多光谱图像的融合图像，基于这种融合图像进行分析，能够更好地满足变电站现场的全天候实时监测需求；在超特高压变电站状态视觉辨识项目中，成功利用该方法实现刀闸运动检测，采用人员的头部中心作为检测对象的位置描述，这样在10cm的定位精度下，即可分辨不同的重叠人员。
CN201710966928.9A 2017-10-17 2017-10-17 基于红外和可见光融合的变电站作业对象和目标定位方法 Active CN108665487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710966928.9A CN108665487B (zh) 2017-10-17 2017-10-17 基于红外和可见光融合的变电站作业对象和目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710966928.9A CN108665487B (zh) 2017-10-17 2017-10-17 基于红外和可见光融合的变电站作业对象和目标定位方法

Publications (2)

Publication Number Publication Date
CN108665487A true CN108665487A (zh) 2018-10-16
CN108665487B CN108665487B (zh) 2022-12-13

Family

ID=63785012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710966928.9A Active CN108665487B (zh) 2017-10-17 2017-10-17 基于红外和可见光融合的变电站作业对象和目标定位方法

Country Status (1)

Country Link
CN (1) CN108665487B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109911550A (zh) * 2019-04-17 2019-06-21 华夏天信（北京）智能低碳技术研究院有限公司 基于红外热成像与可见光视频分析的刮板运输机保护装置
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN111062954A (zh) * 2019-12-30 2020-04-24 中国科学院长春光学精密机械与物理研究所 一种基于差分信息统计的红外图像分割方法、装置及设备
CN111105372A (zh) * 2019-12-10 2020-05-05 北京都是科技有限公司 热红外图像处理器、系统、方法及装置
CN111174937A (zh) * 2020-02-20 2020-05-19 中国科学院半导体研究所 基于光电舱的扫描式红外体温检测装置及方法
CN111225440A (zh) * 2019-11-22 2020-06-02 三一重工股份有限公司 一种协同定位方法、装置和电子设备
CN111372043A (zh) * 2020-02-06 2020-07-03 浙江大华技术股份有限公司 异常检测方法以及相关设备、装置
CN112346141A (zh) * 2020-11-05 2021-02-09 上海亨临光电科技有限公司 一种太赫兹图像与可见光图像映射融合方法及系统
CN112488483A (zh) * 2020-11-25 2021-03-12 上上德盛集团股份有限公司 一种基于ai技术的ehs透明管理系统及管理方法
CN113076802A (zh) * 2021-03-04 2021-07-06 国网湖北省电力有限公司检修公司 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN113139521A (zh) * 2021-05-17 2021-07-20 中国大唐集团科学技术研究院有限公司中南电力试验研究院 一种用于电力监控的行人越界标监测方法
CN113505679A (zh) * 2021-07-02 2021-10-15 浙江华是科技股份有限公司 变电站线缆的监控方法、装置、系统及计算机存储介质
CN113544922A (zh) * 2019-03-07 2021-10-22 Abb瑞士股份有限公司 用于监测开关设备的装置
CN115641353A (zh) * 2022-12-22 2023-01-24 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质
CN116309849A (zh) * 2023-05-17 2023-06-23 新乡学院 一种基于视觉雷达的起重机定位方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581231A (zh) * 2004-05-20 2005-02-16 上海交通大学 基于运动目标检测的红外和可见光动态图像融合方法
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20110142283A1 (en) * 2009-12-10 2011-06-16 Chung-Hsien Huang Apparatus and method for moving object detection
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
WO2013091369A1 (zh) * 2011-12-22 2013-06-27 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
CN103200394A (zh) * 2013-04-07 2013-07-10 南京理工大学 基于dsp的目标图像实时传输与跟踪方法及其装置
CN103402074A (zh) * 2013-07-05 2013-11-20 中山大学 一种电视图像运动目标识别装置
CN103903020A (zh) * 2014-04-22 2014-07-02 天津市协力自动化工程有限公司 一种基于CodeBook的火灾图像识别方法及装置
CN104933392A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 使用多视图融合的概率性人追踪
US20150325021A1 (en) * 2014-05-08 2015-11-12 Samsung Techwin Co., Ltd. Image fusing method
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105678803A (zh) * 2015-12-29 2016-06-15 南京理工大学 基于w4算法和帧间差分的视频监控目标检测方法
CN105825198A (zh) * 2016-03-29 2016-08-03 深圳市佳信捷技术股份有限公司 行人检测方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581231A (zh) * 2004-05-20 2005-02-16 上海交通大学 基于运动目标检测的红外和可见光动态图像融合方法
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20110142283A1 (en) * 2009-12-10 2011-06-16 Chung-Hsien Huang Apparatus and method for moving object detection
WO2013091369A1 (zh) * 2011-12-22 2013-06-27 中国科学院自动化研究所 一种基于深度图像的多目标分割和跟踪方法
CN103136526A (zh) * 2013-03-01 2013-06-05 西北工业大学 基于多源图像特征融合的在线目标跟踪方法
CN103200394A (zh) * 2013-04-07 2013-07-10 南京理工大学 基于dsp的目标图像实时传输与跟踪方法及其装置
CN103402074A (zh) * 2013-07-05 2013-11-20 中山大学 一种电视图像运动目标识别装置
CN104933392A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 使用多视图融合的概率性人追踪
CN103903020A (zh) * 2014-04-22 2014-07-02 天津市协力自动化工程有限公司 一种基于CodeBook的火灾图像识别方法及装置
US20150325021A1 (en) * 2014-05-08 2015-11-12 Samsung Techwin Co., Ltd. Image fusing method
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105678803A (zh) * 2015-12-29 2016-06-15 南京理工大学 基于w4算法和帧间差分的视频监控目标检测方法
CN105825198A (zh) * 2016-03-29 2016-08-03 深圳市佳信捷技术股份有限公司 行人检测方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘信乐: "热红外图像与可见光图像融合方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘凌霄等: "多源图像融合关键技术应用研究", 《科技创新导报》 *
常天庆等: "基于信息融合的目标管理与被动定位方法", 《系统工程与电子技术》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113544922A (zh) * 2019-03-07 2021-10-22 Abb瑞士股份有限公司 用于监测开关设备的装置
CN109911550A (zh) * 2019-04-17 2019-06-21 华夏天信（北京）智能低碳技术研究院有限公司 基于红外热成像与可见光视频分析的刮板运输机保护装置
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110378260B (zh) * 2019-07-05 2024-02-06 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN110543850B (zh) * 2019-08-30 2022-07-22 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN111225440A (zh) * 2019-11-22 2020-06-02 三一重工股份有限公司 一种协同定位方法、装置和电子设备
CN111105372A (zh) * 2019-12-10 2020-05-05 北京都是科技有限公司 热红外图像处理器、系统、方法及装置
CN111062954B (zh) * 2019-12-30 2022-07-08 中国科学院长春光学精密机械与物理研究所 一种基于差分信息统计的红外图像分割方法、装置及设备
CN111062954A (zh) * 2019-12-30 2020-04-24 中国科学院长春光学精密机械与物理研究所 一种基于差分信息统计的红外图像分割方法、装置及设备
CN111372043B (zh) * 2020-02-06 2021-05-11 浙江大华技术股份有限公司 异常检测方法以及相关设备、装置
CN111372043A (zh) * 2020-02-06 2020-07-03 浙江大华技术股份有限公司 异常检测方法以及相关设备、装置
CN111174937A (zh) * 2020-02-20 2020-05-19 中国科学院半导体研究所 基于光电舱的扫描式红外体温检测装置及方法
CN112346141A (zh) * 2020-11-05 2021-02-09 上海亨临光电科技有限公司 一种太赫兹图像与可见光图像映射融合方法及系统
CN112488483A (zh) * 2020-11-25 2021-03-12 上上德盛集团股份有限公司 一种基于ai技术的ehs透明管理系统及管理方法
CN112488483B (zh) * 2020-11-25 2024-03-26 上上德盛集团股份有限公司 一种基于ai技术的ehs透明管理系统及管理方法
CN113076802A (zh) * 2021-03-04 2021-07-06 国网湖北省电力有限公司检修公司 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN113076802B (zh) * 2021-03-04 2022-06-07 国网湖北省电力有限公司超高压公司 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN113139521A (zh) * 2021-05-17 2021-07-20 中国大唐集团科学技术研究院有限公司中南电力试验研究院 一种用于电力监控的行人越界标监测方法
CN113139521B (zh) * 2021-05-17 2022-10-11 中国大唐集团科学技术研究院有限公司中南电力试验研究院 一种用于电力监控的行人越界标监测方法
CN113505679B (zh) * 2021-07-02 2023-12-26 浙江华是科技股份有限公司 变电站线缆的监控方法、装置、系统及计算机存储介质
CN113505679A (zh) * 2021-07-02 2021-10-15 浙江华是科技股份有限公司 变电站线缆的监控方法、装置、系统及计算机存储介质
CN115641353A (zh) * 2022-12-22 2023-01-24 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质
CN115641353B (zh) * 2022-12-22 2023-04-07 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质
CN116309849A (zh) * 2023-05-17 2023-06-23 新乡学院 一种基于视觉雷达的起重机定位方法
CN116309849B (zh) * 2023-05-17 2023-08-25 新乡学院 一种基于视觉雷达的起重机定位方法

Also Published As

Publication number Publication date
CN108665487B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN108665487A (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
Wang et al. Salient object detection based on multi-scale contrast
CN103745203B (zh) 基于视觉注意和均值漂移的目标检测与跟踪方法
CN105869178B (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN102496016B (zh) 一种基于时空协同框架的红外目标检测方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN105828691B (zh) 图像处理装置、图像处理方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
CN110033007A (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN107230219A (zh) 一种单目机器人上的目标人发现与跟随方法
Van Etten et al. The spacenet multi-temporal urban development challenge
Zhang Detection and tracking of human motion targets in video images based on camshift algorithms
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
Pan et al. An adaptive multifeature method for semiautomatic road extraction from high-resolution stereo mapping satellite images
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Hua et al. Background extraction using random walk image fusion
Xing et al. Multi-level adaptive perception guidance based infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant