CN111798560A - 一种电力设备红外热像测温数据三维实景模型可视化方法 - Google Patents

一种电力设备红外热像测温数据三维实景模型可视化方法 Download PDF

Info

Publication number
CN111798560A
CN111798560A CN202010518734.4A CN202010518734A CN111798560A CN 111798560 A CN111798560 A CN 111798560A CN 202010518734 A CN202010518734 A CN 202010518734A CN 111798560 A CN111798560 A CN 111798560A
Authority
CN
China
Prior art keywords
image
temperature measurement
infrared
texture
power equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010518734.4A
Other languages
English (en)
Other versions
CN111798560B (zh
Inventor
沈小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010518734.4A priority Critical patent/CN111798560B/zh
Publication of CN111798560A publication Critical patent/CN111798560A/zh
Application granted granted Critical
Publication of CN111798560B publication Critical patent/CN111798560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及一种电力设备红外热像测温数据三维实景模型可视化方法,包括步骤:S1、获取红外热像测温图像;S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;S4、获取电力设备整体的原始纹理灰度图像;S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,完成可视化展示。与现有技术相比,本发明能直观地展示设备温度三维分布特征,提升红外热像测温数据的表现力,适用于局部快速可视化展示情景。

Description

一种电力设备红外热像测温数据三维实景模型可视化方法
技术领域
本发明涉及一种电力设备红外热像测温数据可视化方法,尤其是涉及一种电力设备红外热像测温数据三维实景模型可视化方法。
背景技术
红外热像技术作为一种非接触式、图像化测温技术已广泛应用于电力设备测温。随着运维工作的智能化、数字化不断深化,先进、友好的红外热像测温数据的提取、可视化、诊断技术逐渐得到了关注与重视。
当前,电力设备红外热像测温的主流技术路线是利用图谱分析技术、表面温度判断法、热谱图比较法以及红外测温窗口等方法展示变电站电力设备温度状态。现有方法主要基于红外热像测温图像等非结构化数据,需要人工数据处理过程,且仅可展示电力设备的二维平面温度状态,无法快速准确地对其三维分布状态及趋势特征进行展示,已不适应设备温度信息可视化的需求。三维可视化是经过采集和运算分析后对数据的展示,它能够利用实际数据真实全方位地展示变电站设备的各类信息,其呈现方式相较于二维模式更加直观,同时提供更为丰富的信息展示空间,具备更强的分析能力,增强了抽象的空间信息直观性和可视化能力,从而辅助运维人员在工作中做出快速且精准的判断。目前变电站设备红外热像测温数据三维可视化技术研究还未见文献报道。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种电力设备红外热像测温数据三维实景模型可视化方法。
本发明的目的可以通过以下技术方案来实现:
一种电力设备红外热像测温数据三维实景模型可视化方法,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
优选地,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
优选地,步骤S3具体为:
S31、分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV
S32、确定红外测温图像和彩色纹理图像的各分解信息的权重;
S33、针对各分解信息进行加权求和得到局部融合图像。
优选地,步骤S31中纹理信息通过高斯滤波器提取。
优选地,步骤S31中边缘信息通过引导滤波器提取。
优选地,步骤S33局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
优选地,步骤S5具体为:
S51、分别提取局部融合图像和原始纹理灰度图像的特征点;
S52、利用相似性原理进行特征点的匹配,完成局部融合图像和原始纹理灰度图像的一一匹配,形成特征匹配对;
S53、对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。
优选地,步骤S51对于待提取特征点的图像具体采用如下方式得到特征点:
S51a、采用高斯函数G(x,y,σ)作为底层函数与待提取特征点的图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子,*为卷积运算;
S51b、采用高斯差值函数
Figure BDA0002531153290000031
对平滑图像H(x,y,σ)进行卷积运算得到高斯差分图像D(x,y,σ):
Figure BDA0002531153290000032
S51c、采用高斯金字塔模型确定高斯差分图像中的极值点;
S51d、去除极值点中的噪声点和边缘点,得到待提取特征点的图像I(x,y)的特征点。
优选地,步骤S52具体为:
S52a、记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
S52b、针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
优选地,步骤S52b具体为:
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
与现有技术相比,本发明具有如下优点:
(1)本发明通过融合红外热像测温图像、彩色纹理图像、原始纹理灰度图像,实现红外热像测温数据三维可视化,直观地展示设备温度三维分布特征,有效提升电力设备红外热像测温数据的表现力,增强查看友好性,辅助运维人员进行运维管理及决策;
(2)本发明电力设备红外热像测温数据三维实景模型可视化方法可在保留模型纹理信息的基础上,着重展示电气设备连接处等较为敏感区域的红外热像测温数据特征,直观展示设备的局部红外温度分布特征,同时可实现设备快速精确定位,有效适用于局部快速可视化展示情景;
(3)本发明引入彩色纹理图像作为辅助技术方案,彩色纹理图像是基于设备的三维实景模型在三维空间中虚拟摄像的图片,同传统可见光图像一样可以表征设备的纹理、轮廓等信息的图像数据,彩色纹理图像可根据现场采集得到的红外热像测温图像,通过在软件中进行任意角度旋转从而人为选取合适角度进行截取,从而使两者角度相同,同时可不考虑采集设备与目标设备之间距离产生的影响,即可以较好满足二者坐标一致性原则,从而省去坐标统一步骤,提高算法效率以及准确性,通过上述方法将红外热像图与彩色纹理图像进行图像融合并应用于红外测温数据可视化,从而较好地弥补红外热像测温图像在其应用中存在的不足。
附图说明
图1为本发明电力设备红外热像测温数据三维实景模型可视化方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种电力设备红外热像测温数据三维实景模型可视化方法,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
该方法包括如下几个关键内容:彩色纹理图像获取、红外热像测温图像与彩色纹理图像的融合、图像特征点匹配及拼接以及贴图,下述进行具体说明其具体实施方式。
1、彩色纹理图像获取:
红外图像仅能反应物体二维温度信息,无法直观反映变电站设备的纹理、贴图等信息。纹理信息的缺失会使得红外图像在与三维实景模型以及三维点云模型匹配的过程中出现较大的误差。然而,由于可见光图像的现场采集在图像获取角度以及距离等方面具有一定的局限性,实际应用时还需统一红外与可见光图像坐标系,这样的处理会在降低算法效率的同时增大误差。
为解决上述问题,本发明引入彩色纹理图像作为辅助技术方案。彩色纹理图像是基于设备的三维实景模型在三维空间中虚拟摄像的图片,同传统可见光图像一样可以表征设备的纹理、轮廓等信息的图像数据。不同的是,彩色纹理图像可根据现场采集得到的红外热像测温图像,通过在软件中进行任意角度旋转从而人为选取合适角度进行截取,从而使两者角度相同,同时可不考虑采集设备与目标设备之间距离产生的影响,即可以较好满足二者坐标一致性原则,从而省去坐标统一步骤,提高算法效率以及准确性。通过上述方法将红外热像图与彩色纹理图像进行图像融合并应用于红外测温数据可视化,从而较好地弥补红外热像测温图像在其应用中存在的不足。
因此,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
2、红外热像测温图像与彩色纹理图像的融合
采用特征权重融合法进行红外图像与彩色纹理图像融合,步骤是首先进行红外测温图像和彩色纹理图的纹理及边缘信息提取,然后进行图像混合信息分解并确定特征,再确定权重值,最后完成红外图像与彩色纹理图像融合。具体为:
首先,分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV,其中,纹理信息通过高斯滤波器提取,边缘信息通过引导滤波器提取。
然后,确定红外测温图像和彩色纹理图像的各分解信息的权重,选取的权重参数需要使目标位置的像素点(i,j)位置的值的大小能够明显增大该点处的融合权重,甚至其数值趋近于1,同时需要尽可能减小非目标像素点值对结果的影响,使融合权重近似为0。我们利用红外目标区域的特点构造任意像素点的系数R(i,j):
Figure BDA0002531153290000061
其次,进行归一化操作,得到最终的归一化系数,即:
Figure BDA0002531153290000062
然后进行对其加上非线性变换处理,选择合适变换函数,使其约束在[0,1]范围内,产生更为平滑的结果:
Figure BDA0002531153290000063
进行纹理细节和边缘信息融合时,计算各分解子信息的融合权重,为了保证融合图像中红外目标与彩色纹理信息之间融合平滑,对上述权重进行高斯滤波噪声消除和局部平滑处理,可以得到最终的融合权重:
进行纹理细节和边缘信息融合时,计算各分解子信息的融合权重,为了保证融合图像中红外目标与彩色纹理信息之间融合平滑,对上述权重进行高斯滤波噪声消除和局部平滑处理,可以得到最终的融合权重:
Wt(i,j)=We(i,j)=GσC(i,j)
其中Gσ(σ=1.5)是高斯函数。
利用权重Cn(i,j)融合图像的模糊底层信息Wb(i,j),而不作为融合权重图层,取高斯滤波参数的值σc=4,则:
Figure BDA0002531153290000071
最后,针对各分解信息进行加权求和得到局部融合图像,局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)
+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)
+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)
+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
3、图像特征点匹配及拼接
为了提高算法精度,图像融合选取局部红外和彩色纹理图像进行融合,得到融合图像之后需要将局部融合图像与整体模型纹理图进行匹配拼接,用以完成三维实景模型可视化模式。本文采取图像特征点匹配以及拼接算法进行处理,具体实现如下:
首先为提取具有尺度不变性质的特征点进行极值点检测,采用高斯函数G(x,y,σ)作为底层函数与图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子;
为了能够得到稳定的关键点,引入高斯差值函数
Figure BDA0002531153290000081
对平滑图像H(x,y,σ)进行卷积运算得到高斯差分图像D(x,y,σ):
Figure BDA0002531153290000082
同时可以套用高斯金字塔模型来计算高斯差分图像,金字塔模型由多层结构组成,其中每层都包括着多个图像。在第一层图像中,用相邻两幅图像像素值相减可以得到高斯差分图像;对于第二层来说,选用第一层中的一幅图像进行采样从而得到本层中的第一个图像,而这幅图像的像素值应为上层图像的0.25倍。用这样的方法处理得出高斯差分图像之后进行极值点计算,其具体方法是比较每一个高斯差分图像的像素点和本身所在的层中相邻的八个邻域像素点以及相邻上下层中对应位置的相邻九个邻域像素点的值,判断其是否为像素极值点。
得到极值点之后,为了得到特性良好的特征点需要刨除边缘点,方法是对极值点的对应函数D(x,y,σ)进行泰勒级数展开并令其偏导数等于0:
Figure BDA0002531153290000083
如果取值小于0.5则利用插值法求取极值点位置,若值大于等于0.5,则求其邻近像素点的位置,然后将其坐标代入到函数D中去,如果值小于预设的阈值,则可认为噪声点;对于边缘点来说,如果其法向曲率最大值与最小值的比的量级比较大,则可认为其为边缘点并予以去除。然后根据梯度计算方向来确定特征点的方向,如果区域内像素点的方向在某个方向的点多于75%,则认为这个方向为特征点主方向。
接下来利用相似性原理进行特征点的匹配,具体为:
首先,记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
然后,针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
4、贴图
对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。两幅图像的匹配点为PIj(xi,yi)和PRj(xi1,yi1),则式为:
Figure BDA0002531153290000091
其中,
Figure BDA0002531153290000092
w为转换矩阵。
最后在3dmax中完成三维实景模型可视化模式,将特征融合图像根据所要可视化的模型位置的特点编辑成为相对应材质的材质球,选择模型的可编辑多边形中的元素选项进行UVW贴图,将材质赋给所需可视化的部分,从而可以在保留原有纹理的基础上传递变电站设备热力温度有效信息,起到避免信息异化的作用。
本实施例选取某500kV变电站的#1主变压器A相进行实际工程案例分析,该实景模型的处理贴图等操作基于3dmax软件实现。
在变电站主变压器实际运行过程中,绝缘套管分接开关处的连接点经常会因为接触不良而过热,温度过高时甚至会导致故障发生。因电力连接处红外温度特征较为重要,可视化意义较大,本实施例选取两套管与外部连接线连接处的红外热像测温图像,并同时截取得到局部彩色纹理图。
然后利用特征权重图像融合法分别融合局部图像得到融合图像,同时在融合图像的过程中需保证原融合图像之间的分辨率大小一致,此分辨率会影响最终的融合图像结果,因此本实施例经过测试后选择的两个分辨率分别为225*225以及150*200,融合图像中红外温度特征以及纹理特征都保存较为完好,在良好展示其红外特征的同时可满足特征匹配的需求。
选择SIFT算法进行特征点匹配及拼接,SIFT算法又称尺度不变特征算法,其主要特点是能够使得图像存在的旋转、映射变换等特性保持不变,同时算法对噪声较为不敏感,鲁棒性很强。在matlab中编写SIFT特征点匹配代码,对得到的融合图像与原始纹理图进行图像特征匹配拼接,由于特征匹配需要寻找特征匹配对,所有输入图像均需要使用灰度图像,因此在匹配前需使用代码将图像转换成灰度图像。局部融合图像可通过SIFT算子准确匹配到其在整体纹理图中的位置,进行匹配拼接输出之后得到局部红外热像测温图像与彩色纹理图的融合图像,主变压器的绝缘套管连接处的红外热像测温图像与模型纹理图融合情况较为良好,连接位置基本贴合,可以较好地显示整体纹理图中局部红外温度的特征,然后在3dmax中将融合图像编辑成材质球并赋给变电站主变压器模型进行可视化展示。展示结果显示,红外特征成功加载到三维模型中,且红外特征较为明显,纹理特征保留完好。在实际运维过程的局部快速可视化情景中,当运维人员比较关注诸如设备连接处等易发热部分的热力状态时,该模式可以在完整保留模型纹理信息的基础上,突出模型中关键位置的红外温度数据,同时运维人员可根据铭牌上的设备具体信息快速确定设备名称及类型,从而根据台账准确获得设备的具体位置等信息,提高运维工作效率。三维实景模型可视化效果良好,操作方法便捷,以三维实景模型为载体进行可视化展示效果较为直观,算法效率高,可解决二维红外图像信息尺度单一的问题,有助于运维人员从三维立体视觉对红外热像测温数据进行详细的观察,辅助对有问题或其它敏感区域进行热力分布对比分析。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
2.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
3.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S3具体为:
S31、分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV
S32、确定红外测温图像和彩色纹理图像的各分解信息的权重;
S33、针对各分解信息进行加权求和得到局部融合图像。
4.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S31中纹理信息通过高斯滤波器提取。
5.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S31中边缘信息通过引导滤波器提取。
6.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S33局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
7.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S5具体为:
S51、分别提取局部融合图像和原始纹理灰度图像的特征点;
S52、利用相似性原理进行特征点的匹配,完成局部融合图像和原始纹理灰度图像的一一匹配,形成特征匹配对;
S53、对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。
8.根据权利要求7所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S51对于待提取特征点的图像具体采用如下方式得到特征点:
S51a、采用高斯函数G(x,y,σ)作为底层函数与待提取特征点的图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子,*为卷积运算;
S51b、采用高斯差值函数
Figure FDA0002531153280000021
对平滑图像H(x,y,σ)进行卷积运算得到高斯差分图像D(x,y,σ):
Figure FDA0002531153280000022
S51c、采用高斯金字塔模型确定高斯差分图像中的极值点;
S51d、去除极值点中的噪声点和边缘点,得到待提取特征点的图像I(x,y)的特征点。
9.根据权利要求7所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S52具体为:
S52a、记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
S52b、针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
10.根据权利要求9所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S52b具体为:
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
CN202010518734.4A 2020-06-09 2020-06-09 一种电力设备红外热像测温数据三维实景模型可视化方法 Active CN111798560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010518734.4A CN111798560B (zh) 2020-06-09 2020-06-09 一种电力设备红外热像测温数据三维实景模型可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518734.4A CN111798560B (zh) 2020-06-09 2020-06-09 一种电力设备红外热像测温数据三维实景模型可视化方法

Publications (2)

Publication Number Publication Date
CN111798560A true CN111798560A (zh) 2020-10-20
CN111798560B CN111798560B (zh) 2023-09-01

Family

ID=72803159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518734.4A Active CN111798560B (zh) 2020-06-09 2020-06-09 一种电力设备红外热像测温数据三维实景模型可视化方法

Country Status (1)

Country Link
CN (1) CN111798560B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN113065531A (zh) * 2021-05-13 2021-07-02 上海海事大学 一种面向高速公路服务区三维拼接视频的车辆识别方法
CN113240800A (zh) * 2021-05-31 2021-08-10 北京世冠金洋科技发展有限公司 一种三维温度流场热力图展示方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267428A1 (en) * 2010-04-30 2011-11-03 General Electric Company System and method for mapping a two-dimensional image onto a three-dimensional model
CN102967373A (zh) * 2012-11-09 2013-03-13 广东电网公司东莞供电局 变电站三维红外测温监测方法及系统
CN103217221A (zh) * 2013-03-22 2013-07-24 北京航空航天大学 一种基于图像拼接的空冷凝汽器散热面温度场测量方法
CN104751433A (zh) * 2015-04-15 2015-07-01 成都欧莱特自动化控制工程有限公司 一种图像合成方法及系统
CN105338262A (zh) * 2015-10-09 2016-02-17 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
CN205157056U (zh) * 2012-12-21 2016-04-13 菲力尔系统公司 用于监视动力系统的系统
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107478340A (zh) * 2017-07-25 2017-12-15 许继集团有限公司 一种换流阀监测方法及系统
CN108254077A (zh) * 2018-01-02 2018-07-06 国网上海市电力公司 基于局部与全局特征信息融合的gis热故障诊断方法
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法
CN108955900A (zh) * 2018-08-02 2018-12-07 华电福新能源股份有限公司古田溪水力发电厂 一种基于红外热成像的升压站测温预警系统及方法
CN109029731A (zh) * 2018-05-24 2018-12-18 河海大学常州校区 一种基于多目视觉的电力设备异常监测系统及方法
CN109115347A (zh) * 2018-07-23 2019-01-01 深圳供电局有限公司 一种电缆沟热点检测方法及系统
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
JP2019032600A (ja) * 2017-08-04 2019-02-28 日本電気株式会社 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN110766706A (zh) * 2019-09-26 2020-02-07 深圳市景阳信息技术有限公司 图像融合方法、装置、终端设备及存储介质
CN110766676A (zh) * 2019-10-24 2020-02-07 中国科学院长春光学精密机械与物理研究所 基于多源传感器融合的目标检测方法
CN111223133A (zh) * 2020-01-07 2020-06-02 上海交通大学 一种异源图像的配准方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267428A1 (en) * 2010-04-30 2011-11-03 General Electric Company System and method for mapping a two-dimensional image onto a three-dimensional model
CN102967373A (zh) * 2012-11-09 2013-03-13 广东电网公司东莞供电局 变电站三维红外测温监测方法及系统
CN205157056U (zh) * 2012-12-21 2016-04-13 菲力尔系统公司 用于监视动力系统的系统
CN103217221A (zh) * 2013-03-22 2013-07-24 北京航空航天大学 一种基于图像拼接的空冷凝汽器散热面温度场测量方法
CN104751433A (zh) * 2015-04-15 2015-07-01 成都欧莱特自动化控制工程有限公司 一种图像合成方法及系统
US20180300906A1 (en) * 2015-10-09 2018-10-18 Zhejiang Dahua Technology Co., Ltd. Methods and systems for fusion display of thermal infrared and visible image
CN105338262A (zh) * 2015-10-09 2016-02-17 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107478340A (zh) * 2017-07-25 2017-12-15 许继集团有限公司 一种换流阀监测方法及系统
JP2019032600A (ja) * 2017-08-04 2019-02-28 日本電気株式会社 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム
CN108254077A (zh) * 2018-01-02 2018-07-06 国网上海市电力公司 基于局部与全局特征信息融合的gis热故障诊断方法
CN109029731A (zh) * 2018-05-24 2018-12-18 河海大学常州校区 一种基于多目视觉的电力设备异常监测系统及方法
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法
CN109115347A (zh) * 2018-07-23 2019-01-01 深圳供电局有限公司 一种电缆沟热点检测方法及系统
CN108955900A (zh) * 2018-08-02 2018-12-07 华电福新能源股份有限公司古田溪水力发电厂 一种基于红外热成像的升压站测温预警系统及方法
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN110766706A (zh) * 2019-09-26 2020-02-07 深圳市景阳信息技术有限公司 图像融合方法、装置、终端设备及存储介质
CN110766676A (zh) * 2019-10-24 2020-02-07 中国科学院长春光学精密机械与物理研究所 基于多源传感器融合的目标检测方法
CN111223133A (zh) * 2020-01-07 2020-06-02 上海交通大学 一种异源图像的配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
王邦国: "基于SIFT特征点精确匹配的图像拼接技术研究", 《大连大学学报》 *
王邦国: "基于SIFT特征点精确匹配的图像拼接技术研究", 《大连大学学报》, vol. 36, no. 3, 30 June 2015 (2015-06-30), pages 0 - 3 *
荣传振、贾永兴、吴城等: "《红外与可见光图像分解与融合方法研究》", 《数据采集与处理》 *
荣传振、贾永兴、吴城等: "《红外与可见光图像分解与融合方法研究》", 《数据采集与处理》, vol. 34, no. 1, 15 January 2019 (2019-01-15), pages 2 - 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN113065531A (zh) * 2021-05-13 2021-07-02 上海海事大学 一种面向高速公路服务区三维拼接视频的车辆识别方法
CN113065531B (zh) * 2021-05-13 2024-05-14 上海海事大学 一种面向高速公路服务区三维拼接视频的车辆识别方法
CN113240800A (zh) * 2021-05-31 2021-08-10 北京世冠金洋科技发展有限公司 一种三维温度流场热力图展示方法及装置

Also Published As

Publication number Publication date
CN111798560B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111798560A (zh) 一种电力设备红外热像测温数据三维实景模型可视化方法
Hirschmuller Stereo processing by semiglobal matching and mutual information
CN108053367A (zh) 一种基于rgb-d特征匹配的3d点云拼接与融合方法
CN106683173B (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
Ham et al. An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery
Stamos et al. Integration of range and image sensing for photo-realistic 3D modeling
CN106340009B (zh) 一种基于平行双目的电力线检测方法及系统
CN110310331A (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN109242959A (zh) 三维场景重建方法及系统
CN111861866A (zh) 一种变电站设备巡检图像全景重建方法
Deng et al. Omnidirectional depth segmentation using orthogonal fringe patterns and multi-scale enhancement
Kim et al. The effective acquisition and processing of 3D photogrammetric data from digital photogrammetry for construction progress measurement
Zhai et al. Image real-time augmented reality technology based on spatial color and depth consistency
El Ansari et al. A new regions matching for color stereo images
Xue et al. Feature Point Extraction and Matching Method Based on Akaze in Illumination Invariant Color Space
Ruf et al. Towards real-time change detection in videos based on existing 3D models
Zheng et al. Dimensional measurement of anti-stress cone of HV cable joints based on 3D point cloud
Dong et al. Stereo matching via dual fusion
Li et al. Quantitative evaluation for dehazing algorithms on synthetic outdoor hazy dataset
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair
Pan et al. An adaptive harris corner detection algorithm for image mosaic
Liu et al. Image Mosaic Technology Based on Harris Corner Feature
CN113888395A (zh) 一种融合红外测温图像的电力设备三维可视化方法及装置
Appia et al. Fully automatic 2D to 3D conversion with aid of high-level image features
CN109360174A (zh) 基于相机位姿的三维场景重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant