CN111798560A - 一种电力设备红外热像测温数据三维实景模型可视化方法 - Google Patents
一种电力设备红外热像测温数据三维实景模型可视化方法 Download PDFInfo
- Publication number
- CN111798560A CN111798560A CN202010518734.4A CN202010518734A CN111798560A CN 111798560 A CN111798560 A CN 111798560A CN 202010518734 A CN202010518734 A CN 202010518734A CN 111798560 A CN111798560 A CN 111798560A
- Authority
- CN
- China
- Prior art keywords
- image
- temperature measurement
- infrared
- texture
- power equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 72
- 238000007794 visualization technique Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000001931 thermography Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004861 thermometry Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000003331 infrared imaging Methods 0.000 claims 1
- 238000012800 visualization Methods 0.000 description 12
- 238000012423 maintenance Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Probability & Statistics with Applications (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及一种电力设备红外热像测温数据三维实景模型可视化方法,包括步骤:S1、获取红外热像测温图像;S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;S4、获取电力设备整体的原始纹理灰度图像;S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,完成可视化展示。与现有技术相比,本发明能直观地展示设备温度三维分布特征,提升红外热像测温数据的表现力,适用于局部快速可视化展示情景。
Description
技术领域
本发明涉及一种电力设备红外热像测温数据可视化方法,尤其是涉及一种电力设备红外热像测温数据三维实景模型可视化方法。
背景技术
红外热像技术作为一种非接触式、图像化测温技术已广泛应用于电力设备测温。随着运维工作的智能化、数字化不断深化,先进、友好的红外热像测温数据的提取、可视化、诊断技术逐渐得到了关注与重视。
当前,电力设备红外热像测温的主流技术路线是利用图谱分析技术、表面温度判断法、热谱图比较法以及红外测温窗口等方法展示变电站电力设备温度状态。现有方法主要基于红外热像测温图像等非结构化数据,需要人工数据处理过程,且仅可展示电力设备的二维平面温度状态,无法快速准确地对其三维分布状态及趋势特征进行展示,已不适应设备温度信息可视化的需求。三维可视化是经过采集和运算分析后对数据的展示,它能够利用实际数据真实全方位地展示变电站设备的各类信息,其呈现方式相较于二维模式更加直观,同时提供更为丰富的信息展示空间,具备更强的分析能力,增强了抽象的空间信息直观性和可视化能力,从而辅助运维人员在工作中做出快速且精准的判断。目前变电站设备红外热像测温数据三维可视化技术研究还未见文献报道。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种电力设备红外热像测温数据三维实景模型可视化方法。
本发明的目的可以通过以下技术方案来实现:
一种电力设备红外热像测温数据三维实景模型可视化方法,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
优选地,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
优选地,步骤S3具体为:
S31、分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV;
S32、确定红外测温图像和彩色纹理图像的各分解信息的权重;
S33、针对各分解信息进行加权求和得到局部融合图像。
优选地,步骤S31中纹理信息通过高斯滤波器提取。
优选地,步骤S31中边缘信息通过引导滤波器提取。
优选地,步骤S33局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
优选地,步骤S5具体为:
S51、分别提取局部融合图像和原始纹理灰度图像的特征点;
S52、利用相似性原理进行特征点的匹配,完成局部融合图像和原始纹理灰度图像的一一匹配,形成特征匹配对;
S53、对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。
优选地,步骤S51对于待提取特征点的图像具体采用如下方式得到特征点:
S51a、采用高斯函数G(x,y,σ)作为底层函数与待提取特征点的图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子,*为卷积运算;
S51c、采用高斯金字塔模型确定高斯差分图像中的极值点;
S51d、去除极值点中的噪声点和边缘点,得到待提取特征点的图像I(x,y)的特征点。
优选地,步骤S52具体为:
S52a、记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
S52b、针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
优选地,步骤S52b具体为:
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2;
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2;
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
与现有技术相比,本发明具有如下优点:
(1)本发明通过融合红外热像测温图像、彩色纹理图像、原始纹理灰度图像,实现红外热像测温数据三维可视化,直观地展示设备温度三维分布特征,有效提升电力设备红外热像测温数据的表现力,增强查看友好性,辅助运维人员进行运维管理及决策;
(2)本发明电力设备红外热像测温数据三维实景模型可视化方法可在保留模型纹理信息的基础上,着重展示电气设备连接处等较为敏感区域的红外热像测温数据特征,直观展示设备的局部红外温度分布特征,同时可实现设备快速精确定位,有效适用于局部快速可视化展示情景;
(3)本发明引入彩色纹理图像作为辅助技术方案,彩色纹理图像是基于设备的三维实景模型在三维空间中虚拟摄像的图片,同传统可见光图像一样可以表征设备的纹理、轮廓等信息的图像数据,彩色纹理图像可根据现场采集得到的红外热像测温图像,通过在软件中进行任意角度旋转从而人为选取合适角度进行截取,从而使两者角度相同,同时可不考虑采集设备与目标设备之间距离产生的影响,即可以较好满足二者坐标一致性原则,从而省去坐标统一步骤,提高算法效率以及准确性,通过上述方法将红外热像图与彩色纹理图像进行图像融合并应用于红外测温数据可视化,从而较好地弥补红外热像测温图像在其应用中存在的不足。
附图说明
图1为本发明电力设备红外热像测温数据三维实景模型可视化方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种电力设备红外热像测温数据三维实景模型可视化方法,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
该方法包括如下几个关键内容:彩色纹理图像获取、红外热像测温图像与彩色纹理图像的融合、图像特征点匹配及拼接以及贴图,下述进行具体说明其具体实施方式。
1、彩色纹理图像获取:
红外图像仅能反应物体二维温度信息,无法直观反映变电站设备的纹理、贴图等信息。纹理信息的缺失会使得红外图像在与三维实景模型以及三维点云模型匹配的过程中出现较大的误差。然而,由于可见光图像的现场采集在图像获取角度以及距离等方面具有一定的局限性,实际应用时还需统一红外与可见光图像坐标系,这样的处理会在降低算法效率的同时增大误差。
为解决上述问题,本发明引入彩色纹理图像作为辅助技术方案。彩色纹理图像是基于设备的三维实景模型在三维空间中虚拟摄像的图片,同传统可见光图像一样可以表征设备的纹理、轮廓等信息的图像数据。不同的是,彩色纹理图像可根据现场采集得到的红外热像测温图像,通过在软件中进行任意角度旋转从而人为选取合适角度进行截取,从而使两者角度相同,同时可不考虑采集设备与目标设备之间距离产生的影响,即可以较好满足二者坐标一致性原则,从而省去坐标统一步骤,提高算法效率以及准确性。通过上述方法将红外热像图与彩色纹理图像进行图像融合并应用于红外测温数据可视化,从而较好地弥补红外热像测温图像在其应用中存在的不足。
因此,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
2、红外热像测温图像与彩色纹理图像的融合
采用特征权重融合法进行红外图像与彩色纹理图像融合,步骤是首先进行红外测温图像和彩色纹理图的纹理及边缘信息提取,然后进行图像混合信息分解并确定特征,再确定权重值,最后完成红外图像与彩色纹理图像融合。具体为:
首先,分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV,其中,纹理信息通过高斯滤波器提取,边缘信息通过引导滤波器提取。
然后,确定红外测温图像和彩色纹理图像的各分解信息的权重,选取的权重参数需要使目标位置的像素点(i,j)位置的值的大小能够明显增大该点处的融合权重,甚至其数值趋近于1,同时需要尽可能减小非目标像素点值对结果的影响,使融合权重近似为0。我们利用红外目标区域的特点构造任意像素点的系数R(i,j):
其次,进行归一化操作,得到最终的归一化系数,即:
然后进行对其加上非线性变换处理,选择合适变换函数,使其约束在[0,1]范围内,产生更为平滑的结果:
进行纹理细节和边缘信息融合时,计算各分解子信息的融合权重,为了保证融合图像中红外目标与彩色纹理信息之间融合平滑,对上述权重进行高斯滤波噪声消除和局部平滑处理,可以得到最终的融合权重:
进行纹理细节和边缘信息融合时,计算各分解子信息的融合权重,为了保证融合图像中红外目标与彩色纹理信息之间融合平滑,对上述权重进行高斯滤波噪声消除和局部平滑处理,可以得到最终的融合权重:
Wt(i,j)=We(i,j)=GσC(i,j)
其中Gσ(σ=1.5)是高斯函数。
利用权重Cn(i,j)融合图像的模糊底层信息Wb(i,j),而不作为融合权重图层,取高斯滤波参数的值σc=4,则:
最后,针对各分解信息进行加权求和得到局部融合图像,局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)
+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)
+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)
+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
3、图像特征点匹配及拼接
为了提高算法精度,图像融合选取局部红外和彩色纹理图像进行融合,得到融合图像之后需要将局部融合图像与整体模型纹理图进行匹配拼接,用以完成三维实景模型可视化模式。本文采取图像特征点匹配以及拼接算法进行处理,具体实现如下:
首先为提取具有尺度不变性质的特征点进行极值点检测,采用高斯函数G(x,y,σ)作为底层函数与图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子;
同时可以套用高斯金字塔模型来计算高斯差分图像,金字塔模型由多层结构组成,其中每层都包括着多个图像。在第一层图像中,用相邻两幅图像像素值相减可以得到高斯差分图像;对于第二层来说,选用第一层中的一幅图像进行采样从而得到本层中的第一个图像,而这幅图像的像素值应为上层图像的0.25倍。用这样的方法处理得出高斯差分图像之后进行极值点计算,其具体方法是比较每一个高斯差分图像的像素点和本身所在的层中相邻的八个邻域像素点以及相邻上下层中对应位置的相邻九个邻域像素点的值,判断其是否为像素极值点。
得到极值点之后,为了得到特性良好的特征点需要刨除边缘点,方法是对极值点的对应函数D(x,y,σ)进行泰勒级数展开并令其偏导数等于0:
如果取值小于0.5则利用插值法求取极值点位置,若值大于等于0.5,则求其邻近像素点的位置,然后将其坐标代入到函数D中去,如果值小于预设的阈值,则可认为噪声点;对于边缘点来说,如果其法向曲率最大值与最小值的比的量级比较大,则可认为其为边缘点并予以去除。然后根据梯度计算方向来确定特征点的方向,如果区域内像素点的方向在某个方向的点多于75%,则认为这个方向为特征点主方向。
接下来利用相似性原理进行特征点的匹配,具体为:
首先,记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
然后,针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2;
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2;
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
4、贴图
对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。两幅图像的匹配点为PIj(xi,yi)和PRj(xi1,yi1),则式为:
w为转换矩阵。
最后在3dmax中完成三维实景模型可视化模式,将特征融合图像根据所要可视化的模型位置的特点编辑成为相对应材质的材质球,选择模型的可编辑多边形中的元素选项进行UVW贴图,将材质赋给所需可视化的部分,从而可以在保留原有纹理的基础上传递变电站设备热力温度有效信息,起到避免信息异化的作用。
本实施例选取某500kV变电站的#1主变压器A相进行实际工程案例分析,该实景模型的处理贴图等操作基于3dmax软件实现。
在变电站主变压器实际运行过程中,绝缘套管分接开关处的连接点经常会因为接触不良而过热,温度过高时甚至会导致故障发生。因电力连接处红外温度特征较为重要,可视化意义较大,本实施例选取两套管与外部连接线连接处的红外热像测温图像,并同时截取得到局部彩色纹理图。
然后利用特征权重图像融合法分别融合局部图像得到融合图像,同时在融合图像的过程中需保证原融合图像之间的分辨率大小一致,此分辨率会影响最终的融合图像结果,因此本实施例经过测试后选择的两个分辨率分别为225*225以及150*200,融合图像中红外温度特征以及纹理特征都保存较为完好,在良好展示其红外特征的同时可满足特征匹配的需求。
选择SIFT算法进行特征点匹配及拼接,SIFT算法又称尺度不变特征算法,其主要特点是能够使得图像存在的旋转、映射变换等特性保持不变,同时算法对噪声较为不敏感,鲁棒性很强。在matlab中编写SIFT特征点匹配代码,对得到的融合图像与原始纹理图进行图像特征匹配拼接,由于特征匹配需要寻找特征匹配对,所有输入图像均需要使用灰度图像,因此在匹配前需使用代码将图像转换成灰度图像。局部融合图像可通过SIFT算子准确匹配到其在整体纹理图中的位置,进行匹配拼接输出之后得到局部红外热像测温图像与彩色纹理图的融合图像,主变压器的绝缘套管连接处的红外热像测温图像与模型纹理图融合情况较为良好,连接位置基本贴合,可以较好地显示整体纹理图中局部红外温度的特征,然后在3dmax中将融合图像编辑成材质球并赋给变电站主变压器模型进行可视化展示。展示结果显示,红外特征成功加载到三维模型中,且红外特征较为明显,纹理特征保留完好。在实际运维过程的局部快速可视化情景中,当运维人员比较关注诸如设备连接处等易发热部分的热力状态时,该模式可以在完整保留模型纹理信息的基础上,突出模型中关键位置的红外温度数据,同时运维人员可根据铭牌上的设备具体信息快速确定设备名称及类型,从而根据台账准确获得设备的具体位置等信息,提高运维工作效率。三维实景模型可视化效果良好,操作方法便捷,以三维实景模型为载体进行可视化展示效果较为直观,算法效率高,可解决二维红外图像信息尺度单一的问题,有助于运维人员从三维立体视觉对红外热像测温数据进行详细的观察,辅助对有问题或其它敏感区域进行热力分布对比分析。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (10)
1.一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,该方法包括如下步骤:
S1、获取红外热像测温图像;
S2、基于电力设备的三维实景模型获取与红外热像测温图像具有相同角度的彩色纹理图像;
S3、采用特征权重融合法将红外热像测温图像和彩色纹理图像进行融合得到局部融合图像;
S4、获取电力设备整体的原始纹理灰度图像;
S5、对局部融合图像和原始纹理灰度图像进行特征匹配与拼接得到整体融合图像;
S6、基于特征融合图像进行三维实景模型贴图,得到具有电力设备红外温度特征的三维实景模型,进行可视化展示。
2.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S2彩色纹理图像通过如下方式获取:旋转电力设备的三维实景模型的角度使其与红外热像测温图像拍摄角度一致,截取当前角度下三维实景模型在三维空间中虚拟摄像的图片得到彩色纹理图像。
3.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S3具体为:
S31、分别对红外测温图像和彩色纹理图像进行纹理信息及边缘信息提取得到如下分解信息:红外测温图像的纹理信息ItR、边缘信息IeR、粗略尺度信息IbR以及彩色纹理图像的纹理信息ItV、边缘信息IeV、粗略尺度信息IbV;
S32、确定红外测温图像和彩色纹理图像的各分解信息的权重;
S33、针对各分解信息进行加权求和得到局部融合图像。
4.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S31中纹理信息通过高斯滤波器提取。
5.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S31中边缘信息通过引导滤波器提取。
6.根据权利要求3所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S33局部融合图像的表达式为:
IF(i,j)=ItF(i,j)+IeF(i,j)+IbF(i,j)
ItF(i,j)=Wt(i,j)*ItR(i,j)+(1-Wt(i,j))*ItV(i,j)
IeF(i,j)=We(i,j)*IeR(i,j)+(1-We(i,j))*IeV(i,j)
IbF(i,j)=Wb(i,j)*IbR(i,j)+(1-Wb(i,j))*IbV(i,j)
其中,(i,j)为像素点位置,IF为局部融合图像,ItF为局部融合图像的纹理信息,IeF为边缘信息,IbF粗略尺度信息,Wt为红外测温图像的纹理信息权重,We为红外测温图像的边缘信息权重,Wb为红外测温图像的粗略尺度信息权重。
7.根据权利要求1所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S5具体为:
S51、分别提取局部融合图像和原始纹理灰度图像的特征点;
S52、利用相似性原理进行特征点的匹配,完成局部融合图像和原始纹理灰度图像的一一匹配,形成特征匹配对;
S53、对所有特征匹配对根据透射变换模型求得转换矩阵关系式完成局部融合图像和原始纹理灰度图像的拼接得到整体融合图像。
8.根据权利要求7所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S51对于待提取特征点的图像具体采用如下方式得到特征点:
S51a、采用高斯函数G(x,y,σ)作为底层函数与待提取特征点的图像I(x,y)进行卷积得到平滑图像H(x,y,σ):
H(x,y,σ)=G(x,y,σ)*I(x,y),
其中,(x,y)为图像中像素位置,σ为尺度因子,*为卷积运算;
S51c、采用高斯金字塔模型确定高斯差分图像中的极值点;
S51d、去除极值点中的噪声点和边缘点,得到待提取特征点的图像I(x,y)的特征点。
9.根据权利要求7所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S52具体为:
S52a、记局部融合图像中的特征点为PIj,原始纹理灰度图像中的特征点为PRj,j=1,2,...,n,n为各图像中特征点总个数;
S52b、针对局部融合图像中的任意一个特征点PIj分别与原始纹理灰度图像中的所有特征点进行一一遍历匹配找到与PIj配对的特征点PRx,直至局部融合图像和原始纹理灰度图像中的特征点一一配对形成匹配对。
10.根据权利要求9所述的一种电力设备红外热像测温数据三维实景模型可视化方法,其特征在于,步骤S52b具体为:
对于局部融合图像中的任意一个特征点PIj,j=1,2,...,n,获取该局部融合图像中与特征点PIj距离最近的两个特征点PIj1、PIj2,计算PIj与PIj1的欧式距离dIj1以及PIj与PIj2的欧式距离dIj2;
选取原始纹理灰度图像中的任意一个特征点PRj,获取该原始纹理灰度图像中与特征点PRj距离最近的两个特征点PRj1、PRj2,计算PRj与PRj1的欧式距离dRj1以及PRj与PRj2的欧式距离dRj2;
求取:
Δd=max(dImin,dRmin)/min(dImin,dRmin)
dImin=min(dIj1,dIj2)
dRmin=min(dRj1,dRj2)
若Δd大于设定阈值,则PIj和PRj匹配成功形成匹配对,否则PIj和PRj不匹配,从原始纹理灰度图像中选择新的特征点继续进行匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518734.4A CN111798560B (zh) | 2020-06-09 | 2020-06-09 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518734.4A CN111798560B (zh) | 2020-06-09 | 2020-06-09 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798560A true CN111798560A (zh) | 2020-10-20 |
CN111798560B CN111798560B (zh) | 2023-09-01 |
Family
ID=72803159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010518734.4A Active CN111798560B (zh) | 2020-06-09 | 2020-06-09 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798560B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112489225A (zh) * | 2020-11-26 | 2021-03-12 | 北京邮电大学 | 视频与三维场景融合的方法、装置、电子设备和存储介质 |
CN113065531A (zh) * | 2021-05-13 | 2021-07-02 | 上海海事大学 | 一种面向高速公路服务区三维拼接视频的车辆识别方法 |
CN113240800A (zh) * | 2021-05-31 | 2021-08-10 | 北京世冠金洋科技发展有限公司 | 一种三维温度流场热力图展示方法及装置 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267428A1 (en) * | 2010-04-30 | 2011-11-03 | General Electric Company | System and method for mapping a two-dimensional image onto a three-dimensional model |
CN102967373A (zh) * | 2012-11-09 | 2013-03-13 | 广东电网公司东莞供电局 | 变电站三维红外测温监测方法及系统 |
CN103217221A (zh) * | 2013-03-22 | 2013-07-24 | 北京航空航天大学 | 一种基于图像拼接的空冷凝汽器散热面温度场测量方法 |
CN104751433A (zh) * | 2015-04-15 | 2015-07-01 | 成都欧莱特自动化控制工程有限公司 | 一种图像合成方法及系统 |
CN105338262A (zh) * | 2015-10-09 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种热成像图像处理方法及装置 |
CN205157056U (zh) * | 2012-12-21 | 2016-04-13 | 菲力尔系统公司 | 用于监视动力系统的系统 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
CN107478340A (zh) * | 2017-07-25 | 2017-12-15 | 许继集团有限公司 | 一种换流阀监测方法及系统 |
CN108254077A (zh) * | 2018-01-02 | 2018-07-06 | 国网上海市电力公司 | 基于局部与全局特征信息融合的gis热故障诊断方法 |
CN108932721A (zh) * | 2018-06-28 | 2018-12-04 | 上海电力学院 | 一种用于巡检机器人的红外图像分割与融合方法 |
CN108955900A (zh) * | 2018-08-02 | 2018-12-07 | 华电福新能源股份有限公司古田溪水力发电厂 | 一种基于红外热成像的升压站测温预警系统及方法 |
CN109029731A (zh) * | 2018-05-24 | 2018-12-18 | 河海大学常州校区 | 一种基于多目视觉的电力设备异常监测系统及方法 |
CN109115347A (zh) * | 2018-07-23 | 2019-01-01 | 深圳供电局有限公司 | 一种电缆沟热点检测方法及系统 |
CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
CN109242773A (zh) * | 2018-08-29 | 2019-01-18 | 杭州体光医学科技有限公司 | 一种热红外图像的拼接方法及部位划分方法 |
JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
CN109523583A (zh) * | 2018-10-09 | 2019-03-26 | 河海大学常州校区 | 一种基于反馈机制的电力设备红外与可见光图像配准方法 |
CN110766706A (zh) * | 2019-09-26 | 2020-02-07 | 深圳市景阳信息技术有限公司 | 图像融合方法、装置、终端设备及存储介质 |
CN110766676A (zh) * | 2019-10-24 | 2020-02-07 | 中国科学院长春光学精密机械与物理研究所 | 基于多源传感器融合的目标检测方法 |
CN111223133A (zh) * | 2020-01-07 | 2020-06-02 | 上海交通大学 | 一种异源图像的配准方法 |
-
2020
- 2020-06-09 CN CN202010518734.4A patent/CN111798560B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267428A1 (en) * | 2010-04-30 | 2011-11-03 | General Electric Company | System and method for mapping a two-dimensional image onto a three-dimensional model |
CN102967373A (zh) * | 2012-11-09 | 2013-03-13 | 广东电网公司东莞供电局 | 变电站三维红外测温监测方法及系统 |
CN205157056U (zh) * | 2012-12-21 | 2016-04-13 | 菲力尔系统公司 | 用于监视动力系统的系统 |
CN103217221A (zh) * | 2013-03-22 | 2013-07-24 | 北京航空航天大学 | 一种基于图像拼接的空冷凝汽器散热面温度场测量方法 |
CN104751433A (zh) * | 2015-04-15 | 2015-07-01 | 成都欧莱特自动化控制工程有限公司 | 一种图像合成方法及系统 |
US20180300906A1 (en) * | 2015-10-09 | 2018-10-18 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for fusion display of thermal infrared and visible image |
CN105338262A (zh) * | 2015-10-09 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种热成像图像处理方法及装置 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
WO2018076732A1 (zh) * | 2016-10-31 | 2018-05-03 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
CN107478340A (zh) * | 2017-07-25 | 2017-12-15 | 许继集团有限公司 | 一种换流阀监测方法及系统 |
JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
CN108254077A (zh) * | 2018-01-02 | 2018-07-06 | 国网上海市电力公司 | 基于局部与全局特征信息融合的gis热故障诊断方法 |
CN109029731A (zh) * | 2018-05-24 | 2018-12-18 | 河海大学常州校区 | 一种基于多目视觉的电力设备异常监测系统及方法 |
CN108932721A (zh) * | 2018-06-28 | 2018-12-04 | 上海电力学院 | 一种用于巡检机器人的红外图像分割与融合方法 |
CN109115347A (zh) * | 2018-07-23 | 2019-01-01 | 深圳供电局有限公司 | 一种电缆沟热点检测方法及系统 |
CN108955900A (zh) * | 2018-08-02 | 2018-12-07 | 华电福新能源股份有限公司古田溪水力发电厂 | 一种基于红外热成像的升压站测温预警系统及方法 |
CN109242773A (zh) * | 2018-08-29 | 2019-01-18 | 杭州体光医学科技有限公司 | 一种热红外图像的拼接方法及部位划分方法 |
CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
CN109523583A (zh) * | 2018-10-09 | 2019-03-26 | 河海大学常州校区 | 一种基于反馈机制的电力设备红外与可见光图像配准方法 |
CN110766706A (zh) * | 2019-09-26 | 2020-02-07 | 深圳市景阳信息技术有限公司 | 图像融合方法、装置、终端设备及存储介质 |
CN110766676A (zh) * | 2019-10-24 | 2020-02-07 | 中国科学院长春光学精密机械与物理研究所 | 基于多源传感器融合的目标检测方法 |
CN111223133A (zh) * | 2020-01-07 | 2020-06-02 | 上海交通大学 | 一种异源图像的配准方法 |
Non-Patent Citations (4)
Title |
---|
王邦国: "基于SIFT特征点精确匹配的图像拼接技术研究", 《大连大学学报》 * |
王邦国: "基于SIFT特征点精确匹配的图像拼接技术研究", 《大连大学学报》, vol. 36, no. 3, 30 June 2015 (2015-06-30), pages 0 - 3 * |
荣传振、贾永兴、吴城等: "《红外与可见光图像分解与融合方法研究》", 《数据采集与处理》 * |
荣传振、贾永兴、吴城等: "《红外与可见光图像分解与融合方法研究》", 《数据采集与处理》, vol. 34, no. 1, 15 January 2019 (2019-01-15), pages 2 - 3 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112489225A (zh) * | 2020-11-26 | 2021-03-12 | 北京邮电大学 | 视频与三维场景融合的方法、装置、电子设备和存储介质 |
CN113065531A (zh) * | 2021-05-13 | 2021-07-02 | 上海海事大学 | 一种面向高速公路服务区三维拼接视频的车辆识别方法 |
CN113065531B (zh) * | 2021-05-13 | 2024-05-14 | 上海海事大学 | 一种面向高速公路服务区三维拼接视频的车辆识别方法 |
CN113240800A (zh) * | 2021-05-31 | 2021-08-10 | 北京世冠金洋科技发展有限公司 | 一种三维温度流场热力图展示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111798560B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111798560A (zh) | 一种电力设备红外热像测温数据三维实景模型可视化方法 | |
Hirschmuller | Stereo processing by semiglobal matching and mutual information | |
CN108053367A (zh) | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 | |
CN106683173B (zh) | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 | |
Ham et al. | An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery | |
Stamos et al. | Integration of range and image sensing for photo-realistic 3D modeling | |
CN106340009B (zh) | 一种基于平行双目的电力线检测方法及系统 | |
CN110310331A (zh) | 一种基于直线特征与点云特征结合的位姿估计方法 | |
CN109242959A (zh) | 三维场景重建方法及系统 | |
CN111861866A (zh) | 一种变电站设备巡检图像全景重建方法 | |
Deng et al. | Omnidirectional depth segmentation using orthogonal fringe patterns and multi-scale enhancement | |
Kim et al. | The effective acquisition and processing of 3D photogrammetric data from digital photogrammetry for construction progress measurement | |
Zhai et al. | Image real-time augmented reality technology based on spatial color and depth consistency | |
El Ansari et al. | A new regions matching for color stereo images | |
Xue et al. | Feature Point Extraction and Matching Method Based on Akaze in Illumination Invariant Color Space | |
Ruf et al. | Towards real-time change detection in videos based on existing 3D models | |
Zheng et al. | Dimensional measurement of anti-stress cone of HV cable joints based on 3D point cloud | |
Dong et al. | Stereo matching via dual fusion | |
Li et al. | Quantitative evaluation for dehazing algorithms on synthetic outdoor hazy dataset | |
Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
Pan et al. | An adaptive harris corner detection algorithm for image mosaic | |
Liu et al. | Image Mosaic Technology Based on Harris Corner Feature | |
CN113888395A (zh) | 一种融合红外测温图像的电力设备三维可视化方法及装置 | |
Appia et al. | Fully automatic 2D to 3D conversion with aid of high-level image features | |
CN109360174A (zh) | 基于相机位姿的三维场景重建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |