CN112261293A - 变电站远程巡检方法、装置和电子设备 - Google Patents
变电站远程巡检方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112261293A CN112261293A CN202011128392.1A CN202011128392A CN112261293A CN 112261293 A CN112261293 A CN 112261293A CN 202011128392 A CN202011128392 A CN 202011128392A CN 112261293 A CN112261293 A CN 112261293A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- information
- monitored object
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种变电站远程巡检方法、装置和电子设备,涉及计算机视觉技术领域,该方法包括获取监控对象的对象信息;基于对象信息确定监控设备的目标监控信息;目标监控信息包括监控设备的目标监控视角;将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型;获取监控设备的实时监控数据;将实时监控数据和监控对象对应的实景三维模型进行数据融合,以便对变电站进行远程巡检。本发明实现了变电站的三维可视化巡检,提升了变电站智能运维、安全管控的水平,提高了变电站远程监测预警能力。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其是涉及一种变电站远程巡检方法、装置和电子设备。
背景技术
随着无人值守变电站的不断普及,对变电站内设备设施的远程巡检提出了更高的要求。对于调度和运检人员来说,期望通过观看多路视频,进而发现被监测对象的可疑问题不太实际,一方面电网运行中出现问题本身是小概率事件,另一方面在观看视频的过程中若遗漏或误判某些设备缺陷,造成的后果却十分严重。
因此,针对在巡检过程中出现巡检点多、场景复杂、气象多变、乃至可能存在的误检漏检等问题,目前尚无非常有效的解决方案。
发明内容
本发明的目的在于提供一种变电站远程巡检方法、装置和电子设备,通过实现变电站的三维可视化巡检,提升变电站的智能化运维和安全管控的水平,同时提高变电站远程监测预警能力。
第一方面,本发明实施例提供一种变电站远程巡检方法,方法包括:获取监控对象信息;基于监控对象信息确定目标监控信息;目标监控信息包括监控设备的目标监控视角;将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型;获取监控设备的实时监控数据;将实时监控数据和实景三维模型进行数据融合,实现变电站的远程巡检。
在可选的实施方式中,基于对象信息确定目标监控信息的步骤,包括:基于监控设备的成像尺寸和焦距确定目标监控视角;基于对象信息和目标监控视角计算偏移量;对象信息包括监控对象的位置信息、监控对象的旋转角度和监控对象的尺寸信息;基于监控对象的位置信息、监控对象的旋转角度、监控对象的尺寸信息以及偏移量确定监控设备的目标监控位置。
在可选的实施方式中,在基于监控对象信息确定目标监控信息之后,方法还包括:通过点积操作和叉积操作计算监控设备和监控对象的相对方位信息;其中,点积操作用于计算监控设备和监控对象的前后方位信息;叉积操作用于计算监控设备和监控对象的左右方位信息;基于相对方位信息判断监控对象是否满足监控设备的监控条件;如果是,则基于监控条件优化监控设备的焦距。
在可选的实施方式中,获取监控设备的实时监控数据的步骤,包括:采集监控设备的原始流数据;基于RTSP协议将原始流数据转换成实时监控数据;实时监控数据的数据格式包括在web端播放的视频数据格式。
在可选的实施方式中,将实时监控数据和实景三维模型进行数据融合的步骤,包括:基于预设的视频融合算法计算监控设备与监控对象构成的相交模型的纹理贴图坐标;将实时监控数据叠加到纹理贴图坐标进行纹理渲染,实现实时监控数据与实景三维模型的数据融合。
在可选的实施方式中,预设的视频融合算法包括射线检测操作和立方体包围盒算法;基于预设的视频融合算法计算监控设备与监控对象构成的相交模型的纹理贴图坐标的步骤,包括:基于实景三维模型的位置信息和投影参数信息确定监控设备的投影矩阵;投影参数信息包括监控设备与监控对象之间的距离以及监控设备的位置信息、高度、类型(枪机、球机、云台)旋转角度信息、焦距范围、预置位个数、成像尺寸、水平或垂直视角范围中的一种或多种;基于射线检测操作和立方体包围盒算法确定监控设备与监控对象的相交模型的模型顶点数据;基于相交模型的模型顶点数据计算监控设备的视角矩阵;基于监控设备的投影矩阵和视角矩阵,计算纹理贴图坐标。
在可选的实施方式中,将实时监控数据叠加到纹理贴图坐标进行纹理渲染,实现实时监控数据与实景三维模型的数据融合的步骤,包括:将实时监控数据按照帧率获取投影区域的图像数据;基于纹理贴图坐标和投影区域的图像数据进行纹理渲染,实现实时监控数据与实景三维模型的数据融合。
第二方面,本发明实施例提供一种变电站远程巡检装置,装置包括:信息获取模块,用于获取监控对象信息;确定模块,用于基于监控对象信息确定目标监控信息;目标监控信息包括监控设备的目标监控视角;投影模块,用于将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型;数据获取模块,用于获取监控设备的实时监控数据;融合模块,用于将实时监控数据和实景三维模型进行数据融合,实现变电站的远程巡检。
第三方面,本发明实施例提供一种电子设备,包括处理器和存储器;存储器上存储有计算机程序,计算机程序在被处理器运行时执行如前述实施方式任一项的方法。
第四方面,本发明实施例提供一种计算机可读存储介质,用于储存如前述实施方式任一项方法所用的计算机软件指令。
本发明提供的变电站远程巡检方法、装置和电子设备,首先获取监控对象的信息,然后基于对象信息确定监控设备的目标监控信息,其中,目标监控信息包括监控设备的目标监控视角,进而计算监控设备的信息(包括位置、角度、焦距等)将其调整至目标监控视角,并投影至监控对象对应的实景三维模型。通过获取监控设备的实时监控数据,并将其与监控对象所对应的实景三维模型进行数据融合,以实现变电站的远程巡检,进而提升了变电站智能化运维和安全管控的水平,同时提高了变电站远程监测预警能力。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种变电站远程巡检方法的流程示意图;
图2为本发明实施例提供的另一种变电站远程巡检方法的流程示意图;
图3为本发明实施例提供的一种变电站远程巡检装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和图示的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下在对附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
运用智能化手段进行变电站远程集中巡检已经成为智慧变电站巡检工作的关键点之一,为了更好的适应时代的发展需求,在变电站中采用智能化的技术手段对整个变电站的各个设备进行精准的监测监控,进而实现对变电站设备更好的维护,是智慧变电站建设的一个热点。因此,针对现有方案在巡检过程中容易出现的误判漏判,以及巡检效率低等问题,本发明实施例提供了一种新型的变电站远程巡检方法、装置和电子设备,通过运用变电站三维可视化巡检方案可以显著地提升变电站智能化运维和安全管控的水平,同时提高了变电站远程监测预警能力。
为了便于理解,首先对本发明实施例提供的一种变电站远程巡检方法进行详细说明,参见图1所示的一种变电站远程巡检方法的流程示意图,该方法主要包括以下步骤S102至步骤S110:
步骤S102,获取监控对象信息。
为实现对变电站的远程巡检,该监控对象即变电站中进行远程巡检的一次设备,即监控对象具体设定为需要进行远程巡检(或称监控)的变电站安全运行中需要重点关注的设备,该监控对象信息既可以是变电站设备对应的实景三维模型中的模型数据,也可以是全景三维模型中的模型数据。针对具体的业务应用,监控对象信息可以包括变电站设备对应的实景三维模型的对象名称、对象类型、尺寸、位置、角度、对象状态、电压等级等。
步骤S104,基于监控对象信息确定目标监控信息。
在一种实施方式中,监控设备为变电站中监控对象事先布点的监控设备,诸如监控摄像机,或巡检机器人,即用于对监控对象进行视频图像获取的设备等。该监控设备的参数信息预先存储于数据库中,当需要进行监控时,将参数信息读取至内存,参数信息可以包括监控设备的位置信息、高度、设备类型(枪机、云台或球机)、旋转角度信息、焦距范围、预置位个数、成像尺寸、水平或垂直视角范围等。目标监控信息包括监控设备的目标监控视角,其中,目标监控视角为监控设备针对监控对象的最佳监控视角。在一种实施方式中,可以选择距离监控对象最近的监控设备,基于监控对象计算监控设备的最佳监控视角(也即上述目标监控视角),其中监控视角包括监控设备的所处位置、旋转角度、焦距、高度等信息。
步骤S106,将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型。
当确定目标监控视角后,将监控设备旋转至该目标监控视角,可以理解的是,如若该监控设备当前所处的监控视角即为目标监控视角,则无需进行调整,否则如果监控设备存在遮挡或监控不全等情况,则根据实际需要进行优化调整。为了能够实时的获取真实变电站的设备情况,将监控设备采集到的视频数据投影至监控对象对应的实景三维模型。该实景三维模型与要监控的设备具有尺度比例对应的模型,一般实景三维模型与监控对象的尺度比例为1:1。
步骤S108,获取监控设备的实时监控数据。
当监控设备调整至目标监控视角后,则采集监控设备的原始流数据,该原始流数据可以为原始的基本码流数据(也可以称为ES(Elementary Stream)流数据),进而基于实时流传输(Real Time Streaming Protocol,RTSP)协议将原始流数据转换成实时监控数据,该实时监控数据的数据格式包括在web端播放的视频数据格式,诸如,可以为直接在web端播放的视频数据格式,也可以为将采集的原始流数据转换后得到的其他的可以在web端播放的视频数据格式。在实际应用时,可以根据实际需要进行选择。
步骤S110,将实时监控数据和实景三维模型进行数据融合,实现变电站的远程巡检。
在具体应用中,在进行数据融合时,本实施例采用射线检测和立方体包围盒算法,计算监控设备的视角与监控对象碰撞相交的网络顶点信息、纹理贴图坐标,然后按帧率提取实时监控数据,通过将提取的监控数据叠加至纹理贴图坐标,实现实时监控数据与实景三维模型的数据融合,其中,实时监控数据为动态数据,实景三维模型为静态模型,将实时监控数据与实景三维模型的数据进行融合,可以在静态模型上展示动态的实时监控数据,从而通过对实景三维模型中设备的实时监控,即可达到远程实景巡检的效果。
本发明实施例提供的变电站远程巡检方法,根据确定监控设备的目标监控信息,将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型,可以通过将实时监控数据和监控对象对应的实景三维模型进行数据融合,从而无需人工干预的实时巡检即可实现变电站的远程可视化实景巡检,进而提升变电站智能化运维和安全管控的水平,同时提高了变电站远程监测预警能力。
在一种实施方式中,为确定监控设备的目标监控设备信息,上述步骤S104可以进一步包括如下步骤(1)至步骤(3):
步骤(1)基于监控设备的成像尺寸和焦距确定目标监控视角,诸如,可以根据监控对象到监控设备的距离计算目标监控视角,参见以下公式1:
其中,fov为目标监控视角;size为监控设备的成像尺寸;focus为监控设备的焦距。
步骤(2)基于对象信息和目标监控视角计算偏移量,对象信息包括监控对象的尺寸信息,计算偏移量的方式可以参见以下公式2:
其中,offset为偏移量;width为监控对象的宽度,height为监控对象的高度,width和height基于监控对象的所处的位置和尺寸信息计算所得;aspect为成像比例,在实际应用时,该成像比例默认为4/3。
步骤(3)基于监控对象的对象位置信息、监控对象的旋转角度、监控对象的尺寸信息以及偏移量确定监控设备的目标监控位置。目标监控位置即能够实现最优监控的监控设备的位置,通过以下公式3计算得到:
Pos=objPos+(rotation*dir)*offset (公式3)
其中,Pos为目标监控位置;objPos为监控对象的坐标;rotation为监控设备的旋转角度;dir为监控对象所在的方向。
在基于对象信息确定监控设备的目标监控设备信息之后,进一步通过点积操作和叉积操作计算监控设备和监控对象的相对方位信息。在一种实施方式中,可以采用右手坐标系,也即Y轴向上,X轴向右,Z轴向前。其中,上述点积操作用于计算监控设备(Pos)和监控对象(objPos)的前后方位信息,参见公式4,如果dot>0,则表征监控设备位于监控对象的前面,反之,则表征监控设备位于监控对象的后面;叉积操作用于计算监控设备和监控对象的左右方位信息,参见公式5,如果cross.y>0,则表征监控设备在监控对象的右面,反之,则表征监控设备在监控对象的左面,公式4与公式5中的方向向量cameraDir用于表示监控设备的方向。
dot=cameraDir·(objPos-Pos) (公式4)
cross=cameraDir×(objPos-Pos) (公式5)
然后,基于下述公式6和公式7计算监控设备和监控对象的相对方位信息:
angle1=arccos(dot) (公式6)
angle2=arcsin(cross) (公式7)
进一步,基于相对方位信息判断监控对象是否满足监控设备的监控条件,该监控条件诸如可以包括监控对象是否存在遮挡、是否全部在监控范围内等。如果判断监控对象满足监控设备的监控条件,则基于公式8计算最佳视角,监控对象自动出现在监控设备的最佳视角范围内,并进一步基于最佳视角优化焦距,参见公式9:
其中,fov′为最佳视角;
其中,focus为优化后的焦距。
具体应用中,基于步骤S104计算获取的监控设备的目标监控信息,并旋转到监控对象的目标监控视角后,如果监控对象是完全在监控设备的视角范围内,且不存在遮挡或监控不全的情况下,则获取监控设备的原始流数据;如果存在遮挡或监控不全的情况,则需要优化或者选择其它的监控设备。
·将顶点坐标从模型空间转换到裁剪空间,计算顶点坐标投影位置的屏幕坐标;
·再将顶点坐标的投影坐标转换到相机空间;深度重建相机空间坐标,即对顶点的屏幕坐标进行归一化处理,同时计算其到相机的深度值;基于监控对象的模型坐标和相机空间的深度值计算其在相机空间的坐标;
·将其相机空间的坐标转换到裁剪空间坐标;采用立方体包围盒算法,裁剪掉不在监控范围内的对象;基于顶点坐标计算其空间法线方向,根据法线方向剔除投影内容;
·基于屏幕空间坐标的XZ采样贴图坐标(UV),实现纹理融合。
为便于对数据融合的步骤进行理解,上述步骤S110进一步包括以下步骤1和步骤2:
步骤1,基于预设的视频融合算法计算监控设备与监控对象构成的相交模型的纹理贴图坐标。其中,预设的视频融合算法可以包括射线检测操作和立方体包围盒算法,步骤1进一步包括步骤1.1至步骤1.3:
步骤1.1,基于实景三维模型的位置、旋转角度、尺寸信息和投影参数信息确定监控设备的投影矩阵;投影参数信息包括监控设备与监控对象之间的距离以及监控设备的位置信息、高度、类型(枪机、球机、云台)、旋转角度信息、焦距范围、预置位个数、成像尺寸、水平或垂直视角范围中的一种或多种。
步骤1.2,基于射线检测操作和立方体包围盒算法确定监控设备与监控对象的相交模型的模型顶点数据。
步骤1.3,基于相交模型的模型顶点数据计算监控设备的视角矩阵;基于监控设备的投影矩阵和视角矩阵,计算纹理贴图坐标。
在一种实施方式中,针对不同的监控对象采用不同的视频融合方法,所述视频融合算法,根据监控对象的类型分为:平面类的融合,诸如四边形和圆形;立体类的融合,指非平面的融合,包括规则、不规则的六面体的融合;在具体实现时,采用基于立方体的正射投影算法,基于射线检测算法,获取相交模型的网格顶点数据,基于透视投影算法计算其投影矩阵、模型数据在摄像机视角的矩阵,同时计算其纹理贴图坐标。
步骤2,将实时监控数据叠加到纹理贴图坐标进行纹理渲染,实现实时监控数据与实景三维模型的数据融合。该步骤2进一步包括步骤2.1和步骤2.2:
步骤2.1,将实时监控数据按照帧率获取投影区域的图像数据,以确保监控区域信息的实时更新;
步骤2.2,基于纹理贴图坐标和投影区域的图像数据进行纹理渲染,实现实时监控数据与监控对象对应的实景三维模型的数据融合。在提取视频的图像数据与监控对象进行融合时,对比视频的图像数据与监控对象对应的实景三维模型贴图的颜色,存在较大的明亮度时,采用边缘优化的方式,弱化或增强视频图像数据的背景,实现无缝融合;基于非平面的视频融合,存在多余背景的情况,采用背景弱化的方法实现无缝融合。
本发明实施例提供了一种具体的数据融合方法,参见图2所示的一种数据方法的流程示意图,实景三维视频融合流程通过输入数据、计算和输出三个步骤实现,通过该数据融合方法,可以实现实景三维模型与视频数据的无缝融合。
本发明实施例提供的变电站远程巡检方法,可以保障电力生产安全运行;在变电站的业务应用场景中,实景三维建模技术与视频智能融合在智能安防、智慧变电站等领域将发挥着重要的不可替代的作用。从变电站实景三维建模,开展基于实景三维的远程可视化巡视技术在变电站巡检中的应用研究工作,以更好的服务于精细化的运检工作要求;通过无人机、激光扫描仪或空间扫描仪采集的广角图像序列表现大面积场景,再结合监控摄像机采集的局部动态纹理信息构建此场景中重点关注的局部区域。整体和局部相结合的方式实现了变电站的三维可视化巡检,提升变电站智能运维、安全管控的水平,同时提高变电站远程监测预警能力,保障电力设备生产安全,具有可观的经济效益和社会效益。
对于上述变电站远程巡检方法,本发明实施例提供一种变电站远程巡检装置,参见图3所示的一种变电站远程巡检装置的结构示意图,该装置主要包括以下部分:
信息获取模块302,用于获取监控对象信息;
确定模块304,用于基于监控对象信息确定目标监控信息;目标监控信息包括监控设备的目标监控视角;
投影模块306,用于将监控设备调整至目标监控视角,并投影至监控对象对应的实景三维模型;
数据获取模块308,用于获取监控设备的实时监控数据;
融合模块310,用于将实时监控数据和实景三维模型进行数据融合,实现变电站的远程巡检。
本发明实施例提供的变电站远程巡检装置,通过确定监控设备的目标监控信息,将监控设备调整至目标监控视角,并投影至监控对象的实景三维模型,通过将实时监控数据和监控对象的实景三维模型进行数据融合,无需人工干预的实景巡检即实现了变电站的远程可视化巡检,以此来提升变电站智能运维、安全管控的水平,同时提高了变电站远程监测预警能力。
在一种实施方式中,上述确定模块304,进一步用于基于监控设备的成像尺寸和焦距确定目标监控视角;基于对象信息和目标监控视角计算偏移量;对象信息包括监控对象的尺寸信息;基于监控对象的对象位置信息、监控对象的旋转角度、监控对象的尺寸信息以及所述偏移量确定监控设备的目标监控位置。
在一种实施方式中,在基于监控对象信息确定监控设备的目标监控信息之后,上述装置还包括:优化模块,用于通过点积操作和叉积操作计算监控设备和监控对象的相对方位信息;其中,点积操作用于计算监控设备和监控对象的前后方位信息;叉积操作用于计算监控设备和监控对象的左右方位信息;基于相对方位信息判断监控对象是否满足监控设备的监控条件;如果是,则基于监控条件优化监控设备的焦距。
在一种实施方式中,上述数据获取模块308,进一步用于采集监控设备的原始流数据;基于RTSP协议将原始流数据转换成实时监控数据;实时监控数据的数据格式包括在web端播放的视频数据格式。
在一种实施方式中,上述融合模块310,进一步用于基于预设的视频融合算法计算监控设备与监控对象构成的相交模型的纹理贴图坐标;将实时监控数据叠加到纹理贴图坐标进行纹理渲染,实现实时监控数据与实景三维模型的数据融合。
在一种实施方式中,上述融合模块310,进一步用于基于实景三维模型的位置信息和投影参数信息确定监控设备的投影矩阵;投影参数信息包括监控设备与监控对象之间的距离以及监控设备的位置信息、高度、类型(枪机、球机、云台)、旋转角度信息、焦距范围、预置位个数、成像尺寸、水平或垂直视角范围中的一种或多种;基于射线检测操作和立方体包围盒算法确定监控设备与监控对象的相交模型的模型顶点数据;基于相交模型的模型顶点数据计算监控设备的视角矩阵;基于监控设备的投影矩阵和视角矩阵,计算纹理贴图坐标。
在一种实施方式中,上述融合模块310,进一步用于将实时监控数据按照帧率获取投影区域的图像数据;基于纹理贴图坐标和投影区域的图像数据进行纹理渲染,实现实时监控数据与监控设备对应的实景三维模型的数据融合。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图4为本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。
其中,存储器41可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。
处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的变电站远程巡检方法、装置和电子设备的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种变电站远程巡检方法,其特征在于,所述方法包括:
获取监控对象信息;
基于所述监控对象信息确定目标监控信息;所述目标监控信息包括监控设备的目标监控视角;
将所述监控设备调整至所述目标监控视角,并投影至监控对象对应的实景三维模型;
获取所述监控设备的实时监控数据;
将所述实时监控数据和所述实景三维模型进行数据融合,实现所述变电站的远程巡检。
2.根据权利要求1所述的方法,其特征在于,所述基于所述监控对象信息确定目标监控信息的步骤,包括:
基于所述监控设备的成像尺寸和焦距确定所述目标监控视角;
基于所述监控对象信息和所述目标监控视角计算偏移量;所述监控对象信息包括所述监控对象的位置信息、所述监控对象的旋转角度和所述监控对象的尺寸信息;
基于所述监控对象的位置信息、所述监控对象的旋转角度、所述监控对象的尺寸信息以及所述偏移量确定所述监控设备的目标监控位置。
3.根据权利要求1所述的方法,其特征在于,在所述基于所述监控对象信息确定目标监控信息之后,所述方法还包括:
通过点积操作和叉积操作计算监控设备和所述监控对象的相对方位信息;其中,所述点积操作用于计算所述监控设备和所述监控对象的前后方位信息;所述叉积操作用于计算所述监控设备和所述监控对象的左右方位信息;
基于所述相对方位信息判断所述监控对象是否满足所述监控设备的监控条件;
如果是,则基于所述监控条件优化所述监控设备的焦距。
4.根据权利要求1所述的方法,其特征在于,所述获取所述监控设备的实时监控数据的步骤,包括:
采集所述监控设备的原始流数据;
基于RTSP协议将所述原始流数据转换成所述实时监控数据;所述实时监控数据的数据格式包括在web端播放的视频数据格式。
5.根据权利要求1所述的方法,其特征在于,所述将所述实时监控数据和所述实景三维模型进行数据融合的步骤,包括:
基于预设的视频融合算法计算所述监控设备与所述监控对象构成的相交模型的纹理贴图坐标;
将所述实时监控数据叠加到所述纹理贴图坐标进行纹理渲染,实现所述实时监控数据与所述实景三维模型的数据融合。
6.根据权利要求5所述的方法,其特征在于,所述预设的视频融合算法包括射线检测操作和立方体包围盒算法;
所述基于预设的视频融合算法计算所述监控设备与所述监控对象构成的相交模型的纹理贴图坐标的步骤,包括:
基于所述实景三维模型的位置信息和投影参数信息确定所述监控设备的投影矩阵;所述投影参数信息包括所述监控设备与所述监控对象之间的距离以及所述监控设备的位置信息、高度、类型(枪机、球机、云台)、旋转角度信息、焦距范围、预置位个数、成像尺寸、水平或垂直视角范围中的一种或多种;
基于所述射线检测操作和所述立方体包围盒算法确定所述监控设备与所述监控对象的所述相交模型的模型顶点数据;
基于所述相交模型的所述模型顶点数据计算所述监控设备的视角矩阵;
基于所述监控设备的投影矩阵和所述视角矩阵,计算所述纹理贴图坐标。
7.根据权利要求5所述的方法,其特征在于,所述将所述实时监控数据叠加到所述纹理贴图坐标进行纹理渲染,实现所述实时监控数据与所述实景三维模型的数据融合的步骤,包括:
将所述实时监控数据按照帧率获取投影区域的图像数据;
基于所述纹理贴图坐标和所述投影区域的图像数据进行纹理渲染,实现所述实时监控数据与所述实景三维模型的数据融合。
8.一种变电站远程巡检装置,其特征在于,所述装置包括:
信息获取模块,用于获取监控对象信息;
确定模块,用于基于所述监控对象信息确定目标监控信息;所述目标监控信息包括所述监控设备的目标监控视角;
投影模块,用于将所述监控设备调整至所述目标监控视角,并投影至监控对象对应的实景三维模型;
数据获取模块,用于获取所述监控设备的实时监控数据;
融合模块,用于将所述实时监控数据和所述实景三维模型进行数据融合,实现所述变电站的远程巡检。
9.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,用于储存如权利要求1至7任一项所述方法所用的计算机软件指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011128392.1A CN112261293B (zh) | 2020-10-20 | 2020-10-20 | 变电站远程巡检方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011128392.1A CN112261293B (zh) | 2020-10-20 | 2020-10-20 | 变电站远程巡检方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112261293A true CN112261293A (zh) | 2021-01-22 |
CN112261293B CN112261293B (zh) | 2022-05-10 |
Family
ID=74244069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011128392.1A Active CN112261293B (zh) | 2020-10-20 | 2020-10-20 | 变电站远程巡检方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112261293B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112969034A (zh) * | 2021-03-01 | 2021-06-15 | 华雁智能科技(集团)股份有限公司 | 摄像装置布点方案图的验证方法、装置及可读存储介质 |
CN113347392A (zh) * | 2021-05-31 | 2021-09-03 | 高新兴科技集团股份有限公司 | 一种基于ar的配电房监控数据可视化展示方法、系统及介质 |
CN114025148A (zh) * | 2021-11-22 | 2022-02-08 | 神华国华寿光发电有限责任公司 | 一种监测方法和监测系统 |
CN114265357A (zh) * | 2021-12-21 | 2022-04-01 | 国家电网有限公司 | 一种基于计量装置的智能控制系统 |
CN117934729A (zh) * | 2024-03-21 | 2024-04-26 | 西安众望能源科技有限公司 | 一种油气田视频监控实时三维投影融合方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060279630A1 (en) * | 2004-07-28 | 2006-12-14 | Manoj Aggarwal | Method and apparatus for total situational awareness and monitoring |
CN102665067A (zh) * | 2012-04-25 | 2012-09-12 | 广东电网公司珠海供电局 | 面向设备区和设备对象的变电站视频监控方法及系统 |
CN103136738A (zh) * | 2011-11-29 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 一种复杂场景下固定摄像机监控视频与三维模型配准方法 |
CN103237198A (zh) * | 2013-04-15 | 2013-08-07 | 四川华雁信息产业股份有限公司 | 一种摄像机协调处理方法、装置及摄像机 |
US20130211421A1 (en) * | 2011-12-30 | 2013-08-15 | Mako Surgical Corp. | Integrated surgery method |
CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
CN104079816A (zh) * | 2013-11-11 | 2014-10-01 | 国网山东省电力公司 | 一种基于虚拟现实技术的监控摄像机自动控制方法 |
CN104333736A (zh) * | 2014-10-28 | 2015-02-04 | 山东大学 | 无人变电站智能识别监控系统及方法 |
CN105357490A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于变电站实景三维模型的视觉监控目标跟踪方法及系统 |
CN106231260A (zh) * | 2016-08-02 | 2016-12-14 | 北京殷图网联科技股份有限公司 | 基于三维模型的变电站视频监控方法、装置以及系统 |
CN107197200A (zh) * | 2017-05-22 | 2017-09-22 | 北斗羲和城市空间科技(北京)有限公司 | 一种实现监控视频显示的方法及装置 |
US20180324410A1 (en) * | 2015-10-29 | 2018-11-08 | Oy Vulcan Vision Corporation | Video imaging an area of interest using networked cameras |
CN110213534A (zh) * | 2019-05-14 | 2019-09-06 | 广东康云科技有限公司 | 一种基于变电站的3d实景巡视方法、系统和存储介质 |
CN110614638A (zh) * | 2019-09-19 | 2019-12-27 | 国网山东省电力公司电力科学研究院 | 一种变电站巡检机器人自主采集方法及系统 |
CN111225191A (zh) * | 2020-01-17 | 2020-06-02 | 华雁智能科技(集团)股份有限公司 | 三维视频融合的方法、装置及电子设备 |
CN111325824A (zh) * | 2019-07-03 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 图像数据展示方法、装置、电子设备及存储介质 |
CN111402374A (zh) * | 2018-12-29 | 2020-07-10 | 曜科智能科技(上海)有限公司 | 多路视频与三维模型融合方法及其装置、设备和存储介质 |
CN111415416A (zh) * | 2020-03-31 | 2020-07-14 | 武汉大学 | 一种监控实时视频与场景三维模型融合方法及系统 |
-
2020
- 2020-10-20 CN CN202011128392.1A patent/CN112261293B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060279630A1 (en) * | 2004-07-28 | 2006-12-14 | Manoj Aggarwal | Method and apparatus for total situational awareness and monitoring |
CN103136738A (zh) * | 2011-11-29 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 一种复杂场景下固定摄像机监控视频与三维模型配准方法 |
US20130211421A1 (en) * | 2011-12-30 | 2013-08-15 | Mako Surgical Corp. | Integrated surgery method |
CN102665067A (zh) * | 2012-04-25 | 2012-09-12 | 广东电网公司珠海供电局 | 面向设备区和设备对象的变电站视频监控方法及系统 |
CN103237198A (zh) * | 2013-04-15 | 2013-08-07 | 四川华雁信息产业股份有限公司 | 一种摄像机协调处理方法、装置及摄像机 |
CN104079816A (zh) * | 2013-11-11 | 2014-10-01 | 国网山东省电力公司 | 一种基于虚拟现实技术的监控摄像机自动控制方法 |
CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
CN104333736A (zh) * | 2014-10-28 | 2015-02-04 | 山东大学 | 无人变电站智能识别监控系统及方法 |
US20180324410A1 (en) * | 2015-10-29 | 2018-11-08 | Oy Vulcan Vision Corporation | Video imaging an area of interest using networked cameras |
CN105357490A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于变电站实景三维模型的视觉监控目标跟踪方法及系统 |
CN106231260A (zh) * | 2016-08-02 | 2016-12-14 | 北京殷图网联科技股份有限公司 | 基于三维模型的变电站视频监控方法、装置以及系统 |
CN107197200A (zh) * | 2017-05-22 | 2017-09-22 | 北斗羲和城市空间科技(北京)有限公司 | 一种实现监控视频显示的方法及装置 |
CN111402374A (zh) * | 2018-12-29 | 2020-07-10 | 曜科智能科技(上海)有限公司 | 多路视频与三维模型融合方法及其装置、设备和存储介质 |
CN110213534A (zh) * | 2019-05-14 | 2019-09-06 | 广东康云科技有限公司 | 一种基于变电站的3d实景巡视方法、系统和存储介质 |
CN111325824A (zh) * | 2019-07-03 | 2020-06-23 | 杭州海康威视系统技术有限公司 | 图像数据展示方法、装置、电子设备及存储介质 |
CN110614638A (zh) * | 2019-09-19 | 2019-12-27 | 国网山东省电力公司电力科学研究院 | 一种变电站巡检机器人自主采集方法及系统 |
CN111225191A (zh) * | 2020-01-17 | 2020-06-02 | 华雁智能科技(集团)股份有限公司 | 三维视频融合的方法、装置及电子设备 |
CN111415416A (zh) * | 2020-03-31 | 2020-07-14 | 武汉大学 | 一种监控实时视频与场景三维模型融合方法及系统 |
Non-Patent Citations (1)
Title |
---|
周颐 等: "虚实融合监控场景中的漫游路径规划方法", 《计算机辅助设计与图形学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112969034A (zh) * | 2021-03-01 | 2021-06-15 | 华雁智能科技(集团)股份有限公司 | 摄像装置布点方案图的验证方法、装置及可读存储介质 |
CN112969034B (zh) * | 2021-03-01 | 2023-03-03 | 华雁智能科技(集团)股份有限公司 | 摄像装置布点方案图的验证方法、装置及可读存储介质 |
CN113347392A (zh) * | 2021-05-31 | 2021-09-03 | 高新兴科技集团股份有限公司 | 一种基于ar的配电房监控数据可视化展示方法、系统及介质 |
CN114025148A (zh) * | 2021-11-22 | 2022-02-08 | 神华国华寿光发电有限责任公司 | 一种监测方法和监测系统 |
CN114265357A (zh) * | 2021-12-21 | 2022-04-01 | 国家电网有限公司 | 一种基于计量装置的智能控制系统 |
CN114265357B (zh) * | 2021-12-21 | 2023-03-21 | 国家电网有限公司 | 一种基于计量装置的智能控制系统 |
CN117934729A (zh) * | 2024-03-21 | 2024-04-26 | 西安众望能源科技有限公司 | 一种油气田视频监控实时三维投影融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112261293B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112261293B (zh) | 变电站远程巡检方法、装置和电子设备 | |
CN112053446B (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
CN109587477B (zh) | 一种图像采集设备选择方法、装置、电子设备及存储介质 | |
CN105744226B (zh) | 一种基于摄像机坐标系的1+n枪球联动方法 | |
CN102148965B (zh) | 多目标跟踪特写拍摄视频监控系统 | |
CN112969034B (zh) | 摄像装置布点方案图的验证方法、装置及可读存储介质 | |
CN205693769U (zh) | 一种运动摄像机对全景目标快速定位捕捉系统 | |
CN110428501B (zh) | 全景影像生成方法、装置、电子设备及可读存储介质 | |
CN110536074B (zh) | 一种智能巡检系统、巡检方法 | |
CN111462503A (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
CN113223130B (zh) | 一种路径漫游方法、终端设备以及计算机存储介质 | |
US11638071B2 (en) | Camera assembly and monitoring camera | |
CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
CN107124581A (zh) | 摄像机运行状态和嫌疑目标在电子地图上实时显示系统 | |
CN112801184A (zh) | 一种云跟踪方法、系统及装置 | |
CN114937249B (zh) | 一种基于网格化管理的车路协同视觉感知处理方法 | |
CN109543496B (zh) | 一种图像采集方法、装置、电子设备及系统 | |
CN113079369B (zh) | 摄像设备的确定方法及装置、存储介质、电子装置 | |
CN106780613A (zh) | 多摄像头标定结果的可视化方法及其系统 | |
CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
KR101700651B1 (ko) | 위치정보 기반의 공유 경로데이터를 이용한 객체 트래킹 장치 | |
CN114943805B (zh) | 停车遮挡确定方法、装置、设备、存储介质及程序产品 | |
CN108040244A (zh) | 基于光场视频流的抓拍方法及装置、存储介质 | |
CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度系统及方法 | |
KR101559739B1 (ko) | 가상 모델과 카메라 영상의 융합시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |