CN110266938B - 基于深度学习的变电站设备智能拍摄方法及装置 - Google Patents

基于深度学习的变电站设备智能拍摄方法及装置 Download PDF

Info

Publication number
CN110266938B
CN110266938B CN201910439508.4A CN201910439508A CN110266938B CN 110266938 B CN110266938 B CN 110266938B CN 201910439508 A CN201910439508 A CN 201910439508A CN 110266938 B CN110266938 B CN 110266938B
Authority
CN
China
Prior art keywords
lens
shooting
frame
focal length
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910439508.4A
Other languages
English (en)
Other versions
CN110266938A (zh
Inventor
陈其鹏
林国强
柴博
陈江琦
于同伟
李桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Global Energy Interconnection Research Institute, Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Publication of CN110266938A publication Critical patent/CN110266938A/zh
Application granted granted Critical
Publication of CN110266938B publication Critical patent/CN110266938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的变电站设备智能拍摄方法及装置,该方法包括:控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前镜头的第一拍摄角度和第一拍摄焦距;调用预设的变电站设备智能识别模型对图像信息进行分析,识别图像信息中目标设备的位置及数量;根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距;将镜头角度复原为第一拍摄角度,将镜头焦距复原为第一拍摄焦距;返回控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤,直至镜头累计转动一周。通过实施本发明,免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作,提高了图像采集的效率。

Description

基于深度学习的变电站设备智能拍摄方法及装置
技术领域
本发明涉及智能图像识别技术领域,具体涉及一种基于深度学习的变电站设备智能拍摄方法及装置。
背景技术
输变电巡检在电力生产运营中起到了至关重要的作用,能够保证变电站内异常状况尽快被发现、及时被处理,避免状况恶化造成经济损失甚至人员伤亡。传统变电站开展例行巡检需要大量人力投入且需要人员前往相对危险区域进行细致观察,为求降低成本提升作业安全性,电力公司已在若干变电站内启用了巡检机器人,可在移动过程中拍摄设备相关图像以供后续分析。然而,当前的巡检机器人的智能化水平还比较低,需要人工为其提前设定好巡视目标、拍摄角度和焦距等,从这个角度来讲当前机器人的使用并未真正减轻变电站巡检工作中人员的工作量。
发明内容
有鉴于此,本发明实施例提供了一种基于深度学习的变电站设备智能拍摄方法及装置,以解决当前变电站内巡检机器人智能化水平不足、仍然需要较多人工参与,导致处理效率较低的问题。
根据第一方面,本发明实施例提供了一种基于深度学习的变电站设备智能拍摄方法,包括:控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前镜头的第一拍摄角度和第一拍摄焦距;调用预设的变电站设备智能识别模型对图像信息进行分析,识别图像信息中目标设备的位置及数量;根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距;将镜头角度复原为第一拍摄角度,将镜头焦距复原为第一拍摄焦距;返回控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤,直至镜头累计转动一周。
在一可选实施例中,通过以下步骤训练生成预设的变电站设备智能识别模型:在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据;使用标注工具对训练图像数据进行标注;根据预设比例从标注好的训练图像数据提取训练集及验证集;将训练集分别输入多个神经网络模型进行训练,生成多个初始变电站设备智能识别模型;将验证集分别输入多个初始变电站设备智能识别模型进行验证,得到多个初始变电站设备智能识别模型的精确度;将精确度最高的初始变电站设备智能识别模型确定为预设的变电站设备智能识别模型。
在一可选实施例中,训练生成预设的变电站设备智能识别模型的步骤,还包括:根据预设比例从标注好的训练图像数据提取测试集;将测试集输入预设的变电站设备智能识别模型,得到测试结果;根据测试结果判断预设的变电站设备智能识别模型的准确性;如果准确性大于或等于预设阈值,则判定预设的变电站设备智能识别模型可用;如果准确性小于预设阈值,则判定预设的变电站设备智能识别模型不可用,返回在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据的步骤。
在一可选实施例中,根据目标设备的位置及数量调整镜头的角度和焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距,包括:当检测到图像信息中有且仅有一个目标设备时,调整镜头的角度和焦距,使目标设备居于图像信息的中央且所占区域面积最大化。
在一可选实施例中,根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距,使目标设备居于图像信息的中央且所占区域面积最大化,包括:调整镜头的拍摄角度,使目标设备的标注框位于视野框中央;调整镜头的拍摄焦距,使标注框在视野框内所占面积最大。
在一可选实施例中,调整镜头的拍摄角度,使目标设备的标注框位于视野框中央,包括:每调整一次镜头的拍摄角度,对应进行一次图像信息采集,并调用预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离;根据距离调整镜头的拍摄角度,使标注框的左边框与视野框左边界的距离等于标注框的右边框与视野框右边界的距离,标注框的上边框与视野框上边界的距离等于标注框的下边框与视野框下边界的距离。
在一可选实施例中,调整镜头的拍摄焦距,使标注框在视野框内所占面积最大,包括:每调整一次镜头的拍摄焦距,对应进行一次图像信息采集,并调用预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离;根据距离调整镜头的拍摄焦距,使标注框左边框与视野框左边界的距离、标注框右边框与视野框右边界的距离、标注框上边框与视野框上边界的距离及标注框下边框与视野框下边界的距离,其中至少一项的值等于零。
根据第二方面,本发明实施例提供了一种基于深度学习的变电站设备智能拍摄装置,包括:图像信息采集模块,用于控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前镜头的第一拍摄角度和第一拍摄焦距;目标设备识别模块,用于调用预设的变电站设备智能识别模型对图像信息进行分析,识别图像信息中目标设备的位置及数量;镜头调整模块,用于根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距;镜头复原模块,用于将镜头角度复原为第一拍摄角度,将镜头焦距复原为第一拍摄焦距。
根据第三方面,本发明实施例提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行如本发明第一方面提供的的基于深度学习的变电站设备智能拍摄方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行如本发明第一方面提供的基于深度学习的变电站设备智能拍摄方法。
本发明技术方案,具有如下优点:
1.本发明提供的基于深度学习的变电站设备智能拍摄方法及装置可控制镜头按一定角度增量沿水平方向转动并自动进行图像采集,调用预设的变电站设备智能识别模型对图像信息进行分析,判断所采集的图像中目标设备的位置及数量,根据分析结果自动调整镜头的拍摄角度和拍摄焦距,此方法及装置的智能化水平较高,免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作,提高了图像采集的效率。
2.本发明提供的预设的变电站设备智能识别模型,训练模型的过程中,在不同环境和拍摄方式下采集大量的目标设备的图像信息作为训练图像数据,并将训练图像数据按比例分为训练集、验证集及测试集,将训练集分别输入至多个神经网络得到多个初始变电站智能识别模型,利用验证集选择精确度最高的初始变电站智能识别模型作为预设的变电站设备智能识别模型,最后利用测试集对预设的变电站设备智能识别模型的准确度进行验证,如果准确度小于预设阈值,则重新对变电站智能识别模型进行训练,预设的变电站设备智能识别模型的训练经过多重验证筛选,保证了其准确性,为后续判定图像信息中的目标设备提供了保障。
3.根据预设的变电站设备智能识别模型对图像信息进行分析,根据图像信息中目标设备的位置及信息对镜头的拍摄角度和拍摄焦距进行调整,使目标设备的标注框位于视野框中央并使标注框在视野框内所占面积最大,方便后续对目标设备的细节进行查看分析。每调整一次镜头的拍摄角度和/或拍摄焦距,进行一次图像信息采集,并调用预设的变电站设备智能识别模型对图像信息进行识别,得到调整镜头的拍摄角度和/或拍摄焦距后目标设备在图像信息中的位置,为下一次的调整提供参考,使最终采集的目标设备的图像更为清晰。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例的基于深度学习的变电站设备智能拍摄方法的流程图;
图2示出了本发明实施例的基于深度学习的变电站设备智能拍摄方法使用的预设的变电站设备智能识别模型的构建流程图;
图3A-图3D示出了本发明实施例的目标设备拍摄及调整过程示意图;
图4示出了本发明实施例的基于深度学习的变电站设备智能拍摄装置的结构框图;
图5示出了本发明实施例的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例第一方面提供了一种基于深度学习的变电站设备智能拍摄方法,如图1所示,包括:
步骤S1:控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前所述镜头的第一拍摄角度和第一拍摄焦距,该预设角度增量可以为任意值,便于描述,本实施例以预设角度增量为30度为例,且将上述第一拍摄角度记为a,将上述第一拍摄焦距记为b。
步骤S2:调用预设的变电站设备智能识别模型对图像信息进行分析,识别所述图像信息中目标设备的位置及数量,在一具体实施例中,图像信息中目标设备的数量包含三种情况:图像中未识别发现目标设备、图像中识别发现了一个目标设备或图像中发现了多个设备。
步骤S3:根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距。根据图像信息中目标设备的位置及数量的不同,对镜头进行不同的操作。
当图像中未识别发现目标设备时,镜头不做调整。
当图像中识别发现了一个目标设备时,调整镜头的拍摄角度和/或焦距,使目标设备居于图像信息的中央且所占区域面积最大化,方便后续对目标设备的细节进行查看分析,并记录调整镜头的第二拍摄角度和第二拍摄焦距,为方便描述,本发明实施例将第二拍摄角度记为a1,将第二拍摄焦距记为b1。
当图像中识别发现了多个目标设备时,重复多次图像中识别发现一个目标设备时对镜头的调整操作,将图像中出现的所有目标设备遍历一遍,分别记录每个目标设备居于图像信息的中央且所占区域面积最大时镜头的拍摄角度a1和拍摄焦距b1。
步骤S4:图像中所有目标设备遍历一遍之后,将镜头角度复原为第一拍摄角度a,将镜头焦距复原为第一拍摄焦距b。
步骤S5:返回步骤S1控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤,直至所述镜头累计转动一周,当镜头按预设角度增量沿水平方向累计转动一周,即360度之后,镜头结束工作,停止对图像的采集。将调整后的镜头角度和焦距还原为a和b后再返回步骤S1控制镜头按预设角度增量沿水平方向转动,使整个流程有序进行,不会存在漏拍的情况。
本发明实施例提供的基于深度学习的变电站设备智能拍摄方法可控制镜头按一定角度增量沿水平方向转动并自动进行图像采集,调用预设的变电站设备智能识别模型对图像信息进行分析,判断所采集的图像中目标设备的位置及数量,根据分析结果自动调整镜头的拍摄角度和拍摄焦距,此方法及装置的智能化水平较高,免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作,提高了图像采集的效率。当镜头按预设角度增量沿水平方向累计转动一周后,镜头停止对图像的采集,避免了对图像的重复采集。
在一可选实施例中,如图2所示,可以通过以下步骤训练生成预设的变电站设备智能识别模型:
步骤S21:在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据,在一具体实施例中,先明确变电站目标种类,如道闸标记等,本实施例在此不做具体限定。获取目标设备的训练图像数据时,需在不同光照条件、背景、距离和角度下拍摄数千张图像并统一存储。
步骤S22:使用标注工具对训练图像数据进行标注,在一具体实施例中,标注工具可以使用imageLabeler,但仅为举例说明,并非用以限制本发明,将每一张图像中的目标设备用最恰当的矩形框标注出来并为不同设备赋予不同的标签,如此,关于每张图像的一条数据便可包括图像本身信息、图像中每一个目标设备的种类信息及图像中每一个目标设备所占的像素信息。
步骤S23:根据预设比例从标注好的训练图像数据提取训练集、验证集及测试集,在一具体实施例中,预设比例可以为7:2:1,但仅为举例说明,并非用以限制本发明。
步骤S24:将训练集分别输入多个神经网络模型进行训练,生成多个初始变电站设备智能识别模型,上述神经网络模型可以为基于深度学习的端到端的目标检测算法(可以为Faster-RCNN、YOLO等,但仅为举例说明,并非用以限制本发明),对算法参数进行初步调整。
步骤S25:将验证集分别输入多个初始变电站设备智能识别模型进行验证,得到多个初始变电站设备智能识别模型的精确度。
步骤S26:将精确度最高的初始变电站设备智能识别模型确定为预设的变电站设备智能识别模型,利用验证集在多个初始变电站智能识别模型中选择精确度最高的作为预设的变电站智能识别模型,对预设的变电站智能识别模型的精确度提供了第一重保障。
步骤S27:将测试集输入所述预设的变电站设备智能识别模型,得到测试结果。
步骤S28:根据测试结果判断预设的变电站设备智能识别模型的准确性,如果所述准确性大于或等于预设阈值,则判定所述预设的变电站设备智能识别模型可用,保留此模型并应用于对图像信息的分析识别;如果所述准确性小于所述预设阈值,说明前期准备的训练数据不充分,则判定所述预设的变电站设备智能识别模型不可用,返回步骤S21,在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据。
通过测试集对预设的变电站设备智能识别模型的准确性进行测试,为对预设的变电站智能识别模型的精确度提供了第二重保障,为后续对图像信息的精准识别提供基础。在一具体实施例中,由于已经通过验证集选择了精确度最高的初始变电站智能识别模型作为预设的变电站设备智能识别模型,所以可以不通过测试集进行测试,本实施例在此不做具体限定。
在一可选实施例中,步骤S3中,使目标设备居于图像信息的中央且所占区域面积最大化,包括:
调整镜头的拍摄角度,使目标设备的标注框位于视野框中央,调整镜头角度时,逐步按极小角度(如1度,本实施例对此不做具体限定)偏转镜头,每调整一次镜头的拍摄角度,对应进行一次图像信息采集,并调用预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的视野框各边界的距离,为下一次的调整提供参考,使最终采集的目标设备的图像更为清晰。根据距离调整镜头的拍摄角度,使标注框的左边框与视野框左边界的距离等于标注框的右边框与视野框右边界的距离,标注框的上边框与视野框上边界的距离等于标注框的下边框与视野框下边界的距离。
调整镜头的拍摄焦距,使标注框在视野框内所占面积最大,每调整一次所述镜头的拍摄焦距,对应进行一次图像信息采集,并调用所述预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的所述视野框各边界的距离,根据所述距离调整所述镜头的拍摄焦距,控制镜头逐步拉近焦距,使所述标注框左边框与所述视野框左边界的距离、所述标注框右边框与所述视野框右边界的距离、所述标注框上边框与所述视野框上边界的距离及所述标注框下边框与所述视野框下边界的距离,其中至少一项的值等于零或趋近于零。
在一具体实施例中,以图像信息中只有一个目标设备为例,会出现如图3A和图3B的情况。如图3A所示,目标设备的标注框200完整包含于视野框100中,但目标设备标注框200不位于视野框100中央,视野框100宽为W高为H,标注框200宽为w0高为h0,另外标注框200左边框至视野框100左边界距离为w1,标注框200右边框至视野框100右边界距离为w2,标注框200上边框至视野框100上边界距离为h1,标注框200下边框至视野框100下边界距离为h2,控制镜头逐步按极小角度(如1度)偏转镜头,以图3A为例向左向上调节镜头,每调节一次镜头进行一次拍摄并调用智能识别模型重新进行识别,继而得到新的标注框200各边框与视野框100各边界之间的距离,直至w1和w2近乎相等且h1和h2近乎相等时,表明标注框200此时已近似居于视野框100的中央位置,如图3C所示,停止调整镜头的角度。下面将逐步调整镜头焦距,最大化标注框200在视野框100中所占的区域面积,控制镜头逐步拉近焦距,每调整一次焦距进行一次拍摄并调用智能识别模型重新进行识别,继而得到新的标注框200各边框与视野框100各边界之间的距离,直到w1和w2接近0或者h1和h2接近0,表明标注框200所占视野框100的距离已经最大化,如图3D所示,记录此时的角度和焦距a1和b1。
目标设备的标注框200在视野框100中还可能出现图3B的情形,即目标设备的标注框200只有一部分出现在视野框100中,这种情形下依然可以按照上述方法逐步调整镜头角度和焦距,依然可以保证标注框200居于视野框100的中央且所占区域面积最大化。
在本实施例中,通过预设的变电站设备智能识别模型对图像信息进行分析,根据图像信息中目标设备的位置及信息对镜头的拍摄角度和拍摄焦距进行调整,使目标设备的标注框位于视野框中央并使标注框在视野框内所占面积最大,方便后续对目标设备的细节进行查看分析。每调整一次镜头的拍摄角度和/或拍摄焦距,进行一次图像信息采集,并调用预设的变电站设备智能识别模型对图像信息进行识别,得到调整镜头的拍摄角度和/或拍摄焦距后目标设备在图像信息中的位置,为下一次的调整提供参考,使最终采集的目标设备的图像更为清晰。
实施例2
本发明实施例第二方面提供了一种基于深度学习的变电站设备智能拍摄装置,如图4所示,包括:
图像信息采集模块1,用于控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前镜头的第一拍摄角度和第一拍摄焦距,详细内容参考上述实施例1步骤S1的相关描述。
目标设备识别模块2,用于调用预设的变电站设备智能识别模型对图像信息进行分析,识别图像信息中目标设备的位置及数量,详细内容参考上述实施例1步骤S2的相关描述。
镜头调整模块3,用于根据目标设备的位置及数量调整镜头的角度和/或焦距,记录调整后镜头拍摄的第二拍摄角度和第二拍摄焦距,详细内容参考上述实施例1步骤S3的相关描述。
镜头复原模块4,用于将镜头角度复原为第一拍摄角度,将镜头焦距复原为第一拍摄焦距,详细内容参考上述实施例1步骤S4的相关描述。
本发明提供的基于深度学习的变电站设备智能拍摄装置可控制镜头按一定角度增量沿水平方向转动并自动进行图像采集,调用预设的变电站设备智能识别模型对图像信息进行分析,判断所采集的图像中目标设备的位置及数量,根据分析结果自动调整镜头的拍摄角度和拍摄焦距,此方法及装置的智能化水平较高,免去了人工提前设定巡视目标、拍摄角度和焦距等繁琐操作,当镜头按预设角度增量沿水平方向累计转动一周后,镜头停止对图像的采集。
实施例3
本发明实施例还提供了一种计算机设备,如图5所示,该计算机设备可以包括处理器51和存储器52,其中处理器51和存储器52可以通过总线或者其他方式连接,图5中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit,CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的基于深度学习的变电站设备智能拍摄方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的基于深度学习的变电站设备智能拍摄方法。
存储器52可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器51所创建的数据等。此外,存储器52可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器52可选包括相对于处理器51远程设置的存储器,这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中,当被所述处理器51执行时,执行如图1-图3D所示实施例中的基于深度学习的变电站设备智能拍摄方法。
上述计算机设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
实施例4
本发明第四方面提供一种计算机可读存储介质,该计算机可读存储介质存储计算机指令,本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于深度学习的变电站设备智能拍摄方法,其特征在于,包括:
控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前所述镜头的第一拍摄角度和第一拍摄焦距;
调用预设的变电站设备智能识别模型对所述图像信息进行分析,识别所述图像信息中目标设备的位置及数量;
根据所述目标设备的位置及数量调整所述镜头的角度和/或焦距,记录调整后所述镜头拍摄的第二拍摄角度和第二拍摄焦距;
将所述镜头角度复原为所述第一拍摄角度,将所述镜头焦距复原为所述第一拍摄焦距;
返回所述控制镜头按预设角度增量沿水平方向转动并采集图像信息的步骤,直至所述镜头累计转动一周;
根据所述目标设备的位置及数量调整所述镜头的角度和/或焦距,包括:
当检测到所述图像信息中有且仅有一个所述目标设备时,调整镜头的角度和焦距,使所述目标设备居于所述图像信息的中央且所占区域面积最大化;
使所述目标设备居于所述图像信息的中央且所占区域面积最大化,包括:
逐步按极小角度调整所述镜头的拍摄角度,使所述目标设备的标注框位于视野框中央;
调整所述镜头的拍摄焦距,使所述标注框在所述视野框内所占面积最大。
2.根据权利要求1所述的基于深度学习的变电站设备智能拍摄方法,其特征在于,通过以下步骤训练生成所述预设的变电站设备智能识别模型:
在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据;
使用标注工具对所述训练图像数据进行标注;
根据预设比例从标注好的所述训练图像数据提取训练集及验证集;
将所述训练集分别输入多个神经网络模型进行训练,生成多个初始变电站设备智能识别模型;
将所述验证集分别输入所述多个初始变电站设备智能识别模型进行验证,得到所述多个初始变电站设备智能识别模型的精确度;
将精确度最高的初始变电站设备智能识别模型确定为所述预设的变电站设备智能识别模型。
3.根据权利要求2所述的基于深度学习的变电站设备智能拍摄方法,其特征在于,训练生成所述预设的变电站设备智能识别模型的步骤,还包括:
根据预设比例从标注好的所述训练图像数据提取测试集;
将所述测试集输入所述预设的变电站设备智能识别模型,得到测试结果;
根据所述测试结果判断所述预设的变电站设备智能识别模型的准确性;
如果所述准确性大于或等于预设阈值,则判定所述预设的变电站设备智能识别模型可用;
如果所述准确性小于所述预设阈值,则判定所述预设的变电站设备智能识别模型不可用,返回在不同环境和拍摄方式下,针对每一类目标设备进行图像信息采集,获取各个目标设备的训练图像数据的步骤。
4.根据权利要求1所述的基于深度学习的变电站设备智能拍摄方法,其特征在于,调整所述镜头的拍摄角度,使所述目标设备的标注框位于视野框中央,包括:
每调整一次所述镜头的拍摄角度,对应进行一次图像信息采集,并调用所述预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的所述视野框各边界的距离;
根据所述距离调整所述镜头的拍摄角度,使所述标注框的左边框与所述视野框左边界的距离等于所述标注框的右边框与所述视野框右边界的距离,所述标注框的上边框与所述视野框上边界的距离等于所述标注框的下边框与所述视野框下边界的距离。
5.根据权利要求1所述的基于深度学习的变电站设备智能拍摄方法,其特征在于,调整所述镜头的拍摄焦距,使所述标注框在所述视野框内所占面积最大,包括:
每调整一次所述镜头的拍摄焦距,对应进行一次图像信息采集,并调用所述预设的变电站设备智能识别模型对图像信息进行识别,得到调整后目标设备的标注框的各边框与对应的所述视野框各边界的距离;
根据所述距离调整所述镜头的拍摄焦距,使所述标注框左边框与所述视野框左边界的距离、所述标注框右边框与所述视野框右边界的距离、所述标注框上边框与所述视野框上边界的距离及所述标注框下边框与所述视野框下边界的距离,其中至少一项的值等于零。
6.一种基于深度学习的变电站设备智能拍摄装置,其特征在于,包括:
图像信息采集模块,用于控制镜头按预设角度增量沿水平方向转动并采集图像信息,记录当前所述镜头的第一拍摄角度和第一拍摄焦距;
目标设备识别模块,用于调用预设的变电站设备智能识别模型对所述图像信息进行分析,识别所述图像信息中目标设备的位置及数量;
镜头调整模块,用于根据所述目标设备的位置及数量调整所述镜头的角度和/或焦距,记录调整后所述镜头拍摄的第二拍摄角度和第二拍摄焦距;
镜头复原模块,用于将所述镜头角度复原为所述第一拍摄角度,将所述镜头焦距复原为所述第一拍摄焦距;
根据所述目标设备的位置及数量调整所述镜头的角度和/或焦距,包括:
当检测到所述图像信息中有且仅有一个所述目标设备时,调整镜头的角度和焦距,使所述目标设备居于所述图像信息的中央且所占区域面积最大化;
使所述目标设备居于所述图像信息的中央且所占区域面积最大化,包括:
逐步按极小角度调整所述镜头的拍摄角度,使所述目标设备的标注框位于视野框中央;
调整所述镜头的拍摄焦距,使所述标注框在所述视野框内所占面积最大。
7.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-5中任一项所述的基于深度学习的变电站设备智能拍摄方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求1-5中任一项所述的基于深度学习的变电站设备智能拍摄方法。
CN201910439508.4A 2018-12-27 2019-05-24 基于深度学习的变电站设备智能拍摄方法及装置 Active CN110266938B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018116080112 2018-12-27
CN201811608011 2018-12-27

Publications (2)

Publication Number Publication Date
CN110266938A CN110266938A (zh) 2019-09-20
CN110266938B true CN110266938B (zh) 2021-11-09

Family

ID=67915350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910439508.4A Active CN110266938B (zh) 2018-12-27 2019-05-24 基于深度学习的变电站设备智能拍摄方法及装置

Country Status (1)

Country Link
CN (1) CN110266938B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191623B (zh) * 2020-01-03 2023-09-19 圣点世纪科技股份有限公司 一种指静脉拍摄距离的确定方法
CN111161446B (zh) * 2020-01-10 2021-08-17 浙江大学 一种巡检机器人的图像采集方法
CN112752017B (zh) * 2020-06-23 2022-02-08 长沙中天电子设计开发有限公司 拍照答题器的答题方法、拍照方法、拍照答题器及系统
CN111860206B (zh) * 2020-06-29 2024-01-02 深圳市优必选科技股份有限公司 图像采集方法、装置、存储介质和智能设备
TWI774418B (zh) * 2021-06-11 2022-08-11 大陸商廣州立景創新科技有限公司 相機模組、對焦調整系統及對焦方法
CN113645378B (zh) * 2021-06-21 2022-12-27 福建睿思特科技股份有限公司 一种基于边缘计算的安全管控便携式视频布控终端
CN114245022B (zh) * 2022-02-23 2022-07-12 浙江宇视系统技术有限公司 一种场景自适应拍摄方法、电子设备和存储介质
CN115150559B (zh) * 2022-09-06 2022-11-25 国网天津市电力公司高压分公司 具有采集自调整计算补偿的遥视系统及计算补偿方法
CN115880238B (zh) * 2022-12-01 2023-08-15 华瑞研能科技(深圳)有限公司 一种人工智能画面污迹处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028219A (ja) * 2008-07-15 2010-02-04 Nikon Corp 撮影装置
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN107680195A (zh) * 2017-11-13 2018-02-09 国网内蒙古东部电力有限公司 一种变电站智能机器人巡检辅助分析系统及方法
CN108537912A (zh) * 2018-03-06 2018-09-14 全球能源互联网研究院有限公司 一种基于智能图像识别的电力巡检无人机
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN103391422B (zh) * 2012-05-10 2016-08-10 中国移动通信集团公司 一种视频监控方法及设备
CN103841313A (zh) * 2012-11-27 2014-06-04 华为技术有限公司 云台摄像机控制方法、系统及设备
CN104639908A (zh) * 2015-02-05 2015-05-20 华中科技大学 一种监控球机的控制方法
CN106331639B (zh) * 2016-08-31 2019-08-27 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN108495045B (zh) * 2018-05-17 2020-11-27 Oppo广东移动通信有限公司 图像拍摄方法、装置、电子装置以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028219A (ja) * 2008-07-15 2010-02-04 Nikon Corp 撮影装置
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN107680195A (zh) * 2017-11-13 2018-02-09 国网内蒙古东部电力有限公司 一种变电站智能机器人巡检辅助分析系统及方法
CN108537912A (zh) * 2018-03-06 2018-09-14 全球能源互联网研究院有限公司 一种基于智能图像识别的电力巡检无人机
CN108805196A (zh) * 2018-06-05 2018-11-13 西安交通大学 用于图像识别的自动增量学习方法

Also Published As

Publication number Publication date
CN110266938A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110266938B (zh) 基于深度学习的变电站设备智能拍摄方法及装置
CN110751022B (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN108986164B (zh) 基于图像的位置检测方法、装置、设备及存储介质
CN114792319B (zh) 一种基于变电图像的变电站巡检方法及系统
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN110674712A (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109035299A (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN107977639B (zh) 一种人脸清晰度判断方法
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
CN110648319B (zh) 基于双相机的设备图像采集诊断系统及方法
CN111027343B (zh) 条形码区域定位方法和装置
CN110751675B (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
CN109685062A (zh) 一种目标检测方法、装置、设备及存储介质
CN114227717A (zh) 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN104715250A (zh) 十字激光检测方法和装置
CN112966638A (zh) 基于多种特征的变电站作业人员鉴别及定位方法
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN105043544B (zh) 一种图像光谱跟踪方法及系统
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
CN109101917A (zh) 用于行人重识别的标注方法、训练方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant