CN113726606B - 异常检测方法及装置、电子设备、存储介质 - Google Patents

异常检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN113726606B
CN113726606B CN202111002535.9A CN202111002535A CN113726606B CN 113726606 B CN113726606 B CN 113726606B CN 202111002535 A CN202111002535 A CN 202111002535A CN 113726606 B CN113726606 B CN 113726606B
Authority
CN
China
Prior art keywords
inspection
abnormal
image
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111002535.9A
Other languages
English (en)
Other versions
CN113726606A (zh
Inventor
吴海腾
陆晓敏
张凯丽
玉正英
胡军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenhao Technology Co Ltd
Original Assignee
Hangzhou Shenhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenhao Technology Co Ltd filed Critical Hangzhou Shenhao Technology Co Ltd
Priority to CN202111002535.9A priority Critical patent/CN113726606B/zh
Publication of CN113726606A publication Critical patent/CN113726606A/zh
Application granted granted Critical
Publication of CN113726606B publication Critical patent/CN113726606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种异常检测方法及装置、电子设备、存储介质，该方法应用于巡检机器人，巡检机器人搭载有图像采集装置，该方法包括：获取巡检路径；采集巡检路径中每个巡检点对应的连续多帧目标图像；分别对每一帧目标图像进行异常情况分析，选取多帧目标图像中存在异常的图像作为异常标记图像；输出异常标记图像对应的区域位置信息。本申请通过采集巡检机器人在巡检路径中的每个巡检点对应的连续多帧目标图像，对每一帧目标图像进行异常情况分析，并选取出多帧目标图像中存在异常的图像作为异常标记图像，根据该异常标记图像中输出其在实际场地中的具体区域位置信息，最终将异常信息进行上报，提高了巡检机器人对变电站的异常情况的检测效率。

Description

异常检测方法及装置、电子设备、存储介质
技术领域
本申请涉及变电站巡检技术领域，特别涉及一种异常检测方法及装置、电子设备、计算机可读存储介质。
背景技术
在电力智能巡检应用中，智能巡检机器人替代人工对室外变电站场景进行设备状态的巡检工作。红外测温、可见光图像识别、设备缺陷检测、人员安全风险、异物检测是普遍应用的功能。
但目前，智能巡检机器人进行设备缺陷检测时，受到周围环境、设备状态、机器人自身条件等因素的限制，均降低了机器人的巡检效率。因此，为充分利用机器人的人工替代能力，挖掘机器人的巡检应用价值就一定要提高机器人对缺陷的巡检效率，如何快速进行机器人对设备的缺陷检测是提高巡检效率的关键。
发明内容
本申请实施例的目的在于提供一种异常检测方法，运用该方法可提高巡检机器人对变电站的异常情况的检测效率。
第一方面，本申请提供了一种异常检测方法，所述方法应用于巡检机器人，所述巡检机器人搭载有图像采集装置，所述方法包括：
获取巡检路径；
采集所述巡检路径中每个巡检点对应的连续多帧目标图像；
分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像；
输出所述异常标记图像对应的区域位置信息。
在一实施例中，在所述获取巡检路径之后，所述方法还包括：
响应于异常检测任务指令，根据所述异常检测任务指令中的巡检区域预设信息，确定所述巡检路径包含的巡检点；其中，所述巡检点包括必停点和不停点；
所述巡检机器人按照第一预设速度到达第一个巡检点。
在一实施例中，所述图像采集装置搭载于转动机构之上，所述采集所述巡检路径中每个巡检点对应的连续多帧目标图像，包括：
判断所述巡检点是否为必停点；
若所述巡检点为必停点，在所述巡检机器人到达所述巡检点前，控制所述转动机构恢复到原始状态，不进行扫视；
所述巡检机器人在到达所述巡检点后停下，控制所述图像采集装置在所述必停点采集连续多帧目标图像；
若所述巡检点为不停点，所述巡检机器人以第二预设速度行驶，控制所述图像采集装置在行驶过程中采集连续多帧目标图像。
在一实施例中，所述控制所述图像采集装置在所述必停点采集连续多帧目标图像，包括：
控制所述转动机构在第一预设范围内转动，使所述图像采集装置在所述必停点采集连续多帧目标图像。
在一实施例中，所述控制所述图像采集装置在行驶过程中采集连续多帧目标图像，包括：
控制所述转动机构在第二预设范围内转动，并控制所述转动机构的转动速度与所述第二预设速度相匹配，使所述图像采集装置在行驶过程中采集连续多帧目标图像。
在一实施例中，所述分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像，包括：
判断每一帧目标图像中是否存在异常目标，选取多帧所述目标图像中存在异常目标的图像；
从存在同一异常目标的多帧图像中，选取所述异常目标所在位置距离图像中心位置的距离最小的一帧目标图像，作为异常标记图像。
在一实施例中，所述在所述输出所述异常标记图像对应的区域位置信息之后，所述方法还包括：
根据所述异常标记图像及其对应的区域位置信息，生成一条异常告警信息并上报；
将所述异常标记图像对应的区域位置信息标记在区域位置地图中。
第二方面，本申请提供一种异常检测装置，所述装置应用于巡检机器人，所述巡检机器人搭载有图像采集装置，所述装置包括：
获取模块，用于获取巡检路径；
采集模块，用于采集所述巡检路径中每个巡检点对应的连续多帧目标图像；
选取模块，用于分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像；
输出模块，用于输出所述异常标记图像对应的区域位置信息。
第三方面本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述异常检测方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述异常检测方法。
本申请上述实施例，通过采集巡检机器人在巡检路径中的每个巡检点对应的连续多帧目标图像，对每一帧目标图像进行异常情况分析，并选取出多帧目标图像中存在异常的图像作为异常标记图像，根据该异常标记图像中输出其在实际场地中的具体区域位置信息，最终可将巡检机器人在执行异常检测任务中检测到的异常信息进行上报，运用上述方法可提高巡检机器人对变电站的异常情况的检测效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的电子设备的结构示意图；
图2为本申请一实施例提供的异常检测方法的流程示意图；
图3为图2对应实施例中的步骤S210的细节流程图；
图4为图2对应实施例中的步骤S220的细节流程图；
图5为图2对应实施例中的步骤S230的细节流程图；
图6为图2对应实施例中的步骤S240的细节流程图；
图7为本申请一实施例提供的一种异常检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，其为本申请一实施例提供的电子设备100的结构示意图。该电子设备100包括：一个或多个处理器120、一个或多个存储处理器120可执行指令的存储器104。其中，所述处理器120被配置为执行本申请下述实施例提供的异常检测方法。
所述处理器120可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器120可以运行所述程序指令，以实现下文所述的异常检测方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
在一实施例中，图1所示电子设备100还可以包括输入装置106、输出装置108以及数据采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备100也可以具有其他组件和结构。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置110可以采集对象的图像，并且将所采集的图像存储在所述存储器104中以供其它组件使用。示例性地，该数据采集装置110可以为摄像头。
在一实施例中，用于实现本申请实施例的异常检测方法的示例电子设备100中的各器件可以集成设置，也可以分散设置，诸如将处理器120、存储器104、输入装置106和输出装置108集成设置于一体，而将数据采集装置110分离设置。
在一实施例中，用于实现本申请实施例的异常检测方法的示例电子设备100可以是搭载图像采集装置的巡检机器人。该图像采集装置可以为具有摄像或者拍照功能的相机，图像采集装置可搭载于转动机构之上，使巡检机器人在执行本实施例的异常检测方法过程中能够多方位、多角度进行图像的连续采集。
在一实施例中，该转动机构可以是用于安装、固定相机的云台。
请参照图2，其为本申请一实施例提供的异常检测方法的流程示意图，如图2所示，该方法应用于巡检机器人，包括以下步骤S210-步骤S240。
步骤S210：获取巡检路径。
巡检路径包含多个巡检点，以及巡检点与巡检点之间的连接路径。巡检机器人在巡检点进行目标图像采集的位置可以预先设定，该位置在区域地图上的投射点即为巡检点。
在一实施例中，巡检路径可直接传输到上位机中，巡检机器人可以直接从上位机获取该巡检路径，并依据该巡检路径执行相应的巡检任务。
在一实施例中，巡检机器人也可以获取后台服务器或上位机下发的巡检任务指令。巡检任务指令是指异常检测任务指令，异常检测是指巡检机器人对执行巡检任务时所在的巡检区域内的所有设备存在异常或缺陷进行检测。异常或缺陷检测的内容包括：电气设备或部件表面油污、金属锈蚀、挂空悬浮物、表盘破损、外壳破损、绝缘子裂纹、绝缘子破裂、硅胶筒破损、表面污秽、呼吸器油封油位异常等，以及鸟巢等异物。根据需要，异常检测还可以包括对人员安全进行检测，例如没有带头盔，没有穿安全服等。
该异常检测任务指令可以包含巡检区域预设信息以及现场环境信息。巡检区域预设信息用于指示需要进行巡检的区域，巡检区域预设信息可以为巡检区域的序号、标识、名称、在工作场所的范围等任意一种。
在一实施例中，请参照图3，在步骤S210之后，该方法还包括：步骤S211-步骤S212。
步骤S211：响应于异常检测任务指令，根据所述异常检测任务指令中的巡检区域预设信息，确定所述巡检路径包含的巡检点；其中，所述巡检点包括必停点和不停点。
巡检机器人可以解析出异常检测任务指令中的巡检区域预设信息，并依据巡检区域预设信息在后台数据库中查找位于巡检区域内的多个巡检点。巡检机器人可以依据多个巡检点之间的位置关系进行规划，获得巡检路径。
巡检点包括必停点和不停点。必停点为巡检点的一种属性，当巡检机器人前往任一巡检点的路径中存在部分路段不允许图像采集装置转动时，则该巡检点为必停点。例如，巡检点1和巡检点3之间的路段包含管道，当巡检机器人通过管道时，必须通过调整云台复位，才能避免相机与管道上沿发生碰撞，此时，巡检点3为必停点。不停点是指巡检机器人在前往任一巡检点的过程中，经过该巡检点时无需停下。
巡检路径中可以对必停点进行标记，巡检机器人在任一巡检点采集目标图像后，并前往下一巡检点时，可以在巡检路径中查看下一巡检点是否携带必停点标记，从而确定该巡检点是否为必停点。
依据必停点和不停点之间的位置关系，经过规划的巡检路径可使巡检机器人在高效率地完成巡检任务。
步骤S212：所述巡检机器人按照第一预设速度到达第一个巡检点。
巡检机器人根据规划好的巡检路径，可以按照第一预设速度V1＝0.8m/s到达第一个巡检点。第一个巡检点为巡检机器人执行异常检测任务的起始点。在巡检机器人按照V1＝0.8m/s的速度到达第一个巡检点后，巡检机器人开始执行异常检测任务前的准备工作，例如云台调整为原始状态(即零位)、相机就位选择好连续拍照模式、巡检机器人进入待命状态等。
步骤S220：采集所述巡检路径中每个巡检点对应的连续多帧目标图像。
图像采集装置可以对巡检机器人经过的每个巡检点所对应的巡检对象连续拍摄多帧目标图像，也可以在巡检机器人行驶过程中对巡检对象连续拍摄多帧目标图像。巡检对象是需要接受检测是否存在异常或缺陷的对象。例如，巡检对象可以是工作场所各种电气设备的表盘、绝缘子、部件、硅胶筒等，或者鸟巢等异物，还有工作人员。目标图像是指包含巡检点对应的巡检对象的图像。
在巡检过程中，巡检机器人依据巡检路径，从一个巡检点前往下一个巡检点，在巡检机器人行驶的过程中，巡检机器人可以获取下一巡检点对应的图像采集参数。图像采集参数可以为云台的位姿数据、相机焦距、相机连续拍着时间等参数。巡检机器人本地可以存储每个巡检点对应的图像采集参数，在巡检机器人前往下一个巡检点时，可依据下一巡检点的巡检点标识(例如：巡检点序号)查找对应的图像采集参数。
在获得图像采集参数后，巡检机器人可以对图像采集装置进行调整。巡检机器人可以依据云台位姿数据调整云台，依据相机焦距调整相机，依据相机连续拍照时间参数调整每帧图像的拍摄时间，从而使巡检机器人可以通过经过调整的图像采集装置，采集每个巡检点对应的连续多帧目标图像。
在一实施例中，图像采集装置每次在短时间内连续采集多帧目标图像的连续拍照时间可以预先设置，例如1秒内拍摄10张图像。
在一实施例中，请参照图4，上述步骤S220具体包括：步骤S221-步骤S222。
步骤S221：判断所述巡检点是否为必停点。
如前所述，巡检机器人在巡检路径中执行巡检任务时，根据必停点的属性特征，首先判断将要前往的下一巡检点是否为必停点。
步骤S222：若所述巡检点为必停点，在所述巡检机器人到达所述巡检点前，控制所述转动机构恢复到原始状态，不进行扫视。
以第一个巡检点作为巡检机器人执行异常检测任务的起点，如果下一巡检点为必停点，巡检机器人可仍以V1＝0.8m/s的速度到达该必停点，在巡检机器人到达必停点前，控制转动机构恢复到原始状态(即零位)，不进行扫视。例如，控制云台朝向前方，并降至原始位置，避免云台与周围管道等物体发生碰撞。
步骤S223：所述巡检机器人在到达所述巡检点后停下，控制所述图像采集装置在所述必停点采集连续多帧目标图像。
当巡检机器人到达必停点后停下，并获取该必停点对应的图像采集参数。在必停点对应的图像采集区域内，根据必停点对应的图像采集参数相应的控制云台位姿，使云台调整到最佳位姿，控制相机在必停点连续采集多帧目标图像。其中，云台的最佳位姿是指能够使相机拍摄到的巡检对象全部位于图像视野范围内，图片最为清晰的状态。图像采集区域为必停点周围用于采集目标图像的区域，图像采集区域可以预先设置，例如，将该必停点作为中心，以指定半径范围内的区域作为图像采集区域。
步骤S224：若所述巡检点为不停点，所述巡检机器人以第二预设速度行驶，控制所述图像采集装置在行驶过程中采集连续多帧目标图像。
以第一个巡检点作为巡检机器人执行异常检测任务的起点，如果下一巡检点为不停点，巡检机器人从第一预设速度降至第二预设速度，以第二预设速度V2＝0.5m/s的速度匀速行驶到达不停点，在巡检机器人到达不停点的行驶过程中，巡检机器人可以在行驶过程中直接依据不停点对应的图像采集参数对云台位姿，进行调整，使云台带动相机进行来回扫视。
如果在第一个不停点之后的下一巡检点仍然是不停点时，巡检机器人可以继续以第二预设速度V2＝0.5m/s的速度匀速行驶到达第二个不停点，在巡检机器人匀速行驶的过程中，控制图像采集装置在行驶过程中不间断地采集连续多帧目标图像。
本实施例中，巡检机器人以较高的第一预设速度V1＝0.8m/s，快速到达第一个巡检点，可以减少运动时间，提升巡检机器人的巡检效率。在巡检机器人进入巡检点对应的图像采集区域时，巡检机器人降速至第二预设速度V2＝0.5m/s，保证巡检机器人在低速行驶过程中可以采集到多帧清晰的目标图像。
在一实施例中，从第一个巡检点出发前往接下来的巡检点的巡检路径中，无论巡检机器人是行驶到必停点还是不停点，巡检机器人都始终保持第二预设速度V2＝0.5m/s的速度匀速行驶。在不停点的行驶过程中，巡检机器人无需停下，可减少图像采集时间，提高巡检效率。
在一实施例中，巡检机器人执行步骤S223时，具体包括：
控制所述转动机构在第一预设范围内转动，使所述图像采集装置在所述必停点采集连续多帧目标图像。
第一预设范围是指以云台为中心，旋转360°的范围。当巡检机器人到达必停点后停下，并获取该必停点对应的图像采集参数，在必停点对应的图像采集区域内，控制云台调整到最佳位姿，使云台能够360°旋转，进而带动相机在图像采集区域内对目标图像进行连续采集，实时抓拍。
在一实施例中，巡检机器人执行步骤S224时，具体包括：
控制所述转动机构在第二预设范围内转动，并控制所述转动机构的转动速度与所述第二预设速度相匹配，使所述图像采集装置在行驶过程中采集连续多帧目标图像。
第二预设范围是指以云台零位为中心，在-60°到60°的转动范围。巡检机器人以第二预设速度V2＝0.5m/s在前往不停点的行驶过程中，直接依据不停点对应的图像采集参数对云台位姿，进行调整，使云台在-60°到60°的范围内转动，进而带动固定在云台上的相机在-60°到60°的视野范围内来回扫视，连续采集多帧目标图像。
在云台进行-60°到60°的范围内转动的过程中，控制云台的转动速度与巡检机器人行驶的第二预设速度相匹配，可保证相机视野范围覆盖前方120°以内的所有巡检对象。本实施例中，云台的速度是经过多次调试后的经验值。
步骤S230：分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像。
如前所述，巡检机器人在必停点和不停点均采集了多帧目标图像，对上述每一帧目标图像需要进行异常情况分析，并挑选出上述多帧目标图像中存在异常的图像作为异常标记图像。这里，目标图像中存在异常的图像就是指前文所述的巡检机器人在执行异常检测任务中，拍摄到的多帧目标图像中存在异常的图像内容，例如电气设备或部件表面存在油污、金属锈蚀、挂空悬浮物、表盘破损、外壳破损、绝缘子裂纹、绝缘子破裂、硅胶筒破损、表面污秽、呼吸器油封油位异常等，以及鸟巢等异物，还有人员安全问题，包括未戴安全帽、未穿工装以及吸烟等。
异常情况分析方式可以采用基于机器学习的目标检测方式。例如，将一系列存在异常目标的图像和没有异常目标的图像作为样本进行机器学习，训练得到异常情况分析模型。之后再将一帧实际采集的图像输入到该模型中，即可获得该模型输出的异常目标识别结果。
采用上述异常情况分析方法，选取出多帧目标图像中存在异常的图像作为异常标记图像。
在一实施例中，请参照图5，步骤S230具体包括：步骤S231-步骤S232。
步骤S231：判断每一帧目标图像中是否存在异常目标，选取多帧所述目标图像中存在异常目标的图像。
在连续采集了多帧目标图像中，对多帧目标图像进行逐一检查，首先判断每一帧图像中是否存在异常目标，异常目标即指前述多帧目标图像中存在异常的内容。保留存在异常目标的图像，剔除没有异常目标的图像。
步骤S232：从存在同一异常目标的多帧图像中，选取所述异常目标所在位置距离图像中心位置的距离最小的一帧目标图像，作为异常标记图像。
例如，当巡检机器人在不停点的行驶过程中，巡检对象为电气设备表盘，异常目标是指电气设备表盘有破损，控制云台在-60°到60°的范围内转动，带动相机在-60°到60°的视野范围内来回扫视，连续采集了50帧电气设备表盘的图像。由于巡检机器人和云台都在不断移动，改变位置，电气设备表盘在图像中的位置也会因为巡检机器人拍摄的方位的移动，由图像视野的最边缘慢慢往图像中心移动，再逐渐向图像视野另一边缘移动，直到最终离开图像视野。若第5帧检测到表盘有破损的异常情况，从第5帧开始，一直到电气设备表盘有破损的异常情况离开图像视野，例如第35帧结束。这30帧图像中均存在同一异常目标，即电气表盘有破损。
因此，可从这30帧图像中的第1帧开始，每隔4帧进行一次异常目标检测，将异常目标的图像输入已训练的异常目标检测模型，通过异常目标检测模型对异常目标图像中电气设备表盘破损进行检测，获得该异常目标检测模型输出的检测结果，该检测结果可以指示异常目标图像中是否存在异常或缺陷。但因为异常目标检测模型对异常目标的检测结果具有一定的识别率，识别率并不是非常准确，会存在一定的误差，因此，为了提高对异常目标的检测识别率，在此期间进行异常目标跟踪。采用异常目标检测和异常目标跟踪两种方式结合对异常目标进行检测。
若异常目标跟踪失败，则使用异常目标检测进行补救，可节约计算时间；若连续多帧异常目标跟踪、异常目标检测均失败，则可认为异常目标不在图像视野范围内。两种方式结合，保证这30帧图像中都指示是存在异常目标。最终选取这30帧图像中破损的电气设备表盘所在位置距离图像中心位置的距离最小或最近的一帧图像，作为异常标记图像。因为这一帧图像是最能够清晰表示电气设备表盘破损的图像。
通过连续采集多帧目标图像，利用图像的连续性，同一异常目标在连续多帧图像中出现，对异常目标做跟踪处理，由此记录下异常标记图像。
步骤S240：输出所述异常标记图像对应的区域位置信息。
在获得异常标记图像后，确定此异常标记图像中相应的设备，结合当时巡检机器人所在位置及周围环境信息，确定此异常标记图像中相应的设备在实际工作场地对应的区域位置，并输出该异常标记图像对应的区域位置信息。实际工作场地中的所有电气设备均可预先进行编号，划分好每个设备所在的区域，并存储在后台服务器中。
在一实施例中，请参照图6，在步骤S240之后，该方法还包括：步骤S241-步骤SS242。
步骤S241：根据所述异常标记图像及其对应的区域位置信息，生成一条异常告警信息并上报。
在确定上述异常标记图像中相应的设备在实际工作场地对应的区域位置，并输出该异常标记图像对应的区域位置信息的同时，生成一条异常检测告警信息，并上报给后台服务器，操作人员可根据该异常检测告警信息，获取到该异常标记图像中相应的设备在实际工作场地对应的区域位置，可前往上述地点查看设备破损情况，进行相应的维修操作。
步骤S242：将所述异常标记图像对应的区域位置信息标记在区域位置地图中。
巡检机器人识别到异常标记图像后，将异常标记图像、采集到异常标记图像时的巡检机器人的实际位置坐标(例如：时间、巡检点位、坐标信息等)，以及拍照时间等结合，形成一条巡检记录，异常检测任务结束后形成报表，方便检修人员参考定位异常目标出现的具体位置。
当巡检机器人完成异常检测任务后，将异常标记图像对应的区域位置信息标记在区域位置地图，可作为后续维修、相应工作汇报等的依据，便于统计站内异常信息数量及维护。
请参照图7，其为本申请一实施例提供的一种异常检测装置的结构示意图，该装置应用于巡检机器人，巡检机器人搭载有图像采集装置，该装置包括：获取模块300、采集模块400、选取模块500以及输出模块600。
获取模块300，用于获取巡检路径。
采集模块400，用于采集所述巡检路径中每个巡检点对应的连续多帧目标图像。
选取模块500，用于分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像。
输出模块600，用于输出所述异常标记图像对应的区域位置信息。
上述装置中各个模块的功能和作用的实现过程具体详见上述异常检测方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种异常检测方法，其特征在于，所述方法应用于巡检机器人，所述巡检机器人搭载有图像采集装置，所述方法包括：
获取巡检路径；
响应于异常检测任务指令，根据所述异常检测任务指令中的巡检区域预设信息，确定所述巡检路径包含的巡检点；其中，所述巡检点包括必停点和不停点；
所述巡检机器人按照第一预设速度到达第一个巡检点；
所述图像采集装置搭载于转动机构之上，采集所述巡检路径中每个巡检点对应的连续多帧目标图像，包括：判断所述巡检点是否为必停点；
若所述巡检点为必停点，在所述巡检机器人到达所述巡检点前，控制所述转动机构恢复到原始状态，不进行扫视；
所述巡检机器人在到达所述巡检点后停下，控制所述图像采集装置在所述必停点采集连续多帧目标图像；
若所述巡检点为不停点，所述巡检机器人以第二预设速度行驶，控制所述图像采集装置在行驶过程中采集连续多帧目标图像；
分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像；
输出所述异常标记图像对应的区域位置信息。
2.根据权利要求1所述的方法，其特征在于，所述控制所述图像采集装置在所述必停点采集连续多帧目标图像，包括：
控制所述转动机构在第一预设范围内转动，使所述图像采集装置在所述必停点采集连续多帧目标图像。
3.根据权利要求1所述的方法，其特征在于，所述控制所述图像采集装置在行驶过程中采集连续多帧目标图像，包括：
控制所述转动机构在第二预设范围内转动，并控制所述转动机构的转动速度与所述第二预设速度相匹配，使所述图像采集装置在行驶过程中采集连续多帧目标图像。
4.根据权利要求1所述的方法，其特征在于，所述分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像，包括：
判断每一帧目标图像中是否存在异常目标，选取多帧所述目标图像中存在异常目标的图像；
从存在同一异常目标的多帧图像中，选取所述异常目标所在位置距离图像中心位置的距离最小的一帧目标图像，作为异常标记图像。
5.根据权利要求1所述的方法，其特征在于，在所述输出所述异常标记图像对应的区域位置信息之后，所述方法还包括：
根据所述异常标记图像及其对应的区域位置信息，生成一条异常告警信息并上报；
将所述异常标记图像对应的区域位置信息标记在区域位置地图中。
6.一种异常检测装置，其特征在于，所述装置应用于巡检机器人，所述巡检机器人搭载有图像采集装置，所述装置包括：
获取模块，用于获取巡检路径，响应于异常检测任务指令，根据所述异常检测任务指令中的巡检区域预设信息，确定所述巡检路径包含的巡检点；其中，所述巡检点包括必停点和不停点；
所述巡检机器人按照第一预设速度到达第一个巡检点；
采集模块，所述图像采集装置搭载于转动机构之上，用于采集所述巡检路径中每个巡检点对应的连续多帧目标图像，包括：判断所述巡检点是否为必停点；
若所述巡检点为必停点，在所述巡检机器人到达所述巡检点前，控制所述转动机构恢复到原始状态，不进行扫视；
所述巡检机器人在到达所述巡检点后停下，控制所述图像采集装置在所述必停点采集连续多帧目标图像；
若所述巡检点为不停点，所述巡检机器人以第二预设速度行驶，控制所述图像采集装置在行驶过程中采集连续多帧目标图像；
选取模块，用于分别对每一帧所述目标图像进行异常情况分析，选取多帧所述目标图像中存在异常的图像作为异常标记图像；
输出模块，用于输出所述异常标记图像对应的区域位置信息。
7.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任意一项所述的异常检测方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-5任意一项所述的异常检测方法。
CN202111002535.9A 2021-08-30 2021-08-30 异常检测方法及装置、电子设备、存储介质 Active CN113726606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111002535.9A CN113726606B (zh) 2021-08-30 2021-08-30 异常检测方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111002535.9A CN113726606B (zh) 2021-08-30 2021-08-30 异常检测方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN113726606A CN113726606A (zh) 2021-11-30
CN113726606B true CN113726606B (zh) 2022-12-27

Family

ID=78679003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002535.9A Active CN113726606B (zh) 2021-08-30 2021-08-30 异常检测方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN113726606B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422704A (zh) * 2022-01-27 2022-04-29 深圳市商汤科技有限公司 电子设备的控制方法、装置、设备及介质
CN116912749B (zh) * 2023-09-13 2024-01-05 杭州义益钛迪信息技术有限公司 告警事件处理方法、装置、设备及存储介质
CN117781897B (zh) * 2024-02-28 2024-05-07 常州市伟通机电制造有限公司 基于图像采集的带材宽度巡检系统与巡检方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240290B (zh) * 2018-09-04 2021-09-03 南京理工大学 一种电力巡检机器人返航路径确定方法
CN111415432A (zh) * 2020-03-20 2020-07-14 四川华能宝兴河水电有限责任公司 一种用于水电站的智能巡检方法
CN111958594B (zh) * 2020-07-30 2022-03-18 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人系统及方法
CN111958591B (zh) * 2020-07-30 2021-10-29 国网智能科技股份有限公司 一种语义智能变电站巡检机器人自主巡检方法及系统

Also Published As

Publication number Publication date
CN113726606A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113726606B (zh) 异常检测方法及装置、电子设备、存储介质
CN111476921B (zh) 一种机房智能巡检系统
CN112115927B (zh) 一种基于深度学习的机房设备智能识别方法及系统
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
CN105574683A (zh) 一种全方位变电站巡检系统及方法
CN113452912B (zh) 巡视机器人的云台摄像机的控制方法、装置、设备及介质
CN112235537A (zh) 一种变电站现场作业安全预警方法
EP4195142A1 (en) System for detecting the defects of the wooden boards and their classification into quality classes
CN113569914A (zh) 一种融合点云数据的输电线路巡检方法及系统
KR100993205B1 (ko) 재난발생 감지 시스템 및 방법
CN116428984A (zh) 一种五金模具冲压加工智能检测系统
JP2019079303A (ja) 道路設備点検システムおよび道路設備点検方法、ならびにそれに使用されるサーバ
CN115752462A (zh) 楼宇内重点巡检目标巡检方法、系统、电子设备和介质
JPH0765152A (ja) 監視装置および監視方法
CN115620192A (zh) 一种高空作业安全绳穿戴检测的方法和装置
CN113900436B (zh) 巡检控制方法、装置、设备和存储介质
CN108827973B (zh) 裂纹检测方法和系统
Liu et al. An approach for auto bridge inspection based on climbing robot
KR20230013206A (ko) 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
KR101542134B1 (ko) 스마트 카메라모듈을 통한 열차선로 상의 낙석·사람으로 이루어진 관심 객체 실시간 감시 장치 및 방법
CN115953405A (zh) 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN111599030A (zh) 一种基于机房的机器人巡检方法及系统
CN116311034A (zh) 一种基于对比检测的机器人巡检系统
KR20240064037A (ko) 피로 테스트를 통해 물체의 표면 결함 및 브레이크 디스크의 크랙을 인공 지능에 의해 식별 및 특성화하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant