CN111695622A - 变电作业场景的标识模型训练方法、标识方法及装置 - Google Patents

变电作业场景的标识模型训练方法、标识方法及装置 Download PDF

Info

Publication number
CN111695622A
CN111695622A CN202010518643.0A CN202010518643A CN111695622A CN 111695622 A CN111695622 A CN 111695622A CN 202010518643 A CN202010518643 A CN 202010518643A CN 111695622 A CN111695622 A CN 111695622A
Authority
CN
China
Prior art keywords
scene
training
key frame
information
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010518643.0A
Other languages
English (en)
Other versions
CN111695622B (zh
Inventor
于海
彭林
钱堃
李凯
徐敏
王刚
鲍兴川
侯战胜
王鹤
刘睿
朱亮
韩海韵
何志敏
刘伟
孙蓉
邵剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Southeast University
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Southeast University
Global Energy Interconnection Research Institute
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Southeast University, Global Energy Interconnection Research Institute, Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010518643.0A priority Critical patent/CN111695622B/zh
Publication of CN111695622A publication Critical patent/CN111695622A/zh
Priority to PCT/CN2021/110085 priority patent/WO2021249575A1/zh
Application granted granted Critical
Publication of CN111695622B publication Critical patent/CN111695622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种变电作业场景的标识模型训练方法、标识方法及装置，其中，变电作业场景的标识方法包括：采集待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息；对关键帧图像进行图像分类，确定各子区域的关键帧图像的场景信息；根据物体信息及场景信息确定待测区域的物体特征、场景特征及历史场景特征；根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。通过实施本发明，避免了因单一信息来源而导致场景误分类，提高了场景识别的准确性。

Description

变电作业场景的标识模型训练方法、标识方法及装置
技术领域
本发明涉及电力技术领域，具体涉及一种变电作业场景的标识模型训练方法、标识方法及装置。
背景技术
在变电站作业环境中，越来越复杂的变电设备和相互之间的逻辑关系、以及各种特定功能的区域，增加了作业人员的认知负担。现有技术中通常利用视觉SLAM技术对电力作业环境进行扫描建模，得到整个环境空间的稠密地图或稀疏地图，然而其包含的粗略信息并不足以帮助作业人员判断环境区域和掌控任务情势。尽管通过电力巡检机器人可以进行环境区域识别，但是电力巡检机器人仅能进行环境区域识别而不能对环境区域进行理解，导致电力巡检机器人仍主要扮演环境监测数据采集的角色，不具备根据任务和环境区域进行自主推理规划的能力，对于复杂变电作业环境则无法进行准确的场景识别。
发明内容
本发明的主要目的在于提供一种变电作业场景的标识模型训练方法、标识方法及装置，以解决现有技术中复杂变电作业环境下场景识别的准确性不佳的问题。
根据第一方面，本发明实施例提供了一种变电作业场景的标识模型训练方法，包括以下步骤：采集目标区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取训练关键帧图像，并根据所述训练关键帧图像进行目标检测，获取所述训练关键帧图像的训练物体信息；对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息；根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征；根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。
结合第一方面，在第一方面的第一实施方式中，所述根据所述训练关键帧图像进行目标检测，获取所述目标区域中的所述训练关键帧图像的训练物体信息，包括：获取所述训练关键帧图像中与所述目标区域对应的训练物体，确定所述训练物体的物体数据，生成物体数据文件；根据所述物体数据文件对第二神经网络模型进行训练，得到目标检测模型；调用所述目标检测模型对所述训练关键帧图像中的所述训练物体进行识别，得到与所述训练物体对应的所述训练物体信息。
结合第一方面第一实施方式，在第一方面的第二实施方式中，所述对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息，包括：获取所述训练关键帧图像中与所述目标区域对应的第一场景数据，对所述第一场景数据进行训练，获取训练后的第二场景数据；根据所述第二场景数据，对所述训练关键帧图像进行图像分类，得到与各所述子区域的所述训练关键帧图像对应的训练场景信息。
结合第一方面，在第一方面的第三实施方式中，所述根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征，包括：以所述训练关键帧图像作为节点，建立场景区域识别模型，所述场景区域识别模型包括多个节点；根据所述训练物体信息确定各节点对应的所述目标区域的物体特征；根据所述训练场景信息确定各节点对应的所述目标区域的场景特征；根据当前节点对应的所述目标区域的场景特征以及前一节点对应的所述目标区域的场景特征确定所述目标区域的历史场景特征。
结合第一方面，在第一方面的第四实施方式中，所述根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型，包括：根据所述场景区域识别模型的各节点的所述物体特征、所述场景特征及所述历史场景特征确定与所述场景区域识别模型的各所述节点对应的能量函数；根据所述各所述节点对应的能量函数，确定所述场景区域识别模型对应的总能量函数；根据所述总能量函数，确定所述场景区域识别模型对应的目标函数；以所述各所述节点的所述物体特征、所述场景特征及所述历史场景特征作为输入样本，以所述目标函数作为输出，对所述第一神经网络模型进行训练，生成所述场景标识模型。
根据第二方面，本发明实施例提供了一种变电作业场景的标识方法，包括：采集待测区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取关键帧图像，并根据所述关键帧图像进行目标检测，获取所述关键帧图像的物体信息；对所述关键帧图像进行图像分类，确定各所述子区域的所述关键帧图像的场景信息；根据所述物体信息及场景信息确定所述待测区域的物体特征、场景特征及历史场景特征；根据所述物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。
结合第二方面，在第二方面的第一实施方式中，还包括：根据各所述子区域的所述关键帧图像的目标场景信息，生成语义地图；获取所述关键帧图像的深度图像信息，根据所述关键帧图像对应的物体信息以及所述关键帧图像的深度图像信息，在所述语义地图中标识目标物体。
结合第二方面第一实施方式，在第二方面的第二实施方式中，所述根据各所述子区域的所述关键帧图像的目标场景信息，生成语义地图，获取所述关键帧图像的深度图像信息，包括：根据各所述子区域的所述关键帧图像的目标场景信息，确定各所述子区域对应的RGB数值；根据各所述子区域对应的RGB数值，生成语义地图。
结合第二方面第二实施方式，在第二方面的第三实施方式中，所述根据各所述子区域的所述关键帧图像的目标场景信息，确定各所述子区域对应的RGB数值的计算公式为：
Figure BDA0002531081620000041
其中，i表示当前子区域的关键帧图像的目标场景信息。
结合第二方面第二实施方式，在第二方面的第四实施方式中，所述根据所述关键帧图像对应的物体信息以及所述关键帧图像的深度图像信息，在所述语义地图中标识目标物体，包括：获取所述关键帧图像对应的物体信息；根据所述物体信息与所述深度图像信息，确定所述目标物体的空间位置；根据所述空间位置在所述语义地图中确定所述目标区域中不同子区域的所述目标物体。
根据第三方面，本发明实施例提供了一种变电作业场景的标识模型训练装置，包括：第一采集模块，用于采集目标区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取训练关键帧图像，并根据所述训练关键帧图像进行目标检测，获取所述训练关键帧图像的训练物体信息；分类模块，用于对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息；特征提取模块，用于根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征；模型生成模块，用于根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。
根据第四方面，本发明实施例提供了一种变电作业场景的标识装置，包括：物体信息获取模块，用于采集待测区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取关键帧图像，并根据所述关键帧图像进行目标检测，获取所述关键帧图像的物体信息；场景信息获取模块，用于对所述关键帧图像进行图像分类，确定各所述子区域的所述关键帧图像的场景信息；特征确定模块，用于根据所述物体信息及场景信息确定所述待测区域的物体特征、场景特征及历史场景特征；生成模块，用于根据所述物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。
根据第五方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式中所述的变电作业场景的标识模型训练方法或执行第二方面或第二方面任一实施方式中所述的变电作业场景的标识方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面任一实施方式中所述的变电作业场景的标识模型训练方法或执行第二方面或第二方面任一实施方式中所述的变电作业场景的标识方法。
本发明技术方案，具有如下优点：
1.本发明提供的变电作业场景的标识模型训练方法及装置，针对复杂的变电作业环境，通过采集复杂的变电作业场景中不同子区域中的连续图像，建立图像数据集，从该图像数据集中提取用于训练标识模型的训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息，对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息，根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征；根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。基于目标区域的各子区域的训练关键帧图像的训练物体信息和训练场景信息结合神经网络模型确定场景标识模型，避免出现场景误分类的情况，提高了场景识别的准确性。
2.本发明提供的变电作业场景的标识方法及装置，通过采集变电作业环境中待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息，对关键帧图像进行图像分类，确定各子区域的关键帧图像对应的场景信息，根据关键帧图像对应的物体信息及场景信息确定变电作业场景中待测区域的物体特征、场景特征及历史场景特征，再根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。根据待测区域中的关键帧图像对应的物体信息和场景信息结合场景标识模型确定目标场景信息，避免了因单一信息来源而导致场景误分类，提高了场景识别的准确性。
3.本发明提供的变电作业场景的标识方法及装置，根据关键帧图像对应的目标场景信息，建立语义地图，根据变电作业场景中关键帧图像对应的物体信息、场景信息和深度图像信息，标注出目标物体在语义地图中的场景信息和位置信息，实现了对变电作业环境区域的抽象语义表达，提高了该标识方法的应用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中变电作业场景的标识模型训练方法的流程图；
图2为本发明实施例中关键帧的共视结构示意图；
图3为本发明实施例中CRF场景区域识别模型的结构示意图；
图4为本发明实施例中变电作业场景的标识方法的流程图；
图5为本发明实施例中变电作业场景的标识方法的流程图；
图6为本发明实施例中变电作业场景的标识模型训练装置的原理框图；
图7为本发明实施例中变电作业场景的标识装置的原理框图；
图8为本发明实施例中计算机设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种变电作业场景的标识模型训练方法，可应用于复杂的变电作业环境以进行场景识别，如图1所示，该方法包括如下步骤：
S11，采集目标区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息。
示例性地，目标区域可以为变电作业环境中的任一待测区域，任一待测区域可以对应包含多个子区域，目标区域中不同子区域的连续图像可以采用RGB-D传感器获取，将获取的目标区域的连续图像组合成图像数据集。基于视觉即时定位与地图构建(simultaneous localization and mapping，SLAM)技术从图像数据集中提取训练关键帧图像，对训练关键帧图像中的物体进行识别，获取训练关键帧图像的训练物体信息。
S12，对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息。
示例性地，根据变电作业环境选取的区域不同，对应得到的训练关键帧图像不同，对得到的训练关键帧图像进行图像分类。基于选取的区域不同可以为不同区域设定场景类别标签，其不同区域对应的场景类别标签可以使用数字表示，其场景类别标签集合可以表示为Ks＝{0,1,2,...,L-1}，其中，L为场景类别总数。根据训练关键帧图像的图像分类结果，进而确定各子区域的训练关键帧图像的训练场景信息。
S13，根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征。
示例性地，根据生成的目标检测模型对变电作业环境中获取的训练关键帧图像进行实时物体检测，获取目标区域的物体特征；根据训练得到的与各子区域的训练关键帧图像对应的训练场景信息中提取目标区域的场景特征；以当前训练关键帧图像对应的场景特征与前一训练关键帧图像对应的场景特征作差，得到历史场景特征。
S14，根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。
示例性地，第一神经网络模型为场景区域识别模型，通过构建的场景区域识别模型可以得到对应各节点的物体特征、场景特征及历史场景特征的输入特征向量，以每个训练关键帧图像的输入特征向量作为输入样本，场景类别标签值作为输出样本对场景区域识别模型进行训练，生成场景标识模型。
本实施例提供的变电作业场景的标识模型训练方法，针对复杂的变电作业环境，通过采集复杂的变电作业场景中不同子区域中的连续图像，建立图像数据集，从该图像数据集中提取用于训练标识模型的训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息，对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息，根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征；根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。基于目标区域的各子区域的训练关键帧图像的训练物体信息和训练场景信息结合神经网络模型确定场景标识模型，避免出现场景误分类的情况，提高了场景识别的准确性。
作为本申请一个可选的实施方式，步骤S11中根据训练关键帧图像进行目标检测，获取目标区域中的训练关键帧图像的训练物体信息，包括：
步骤1，获取训练关键帧图像中与目标区域对应的训练物体，确定训练物体的物体数据，生成物体数据文件。
示例性地，从训练关键帧图像中提取与变电作业环境中目标区域对应的训练物体，比如一次设备、二次设备，确定物体类别标签及其对应的类别数字集合Ko＝{0,1,2,...,N-1}，其中，N为物体标签总数。利用图片标注工具框对图片中的物体进行标注并赋予相应物体标签，生成物体数据文件。
步骤2，根据物体数据文件对第二神经网络模型进行训练，得到目标检测模型。
示例性地，将生成的物体数据文件用来训练第二神经网络模型，确定目标检测模型。第二神经网络模型可以根据训练样本确定，本领域技术人员可以根据实际需要确定。若训练样本较少，可以利用公共对象(Common Objects in Context，COCO)数据集上预训练的yolo3权重，针对具体变电作业环境下所采集到的连续图像及采用图片标注工具框标注的物体数据，在yolo3-coco权重的基础上进行微调，最终得到目标检测模型。
步骤3，调用目标检测模型对训练关键帧图像中的训练物体进行识别，得到与训练物体对应的训练物体信息。
示例性地，训练物体信息为训练关键帧图像中的训练物体所对应的物体置信度向量。基于视觉SLAM技术生成的训练关键帧图像，调用上述生成的目标检测模型识别训练关键帧图像中的物体，输出每个训练关键帧图像中所包含的各个训练物体的物体类别及其置信度，组成一个N维物体置信度向量。设第n个类别物体的置信度为on，其中n∈Ko，则第i个训练关键帧图像的物体置信度向量为vobj_i＝(o0,o1,...,oN-1)，未检测到的训练物体对应的物体置信度为0。
作为本申请一个可选的实施方式，上述步骤S12，可以包括：
步骤1，获取训练关键帧图像中与目标区域对应的第一场景数据，对第一场景数据进行训练，获取训练后的第二场景数据。
示例性地，第一场景数据为对应目标区域获取的训练关键帧图像的场景类别标签集合，第二场景数据为训练关键帧图像对应的各子区域的场景类别标签的置信度向量。根据第一场景数据的样本数量选取神经网络模型进行训练，在进行训练时需要将第一场景数据转换成对应所选取神经网络模型相应的数据格式，若第一场景数量的训练数据量较少，则可以采用场景预训练模型place205的场景数据集上预训练的模型权重进行微调，获取微调后的场景预训练模型，直接对目标区域中训练关键帧图像进行图片分类，得到训练关键帧图像对应的各子区域的场景类别标签的置信度向量，即得到第二场景数据。其中，第i个训练关键帧图像对应的各子区域的场景类别标签的置信度向量表示为vscene_i＝(s0,s1,...,sL-1)，第l个场景的场景类别标签的置信度为sl，其中，l∈Ks。
步骤2，根据第二场景数据，对训练关键帧图像进行图像分类，得到与各子区域的训练关键帧图像对应的训练场景信息。
示例性地，训练场景信息为训练关键帧图像对应的各子区域的场景类别标签的置信度向量，基于视觉SLAM生成的训练关键帧图像之间的共视关系可以调整训练关键帧图像对应的各子区域的场景类别标签的置信度结果，共视关系即两个或多个训练关键帧图像观测到了同样的3D地图点，如图2所示。将训练关键帧图像i与训练关键帧图像j的共视程度表示为
Figure BDA0002531081620000121
其中counti,j为训练关键帧图像i和训练关键帧图像j共有的3D点数量，countj为训练关键帧图像j所有的3D点数量，利用与训练关键帧图像i共视的所有训练关键帧图像集合更新训练关键帧图像对应的各子区域的场景类别标签的置信度向量，并将更新的训练关键帧图像对应的各子区域的场景类别标签的置信度向量表示为：
Figure BDA0002531081620000131
在获取目标区域的物体特征、场景特征及历史场景特征之前，需要建立场景区域识别模型，作为本申请一个可选的实施方式，上述步骤S13，包括：
步骤1，以训练关键帧图像作为节点，建立场景区域识别模型，场景区域识别模型包括多个节点。
示例性地，以训练关键帧图像作为节点，每个节点只受到前一个节点的影响，且每个节点的观测节点为相应的物体信息和场景信息的集合。由于目标区域对应多个训练关键帧图像，因此，生成的场景区域识别模型包括多个节点。将节点表示为场景类别随机变量V，节点之间的边代表各节点之间的相互关系。假设场景类别标签集合Ks＝{0,1,2,...,L-1}，L为场景类别总数，则可以将场景类别随机变量赋予标签定义：
Figure BDA0002531081620000132
其中，xi表示为任意两个节点之间的依赖关系。
构造包含一节点及其前一个节点的条件随机场(conditional random field,CRF)的场景区域识别模型，如图3所示。图中O1、O2、O3代表在第i-1帧训练关键帧图像(第i-1个节点)中观测到的训练物体，i为正整数，O1、O2、O4代表在第i帧训练关键帧图像(第i个节点)中观测到的训练物体，则第i个节点的能量函数Ei(x,y)等于该节点的物体能量
Figure BDA0002531081620000133
场景能量
Figure BDA0002531081620000134
和历史环境能量
Figure BDA0002531081620000135
场景能量用来反映通过卷积神经网络(Convolutional NeuralNetworks，CNNs)直接对训练关键帧图像进行场景分类得到的全局特征，物体能量用来表示此训练关键帧图像节点中检测物体得到的局部特征，历史环境能量表征了前一帧训练关键帧图像节点对当前训练关键帧图像节点的影响，反映了场景类别标签的时空连续性。最终所有节点的总能量E(x,y)见下式，其中V是待标记的节点数目。
Figure BDA0002531081620000141
需要说明的是，条件随机场CRF是概率图模型的一种，用图G＝(V,E)的形式表示元素之间的关系，V代表该图的所有顶点集，每个顶点表示一个随机变量，E代表图中所有边的集合，每条边表示两个随机变量之间的一种依赖关系。利用CRF可以将对未知变量的估计或推测问题转换为概率分布的计算问题，即构建出CRF场景区域识别模型后，可以求解出在当前的观测条件x下，属于每一个场景类别y的概率，使得该条件概率最大的区域类别即为当前最可能的区域类别。此过程的概率求解公式如下：
Figure BDA0002531081620000142
其中，P(y|x)是观察值x和真实标签y的联合分布，P(x)是观察值x的概率，为定值。因此使得该条件概率最大时的标签估计
Figure BDA0002531081620000143
等于联合分布概率最大值时对应的标签估计
Figure BDA0002531081620000144
即：
Figure BDA0002531081620000145
条件随机场CRF具有马尔科夫性质，即假设有一个随机变量序列X＝{x1,x2,...,xn}，则每个状态只依赖于它之前的状态：
P(xi|x1,x2,...,xn)＝P(xi|xi-1)
对于任意两个节点之间有边连接的图的部分被称为团，CRF使用势函数和团来定义条件概率，假设整个CRF的分布含有k个团，每个团记为x{k}，{k}代表该团所含有的节点结合，Φk(x{k})表示该团的势函数，则该CRF可写为所有团的势函数的乘积式：
Figure BDA0002531081620000151
其中Z为归一化常数，
Figure BDA0002531081620000152
为了满足非负性，将Φk(x{k})写为对数线性模型：
Φk(x{k})＝exp(-wkφk(x{k}))
为了便于分离变量和求解，将条件概率分布写为能量函数的形式：
Figure BDA0002531081620000153
其中φ表示该团映射到实数的势函数，w代表权值，E(x)表示关于随机变量的能量函数。能量函数通常写成一元变量和二元变量的形式：
Figure BDA0002531081620000154
则条件概率最大时的标签估计
Figure BDA0002531081620000155
即为使得能量函数最小的随机变量X＝{x1,x2,...,xn}的标签集。
步骤2，根据训练物体信息确定各节点对应的目标区域的物体特征。
示例性地，根据上述步骤中生成的目标检测模型对训练关键帧图像中的训练物体进行实时检测，进而可以获取到目标区域中第i个训练关键帧图像检测到的所有物体信息vobj_i＝(o0,o1,...,oN-1)，确定目标区域的物体特征φo。以φo(i)表示为第i个节点观测到的物体类别，其置信度φo(i)＝vobj_i，未观测到的物体置信度为0，从而得到维度为N的物体特征数据，N是物体标签总数。
步骤3，根据训练场景信息确定各节点对应的目标区域的场景特征。
示例性地，利用选取神经网络模型对第一场景数据进行训练以进行场景区域分类，进而可以得到训练后的第二场景数据v'scene_i＝(s'0,s′1,...,s'L-1)，结合训练关键帧图像之间的共视关系对场景区域分类结果进行初步改进，得到目标区域的场景特征φs。以φs(i)表示为对第i个节点对应场景类别，其置信度φs(i)＝v'scene_i，从而得到维度为L的场景特征数据，L是场景标签总数。
步骤4，根据当前节点对应的目标区域的场景特征以及前一节点对应的目标区域的场景特征确定目标区域的历史场景特征。
示例性地，通过场景区域识别模型确定各节点的场景特征，选择当前节点的场景特征φs(i)减去前一个节点的场景特征φs(i-1)，作为当前节点的历史环境特征φt(i)，第0个节点的历史环境特征等于其场景特征φt(0)。
通过将场景区域识别模型中前一帧训练关键帧图像中包含的场景特征数据融入当前帧的训练关键帧图像中进行场景类别判断，可以有效提高场景区域识别的准确性。
作为本申请一个可选的实施方式，上述步骤S14，包括：
步骤1，根据场景区域识别模型的各节点的物体特征、场景特征及历史场景特征确定与场景区域识别模型的各节点对应的能量函数。
示例性地，根据场景区域识别模型的各节点的物体特征、场景特征及历史场景特征确定各节点对应的物体特征向量、场景特征向量和历史场景特征向量，根据节点对应的物体特征向量、场景特征向量和历史场景特征向量可以确定与场景区域识别模型的各节点对应的能量函数，该能量函数可以表达为带有权值参数的特征线性组合的形式：
Figure BDA0002531081620000171
Figure BDA0002531081620000172
Figure BDA0002531081620000173
其中，Eo表示物体特征能量函数，Es表示场景特征能量函数，Et表示历史场景特征能量函数；i表示第i个节点，V标识为待标签的节点数。Ko＝{0,1,2,...,N-1}表示物体类别标签集合，N为物体标签总数，Ks＝{0,1,2,...,L-1}表示场景类别标签集合，L为场景标签总数。φ表示将团映射到实数的势函数，即确定的与场景区域识别模型的各节点对应的物体特征、场景特征及历史场景特征，φo表示物体特征、φs表示场景特征、φt表示历史环境特征；w是权值向量。
Figure BDA0002531081620000177
是一个二进制变量，其定义为：
Figure BDA0002531081620000174
步骤2，根据各节点对应的能量函数，确定场景区域识别模型对应的总能量函数。
示例性地，根据各节点对应的能量函数，确定总能量函数。总能量函数可以表达为：
Figure BDA0002531081620000175
其中，E(x,y)为总能量。
步骤3，根据总能量函数，确定场景区域识别模型对应的目标函数。
示例性地，根据各节点建立的总能量函数，可以确定场景区域识别模型对应的目标函数为：
Figure BDA0002531081620000176
其中y为场景类别标签集合，
Figure BDA0002531081620000181
为能量函数最大时对应的场景类别标签取值。
步骤4，以各节点的物体特征、场景特征及历史场景特征作为输入样本，以目标函数作为输出，对第一神经网络模型进行训练，生成场景标识模型。
示例性地，根据构造的CRF场景区域识别模型确定能量函数以及目标函数之后，就可以利用结构支持向量机(Structural SVM)训练CRF场景区域识别模型，并获取场景区域识别模型的参数，训练场景区域识别模型时输入特征向量x＝(φo(i),φs(i),φt(i))T，该特征向量可以表示为各部分特征向量的集合，训练场景区域识别模型时将每个训练关键帧图像对应的特征向量x作为一个输入样本，其真实的场景类别标签作为输出样本，采用Structural SVM训练CRF场景区域识别模型，生成场景标识模型，并获得场景标识模型对应的所有参数权重。
在视觉SLAM的框架下，在建立CRF场景标识模型中融合物体信息和场景信息，在实现场景区域识别的基础上进一步提高了场景区域识别和物体识别的准确性。
实施例2
本实施例提供一种变电作业场景的标识方法，应用于复杂的变电作业环境的场景识别，用于车载或头戴RGB-D传感器的巡检机器人或巡检作业人员，在电力作业环境中对不同场景进行区域类别识别和对各种变电设备类别进行识别，以在创建的环境3D地图中标注出区域和设备类别的语义信息，如图4所示，该方法包括如下步骤：
S21，采集待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息。
示例性地，待测区域为变电作业环境中的需要检测的区域，对于关键帧图像的物体信息的获取方式与上述实施例的步骤S11的获取方式一致，详细内容请参见上述实施例中与步骤S11相关的描述，在此不再赘述。
S22，对关键帧图像进行图像分类，确定各子区域的关键帧图像的场景信息。详细内容请参见上述实施例中与步骤S12相关的描述，在此不再赘述。
S23，根据物体信息及场景信息确定待测区域的物体特征、场景特征及历史场景特征。详细内容请参见上述实施例中与步骤S13相关的描述，在此不再赘述。
S24，根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。预设的场景标识模型根据上述实施例步骤S11～S14训练得到，将获取的物体特征、场景特征及历史场景特征输入至预设的场景标识模型，输出目标场景信息。
本实施例提供的变电作业场景的标识方法，通过采集变电作业环境中待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息，对关键帧图像进行图像分类，确定各子区域的关键帧图像对应的场景信息，根据关键帧图像对应的物体信息及场景信息确定变电作业场景中待测区域的物体特征、场景特征及历史场景特征，再根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。根据待测区域中的关键帧图像对应的物体信息和场景信息结合场景标识模型确定目标场景信息，避免了因单一信息来源而导致场景误分类，提高了场景识别的准确性。
作为本申请一个可选的实施方式，如图5所示，该变电作业场景的标识方法还包括：
S25，根据各子区域的关键帧图像的目标场景信息，生成语义地图。
示例性地，通过场景标识模型获取到关键帧图像的目标场景信息后，对该目标场景信息赋予不同的RGB数值，根据不同颜色的关键帧图像生成语义地图。
具体的，步骤S25，包括：
步骤1，根据各子区域的关键帧图像的目标场景信息，确定各子区域对应的RGB数值。
示例性地，设当前某子区域的关键帧图像的目标场景信息对应的场景类别标签为i，则该子区域对应的RGB数值计算方法如下：
Figure BDA0002531081620000201
其中，i表示当前子区域的关键帧图像的目标场景信息对应的场景类别标签。
步骤2，根据各子区域对应的RGB数值，生成语义地图。
示例性地，通过上述RGB数值计算方法可以完成27种场景类别标签的颜色分配。结合视觉SLAM方法生成的包含关键帧图像和地图点的稀疏地图上，对不同场景的关键帧图像和地图点渲染不同的颜色。由于地图点通常可以被多个关键帧检测到，由此可以利用关键帧图像的场景信息进一步决定地图点的语义标签。根据关键帧图像的场景类别标签的置信度向量v'scene_i＝(s'0,s′1,...,s'L-1)，可以确定地图点p的置信度向量vp为：
Figure BDA0002531081620000211
其中P为观察到地图点p的关键帧图像集合，n为该集合中关键帧图像总数，求得max{vp}所对于的标签即为该地图点的最终语义标签，根据最终确定的语义标签确定生成的语义地图。
S26，获取关键帧图像的深度图像信息，根据关键帧图像对应的物体信息以及关键帧图像的深度图像信息，在语义地图中标识目标物体。
示例性地，根据获取的关键帧图像，提取关键帧图像对应的深度图像信息，通过目标检测模型可以获取对应关键帧图像的物体信息，根据获取的物体信息和深度图像信息之间的对应关系，可以在语义地图中对目标物体进行标识。并结合关键帧对应的深度信息和物体信息在语义地图中标识出各个物体。
根据关键帧图像对应的目标场景信息，建立语义地图，根据变电作业场景中关键帧图像对应的物体信息、场景信息和深度图像信息，标注出目标物体在语义地图中的场景信息和位置信息，实现了对变电作业环境区域的抽象语义表达，在提高场所区域识别准确性的同时改善了运算性能，提高了该标识方法的应用性。
作为本申请一个可选的实施方式，上述步骤S26，包括：
步骤1，获取关键帧图像对应的物体信息以及对应的关键帧图像的深度图像信息。
示例性地，关键帧图像对应的物体信息以及关键帧图像的深度图像信息可以通过目标检测模型进行获取。
步骤2，根据物体信息与深度图像信息，确定目标物体的空间位置。
示例性地，根据目标检测模型获得的物体信息和相应关键帧图像的深度图像信息，可以通过当前相机位姿对目标物体的空间位置进行确定，进而可以确定目标物体的不同类别。
步骤3，根据空间位置在语义地图中标识目标区域中不同子区域的目标物体。
示例性地，根据获取的空间位置在语义地图中标注目标物体，若在连续关键帧图像的相近位置中检测到同一类别的目标物体时，可以根据不同关键帧图像之间的欧式距离确定是否连续关键帧图像中检测到的同一类别的目标物体是否为同一目标物体，若连续关键帧图像中检测到的同一类别的目标物体为同一目标物体，则在语义地图中对该目标物体进行标识。
将上述变电作业场景的标识方法应用于在含有会议室、走廊、设备间、办公室四种区域类型的室内场所中进行测试确定其区域类别识别率，如表1所示。分别采用三种方法对会议室、走廊、设备间、办公室四种区域进行识别，其中，方法1是仅采用在场景数据集下训练得到的深度卷积神经网络Resnet50模型作为场景分类器；方法2是采用本技术方案提出的场景特征结合CRF模型的方法，但是不包含物体特征；方法3是采用本技术方案提出的变电作业场景的标识方法，即场景特征、物体特征结合CRF模型的方法。通过对比三种方法的区域类别识别率，可见本技术方案提出的方法在四种场景类别的识别率上是三种方法中最高的，相比仅采用深度卷积神经网络作为场景分类器的方法有了明显提升。
表1四种场所类别下的区域类别识别率
Figure BDA0002531081620000231
由此，在视觉SLAM的框架下，通过在建立CRF场景标识模型中融合物体信息和场景信息，能够在实现场景区域识别的基础上进一步提高场景区域识别和物体识别的准确率。
实施例3
本实施例提供一种变电作业场景的标识模型训练装置，可应用于复杂的变电作业环境以进行场景识别，如图6所示，该装置包括：
第一采集模块31，用于采集目标区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息。详细内容请参见上述任意方法实施例的步骤S11的相关描述，在此不再赘述。
分类模块32，用于对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息。详细内容请参见上述任意方法实施例的步骤S12的相关描述，在此不再赘述。
特征提取模块33，用于根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征。详细内容请参见上述任意方法实施例的步骤S13的相关描述，在此不再赘述。
模型生成模块34，用于根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。详细内容请参见上述任意方法实施例的步骤S14的相关描述，在此不再赘述。
本实施例提供的变电作业场景的标识模型训练装置，针对复杂的变电作业环境，通过采集复杂的变电作业场景中不同子区域中的连续图像，建立图像数据集，从该图像数据集中提取用于训练标识模型的训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息，对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息，根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征；根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。基于目标区域的各子区域的训练关键帧图像的训练物体信息和训练场景信息结合神经网络模型确定场景标识模型，避免出现场景误分类的情况，提高了场景识别的准确性。
作为本申请一个可选的实施方式，上述第一采集模块31，包括：
数据文件生成子模块，用于获取训练关键帧图像中与目标区域对应的训练物体，确定训练物体的物体数据，生成物体数据文件。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
目标检测模型确定子模块，用于根据物体数据文件对第二神经网络模型进行训练，得到目标检测模型。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
调用子模块，用于调用目标检测模型对训练关键帧图像中的训练物体进行识别，得到与训练物体对应的训练物体信息。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
作为本申请一个可选的实施方式，上述分类模块32，包括：
第一获取子模块，用于获取训练关键帧图像中与目标区域对应的第一场景数据，对第一场景数据进行训练，获取训练后的第二场景数据。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第二获取子模块，用于根据第二场景数据，对训练关键帧图像进行图像分类，得到与各子区域的训练关键帧图像对应的训练场景信息。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
作为本申请一个可选的实施方式，上述特征提取模块33，包括：
场景区域识别模型建立子模块，用于以训练关键帧图像作为节点，建立场景区域识别模型，场景区域识别模型包括多个节点。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第一确定子模块，用于根据训练物体信息确定各节点对应的目标区域的物体特征。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第二确定子模块，用于根据训练场景信息确定各节点对应的目标区域的场景特征。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第三确定子模块，用于根据当前节点对应的目标区域的场景特征以及前一节点对应的目标区域的场景特征确定目标区域的历史场景特征。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
本实施例提供的变电作业场景的标识模型训练装置，通过将场景区域识别模型中前一帧训练关键帧图像中包含的场景特征数据融入当前帧的训练关键帧图像中进行场景类别判断，可以有效提高场景区域识别的准确性。
作为本申请一个可选的实施方式，上述模型生成模块34，包括：
第四确定子模块，用于根据场景区域识别模型的各节点的物体特征、场景特征及历史场景特征确定与场景区域识别模型的各节点对应的能量函数。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第五确定子模块，用于根据各所述节点对应的能量函数，确定场景区域识别模型对应的总能量函数。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
第六确定子模块，用于根据总能量函数，确定场景区域识别模型对应的目标函数。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
训练子模块，用于以各节点的物体特征、场景特征及历史场景特征作为输入样本，以目标函数作为输出，对第一神经网络模型进行训练，生成场景标识模型。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
本实施例提供的变电作业场景的标识模型训练装置，通过在视觉SLAM的框架下建立CRF场景标识模型，在建立CRF场景标识模型中融合物体信息和场景信息，在实现场景区域识别的基础上进一步提高了场景区域识别和物体识别的准确性。
实施例4
本实施例提供一种变电作业场景的标识装置，应用于复杂的变电作业环境的场景识别，如图7所示，该装置包括：
物体信息获取模块41，用于采集待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息。详细内容请参见上述任意方法实施例的步骤S21的相关描述，在此不再赘述。
场景信息获取模块42，用于对关键帧图像进行图像分类，确定各子区域的关键帧图像的场景信息。详细内容请参见上述任意方法实施例的步骤S22的相关描述，在此不再赘述。
特征确定模块43，用于根据物体信息及场景信息确定待测区域的物体特征、场景特征及历史场景特征。详细内容请参见上述任意方法实施例的步骤S23的相关描述，在此不再赘述。
生成模块44，用于根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。详细内容请参见上述任意方法实施例的步骤S24的相关描述，在此不再赘述。
本实施例提供的变电作业场景的标识装置，通过采集变电作业环境中待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息，对关键帧图像进行图像分类，确定各子区域的关键帧图像对应的场景信息，根据关键帧图像对应的物体信息及场景信息确定变电作业场景中待测区域的物体特征、场景特征及历史场景特征，再根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。根据待测区域中的关键帧图像对应的物体信息和场景信息结合场景标识模型确定目标场景信息，避免了因单一信息来源而导致场景误分类，提高了场景识别的准确性。
作为本申请一个可选的实施方式，该变电作业场景的标识装置还包括：
语义地图生成模块，用于根据各子区域的关键帧图像的目标场景信息，生成语义地图。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
标识模块，用于获取关键帧图像的深度图像信息，根据关键帧图像对应的物体信息以及关键帧图像的深度图像信息，在所述语义地图中标识目标物体。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
作为本申请一个可选的实施方式，上述语义地图生成模块，包括：
RGB数值确定子模块，用于根据各子区域的关键帧图像的目标场景信息，确定各子区域对应的RGB数值。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
生成子模块，用于根据各子区域对应的RGB数值，生成语义地图。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
作为本申请一个可选的实施方式，上述RGB数值确定子模块进行RGB数值计算的公式为：
Figure BDA0002531081620000281
其中，i表示当前子区域的关键帧图像的目标场景信息。
作为本申请一个可选的实施方式，上述标识模块，包括：
信息获取子模块，用于获取关键帧图像对应的物体信息以及对应的关键帧图像的深度图像信息。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
空间位置确定子模块，用于根据物体信息与深度图像信息，确定目标物体的空间位置。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
目标物体确定子模块，用于根据空间位置在语义地图中确定目标区域中不同子区域的目标物体。详细内容请参见上述方法实施例的相关描述，在此不再赘述。
本发明实施例还提供了一种计算机设备，如图7所示，该设备包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图8中以通过总线50连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network ProcessingUnit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的变电作业场景的标识模型训练方法对应的程序指令/模块(例如，图6所示的第一采集模块31、分类模块32、特征提取模块33和模型生成模块34)或本发明实施例中的变电作业场景的标识方法对应的程序指令/模块(例如，图7所示的物体信息获取模块41、场景信息获取模块42、特征确定模块43和生成模块44)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的变电作业场景的标识模型训练方法和变电作业场景的标识方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1-图5所示实施例中的变电作业场景的标识模型训练方法或变电作业场景的标识方法。
针对复杂的变电作业环境，通过采集复杂的变电作业场景中不同子区域中的连续图像，建立图像数据集，从该图像数据集中提取用于训练标识模型的训练关键帧图像，并根据训练关键帧图像进行目标检测，获取训练关键帧图像的训练物体信息，对训练关键帧图像进行图像分类，确定各子区域的训练关键帧图像的训练场景信息，根据训练物体信息及训练场景信息确定目标区域的物体特征、场景特征及历史场景特征；根据物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。基于目标区域的各子区域的训练关键帧图像的训练物体信息和训练场景信息结合神经网络模型确定场景标识模型，避免出现场景误分类的情况，提高了场景识别的准确性。
通过采集变电作业环境中待测区域中不同子区域的连续图像，建立图像数据集，从图像数据集中提取关键帧图像，并根据关键帧图像进行目标检测，获取关键帧图像的物体信息，对关键帧图像进行图像分类，确定各子区域的关键帧图像对应的场景信息，根据关键帧图像对应的物体信息及场景信息确定变电作业场景中待测区域的物体特征、场景特征及历史场景特征，再根据物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。根据待测区域中的关键帧图像对应的物体信息和场景信息结合场景标识模型确定目标场景信息，避免了因单一信息来源而导致场景误分类，提高了场景识别的准确性。
上述计算机设备具体细节可以对应参阅图1至图7所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本发明实施例还提供一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的变电作业场景的标识模型训练方法和/或变电作业场景的标识方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (14)

1.一种变电作业场景的标识模型训练方法，其特征在于，包括以下步骤：
采集目标区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取训练关键帧图像，并根据所述训练关键帧图像进行目标检测，获取所述训练关键帧图像的训练物体信息；
对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息；
根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征；
根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练关键帧图像进行目标检测，获取所述目标区域中的所述训练关键帧图像的训练物体信息，包括：
获取所述训练关键帧图像中与所述目标区域对应的训练物体，确定所述训练物体的物体数据，生成物体数据文件；
根据所述物体数据文件对第二神经网络模型进行训练，得到目标检测模型；
调用所述目标检测模型对所述训练关键帧图像中的所述训练物体进行识别，得到与所述训练物体对应的所述训练物体信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息，包括：
获取所述训练关键帧图像中与所述目标区域对应的第一场景数据，对所述第一场景数据进行训练，获取训练后的第二场景数据；
根据所述第二场景数据，对所述训练关键帧图像进行图像分类，得到与各所述子区域的所述训练关键帧图像对应的训练场景信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征，包括：
以所述训练关键帧图像作为节点，建立场景区域识别模型，所述场景区域识别模型包括多个节点；
根据所述训练物体信息确定各节点对应的所述目标区域的物体特征；
根据所述训练场景信息确定各节点对应的所述目标区域的场景特征；
根据当前节点对应的所述目标区域的场景特征以及前一节点对应的所述目标区域的场景特征确定所述目标区域的历史场景特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型，包括：
根据所述场景区域识别模型的各节点的所述物体特征、所述场景特征及所述历史场景特征确定与所述场景区域识别模型的各所述节点对应的能量函数；
根据所述各所述节点对应的能量函数，确定所述场景区域识别模型对应的总能量函数；
根据所述总能量函数，确定所述场景区域识别模型对应的目标函数；
以所述各所述节点的所述物体特征、所述场景特征及所述历史场景特征作为输入样本，以所述目标函数作为输出，对所述第一神经网络模型进行训练，生成所述场景标识模型。
6.一种变电作业场景的标识方法，其特征在于，包括：
采集待测区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取关键帧图像，并根据所述关键帧图像进行目标检测，获取所述关键帧图像的物体信息；
对所述关键帧图像进行图像分类，确定各所述子区域的所述关键帧图像的场景信息；
根据所述物体信息及场景信息确定所述待测区域的物体特征、场景特征及历史场景特征；
根据所述物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。
7.根据权利要求6所述的方法，其特征在于，还包括：
根据各所述子区域的所述关键帧图像的目标场景信息，生成语义地图；
获取所述关键帧图像的深度图像信息，根据所述关键帧图像对应的物体信息以及所述关键帧图像的深度图像信息，在所述语义地图中标识目标物体。
8.根据权利要求7所述的方法，其特征在于，所述根据各所述子区域的所述关键帧图像的目标场景信息，生成语义地图，包括：
根据各所述子区域的所述关键帧图像的目标场景信息，确定各所述子区域对应的RGB数值；
根据各所述子区域对应的RGB数值，生成语义地图。
9.根据权利要求8所述的方法，其特征在于，所述根据各所述子区域的所述关键帧图像的目标场景信息，确定各所述子区域对应的RGB数值的计算公式为：
Figure FDA0002531081610000041
其中，i表示当前子区域的关键帧图像的目标场景信息。
10.根据权利要求8所述的方法，其特征在于，所述获取所述关键帧图像的深度图像信息，根据所述关键帧图像对应的物体信息以及所述关键帧图像的深度图像信息，在所述语义地图中标识目标物体，包括：
获取所述关键帧图像对应的物体信息以及对应的关键帧图像的深度图像信息；
根据所述物体信息与所述深度图像信息，确定所述目标物体的空间位置；
根据所述空间位置在所述语义地图中确定所述目标区域中不同子区域的所述目标物体。
11.一种变电作业场景的标识模型训练装置，其特征在于，包括：
第一采集模块，用于采集目标区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取训练关键帧图像，并根据所述训练关键帧图像进行目标检测，获取所述训练关键帧图像的训练物体信息；
分类模块，用于对所述训练关键帧图像进行图像分类，确定各所述子区域的所述训练关键帧图像的训练场景信息；
特征提取模块，用于根据所述训练物体信息及训练场景信息确定所述目标区域的物体特征、场景特征及历史场景特征；
模型生成模块，用于根据所述物体特征、场景特征及历史场景特征对第一神经网络模型进行训练，生成场景标识模型。
12.一种变电作业场景的标识装置，其特征在于，包括：
物体信息获取模块，用于采集待测区域中不同子区域的连续图像，建立图像数据集，从所述图像数据集中提取关键帧图像，并根据所述关键帧图像进行目标检测，获取所述关键帧图像的物体信息；
场景信息获取模块，用于对所述关键帧图像进行图像分类，确定各所述子区域的所述关键帧图像的场景信息；
特征确定模块，用于根据所述物体信息及场景信息确定所述待测区域的物体特征、场景特征及历史场景特征；
生成模块，用于根据所述物体特征、场景特征及历史场景特征及预设的场景标识模型进行场景标识，生成目标场景信息。
13.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的变电作业场景的标识模型训练方法或执行权利要求6-10中任一项所述的变电作业场景的标识方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的变电作业场景的标识模型训练方法或执行权利要求6-10中任一项所述的变电作业场景的标识方法。
CN202010518643.0A 2020-06-09 2020-06-09 变电作业场景的标识模型训练方法、标识方法及装置 Active CN111695622B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010518643.0A CN111695622B (zh) 2020-06-09 2020-06-09 变电作业场景的标识模型训练方法、标识方法及装置
PCT/CN2021/110085 WO2021249575A1 (zh) 2020-06-09 2021-08-02 一种变电作业场景的区域语义学习与地图点标识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518643.0A CN111695622B (zh) 2020-06-09 2020-06-09 变电作业场景的标识模型训练方法、标识方法及装置

Publications (2)

Publication Number Publication Date
CN111695622A true CN111695622A (zh) 2020-09-22
CN111695622B CN111695622B (zh) 2023-08-11

Family

ID=72479919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518643.0A Active CN111695622B (zh) 2020-06-09 2020-06-09 变电作业场景的标识模型训练方法、标识方法及装置

Country Status (2)

Country Link
CN (1) CN111695622B (zh)
WO (1) WO2021249575A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183303A (zh) * 2020-09-24 2021-01-05 南方电网数字电网研究院有限公司 变电设备图像分类方法、装置、计算机设备和介质
CN113095194A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 图像分类方法、装置、存储介质及电子设备
CN113326796A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 物体检测方法、模型训练方法、装置及电子设备
CN113695256A (zh) * 2021-08-18 2021-11-26 国网江苏省电力有限公司电力科学研究院 一种电网异物检测识别方法及装置
CN113792795A (zh) * 2021-09-15 2021-12-14 南方电网数字电网研究院有限公司 基于网关设备的变电站设备识别方法、装置和网关设备
WO2021249575A1 (zh) * 2020-06-09 2021-12-16 全球能源互联网研究院有限公司 一种变电作业场景的区域语义学习与地图点标识方法
CN116304993A (zh) * 2023-05-22 2023-06-23 广东电网有限责任公司江门供电局 一种电网输变配场景采集系统、方法、设备及介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241290A (zh) * 2021-12-20 2022-03-25 嘉兴市第一医院 用于边缘计算的室内场景理解方法、设备、介质及机器人
CN114529751A (zh) * 2021-12-28 2022-05-24 国网四川省电力公司眉山供电公司 一种电力场景智能识别样本数据的自动筛选方法
CN115294204B (zh) * 2022-10-10 2023-03-17 浙江光珀智能科技有限公司 一种户外目标定位方法及系统
CN115937679B (zh) * 2022-12-09 2024-05-28 上海人工智能创新中心 神经辐射场的物体和布局提取方法和装置
CN115802490B (zh) * 2023-02-09 2023-05-09 深圳市视美泰技术股份有限公司 一种定位基站高精度无线定位方法、系统及存储介质
CN116738552B (zh) * 2023-08-11 2023-10-27 和欣汇达(山东)科技有限公司 一种基于物联网的环境检测设备管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114796A1 (en) * 2006-04-05 2007-10-11 Agency For Science, Technology And Research Apparatus and method for analysing a video broadcast
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备
WO2019128552A1 (zh) * 2017-12-29 2019-07-04 Oppo广东移动通信有限公司 信息推送方法、装置、终端及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL253167B (en) * 2017-06-25 2020-08-31 Agent Video Intelligence Ltd A method and system for cataloging objects
CN107833250B (zh) * 2017-10-24 2020-05-05 北京易达图灵科技有限公司 语义空间地图构建方法及装置
CN109559320B (zh) * 2018-09-18 2022-11-18 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN110363816B (zh) * 2019-06-25 2023-05-26 广东工业大学 一种基于深度学习的移动机器人环境语义建图方法
CN111190981B (zh) * 2019-12-25 2020-11-06 中国科学院上海微系统与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111695622B (zh) * 2020-06-09 2023-08-11 全球能源互联网研究院有限公司 变电作业场景的标识模型训练方法、标识方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114796A1 (en) * 2006-04-05 2007-10-11 Agency For Science, Technology And Research Apparatus and method for analysing a video broadcast
WO2019128552A1 (zh) * 2017-12-29 2019-07-04 Oppo广东移动通信有限公司 信息推送方法、装置、终端及存储介质
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙玉柱;方向忠;卢盼峰;: "基于单目视觉SLAM的实时三维场景重建" *
汤鹏杰;谭云兰;李金忠;: "融合图像场景及物体先验知识的图像描述生成模型" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249575A1 (zh) * 2020-06-09 2021-12-16 全球能源互联网研究院有限公司 一种变电作业场景的区域语义学习与地图点标识方法
CN112183303A (zh) * 2020-09-24 2021-01-05 南方电网数字电网研究院有限公司 变电设备图像分类方法、装置、计算机设备和介质
CN113095194A (zh) * 2021-04-02 2021-07-09 北京车和家信息技术有限公司 图像分类方法、装置、存储介质及电子设备
CN113326796A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 物体检测方法、模型训练方法、装置及电子设备
CN113326796B (zh) * 2021-06-17 2022-11-29 北京百度网讯科技有限公司 物体检测方法、模型训练方法、装置及电子设备
CN113695256A (zh) * 2021-08-18 2021-11-26 国网江苏省电力有限公司电力科学研究院 一种电网异物检测识别方法及装置
CN113695256B (zh) * 2021-08-18 2023-05-23 国网江苏省电力有限公司电力科学研究院 一种电网异物检测识别方法及装置
CN113792795A (zh) * 2021-09-15 2021-12-14 南方电网数字电网研究院有限公司 基于网关设备的变电站设备识别方法、装置和网关设备
CN116304993A (zh) * 2023-05-22 2023-06-23 广东电网有限责任公司江门供电局 一种电网输变配场景采集系统、方法、设备及介质

Also Published As

Publication number Publication date
WO2021249575A1 (zh) 2021-12-16
CN111695622B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111695622B (zh) 变电作业场景的标识模型训练方法、标识方法及装置
US11144889B2 (en) Automatic assessment of damage and repair costs in vehicles
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN111325347B (zh) 基于可解释视觉推理模型的危险预警描述自动生成方法
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN117274768A (zh) 目标检测网络的训练方法、目标检测方法及相关装置
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
Páez-Ubieta et al. Detection and depth estimation for domestic waste in outdoor environments by sensors fusion
US20210357763A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN109492573A (zh) 一种指针读取方法及装置
WO2022247628A1 (zh) 一种数据标注方法及相关产品
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
Bang et al. An image augmentation method for detecting construction resources using convolutional neural network and UAV images
CN113139945A (zh) 一种基于Attention+YOLOv3的空调外机图像智能检测方法、设备及介质
Thotapalli et al. Feature extraction of moving objects using background subtraction technique for robotic applications
O’Brien et al. Computer Vision Concepts and Applications
Foolad et al. Graph-based visual saliency model using background color
Parikh et al. Rapid autonomous semantic mapping
Anjanappa et al. Needle in a haystack: feasibility of identifying small safety assets from point clouds using deep learning
Sineglazov et al. Object Detection and Classification Based on their 3D Models
Nandibewoor et al. Computer Vision Application in Object Detection and Tracking for Aerial Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant