CN112990310A - 服务于电力机器人的人工智能系统及方法 - Google Patents

服务于电力机器人的人工智能系统及方法 Download PDF

Info

Publication number
CN112990310A
CN112990310A CN202110271525.9A CN202110271525A CN112990310A CN 112990310 A CN112990310 A CN 112990310A CN 202110271525 A CN202110271525 A CN 202110271525A CN 112990310 A CN112990310 A CN 112990310A
Authority
CN
China
Prior art keywords
data
electric power
robot
target
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110271525.9A
Other languages
English (en)
Other versions
CN112990310B (zh
Inventor
王万国
王振利
李建祥
许玮
慕世友
周大洲
王克南
许乃媛
王勇
刘晗
许荣浩
张旭
王�琦
刘斌
郭修宵
郭锐
王海鹏
刘海波
张海龙
刘丕玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN202110271525.9A priority Critical patent/CN112990310B/zh
Publication of CN112990310A publication Critical patent/CN112990310A/zh
Priority to PCT/CN2021/116642 priority patent/WO2022188379A1/zh
Application granted granted Critical
Publication of CN112990310B publication Critical patent/CN112990310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种服务于电力机器人的人工智能系统及方法，包括：嵌入式CPU模块，被配置为向数据处理模块发送数据调度指令；数据处理模块，被配置为基于接收到的数据调度指令，对接收到的数据进行智能化处理；所述数据处理模块包括：环境感知单元，被配置为基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；路径规划单元，被配置为基于构建的三维语义地图，实现电力机器人路径规划；数据分析单元，被配置为基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测。本发明基于轻量化的深度网络模型，实现了电力机器人感知、规划、作业、决策的智能化，有效提升了电力机器人的智能化作业水平。

Description

服务于电力机器人的人工智能系统及方法
技术领域
本发明涉及电力机器人技术领域，尤其涉及一种服务于电力机器人的人工智能系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
自上世纪七十年代起，国内外先后开展了电力机器人的研究，在发电、输电、变电、配电、用电领域，均有相关成果，尤其是在变电领域，变电站巡检机器人、室内轨道巡检机器人等已经大规模推广应用，有力保障了电网设备安全稳定运行。随着电力机器人持续深化应用，暴露了机器人在应用过程中智能化程度弱、环境适应性差、作业能力低等问题，亟需突破机器人精准作业关键机器人，研制作业目标精确定位、机械臂作业精确控制的作业机器人系统，构建安全高效的电力设备智能运检体系。
现有技术中，电力机器人普遍存在如下技术问题：
(1)现有不同类型电力机器人的智能系统需定制开发，开发维护工作量大，电力设备巡检业务种类繁多，巡检数据采集方式多样，巡检数据分析方式迥异，从而导致各种电力机器人系统间人工智能功能存在分散、重复、无序开发的现象，造成了资源的浪费，客观上也限制了电力机器人系统智能化的提升。
(2)在巡检数据分析方面，现有的电力机器人，机器人前端视频图像处理能力较弱，图像视频数据目前大都采用网络回传后台服务器分析处理方式，受传输网络带宽的影响，数据分析存在延时，无法满足机器人导航、视觉伺服、缺陷及时检测等实时性要求较高的应用场景需求。
(3)机器人携带机械臂进行作业，大多基于双目视觉的作业伺服系统指导机械臂进行工作，这种机械臂作业系统由于受到双目图像设备定位精度、机械误差的影响，导致机械臂末端停靠位置与实际作业位置产生误差，影响机械臂作业的质量；传统的双目视觉伺服系统未获得图像中设备的语义信息，通常依靠设备类型及结构等先验信息确认待作业设备的类型及位置。对于图像中占比较小的目标，采用单一的左右目图像立体匹配进行目标三维重建，影响小目标最终的空间定位精度。
(4)变电站设备的识别主要是以电力缺陷场景的识别为主，比如：表计读数异常、表计表盘模糊、表计表盘破损、外壳破损、绝缘子破裂、箱门闭合异常、地面油污、呼吸器硅胶变色、呼吸器油封破损、油封油位状态异常、油封破损、压板状态、盖板破损等设备缺陷的识别。变电站现场布置不同位置摄像头，将采集的图片上传至后台，进行图像识别处理。在实际图像采集中，由于不同缺陷类别的图片采集的难易程度不同，造成不同类别的训练样本的数量不均衡。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别；这样模型在测试数据上的泛化能力就会受到影响。
(5)为了对电网区域工作人员的行为进行识别，需要使用人体行为识别算法建立行为识别模型，将工作人员的行为分析问题转换成人体行为识别问题。虽然对人体行为识别的研究历来已久，也已经取得阶段性的成果，但是目前人体行为识别法在公开数库上识别准确率高，可以达到90％以上，但是发明人发现，对于相对复杂的电力场景下进行人体行为识别准确率就低很多，即使在条件苛刻的实验室中，也只能达到70％。
(6)目前在电力领域，常用的图像语义分析技术为图像检测，由于应用场景的特殊性，发明人发现，传统语义分析方法易受图像噪声影响导致特征点分布不均，导致分类出错；卷积神经网络方法受限于目标尺度较小和拍摄角度，导致误检率较高，影响实用化。
发明内容
有鉴于此，本发明提出了一种服务于电力机器人的人工智能系统及方法，基于轻量化的深度网络模型，实现了电力机器人感知、规划、作业、决策的智能优化整合，有效提升了电力机器人的智能化作业水平。
根据本发明实施例的第一个方面，公开了一种服务于电力机器人的人工智能系统，包括：
嵌入式CPU模块，被配置为向数据处理模块发送数据调度指令；
数据处理模块，被配置为基于接收到的数据调度指令，对接收到的数据进行智能化处理；所述数据处理模块包括：
环境感知单元，被配置为基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
路径规划单元，被配置为基于构建的三维语义地图，实现电力机器人路径规划；
数据分析单元，被配置为基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测。
作为进一步地方案，还包括：
数据采集模块，被配置为接收嵌入式CPU模块的数据调度指令，向数据处理模块和/或数据输出模块分别单向传输采集到的电力数据；
数据输出模块，被配置为接收嵌入式CPU模块的数据调度指令，实现对数据处理结果或者采集数据的输出。
作为进一步地方案，嵌入式CPU模块与数据采集模块、数据计算模块和数据输出模块之间仅进行数据调度指令的传送；
数据的计算通过数据计算模块完成，数据采集模块与数据计算模块和/或数据输出模块之间进行单向的数据传输。
作为进一步地方案，利用激光传感器和视觉传感器，采用多传感器信息融合技术，识别目标区域障碍物信息，构建电力机器人环境语义地图。
作为进一步地方案，基于获取的电力设备图像信息，实现目标设备的缺陷识别，具体过程包括：
获取电力设备图像信息并进行预处理；将获取的电力设备图像信息输入到训练好的卷积神经网络模型，输出缺陷分类结果及缺陷位置；
其中，所述卷积神经网络模型在训练过程中，为每一个分类类别分别设置类别编号和类别系数，用以决定主导训练的类别。
作为进一步地方案，所述卷积神经网络模型的训练过程包括：
获取包含特定缺陷场景的图像并进行标定，构建训练样本集；
获取训练样本的卷积特征图；
通过区域生成网络在所述卷积特征图上生成预选框；
将预选框映射到卷积特征图的对应位置，将大小不同的卷积特征图池化成大小相同的卷积特征图；
输出预测分数最高的预选框作为检测输出。
作为进一步地方案，输出预测分数最高的预选框作为检测输出，具体过程包括：
对于预测分数最高的预选框M之外的其余预选框Mi，分别求取Mi与M的重合度，根据重合度对预选框Mi的预测分数进行惩罚，对惩罚后的预测分数进行排序；i＝1,2,3…N。
作为进一步地方案，当预选框Mi与预选框M的重合度低于设定阈值时，预选框Mi的预测分数不受影响；
当预选框Mi与预选框M的重合度超过设定阈值时，所述重合度越高，其预测分数越低。
作为进一步地方案，基于获取的电力设备图像信息，实现目标设备的位置检测，具体过程包括：
对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
将所述机器人作业目标的图像分别输入到训练好的图像语义模型，得到左右目图像中不同设备的轮廓信息；
分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
作为进一步地方案，电力机器人对所述目标进行作业时，控制机械臂末端到达所述目标位置处，利用随臂移动的摄像机获取所述目标的图像信息，采用颜色、纹理、边缘多图像特征检测方法进行目标中心点、边缘信息的检测，得到机械臂末端作业的精确位置。
作为进一步地方案，在对当前目标执行作业任务的同时，获取下一个目标的三维坐标信息，以在当前目标作业完成后，直接进行下一个目标的作业任务。
作为进一步地方案，所述数据分析单元还被配置为利用获取的电力场景实时视频数据，基于卷积神经网络实现人体行为智能识别。
作为进一步地方案，基于卷积神经网络实现人体行为智能识别的方法具体为：
获取电力场景实时视频数据；
提取电力场景实时视频数据中的空间流信息和时间流信息并输入至基于双流模型框架的人体行为识别模型中；
基于双流模型框架的人体行为识别模型识别出当前视频数据中的人体行为类型；
其中，基于双流模型框架的人体行为识别模型包括两个并行的3D卷积神经网络和全连接层神经网络，两个并行的3D卷积神经网络用于分别对应提取空间流信息和时间流信息中的空间流特征和时间流特征，并将空间流特征和时间流特征加权融合后输入至全连接层神经网络，进而得到对应的人体行为类型。
作为进一步地方案，在基于双流模型框架的人体行为识别模型的训练过程中，以电力场景视频监控数据为基础，挑选视频图像行人目标区域并标记人员在图像中的位置与标签，构造行为识别视频数据集合。
作为进一步地方案，所述数据分析单元还被配置为利用获取的电力场景实时音频数据，基于卷积神经网络实现设备声音检测，以判断设备是否故障。
作为进一步地方案，所述数据分析单元还被配置为实现电力场景图像的语义分析；具体包括：
获取待测电力场景图像并进行预处理；
将预处理后的待测电力场景图像通过特征学习网络获取视觉特征表述，并与预先构建的索引表对照，得到待测电力场景图像的语义预测；
其中，特征学习网络由全卷积网络和深度自动编码器组成，全卷积网络用于对电力场景图像进行像素级的多层特征学习提取，自动编码器用于根据多层神经网络特征计算最终网络的权值，生成视觉特征表述；索引表内存储视觉特征表述与语义预测结果的对应关系。
作为进一步地方案，索引表基于设定训练样本集而建立；在建立索引表的过程中，将全卷积网络中多个卷积层对训练样本提取的特征进行融合，通过插值方式将多层卷积层的尺度达到相同尺度，将融合后特征作为输出层用于最终的语义预测。
作为进一步地方案，利用显著性检测模拟人类视觉的方法进行前景重点信息的提取。
根据本发明实施例的第二个方面，公开了一种电力机器人系统，包括：电力机器人本体和上述的人工智能系统；所述人工智能系统部署在电力机器人本体上，实现对获取电力数据的前端处理。
根据本发明实施例的第三个方面，公开了一种服务于电力机器人的人工智能方法，包括：
基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
基于构建的三维语义地图，实现电力机器人路径规划；
基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测；
基于检测的目标位置自动实现电力机器人机械臂的精准作业。
与现有技术相比，本发明的有益效果是：
(1)本发明创新性提出电力机器人人工智能系统，搭建了轻量化电力机器人人工智能平台，实现了电力机器人感知、规划、作业、决策过程的智能优化整合，解决了嵌入式计算能力差的问题，避免了对于系统计算性能的过高要求，提升了电力机器人的智能化、实用化水平。
通过双向指令调度、单向数据传输的方式，CPU不再是传统的接收数据-分配数据的方式，而是通过指令直接调度其他单元的数据交互，其他单元之间的数据传输不需经过CPU，可直接进行传输，提高数据传输效率；
与传统的调度计算都在CPU进行不同，本发明数据计算模块与CPU分离，只负责计算，不负责调度，CPU只负责调度，不负责计算，与数据计算单元间互有分工、工作协同，可大大提高计算效率，实现数据处理过程的前端配置。
(2)本发明实现作业目标的像素级分割与身份识别，基于神经网络的图像语义模型识别目标的三维位置，进一步利用机械臂上的摄像机提取更加精确的目标位置，实现机械臂的精准作业；
本发明构建多目视觉与多传感器融合的空间作业感知体系，开发多特征目标视觉伺服系统，提升作业空间中目标的定位精度，实现机器人对作业场景的全面感知与精准作业。
(3)本发明通过使用带权重的softmaxloss函数，增加代表某类的权重因子和代表指定某类的类别编号两个参数来确定类别和当前类别的系数，通过系数来控制当前类别在反向传播中的重要性，能够解决训练样本不均衡分类的问题，保证检测结果的准确性；
本发明根据重合度(IoU)将预测框的预测分数进行惩罚，最后再按分数排序，仅需要对传统的NMS算法进行简单的改动且不增加额外的参数。相比于传统的NMS算法，将与最高预测分数预测框重合度超出一定阈值的预选框直接舍弃掉，本发明方案保留这些预选框并将其预测分数降低，这样有利于对于与当前识别目标重合度较高的其他目标的检测识别。
(4)本发明基于双流模型框架的人体行为识别模型对输入的空间流信息和时间流信息进行处理，识别出当前视频数据中的人体行为类型，解决了相对复杂的电力场景下进行人体行为识别准确率低的问题，提高了行为识别的精度。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本发明实施例的服务于电力机器人的人工智能系统结构示意图；
图2为根据本发明实施例的实现目标设备的缺陷识别过程示意图；
图3为根据本发明实施例的实现目标设备的位置检测过程示意图；
图4为根据本发明实施例的实现人体行为智能识别过程示意图；
图5为根据本发明实施例的实现电力场景图像的语义分析过程示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
根据本发明实施例，提供了一种服务于电力机器人的人工智能系统，参照图1，包括：
嵌入式CPU模块，被配置为向数据处理模块发送数据调度指令；
数据处理模块，被配置为基于接收到的数据调度指令，对接收到的数据进行智能化处理；
数据采集模块，被配置为接收嵌入式CPU模块的数据调度指令，向数据处理模块和/或数据输出模块分别单向传输采集到的电力数据；
数据输出模块，被配置为接收嵌入式CPU模块的数据调度指令，实现对数据处理结果或者采集数据的输出。
嵌入式CPU模块与数据采集模块、数据计算模块和数据输出模块之间仅进行数据调度指令的传送；
数据的计算通过数据计算模块完成，数据采集模块与数据计算模块和/或数据输出模块之间进行单向的数据传输。
本实施例中，数据采集模块负责数据采集，包括：外部传感器、外部存储设备等可提供数据的数据源，数据采集模块可为任意数据传感器，包括：摄像头等图像视频传感器、麦克风等语音传感器及脉冲、电压、电流等检测传感器。
与嵌入式CPU之间只有双向调度指令交互，分别与数据输出模块和数据计算模块进行单向数据传输；
嵌入式CPU向数据采集模块发送数据采集指令、数据定向传输指令(包括是否向数据计算模块发送数据、是否向数据输出模块发送数据、发送的数据量等)；数据采集模块向嵌入式CPU反馈如下指令：调度指令接收完成标志、数据采集完成标志以及定向发送完成标志。
数据输出模块负责处理完成后数据结果的传输，包括：串口、网口、USB、HDMI等常见的数据批量传输接口，与数据计算模块和数据采集模块之间单向交互，只接受不发送，与嵌入式CPU之间进行双向调度指令交互；
嵌入式CPU模块向数据输出模块发送指令包括：数据接收指令(接收数据采集模块的数据与数据计算模块结果)、数据输出指令、是否合成(数据采集模块的数据与数据计算模块结果)数据输出指令。
数据输出模块向嵌入式CPU反馈：指令接收完成标志、数据输出完成标志。
数据计算模块：负责从数据采集模块接收数据，批量数据并行计算及将数据结果传输给数据输出模块，与嵌入式CPU之间只有双向调度指令交互；
数据计算模块用于进行大批量数据处理及决策计算，包括：
(1)图像/视频/语音/脉冲/电压/电流等传感器采集到的数据的解析、去噪、滤波、增强等数据分析前处理；
(2)卷积、翻转、放缩、池化及决策结果筛选等数据分析后处理。
嵌入式CPU向数据计算模块发送的指令包括：数据接收指令、数据处理指令、计算方式选择指令及计算结果是否输出到数据输出模块的指令。
数据计算模块向嵌入式CPU模块反馈：指令接收完成标志、计算完成标志及数据输出结果发送完成标志。
嵌入式CPU：与其他三个模块间无直接数据传输，只进行双向调度指令交互。嵌入式CPU通过与其他三个模块间的指令交互，对其他三个模块间的数据交互进行调度。
本实施例通过双向指令调度、单向数据传输的方式，CPU不再是传统的接收数据-分配数据的方式，而是通过指令直接调度其他单元的数据交互，其他单元之间的数据传输不需经过CPU，可直接进行传输，提高数据传输效率；
本发明数据计算模块与CPU分离，只负责计算，不负责调度，CPU只负责调度，不负责计算，与数据计算单元间互有分工、工作协同，可大大提高计算效率，实现电力机器人对获取的电力数据的前端处理。
本实施例中，数据处理模块具体包括：
(1)环境感知单元，被配置为基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
具体地，利用激光、视觉等多种传感器，采用多传感器信息融合技术，识别障碍物信息，构建电力机器人环境语义地图，为电力机器人运行提供精确环境信息。
(2)路径规划单元，被配置为基于构建的三维语义地图，实现电力机器人路径规划；
(3)数据分析单元，被配置为基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测。
另外，数据分析单元还被配置为利用获取的电力场景实时视频数据，基于卷积神经网络实现人体行为智能识别。
在其他一些实施方式中，数据分析单元还被配置为利用获取的电力场景实时音频数据，基于卷积神经网络实现设备声音检测，以判断设备是否故障。
作为具体的实施方式，基于获取的电力设备图像信息，实现目标设备的缺陷识别，具体过程包括：
(1)获取电力设备图像信息并进行预处理，进行预处理的方法包括对于图像的尺度调整和图像的归一化操作。
(2)将获取到的电力设备图像信息输入到训练好的卷积神经网络模型，输出缺陷分类结果及缺陷位置；
本实施例能够实现诸如：表计读数异常、表计表盘模糊、表计表盘破损、外壳破损、绝缘子破裂、箱门闭合异常、地面油污、呼吸器硅胶变色、呼吸器油封破损、油封油位状态异常、油封破损、压板状态及盖板破损等设备缺陷的识别。针对不同类型的识别，获取相应的图像信息。
具体地，参照图2，对于卷积神经网络模型的训练过程具体如下：
通过摄像头采集包含设定缺陷场景的图像，构建训练样本数据集；根据具体的训练类别选取符合训练条件(含有缺陷标注框)的样本，将训练样本按比例分为训练集、验证集、测试集。训练样本中每种类别的样本数量越接近，往往训练效果越好。
实际对图像进行训练时，往往我们的样本数据量会不够或者比较少，这种情况下可以使用图像增强的方法将训练样本进行预处理操作，比如翻转、缩放、平移、填充等；使得一张图像产生多种不一样的图像，这样就能增加训练样本的数据。
训练样本作为输入，表示为Height×Width×Depth的张量(多维数组)形式，经过预训练CNN网络处理，得到卷积特征图。
然后，通过RPN(区域生成网络，Region Propose Network)对提取的卷积特征图进行处理，寻找可能包含检测目标的设定数量的区域，即预选框。
为了训练将预选框分成两类，一类是前景，它与真实目标重叠并且其重合度IoU(Intersection of Union)(“预选边框”和“真实边框”的交集和并集的比值)值大于0.5；另一类是背景，它不与任何真实目标重叠或与真实目标的IoU值小于0.1。并根据RPN生成的预选框对卷积特征图做提取，并对提取后的特征做RoI pooling，最后进行类别分类和box回归。
ROI pooling是将大小不同的feature map池化成大小相同的feature map，利于输出到下一层网络中。具体操作如下：
a、根据输入图像，将预选框在卷积特征图上的位置映射到卷积特征图对应的位置上；
b、将映射后的区域划分为相同大小的sections(sections数量与输出的维度相同)；
c、对每个sections进行max pooling操作，这样就可以从不同大小的方框得到固定大小的相应的卷积特征图。
最后选取预测分数值最高的预选框作为检测输出。
在样本不均衡分类问题中，样本量大的类别往往会主导训练过程，因为其累积loss会比较大。
本实施例中，卷积神经网络模型在训练过程中，利用带权重的softmaxloss函数，为每一个分类类别分别设置类别编号和类别系数，用以决定主导训练的类别。具体地，增加pos_mult(指定某类的权重乘子)和pos_cid(指定的某类的类别编号)两个参数来确定类别和当前类别的系数(比如：若pos_mult＝0.5，就表示类别重要度减半)。
另外，现有技术中，通过NMS(Non-Maximum Suppression，非极大抑制)作为检测模型的标准后处理操作，用于去除重合度(IoU)较高的预选框，只保留预测分数最高的预选框作为检测输出。但是，将与最高预测分数值得预测框重合度超出设定阈值的预选框直接舍弃，这样不利于对相邻物体的检测。
因此，本实施例中，对于预测分数最高的预选框M之外的其余预选框Mi，分别求取Mi与M的重合度，根据重合度对预选框Mi的预测分数进行惩罚，对惩罚后的预测分数进行排序；i＝1,2,3…N。
当预选框Mi与预选框M的重合度低于设定阈值时，预选框Mi的预测分数不受影响；
当预选框Mi与预选框M的重合度超过设定阈值时，所述重合度越高，其预测分数越低。
具体的预选框预测分数确定方法为：
Figure BDA0002974728140000151
其中，Si为预测分数，iou(M,b)为预测框Mi与预选框M的IOU；Nt为设定的阈值。
本实施例基于保留的预选框Mi，能够实现对除当前识别目标之外的其余目标的识别。
本实施例保留与最高预测分数预测框重合度超出设定阈值的预选框，并将其预测分数降低，这样有利于对于与当前识别目标重合度较高的其他目标的检测识别。
上述神经网络模型训练完成后，在变电站存在缺陷设备的地方布置网络摄像头，定时采集缺陷图片，将采集的图片经过预处理后输入到训练好的模型中，能够识别出缺陷的类别和缺陷位置。
作为具体的实施方式，基于获取的电力设备图像信息，实现目标设备的位置检测，参照图3，具体过程包括：
步骤S101：对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
具体地，利用黑白棋盘作为标定模板，对双面相机进行标定，首先对左右目图像进行畸变校正与单目标定，然后利用单目标定的外参数计算得到双目相机的外参数，即左右相机相互间旋转矩阵和平移矩阵。
步骤S102：将所述机器人作业目标的图像分别输入到训练好的图像语义模型，得到左右目图像中不同设备的轮廓信息；
具体地，构建基于MaskRcnn的图像语义模型，对于图像语义模型的训练过程具体如下：
利用双目相机获取机器人作业目标的图像，利用标定的相机参数对图像进行校正，针对校正后的图像分别采用旋转、剪裁、扭曲等方法进行数据增强，同时采用Mixup的数据增强方法进一步扩充样本库中各类目标样本的数量。采用标注工具对图像中不同类型设备轮廓进行标注，构建目标图像样本库；
利用样本库图像构建不同目标的训练集，并采用基于MaskRcnn的图像语义算法训练得到目标语义模型，该模型可以实现图像中不同目标的分割，得到目标轮廓与类别信息。
由于在样本不均衡分类问题中，样本量大的类别往往会主导训练过程，因为其累积loss会比较大。
作为可选的实施方式，目标语义模型在训练过程中，利用带权重的softmaxloss函数，为每一个分类类别分别设置类别编号和类别系数，用以决定主导训练的类别。具体地，增加pos_mult(指定某类的权重乘子)和pos_cid(指定的某类的类别编号)两个参数来确定类别和当前类别的系数(比如：若pos_mult＝0.5，就表示类别重要度减半)。
步骤S103：分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
具体地，针对图像中不同的作业目标，利用语义模型分别得到不同目标在左右目图像中的位置，取目标轮廓的外接矩形为感兴趣区域。
当作业目标为A时，分别提取左右目图像中目标A的感兴趣区域，记为区域A右和A左，采用ORB特征点立体匹配算法计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
作为进一步地实施方式，若对目标A进行精细化作业，当机械臂末端到达目标A位置处，开始随臂移动的单目摄像机，对目标A进行图像拍摄，根据拍摄到的图像，进一步的采用颜色、纹理、边缘等多图像特征检测方法进行目标中心点、边缘等信息的检测，得到机械臂末端作业的精确位置。
根据目标A的三维坐标位置，基于视觉伺服系统控制机械臂携带作业工具进行目标A的作业，同时根据上述步骤进行下一个作业目标B的三维坐标计算，方便目标A作业完成后执行目标B的作业任务。
另外，机械臂末端携带压力传感器、超声雷达等传感器，避免机械臂与设备碰触，并确保机械臂末端对目标作用力效果。
作为具体的实施方式，数据分析单元被配置为利用获取的电力场景实时视频数据，基于卷积神经网络实现人体行为智能识别；参照图4，具体过程如下：
S101：获取电力场景实时视频数据。
在具体实施中，电力场景可为变电站或是输电路等等场景。
S102：提取电力场景实时视频数据中的空间流信息和时间流信息并输入至基于双流模型框架的人体行为识别模型中。
在具体实施中，所述空间流信息是RGB视频序列。所述空间流信息提取过程：将输入的视频片段处理成具有空间信息的RGB视频帧。
所述时间流信息是光流场。所述时间流信息的提取过程：在RGB视频帧中，提取出包含运动信息的光流场，再转换成光流特征图像。
S103：基于双流模型框架的人体行为识别模型识别出当前视频数据中的人体行为类型。
在本实施例中，基于双流模型框架的人体行为识别模型包括两个并行的3D卷积神经网络和全连接层神经网络，两个并行的3D卷积神经网络用于分别对应提取空间流信息和时间流信息中的空间流特征和时间流特征，并将空间流特征和时间流特征加权融合后输入至全连接层神经网络，进而得到对应的人体行为类型。
其中，空间流特征为具体空间信息的RGB视频帧特征；
时间流特征为光流特征图像中特征。
此处可以理解的是，3D卷积神经网络的结构为现有结构，此处不再累述。
具体地，在空间流特征和时间流特征加权融合的过程中，空间流特征和时间流特征的权重均为0.5。
此处需要说明的是，在其他实施例中，为了达到不同的精度需求，本领域技术人员可将空间流特征和时间流特征的权重自行选择设置，此处不再详述。
在基于双流模型框架的人体行为识别模型的训练过程中：
以电力场景视频监控数据为基础，挑选视频图像行人目标区域并标记人员在图像中的位置与标签，构造行为识别视频数据集合；
构建基于双流模型框架的人体行为识别模型，通过结合视频数据中的空间流信息和时间流信息，进一步提高目标检测的精度；
将视频数据的光流场与RGB形式分别作为时间与空间两种数据流输入到3D卷积神经网络中进行训练，再将各自得到的分类结果进行加权融合，再输入至全连接层神经网络，得到人体行为识别结果。
本实施例为了解决变电站场景工作人员的行为识别问题，提出了利用深度学习的动作分类技术实现人员的行为分析，选取3D卷积神经网络来对视频中人员进行行为识别。首先研究不同的特征提取网络和不同的网络参数对行为识别的影响，通过调整网络参数和模型优化方法对网络进行改进，选取最有利于行为识别的3D网络参数；然后分别提取视频数据中的空间流信息和时间流信息作为行为识别模型的输入，从而进一步提高行为识别的精度；最后利用变电站采集的视频数据对模型进行实验验证。
作为具体的实施方式，数据分析单元还被配置为实现电力场景图像的语义分析；参照图5，具体过程如下：
S101：获取待测电力场景图像。
具体地，电力场景可为变电站场景或是输电线检修场景等等。
S102：预处理待测电力场景图像。
在具体实施中，预处理操作包括提取待测电力场景图像的前景重点信息及滤除背景。
例如：利用显著性检测模拟人类视觉的方法进行前景重点信息的提取。
其中：显著性检测是一类图像提取的方法，模拟人类注意事物的方式，将重点信息进行提取。
此处需要说明的是，在其他实施例中，也可采用其他方法对前景重点信息进行提取。
S103：将预处理后的待测电力场景图像通过特征学习网络获取视觉特征表述，并与预先构建的索引表对照，得到待测电力场景图像的语义预测。
在本实施例中，特征学习网络由全卷积网络和深度自动编码器组成，全卷积网络用于对电力场景图像进行像素级的多层特征学习提取，自动编码器用于根据多层神经网络特征计算最终网络的权值，生成视觉特征表述；索引表内存储视觉特征表述与语义预测结果的对应关系。
其中，索引表基于设定训练样本集而建立的。
全卷积网络：卷积神经网络最后一层连接层改为卷积层，生成二维的特征向量用于建立特征索引。
在建立索引表之前，还包括初始化全卷积网络的参数。其中，全卷积网络的参数包括模型迭代次数、学习率、衰减因子、权重和滑动窗口等参数。
在具体实施中，在建立索引表的过程中，将全卷积网络中多个卷积层对训练样本提取的特征进行融合，统一多层卷积层的尺度，将融合后特征作为输出层用于最终的语义预测。
具体地，为提高模型精度，将多个卷积层的信息进行融合后，还通过像素运算等插值方式将多层卷积层的尺度达到相同尺度。
在一些实施例中，还将语义预测结果和输入图像作为数据源存储到系统中，进行数据集的扩充，便于后续的算法迭代。对于未能检测出目标的图像，系统可将图像进行标定和特殊存储，待人工进行复审，并标定识别类别存入系统中。
本实施例的应用于电力场景的语义分析方法，首先初始化全卷积网络的参数；然后进行训练集的预处理，将样本图片处理为统一尺度，并利用显著性检测进行前景的提取，用于后续的模型训练；将样本输入全卷积神经网络和深度自动编码器进行像素级的多层特征学习提取，生成视觉特征表述，建立索引表；为提高模型精度，将多个卷积层的信息进行融合，通过插值的方式实现多卷积层的尺度达到相同尺度，作为输出层用于最终的语义预测。
实施例二
根据本发明实施例，公开了一种电力机器人系统的实施例，包括：电力机器人本体和实施例一中所述的人工智能系统；所述人工智能系统部署在电力机器人本体上，实现对获取电力数据的前端处理。
人工智能系统的具体实现过程参照实施例一公开的方案，不再赘述。
实施例三
根据本发明实施例，公开了一种服务于电力机器人的人工智能方法的实施例，包括：
基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
基于构建的三维语义地图，实现电力机器人路径规划；
基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测；
基于检测的目标位置自动实现电力机器人机械臂的精准作业。
上述方法的具体实现过程已经在实施例一中进行了说明，不再赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (20)

1.一种服务于电力机器人的人工智能系统，其特征在于，包括：
嵌入式CPU模块，被配置为向数据处理模块发送数据调度指令；
数据处理模块，被配置为基于接收到的数据调度指令，对接收到的数据进行智能化处理；所述数据处理模块包括：
环境感知单元，被配置为基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
路径规划单元，被配置为基于构建的三维语义地图，实现电力机器人路径规划；
数据分析单元，被配置为基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测。
2.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，还包括：
数据采集模块，被配置为接收嵌入式CPU模块的数据调度指令，向数据处理模块和/或数据输出模块分别单向传输采集到的电力数据；
数据输出模块，被配置为接收嵌入式CPU模块的数据调度指令，实现对数据处理结果或者采集数据的输出。
3.如权利要求2所述的一种服务于电力机器人的人工智能系统，其特征在于，嵌入式CPU模块与数据采集模块、数据计算模块和数据输出模块之间仅进行数据调度指令的传送；
数据的计算通过数据计算模块完成，数据采集模块与数据计算模块和/或数据输出模块之间进行单向的数据传输。
4.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，利用激光传感器和视觉传感器，采用多传感器信息融合技术，识别目标区域障碍物信息，构建电力机器人环境语义地图。
5.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，基于获取的电力设备图像信息，实现目标设备的缺陷识别，具体过程包括：
获取电力设备图像信息并进行预处理；将获取的电力设备图像信息输入到训练好的卷积神经网络模型，输出缺陷分类结果及缺陷位置；
其中，所述卷积神经网络模型在训练过程中，为每一个分类类别分别设置类别编号和类别系数，用以决定主导训练的类别。
6.如权利要求5所述的一种服务于电力机器人的人工智能系统，其特征在于，所述卷积神经网络模型的训练过程包括：
获取包含特定缺陷场景的图像并进行标定，构建训练样本集；
获取训练样本的卷积特征图；
通过区域生成网络在所述卷积特征图上生成预选框；
将预选框映射到卷积特征图的对应位置，将大小不同的卷积特征图池化成大小相同的卷积特征图；
输出预测分数最高的预选框作为检测输出。
7.如权利要求6所述的一种服务于电力机器人的人工智能系统，其特征在于，输出预测分数最高的预选框作为检测输出，具体过程包括：
对于预测分数最高的预选框M之外的其余预选框Mi，分别求取Mi与M的重合度，根据重合度对预选框Mi的预测分数进行惩罚，对惩罚后的预测分数进行排序；i＝1,2,3…N。
8.如权利要求7所述的一种服务于电力机器人的人工智能系统，其特征在于，当预选框Mi与预选框M的重合度低于设定阈值时，预选框Mi的预测分数不受影响；
当预选框Mi与预选框M的重合度超过设定阈值时，所述重合度越高，其预测分数越低。
9.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，基于获取的电力设备图像信息，实现目标设备的位置检测，具体过程包括：
对双目相机参数进行标定，利用双目相机获取机器人作业目标的图像；
将所述机器人作业目标的图像分别输入到训练好的图像语义模型，得到左右目图像中不同设备的轮廓信息；
分别取左右目图像中目标轮廓的外接矩形为感兴趣区域，计算得到两个区域的左右目视差图，根据视差图得到目标的三维坐标信息。
10.如权利要求9所述的一种服务于电力机器人的人工智能系统，其特征在于，电力机器人对所述目标进行作业时，控制机械臂末端到达所述目标位置处，利用随臂移动的摄像机获取所述目标的图像信息，采用颜色、纹理、边缘多图像特征检测方法进行目标中心点、边缘信息的检测，得到机械臂末端作业的精确位置。
11.如权利要求10所述的一种服务于电力机器人的人工智能系统，其特征在于，在对当前目标执行作业任务的同时，获取下一个目标的三维坐标信息，以在当前目标作业完成后，直接进行下一个目标的作业任务。
12.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，所述数据分析单元还被配置为利用获取的电力场景实时视频数据，基于卷积神经网络实现人体行为智能识别。
13.如权利要求12所述的一种服务于电力机器人的人工智能系统，其特征在于，基于卷积神经网络实现人体行为智能识别的方法具体为：
获取电力场景实时视频数据；
提取电力场景实时视频数据中的空间流信息和时间流信息并输入至基于双流模型框架的人体行为识别模型中；
基于双流模型框架的人体行为识别模型识别出当前视频数据中的人体行为类型；
其中，基于双流模型框架的人体行为识别模型包括两个并行的3D卷积神经网络和全连接层神经网络，两个并行的3D卷积神经网络用于分别对应提取空间流信息和时间流信息中的空间流特征和时间流特征，并将空间流特征和时间流特征加权融合后输入至全连接层神经网络，进而得到对应的人体行为类型。
14.如权利要求13所述的一种服务于电力机器人的人工智能系统，其特征在于，在基于双流模型框架的人体行为识别模型的训练过程中，以电力场景视频监控数据为基础，挑选视频图像行人目标区域并标记人员在图像中的位置与标签，构造行为识别视频数据集合。
15.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，所述数据分析单元还被配置为利用获取的电力场景实时音频数据，基于卷积神经网络实现设备声音检测，以判断设备是否故障。
16.如权利要求1所述的一种服务于电力机器人的人工智能系统，其特征在于，所述数据分析单元还被配置为实现电力场景图像的语义分析；具体包括：
获取待测电力场景图像并进行预处理；
将预处理后的待测电力场景图像通过特征学习网络获取视觉特征表述，并与预先构建的索引表对照，得到待测电力场景图像的语义预测；
其中，特征学习网络由全卷积网络和深度自动编码器组成，全卷积网络用于对电力场景图像进行像素级的多层特征学习提取，自动编码器用于根据多层神经网络特征计算最终网络的权值，生成视觉特征表述；索引表内存储视觉特征表述与语义预测结果的对应关系。
17.如权利要求16所述的一种服务于电力机器人的人工智能系统，其特征在于，索引表基于设定训练样本集而建立；在建立索引表的过程中，将全卷积网络中多个卷积层对训练样本提取的特征进行融合，通过插值方式将多层卷积层的尺度达到相同尺度，将融合后特征作为输出层用于最终的语义预测。
18.如权利要求16所述的一种服务于电力机器人的人工智能系统，其特征在于，利用显著性检测模拟人类视觉的方法进行前景重点信息的提取。
19.一种电力机器人系统，其特征在于，包括：电力机器人本体和权利要求1-18任一项所述的人工智能系统；所述人工智能系统部署在电力机器人本体上，实现对获取电力数据的前端处理。
20.一种服务于电力机器人的人工智能方法，其特征在于，包括：
基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；
基于构建的三维语义地图，实现电力机器人路径规划；
基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测；
基于检测的目标位置自动实现电力机器人机械臂的精准作业。
CN202110271525.9A 2021-03-12 2021-03-12 服务于电力机器人的人工智能系统及方法 Active CN112990310B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110271525.9A CN112990310B (zh) 2021-03-12 2021-03-12 服务于电力机器人的人工智能系统及方法
PCT/CN2021/116642 WO2022188379A1 (zh) 2021-03-12 2021-09-06 服务于电力机器人的人工智能系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110271525.9A CN112990310B (zh) 2021-03-12 2021-03-12 服务于电力机器人的人工智能系统及方法

Publications (2)

Publication Number Publication Date
CN112990310A true CN112990310A (zh) 2021-06-18
CN112990310B CN112990310B (zh) 2023-09-05

Family

ID=76335031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110271525.9A Active CN112990310B (zh) 2021-03-12 2021-03-12 服务于电力机器人的人工智能系统及方法

Country Status (2)

Country Link
CN (1) CN112990310B (zh)
WO (1) WO2022188379A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359553A (zh) * 2022-03-17 2022-04-15 北京惠朗时代科技有限公司 一种基于物联网的签章定位方法、系统及存储介质
CN114979611A (zh) * 2022-05-19 2022-08-30 国网智能科技股份有限公司 一种双目感知系统和方法
CN115047814A (zh) * 2022-06-13 2022-09-13 国网山东省电力公司胶州市供电公司 一种基于5g的登杆作业安全监管系统及方法
WO2022188379A1 (zh) * 2021-03-12 2022-09-15 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统
CN116820132A (zh) * 2023-07-06 2023-09-29 杭州牧星科技有限公司 基于远距视觉传感器的飞行避障预警提示方法及其系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580624B (zh) * 2022-11-14 2023-04-28 山东德晟机器人股份有限公司 基于5g网络对机器人动态信息采集和可视化展示方法
CN115847445A (zh) * 2023-01-09 2023-03-28 合肥工业大学 一种道路施工安全警示机械人
CN116423545B (zh) * 2023-03-30 2024-04-12 深圳墨影科技有限公司 一种移动协作机器人一体化控制系统
CN116399871B (zh) * 2023-04-19 2023-11-14 广州市阳普机电工程有限公司 一种基于机器视觉的汽车零部件装配检测系统及方法
CN116503737B (zh) * 2023-05-10 2024-01-09 中国人民解放军61646部队 基于空间光学图像的船舶检测方法和装置
CN116760115B (zh) * 2023-05-30 2024-04-12 中国南方电网有限责任公司 时空特征融合的电力系统机组组合优化方法及其系统
CN116937789A (zh) * 2023-06-15 2023-10-24 国网山东省电力公司嘉祥县供电公司 一种变电箱远程监控系统及方法
CN116456184B (zh) * 2023-06-19 2023-09-08 北京博点智合科技有限公司 一种调整摄像头安装点位的方法、装置、设备及存储介质
CN116976642B (zh) * 2023-08-31 2024-04-02 宁夏绿昊光伏发电有限公司 一种电力通信智慧机房运维管理系统及其方法
CN117528030B (zh) * 2023-11-08 2024-06-18 国网智能电网研究院有限公司 电力全景数字视网膜系统、控制方法、装置、设备及介质
CN117226851B (zh) * 2023-11-10 2024-01-30 拓锐科技有限公司 一种基于电力现场的智能机器人作业管理系统
CN117351022B (zh) * 2023-12-06 2024-03-08 长沙能川信息科技有限公司 一种基于复杂环境下的输电线路绝缘子缺陷检测方法
CN117885116B (zh) * 2024-03-15 2024-05-24 中铁电气化铁路运营管理有限公司 基于遥控通信的接触网线路测距巡检方法和巡检机器人
CN118035689A (zh) * 2024-04-11 2024-05-14 中国信息通信研究院 基于实时三维模型重建的智能设备线上操作系统
CN118094165B (zh) * 2024-04-24 2024-06-28 江之海锦业(江苏)科技有限公司 基于融合视觉的供料管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012156A (zh) * 2017-11-17 2018-05-08 深圳市华尊科技股份有限公司 一种视频处理方法及控制平台
CN109658387A (zh) * 2018-11-27 2019-04-19 北京交通大学 电力列车的受电弓碳滑板缺陷的检测方法
CN110084228A (zh) * 2019-06-25 2019-08-02 江苏德劭信息科技有限公司 一种基于双流卷积神经网络的危险行为自动识别方法
CN111290584A (zh) * 2020-03-18 2020-06-16 哈尔滨拓博科技有限公司 一种基于嵌入式的红外双目手势控制系统及方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958592A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种变电站巡检机器人图像语义分析系统及方法
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202305806U (zh) * 2011-10-19 2012-07-04 成都金本华科技有限公司 嵌入式多核处理卫星导航接收机
CN106850740B (zh) * 2016-12-19 2019-07-23 中国科学院信息工程研究所 一种高吞吐数据流处理方法
CN109346966A (zh) * 2018-07-20 2019-02-15 国网安徽省电力有限公司淮南供电公司 基于多传感器模块的微型电力智能巡检平台及巡检方法
CN111958591B (zh) * 2020-07-30 2021-10-29 国网智能科技股份有限公司 一种语义智能变电站巡检机器人自主巡检方法及系统
CN112990310B (zh) * 2021-03-12 2023-09-05 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012156A (zh) * 2017-11-17 2018-05-08 深圳市华尊科技股份有限公司 一种视频处理方法及控制平台
CN109658387A (zh) * 2018-11-27 2019-04-19 北京交通大学 电力列车的受电弓碳滑板缺陷的检测方法
CN110084228A (zh) * 2019-06-25 2019-08-02 江苏德劭信息科技有限公司 一种基于双流卷积神经网络的危险行为自动识别方法
CN111290584A (zh) * 2020-03-18 2020-06-16 哈尔滨拓博科技有限公司 一种基于嵌入式的红外双目手势控制系统及方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958592A (zh) * 2020-07-30 2020-11-20 国网智能科技股份有限公司 一种变电站巡检机器人图像语义分析系统及方法
CN112101211A (zh) * 2020-09-15 2020-12-18 山东鲁能软件技术有限公司 一种基于目标检测和双目测距的人员与吊臂位置计算方法
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI WANG ET.AL: "Automatic Detection and Classification of Steel Surface Defect Using Deep Convolutional Neural Networks", 《METALS》 *
SHUAI WANG ET.AL: "Automatic Detection and Classification of Steel Surface Defect Using Deep Convolutional Neural Networks", 《METALS》, 26 February 2021 (2021-02-26), pages 3 - 19 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188379A1 (zh) * 2021-03-12 2022-09-15 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN114359553A (zh) * 2022-03-17 2022-04-15 北京惠朗时代科技有限公司 一种基于物联网的签章定位方法、系统及存储介质
CN114359553B (zh) * 2022-03-17 2022-06-03 北京惠朗时代科技有限公司 一种基于物联网的签章定位方法、系统及存储介质
CN114979611A (zh) * 2022-05-19 2022-08-30 国网智能科技股份有限公司 一种双目感知系统和方法
CN115047814A (zh) * 2022-06-13 2022-09-13 国网山东省电力公司胶州市供电公司 一种基于5g的登杆作业安全监管系统及方法
CN116524135A (zh) * 2023-07-05 2023-08-01 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统
CN116524135B (zh) * 2023-07-05 2023-09-15 方心科技股份有限公司 一种基于图像的三维模型生成方法及系统
CN116820132A (zh) * 2023-07-06 2023-09-29 杭州牧星科技有限公司 基于远距视觉传感器的飞行避障预警提示方法及其系统
CN116820132B (zh) * 2023-07-06 2024-01-09 杭州牧星科技有限公司 基于远距视觉传感器的飞行避障预警提示方法及其系统

Also Published As

Publication number Publication date
CN112990310B (zh) 2023-09-05
WO2022188379A1 (zh) 2022-09-15

Similar Documents

Publication Publication Date Title
CN112990310B (zh) 服务于电力机器人的人工智能系统及方法
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN112668696A (zh) 一种基于嵌入式深度学习的无人机电网巡检方法和系统
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN111325347A (zh) 基于可解释视觉推理模型的危险预警描述自动生成方法
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN110298330B (zh) 一种输电线路巡检机器人单目检测与定位方法
CN110969610A (zh) 基于深度学习的电力设备红外热图的识别方法及系统
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN115731545A (zh) 一种基于融合感知的电缆隧道巡检方法及装置
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
CN111626241A (zh) 一种人脸检测方法及装置
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN110738208A (zh) 一种高效的尺度规范化目标检测训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant