CN109740858A - 基于深度学习的自动化辅助决策系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的自动化辅助决策系统及方法，基于深度学习技术，通过编解码过程生成对运维巡检图像的自然语言描述，叠加从图像中获得的位置、时间等信息以及在上述信息基础上获得的地理环境和天气信息；所有这些结果输入关键信息提取子系统，根据关键字提取出关键信息再导入图像语义理解子系统，图像语义理解子系统根据预先的任务设置和安排并在少量人工甚至无人工参与的情况下迅速做出辅助决策。本发明使行业中诸多繁琐棘手的运维巡检等工作实现了自动识别和理解以及辅助决策的功能，且操作简单，可作为对现有人工读取图像、检测、识别、决策过程的改进甚至替代。

Description

基于深度学习的自动化辅助决策系统及方法

技术领域

本发明属于电力系统维护领域，尤其涉及一种基于深度学习的自动化辅助决策系统及方法。

背景技术

运维和巡检是电力电信行业安全生产和正常运营的重要保证之一，也是对电力电信基础设施维护的日常重要工作。在过去几十年里，所有工业化国家都目睹了技术发展，电力电信已成为我们生活中的一件大事。随着这些变化，电力电信资源需求显著提高，相应的运维巡检任务成为驱动安全的优先考虑和安全生产的根本保证。一般来说，电力或电信公司需要建立运维巡检系统和指定计划，指派员工巡检绝缘子和输电线路，收集故障或故障数据，并对其进行分析，以确保设备处于正常状态。显然，企业不得不耗费大量的时间和开支来完成这些任务。此外，收集到图像或视频后，电力或电信公司通常还要指派专人对图像进行识别判断来发现设备故障。在这种情况下，人们必须长时间查看大量图像或视频来检测设备缺陷或异常。很明显，这项任务既费力又费时。而且，这种检测工作很难保持长时间的高精度。

发明内容

发明目的：针对以上问题，本发明提出一种基于深度学习的自动化辅助决策系统及方法，借助深度学习的方法进行图像处理自动实现缺陷、异常及故障等的识别，实现运维和巡检系统的辅助决策，减少人力成本并且提高效率。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度学习的自动化辅助决策系统，包括附加信息提取子系统、检测识别子系统、关键信息提取子系统、图像语义理解子系统；其中，附加信息提取子系统和检测识别子系统均连接于关键信息提取子系统，关键信息提取子系统连接图像语义理解子系统。

进一步地，所述附加信息提取子系统用于处理运维巡检图像，提取位置和时间附加信息，并在此基础上获得图像描述的地理环境和天气信息。

进一步地，所述检测识别子系统是经过大量图像样本训练形成，包括编码器和解码器，用于实现图像的检测与识别，用自然语言生成一句或一段话来描述图像信息。

进一步地，所述关键信息提取子系统用于根据配置设定提取附加信息提取子系统和检测识别子系统的关键字以获取关键信息，再导入图像语义理解子系统。

进一步地，所述图像语义理解子系统用于根据任务设置和安排实现缺陷、异常及故障等的识别并做出决策，仅需少量人工参与或无人工参与。

一种基于深度学习的自动化辅助决策方法，包括步骤：

(1)图像信息输入自动化辅助决策系统后，分为两条路径，一条路径通过附加信息提取子系统，另一条路径通过检测识别子系统；

(2)附加信息提取子系统提取图像中的位置和时间信息，并在此基础上获得图像描述的地理环境和天气信息，并输送至信息提取子系统；

(3)检测识别子系统进行图像的检测与识别，用自然语言生成一句或一段话来描述图像，并输送至信息提取子系统；

(4)关键信息提取子系统根据配置设定提取出关键字获取关键信息再导入图像语义理解子系统；

(5)图像语义理解子系统根据任务设置和安排实现缺陷、异常及故障等的识别并迅速做出辅助决策，仅需有少量人工参与或者无人工参与。

进一步地，所述步骤2中，查询地理环境信息，基于图像文件格式提取图像的地理位置与时间信息，调用地图API接口，获得地理环境信息或者结合图像的内容与地理环境图片库做对比获得地理环境信息。

进一步地，所述步骤2中，查询天气信息，基于位置和时间信息查询天气网站或数据库。

进一步地，所述步骤3中，所述检测识别子系统包括编码器和解码器，选择CNN作为实现分类任务的编码器，将图像变换为固定长度的向量，继而输入用RNN实现的解码器，解码器输出用事先建立的特定字典中的词汇组成的自然语言来描述图像内容。

进一步地，所述步骤3中，所述检测识别子系统是经过大量图像样本训练形成，所述样本训练包括步骤：

(3.1)将图像样本库分割出一部分作为训练集以及验证集，并建立本决策方法所需要的字典；

(3.2)用字典中的词汇描述训练集和验证集；

(3.3)将训练集和验证集以及对应的自然语言描述语句一一对应地导入CNN和RNN模型进行训练和验证，得到所需要的模型。

有益效果：本发明基于人工智能方法进行自动化辅助决策功能，通过引入人工智能方法中的深度学习算法，使行业中诸多繁琐棘手的运维巡检等工作实现了自动识别和理解以及辅助决策的功能，且操作简单，可作为对现有人工读取图像、检测、识别、决策过程的改进甚至替代。

本发明既提高了图像检测和识别的速度和准确率，又降低了成本，确保运维和巡检等工作的高效快捷以及智能化管理和控制。

附图说明

图1是基于深度学习的自动化辅助决策系统实现方法流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的自动化辅助决策系统由四部分组成，包括附加信息提取子系统、检测识别子系统、关键信息提取子系统、图像语义理解子系统。其中附加信息提取子系统和检测识别子系统均连接于关键信息提取子系统，关键信息提取子系统连接图像语义理解子系统。

附加信息提取子系统用于处理运维巡检图像，提取其中的位置、时间等附加信息，并在此基础上获得图像描述的地理环境和天气等信息。检测识别子系统是经过大量图像样本训练形成的基于深度学习的图像识别系统，包括编码器和解码器，用于实现目标图像的检测与识别，用自然语言生成一句或一段话来描述图像信息。

编码器用于将图像变换为固定长度的向量；译码器用于输出用先建立的特定字典中的词汇组成的自然语言来描述图像内容。

首先将图像样本库分割出一部分作为训练集以及验证集，并建立本决策方法所需要的字典；然后用字典中的词汇描述训练集和验证集。最后将训练集和验证集以及对应的自然语言描述语句一一对应地导入CNN和RNN模型进行训练和验证，最后得到所需要的模型。

关键信息提取子系统用于根据配置设定提取附加信息提取子系统和检测识别子系统的关键字和关键信息，再导入图像语义理解子系统。图像语义理解子系统用于根据预先的任务设置和安排实现缺陷、异常及故障等的识别并迅速做出辅助决策，可以有少量人工参与或者无人工参与。

如图1所示，基于深度学习的自动化辅助决策系统实现方法，其实现的过程为：

(1)图像信息输入自动化辅助决策系统后，分为两条路径，一条路径通过附加信息提取子系统，另一条路径通过检测识别子系统；

(2)附加信息提取子系统提取图像中的位置、时间等信息，并在此基础上获得图像描述情况的地理环境和天气等信息；并输送至信息提取子系统；

查询地理环境信息，基于图像的Exif(Exchangeable image file format)提取图像的地理位置与时间信息调用地图API接口(包括谷歌、高德、百度等但不限于此的第三方皆推出了各自的地图API接口)，获得地理环境信息或者结合图像的内容与地理环境图片库做对比获得地理环境信息。

查询天气信息，基于位置和时间信息查询天气网站或数据库，获得天气信息。

(3)检测识别子系统进行图像的检测与识别，用自然语言生成一句或一段话来描述图像；并输送至信息提取子系统；

检测识别子系统，选择CNN(convolutional neural network)作为实现分类任务的编码器将图像变换为固定长度的向量，继而输入用RNN(recurrent neural network)实现解码器，该解码器输出用事先建立的特定字典中的词汇组成的自然语言来描述图像内容。

(4)关键信息提取子系统根据配置设定提取出前述步骤获得信息包含的关键字和关键信息再导入图像语义理解子系统；

(5)图像语义理解子系统根据预先的任务设置和安排实现缺陷、异常及故障等的识别并迅速做出辅助决策，仅需少量人工参与或者无人工参与。

本发明基于深度学习的自动化辅助决策系统可用于电力、电信等诸多行业的运维或巡检领域。本发明自动化辅助决策系统以深度学习等人工智能技术为基础，通过生成对图像的自然语言描述并叠加从图像中提取的其他信息，省去了人工读取大量图像并做出精确识别的过程；所有获得的信息通过关键信息子系统以及图像语义理解子系统，可实现仅需少量人工甚至无人工参与的情况下迅速做出辅助决策。

Claims (10)

1.一种基于深度学习的自动化辅助决策系统，其特征在于，包括附加信息提取子系统、检测识别子系统、关键信息提取子系统、图像语义理解子系统；附加信息提取子系统和检测识别子系统均连接于关键信息提取子系统，关键信息提取子系统连接图像语义理解子系统。

2.根据权利要求1所述的基于深度学习的自动化辅助决策系统，其特征在于，所述附加信息提取子系统用于处理运维巡检图像，提取位置和时间附加信息，并在此基础上获得图像描述的地理环境和天气信息。

3.根据权利要求1所述的基于深度学习的自动化辅助决策系统，其特征在于，所述检测识别子系统是经过大量图像样本训练形成，包括编码器和解码器，用于实现图像的检测与识别，用自然语言生成一句或一段话来描述图像信息。

4.根据权利要求1所述的基于深度学习的自动化辅助决策系统，其特征在于，所述关键信息提取子系统用于根据配置设定提取附加信息提取子系统和检测识别子系统的关键字以获取关键信息，再导入图像语义理解子系统。

5.根据权利要求1所述的基于深度学习的自动化辅助决策系统，其特征在于，所述图像语义理解子系统用于根据任务设置和安排实现缺陷、异常及故障等的识别并做出决策，仅需少量人工参与或无人工参与。

6.一种基于深度学习的自动化辅助决策方法，其特征在于，包括步骤：

(1)图像信息输入自动化辅助决策系统后，分为两条路径，一条路径通过附加信息提取子系统，另一条路径通过检测识别子系统；

(2)附加信息提取子系统提取图像中的位置和时间信息，并在此基础上获得图像描述的地理环境和天气信息，并输送至信息提取子系统；

(3)检测识别子系统进行图像的检测与识别，用自然语言生成一句或一段话来描述图像，并输送至信息提取子系统；

(4)关键信息提取子系统根据配置设定提取出关键字获取关键信息再导入图像语义理解子系统；

(5)图像语义理解子系统根据任务设置和安排实现缺陷、异常及故障等的识别并迅速做出辅助决策，仅需少量人工参与或者无人工参与。

7.根据权利要求6所述的基于深度学习的自动化辅助决策方法，其特征在于，所述步骤2中，查询地理环境信息，基于图像文件格式提取图像的地理位置与时间信息，调用地图API接口，获得地理环境信息或者结合图像的内容与地理环境图片库做对比获得地理环境信息。

8.根据权利要求6所述的基于深度学习的自动化辅助决策方法，其特征在于，所述步骤2中，查询天气信息，基于位置和时间信息查询天气网站或数据库。

9.根据权利要求6所述的基于深度学习的自动化辅助决策方法，其特征在于，所述步骤3中，所述检测识别子系统包括编码器和解码器，选择CNN作为实现分类任务的编码器，将图像变换为固定长度的向量，继而输入用RNN实现的解码器，解码器输出用事先建立的特定字典中的词汇组成的自然语言来描述图像内容。

10.根据权利要求6所述的基于深度学习的自动化辅助决策方法，其特征在于，所述步骤3中，所述检测识别子系统是经过大量图像样本训练形成，所述样本训练包括步骤：

(3.1)将图像样本库分割出一部分作为训练集以及验证集，并建立本决策方法所需要的字典；

(3.2)用字典中的词汇描述训练集和验证集；

(3.3)将训练集和验证集以及对应的自然语言描述语句一一对应地导入CNN和RNN模型进行训练和验证，得到所需要的模型。