CN111145136B - 用于变电站表计图像数据集的合成方法、系统及存储介质 - Google Patents

Abstract

本发明提供一种用于变电站表计图像数据集的合成方法、系统及存储介质，属于变电站的仿真技术领域。所述合成方法包括：建立目标变电站场景；根据天气以及光照条件渲染目标变电站场景；针对每个变电站场景，选取一个预定范围为内的表计设备；获取该表计设备的图像；生成对应的场景标注图像；将图像和场景标注图像组合构成对应的数据元；判断预设范围内是否存在未被选取的表计设备；在判断预设范围内存在未被选取的表计设备时，再次从变电站场景中选取一个预定范围为内的表计设备；在判断预设范围内不存在未被选取的表计设备时，组合所有数据元构成对应的表计图像原始数据集；分别获取每张场景标注图像中的数据并进行标注以得到表计图像数据集。

Description

用于变电站表计图像数据集的合成方法、系统及存储介质

技术领域

本发明涉及变电站的仿真技术领域，具体地涉及一种用于变电站表计图像数据集的合成方法、系统及存储介质。

背景技术

随着视频监控技术和深度学习技术的发展，变电站智能巡检机器人成为了未来变电站巡检系统的发展方向，可以节省变电站巡检的人力物力，减少变电站中各类事故的发生，同时也为各类事故以及人身财产安全的事后处理提供了有力的证据。而在这个过程中，对于变电站巡检中表计自动识别的部分，大量的表计数据起到了至关重要的作用，是变电站智能巡检中重要的组成部分。

研究和实践表明，深度学习算法的性能取决于训练数据的质量和规模，因此基于深度学习的表计识别需要大量优质数据。考虑到表计识别应用的需求，表计数据除了规模要足够大之外，通常还有以下要求：(1)表计数据应覆盖全面，对于不同的表计类型，以及表计可能出现的示数都需要尽可能的覆盖到；(2)表计数据包含各种极端情况，如大雾、大雪等天气下的数据，用于提升算法在复杂情况下的处理能力；(3)表计数据应具有准确的语义标注，且标注内容尽量丰富，如标注内容涵盖如表盘区域、表盘指针、表盘量程、以及表盘上的特定特征点等，以支撑各类表计识别算法的设计。

目前主要有两类方法来构造表计数据集：一种是基于人工采集标注的方法，即通过人工、机器人、监控相机等获取真实的表计场景数据。这种方法局限性较强，一是因为获得覆盖各类复杂情况的表计数据较为困难，其次是由于对数据的人工标注耗财耗时耗力，且容易出现标注不准确的情况。另一种是基于合成数据生成的方法，即通过建模工具和虚拟引擎对变电站表计以及变电站场景进行建模和材质光照的渲染，获得大量的数据，再利用计算机进行标注，其对人力财力的消耗相对低廉。研究表明，经过合成数据集训练的模型在真实数据上具有较好的迁移性，因此合成表计数据具有很强的实用价值。

在传统的变电站表计数据采集方面，一般方法是利用固定的采集摄像头对单个表计进行采集，在专利《变电站机械式表计数据采集及诊断系统》中，提出了一种基于在表计的表盘上安装实时摄像系统，实时拍摄表计的表盘图像的表计数据采集方法；这种表计数据真实有效，但是覆盖范围狭隘，采集效率较低，同时仍需要人工标注，费时费力。

在合成表计数据的生成方面，目前还没有关于变电站的相关方法。并且，由于变电站包括多台表计设备，而每台表计设备包括多种数据的特点，单纯地以传统的建模方式所导出的数据往往不具有较好的迁移性，并且在进行深度学习的过程中也无法提高深度学习的效率。

发明内容

本发明实施方式的目的是提供一种用于变电站表计图像数据集的合成方法、系统及存储介质。该合成方法、系统及存储介质可以自动生成用于表计图像数据集。

为了实现上述目的，本发明实施方式提供一种用于变电站图像数据集的合成方法，所述合成方法包括：

建立所述变电站的仿真模型作为目标变电站场景；

根据预设的天气以及光照条件渲染所述目标变电站场景以得到渲染后的变电站场景；

针对每个渲染后的变电站场景，从渲染后的变电站场景中选取一个预定范围为内的表计设备；

根据预设的视角以及距离获取选取的表计设备的图像；

根据所述图像生成对应的场景标注图像；

将所述图像和所述场景标注图像组合以构成选取的所述表计设备对应的数据元；

判断所述预设范围内是否存在未被选取的表计设备；

在判断所述预设范围内存在未被选取的表计设备的情况下，再次从渲染后的变电站场景中选取一个预定范围为内的表计设备，并执行所述合成方法的相应步骤，直到判断所述预设范围内不存在未被选取的表计设备；

在判断所述预设范围内不存在未被选取的表计设备的情况下，针对每个渲染后的变电站场景，将所有数据元组合以构成对应的表计图像原始数据集；

分别获取所述表计图像原始数据集的每张场景标注图像中的数据并生成对应的标注文件；

将所述标注文件和对应的所述图像组合以构成所述表计图像数据集。

可选地，建立所述变电站的仿真模型作为目标变电站场景具体包括：

根据所述变电站的标准图纸文件在建模软件中对每台表计设备的表计表盘、表计指针以及表盘外壳进行高仿真建模以得到对应的精细三维模型；

根据所述变电站的实景拍摄图以及所述标准图纸文件建立所述变电站的三维模型；

按照基建图纸将所述精细三维模型布局至所述三维模型中以得到所述目标变电站场景。

可选地，所述天气包括雨天、晴天、雪天、雾天和沙尘暴中的至少一者；

所述光照包括白天、中午和夜晚中的至少一者。

可选地，所述场景标注图像中的数据包括表计表盘的标注框、表计设备的示数、表计指针与量程的语义信息、表计视角的距离和角度以及表盘的磨损程度。

可选地，根据所述图像生成对应的场景标注图像具体包括：

读取所述图像中的数据；

将所述数据转换为包含所述数据的信息的至少一个透明的物块；

将所述至少一个透明的物块放入所述图像的预定位置处；

根据所述图像生成语义分割图以作为所述场景标注图像。

另一方面，本发明还提供一种用于变电站表计图像数据集的合成系统，所述合成系统包括处理器，所述处理器用于被机器读取以使得所述机器执行如上述任一所述的合成方法。

再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的合成方法。

通过上述技术方案，本发明提供的用于变电站表计图像数据集的合成方法、系统及存储介质通过首先对变电站进行仿真建模，分别以预定的视角和距离获取变电站的每台表计设备的图像和场景标注图像，再将包括每台表计设备的图像和场景标注图像的数据元组合以构成表计图像原始数据集，最后获取该表计图像原始数据集中的每张场景标注图像中的数据并进行标注以得到表计图像数据集，解决了现有技术中用于深度学习的表计图像数据集的数据量少、数据标注不准、覆盖情况不全面的技术问题，提高了深度学习的训练效率。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是根据本发明的一个实施方式的用于变电站表计图像数据集的合成方法的流程图；

图2是根据本发明的一个实施方式的高仿真建模的示意图；

图3是根据本发明的一个实施方式的渲染后的变电站场景的示意图；以及

图4是根据本发明的一个实施方式的场景标注图像和图像的对比图。

具体实施方式

以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。

在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。

另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示是根据本发明的一个实施方式的用于变电站表计图像数据集的合成方法的流程图。在图1中，该方法可以包括：

在步骤S10中，建立变电站的仿真模型作为目标变电站场景。具体地，在该实施方式中，可以先根据变电站的标准图纸文件在建模软件中对每台表计设备的表计表盘、表计指针以及表盘外壳进行高仿真建模(仿真的过程如图2所示)以得到对应的精细三维模型；再根据变电站的实景拍摄图以及标准图纸文件建立变电站的三维模型；最后按照基建图纸将精细三维模型布局至三维模型中以得到目标变电站场景。

在步骤S11中，根据预设的天气以及光照条件渲染目标变电站场景以得到渲染后的变电站场景。其中，该天气可以是例如包括雨天、晴天、雪天、雾天和沙尘暴中的至少一者。该光照可以是例如包括白天、中午和夜晚中的至少一者。在本发明的一个示例中，该渲染后的变电站场景可以是例如图3所示。

在步骤S12中，针对每个渲染后的变电站场景，从该渲染后的变电站场景中选取一个预定范围为内的表计设备。

在步骤S13中，根据预设的视角以及距离获取选取的表计设备的图像。在该实施方式中，在获取该图像时，该表计设备的指针的变化可以是根据预设的概率算法来确定的，对于该概率算法，应当为本领域人员所知。

在步骤S14中，根据该图像生成对应的场景标注图像。具体地，生成该场景标注图像的方式可以是例如首先获取该图像中表计设备的读数，然后将该读数按照预定的颜色编码规则转换为包含该数据的信息的至少一个透明的物块；再将该至少一个透明的物块放入图像的预定位置处；最后根据该图像生成语义分割图以作为场景标注图像。更具体地，该步骤可以是例如将图像中的信息离散化为几个数字，再将该数字设置为透明的小物体在预定视角中的特定位置进行放置，从而使得这些小物体在场景标注图像中可见，但是在图像中不可见，以便于后续分析并进行标注的生成。在本发明的一个示例中，以离散的数字为该表计设备的读数占量程的百分比为例，可以将表示该百分比的数字设置为透明的小物体，该小物体可以在场景标注图像中可见，但是在图像中不可见，例如图4所示。

在步骤S15中，将该图像和场景标注图像组合以构成选取的表计设备对应的数据元。

在步骤S16中，判断预设范围内是否存在未被选取的表计设备。

在判断预设范围内存在未被选取的表计设备的情况下，再次从渲染后的变电站场景中选取一个预定范围为内的表计设备(即返回执行步骤S12)，并执行该合成方法的相应步骤，直到判断预设范围内不存在未被选取的表计设备；

在步骤S17中，在判断预设范围内不存在未被选取的表计设备的情况下，针对每个渲染后的变电站场景，将所有数据元组合以构成对应的表计图像原始数据集。

在步骤S18中，分别获取表计图像原始数据集的每张场景标注图像中的数据并生成对应的标注文件。在该实施方式中，该数据可以包括表计表盘的标注框、表计设备的示数、表计指针与量程的语义信息、表计视角的距离和角度以及表盘的磨损程度，这些信息在场景标注图像中被转换为至少一个色块。因此，在该步骤S18中，可以首先根据在步骤S14中的颜色编码规则反向编译出对应的数据，然后将针对数据中的不同的信息采用不同的标签进行标注(例如针对表计设备的示数以及量程分别采用不同的标注方式)，从而最终形成标注文件。

在步骤S19中，将图像和标注文件组合以生成表计图像数据集，其中，该表计图像数据集包括多个表计图像数据，每个表计图像数据包括一张表计设备的图像和对应的标注文件。

另一方面，本发明还提供一种用于变电站表计图像数据集的合成系统，该合成系统可以包括处理器，该处理器可以用于被机器读取以使得该机器执行如上述任一所述的合成方法。

再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得该机器执行如上述任一所述的合成方法。

通过上述技术方案，本发明提供的用于变电站的表计图像数据集的合成方法、系统及存储介质通过首先对变电站进行仿真建模，分别以预定的视角和距离获取变电站的每台表计设备的图像和场景标注图像，再将包括每台表计设备的图像和场景标注图像的数据元组合以构成表计图像原始数据集，最后获取该表计图像原始数据集中的每张场景标注图像中的数据并进行标注以得到表计图像数据集，解决了现有技术中用于深度学习的表计图像数据集的数据量少、数据标注不准、覆盖情况不全面的技术问题，提高了深度学习的训练效率。

以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (6)

1.一种用于变电站表计图像数据集的合成方法，其特征在于，所述合成方法包括：

建立所述变电站的仿真模型作为目标变电站场景；

根据预设的天气以及光照条件渲染所述目标变电站场景以得到渲染后的变电站场景；

针对每个渲染后的变电站场景，从渲染后的变电站场景中选取一个预定范围为内的表计设备；

根据预设的视角以及距离获取选取的表计设备的图像；

根据所述图像生成对应的场景标注图像；

将所述图像和所述场景标注图像组合以构成选取的所述表计设备对应的数据元；

判断预设范围内是否存在未被选取的表计设备；

在判断所述预设范围内存在未被选取的表计设备的情况下，再次从渲染后的变电站场景中选取一个预定范围为内的表计设备，并执行所述合成方法的相应步骤，直到判断所述预设范围内不存在未被选取的表计设备；

在判断所述预设范围内不存在未被选取的表计设备的情况下，针对每个渲染后的变电站场景，将所有数据元组合以构成对应的表计图像原始数据集；

分别获取所述表计图像原始数据集的每张场景标注图像中的数据并生成对应的标注文件；

将所述标注文件和对应的所述图像组合以构成所述表计图像数据集；

所述场景标注图像中的数据包括表计表盘的标注框、表计设备的示数、表计指针与量程的语义信息、表计视角的距离和角度以及表盘的磨损程度。

2.根据权利要求1所述的合成方法，其特征在于，建立所述变电站的仿真模型作为目标变电站场景具体包括：

根据所述变电站的标准图纸文件在建模软件中对每台表计设备的表计表盘、表计指针以及表盘外壳进行高仿真建模以得到对应的精细三维模型；

根据所述变电站的实景拍摄图以及所述标准图纸文件建立所述变电站的三维模型；

按照基建图纸将所述精细三维模型布局至所述三维模型中以得到所述目标变电站场景。

3.根据权利要求1所述的合成方法，其特征在于，所述天气包括雨天、晴天、雪天、雾天和沙尘暴中的至少一者；

所述光照包括白天、中午和夜晚中的至少一者。

4.根据权利要求1所述的合成方法，其特征在于，根据所述图像生成对应的场景标注图像具体包括：

读取所述图像中的数据；

将所述数据转换为包含所述数据的信息的至少一个透明的物块；

将所述至少一个透明的物块放入所述图像的预定位置处；

根据所述图像生成语义分割图以作为所述场景标注图像。

5.一种用于变电站表计图像数据集的合成系统，其特征在于，所述合成系统包括处理器，所述处理器用于被机器读取以使得所述机器执行如权利要求1至4任一所述的合成方法。

6.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至4任一所述的合成方法。