CN115578551A - 一种基于图像识别的家用电表状态核查方法 - Google Patents

Abstract

本发明涉及图像识别处理数技术领域，公开了一种基于图像识别的家用电表状态核查方法，包括：获取包含电表图像的目标图片；对所述目标图片进行电表定位，获得电表图像信息；根据所述电表图像信息分别进行电表组件定位和破损状态识别；根据所述电表组件定位的结果获取对应组件的状态信息；根据所述电表图像信息，获取电表电线的位置和颜色信息；可以通过一次拍摄来获得多个电表的相关数据信息，提升电表状态及信息核查的效率和精准度。

Description

一种基于图像识别的家用电表状态核查方法

技术领域

本发明涉及图像识别处理数技术领域，具体涉及一种基于图像识别的家用电表状态核查方法。

背景技术

智能电表，作为供电公司资产，用于用户用电电量的计量装置，其是否正常运行，是供电公司必须保障的责任和义务。目前国家电网对现场供电公司资产的计量装置要求每年进行一次现场工况普查，及时发现异常计量装置，及时更换，并系统登记归档，避免产生因计量装置异常导致的客户投诉事件。但此项工作专业要求高，对智能电表线序异常、电表外观异常、电表工况异常等综合技术知识，普通台区经理或抄表催费及普通采集运维人员到达现场后，难以有效全面核查相关异常隐患，不及时消缺，较易产生安全隐患、客户纠纷或给供电公司带来经济损失。另外该项工作量庞大，传统人为核查，投入产出效益差，目前该项工作因暂无有效的智能化手段，难以提高该项业务质量。

发明内容

本发明的目的在于提供一种基于图像识别的家用电表状态核查方法，解决以下技术问题：

1.计量箱内装置核查专业要求高，普通人员难以掌握；

2.现场核查人员技能参差不齐，核查质量难以管控；

3.核查技术点多，容易疏漏；

4.问题核查发现后，消缺闭环难管理。

本发明的目的可以通过以下技术方案实现：

一种基于图像识别的家用电表状态核查方法，包括：

获取包含电表图像的目标图片；

对所述目标图片进行电表定位，获得电表图像信息；

根据所述电表图像信息分别进行电表组件定位和破损状态识别；

根据所述电表组件定位的结果获取对应组件的状态信息；

根据所述电表图像信息，获取电表电线的位置和颜色信息；

其中，所述电表组件定位用于获取所述电表的屏幕显示信息和其他组件位置信息；所述破损状态识别用于判断所述电表是否处于破损状态。

通过上述技术方案，对电表进行拍照获得目标图片，然后对目标图片中的电表及其组件进行自动分类定位和对应位置图片的提取，辅助使用者对电表结构进行直观认知了解，并在第一时间获取电表是否处于破损状态的判断；因此，目标图片中可能不仅仅包括1个电表，因此可以通过一次拍摄来获得多个电表的相关数据信息，提升电表状态及信息核查的效率和精准度。

作为本发明进一步的方案：所述电表定位包括：

将所述目标图片输入训练好的电表识别模型中，所述电表识别模型输出电表定位结果；

所述电表识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型。

在训练得到电表识别模型前，针对三相电表，需要制作三相电表的数据集，对数据集中每一个包含电表的照片标注电表所处的区域。将数据集分为训练集和测试集，训练集与测试集的数据量的比值为7:3。接下来使用YOLO系列的目标检测技术对数据集进行训练获得电表识别模型，加载模型来识别输入照片中电表的有关信息。下文中的屏幕识别模型也是同理。

作为本发明进一步的方案：所述获得电表图像信息包括：

根据获取到的所述电表定位结果，对所述目标图片的图像的tensor矩阵进行切割以获取关于电表的tensor矩阵并将之保存为所述电表图像信息；

其过程可表示为：

其中，Pic为所述目标图片的tensor矩阵，zx、zy、yx和yy为所述电表定位结果，分别为电表在所述目标图片中的坐标，Meter表示为所述电表图像信息的tensor矩阵。

作为本发明进一步的方案：所述电表的屏幕位置信息的获取方式为：

将所述电表图像信息输入训练好的屏幕识别模型中，所述屏幕识别模型输出屏幕定位结果；

所述屏幕识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型；

通过获取到的屏幕定位结果，对电表图像信息的tensor矩阵进行切割以获取关于电表屏幕的tensor矩阵并将之保存为图片；

其过程可表示为：

其中，Meter为电表图像信息的tensor矩阵，sx、sy、xx与xy为所述屏幕定位结果，分别为屏幕在所述电表图像信息中的坐标，Ping表示为电表屏幕的tensor矩阵。

作为本发明进一步的方案：所述屏幕显示信息的获取方法包括：

使用训练好的分类模型采用图像分类技术对屏幕所处的状态进行判断，首先是数据集的制作，创建train和valid两个文件夹表示训练集与验证集，每个文件夹内包含normal、crash、powerless和undervoltage四个文件夹表示电表屏幕所要分成的四类。使用resnet50对数据集进行训练。根据数据集训练出图像分类模型，就可以对电表屏幕进行分类。

将电表屏幕的tensor矩阵转为image形式的屏幕图片，再对所述屏幕图片进行预处理；

所述预处理操作包括Resize操作、CenterCrop操作和Normalize归一化操作；

所述Resize操作：

将输入的屏幕图像的短边调整到预设的长度size，而长边则根据对应比例进行调整；

令输入屏幕图像的高跟宽表示为(h，w)，其中宽w是短边，则此过程可表示为：

(h₁，w₁)＝(size×h÷w，size)

其中(h1，w1)表示经过所述Resize操作后所述屏幕图片的尺寸大小；

所述Center Crop操作：

根据所述屏幕图像的中心位置来调整图像的尺寸大小为(size，size)；

所述Normalize归一化操作：

由于所述屏幕图像是三通道图像，其均值与标准差分别设置为[0.485，0.456，0.406]和[0.229，0.224，0.225]；

此计算过程可表示为：

其中，input和output分别表示输入图像和输出图像，mean和std分别为所述均值和所述标准差。

作为本发明进一步的方案：所述破损状态的获取方法包括：

将所述电表图像信息输入训练好的状态判断模型中，所述状态判断模型输出破损状态判断结果。电表是否破损是一个二分类问题，分为normal类与damage类，因此在制作数据集时，训练集和测试集下也只包含对应的两个文件。

作为本发明进一步的方案：所述获取电表电线的位置和颜色信息的方法包括：

步骤S61，收集确定各类电表的电线所存在的所有颜色，确定所有颜色的RGB值范围，然后识别出电表电线，获得电线图像；

步骤S62，将获取的电线图像从RGB颜色空间转换到HSV颜色空间，通过将不属于预设颜色范围的图像值变为0，获得预设颜色的掩膜，再通过中值滤波来获取当前像素点及其周围临近像素点的像素值，将这些像素值排序，然后将位于中间位置的像素值作为当前像素点的像素值；

步骤S63，遍历所述步骤S62中产生的预设颜色的掩膜，检测并计算所述掩膜的轮廓面积，将所有掩膜的轮廓面积之和作为所述预设颜色在图像中所占据的面积；

步骤S64，获得与所述电线图像对应的多种颜色在图像中的面积，将除了黑色之外的其他颜色的面积均乘以10，所得到的结果为这些颜色的最终面积值；步骤S65，将所有颜色的面积值最大的数值对应的颜色为输入图像的主体颜色；

步骤S66，获取电线在电线图像中的坐标，根据识别出的电线的左上角的坐标进行冒泡排序，根据坐标从小到大依次输出对应电线的颜色；根据电表电线的颜色排序判断电表所属类型。

作为本发明进一步的方案：所述其他组件包括指示灯、条形码；

获取所述电表、所述电表屏幕、所述指示灯、所述条形码和所述电线连接处的坐标，后在所述目标图片上在对应坐标处进行画框并用文字进行标注。

本发明的有益效果：对电表进行拍照获得目标图片，然后对目标图片中的电表及其组件进行自动分类定位和对应位置图片的提取，辅助使用者对电表结构进行直观认知了解，并在第一时间获取电表是否处于破损状态的判断；因此，目标图片中可能不仅仅包括1个电表，因此可以通过一次拍摄来获得多个电表的相关数据信息，提升电表状态及信息核查的效率和精准度。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明中家用电表状态核查方法的原理性流程图；

图2为本发明中家用电表状态核查方法的具体流程事宜图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1和图2所示，本发明为一种基于图像识别的家用电表状态核查方法，包括：

获取包含电表图像的目标图片；

对所述目标图片进行电表定位，获得电表图像信息；

根据所述电表图像信息分别进行电表组件定位和破损状态识别；

根据所述电表组件定位的结果获取对应组件的状态信息；

根据所述电表图像信息，获取电表电线的位置和颜色信息；

其中，所述电表组件定位用于获取所述电表的屏幕显示信息和其他组件位置信息；所述破损状态识别用于判断所述电表是否处于破损状态。

通过上述技术方案，对电表进行拍照获得目标图片，然后对目标图片中的电表及其组件进行自动分类定位和对应位置图片的提取，辅助使用者对电表结构进行直观认知了解，并在第一时间获取电表是否处于破损状态的判断；因此，目标图片中可能不仅仅包括1个电表，因此可以通过一次拍摄来获得多个电表的相关数据信息，提升电表状态及信息核查的效率和精准度。

作为本发明进一步的方案：所述电表定位包括：

将所述目标图片输入训练好的电表识别模型中，所述电表识别模型输出电表定位结果；

所述电表识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型。

作为本发明进一步的方案：所述获得电表图像信息包括：

根据获取到的所述电表定位结果，对所述目标图片的图像的tensor矩阵进行切割以获取关于电表的tensor矩阵并将之保存为所述电表图像信息；

其过程可表示为：

其中，Pic为所述目标图片的tensor矩阵，zx、zy、yx和yy为所述电表定位结果，分别为电表在所述目标图片中的坐标，Meter表示为所述电表图像信息的tensor矩阵。

作为本发明进一步的方案：所述电表的屏幕位置信息的获取方式为：

将所述电表图像信息输入训练好的屏幕识别模型中，所述屏幕识别模型输出屏幕定位结果；

所述屏幕识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型；

通过获取到的屏幕定位结果，对电表图像信息的tensor矩阵进行切割以获取关于电表屏幕的tensor矩阵并将之保存为图片；

其过程可表示为：

其中，Meter为电表图像信息的tensor矩阵，sx、sy、xx与xy为所述屏幕定位结果，分别为屏幕在所述电表图像信息中的坐标，Ping表示为电表屏幕的tensor矩阵。

作为本发明进一步的方案：所述屏幕显示信息的获取方法包括：

使用resnet50调用训练好的分类模型对电表屏幕的图像进行分类；

将电表屏幕的tensor矩阵转为image形式的屏幕图片，再对所述屏幕图片进行预处理；

所述预处理操作包括Resize操作、CenterCrop操作和Normalize归一化操作；

所述Resize操作：

将输入的屏幕图像的短边调整到预设的长度size，而长边则根据对应比例进行调整；

令输入屏幕图像的高跟宽表示为(h，w)，其中宽w是短边，则此过程可表示为：

(h₁，w₁)＝(size×h÷w，size)

其中(h1，w1)表示经过所述Resize操作后所述屏幕图片的尺寸大小；

所述Center Crop操作：

根据所述屏幕图像的中心位置来调整图像的尺寸大小为(size，size)；

所述Normalize归一化操作：

由于所述屏幕图像是三通道图像，其均值与标准差分别设置为[0.485，0.456，0.406]和[0.229，0.224，0.225]；

此计算过程可表示为：

其中，input和output分别表示输入图像和输出图像，mean和std分别为所述均值和所述标准差。

作为本发明进一步的方案：所述破损状态的获取方法包括：

将所述电表图像信息输入训练好的状态判断模型中，所述状态判断模型输出破损状态判断结果。

作为本发明进一步的方案：所述获取电表电线的位置和颜色信息的方法包括：

步骤S61，收集确定各类电表的电线所存在的所有颜色，确定所有颜色的RGB值范围，然后识别出电表电线，获得电线图像；例如红色的RGB范围是从[156，43，46]到[180，255，255]，当图像某一区域的RGB处于这个范围则这个区域被认为是红色。

步骤S62，将获取的电线图像从RGB颜色空间转换到HSV颜色空间，通过将不属于预设颜色范围的图像值变为0，获得预设颜色的掩膜，再通过中值滤波来获取当前像素点及其周围临近像素点的像素值，将这些像素值排序，然后将位于中间位置的像素值作为当前像素点的像素值；

步骤S63，遍历所述步骤S62中产生的预设颜色的掩膜，检测并计算所述掩膜的轮廓面积，将所有掩膜的轮廓面积之和作为所述预设颜色在图像中所占据的面积；

步骤S64，获得与所述电线图像对应的多种颜色在图像中的面积，将除了黑色之外的其他颜色的面积均乘以10，所得到的结果为这些颜色的最终面积值；这一步的目的是为了排序黑色这一干扰色的影响，故对其他颜色添加补偿。

步骤S65，将所有颜色的面积值最大的数值对应的颜色为输入图像的主体颜色；例如输入图像是红色电表电线的图像，那么经过颜色检测后红色的面积值最大，此时则输出的结果为红色，也就是所识别的电线颜色。

步骤S66，获取电线在电线图像中的坐标，根据识别出的电线的左上角的坐标进行冒泡排序，根据坐标从小到大依次输出对应电线的颜色；根据电表电线的颜色排序判断电表所属类型。

作为本发明进一步的方案：所述其他组件包括指示灯、条形码；

获取所述电表、所述电表屏幕、所述指示灯、所述条形码和所述电线连接处的坐标，后在所述目标图片上在对应坐标处进行画框并用文字进行标注。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (8)

1.一种基于图像识别的家用电表状态核查方法，其特征在于，包括：

获取包含电表图像的目标图片；

对所述目标图片进行电表定位，获得电表图像信息；

根据所述电表图像信息分别进行电表组件定位和破损状态识别；

根据所述电表组件定位的结果获取对应组件的状态信息；

根据所述电表图像信息，获取电表电线的位置和颜色信息；

其中，所述电表组件定位用于获取所述电表的屏幕显示信息和其他组件位置信息；所述破损状态识别用于判断所述电表是否处于破损状态。

2.根据权利要求1所述的基于图像识别的家用电表状态核查方法，其特征在于，所述电表定位包括：

将所述目标图片输入训练好的电表识别模型中，所述电表识别模型输出电表定位结果；

所述电表识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型。

3.根据权利要求2所述的基于图像识别的家用电表状态核查方法，其特征在于，所述获得电表图像信息包括：

根据获取到的所述电表定位结果，对所述目标图片的图像的tensor矩阵进行切割以获取关于电表的tensor矩阵并将之保存为所述电表图像信息；

其过程可表示为：

其中，Pic为所述目标图片的tensor矩阵，zx、zy、yx和yy为所述电表定位结果，分别为电表在所述目标图片中的坐标，Meter表示为所述电表图像信息的tensor矩阵。

4.根据权利要求3所述的基于图像识别的家用电表状态核查方法，其特征在于，所述电表的屏幕位置信息的获取方式为：

将所述电表图像信息输入训练好的屏幕识别模型中，所述屏幕识别模型输出屏幕定位结果；

所述屏幕识别模型为使用YOLO系列的目标检测技术对数据集进行训练所获得的模型；

通过获取到的屏幕定位结果，对电表图像信息的tensor矩阵进行切割以获取关于电表屏幕的tensor矩阵并将之保存为图片；

其过程可表示为：

其中，Meter为电表图像信息的tensor矩阵，sx、sy、xx与xy为所述屏幕定位结果，分别为屏幕在所述电表图像信息中的坐标，Ping表示为电表屏幕的tensor矩阵。

5.根据权利要求4所述的基于图像识别的家用电表状态核查方法，其特征在于，所述屏幕显示信息的获取方法包括：

使用resnet50调用训练好的分类模型对电表屏幕的图像进行分类；

将电表屏幕的tensor矩阵转为image形式的屏幕图片，再对所述屏幕图片进行预处理；

所述预处理操作包括Resize操作、CenterCrop操作和Normalize归一化操作；

所述Resize操作：

将输入的屏幕图像的短边调整到预设的长度size，而长边则根据对应比例进行调整；

令输入屏幕图像的高跟宽表示为(h，w)，其中宽w是短边，则此过程可表示为：

(h₁，w₁)＝(size×h÷w，size)

其中(h1，w1)表示经过所述Resize操作后所述屏幕图片的尺寸大小；

所述Center Crop操作：

根据所述屏幕图像的中心位置来调整图像的尺寸大小为(size，size)；

所述Normalize归一化操作：

由于所述屏幕图像是三通道图像，其均值与标准差分别设置为[0.485，0.456，0.406]和[0.229，0.224，0.225]；

此计算过程可表示为：

其中，input和output分别表示输入图像和输出图像，mean和std分别为所述均值和所述标准差。

6.根据权利要求1所述的基于图像识别的家用电表状态核查方法，其特征在于，所述破损状态的获取方法包括：

将所述电表图像信息输入训练好的状态判断模型中，所述状态判断模型输出破损状态判断结果。

7.根据权利要求1所述的基于图像识别的家用电表状态核查方法，其特征在于，所述获取电表电线的位置和颜色信息的方法包括：

步骤S61，收集确定各类电表的电线所存在的所有颜色，确定所有颜色的RGB值范围；

步骤S62，将获取的电线图像从RGB颜色空间转换到HSV颜色空间，通过将不属于预设颜色范围的图像值变为0，获得预设颜色的掩膜，再通过中值滤波来获取当前像素点及其周围临近像素点的像素值，将这些像素值排序，然后将位于中间位置的像素值作为当前像素点的像素值；

步骤S63，遍历所述步骤S62中产生的预设颜色的掩膜，检测并计算所述掩膜的轮廓面积，将所有掩膜的轮廓面积之和作为所述预设颜色在图像中所占据的面积；

步骤S64，获得与所述电线图像对应的多种颜色在图像中的面积，将除了黑色之外的其他颜色的面积均乘以10，所得到的结果为这些颜色的最终面积值；

步骤S65，将所有颜色的面积值最大的数值对应的颜色为输入图像的主体颜色；

步骤S66，获取电线在电线图像中的坐标，根据识别出的电线的左上角的坐标进行冒泡排序，根据坐标从小到大依次输出对应电线的颜色；根据电表电线的颜色排序判断电表所属类型。

8.根据权利要求1所述的基于图像识别的家用电表状态核查方法，其特征在于，所述其他组件包括指示灯、条形码；

获取所述电表、所述电表屏幕、所述指示灯、所述条形码和所述电线连接处的坐标，后在所述目标图片上在对应坐标处进行画框并用文字进行标注。

Images