CN112749746A - 一种缺陷样本迭代更新方法、系统及装置 - Google Patents

一种缺陷样本迭代更新方法、系统及装置 Download PDF

Info

Publication number
CN112749746A
CN112749746A CN202110034171.6A CN202110034171A CN112749746A CN 112749746 A CN112749746 A CN 112749746A CN 202110034171 A CN202110034171 A CN 202110034171A CN 112749746 A CN112749746 A CN 112749746A
Authority
CN
China
Prior art keywords
image
data
model
defect
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110034171.6A
Other languages
English (en)
Inventor
方正云
赵明
杨勇
李仕林
赵李强
刘志恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202110034171.6A priority Critical patent/CN112749746A/zh
Publication of CN112749746A publication Critical patent/CN112749746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Water Supply & Treatment (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种缺陷样本迭代更新方法，包括：获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库；本申请还提供了一种缺陷样本迭代更新系统以及一种计算机装置，本申请能够有效提升图像迭代更新模型生成的更新图像数据的质量，解决获取缺陷样本困难的问题。

Description

一种缺陷样本迭代更新方法、系统及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种缺陷样本迭代更新方法、系统及装置。
背景技术
在输电线路巡检图片缺陷检测技术中，样本数据量是影响模型识别性能的重要因素。但在实际工作中缺陷样本的获取数量较少，获取新的独立样本图片又存在一定的困难，所以对模型样本的扩充更新造成了影响。
发明内容
本申请提供了一种缺陷样本迭代更新方法、系统及装置，以解决获取缺陷样本困难的问题。
一种缺陷样本迭代更新方法，包括：
获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；
通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；
根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；
获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库；
其中，所述获取原始巡维数据包括；
获取数据采集规范，根据所述数据采集规范获取采集巡维图像；
根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像；
所述根据所述原始巡维数据建立缺陷样本库包括：
获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
可选地，所述实际巡维图像生成缺陷巡维图像，包括：
对所述实际巡维图像进行风格迁移，仿射变换，透视变换，噪声添加中的至少一项，得到所述缺陷巡维图像。
可选地，所述结合所述缺陷样本库对图像迭代更新模型进行训练以及管理的步骤，包括：
结合所述缺陷样本库对所述图像迭代更新模型进行性能评价。
可选地，所述模型特征包括：
所述图像迭代更新模型的硬件资源要求、网络调用请求，巡维任务中的至少一项。
一种缺陷样本迭代更新系统，包括：
获取模块，用于获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；
管理模块，用于通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；
部署模块，用于根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；
更新模块，用于获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库。
可选地，所述获取模块包括：
采集单元，用于获取数据采集规范，根据所述数据采集规范获取采集巡维图像；
标注单元，用于根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像；
成像单元，用于获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
一种计算机装置，包括：处理器以及储存器；
所述处理器耦接所述存储器，所述存储器被配置为存储计算机程序；
所述处理器被配置为执行所述计算机程序以实现权利要求1-4任意一项所述的方法。
由以上技术方案可知，本申请提供一种缺陷样本迭代更新方法，包括：获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库；本申请还提供了一种缺陷样本迭代更新系统以及一种计算机装置，本申请能够有效提升图像迭代更新模型生成的更新图像数据的质量，解决获取缺陷样本困难的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种缺陷样本迭代更新方法流程示意图；
图2为输电线路巡维图像的校验方法流程示意图；
图3为基于透视变换的样本自动生成方法流程示意图；
图4为基于对抗神经网络生成样本的方法流程示意图；
图5为图像迭代更新模型评价方法的流程示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
本申请提供的技术方案中，提供了一种缺陷样本迭代更新方法，请参见图1为一种缺陷样本迭代更新方法流程示意图，由图可知，本申请提供的技术方案包括如下步骤：
S101：获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库。
在一个具体的实施场景中，获取原始巡维数据，原始巡维数据的来源包括可见光图像、紫外光图像、红外光图像中的至少一个。获取数据采集规范，数据采集规范包括数据质量要求，包括图像分辨率、图像清晰度、图像尺寸、图像大小等等，还包括拍摄标准，包括曝光度、目标拍摄物占比、目标拍摄物是否居中等等，还包括合规性要求，例如拍摄时间、拍摄地点需要与预设拍摄要求匹配，还包括示例说明，以帮助巡维人员拍摄高质量的巡维图像。
其中，所述获取原始巡维数据包括：
S1011：获取数据采集规范，根据所述数据采集规范获取采集巡维图像。
S1012：根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像。
S1013：获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
根据数据采集规范获取采集巡维图像。进一步地，可以针对巡维人员提供的待校验巡维图像进行校验，判断其是否满足预设拍摄要求，若满足，则可以作为采集巡维图像。当获取采集巡维图像后，可以对采集巡维图像进行非结构化存储，或者分布式存储。根据预设标注规范对采集巡维图像进行标注，获取实际巡维图像，标注工具包括ADOBE BS软件和CS(camtasia studio)软件。
进一步地，所述实际巡维图像生成缺陷巡维图像，包括：对所述实际巡维图像进行风格迁移，仿射变换，透视变换或噪声添加，得到所述缺陷巡维图像。
在本实施场景中，根据获取到的实际巡维图像生成缺陷巡维图像，从实际巡维图像中找到存在需要维修的设备的图像作为缺陷巡维图像，或者可以通过人工摆拍、修图等方法人为制造缺陷巡维图像，还可以通过对实际巡维图像进行风格迁移、仿射变换、透视变换、噪声添加其中的至少一种操作获取缺陷巡维图像，还可以根据对抗神经网络生成缺陷巡维图像。
在其他实施场景中，获取待巡维输电线路预设缺陷类型及预设缺陷类型的描述信息，根据预设缺陷类型及描述信息对缺陷巡维图像进行自动审核、统计和存储，构建缺陷样本库。
还在一些实施场景中，设计数据库表，根据数据库表构建缺陷样本库，展示缺陷样本图像的统计结果。
S102：通过所述缺陷样本库对图像迭代更新模型进行训练以及管理。
在一个具体的实施场景中，集成tensorflow、pytorch和darknet对图像迭代更新模型进行管理，在本实施场景中，对图像迭代更新模型中的各框架采用相互切换机制。结合缺陷样本库对图像迭代更新模型进行训练。通过对缺陷巡维图像进行仿射变换、透视变换、添加随机噪声、背景替换等方法，生成训练图像数据，采用训练图像数据对图像迭代更新模型进行训练。训练图像数据的生成策略包括随机抽样策略，即从生成的训练图像数据中随机抽样用于训练。其中，生成训练图像数据的方法与生成缺陷巡维图像的方法基本类似，此处不再进行赘述。
进一步地，所述结合所述缺陷样本库对图像迭代更新模型进行训练以及管理的步骤，包括：结合所述缺陷样本库对所述图像迭代更新模型进行性能评价。
通过时间复杂度、精度、召回率等指标对图像迭代更新模型进行评价，获取评价结果。
S103：根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型。
进一步地，所述模型特征包括：所述图像迭代更新模型的硬件资源要求、网络调用请求或巡维任务。
S104：获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库。
在一个具体的实施场景中，根据图像迭代更新的模型特征部署图像迭代更新模型。具体地说，模型特征包括图像迭代更新的硬件资源需求，例如服务器、CPU、内存的要求，还包括网络调用请求，例如对带宽、网速的要求。获取本地部署的部署特征，根据本地部署特征进行部署，例如动态库部署或者jar包部署等等。
在其他实施场景中，还可以获取待执行的巡维任务类型，根据巡维如任务类型选择匹配的图像迭代更新的模型进行部署。
在其他实施场景中，还可以获取对待执行的巡维任务进行检测的检测报告的类型、形式、内容和提交形式，从而选择匹配的图像迭代更新的模型进行部署。
在本实施场景中，部署完毕后，获取图像迭代更新模型输出的更新样本数据，将更新样本数据添加至缺陷样本库中，从而实现了样本迭代更新。
通过上述描述可知，在本实施例中根据原始巡维数据构建缺陷样本库，结合缺陷样本库对图像迭代更新模型进行训练和管理，能够有效提升图像迭代更新模型的质量，根据图像迭代更新模型的模型特征部署并应用图像迭代更新模型，能够有效提升图像迭代更新模型生成的更新图像数据的质量，实现了样本迭代更新，丰富了样本数量，提升了样本质量。
在实际应用中，可以结合上述方法对输电线路巡维图像进行校验，具体校验方法步骤请参见图2，为输电线路巡维图像的校验方法流程示意图。
S201：获取待巡维输电线路的巡维信息，巡维信息包括图像校验标准和校验参考信息。
在一个具体的实施场景中，获取待巡维输电线路的巡维信息，巡维信息包括图像校验标准和校验参考信息。图像校验标准用于校验巡维人员上传的待校验巡维图像的图像参数是否符合预设标准，符合预设标准的待校验巡维图像可以使得后续工作人员在根据待校验巡维图像判断该待巡维输电线路的状况时能够快速且准确的得出结论。校验参考信息用于辅助判断上传的待校验巡维图像的有效性和可靠性，判断待校验巡维图像是否为当前拍摄的，是否为网络下载图像，以及是否为盗用他人的图像。避免带有欺骗性的待校验巡维图像上传，导致工作人员在根据待校验巡维图像判断待巡维输电线路的状态时出现误差。
在本实施场景中，图像校验标准包括预设分辨率、预设亮度值、预设占比值、预设曝光值、目标拍摄物中的至少一项，预设分辨率的设置，可以保证待校验巡维图像的清晰度较高，从而工作人员能清楚看到待校验巡维图像中是否存在需要修缮的设备或线路。预设亮度值的设置可以保证待校验巡维图像的图像细节可以全部展示，从而工作人员能更准确地判断待校验巡维图像中是否存在需要修缮的设备或线路。预设占比值的设置可以保证需要拍摄的目标拍摄物在待校验巡维图像中的占比大小，从而方便工作人员对目标拍摄物的状态进行检查。预设曝光值的设置可以确保待校验巡维图像的图像质量，曝光不足或者过曝都会导致待校验巡维图像的图像质量不佳，影响工作人员的判断。目标拍摄物的设置可以确保待校验巡维图像为有效图像，避免浪费工作人员的时间以及网络资源。
在本实施场景中，校验参考信息包括气象信息、位置信息、时间信息中的至少一个。根据气象信息、位置信息、时间信息可以判断待校验巡维图像是否是巡维人员当前拍摄的，是否是在待巡维线路所在的位置拍摄的，是否符合当前的气象特征等等。
S202：获取待校验巡维图像，获取待校验巡维图像的大小，根据待校验巡维图像的大小获取待校验巡维图像的待校验分辨率。
在一个具体的实施场景中，图像分辨率指的是图像矩阵的宽(w)和高(h)的乘积即图像包含多少个像素点，可以通过待校验巡维图像的大小来表征待校验巡维图像的待校验分辨率。如果图像每一个像素的色彩深度为1个字节(8bit)，那么待校验巡维图像的大小与待校验巡维图像的待校验分辨率之间的关系为：
图像大小(M)＝3*w*h/10^6(M)
从上面的式子我们可以看出，图像的大小和图像的分辨率成正比例关系，3M大小的图像在不压缩处理的情况下分辨率为100万像素。因此在本实施场景中，无需获取待校验巡维图像的长宽，直接根据待校验巡维图像的大小获取待校验巡维图像的待校验分辨率。
S203：判断待校验分辨率是否大于或等于预设分辨率。若是，执行步骤S204。若否，执行步骤S209。
在一个具体的实施场景中，将待校验分辨率与预设分辨率进行比较，判断待校验分辨率是否大于或等于预设分辨率。
S204：获取待校验巡维图像的像素统计直方图，根据像素统计直方图获取待校巡维图像的像素均值。
在一个具体的实施场景中，根据待校验巡维图像的像素均值获取待校验巡维图像的亮度值。
S205：判断像素均值是否等于预设亮度值。若是，执行步骤S206。
在本实施场景中，预设亮度值为中心为128的范围，例如128+/-20，若待校验巡维图像的像素均值远小于128那么待校验巡维图像过暗，若待校验巡维图像的像素均值远大于128那么待校验巡维图像过亮。
S206：对待校验巡维图像进行图像识别，判断待校验巡维图像是否包括目标拍摄物。若是，执行步骤S207。若否，执行步骤S209。
在一个具体的实施场景中，对待校验巡维图像进行图像识别，判断待校验巡维图像是否包括目标拍摄物。
进一步地，获取目标拍摄物中已经被拍摄的部分(可以记录之前图像识别的结果)，获取尚未拍摄的部分，判断待校验巡维图像是否包括目标拍摄物尚未拍摄的部分。
S207：获取目标拍摄物在待校验图像中的拍摄物图像面积，获取拍摄物图像面积与待校验图像的全局图像面积的比值，判断比值是否大于或等于预设占比值。若是，执行步骤S208。若否，执行步骤S209。
在一个具体的实施场景中，获取目标拍摄物在待校验图像中的拍摄物图像面积，在进行图像识别时，增加识别目标拍摄物占图区域的算法，从而利用图像识别算法的检测结果。
S208：获取待校验图像的综合评分，根据综合评分判断待校验图像是否符合数据采集规范。
在一个具体的实施场景中，根据步骤S202-S207的判断结果，获取待校验图像的综合评分，判断综合评分是否符合数据采集规范，若符合，则将待校验巡维图像作为采集巡维图像。
S209：不将待校验巡维图像作为采集巡维图像。
通过上述描述可知，在本实施例中，在巡维图像进行存储前对巡维图像是否符合要求进行判断，避免不合规的巡维图像上传，浪费资源，影响缺陷样本库的质量。
在本申请提供的技术方案中，请参见图3，为基于透视变换的样本自动生成方法流程示意图。由图可知以下步骤：
S301：获取样本对象图片，获取样本对象图片的前景图片。
在一个具体的实施场景中，获取样本对象图片，样本对象图片可以是实际拍摄的包括目标拍摄物的巡维图片。通过图片前景分割算法(例如，Graph cut算法)获取所样本对象图片的前景图片。
S302：获取目标背景图片，在目标背景图片上随机选择至少一个像素点作为至少一个图片中心点。
在一个具体的实施场景中，获取目标背景图片，在目标背景图片上随机选择至少一个像素点，每个像素点作为图片中心点，也就是以后将变换图片放置在目标背景图片上时，变换图片的中心点的位置。
S503：以每个图片中心点为中心生成矩形框，将至少一个矩形框对应的区域作为至少一个目标显示区域。
在一个具体的实施场景中，随机获取高度值和宽度值，根据高度值和宽度值以图片中心点为中心生成矩形框。进一步地，随机确定矩形框的长边或宽边与水平线的夹角。将至少一个矩形框对应的区域作为至少一个目标显示区域。至少一个矩形框的位置关系包括平行、重叠、部分重叠、远离等等。
S504：获取透视变换矩阵；获取前景图片中目标像素点的初始坐标值，根据透视变换矩阵计算出初始坐标值对应的目标坐标值，从而获取变换图片。
在一个具体的实施场景中，透视变换原理为：
Figure BDA0002893518320000081
其中，透视变换矩阵warpMatric为
Figure BDA0002893518320000082
透视变换的初始点矩阵为
Figure BDA0002893518320000083
透视变换的目标点矩阵为
Figure BDA0002893518320000084
由于透视变换是二维空间到三维空间的转换，实际转换后的结果以二维图片的形式展现，因此将X、Y、Z都除以Z，获得X’、Y’、Z’，以表示透视变换后的变换图片上的点。具体地，请参阅下列公式：
Figure BDA0002893518320000085
进一步地，根据上述公式可以得出：
Figure BDA0002893518320000086
令a33＝1，展开上述公式，可以得出变换图片中一个点(X’，Y’)的情况：
Figure BDA0002893518320000087
根据上述公式可知，存在8个未知数(a11、a12、a13、a21、a22、a23、a31、a32)，获取4个点的坐标可以得到8个方程，求解8个未知数，即可解出透视变换矩阵warpMatric：
Figure BDA0002893518320000088
假设前景图片中的四个初始像素点的初始坐标分别为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)，变换后的变换图片的这个四个初始像素点的目标坐标为(X'0,Y'0)、(X'1,Y'1)、(X'2,Y'2)、(X'3,Y'3)，则上述公式可以变为：
Figure BDA0002893518320000091
根据上述公式可以计算出透视变换矩阵warpMatric
Figure BDA0002893518320000092
将前景图片中的每一像素点作为目标像素点乘以透视变换矩阵warpMatric，根据前景图片中目标像素点的初始坐标值计算出初始坐标值对应的目标坐标值从而获取变换图片。
在本实施场景中，可以选择前景图像的边缘或者顶角的像素点作为目标像素点，在其他实施场景中，还可以选择前景图像中心的像素点作为目标像素点。获取目标像素点在变化图片中的坐标，从而计算出透视变换矩阵warpMatric。
S305：将变换图片放置于匹配的目标显示区域，生成缺陷巡维图像。
在一个具体的实施场景中，将变换图片放置于目标显示区域，生成缺陷巡维图像。进一步地，获取样本对象图片的标识，例如样本对象图片为绝缘子故障，为缺陷巡维图像添加同样的标识。
通过上述描述可知，在本实施例中获取前景图片中至少四个初始像素点的初始坐标值，以及至少四个初始像素点对应的变换像素点的变换坐标值；根据初始坐标值和变换坐标值计算透视变换矩阵，将前景图片中的每一像素点作均乘以透视变换矩阵warpMatric，从而获取变换图片，将变换图片放置于匹配的目标显示区域，生成缺陷巡维图像，可以根据一个样本对象图片随机生成多个不同视角的缺陷巡维图像，有效扩充了样本数量。
在本申请提供的技术方案中，请参见图4，为基于对抗神经网络生成样本的方法流程示意图，由图可知以下步骤：
S401：获取随机噪声，对抗神经网络的生成器根据随机噪声生成虚假样本数据。
在一个具体的实施场景中，获取随机噪声，随机噪声是按照一定概率分布生成的。对抗神经网络的生成器根据随机噪声生成与真实数据尽可能类似虚假样本数据，对抗神经网络的生成器可以是卷积网络。虚假样本数据可以是虚假图片。
S402：获取训练样本数据，训练样本数据为真实采集图片。
在一个具体的实施场景中，获取训练样本数据，训练样本数据为真实采集图片。进一步地，可以根据需要生成的目标样本数据的内容选择训练样本数据的真实采集图片的内容。
S403：将虚假样本数据和训练样本数据输入对抗神经网络的分类器，使得分类器将虚假样本数据和训练样本数据分为真实数据集和虚假数据集。
在一个具体的实施场景中，将虚假样本数据和训练样本数据输入对抗神经网络额分类器，使得分类对虚假样本数据和训练样本数据中的图片进行判断，并将输入的图片分为真实数据集和虚假数据集。在本实施场景中，在分类器和生成器相互博弈的过程中，生成器生成的虚假样本数据将更接近真实数据，而分类器的分别真假数据的结果将更加准确，通过不断的训练迭代，可以使得虚假样本数据与真实数据的接近度更高。
S404：构建与生成器和分类器相关的估值函数，当数值满足预设估值条件时，将虚假样本数据作为缺陷巡维图像。
在一个具体的实施场景中，构建与生成器和分类器相关的估值函数。假定用于生成的虚假样本数据的随机噪声分布是pz(z)，训练样本数据中真实数据的分布是px(x)，同时对抗神经网络中的生成器和分类器分别为G和D，则对抗神经网络的目标可以通过如下公式描述：
Figure BDA0002893518320000101
其中，D(x)表示x来源于真实数据的分布，即训练样本数据，理想情况下，D(x)＝1，logD(x)＝0。若是分类器D不理想，则D(x)输出越小，logD(x)则会越小。G(z)表示随机噪声经过生成器后生成的虚假样本数据，D(G(z))则是分类器认为生成样本属于真实样本的概率，理想情况下这个数值为0，但当性能越不好，D(G(z))越大，log(1-D(G(z)))就会越小。总而言之，上述公式中后面两项期望的和越大，分类器识别能力越好。
根据估值函数V(G，D)前面的min/max可知，本公式最终的目标是求外面的minG，生成器G的目标是让V的值最小，达到虚假样本数据可以以假乱真的目的；而内部嵌套的maxD，则代表分类器D是在生成器G给定的情况下，最大化V，即给定生成器，得到识别能力最好的分辨器。
根据上述公式求解分类器的最优解。对上述公式中原有的V(G，D)对期望公式展开可得：
V(G，D)＝∫xpdata(x)log(D(x))+∫zpz(z)log(1-D(g(z)))dz
令g(z)＝x，并进行换元，可得：
V(G，D)＝∫xpdata(x)log(D(x))+pg(x)log(1-D(x))dx
其中，p_g(x)实际上代表了由z生成的x的分布。
令：pdata(x)＝a，pg(x)＝b，D(x)＝y
那么可以得到积分内的积分函数：
f(y)＝a log(y)+b log(1-y)
对f(y)求一阶导和二阶导，并求出极值点：
Figure BDA0002893518320000111
Figure BDA0002893518320000112
Figure BDA0002893518320000113
Figure BDA0002893518320000114
是极值点，而由于二阶导恒小于0，该极值点是最大值，且f(y)有且仅有这一个最大值。因此，我们可以得到：
Figure BDA0002893518320000115
当x变换的时候，对于每个x，y都可以取到相应的唯一最大值，因此等号可以取到，当且仅当y＝a/(a+b)时取到，即：
Figure BDA0002893518320000116
在获取到分类器的最优解后，令最优生成器为
Figure BDA0002893518320000117
此时，V(G，D)由于D已经固定，转化为根据G求最小值位置。
令：
Figure BDA0002893518320000118
其中，我们通过添加分子2，构造了两个KL(Kullback-Leibler)散度，KL散度一般指相对熵。相对熵(relative entropy)，又被称为Kullback-Leibler散度(Kullback-Leibler divergence)或信息散度(information divergence)，是两个概率分布(probability distribution)间差异的非对称性度量。KL散度是大于等于0的。假设存在两个分布A和B，且这两个分布的平均分布，即C＝(A+B)/2，则它们之间的JS散度是A与C的KL散度和B与C的KL散度的二分之一，即：
Figure BDA0002893518320000119
由JS散度(Jensen-Shannon divergence)的性质，当且仅当p_data(x)＝p_g(x)的时候，C(G)取到最小值-log4。可以发现，此时最优生成器恰好恒为1/2。通过上面的推导，证明了这一优化问题是有解的以及最优分类器的解最终收敛到1/2。
通过上述描述可知，在本实施例中通过构建与生成器和分类器相关的估值函数，分别求出生成器和分类器的最优解，得出优分类器的解最终收敛到1/2，优生成器恰好恒为1/2，从而获取虚假样本数据何时可以作为缺陷巡维图像。
在本申请提供的技术方案中，请参见图5，为图像迭代更新模型评价方法的流程示意图，由图可知以下步骤：
S501：分别从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库。
在一个具体的实施场景中，从供电公司的主网、变电站和配网获取原始样本数据，原始样本数据包括正数据(例如，没有故障的端子、线缆等等)，也包括负数据(例如，存在故障的端子、线缆等等)。由于供电公司的主网、变电站、配网采用的设备不尽相同，此外各个设备所处的环境也不相同，因此有故障的情况也各不相同。从供电公司的主网、变电站和配网获取原始样本数据，构建样本数据库，可以有效提升样本数据库的全面性。
在其他实施场景中，样本数据库中还包括后期生成的合成样本数据，例如，可通过原始样本数据进行透视变换，获取合成样本数据。
S502：获取图像迭代更新模型，从样本数据库中选择训练样本数据，将训练样本数据输入图像迭代更新模型进行训练，获取训练后的图像迭代更新模型。
在一个具体的实施场景中，获取图像迭代更新模型，该图像迭代更新模型可以是缺陷判断模型，用于判断巡维人员上传的巡维图像中是否存在具有故障的设备。该图像迭代更新模型还可以是设备识别模型，用于识别巡维人员上传的巡维图像中是否包括目标拍摄物。从样本数据库中选择与图像迭代更新模型的功能向匹配的训练样本数据，例如获取包括有故障设备的图像数据以及包括无故障设备的图像数据，输入图像迭代更新模型进行训练。根据预设的标注判断训练是否完成，例如训练预设次数、预设时长，或者损失函数开始收敛、损失函数小于预设值等等。当训练完成后，获取训练后的图像迭代更新模型。在本实施场景中，在选择训练样本数据时，选择提供训练样本数据的训练总体，例如从主网、变电站、配网中选择一个作为训练总体。还可以根据训练样本数据的其他特征选择训练总体，例如选择晴天环境下的训练样本数据作为训练总体，选择包括端子的训练样本数据作为训练总体。或者选择在某一区域采集的训练样本数据作为训练总体。从训练总体提供的原始样本数据中选择训练样本数据。
S503：从样本数据库中选择验证样本数据，将验证样本数据输入训练后的图像迭代更新模型，获取训练后的图像迭代更新模型的输出结果。
在一个具体的实施场景中，从样本数据库中选择验证样本数据，将验证样本数据输入训练后的图像迭代更新模型，获取训练后的图像迭代更新模型的输出结果。验证样本数据可以是随机选择，或者是根据训练样本数据选择。例如，训练样本数据和验证样本数据均通过随机抽样的原理获取，来源于同一个训练总体。又例如训练样本数据和验证样本数据不是来自相同的训练总体，可能不满足独立同分布的原则。
S504：根据验证样本数据获取输出结果中的真阳性数据、真阴性数据、假阳性数据和假阴性数据。
在一个具体的实施场景中，获取验证样本数据的真实结果(包括阳性结果和阴性结果)，获取图像迭代更新模型的输出结果(包括阳性结果和阴性结果)，将两者一一对应比较，获取真阳性数据、真阴性数据、假阳性数据和假阴性数据。具体地说，针对图像迭代更新模型A的验证样本数据包括样本1-10，共10个，获取验证算法数据中的验证阳性数据，已知验证算法数据中，样本1、3、5、7、9为阳性，因此可以获取样本2、4、6、8、10为阴性。在其他实施场景中，也可以获取验证算法数据中的验证阴性数据，从而获取验证阳性数据，也可以同时获取验证阳性数据和验证阴性数据。
获取输出结果中的测试阳性数据，例如样本1、2、3、6、7为阳性，则可以获取样本4、5、8、9、10为阴性。在其他实施场景中，也可以获取输出结果中的测试阴性数据，从而获取测试阳性数据，也可以同时获取测试阳性数据和测试阴性数据。根据验证阳性数据和验证阴性数据以及测试阳性数据和测试阴性数据获取假阳性数据和/或假阴性数据，假阴性性数据即为该样本在验证算法数据中为阳性，在输出结果中为阴性的数据，例如样本5和9，则假阴性数据为2。假阳性数据即为该样本在验证算法数据中为阴性，在输出结果中为阳性的数据，例如样本2和4，则假阳性数据为2。根据验证阳性数据和验证阴性数据以及测试阳性数据和测试阴性数据获取真阳性数据和/或真阴性数据，真阴性数据即为该样本在验证算法数据中为阴性，在输出结果中也为阴性，例如样本4、8、10，则真阴性数据为3，真阳性数据即为该样本在验证算法数据中为阳性，在输出结果中也为阳性，例如样本1、3、7，则真阳性数据为3。
S505：根据真阳性数据、真阴性数据、假阳性数据和假阴性数据获取图像迭代更新模型的查准率。
在一个具体的实施场景中，Precision指被称为查准率或者是精确率，查准率(Precision)是指在所有系统判定的“真”的样本中，确实是真的的占比。可以根据以下公式计算获取：
P＝TP/(TP+FP)
其中，P为图像迭代更新模型的查准率，TP为图像迭代更新模型的真阳性数据，FP为图像迭代更新模型的假阳性数据。
根据上述公式进行计算，可以得出图像迭代更新模型A的P值为60％。
S506：根据真阳性数据、真阴性数据、假阳性数据和假阴性数据获取图像迭代更新模型的查全率。
在一个具体的实施场景中，Recall指标在中卫里常被称为查全率或者是召回率，查全率(Recall)是指在所有确实为真的样本中，被判为的“真”的占比。可以根据以下公式计算获取：
R＝TP/(TP+FN)
其中，R为图像迭代更新模型的查全率，TP为图像迭代更新模型的真阳性数据，FN为图像迭代更新模型的假阴性数据。
根据上述公式进行计算，可以得出图像迭代更新模型A的R值为60％。
S507：根据查准率和查全率获取图像迭代更新模型的F1值。
在一个具体的实施场景中，F1-score是一个综合考虑precis ion和recall的指标。可以根据以下公式计算获取：
F1＝1/(1/P+1/R)＝(2*P*R)/(P+R)
其中，P为图像迭代更新模型的查准率，R为图像迭代更新模型的查全率。
根据上述公式进行计算，可以得出图像迭代更新模型A的F1值为60％。
S508：根据查准率、查全率和F1值获取图像迭代更新模型的评估报告。
在一个具体的实施场景中，可以根据获取的验证指标，例如查准率、查全率和F1值绘制雷达图，能够更直观显示不同图像迭代更新模型的特点，方便用户对其优势和功能进行分析，从而提升对图像迭代更新模型的利用效果，也避免使用没有贡献的图像迭代更新模型，提升了判断结果的可靠性。
在其他实施场景中，验证指标包括：时效性、时间复杂度、平台依赖性、判断阈值、非极大值抑制阈值、交并比中的至少一项。
通过上述描述可知，在本实施例中通过查准率、查全率和F1值获取图像迭代更新模型的评估报告，方便用户对图像迭代更新模型的优势和功能进行分析，从而提升对图像迭代更新模型的利用效果，也避免使用没有贡献的图像迭代更新模型，提升了判断结果的可靠性。
本申请提供的技术方案中，提供了一种缺陷样本迭代更新系统，包括：
获取模块，用于获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；
管理模块，用于通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；
部署模块，用于根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；
更新模块，用于获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库。
进一步地，所述获取模块包括：
采集单元，用于获取数据采集规范，根据所述数据采集规范获取采集巡维图像；
标注单元，用于根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像；
成像单元，用于获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
本申请提供的技术方案中，还提供了一种计算机装置，包括：处理器以及储存器；
所述处理器耦接所述存储器，所述存储器被配置为存储计算机程序；
所述处理器被配置为执行所述计算机程序以实现权利要求1-4任意一项所述的方法。
由以上技术方案可知，本申请提供一种缺陷样本迭代更新方法，包括：获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库；本申请还提供了一种缺陷样本迭代更新系统以及一种计算机装置，本申请能够有效提升图像迭代更新模型生成的更新图像数据的质量，解决获取缺陷样本困难的问题。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (7)

1.一种缺陷样本迭代更新方法，其特征在于，包括：
获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；
通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；
根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；
获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库；
其中，所述获取原始巡维数据包括：
获取数据采集规范，根据所述数据采集规范获取采集巡维图像；
根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像；
所述根据所述原始巡维数据建立缺陷样本库包括：
获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
2.根据权利要求1所述的一种缺陷样本迭代更新方法，其特征在于，所述实际巡维图像生成缺陷巡维图像，包括：
对所述实际巡维图像进行风格迁移，仿射变换，透视变换，噪声添加中的至少一项，得到所述缺陷巡维图像。
3.根据权利要求1所述的一种缺陷样本迭代更新方法，其特征在于，所述结合所述缺陷样本库对图像迭代更新模型进行训练以及管理的步骤，包括：
结合所述缺陷样本库对所述图像迭代更新模型进行性能评价。
4.根据权利要求1所述的一种缺陷样本迭代更新方法，其特征在于，所述模型特征包括：
所述图像迭代更新模型的硬件资源要求、网络调用请求，巡维任务中的至少一项。
5.一种缺陷样本迭代更新系统，其特征在于，包括：
获取模块，用于获取原始巡维数据，根据所述原始巡维数据建立缺陷样本库；
管理模块，用于通过所述缺陷样本库对图像迭代更新模型进行训练以及管理；
部署模块，用于根据所述图像迭代更新模型的模型特征部署以及应用所述图像迭代更新模型；
更新模块，用于获取所述图像迭代更新模型输出的更新样本数据，将所述更新样本数据添加至所述缺陷样本库。
6.根据权利要求5所述的一种缺陷样本迭代更新系统，其特征在于，所述获取模块包括：
采集单元，用于获取数据采集规范，根据所述数据采集规范获取采集巡维图像；
标注单元，用于根据预设标注规范对所述采集巡维图像进行标注，得到实际巡维图像；
成像单元，用于获取所述实际巡维图像，根据所述实际巡维图像生成缺陷巡维图像。
7.一种计算机装置，其特征在于，包括：处理器以及储存器；
所述处理器耦接所述存储器，所述存储器被配置为存储计算机程序；
所述处理器被配置为执行所述计算机程序以实现权利要求1-4任意一项所述的方法。
CN202110034171.6A 2021-01-12 2021-01-12 一种缺陷样本迭代更新方法、系统及装置 Pending CN112749746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034171.6A CN112749746A (zh) 2021-01-12 2021-01-12 一种缺陷样本迭代更新方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034171.6A CN112749746A (zh) 2021-01-12 2021-01-12 一种缺陷样本迭代更新方法、系统及装置

Publications (1)

Publication Number Publication Date
CN112749746A true CN112749746A (zh) 2021-05-04

Family

ID=75650854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034171.6A Pending CN112749746A (zh) 2021-01-12 2021-01-12 一种缺陷样本迭代更新方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112749746A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326400A (zh) * 2021-06-29 2021-08-31 合肥高维数据技术有限公司 基于深度伪造视频检测的模型的评价方法及系统
CN113393388A (zh) * 2021-05-26 2021-09-14 联合汽车电子有限公司 一种图像增强方法及采用该方法的装置、存储介质、车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180049579A (ko) * 2016-11-03 2018-05-11 한국전기연구원 전자소자 방사선 검사장치의 결함 강조 영상 처리 방법
US20190139210A1 (en) * 2016-05-24 2019-05-09 Hitachi High-Technologies Corporation Defect classification apparatus and defect classification method
CN109800697A (zh) * 2019-01-09 2019-05-24 国网浙江省电力有限公司舟山供电公司 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN110796174A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 多类型虚拟样本的生成方法、装置、电子设备及存储介质
GB2576772A (en) * 2018-08-31 2020-03-04 Ibex Innovations Ltd X-ray Imaging system
CN111311570A (zh) * 2020-02-12 2020-06-19 江苏方天电力技术有限公司 基于无人机巡检的输电线路关键器件缺陷识别方法
WO2020143309A1 (zh) * 2019-01-09 2020-07-16 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139210A1 (en) * 2016-05-24 2019-05-09 Hitachi High-Technologies Corporation Defect classification apparatus and defect classification method
KR20180049579A (ko) * 2016-11-03 2018-05-11 한국전기연구원 전자소자 방사선 검사장치의 결함 강조 영상 처리 방법
GB2576772A (en) * 2018-08-31 2020-03-04 Ibex Innovations Ltd X-ray Imaging system
CN109800697A (zh) * 2019-01-09 2019-05-24 国网浙江省电力有限公司舟山供电公司 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
WO2020143309A1 (zh) * 2019-01-09 2020-07-16 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN110796174A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 多类型虚拟样本的生成方法、装置、电子设备及存储介质
CN111311570A (zh) * 2020-02-12 2020-06-19 江苏方天电力技术有限公司 基于无人机巡检的输电线路关键器件缺陷识别方法
CN111798409A (zh) * 2020-05-19 2020-10-20 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的pcb缺陷数据生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
位一鸣;童力;罗麟;杨珊;: "基于卷积神经网络的主变压器外观缺陷检测方法", 浙江电力, no. 04 *
杜卉然;许亮;吕帅;: "基于邻域差分滤波生成式对抗网络的数据增强方法", 计算机应用研究, no. 06 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393388A (zh) * 2021-05-26 2021-09-14 联合汽车电子有限公司 一种图像增强方法及采用该方法的装置、存储介质、车辆
CN113326400A (zh) * 2021-06-29 2021-08-31 合肥高维数据技术有限公司 基于深度伪造视频检测的模型的评价方法及系统
CN113326400B (zh) * 2021-06-29 2024-01-12 合肥高维数据技术有限公司 基于深度伪造视频检测的模型的评价方法及系统

Similar Documents

Publication Publication Date Title
CN109614935B (zh) 车辆定损方法及装置、存储介质及电子设备
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN112581443A (zh) 一种风力发电机叶片表面损伤轻量化识别方法
US11461995B2 (en) Method and apparatus for inspecting burrs of electrode slice
CN105847703A (zh) 一种图像处理方法和电子设备
CN112634340A (zh) 基于点云数据确定bim模型的方法、装置、设备和介质
CN112749746A (zh) 一种缺陷样本迭代更新方法、系统及装置
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN104065863A (zh) 图像处理方法及处理装置
CN115082611B (zh) 光照渲染方法、装置、设备和介质
CN116363585A (zh) 一种输电线路在线监测方法及系统
CN116202427A (zh) 基于无人机影像的输电线路测距方法、系统、设备及介质
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
CN114693963A (zh) 基于电力数据特征提取的识别模型训练、识别方法及装置
CN112749894A (zh) 一种缺陷检测模型评价方法以及装置
CN113281780A (zh) 对图像数据进行标注的方法、装置及电子设备
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116962612A (zh) 应用于仿真系统的视频处理方法、装置、设备及存储介质
CN113378864B (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质
CN113177975B (zh) 基于球幕相机及激光雷达的深度计算方法及三维建模方法
CN114821513A (zh) 一种基于多层网络的图像处理方法及装置、电子设备
CN113505844A (zh) 标签生成方法、装置、设备、存储介质及程序产品
CN108447107B (zh) 用于生成视频的方法和装置
CN110400363B (zh) 基于激光点云的地图构建方法和装置
CN115170970B (zh) 一种用于检测城市街道景观破损的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination