CN113361473A - 图像处理、模型训练方法、装置、设备、存储介质及程序 - Google Patents

图像处理、模型训练方法、装置、设备、存储介质及程序 Download PDF

Info

Publication number
CN113361473A
CN113361473A CN202110745418.5A CN202110745418A CN113361473A CN 113361473 A CN113361473 A CN 113361473A CN 202110745418 A CN202110745418 A CN 202110745418A CN 113361473 A CN113361473 A CN 113361473A
Authority
CN
China
Prior art keywords
image
fusion
processing
images
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110745418.5A
Other languages
English (en)
Other versions
CN113361473B (zh
Inventor
郝靖
王晓迪
韩树民
冯原
辛颖
谷祎
张滨
李超
龙翔
郑弘晖
彭岩
贾壮
王云浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110745418.5A priority Critical patent/CN113361473B/zh
Publication of CN113361473A publication Critical patent/CN113361473A/zh
Application granted granted Critical
Publication of CN113361473B publication Critical patent/CN113361473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理、模型训练方法、装置、设备、存储介质及程序，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可用于智能云和电网巡检场景。具体实现方案为：通过预设模型对待检测的第一图像进行特征提取，得到N个特征图像，N个特征图像的尺寸不同，并通过预设模型对N个特征图像进行至少两次融合处理，得到N个目标融合图像，N个目标融合图像的尺寸不同，进而通过预设模型对N个目标融合图像进行检测处理，得到第一图像对应的故障金具检测结果。上述过程中，通过利用预设模型可以检测出输电线路中的故障金具，降低了人力成本和时间成本，并提高了检测效率。

Description

图像处理、模型训练方法、装置、设备、存储介质及程序
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，尤其涉及一种图像处理、模型训练方法、装置、设备、存储介质及程序，可用于智能云和电网巡检场景。
背景技术
在输电线路中存在很多金属附件，这些金属附件可以称为线路金具。
线路金具长时间暴露在自然环境中，受到各种外界环境的影响，可能会出现各种类型的故障，影响输电线路的安全性。因此，实际应用中，需要定期或不定期的对线路金具进行巡检。现有技术中，通常采用人工巡检的方式。由作业人员对输电线路中的每个金具进行人工检查，以确定金具是否发生故障。
然而，上述人工巡检的方式，对线路金具的巡检效率较低，需要耗费较多的人力成本和时间成本。
发明内容
本公开提供了一种图像处理、模型训练方法、装置、设备、存储介质及程序。
根据本公开的第一方面，提供了一种图像处理方法，包括：
获取对输电线路上的至少一个金具进行拍摄得到的第一图像；
通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
根据本公开的第二方面，提供了一种模型训练方法，包括：
获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型；
通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果；
根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
根据本公开的第三方面，提供了一种图像处理装置，包括：
获取模块，用于获取对输电线路上的至少一个金具进行拍摄得到的第一图像；
特征提取模块，用于通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
根据本公开的第四方面，提供了一种模型训练装置，包括：
获取模块，用于获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型；
特征提取模块，用于通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果；
更新模块，用于根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法，或者，执行第二方面中任一项所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法，或者，执行第二方面中任一项所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者，执行第二方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为一种输电线路的示意图；
图2为本公开实施例涉及的一种系统架构的示意图；
图3为本公开实施例提供的一种图像处理方法的流程示意图；
图4为本公开实施例提供的一种图像处理结果的示意图；
图5为本公开实施例提供的一种预设模型及其图像处理过程的示意图；
图6为本公开实施例提供的一种融合处理过程示意图；
图7为本公开实施例提供的一种上采样处理的过程示意图；
图8为本公开实施例提供的另一种融合处理过程示意图；
图9为本公开实施例提供的一种模型训练方法的流程示意图；
图10为本公开实施例提供的一种图像处理装置的结构示意图；
图11为本公开实施例提供的一种模型训练装置的结构示意图；
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在输电线路中存在很多金属附件，这些金属附件可以称为线路金具。线路金具用于在导线与导线之间、绝缘子与绝缘子之间、绝缘子与杆塔之间、绝缘子与导线之间进行连接，起到传递机械负荷、电气负荷的作用，或者起到一定保护作用。
示例性的，图1为一种输电线路的示意图。图1中的矩形框中示意的是一个线路金具，该线路金具为螺栓螺母紧固件。需要说明的是，图1中除了矩形框示出的金具之外，还存在很多其他的金具，并未采用矩形框一一示出。
线路金具在运行过程中需要承受较大拉力，同时需要保证电气方面接触良好，因此，线路金具需要具有足够的机械强度以及导电性能。然而，由于线路金具长时间暴露在自然环境中，长期遭受机械应力、强电磁场、温湿度等各种外界环境的影响，通常会出现各种各样的故障，使得输电线路上的部件连接不紧固、电压传输不稳定、甚至造成输电中断等情况，影响输电线路的安全性。
实际应用中，需要定期或者不定期的对线路金具进行巡检，以便及时发现故障金具，并及时对故障金具进行处理。现有技术中，通常采用人工巡检的方式，由作业人员对输电线路中的每个金具进行人工检查，以确定金具是否发生故障。然而，上述人工巡检的方式，巡检效率较低，需要耗费较多的人力成本和时间成本。并且，受到作业人员的经验、能力等因素影响，巡检结果的准确性不高。另外，针对高压输电线路，作业人员需要处于高压高空环境中，操作危险程度高。
本公开提供一种图像处理、模型训练方法、装置、设备、存储介质及程序，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可用于智能云和电网巡检场景，以解决上述技术问题中的至少一个。
为了便于理解本公开的技术方案，下面结合图2对本公开实施例涉及的系统架构进行介绍。
图2为本公开实施例涉及的一种系统架构的示意图。如图2所示，该系统架构包括：图像采集设备、训练设备和执行设备。
其中，图像采集设备用于对输电线路中的故障金具进行图像采集，得到样本图像。图像采集设备采集得到样本图像后，将样本图像存储至样本图像数据库中。
训练设备可以对样本图像数据库中的多个样本图像进行学习、建模，得到预设模型。示例性的，在训练之前，可以对各样本图像中的故障金具的位置以及故障类型进行标注。在训练过程中，根据标注结果对多个样本图像进行学习，得到预设模型，使得预设模型具有对图像中的故障金具进行检测的能力。本公开实施例中，预设模型也可以称为目标检测模型，或者称为故障金具检测模型。
训练设备训练得到的预设模型可以部署到执行设备中。图像采集设备采集得到待检测的第一图像后，将第一图像输入执行设备。执行设备利用预设模型对第一图像进行处理，得到检测结果。检测结果可以指示第一图像中的故障金具的位置以及故障类型。
一个示例性的应用场景中，图像采集设备和执行设备可以部署在无人机中。无人机在空中飞行过程中，通过图像采集设备对输电线路进行采集，得到待检测的第一图像，并通过执行设备对第一图像进行检测处理，确定出第一图像中的故障金具的位置以及故障类型。
需要说明的是，上述系统架构以及应用场景仅作为一些可能的示例，不应该作为对本公开实施例的限定。一些应用场景中，训练设备、执行设备和数据采集设备可以是相互独立的电子设备。另一些应用场景中，训练设备和执行设备可以是同一电子设备。还有一些应用场景中，图像采集设备和执行设备可以是同一电子设备，例如，同时具有图像采集和图像处理功能的摄像头。又一些应用场景中，图像采集设备可以部署在无人机中，而执行设备部署在地面。执行设备可以对图像采集设备采集的待检测图像进行实时处理，还可以进行离线处理。
一些相关技术中，可以采用机器学习模型从第一图像中提取得到金具的特征，进而通过机器学习模型对金具特征进行分类处理，确定出金具是否故障。然而，实际应用场景中，输电线路中的金具尺寸较小，且分布较密。这样，无人机拍摄到的上千分辨率的第一图像中，一个金具可能仅占几十个像素，因此，在利用机器学习模型对第一图像进行金具特征提取时，提取到的金具特征有限，无法保证故障金具检测的准确性。
本公开提供的图像处理方法，可以通过预设模型对待检测的第一图像进行特征提取，得到N个不同尺寸的特征图像，并通过预设模型对N个特征图像进行多次融合处理，得到N个目标融合图像，以及通过预设模型对N个目标融合图像进行检测处理，得到第一图像中的故障金具及其对应的故障类型。上述过程中，通过利用预设模型来检测出输电线路中的故障金具及其故障类型，降低了人力成本和时间成本，并提高了检测效率。并且，通过对N个特征图像进行多次融合处理，使得目标融合图像的表征能力更强，因此，即使是在金具较小且分布较密的场景中，也能保证故障金具的检测准确性。
本公开实施例中，下采样处理是指对图像进行缩小处理，下采样处理也可以称为降采样(down sampled)处理。上采样处理是指对图像进行放大处理，上采样处理也可以称为升采样(up sampled)处理。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本公开实施例提供的一种图像处理方法的流程示意图。本实施例的方法可以由执行设备执行。如图3所示，本实施例的方法包括：
S301：获取对输电线路上的至少一个金具进行拍摄得到的第一图像。
一个示例性的应用场景中，无人机中部署有图像采集设备和执行设备。在无人机飞行巡检过程中，通过图像采集设备对输电线路上的至少一个金具进行拍摄得到第一图像。图像采集设备将第一图像发送给执行设备。执行设备接收到第一图像，并执行本实施例的图像处理过程，以识别出各金具是否故障以及故障金具对应的故障类型。
S302：通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数。
本实施例中，预设模型可以对第一图像进行不同尺度的特征提取，从而得到不同尺寸的特征图像。每个特征图像表征第一图像中的部分高层抽象语义信息。不同特征图像的尺寸不同，使得N个特征图像所表征的高层抽象语义信息更加全面丰富。
示例性的，可以采用N个不同的下采样系数对第一图像进行下采样处理，得到N个不同尺寸的特征图像。
S303：通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数。
本实施例中，在第一次融合处理过程中，可以将不同特征图像所表征的高层抽象语义信息以及低层空间位置信息进行结合，得到N个表征能力更强的中间融合图像。然后，在后续的融合处理过程中，可以将不同中间融合图像所表征的高层抽象语义信息以及低层空间位置信息进行结合，得到表征能力进一步增强的中间融合图像。
重复上述的融合处理过程。将M次融合处理之后得到的中间融合图像称为目标融合图像。应理解的是，当融合处理次数越多时，得到的目标融合图像的表征能力越强。
需要说明的是，本实施例中的M次融合处理所采用的融合方式可以相同或者不同，本实施例对此不作限定。
本实施例中，通过对N个特征图像进行多次融合处理，使得目标融合图像的表征能力更强，因此，即使是在金具较小且分布较密的场景中，也能保证故障金具的检测准确性。
S304：通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
本实施例中，预设模型可以对N个目标融合图像进行故障金具的检测，得到故障金具检测结果。其中，故障金具检测结果指示第一图像中的哪些金具存在故障，以及各故障金具对应的故障类型。
需要说明的是，本实施例对于故障金具的故障类型不作限定。示例性的，故障金具的故障类型可以包括但不限于：螺母缺失、螺母锈蚀、销子未打开、螺栓螺母欠扣、销子脱出、螺栓螺母安装不规范等。
举例而言，图4为本公开实施例提供的一种图像处理结果的示意图。例如，将第一图像输入预设模型，预设模型经过上述S302至S304的图像处理过程，可以输出对应的结果图像(即故障金具检测结果)。如图4所示，在结果图像中采用矩形框对故障金具进行标注。进一步的，还可以在结果图像中标注每个故障金具的故障类型(图4中未示出)。
本实施例中的预设模型为基于机器学习的网络模型，本实施例对于预设模型的具体结构不作限定。可选的，本实施例的预设模型可以为快速区域卷积神经网络(FasterRegion Convolutional Neural Networks，Faster R-CNN)模型。
本实施例提供的图像处理方法，可以通过预设模型对第一图像进行特征提取，得到N个特征图像，N个特征图像的尺寸不同，并通过预设模型对N个特征图像进行至少两次融合处理，得到N个目标融合图像，N个目标融合图像的尺寸不同，进而通过预设模型对N个目标融合图像进行检测处理，得到第一图像对应的故障金具检测结果。上述过程中，通过利用预设模型可以检测出输电线路中的故障金具，降低了人力成本和时间成本，并提高了检测效率。并且，通过对N个特征图像进行多次融合处理，使得目标融合图像的表征能力更强，因此，即使是在金具较小且分布较密的场景中，也能保证故障金具的检测准确性。
在上述实施例的基础上，下面结合一个具体的示例描述预设模型对图像处理的过程。
图5为本公开实施例提供的一种预设模型及其图像处理过程的示意图。如图5所示，预设模型中包括：特征提取网络、特征融合网络、预测分类网络。
其中，特征提取网络用于对第一图像进行特征提取，得到N个不同尺寸的特征图像。特征融合网络用于对N个特征图像进行M次融合处理，得到N个不同尺寸的目标融合图像。预测分类网络用于对N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果。
下面结合图5对预设模型的图像处理过程进行举例说明。为了便于理解，图5中以两次融合处理过程为例进行示意，即M＝2。本实施例中，假设N＝4。
参见图5，将第一图像输入特征提取网络，特征提取网络利用4个不同的下采样系数对第一图像进行下采样处理，得到4个不同尺寸的特征图像，分别为C2、C3、C4、C5。例如，假设第一图像的尺寸为2000×2000，则特征图像C2的尺寸可以为1000×1000，特征图像C3的尺寸可以为500×500，特征图像C4的尺寸可以为250×250，特征图像C5的尺寸可以为125×125。
继续参见图5，将特征图像C2、C3、C4、C5输入特征融合网络。特征融合网络对4个特征图像进行如下两次融合处理过程，得到目标融合图像N2、N3、N4、N5。
第一次融合处理过程：按照尺寸从小到大的顺序，对4个特征图像进行融合处理，得到4个不同尺寸的第一融合图像，分别为P2、P3、P4、P5。
一种可能的实现方式中，按照尺寸从小到大的顺序，对4个特征图像进行排序，排序结果为：C5、C4、C3、C2。将排序后的第1个特征图像确定为第1个第一融合图像。例如图5中，将C5确定为P5。
进一步的，对排序后的第i+1个特征图像和第i个第一融合图像进行融合处理，得到第i+1个第一融合图像。其中，i依次取1、2、3。例如，参见图5，将C4和P5进行融合得到P4，将C3和P4进行融合得到P3，将C2和P3进行融合得到P2。这样，经过第一次融合处理过程之后，得到4个第一融合图像P2、P3、P4、P5。
本实施例中，在第一次融合处理过程中，通过将小尺寸的特征图像中的高层抽象语义信息与大尺寸特征图像中更准确的空间位置信息进行融合，使得融合后的第一融合图像的表征能力更强，有利于对故障金具的定位。
第二次融合处理过程：按照尺寸从大到小的顺序，对4个第一融合图像进行融合处理，得到4个不同尺寸的目标融合图像，分别为N2、N3、N4、N5。
一种可能的实现方式中，按照尺寸从大到小的顺序，对4个第一融合图像进行排序，排序结果为：P2、P3、P4、P5。将排序后的第1个第一融合图像确定为第1个目标融合图像。例如，图5中，将P2确定为N2。
进一步的，对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像，其中，i依次取1、2、3。例如，参见图5，将P3和N2进行融合处理得到N3，将P4和N3进行融合处理得到N4，将P5和N4进行融合处理得到N5。这样，经过第二次融合处理过程之后，得到4个目标融合图像N2、N3、N4、N5。
本实施例中，在第二次融合处理过程中，通过将大尺寸的第一融合图像中的空间位置信息与小尺寸第一融合图像中的高层抽象语义信息进行融合，进一步提高了目标融合图像的表征能力更强，有利于对故障金具的定位。
继续参见图5，将目标融合图像N2、N3、N4、N5输入预测分类网络。预测分类网络对上述4个目标融合图像进行故障金具检测处理，得到第一图像对应的故障金具检测结果。
本实施例中，在对进行融合处理时，先按照尺寸从小到大的顺序对N个特征图像进行融合处理，得到N个第一融合图像，然后，再按照尺寸从大到小的顺序，对N个第一融合图像进行融合处理，得到N个目标融合图像，实现了双向特征融合。通过双向特征融合，使得目标融合图像的表征能力加强，能够提高对故障金具的检测能力。即使是在输电线路中金具尺寸较小、分布较密的场景中，也能够保证对故障金具的检测效果。
在上述任意实施例的基础上，下面结合一个更具体的实施例详细描述第一次融合处理过程。
图6为本公开实施例提供的一种融合处理过程示意图。本实施例示例的是“对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像”的过程。其中，Ck作为“排序后的第i+1个特征图像”，Pk+1作为第i个第一融合图像。
如图6所示，特征图像Ck和第一融合图像Pk+1的融合处理过程，包括：
(1)对第一融合图像Pk+1进行放大处理，得到第一放大图像，第一放大图像的尺寸与特征图像Ck的尺寸相同。
具体的，可以根据特征图像Ck的尺寸与第一融合图像Pk+1的尺寸，确定需要对第一融合图像Pk+1进行放大处理的放大倍数。进而，根据放大倍数对第一融合图像进行上采样处理，得到第一放大图像，使得第一放大图像的尺寸与特征图像Ck的尺寸相同。
(2)对第一放大图像进行卷积处理，得到第一卷积图像。
本实施例中，对第一放大图像进行卷积处理时，可以采用可变形卷积网络(Deformable Convlolutional Networks，DCN)进行卷积处理。可选的，确定第一放大图像中各像素对应的第一偏移信息，第一偏移信息包括横向偏移量和/或纵向偏移量；根据第一偏移信息，对第一放大图像中的像素进行偏移处理，得到第一偏移图像；对第一偏移图像进行卷积处理，得到第一卷积图像。
卷积过程可以采样如下公式表示：
Figure BDA0003142555360000111
其中，x为第一放大图像，p0为卷积核的中心位置，pn为卷积核的其他位置相对于中心位置的一个整数偏移量，其大小范围在卷积核大小的方形方格内，Δpn表示第一放大图像中像素的偏移量，w为卷积核当前位置的权重函数，y为卷积处理得到的第一卷积图像。
本实施例中，通过对第一放大图像中的每一个像素点增加偏移量，使得卷积核在进行计算时可以在当前位置灵活采样而不限于在卷积核的区域大小内，能够提高卷积处理后的图像的特征表达能力。
(3)对特征图像Ck和第一卷积图像进行融合处理，得到第一融合图像Pk。
示例性的，对特征图像Ck进行1×1卷积处理后，与第一卷积图像中的对应像素进行相加融合处理，得到第一融合图像Pk。
一种可能的实现方式中，在对第一融合图像Pk+1进行上采样处理时，可以不用采用现有的基于邻近差值的上采样处理方式，而是采用自适应卷积核进行上采样处理，即，第一融合图像Pk+1中不同像素位置对应的卷积核不同。通过采用自适应卷积核进行上采样处理，利用了第一融合图像Pk+1中更广泛的语义信息，使得上采样时具有较大的感受野，从而融合后得到的Pk与Pk+1之间具有全局范围内的联系，提高融合处理的效果。下面结合图7描述上采样处理过程。
图7为本公开实施例提供的一种上采样处理的过程示意图。本实施中，为了描述方便，将待上采样处理的图像称为输入图像，将上采样处理后的图像称为输出图像。假设输入图像(H×W×C)中在横向包括的像素的数量为H，在纵向包括的像素的数量为W，通道的数量为C。输出图像(σH×σW×C)中在横向包括的像素的数量为σH，在纵向包括的像素的数量为σW，通道的数量为C。其中，所述σ为放大倍数。
如图7所示，对输入图像(H×W×C)进行上采样处理的过程可以包括：
(1)对输入图像(H×W×C)进行卷积处理，得到第二卷积图像(H×W×σ2×k2)，第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k。
参见图7，可以采用1×1卷积核对输入图像(H×W×C)进行卷积处理，得到图像(H×W×C1)，这样可以降低输入图像的通道数量，减少后续计算量。然后采用3×3卷积核对图像(H×W×C1)进行卷积处理，得到第二卷积图像(H×W×σ2×k2)。
(2)对第二卷积图像(H×W×σ2×k2)进行变形处理，得到变形图像(σH×σW×k2)。变形图像(σH×σW×k2)在横向包括σH个像素，在纵向包括σW个像素，通道数为k2。
(3)对变形图像(σH×σW×k2)进行归一化处理，得到归一化图像(σH×σW×k2)。归一化图像(σH×σW×k2)在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2。
(4)根据卷积核的尺寸k×k，从归一化图像(σH×σW×k2)中确定出所述σH×σW个卷积核。
(5)根据放大倍数σ，对输入图像(H×W×C)进行扩充处理，得到扩充图像(σH×σW×C)。扩充图像在横向包括σH个像素，在纵向包括σW个像素，通道数为C。
示例性的，可以根据放大倍数，对输入图像进行填充(padding)操作，以得到扩充图像(σH×σW×C)。
(6)将扩充图像(σH×σW×C)和σH×σW个卷积核进行卷积处理，得到输出图像(σH×σW×C)。
应理解，该步骤进行卷积处理时，扩充图像中的每个像素对应不同的卷积核，相同像素位置的不同通道可以共用同一个卷积核。
在上述任意实施例的基础上，下面结合一个更具体的实施例详细描述第二次融合处理过程。
图8为本公开实施例提供的另一种融合处理过程示意图。本实施例示例的是“对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像”的过程。其中，Pk+1作为“排序后的第i+1个第一融合图像”，Nk作为第i个目标融合图像。
如图8所示，第一融合图像Pk+1和目标融合图像Nk的融合处理过程，包括：
(1)对目标融合图像Nk进行卷积处理，得到第三卷积图像。
本实施例中，对目标融合图像Nk进行卷积处理时，可以采用可变形卷积网络CDN进行卷积处理。可选的，确定目标融合图像Nk中各像素对应的第二偏移信息，第二偏移信息包括横向偏移量和/或纵向偏移量；根据第二偏移信息，对目标融合图像Nk中的像素进行偏移处理，得到第二偏移图像；对第二偏移图像进行卷积处理，得到第三卷积图像。
应理解，本实施例中基于CDN的具体卷积处理过程与图6所示实施例中的CDN卷积过程是类似的，此处不作赘述。
本实施例中，通过对目标融合图像Nk中的每一个像素点增加偏移量，使得卷积核在进行计算时可以在当前位置灵活采样而不限于在卷积核的区域大小内，能够提高卷积处理后的图像的特征表达能力。
(2)对第三卷积图像进行缩小处理，得到第一缩小图像，第一缩小图像的尺寸与第一融合图像Pk+1的尺寸相同。
具体的，可以根据第一融合图像Pk+1的尺寸与目标融合图像Nk的尺寸，确定需要对第三卷积图像进行缩小处理的缩小系数。进而，根据缩小系数对第三卷积图像进行下采样处理，得到第一缩小图像，使得第一缩小图像的尺寸与第一融合图像Pk+1的尺寸相同。
(3)对第一融合图像Pk+1和第一缩小图像进行融合处理，得到目标融合图像Nk+1。
示例性的，将第一融合图像Pk+1与第一缩小图像中的对应像素进行相加融合处理，得到目标融合图像Nk+1。
本公开实施例提供的图像处理方法，通过利用预设模型可以检测出输电线路中的故障金具，降低了人力成本和时间成本，并提高了检测效率。并且，即使是在金具较小且分布较密的场景中，也能保证故障金具的检测准确性。
上述各实施例描述了利用预设模型对第一图像中的故障金具进行检测的过程。下面结合几个具体的实施例对预设模型的训练过程进行介绍。
图9为本公开实施例提供的一种模型训练方法的流程示意图。本实施例的方法可以由训练设备执行。如图9所示，本实施例的方法包括：
S901：获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型。
具体的，利用图像采集设备对输电线路进行采集，得到多个样本图像。每个样本图像中包括一个或者多个金具。通过对每个样本图像进行人工标注，得到每个样本图像的标记结果。人工标记过程如下：由标记人员根据预设的故障类别标准，判断出输电线路中的哪些金具为故障金具。根据识别出的故障金具，对每个样本图像进行标注。例如，针对每个样本图像，标注出故障金具在该样本图像中的位置，以及故障金具对应的故障类型。进一步的，可以利用样本图像及其对应的标记结果对待训练的预设模型进行训练。
能够理解的是，在训练过程中，需要利用大量的样本图像对预设模型进行训练。而各样本图像的训练过程是类似的。本实施例中以第一样本图像对预设模型的训练过程为例进行描述。
S902：通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数。
S903：通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数。
S904：通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果。
应理解，S902至S904通过预设模型对第一样本图像的处理过程与图3所示实施例是类似的，此处不作赘述。
S905：根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
具体的，可以根据标记结果和故障金具检测结果，确定损失函数。根据损失函数对预设模型的模型参数进行更新，得到更新后的预设模型。
进一步的，确定更新后的预设模型是否收敛。若收敛，则预设模型的训练过程结束。若未收敛，则重复执行S901至S905的训练过程，直至预设模型收敛。
一些可能的实现方式中，还可以将多个样本图像划分为训练集和测试集。利用训练集中的样本图像及其标记结果，对预设模型进行训练，得到训练后的预设模型。进而，利用测试集中的样本图像及其标记结果，对训练后的预设模型进行测试，根据测试结果调整训练参数以及检测置信度阈值，对训练后的预设模型进行优化，得到优化后的预设模型。这样，优化后的预设模型可用于对待检测的第一图像进行故障金具的检测。
一种可能的实现方式中，所述M为2，S903中，通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，包括：
通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
一种可能的实现方式中，通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，包括：
通过所述预设模型对所述N个特征图像进行如下处理：
按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
将排序后的第1个特征图像确定为第1个第一融合图像；
对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像；
其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，包括：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
一种可能的实现方式中，对第i个第一融合图像进行放大处理，得到第一放大图像，包括：
确定所述第i个第一融合图像对应的σH×σW个卷积核，其中，所述σ为放大倍数，所述H为所述第i个第一融合图像在横向包括像素的数量，所述W为所述第i个第一融合图像在纵向包括像素的数量；
根据所述放大倍数，对所述第i个融合图像进行扩充处理，得到扩充图像，所述扩充图像在横向包括σH个像素，所述扩充图像在纵向包括σW个像素；
将所述扩充图像和所述σH×σW个卷积核进行卷积处理，得到所述第一放大图像。
一种可能的实现方式中，确定所述第i个第一融合图像对应的σH×σW个卷积核核，包括：
对所述第i个第一融合图像进行卷积处理，得到第二卷积图像，所述第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k；
对所述第二卷积图像进行变形处理，得到变形图像，所述变形图像在横向包括σH个像素，所述变形图像在纵向包括σW个像素，所述变形图像的通道数为k2；
根据所述变形图像，确定所述σH×σW个卷积核。
一种可能的实现方式中，根据所述变形图像，确定所述σH×σW个卷积核，包括：
对所述变形图像进行归一化处理，得到归一化图像，所述归一化图像在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2；
根据所述卷积核的尺寸k×k，从所述归一化图像确定出所述σH×σW个卷积核。
一种可能的实现方式中，对所述第一放大图像进行卷积处理，得到第一卷积图像，包括：
确定所述第一放大图像中各像素对应的第一偏移信息，所述第一偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第一偏移信息，对所述第一放大图像中的像素进行偏移处理，得到第一偏移图像；
对所述第一偏移图像进行卷积处理，得到所述第一卷积图像。
一种可能的实现方式中，通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标第二融合图像，包括：
通过所述预设模型对所述N个第一融合图像进行如下处理：
按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
将排序后的第1个第一融合图像确定为第1个目标融合图像；
对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；
其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像，包括：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
一种可能的实现方式中，对第i个目标融合图像进行卷积处理，得到第三卷积图像，包括：
确定所述第i个目标融合图像中各像素对应的第二偏移信息，所述第二偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第二偏移信息，对所述第i个目标融合图像中的像素进行偏移处理，得到第二偏移图像；
对所述第二偏移图像进行卷积处理，得到所述第三卷积图像。
本实施例提供的模型训练方法，包括：获取第一样本图像和所述第一样本图像对应的标记结果，通过预设模型对第一样本图像进行特征提取，得到N个不同尺寸的特征图像，通过预设模型对N个特征图像进行至少两次融合处理，得到N个不同尺寸的目标融合图像，通过预设模型对N个目标融合图像进行检测处理，得到第一样本图像对应的故障金具检测结果，进而，根据标记结果和故障金具检测结果，更新预设模型的模型参数。通过上述过程，使得预设模型具有对故障金具的检测能力，这样，可以利用预设模型对输电线路中的故障金具进行检测，降低人力成本和时间成本，提高检测效率。并且，通过对N个特征图像进行多次融合处理，使得目标融合图像的表征能力更强，因此，即使是在金具较小且分布较密的场景中，预设模型也能保证故障金具的检测准确性。
图10为本公开实施例提供的一种图像处理装置的结构示意图。本实施例的装置可以为软件和/或硬件的形式。如图10所示，本实施例提供的图像处理装置1000，包括：获取模块1001、特征提取模块1002、特征融合模块1003、检测模块1004。
其中，获取模块1001，用于获取对输电线路上的至少一个金具进行拍摄得到的第一图像；
特征提取模块1002，用于通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块1003，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块1004，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
一种可能的实现方式中，所述M为2，所述特征融合模块1003包括：
第一融合单元，用于通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
第二融合单元，用于通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
一种可能的实现方式中，所述第一融合单元包括：
第一排序子单元，用于按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
第一确定子单元，用于将排序后的第1个特征图像确定为第1个第一融合图像；
第一融合子单元，用于对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，所述第一融合子单元具体用于：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
一种可能的实现方式中，所述第一融合子单元具体用于：
确定所述第i个第一融合图像对应的σH×σW个卷积核，其中，所述σ为放大倍数，所述H为所述第i个第一融合图像在横向包括像素的数量，所述W为所述第i个第一融合图像在纵向包括像素的数量；
根据所述放大倍数，对所述第i个融合图像进行扩充处理，得到扩充图像，所述扩充图像在横向包括σH个像素，所述扩充图像在纵向包括σW个像素；
将所述扩充图像和所述σH×σW个卷积核进行卷积处理，得到所述第一放大图像。
一种可能的实现方式中，所述第一融合子单元具体用于：
对所述第i个第一融合图像进行卷积处理，得到第二卷积图像，所述第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k；
对所述第二卷积图像进行变形处理，得到变形图像，所述变形图像在横向包括σH个像素，所述变形图像在纵向包括σW个像素，所述变形图像的通道数为k2；
根据所述变形图像，确定所述σH×σW个卷积核。
一种可能的实现方式中，所述第一融合子单元具体用于：
对所述变形图像进行归一化处理，得到归一化图像，所述归一化图像在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2；
根据所述卷积核的尺寸k×k，从所述归一化图像确定出所述σH×σW个卷积核。
一种可能的实现方式中，所述第一融合子单元具体用于：
确定所述第一放大图像中各像素对应的第一偏移信息，所述第一偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第一偏移信息，对所述第一放大图像中的像素进行偏移处理，得到第一偏移图像；
对所述第一偏移图像进行卷积处理，得到所述第一卷积图像。
一种可能的实现方式中，所述第二融合单元包括：
第二排序子单元，用于按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
第二确定子单元，用于将排序后的第1个第一融合图像确定为第1个目标融合图像；
第二融合子单元，用于对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，所述第二融合子单元具体用于：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
一种可能的实现方式中，所述第二融合子单元具体用于：
确定所述第i个目标融合图像中各像素对应的第二偏移信息，所述第二偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第二偏移信息，对所述第i个目标融合图像中的像素进行偏移处理，得到第二偏移图像；
对所述第二偏移图像进行卷积处理，得到所述第三卷积图像。
本实施例提供的图像处理装置，可用于执行上述实施例提供的图像处理方法，其实现原理和技术效果类似，此处不作赘述。
图11为本公开实施例提供的一种模型训练装置的结构示意图。本实施例的装置可以为软件和/或硬件的形式。如图11所示，本实施例提供的模型训练装置1100，包括：获取模块1101、特征提取模块1102、特征融合模块1103、检测模块1104和更新模块1105。
其中，获取模块1101，用于获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型；
特征提取模块1102，用于通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块1103，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块1104，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果；
更新模块1105，用于根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
一种可能的实现方式中，所述M为2，所述特征融合模块1103包括：
第一融合单元，用于通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
第二融合单元，用于通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
一种可能的实现方式中，所述第一融合单元包括：
第一排序子单元，用于按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
第一确定子单元，用于将排序后的第1个特征图像确定为第1个第一融合图像；
第一融合子单元，用于对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，所述第一融合子单元具体用于：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
一种可能的实现方式中，所述第一融合子单元具体用于：
确定所述第i个第一融合图像对应的σH×σW个卷积核，其中，所述σ为放大倍数，所述H为所述第i个第一融合图像在横向包括像素的数量，所述W为所述第i个第一融合图像在纵向包括像素的数量；
根据所述放大倍数，对所述第i个融合图像进行扩充处理，得到扩充图像，所述扩充图像在横向包括σH个像素，所述扩充图像在纵向包括σW个像素；
将所述扩充图像和所述σH×σW个卷积核进行卷积处理，得到所述第一放大图像。
一种可能的实现方式中，所述第一融合子单元具体用于：
对所述第i个第一融合图像进行卷积处理，得到第二卷积图像，所述第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k；
对所述第二卷积图像进行变形处理，得到变形图像，所述变形图像在横向包括σH个像素，所述变形图像在纵向包括σW个像素，所述变形图像的通道数为k2；
根据所述变形图像，确定所述σH×σW个卷积核。
一种可能的实现方式中，所述第一融合子单元具体用于：
对所述变形图像进行归一化处理，得到归一化图像，所述归一化图像在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2；
根据所述卷积核的尺寸k×k，从所述归一化图像确定出所述σH×σW个卷积核。
一种可能的实现方式中，所述第一融合子单元具体用于：
确定所述第一放大图像中各像素对应的第一偏移信息，所述第一偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第一偏移信息，对所述第一放大图像中的像素进行偏移处理，得到第一偏移图像；
对所述第一偏移图像进行卷积处理，得到所述第一卷积图像。
一种可能的实现方式中，所述第二融合单元包括：
第二排序子单元，用于按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
第二确定子单元，用于将排序后的第1个第一融合图像确定为第1个目标融合图像；
第二融合子单元，用于对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；其中，所述i依次取1、2、......、N-1。
一种可能的实现方式中，所述第二融合子单元具体用于：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
一种可能的实现方式中，所述第二融合子单元具体用于：
确定所述第i个目标融合图像中各像素对应的第二偏移信息，所述第二偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第二偏移信息，对所述第i个目标融合图像中的像素进行偏移处理，得到第二偏移图像；
对所述第二偏移图像进行卷积处理，得到所述第三卷积图像。
本实施例提供的模型训练装置，可用于执行上述任一方法实施例提供的模型训练方法，其实现原理和技术效果类似，此处不作赘述。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。该电子设备可以作为训练设备，或者，作为执行设备。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如图像处理方法或者模型训练方法。例如，在一些实施例中，图像处理方法或者模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的图像处理方法或者模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法或者模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (37)

1.一种图像处理方法，包括：
获取对输电线路上的至少一个金具进行拍摄得到的第一图像；
通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
2.根据权利要求1所述的方法，其中，所述M为2；通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，包括：
通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
3.根据权利要求2所述的方法，其中，通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，包括：
通过所述预设模型对所述N个特征图像进行如下处理：
按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
将排序后的第1个特征图像确定为第1个第一融合图像；
对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像；
其中，所述i依次取1、2、……、N-1。
4.根据权利要求3所述的方法，其中，对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，包括：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
5.根据权利要求4所述的方法，其中，对第i个第一融合图像进行放大处理，得到第一放大图像，包括：
确定所述第i个第一融合图像对应的σH×σW个卷积核，其中，所述σ为放大倍数，所述H为所述第i个第一融合图像在横向包括像素的数量，所述W为所述第i个第一融合图像在纵向包括像素的数量；
根据所述放大倍数，对所述第i个融合图像进行扩充处理，得到扩充图像，所述扩充图像在横向包括σH个像素，所述扩充图像在纵向包括σW个像素；
将所述扩充图像和所述σH×σW个卷积核进行卷积处理，得到所述第一放大图像。
6.根据权利要求5所述的方法，其中，确定所述第i个第一融合图像对应的σH×σW个卷积核，包括：
对所述第i个第一融合图像进行卷积处理，得到第二卷积图像，所述第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k；
对所述第二卷积图像进行变形处理，得到变形图像，所述变形图像在横向包括σH个像素，所述变形图像在纵向包括σW个像素，所述变形图像的通道数为k2；
根据所述变形图像，确定所述σH×σW个卷积核。
7.根据权利要求6所述的方法，其中，根据所述变形图像，确定所述σH×σW个卷积核，包括：
对所述变形图像进行归一化处理，得到归一化图像，所述归一化图像在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2；
根据所述卷积核的尺寸k×k，从所述归一化图像确定出所述σH×σW个卷积核。
8.根据权利要求4至7任一项所述的方法，其中，对所述第一放大图像进行卷积处理，得到第一卷积图像，包括：
确定所述第一放大图像中各像素对应的第一偏移信息，所述第一偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第一偏移信息，对所述第一放大图像中的像素进行偏移处理，得到第一偏移图像；
对所述第一偏移图像进行卷积处理，得到所述第一卷积图像。
9.根据权利要求2至8任一项所述的方法，其中，通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像，包括：
通过所述预设模型对所述N个第一融合图像进行如下处理：
按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
将排序后的第1个第一融合图像确定为第1个目标融合图像；
对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；
其中，所述i依次取1、2、……、N-1。
10.根据权利要求9所述的方法，其中，对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像，包括：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
11.根据权利要求10所述的方法，其中，对第i个目标融合图像进行卷积处理，得到第三卷积图像，包括：
确定所述第i个目标融合图像中各像素对应的第二偏移信息，所述第二偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第二偏移信息，对所述第i个目标融合图像中的像素进行偏移处理，得到第二偏移图像；
对所述第二偏移图像进行卷积处理，得到所述第三卷积图像。
12.一种模型训练方法，其特征在于，包括：
获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型；
通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果；
根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
13.根据权利要求12所述的方法，其中，所述M为2，通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，包括：
通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
14.根据权利要求13所述的方法，其中，通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，包括：
通过所述预设模型对所述N个特征图像进行如下处理：
按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
将排序后的第1个特征图像确定为第1个第一融合图像；
对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像；
其中，所述i依次取1、2、……、N-1。
15.根据权利要求14所述的方法，其中，对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，包括：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
16.根据权利要求13至15任一项所述的方法，其中，通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像，包括：
通过所述预设模型对所述N个第一融合图像进行如下处理：
按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
将排序后的第1个第一融合图像确定为第1个目标融合图像；
对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；
其中，所述i依次取1、2、……、N-1。
17.根据权利要求16所述的方法，其中，对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像，包括：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
18.一种图像处理装置，包括：
获取模块，用于获取对输电线路上的至少一个金具进行拍摄得到的第一图像；
特征提取模块，用于通过预设模型对所述第一图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一图像对应的故障金具检测结果，所述故障金具检测结果包括：故障金具的位置及其故障类型。
19.根据权利要求18所述的装置，其中，所述M为2，所述特征融合模块包括：
第一融合单元，用于通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
第二融合单元，用于通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
20.根据权利要求19所述的装置，其中，所述第一融合单元包括：
第一排序子单元，用于按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
第一确定子单元，用于将排序后的第1个特征图像确定为第1个第一融合图像；
第一融合子单元，用于对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，其中，所述i依次取1、2、……、N-1。
21.根据权利要求20所述的装置，其中，所述第一融合子单元具体用于：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
22.根据权利要求21所述的装置，其中，所述第一融合子单元具体用于：
确定所述第i个第一融合图像对应的σH×σW个卷积核，其中，所述σ为放大倍数，所述H为所述第i个第一融合图像在横向包括像素的数量，所述W为所述第i个第一融合图像在纵向包括像素的数量；
根据所述放大倍数，对所述第i个融合图像进行扩充处理，得到扩充图像，所述扩充图像在横向包括σH个像素，所述扩充图像在纵向包括σW个像素；
将所述扩充图像和所述σH×σW个卷积核进行卷积处理，得到所述第一放大图像。
23.根据权利要求22所述的装置，其中，所述第一融合子单元具体用于：
对所述第i个第一融合图像进行卷积处理，得到第二卷积图像，所述第二卷积图像在横向包括的像素的数量为所述H，所述第二卷积图像在纵向包括的像素的数量为所述W，所述第二卷积图像的通道数为σ2×k2，所述卷积核的尺寸为k×k；
对所述第二卷积图像进行变形处理，得到变形图像，所述变形图像在横向包括σH个像素，所述变形图像在纵向包括σW个像素，所述变形图像的通道数为k2；
根据所述变形图像，确定所述σH×σW个卷积核。
24.根据权利要求23所述的装置，其中，所述第一融合子单元具体用于：
对所述变形图像进行归一化处理，得到归一化图像，所述归一化图像在横向包括σH个像素，所述归一化图像在纵向包括σW个像素，所述归一化图像的通道数为k2；
根据所述卷积核的尺寸k×k，从所述归一化图像确定出所述σH×σW个卷积核。
25.根据权利要求21至24任一项所述的装置，其中，所述第一融合子单元具体用于：
确定所述第一放大图像中各像素对应的第一偏移信息，所述第一偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第一偏移信息，对所述第一放大图像中的像素进行偏移处理，得到第一偏移图像；
对所述第一偏移图像进行卷积处理，得到所述第一卷积图像。
26.根据权利要求19至25任一项所述的装置，其中，所述第二融合单元包括：
第二排序子单元，用于按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
第二确定子单元，用于将排序后的第1个第一融合图像确定为第1个目标融合图像；
第二融合子单元，用于对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；其中，所述i依次取1、2、……、N-1。
27.根据权利要求26所述的装置，其中，所述第二融合子单元具体用于：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
28.根据权利要求27所述的装置，其中，所述第二融合子单元具体用于：
确定所述第i个目标融合图像中各像素对应的第二偏移信息，所述第二偏移信息中包括横向偏移量和/或纵向偏移量；
根据所述第二偏移信息，对所述第i个目标融合图像中的像素进行偏移处理，得到第二偏移图像；
对所述第二偏移图像进行卷积处理，得到所述第三卷积图像。
29.一种模型训练装置，包括：
获取模块，用于获取第一样本图像和所述第一样本图像对应的标记结果，所述标记结果包括故障金具在所述第一样本图像中的位置和所述故障金具的故障类型；
特征提取模块，用于通过预设模型对所述第一样本图像进行特征提取，得到N个特征图像，所述N个特征图像的尺寸不同，所述N为大于1的整数；
特征融合模块，用于通过所述预设模型对所述N个特征图像进行M次融合处理，得到N个目标融合图像，所述N个目标融合图像的尺寸不同，所述M为大于或等于2的整数；
检测模块，用于通过所述预设模型对所述N个目标融合图像进行检测处理，得到所述第一样本图像对应的故障金具检测结果；
更新模块，用于根据所述标记结果和所述故障金具检测结果，更新所述预设模型的模型参数。
30.根据权利要求29所述的装置，其中，所述M为2，所述特征融合模块包括：
第一融合单元，用于通过所述预设模型，按照尺寸从小到大的顺序，对所述N个特征图像进行融合处理，得到N个第一融合图像，所述N个第一融合图像的尺寸不同；
第二融合单元，用于通过所述预设模型，按照尺寸从大到小的顺序，对所述N个第一融合图像进行融合处理，得到所述N个目标融合图像。
31.根据权利要求30所述的装置，其中，所述第一融合单元包括：
第一排序子单元，用于按照尺寸从小到大的顺序，对所述N个特征图像进行排序；
第一确定子单元，用于将排序后的第1个特征图像确定为第1个第一融合图像；
第一融合子单元，用于对排序后的第i+1个特征图像和所述第i个第一融合图像进行融合处理，得到第i+1个第一融合图像，其中，所述i依次取1、2、……、N-1。
32.根据权利要求31所述的装置，其中，所述第一融合子单元具体用于：
对第i个第一融合图像进行放大处理，得到第一放大图像，所述第一放大图像的尺寸与所述第i+1个特征图像的尺寸相同；
对所述第一放大图像进行卷积处理，得到第一卷积图像；
对所述第i+1个特征图像和所述第一卷积图像进行融合处理，得到所述第i+1个第一融合图像。
33.根据权利要求30至32任一项所述的装置，其中，所述第二融合单元包括：
第二排序子单元，用于按照尺寸从大到小的顺序，对所述N个第一融合图像进行排序；
第二确定子单元，用于将排序后的第1个第一融合图像确定为第1个目标融合图像；
第二融合子单元，用于对排序后的第i+1个第一融合图像和所述第i个目标融合图像进行融合处理，得到第i+1个目标融合图像；其中，所述i依次取1、2、……、N-1。
34.根据权利要求33所述的装置，其中，所述第二融合子单元具体用于：
对第i个目标融合图像进行卷积处理，得到第三卷积图像；
对所述第三卷积图像进行缩小处理，得到第一缩小图像，所述第一缩小图像的尺寸与所述第i+1个第一融合图像的尺寸相同；
对所述第i+1个第一融合图像和所述第一缩小图像进行融合处理，得到所述第i+1个目标融合图像。
35.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法，或者，执行权利要求12至17中任一项所述的方法。
36.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至11中任一项所述的方法，或者，执行权利要求12至17中任一项所述的方法。
37.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的方法，或者，执行权利要求12至17中任一项所述的方法。
CN202110745418.5A 2021-06-30 2021-06-30 图像处理、模型训练方法、装置、设备、存储介质及程序 Active CN113361473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745418.5A CN113361473B (zh) 2021-06-30 2021-06-30 图像处理、模型训练方法、装置、设备、存储介质及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745418.5A CN113361473B (zh) 2021-06-30 2021-06-30 图像处理、模型训练方法、装置、设备、存储介质及程序

Publications (2)

Publication Number Publication Date
CN113361473A true CN113361473A (zh) 2021-09-07
CN113361473B CN113361473B (zh) 2023-12-08

Family

ID=77537816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745418.5A Active CN113361473B (zh) 2021-06-30 2021-06-30 图像处理、模型训练方法、装置、设备、存储介质及程序

Country Status (1)

Country Link
CN (1) CN113361473B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963300A (zh) * 2021-10-26 2022-01-21 北京百度网讯科技有限公司 目标检测方法、装置、电子设备和存储介质
WO2022227770A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 目标对象检测模型的训练方法、目标对象检测方法和设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法
CN110738139A (zh) * 2019-09-26 2020-01-31 西安工程大学 一种融合Min-Max目标的NIN车牌识别方法
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置
CN111667476A (zh) * 2020-06-09 2020-09-15 创新奇智(广州)科技有限公司 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN111738045A (zh) * 2020-01-19 2020-10-02 中国科学院上海微系统与信息技术研究所 一种图像检测方法、装置、电子设备及存储介质
CN111735815A (zh) * 2020-06-18 2020-10-02 江苏方天电力技术有限公司 一种输电线路小金具缺陷检测方法、装置及存储介质
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统
CN111881996A (zh) * 2020-08-03 2020-11-03 上海眼控科技股份有限公司 目标检测方法、计算机设备和存储介质
CN112070715A (zh) * 2020-07-30 2020-12-11 许继集团有限公司 一种基于改进ssd模型的输电线路小尺寸金具缺陷检测方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112507832A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 监控场景下的犬只检测方法、装置、电子设备和存储介质
US20210125313A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN112966742A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
CN109063753A (zh) * 2018-07-18 2018-12-21 北方民族大学 一种基于卷积神经网络的三维点云模型分类方法
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法
CN110738139A (zh) * 2019-09-26 2020-01-31 西安工程大学 一种融合Min-Max目标的NIN车牌识别方法
US20210125313A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN111738045A (zh) * 2020-01-19 2020-10-02 中国科学院上海微系统与信息技术研究所 一种图像检测方法、装置、电子设备及存储介质
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统
CN111667476A (zh) * 2020-06-09 2020-09-15 创新奇智(广州)科技有限公司 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN111735815A (zh) * 2020-06-18 2020-10-02 江苏方天电力技术有限公司 一种输电线路小金具缺陷检测方法、装置及存储介质
CN112070715A (zh) * 2020-07-30 2020-12-11 许继集团有限公司 一种基于改进ssd模型的输电线路小尺寸金具缺陷检测方法
CN111881996A (zh) * 2020-08-03 2020-11-03 上海眼控科技股份有限公司 目标检测方法、计算机设备和存储介质
CN112507832A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 监控场景下的犬只检测方法、装置、电子设备和存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112966742A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周仿荣;方明;马御棠;潘浩;: "基于YOLO v3的输电线路缺陷快速检测方法", 云南电力技术, no. 04 *
喻玲娟;王亚东;谢晓春;林;洪文;: "基于FCNN和ICAE的SAR图像目标识别方法", 雷达学报, no. 05 *
王维;陶青川;沈建军;: "改进FCN的水陆分割线提取方法", 计算机工程与设计, no. 07 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227770A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113963300A (zh) * 2021-10-26 2022-01-21 北京百度网讯科技有限公司 目标检测方法、装置、电子设备和存储介质
CN113963300B (zh) * 2021-10-26 2023-10-03 北京百度网讯科技有限公司 目标检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113361473B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
US20200175673A1 (en) Method and device for detecting defect of meal box, server, and storage medium
CN113361473B (zh) 图像处理、模型训练方法、装置、设备、存储介质及程序
CN114332697A (zh) 输电线路中多类目标故障检测方法、系统、设备及介质
CN112784765B (zh) 用于识别动作的方法、装置、设备以及存储介质
CN111337789A (zh) 一种高压输电线路中故障电气元件检测方法及检测系统
CN111539924A (zh) 一种悬垂线夹的缺陷检测方法、装置、设备及存储介质
CN115294476B (zh) 面向无人机电力巡检的边缘计算智能检测方法及设备
CN116883801A (zh) 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
CN112949767A (zh) 样本图像增量、图像检测模型训练及图像检测方法
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN113436100A (zh) 用于修复视频的方法、装置、设备、介质和产品
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN115082813A (zh) 检测方法、无人机、检测系统及介质
CN113378969B (zh) 一种目标检测结果的融合方法、装置、设备及介质
CN112967248B (zh) 生成缺陷图像样本的方法、装置、介质及程序产品
CN114120086A (zh) 路面病害识别、图像处理模型训练方法、装置及电子设备
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN113076889A (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
CN111967299B (zh) 无人机巡检方法、装置、设备及存储介质
CN113963167B (zh) 应用于目标检测的方法、装置及计算机程序产品
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN113362227B (zh) 图像处理方法、装置、电子设备及存储介质
CN114331987A (zh) 一种接线端子锈蚀全景监控图像的边缘侧轻量化处理方法
CN113393453A (zh) 用于检测自爆绝缘子的方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant