CN116596865B - 缺陷检测方法、系统及机器人 - Google Patents

缺陷检测方法、系统及机器人 Download PDF

Info

Publication number
CN116596865B
CN116596865B CN202310498165.5A CN202310498165A CN116596865B CN 116596865 B CN116596865 B CN 116596865B CN 202310498165 A CN202310498165 A CN 202310498165A CN 116596865 B CN116596865 B CN 116596865B
Authority
CN
China
Prior art keywords
model
target
defect
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310498165.5A
Other languages
English (en)
Other versions
CN116596865A (zh
Inventor
寇卫斌
朱光旭
吴海涛
王帅
史清江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute of Big Data SRIBD
Original Assignee
Shenzhen Research Institute of Big Data SRIBD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute of Big Data SRIBD filed Critical Shenzhen Research Institute of Big Data SRIBD
Priority to CN202310498165.5A priority Critical patent/CN116596865B/zh
Publication of CN116596865A publication Critical patent/CN116596865A/zh
Application granted granted Critical
Publication of CN116596865B publication Critical patent/CN116596865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了缺陷检测方法、系统及机器人，方法包括：多个客户端设备、多个第一服务端设备以及第二服务端设备进行迁移学习初始化操作；其中，迁移学习初始化操作包括：任意一个客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；客户端设备将缺陷图像输入预设的神经网络模型进行特征提取，得到缺陷图像的语义信息和显著信息；客户端设备以及第一服务端设备进行边缘联邦学习操作；第一服务端设备以及第二服务端设备进行边云联邦学习操作；客户端设备接收目标模型，并将缺陷图像输入目标模型进行缺陷检测，确定目标缺陷信息。本发明实施例中，能够实现跨场景、跨时域的迁移预测能力，提高缺陷检测的精准度。

Description

缺陷检测方法、系统及机器人
技术领域
本发明属于数据处理技术领域，尤其涉及一种缺陷检测方法、系统及机器人。
背景技术
在建筑工程项目中，由于生产工艺或人为因素，建筑物表面可能会产生划痕、裂纹、孔洞等缺陷，这些缺陷极大得降低了建筑物的质量，因此需要在质检环节将这些缺陷筛选出来，建筑工程项目质量缺陷检测主要依赖质检员的巡检和抽查。在某些建筑工程项目(例如，桥梁、大坝)中，质量缺陷信息采集的工作负荷大、危险程度高，易引发安全事故，并且质量缺陷识别依赖于质检员的知识储备，信息处理的效率低、可信度差。在数字化、信息化的浪潮下，某些项目开始使用建筑机器人(例如水下机器人、无人机等)来拍摄质量缺陷(例如，裂缝、锈蚀、孔洞等)的图片，利用机器学习或深度学习算法进行缺陷的检测，进而提高质检效率及可靠性。现有的技术方案虽然在一定程度上提高了质量缺陷检测的效率，但是其依托于机器人获取数据，将聚合数据进行模型训练，容易产生数据泄露风险。在工程建设实际中，各工程主体可能并不愿意共享质量缺陷信息，进而致使之前的技术方案无法真正的发挥大数据的潜能，导致模型泛化性能差、可拓展性低，从而降低对缺陷检测的精准度。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种缺陷检测方法、系统及机器人，能够实现跨场景、跨时域的迁移预测能力，提高缺陷检测的精准度。
第一方面，本发明提供一种缺陷检测方法，所述方法包括：
多个客户端设备、多个第一服务端设备以及第二服务端设备进行迁移学习初始化操作；
其中，所述迁移学习初始化操作包括：
任意一个所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；
所述客户端设备将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息；
所述客户端设备根据所述语义信息以及所述显著信息对所述神经网络模型进行训练，得到第一模型；
所述客户端设备将所述第一模型发送给通信连接的第一服务端设备；
所述第一服务端设备将接收到的所述第一模型发送至所述第二服务端设备；
所述第二服务端设备将接收到的所述第一模型下发至其余的所述客户端设备以及所述第一服务端设备；
所述客户端设备以及所述第一服务端设备进行边缘联邦学习操作；
其中，所述边缘联邦学习操作包括：
所述第一服务端设备接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型；
所述第一服务端设备将所述第二模型下发至所述客户端设备；
所述第一服务端设备以及所述第二服务端设备进行边云联邦学习操作；
其中，所述边云联邦学习操作包括：
所述第一服务端设备向所述第二服务端设备发送所述第二模型；
所述第二服务端设备根据接收到的所有所述第二模型对本地模型进行更新操作，得到目标模型；
所述第二服务端设备将所述目标模型发送至所述第一服务端设备，以使所述第一服务端设备发送所述目标模型至所述客户端设备；
所述客户端设备接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息。
根据本发明实施例提供的缺陷检测方法，至少有如下有益效果：首先，多个客户端设备、第一服务端设备以及第二服务端设备进行迁移学习初始化操作，客户端设备将采集到的缺陷图像输入神经网络模型进行特征提取，得到缺陷图像的语义信息和显著信息，并根据语义信息和显著信息对神经网络模型进行训练，得到第一模型，从而提高对缺陷的检测准确性以及稳定性，之后，客户端设备以及第一服务端设备进行边缘联邦学习操作，第一服务端设备接收所有客户端设备发送的多个第一模型，并进行本地更新操作，得到第二模型，并将第二模型下发至与之相连的多有客户端设备，从而使得第二模型对缺陷有更好的理解能力，扩宽缺陷识别的场景，最后，第一服务端设备以及第二服务端设备进行边云联邦学习操作，第二服务端根据接收到的所有第二模型对本地模型进行更新操作，得到目标模型，客户端设备将缺陷图像输入目标模型进行缺陷检测，确定目标缺陷信息，从而能够实现跨场景、跨时域的迁移预测能力，提高缺陷检测的精准度。
根据本发明的一些实施例，所述任意一个所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像，包括：
所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张初始图像；
对所述初始图像进行像素分析，确定裂缝像素以及背景像素；
根据所述裂缝像素生成正样本信息，并根据所述背景像素生成负样本信息；
根据所述正样本信息以及所述负样本信息生成所述缺陷图像。
根据本发明的一些实施例，所述神经网络包括语义分支和标志性分支；所述客户端设备将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息，包括：
所述客户端设备将所述缺陷图像输入所述神经网络模型进行特征提取，得到所述缺陷图像的高维特征；
所述客户端设备将所述高维特征输入所述语义分支进行语义预测，得到所述缺陷图像的语义信息；
所述客户端设备将所述高维特征输入所述标志性分支进行特征预测，得到所述缺陷图像的显著信息。
根据本发明的一些实施例，所述第一服务端设备接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型，包括：
每个所述第一服务端设备接收通信连接的所有所述客户端设备发送的多个所述第一模型；
所述第一服务端设备对所有所述第一模型进行聚合操作和联邦平均操作，直至满足预设的第一迭代条件，得到所述第二模型。
在一些实施例中，所述第二服务端设备根据接收到的所有所述第二模型对本地模型进行更新操作，得到目标模型，包括：
所述第二服务端设备对接收到的所有所述第二模型进行加权平均操作，得到全局模型；
所述第二服务端设备将所述全局模型下发至所述第一服务端设备，以使所述第一服务端设备根据所述全局模型对本地模型进行多轮迭代，直至满足预设的第二迭代条件，得到所述目标模型。
根据本发明的一些实施例，所述客户端设备接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息，包括：
所述客户端设备接收所述目标模型；
所述客户端设备将所述缺陷图像输入所述目标模型进行特征提取，得到所述缺陷图像的目标高维特征；
所述客户端设备根据所述目标高维特征对所述缺陷图像进行缺陷检测，确定所述缺陷图像的目标缺陷信息。
根据本发明的一些实施例，所述客户端设备根据所述目标高维特征对所述缺陷图像进行缺陷检测，确定所述缺陷图像的目标缺陷信息，包括：
所述客户端设备基于所述目标模型对所述目标高维特征进行语义预测以及特征预测，得到目标语义信息以及目标特征信息；
所述客户端设备对所述目标语义信息以及所述目标特征信息进行清洗操作，并将清洗后的所述目标语义信息以及所述目标特征信息进行信息合并，得到所述目标缺陷信息。
根据本发明的一些实施例，所述目标缺陷信息至少包括如下之一：
缺陷的区域信息；
缺陷的面积信息；
缺陷的位置信息。
第二方面，本发明提供一种缺陷检测系统，所述系统包括：
多个客户端设备、多个第一服务端设备以及第二服务端设备，所述第一服务端设备分别与所述第二服务端设备以及多个所述客户端设备连接；
所述客户端设备用于在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息；并根据所述语义信息以及所述显著信息对所述神经网络模型进行训练，得到第一模型；将所述第一模型发送给通信连接的第一服务端设备；
所述第一服务端设备用于将接收到的所述第一模型发送至所述第二服务端设备；
所述第二服务端设备用于将接收到的所述第一模型下发至其余的所述客户端设备以及所述第一服务端设备；
所述第一服务端设备还用于接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型；并将所述第二模型下发至所述客户端设备；向所述第二服务端设备发送所述第二模型；
所述第二服务端设备还用于根据所述第二模型对本地模型进行更新操作，得到目标模型；并将所述目标模型发送至所述第一服务端设备，以使所述第一服务端设备发送所述目标模型至所述客户端设备；
所述客户端设备还用于接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息。
第三方面，本发明提供一种机器人，设置有集成接口以及如上第二方面所述的缺陷检测系统。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的缺陷检测系统的结构示意图；
图2是本发明一个实施例提供的缺陷检测方法的流程图；
图3是图2中的步骤S101的具体方法流程图；
图4是图2中的步骤S102的具体方法流程图；
图5是图2中的步骤S103的具体方法流程图；
图6是图3中的步骤S201的具体方法流程图；
图7是图3中的步骤S202的具体方法流程图；
图8是图4中的步骤S301的具体方法流程图；
图9是图5中的步骤S402的具体方法流程图；
图10是图2中的步骤S104的具体方法流程图；
图11是图10中的步骤S903的具体方法流程图；
图12为本发明一个具体示例提供的CrackNet网络的性能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在建筑工程项目中，由于生产工艺或人为因素，建筑物表面可能会产生划痕、裂纹、孔洞等缺陷，这些缺陷极大得降低了建筑物的质量，因此需要在质检环节将这些缺陷筛选出来，建筑工程项目质量缺陷检测主要依赖质检员的巡检和抽查。在某些建筑工程项目(例如，桥梁、大坝)中，质量缺陷信息采集的工作负荷大、危险程度高，易引发安全事故，并且质量缺陷识别依赖于质检员的知识储备，信息处理的效率低、可信度差。在数字化、信息化的浪潮下，某些项目开始使用建筑机器人(例如水下机器人、无人机等)来拍摄质量缺陷(例如，裂缝、锈蚀、孔洞等)的图片，利用机器学习或深度学习算法进行缺陷的检测，进而提高质检效率及可靠性。现有的技术方案虽然在一定程度上提高了质量缺陷检测的效率，但是其依托于机器人获取数据，将聚合数据进行模型训练，容易产生数据泄露风险。在工程建设实际中，各工程主体可能并不愿意共享质量缺陷信息，进而致使之前的技术方案无法真正的发挥大数据的潜能，导致模型泛化性能差、可拓展性低，从而降低对缺陷检测的精准度。
为了解决上述问题，本发明提供了一种缺陷检测方法、系统及机器人，首先，多个客户端设备、第一服务端设备以及第二服务端设备进行迁移学习初始化操作，客户端设备将采集到的缺陷图像输入神经网络模型进行特征提取，得到缺陷图像的语义信息和显著信息，并根据语义信息和显著信息对神经网络模型进行训练，得到第一模型，从而提高对缺陷的检测准确性以及稳定性，之后，客户端设备以及第一服务端设备进行边缘联邦学习操作，第一服务端设备接收所有客户端设备发送的多个第一模型，并进行本地更新操作，得到第二模型，并将第二模型下发至与之相连的多有客户端设备，从而使得第二模型对缺陷有更好的理解能力，扩宽缺陷识别的场景，最后，第一服务端设备以及第二服务端设备进行边云联邦学习操作，第二服务端根据接收到的所有第二模型对本地模型进行更新操作，得到目标模型，客户端设备将缺陷图像输入目标模型进行缺陷检测，确定目标缺陷信息，从而能够实现跨场景、跨时域的迁移预测能力，提高缺陷检测的精准度。
下面结合附图，对本发明实施例作进一步阐述。
参考图1，图1为本发明实施例提供的缺陷检测系统的结构示意图；
在一些实施例中，本实施的缺陷检测系统包括多个客户端设备100、多个第一服务端设备200以及第二服务端设备300，第一服务端设备200分别与第二服务端设备300以及多个客户端设备100连接。
客户端设备100用于在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；将缺陷图像输入预设的神经网络模型进行特征提取，得到缺陷图像的语义信息和显著信息；并根据语义信息以及显著信息对神经网络模型进行训练，得到第一模型；将第一模型发送给通信连接的第一服务端设备200；
第一服务端设备200用于将接收到的第一模型发送至第二服务端设备300；
第二服务端设备300用于将接收到的第一模型下发至其余的客户端设备100以及第一服务端设备200；
第一服务端设备200还用于接收所有客户端设备100发送的多个第一模型，并根据所有第一模型对本地模型进行更新操作，得到第二模型；并将第二模型下发至客户端设备100；向第二服务端设备300发送第二模型；
第二服务端设备300还用于根据第二模型对本地模型进行更新操作，得到目标模型；并将目标模型发送至第一服务端设备200，以使第一服务端设备200发送目标模型至客户端设备100；
客户端设备100还用于接收目标模型，并将缺陷图像输入目标模型进行缺陷检测，确定目标缺陷信息。
需要说明的是，本实施例中的缺陷检测系统是一个层次化的结构，最顶层是由一个第二服务器设备组成，第二层是由若干第一服务器设备组成，第三层中的每一个客户端设备100再连接若干建筑机器人、无人机等，对于这三层结构中的第一服务器、第二服务器、客户端设备100上都部署有计算单元(如GPU)、存储单元(如SSD)和网络设备，所以它们都可以训练模型和其他设备交换数据或者模型。
本领域技术人员可以理解的是，图1中示出的示意图并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，下面对本实施例中的缺陷检测方法进行具体说明。
参照图2，图2是本发明一个实施例提供的缺陷检测方法的流程图，缺陷检测方法包括但不限于步骤S101至S104。
步骤S101：多个客户端设备、多个第一服务端设备以及第二服务端设备进行迁移学习初始化操作；
需要说明的是，由于客户端设备、第一服务端设备以及第二服务端设备的本地模型都是随机初始化的，会导致模型收敛较慢甚至不收敛，因此需要先进行迁移学习初始化操作，从而加速模型的收敛。
可以理解的是，客户端设备为具备图像采集功能的终端、设备等等，第一服务端设备可以为CDN(Content Delivery Network，内容分发网络)节点、LoT(Internet ofThings，物联网)节点等边缘服务器，第二服务端设备可以为公共云服务器、容量云服务器等等，本实施例不做具体限制。
步骤S102：客户端设备以及第一服务端设备进行边缘联邦学习操作；
在一些实施例中，客户端设备以及第一服务端设备进行边缘联邦学习操作，从而减少带宽占用，改善模型的泛化能力，客户端设备可以即时的处理本地数据，避免了大量等待网络延迟的时间。
步骤S103：第一服务端设备以及第二服务端设备进行边云联邦学习操作；
在一些实施例中，第一服务端设备以及第二服务端设备进行边云联邦学习操作，从而提高模型的性能好相应速度，通过联合多个客户端设备和第二服务端设备计算资源，可以实现跨设备的协作学习，提高模型的整体性能。
步骤S104：客户端设备接收目标模型，并将缺陷图像输入目标模型进行缺陷检测，确定目标缺陷信息。
在一些实施例中，客户端设备接收目标模型，并将缺陷图像输入目标模型进行缺陷检测，对缺陷图像中的缺陷进行识别，得到图像中的目标缺陷信息，从而实现对缺陷图像中目标缺陷信息的精准识别。
参照图3，图3是图2中的步骤S101的具体方法流程图，步骤S101包括但不限于包括步骤S201至S206。
步骤S201：任意一个客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；
在一些实施例中，选取任意一个客户端设备在不同视角下对目标建筑物进行图像采集，得到多张不同视角下的缺陷图像，便于后续对模型的训练，能够实现对多种缺陷的识别。
需要说明的是，客户端设备可以为携带摄像采集功能的终端，例如，手机、电脑、平板等等，目标建筑物可以为墙体、路面、隧道等等，本实施例不做具体限制。
可以理解的是，客户端设备可以采用各种型号或各种参数。例如，摄像图可以采用各种分辨率的摄像图，1920x1080，960x640等；可以采用不同的三色空间，例如，RGB(Red、Green、Blue，红色、绿色、蓝色)、Gray、CMY、HSV(Hue,Saturation,Value，色调、饱和度、值)、Lab、YUV(Luminance、Chrominance、Chroma，亮度、色度、浓度)等；还可以设置各种采集图片的时间间隔，例如500ms、1s、1.5s等等；还可以设置不同的FOV(Field of View，视场角)，例如120°等。
除了上述各种型号和参数外，对于摄像图采集图片的环境也有各种选择，进而增加数据的丰富性和泛化性。例如可以选择晴天、雨天、阴天与白天、晚上、灯光等的各种组合进行图像采集；又如，可以选择相机和建筑物之间的夹角pitch、roll(平行、+30°、-30°等)和距离(0.2m、0.3m等)的组合。
步骤S202：客户端设备将缺陷图像输入预设的神经网络模型进行特征提取，得到缺陷图像的语义信息和显著信息；
在一些实施例中，由于缺陷图像的特征复杂并且多样，通过客户端设备将缺陷图像输入神经网络模型进行特征提取，得到缺陷图像的语义信息以及显著信息，从而提高模型对缺陷图像的预测能力，提高对缺陷图像预测的准确性。
需要说明的是，本实施例中的神经网络模型为CrackNet网络，与提取特征的神经网络相比，本实施例中的CrackNet网络可以关注更多的细节信息，进一步提高缺陷提取的准确性。
步骤S203：客户端设备根据语义信息以及显著信息对神经网络模型进行训练，得到第一模型；
步骤S204：客户端设备将第一模型发送给通信连接的第一服务端设备；
步骤S205：第一服务端设备将接收到的第一模型发送至第二服务端设备；
步骤S206：第二服务端设备将接收到的第一模型下发至其余的客户端设备以及第一服务端设备；
在一些实施例中，客户端设备根据语义信息以及显著信息对神经网络模型进行训练，以提高模型对缺陷的特征识别能力，得到第一模型，客户端设备再将第一模型发送给与之通信连接的第一服务端设备上，第一服务端设备将接收到的第一模型发送至第二服务端设备，最后，第二服务端设备将接收到的第一模型下发至其余的客户端设备以及第一服务端设备，此时，所有客户端设备、第一服务端设备以及第二服务端设备上的模型都进行了初始化操作，从而加快模型的收敛速度，提高模型的训练效率，减少资源消耗。
参照图4，图4是图2中的步骤S102的具体方法流程图，步骤S102包括但不限于包括步骤S301至S302。
步骤S301：第一服务端设备接收所有客户端设备发送的多个第一模型，并根据所有第一模型对本地模型进行更新操作，得到第二模型；
步骤S302：第一服务端设备将第二模型下发至客户端设备。
在一些实施例中，第一服务端设备接收到所有客户端设备发送的多个第一模型，并根据所有第一模型对本地模型进行更新操作，更新各自的本地模型，得到第二模型，第一服务端设备再将第二模型下发至客户端设备，在经过多次迭代之后，第一服务端设备上的模型对与之相连的客户端设备的数据具有更好的理解能力。
参照图5，图5是图2中的步骤S103的具体方法流程图，步骤S103包括但不限于包括步骤S401至S403。
步骤S401：第一服务端设备向第二服务端设备发送第二模型；
步骤S402：第二服务端设备根据接收到的所有第二模型对本地模型进行更新操作，得到目标模型；
步骤S403：第二服务端设备将目标模型发送至第一服务端设备，以使第一服务端设备发送目标模型至客户端设备。
在一些实施例中，在客户端设备以及第一服务端设备进行边缘联邦学习操作之后，各个第一服务端设备都有了对各自域内的数据更强的理解能力，但是缺乏对其他域内数据的理解能力，因此所有第一服务端设备向第二服务端设备发送第二模型，第二服务端设备根据接收到的所有第二模型对本地模型进行更新操作，得到目标模型，最后，第二服务端设备将目标模型发送至第一服务端设备，以使第一服务端设备发送目标模型至客户端设备，经过多次迭代，得到的目标模型就具有了跨区域、跨时域的数据理解能力。
参照图6，图6是图3中的步骤S201的具体方法流程图，步骤S201包括但不限于包括步骤S501至S504。
步骤S501：客户端设备在不同视角下对目标建筑物进行图像采集，得到多张初始图像；
步骤S502：客户端设备对初始图像进行像素分析，确定裂缝像素以及背景像素；
步骤S503：客户端设备根据裂缝像素生成正样本信息，并根据背景像素生成负样本信息；
步骤S504：客户端设备根据正样本信息以及负样本信息生成缺陷图像。
在一些实施例中，客户端设备在不同视角下对目标建筑物进行图像采集，得到多张初始图像，再对初始图像进行像素分析，确定初始图像中的裂缝像素以及背景像素，从而能够区分不同类型的图像，准确检测图像中的目标，便于后续改善图像的质量，之后，客户端设备根据裂缝像素生成正样本信息，并根据背景像素生成负样本信息，便于后续提高模型的泛化能力和鲁棒性，最后，客户端设备根据正样本信息以及负样本信息生成缺陷图像，通过正样本信息以及负样本信息同时训练模型，使得模型更好地适应新数据并减少过拟合的风险，避免裂缝像素以及背景像素的严重失衡。
参照图7，图7是图3中的步骤S202的具体方法流程图，步骤S202包括但不限于步骤S601至步骤S603。
需要说明的是，神经网络包括语义分支和标志性分支。
步骤S601：客户端设备将缺陷图像输入神经网络模型进行特征提取，得到缺陷图像的高维特征；
在一些实施例中，客户端设备将缺陷图像输入神经网络模型，使得神经网络模型对输入的图像进行前向传递，得到一个高维的特征标识，之后再通过池化层对卷积层的输出进行下采样或者压缩操作，在保留图像显著特征的基础上减少特征的维度，将处理后的特征输入到全连接层中，得到缺陷图像的高维特征，提高了特征的鲁棒性，可以自动学习到不同尺度、不同方向和空间位置上的特征，并且通过池化层对卷积层的输出进行下采样或者压缩操作，减少特征的维度，从而降低了计算和存储的成本。
步骤S602：客户端设备将高维特征输入语义分支进行语义预测，得到缺陷图像的语义信息；
在一些实施例中，客户端设备将高维特征输入语义分支进行语义预测，能够得到图像中包含与物体、场景或者情境相关的意义和含义，得到缺陷图像的语义信息，以便在新的未见过的图像上进行准确的分类和分割。
需要说明的是，在将高维特征输入语义分支进行语义预测的过程中，需要先对缺陷图像进行目标检测，检测出图像的裂缝像素以及背景像素，并在图像中框出裂缝像素的位置，将图像中的每个像素都标注为具体的类别信息，再进行实例分割以及场景理解，从而判断出场景的性质、用途等等，提高对缺陷预测的准确性。
步骤S603：客户端设备将高维特征输入标志性分支进行特征预测，得到缺陷图像的显著信息。
在一些实施例中，客户端设备将高维特征输入标志性分支进行特征预测，预测出图像中具有吸引力、最突出的物体，得到缺陷图像的显著信息，便于后续对图像中缺陷的预测。
需要说明的是，将高维特征输入标志性分支进行特征预测的过程中，需要先对缺陷图像中的背景像素以及裂缝像素进行特征提取，得到缺陷图像的颜色信息、亮度信息、纹理信息等等，基于特征提取到的信息，标志性分支会计算每个像素点的显著值，从而能够得到每个像素点在整个图像中的重要性，最后根据计算出的显著值，将图像划分成多个区域，显著值高的区域就是缺陷图像中的显著信息。
参照图8，图8是图4中的步骤S301的具体方法流程图，步骤S301包括但不限于步骤S701至步骤S702。
步骤S701：每个第一服务端设备接收通信连接的所有客户端设备发送的多个第一模型；
步骤S702：第一服务端设备对所有第一模型进行聚合操作和联邦平均操作，直至满足预设的第一迭代条件，得到第二模型。
在一些实施例中，在进行边缘联邦学习操作的过程中，需要选择参与边缘联邦学习的设备或者节点，每个第一服务端设备接收与之通信连接的所有客户端设备发送的多个第一模型，之后第一服务端设备对接收到的所有第一模型进行模型聚合操作，即，每个模型在本地训练不同的数据集，并生成一组参数，将这些参数组合成一个全局参数，第一服务端设备对每个客户端设备的参数进行加权平均操作，得到第二模型，从而能够更好地适应用户的个性化需求，提高模型的泛化能力。
需要说明的是，第一迭代条件为第一模型达到最大的迭代次数或者模型的性能不再提高。
参考图9，图9是图5中的步骤S402的具体方法流程图，步骤S402包括但不限于步骤S801至步骤S802。
步骤S801：第二服务端设备对接收到的所有第二模型进行加权平均操作，得到全局模型；
步骤S802：第二服务端设备将全局模型下发至第一服务端设备，以使第一服务端设备根据全局模型对本地模型进行多轮迭代，直至满足预设的第二迭代条件，得到目标模型。
在一些实施例中，在进行边云联邦学习操作的过程中，第二服务端设备对接收到的所有第二模型进行全局聚合，生成全局模型，第二服务端设备将全局模型反馈给第一服务端设备，以使第一服务端设备根据全局模型对本地模型进行多轮迭代，更新本地模型参数，直至满足预设的第二迭代条件，得到目标模型，其中，第二迭代条件为模型收敛或者达到预设的迭代次数，从而有效降低了通信负载，节省大量的带宽和能源，可以实现跨设备的协作学习。
参考图10，图10是图2中的步骤S104的具体方法流程图，步骤S104包括但不限于步骤S901至步骤S903。
步骤S901：客户端设备接收目标模型；
步骤S902：客户端设备将缺陷图像输入目标模型进行特征提取，得到缺陷图像的目标高维特征；
步骤S903：客户端设备根据目标高维特征对缺陷图像进行缺陷检测，确定缺陷图像的目标缺陷信息。
在一些实施例中，在对缺陷图像进行缺陷检测的过程中，客户端设备接收目标模型，将缺陷图像输入目标模型进行特征提取，得到缺陷图像的目标高维特征，之后再根据目标高维特征对缺陷图像进行缺陷检测，确定图像的目标缺陷信息，从而能够判断目标建筑物是否有裂缝、断纹等宏观缺陷。
需要说明的是，目标缺陷信息包括但不限于包括建筑缺陷的大小、宽窄、位置等信息。
参考图11，图11是图10中的步骤S903的具体方法流程图，步骤S903包括但不限于步骤S1101至步骤S1102。
步骤S1101：客户端设备基于目标模型对目标高维特征进行语义预测以及特征预测，得到目标语义信息以及目标特征信息；
步骤S1102：客户端设备对目标语义信息以及目标特征信息进行清洗操作，并将清洗后的目标语义信息以及目标特征信息进行信息合并，得到目标缺陷信息。
在一些实施例中，客户端设备基于目标模型对目标高维特征进行语义预测以及特征预测，得到目标语义信息以及目标特征信息，从而得到缺陷图像中的缺陷信息，预测出图像中具有吸引力、最突出的物体，实现对缺陷的精准预测，之后，客户端设备对目标语义信息以及目标特征信息进行清洗操作，其中，清洗操作为对数据进行预处理，去除重复数据、处理缺失值、处理异常值等等，之后将不同来源、不同格式的数据进行格式统一化，从而剔除无用的信息、重复信息，提高数据的质量，使得分析结果更加准确和可靠，提高数据质量，并将清洗后的目标语义信息以及目标特征信息进行信息合并，将多个数据源的数据进行整合，并对合并后的数据进行聚合操作，例如，计算平均值、求和等操作，得到目标缺陷信息，通过清洗数据可以通过减少数据的数量和提高数据的质量来提高数据处理效率，从而节省时间和资源，提高缺陷检测的效率。
在一些实施例中，目标缺陷信息至少包括如下之一：缺陷的区域信息；缺陷的面积信息；缺陷的位置信息，从而实现缺陷的精准识别，提高缺陷检测效率。
在一些实施例中，本实施例还提供一种机器人，该机器人设置有集成接口以及如上述的缺陷检测系统，因此机器人享有如上述缺陷检测系统带来的有益效果，在此不再赘述。
需要说明的是，本实施例中的集成接口为Ros-Pytorch接口，从而能够将缺陷检测系统中的模块有机整合到一起并提供统一的对外API(Application ProgrammingInterface，应用程序编程接口)，这样不仅可以整个系统的智能性、减少人力资源的投入，更重要的是提高了整体系统的准确性、稳定性和泛化性。
为了更加清楚、明白地说明本实施例的缺陷检测方法，下面以具体示例进行说明：
示例一：
参考图12，图12为本发明一个具体示例提供的CrackNet网络的性能示意图。
在一些实施例中，为了特别处理建筑物裂缝问题，本实施例设计了CrackNet网络，这个网络是在BiSeNetV2基础之上优化得到的。将原来网络上的Detail Branch改成了LandMark Branch，从而提高对建筑物的细节处理能力，能够识别裂缝的宽窄、颜色深浅等。
最后通过实验证明，本实施例设计的CrackNet与、SegNet(SegmentationNetwork，语义分割网络)、DeepLabv3(Deep Labelling v3，深度级联卷积神经网络)、BiSeNetV2(Bidirectional Encoder-Decoder Network v2，双路并行交互式分割网络)相比定量和定性两方面都取得较好的结果。
参照图12，可以比较直观的发现本实施例设计的模型和其他benchmarks相比在7个数据集(3_Ren、5_Yang、DeepCrack、Eugen、forest、Sylvie、Volker)上的测试都是最接近标注数据(Mask)的。
因此，本实施例的缺陷检测方法通过摄像图采集图像数据来捕捉建筑物表面裂缝等宏观的特征信息。再采用深度学习网络，提取图像的高维特征，基于之前的提取到的高维特征进一步预测建筑缺陷的大小、宽窄、位置等信息。
由于单个机器人所处环境有限，所能识别的场景也有限，为了训练出一个全局的可以识别各个场景的模型，我们采用结构换联邦学习的框架，这种框架结合了cloud-based联邦学习和edge-based联邦学习的优势，使得模型表现更好、收敛速度更快等。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图2-11中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (8)

1.一种缺陷检测方法，其特征在于，所述方法包括：
多个客户端设备、多个第一服务端设备以及第二服务端设备进行迁移学习初始化操作；
其中，所述迁移学习初始化操作包括：
任意一个所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；
所述客户端设备将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息；
所述客户端设备根据所述语义信息以及所述显著信息对所述神经网络模型进行训练，得到第一模型；
所述客户端设备将所述第一模型发送给通信连接的第一服务端设备；
所述第一服务端设备将接收到的所述第一模型发送至所述第二服务端设备；
所述第二服务端设备将接收到的所述第一模型下发至其余的所述客户端设备以及所述第一服务端设备；
所述客户端设备以及所述第一服务端设备进行边缘联邦学习操作；
其中，所述边缘联邦学习操作包括：
所述第一服务端设备接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型；
所述第一服务端设备将所述第二模型下发至所述客户端设备；
所述第一服务端设备以及所述第二服务端设备进行边云联邦学习操作；
其中，所述第一服务端设备接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型，包括：
每个所述第一服务端设备接收通信连接的所有所述客户端设备发送的多个所述第一模型；
所述第一服务端设备对所有所述第一模型进行聚合操作和联邦平均操作，直至满足预设的第一迭代条件，得到所述第二模型；
其中，所述边云联邦学习操作包括：
所述第一服务端设备向所述第二服务端设备发送所述第二模型；
所述第二服务端设备根据接收到的所有所述第二模型对本地模型进行更新操作，得到目标模型；
所述第二服务端设备将所述目标模型发送至所述第一服务端设备，以使所述第一服务端设备发送所述目标模型至所述客户端设备；
所述客户端设备接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息；
其中，所述第二服务端设备根据接收到的所有所述第二模型对本地模型进行更新操作，得到目标模型，包括：
所述第二服务端设备对接收到的所有所述第二模型进行加权平均操作，得到全局模型；
所述第二服务端设备将所述全局模型下发至所述第一服务端设备，以使所述第一服务端设备根据所述全局模型对本地模型进行多轮迭代，直至满足预设的第二迭代条件，得到所述目标模型。
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述任意一个所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像，包括：
所述客户端设备在不同视角下对目标建筑物进行图像采集，得到多张初始图像；
所述客户端设备对所述初始图像进行像素分析，确定裂缝像素以及背景像素；
所述客户端设备根据所述裂缝像素生成正样本信息，并根据所述背景像素生成负样本信息；
所述客户端设备根据所述正样本信息以及所述负样本信息生成所述缺陷图像。
3.根据权利要求1所述的缺陷检测方法，其特征在于，所述神经网络包括语义分支和标志性分支；所述客户端设备将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息，包括：
所述客户端设备将所述缺陷图像输入所述神经网络模型进行特征提取，得到所述缺陷图像的高维特征；
所述客户端设备将所述高维特征输入所述语义分支进行语义预测，得到所述缺陷图像的语义信息；
所述客户端设备将所述高维特征输入所述标志性分支进行特征预测，得到所述缺陷图像的显著信息。
4.根据权利要求1所述的缺陷检测方法，其特征在于，所述客户端设备接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息，包括：
所述客户端设备接收所述目标模型；
所述客户端设备将所述缺陷图像输入所述目标模型进行特征提取，得到所述缺陷图像的目标高维特征；
所述客户端设备根据所述目标高维特征对所述缺陷图像进行缺陷检测，确定所述缺陷图像的目标缺陷信息。
5.根据权利要求4所述的缺陷检测方法，其特征在于，所述客户端设备根据所述目标高维特征对所述缺陷图像进行缺陷检测，确定所述缺陷图像的目标缺陷信息，包括：
所述客户端设备基于所述目标模型对所述目标高维特征进行语义预测以及特征预测，得到目标语义信息以及目标特征信息；
所述客户端设备对所述目标语义信息以及所述目标特征信息进行清洗操作，并将清洗后的所述目标语义信息以及所述目标特征信息进行信息合并，得到所述目标缺陷信息。
6.根据权利要求1所述的缺陷检测方法，其特征在于，所述目标缺陷信息至少包括如下之一：
缺陷的区域信息；
缺陷的面积信息；
缺陷的位置信息。
7.一种缺陷检测系统，其特征在于，所述系统包括：
多个客户端设备、多个第一服务端设备以及第二服务端设备，所述第一服务端设备分别与所述第二服务端设备以及多个所述客户端设备连接；
所述客户端设备用于在不同视角下对目标建筑物进行图像采集，得到多张缺陷图像；将所述缺陷图像输入预设的神经网络模型进行特征提取，得到所述缺陷图像的语义信息和显著信息；并根据所述语义信息以及所述显著信息对所述神经网络模型进行训练，得到第一模型；将所述第一模型发送给通信连接的第一服务端设备；
所述第一服务端设备用于将接收到的所述第一模型发送至所述第二服务端设备；
所述第二服务端设备用于将接收到的所述第一模型下发至其余的所述客户端设备以及所述第一服务端设备；
所述第一服务端设备还用于接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型；并将所述第二模型下发至所述客户端设备；向所述第二服务端设备发送所述第二模型；
其中，所述第一服务端设备接收所有所述客户端设备发送的多个所述第一模型，并根据所有所述第一模型对本地模型进行更新操作，得到第二模型，包括：
每个所述第一服务端设备接收通信连接的所有所述客户端设备发送的多个所述第一模型；
所述第一服务端设备对所有所述第一模型进行聚合操作和联邦平均操作，直至满足预设的第一迭代条件，得到所述第二模型；
所述第二服务端设备还用于根据所述第二模型对本地模型进行更新操作，得到目标模型；并将所述目标模型发送至所述第一服务端设备，以使所述第一服务端设备发送所述目标模型至所述客户端设备；
其中，所述第二服务端设备根据接收到的所有所述第二模型对本地模型进行更新操作，得到目标模型，包括：
所述第二服务端设备对接收到的所有所述第二模型进行加权平均操作，得到全局模型；
所述第二服务端设备将所述全局模型下发至所述第一服务端设备，以使所述第一服务端设备根据所述全局模型对本地模型进行多轮迭代，直至满足预设的第二迭代条件，得到所述目标模型；
所述客户端设备还用于接收所述目标模型，并将所述缺陷图像输入所述目标模型进行缺陷检测，确定目标缺陷信息。
8.一种机器人，其特征在于，设置有集成接口以及如权利要求7所述的缺陷检测系统。
CN202310498165.5A 2023-05-05 2023-05-05 缺陷检测方法、系统及机器人 Active CN116596865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310498165.5A CN116596865B (zh) 2023-05-05 2023-05-05 缺陷检测方法、系统及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310498165.5A CN116596865B (zh) 2023-05-05 2023-05-05 缺陷检测方法、系统及机器人

Publications (2)

Publication Number Publication Date
CN116596865A CN116596865A (zh) 2023-08-15
CN116596865B true CN116596865B (zh) 2024-04-16

Family

ID=87600000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310498165.5A Active CN116596865B (zh) 2023-05-05 2023-05-05 缺陷检测方法、系统及机器人

Country Status (1)

Country Link
CN (1) CN116596865B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132776A (zh) * 2020-08-11 2020-12-25 苏州跨视科技有限公司 基于联邦学习的视觉检测方法及系统、存储介质、设备
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN113591999A (zh) * 2021-08-03 2021-11-02 北京邮电大学 一种端边云联邦学习模型训练系统及方法
CN114584406A (zh) * 2022-05-09 2022-06-03 湖南红普创新科技发展有限公司 一种联邦学习的工业大数据隐私保护系统及方法
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN114881939A (zh) * 2022-04-20 2022-08-09 上海交通大学 一种基于联邦学习的表面缺陷检测模型训练方法
CN114897837A (zh) * 2022-05-16 2022-08-12 华北电力大学（保定） 基于联邦学习与自适应差分的电力巡检图像缺陷检测方法
CN115761378A (zh) * 2022-12-07 2023-03-07 东南大学 基于联邦学习的电力巡检图像分类和检测方法及系统
CN115760739A (zh) * 2022-11-09 2023-03-07 浙江中烟工业有限责任公司 云边协同场景下基于深度互学习的卷烟包装缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132776A (zh) * 2020-08-11 2020-12-25 苏州跨视科技有限公司 基于联邦学习的视觉检测方法及系统、存储介质、设备
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN113591999A (zh) * 2021-08-03 2021-11-02 北京邮电大学 一种端边云联邦学习模型训练系统及方法
CN114612715A (zh) * 2022-03-08 2022-06-10 西安电子科技大学 基于本地差分隐私的边缘联邦图像分类方法
CN114881939A (zh) * 2022-04-20 2022-08-09 上海交通大学 一种基于联邦学习的表面缺陷检测模型训练方法
CN114584406A (zh) * 2022-05-09 2022-06-03 湖南红普创新科技发展有限公司 一种联邦学习的工业大数据隐私保护系统及方法
CN114897837A (zh) * 2022-05-16 2022-08-12 华北电力大学（保定） 基于联邦学习与自适应差分的电力巡检图像缺陷检测方法
CN115760739A (zh) * 2022-11-09 2023-03-07 浙江中烟工业有限责任公司 云边协同场景下基于深度互学习的卷烟包装缺陷检测方法
CN115761378A (zh) * 2022-12-07 2023-03-07 东南大学 基于联邦学习的电力巡检图像分类和检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STrans-YOLOX: Fusing Swin Transformer and YOLOX for Automatic Pavement Crack Detection";Hui Luo等;《applied science》;1-17 *

Also Published As

Publication number Publication date
CN116596865A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US11727577B2 (en) Video background subtraction using depth
CN108053449A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
CN114362367A (zh) 面向云边协同的输电线路监测系统和方法、识别系统和方法
CN111709397B (zh) 一种基于多头自注意力机制的无人机变尺寸目标检测方法
CN110163076A (zh) 一种图像数据处理方法和相关装置
CN105574896B (zh) 一种面向高分辨率视频的高效背景建模方法
CN109558792B (zh) 一种基于样本和特征检测互联网徽标内容的方法和系统
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN114998251A (zh) 一种基于联邦学习的空中多视觉平台地面异常检测方法
CN111461076A (zh) 帧差法与神经网络结合的烟雾检测方法和检测系统
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN114218613A (zh) 图像篡改检测方法、装置以及计算机可读存储介质
CN116596865B (zh) 缺陷检测方法、系统及机器人
Wang et al. Structure-priority image restoration through genetic algorithm optimization
Fikri et al. Clustering green openspace using uav (unmanned aerial vehicle) with cnn (convolutional neural network)
Osuna-Coutiño et al. Structure extraction in urbanized aerial images from a single view using a CNN-based approach
US9875549B2 (en) Change detection in video data
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
Luo et al. Design of Computer Recognition System Based on Graphic Image
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN116582693A (zh) 一种基于视频资源池的摄像头调用管控方法
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
CN108268533A (zh) 一种用于图像检索的图像特征匹配方法
CN113705309A (zh) 一种景别类型判断方法、装置、电子设备和存储介质
CN111523564A (zh) 一种用于深度学习训练的sar时敏目标样本增广方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant