CN116883648A - 一种异物检测方法、装置、电子设备及存储介质 - Google Patents

一种异物检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116883648A
CN116883648A CN202311140164.XA CN202311140164A CN116883648A CN 116883648 A CN116883648 A CN 116883648A CN 202311140164 A CN202311140164 A CN 202311140164A CN 116883648 A CN116883648 A CN 116883648A
Authority
CN
China
Prior art keywords
result
foreign object
inputting
object detection
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311140164.XA
Other languages
English (en)
Other versions
CN116883648B (zh
Inventor
谭则杰
李鹏
王志明
田兵
徐振恒
聂少雄
钟枚汕
刘仲
樊小鹏
刘胜荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202311140164.XA priority Critical patent/CN116883648B/zh
Publication of CN116883648A publication Critical patent/CN116883648A/zh
Application granted granted Critical
Publication of CN116883648B publication Critical patent/CN116883648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0463—Neocognitrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Vascular Medicine (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种异物检测方法、装置、电子设备及存储介质。该方法包括：对于待进行异物检测的目标场景，获取通过事件相机针对所述目标场景采集得到的事件数据，并根据所述事件数据，确定事件帧；获取已训练完成的异物检测模型，其中，所述异物检测模型至少包括异物检测头，所述异物检测头包括异物定位分数分支和坐标框定位分支；将所述事件帧输入至所述异物检测模型中，并基于所述异物检测模型输出的异物定位分数结果和坐标框定位结果，确定所述目标场景的异物检测结果。本发明实施例的技术方案，实现了无需非常完备的数据集也可以对所有异物进行检测。

Description

一种异物检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种异物检测方法、装置、电子设备及存储介质。
背景技术
输电线上经常会出现各种飞行异物，例如风筝、气球、鸟类等，这些异物会给输电线带来巨大的安全隐患。如果能够及时检测异物并报警，就可以有效缓解对输电线的安全威胁。
然而，在输电线检测的场景下，目前由于异物种类较多，通常难以构建一套完备的异物数据集，而目前的方法只能检测模型的异物数据集中出现过的异物，因此目前的方法存在无法实现对所有的异物都进行检测，叩待解决。
发明内容
本发明实施例提供了一种异物检测方法、装置、电子设备及存储介质，实现了无需非常完备的数据集也可以对所有异物进行检测。
根据本发明的一方面，提供了一种异物检测方法，可以包括：
对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；
获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；
将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
根据本发明的另一方面，提供了一种异物检测装置，可以包括：
事件帧确定模块，用于对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；
异物检测模型获取模块，用于获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；
异物检测结果确定模块，用于将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
根据本发明的另一方面，提供了一种电子设备，可以包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行时实现本发明任意实施例所提供的异物检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使处理器执行时实现本发明任意实施例所提供的异物检测方法。
本发明实施例的技术方案，对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。上述技术方案，通过异物定位分数分支和坐标框定位分支防止对训练模型的数据集中的固定类别异物的过度拟合，从而提高了异物检测模型的泛化性能，实现了无需非常完备的数据集也可以对所有异物进行检测。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或是重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种异物检测方法的流程图；
图2是根据本发明实施例提供的一种异物检测方法中异物检测结果的示意图；
图3是根据本发明实施例提供的另一种异物检测方法的流程图；
图4是根据本发明实施例提供的又一种异物检测方法的流程图；
图5是根据本发明实施例提供的又一种异物检测方法中门控循环单元工作的流程图；
图6是根据本发明实施例提供的又一种异物检测方法多轴自注意力模块的示意图；
图7是根据本发明实施例提供的又一种异物检测方法中的一可选示例的示意图；
图8是根据本发明实施例提供的又一种异物检测方法中的另一可选示例的示意图；
图9是根据本发明实施例提供的一种异物检测装置的结构框图；
图10是实现本发明实施例的异物检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。“目标”、“原始”等的情况类似，在此不再赘述。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明实施例中提供的一种异物检测方法的流程图。本实施例可适用于异物检测的情况。该方法可以由本发明实施例提供的异物检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧。
其中，目标场景是待进行异物检测的场景，例如输电线场景等等。事件数据是事件相机针对目标场景采集得到的事件，事件数据例如可以是事件流。
需要注意的是，事件相机是一种仿生传感器，其与传统的帧相机不同，其不是以固定的速率捕捉图像，而是异步地测量目标场景内每个像素的亮度变化，从而根据目标场景内每个像素的亮度变化情况输出一系列事件，因此，事件相机具有高时间分辨率、高动态范围以及低功耗的优势，从而可以避免光学相机低动态范围和高功耗的缺陷，以及避免了传统光学相机在恶劣天气和功耗上的性能表现不足，以使得到的事件帧更加契合目标场景。在本发明实施例中，事件数据可以是事件相机针对预设时间段内的目标场景采集得到的一系列事件，例如，事件数据可以是针对目标场景在5秒内采集得到的一系列事件。
需要注意的是，事件相机输出的事件数据可以包括事件产生的坐标、时间和极性，但是由于事件的异步稀疏特性，需要对事件进行建帧操作，才可以得到异物检测模型的输入数据。在本发明实施例中，可以根据事件数据，确定事件帧。例如，可以是将事件数据按照其时间戳累加在时间窗口上，由于事件数据具有正负极性，因此可以将事件数据按照其时间戳累加在时间窗口上得到多通道的事件帧。再例如，可以根据事件数据，确定至少一个事件帧，可以是将事件数据按照时间窗口均分为N个窗口，即若事件数据为5秒的事件数据，在时间窗口为1秒的情况下，可以将事件数据按照时间窗口均分为5个窗口，每个窗口的长和宽分别可以为H和W；将事件数据按照其时间戳累加在其对应的时间窗口上，可以得到N个事件帧，例如每个事件帧的形状可以为。
S120、获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支。
其中，异物检测模型是用于检测目标场景中是否存在异物的模型。异物检测头是用于进行异物检测的检测头（Head）。异物定位分数分支是用于确定异物定位分数结果的分支。坐标框定位分支是用于确定坐标框定位结果的分支。异物定位分数结果是能够表征对定位的坐标框中的异物是否是真正的异物的评分的分数结果，例如在异物定位分数结果中的坐标框对应的分数为0.99的情况下，则说明定位的坐标框中的异物大概率是真正的异物，在异物定位分数结果中的分数为0.1的情况下，则说明定位的坐标框中的异物大概率是并非是异物。坐标框定位结果是能够表征定位得到的异物所位于的区域所在的坐标框的结果。
在本发明实施例中，可以预先采用训练集对异物检测模型进行训练，得到已训练完成的异物检测模型。在本发明实施例中，对训练异物检测模型的方式不作具体的限定，对训练集的获取方式不做具体的限定。
在本发明实施例中，在得到已训练完成的异物检测模型之后，还可以对异物检测模型进行测试，例如可以采用测试集对异物检测模型进行测试，具体的，可以基于测试集，采用平均召回率（Average Recall，AR）和接收者操作特征曲线下与坐标轴围成的面积（Area Under Curve，AUC）进行评估，在采用平均召回率进行评估时，其中的ARN可以表示最大检测框数为N时的平均召回率。
需要注意的是，若目标场景为输电线场景，由于目前并没有公开的输电线异物数据集，为了训练异物检测模型或验证异物检测模型对于输电线异物检测的效果，可以对输电线场景实地拍摄和/或模拟仿真一套输电线异物检测的数据集作为训练集和/或测试集。
需要注意的是，在本发明实施例中，对异物定位分数分支和坐标框定位分支的具体结构和参数不做具体的限定。
S130、将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
在本发明实施例中，可以将事件帧输入至异物检测模型中，异物检测模型可以输出异物定位分数结果和坐标框定位结果；异物定位分数结果和坐标框定位结果并不能直接作为异物检测结果，但是可以基于异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果，该异物检测结果是对目标场景内的异物进行检测的结果，异物检测结果可以是以图片的形式表示，还可以以其他的形式表示，在此不做具体的限定。
示例性的，采用本发明实施例的作为原始图像的事件帧、确定得到的目标场景的异物检测结果，以及目标场景的异物的真实结果可以如图2所示，可以看出，本发明实施例的技术方案，异物检测的准确率较高。
本发明实施例的技术方案，对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。上述技术方案，通过异物定位分数分支和坐标框定位分支防止对训练模型的数据集中的固定类别异物的过度拟合，从而提高了异物检测模型的泛化性能，实现了无需非常完备的数据集也可以对所有异物进行检测。
一种可选的技术方案，基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果，包括：根据预设分数阈值对异物检测模型输出的异物定位分数结果进行评估，得到评估结果；根据评估结果和异物检测模型输出的坐标框定位结果，确定异物检测结果。
其中，预设分数阈值可以是坐标框定位结果中的坐标框框中的是异物的最小分数。
示例性的，可以根据对异物检测结果的精准度需求确定预设分数阈值；可将异物定位分数结果中的分数与预设分数阈值进行比较评估，得到评估结果，在分数大于或等于预设分数阈值的情况下，评估结果可以表征坐标框定位结果中该分数对应的坐标框框中的是异物，在分数小于预设分数阈值的情况下，评估结果可以表征坐标框定位结果中该分数对应的坐标框框中的不是异物；可以根据评估结果对异物检测模型输出的坐标框定位结果进行处理，得到异物检测结果，例如可以根据评估结果删除坐标框定位结果中分数小于预设分数阈值的坐标框，得到异物检测结果。
在本发明实施例中，对根据预设分数阈值对异物检测模型输出的异物定位分数结果进行评估的方式不做具体的限定；对根据评估结果和异物检测模型输出的坐标框定位结果，确定异物检测结果的方式不作具体的限定。
在本发明实施例中，通过根据预设分数阈值对异物检测模型输出的异物定位分数结果进行评估得到的评估结果，和，异物检测模型输出的坐标框定位结果，确定异物检测结果，可以提高得到的异物检测结果的准确性。
图3是本发明实施例中提供的另一种异物检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，异物检测模型还包括骨干网络和卷积正则激活组合网络；将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果，包括：将事件帧输入到骨干网络中，得到第一特征图；将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果；将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果；根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧。
S220、获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支，异物检测模型还包括骨干网络和卷积正则激活组合网络。
其中，骨干网络（Backbone）是可以进行特征提取的网络。卷积正则激活组合网络（CBL）是包括卷积层正则化层和激活层的网络。
S230、将事件帧输入到骨干网络中，得到第一特征图。
其中，第一特征图是将事件帧输入到骨干网络中，骨干网络输出的特征图。
在本发明实施例中，异物检测模型可以包括4个骨干网络；可以将事件帧输入到第一个骨干网络中，得到第一特征图；将第一特征图输入到第二个骨干网络中，将第二个骨干网络输出的特征图更新为第一特征图；将更新后的第一特征图输入到第三个骨干网络中，将第三个骨干网络输出的特征图更新为第一特征图；将更新后的第一特征图输入到第四个骨干网络中，将第四个骨干网络输出的特征图更新为第一特征图。
S240、将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果。
在本发明实施例中，异物检测模型可以包括3个卷积正则激活组合网络；可以将第一特征图输入到第一个卷积正则激活组合网络中，得到第一个卷积正则激活组合网络的输出结果；将第一个卷积正则激活组合网络的输出结果输入到第二个卷积正则激活组合网络中，得到第二个卷积正则激活组合网络的输出结果；将第二个卷积正则激活组合网络的输出结果输入到第三个卷积正则激活组合网络中，得到第三个卷积正则激活组合网络的输出结果；将第三个卷积正则激活组合网络的输出结果作为卷积正则激活组合网络的输出结果。
S250、将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果。
在本发明实施例中，可以将卷积正则激活组合网络的输出结果分别输入至异物检测头的异物定位分数分支和坐标框定位分支中，得到异物定位分数结果和坐标框定位结果。
S260、根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
本发明实施例的技术方案，异物检测模型还包括骨干网络和卷积正则激活组合网络；将事件帧输入到骨干网络中，得到第一特征图；将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果；将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果；根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。上述技术方案，通过增加骨干网络和卷积正则激活组合网络，可以提取到精准度更高的特征，从而进一步提高得到的异物检测结果的准确性。
一种可选的技术方案，将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果，包括：将卷积正则激活组合网络的输出结果输入至异物定位分数分支中，得到异物定位分数结果；将卷积正则激活组合网络的输出结果输入至坐标框定位分支中，得到坐标框定位结果。
在本发明实施例中，异物定位分数分支和坐标框定位分支分别可以包括一个卷积层用于调整期对应的输入数据的通道数，异物定位分数分支和坐标框定位分支分别包括的一个卷积层的结构和/或参数不同。
示例性的，可以将卷积正则激活组合网络的输出结果输入至异物定位分数分支中，得到以形式的图片表示的异物定位分数结果。其中，B为每个批次的大小，该批次可以理解为是一次输入至异物检测模型的事件帧的数量；1为定位的坐标框对应的异物的分数，例如还可以是0.98或0.5等分数；/>为作为异物定位分数结果的图片的高；/>为作为异物定位分数结果的图片的宽。
示例性的，可以将卷积正则激活组合网络的输出结果输入至坐标框定位分支中，得到以形式的图片表示的坐标框定位结果。其中，B为每个批次的大小；4为坐标框的定位结果；/>为作为坐标框定位结果的图片的高；/>为作为坐标框定位结果的图片的宽。
本发明实施例的技术方案，通过将卷积正则激活组合网络的输出结果输入至异物定位分数分支中，得到异物定位分数结果，将卷积正则激活组合网络的输出结果输入至坐标框定位分支中，得到坐标框定位结果，可以识别广泛含义上的异物，例如在仅使用包括鸟类和气球等异物的数据集训练异物检测模型的情况下，异物检测模型还可以对于树枝和塑料袋等其它类别异物进行检测，改善了在数据集不足时的性能表现，还可以弥补数据集数量不足的问题。
另一种可选的技术方案，卷积正则激活组合网络包括目标卷积层、正则化层和激活层；将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果，包括：将第一特征图输入至目标卷积层中，并将目标卷积层的输出结果输入至正则化层中；将正则化层的输出结果输入至激活层中，得到卷积正则激活组合网络的输出结果。
其中，目标卷积层是卷积正则激活组合网络中的卷积层（Conv）。正则化层是卷积正则激活组合网络中的正则化层（Batch Normalization，BN）。激活层是卷积正则激活组合网络中的激活层，该激活层例如可以采用ReLu激活函数。
在本发明实施例中，可以通过将第一特征图输入至目标卷积层中，并将目标卷积层的输出结果输入至正则化层中；将正则化层的输出结果输入至激活层中，得到卷积正则激活组合网络的输出结果，从而可以避免过度拟合，提高模型的泛化能力，还可以提高得到的特征的精准度。
图4是本发明实施例中提供的又一种异物检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元；将事件帧输入到骨干网络中，得到第一特征图，包括：将事件帧输入至重叠卷积层中，得到位置编码结果；将位置编码结果输入至多轴自注意力模块中，得到多轴自注意力模块的输出结果；将多轴自注意力模块的输出结果输入至门控循环单元中，得到第一特征图。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体可以包括如下步骤：
S310、对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧。
S320、获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支，异物检测模型还包括骨干网络和卷积正则激活组合网络，骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元。
其中，重叠卷积层是卷积核大小大于卷积步长的卷积层。多轴自注意力模块是采用多轴自注意力（multi-axis attention）机制的模块。门控循环单元是用于得到第一特征图的门控循环单元（gated recurrent unit，GRU）。
S330、将事件帧输入至重叠卷积层中，得到位置编码结果。
在本发明实施例中，可以将事件帧输入至重叠卷积层中，以使重叠卷积层对事件帧进行位置编码，得到位置编码结果。
S340、将位置编码结果输入至多轴自注意力模块中，得到多轴自注意力模块的输出结果。
在本发明实施例中，多轴自注意力模块可以包括采用局部自注意力机制的局部自注意力机制子模块，以及采用全局自注意力机制的全局自注意力机制子模块；可以将述位置编码结果输入至局部自注意力机制子模块，并将局部自注意力机制子模块的输出结果输入至全局自注意力机制子模块，得到多轴自注意力模块的输出结果。
S350、将多轴自注意力模块的输出结果输入至门控循环单元中，得到第一特征图。
在本发明实施例中，可以将多轴自注意力模块的输出结果输入至门控循环单元中，以使门控循环单元将多轴自注意力模块的输出结果中的当前时刻对应的特征图，与上一时刻的隐藏特征进行融合，以融合时间上的信息，得到第一特征图。例如，参见图5，可以将时刻的特征图和/>时刻的隐藏特征在经过门控循环单元中的全连接层和激活层处理之后，通过点乘和求和的方式融合成/>时刻的第一特征图，并且将该第一特征图作为/>时刻的隐藏特征，用于在/>时刻确定第一特征图。
S360、将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果。
S370、将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果。
S380、根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
本发明实施例的技术方案，骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元；将事件帧输入至重叠卷积层中，得到位置编码结果；将位置编码结果输入至多轴自注意力模块中，得到多轴自注意力模块的输出结果；将多轴自注意力模块的输出结果输入至门控循环单元中，得到第一特征图。上述技术方案，可以通过重叠卷积层、多轴自注意力模块和门控循环单元，可以弥补事件相机的噪声问题和非运动不成像问题，降低事件帧中的噪声对于模型性能的影响并融合事件帧在时间上的信息，从而提高了模型对于特征提取的能力，进而提高了异物检测的准确率。
一种可选的技术方案，多轴自注意力模块包括局部注意力层、第一前向传播层、全局注意力层以及第二前向传播层；将位置编码结果输入至多轴自注意力模块中，得到多轴自注意力模块的输出结果，包括：将位置编码结果输入至局部注意力层中，得到第二特征图；将第二特征图输入至第一前向传播层中，并将第一前向传播层的输出结果输入至全局注意力层中，得到第三特征图；将第三特征图输入至第二前向传播层中，得到多轴自注意力模块的输出结果。
在本发明实施例中，局部自注意力机制子模块可以包括局部注意力层、第一前向传播层，全局自注意力机制子模块可以包括全局注意力层以及第二前向传播层。其中，局部注意力层用于针对位置编码结果的局部计算自注意力；全局注意力层用于针对局部注意力层输出的特征图的计算全局自注意力；第一前向传播层用于将第二特征图传播至全局注意力层；第二前向传播层用于将第三特征图传播至门控循环单元中。
示例性的，将位置编码结果输入至局部注意力层中，以使局部注意力层将输入进来的位置编码结果中的特征的形状变形为，再对得到的变形后的结果的局部计算自注意力，得到第二特征图，该第二特征图即为局部注意力层输出的特征图。其中，P为局部注意力层采用的局部自注意力机制的窗口大小；C为输出的第二特征图的通道数；H为得到的变形后的结果的高；H为得到的变形后的结果的宽。
示例性的，将第一前向传播层的输出结果输入至全局注意力层中，以使全局注意力层将输入进来的第一前向传播层的输出结果中的特征的形状变形为，再对得到的变形后的结果计算全局自注意力，得到第三特征图，该第三特征图即为全局注意力层输出的特征图。其中，G为全局注意力层采用的全局自注意力机制的窗口大小；C为输出的第三特征图的通道数；H为得到的变形后的结果的高；H为得到的变形后的结果的宽。
在本发明实施例中，参见图6，还可以将位置编码结果输入至局部注意力层中，得到第二特征图；将第二特征图与位置编码结果进行融合处理，根据融合处理结果更新第二特征图；将第二特征图输入至第一前向传播层中，并将第一前向传播层的输出结果输入至全局注意力层中，得到第三特征图；将第三特征图与第一前向传播层的输出结果进行融合处理，根据融合处理结果更新第三特征图；将第三特征图输入至第二前向传播层中，得到多轴自注意力模块的输出结果。
本发明实施例的技术方案，可以通过局部注意力层和全局注意力层，实现准确度更高的特征提取。
为了更好的理解上述本发明实施例的技术方案，在此提供一种可选示例。示例性的，参见图7，异物检测模型可以包括四层骨干网络、三层卷积正则激活组合网络和异物检测头；骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元；积正则激活组合网络包括目标卷积层、正则化层和激活层；异物检测头包括异物定位分数分支和坐标框定位分支；异物定位分数分支包括一个卷积层；坐标框定位分支包括一个卷积层。
为了更好的理解上述本发明实施例的技术方案，在此提供一种可选示例。示例性的，参见图8，对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，该事件数据可以是事件流；可以对事件流进行事件流建帧得到事件帧；获取已训练完成的异物检测模型，并将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果object。
需要注意的是，本发明实施例的技术方案，超越了当前主流的方案，在平均召回率和AUC的测试指标上达到行业领先水平，例如采用多尺度组合分组（MultiscaleCombinatorial Grouping，MCG）的方法与本发明实施例的定量实验结果如下表1所示，从表1中可以看出，本发明实施例的技术方案明显优于采用MCG的方法。
表1输电线异物检测的实验结果
图9为本发明实施例提供的异物检测装置的结构框图，该装置用于执行上述任意实施例所提供的异物检测方法。该装置与上述各实施例的异物检测方法属于同一个发明构思，在异物检测装置的实施例中未详尽描述的细节内容，可以参考上述异物检测方法的实施例。参见图9，该装置具体可包括：事件帧确定模块410、异物检测模型获取模块420和异物检测结果确定模块430。
其中，事件帧确定模块410，用于对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；异物检测模型获取模块420，用于获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；异物检测结果确定模块430，用于将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
可选的，异物检测模型还包括骨干网络和卷积正则激活组合网络；异物检测结果确定模块430，可以包括：第一特征图得到单元，用于将事件帧输入到骨干网络中，得到第一特征图；输出结果得到单元，用于将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果；坐标框定位结果得到单元，用于将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果；异物检测结果确定单元，用于根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。
可选的，在上述装置的基础上，骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元；第一特征图得到单元，可以包括：位置编码结果得到子单元，用于将事件帧输入至重叠卷积层中，得到位置编码结果；第一输出结果得到子单元，用于将位置编码结果输入至多轴自注意力模块中，得到多轴自注意力模块的输出结果；第一特征图得到子单元，用于将多轴自注意力模块的输出结果输入至门控循环单元中，得到第一特征图。
可选的，在上述装置的基础上，多轴自注意力模块包括局部注意力层、第一前向传播层、全局注意力层以及第二前向传播层；第一输出结果得到子单元，具体可以用于：将位置编码结果输入至局部注意力层中，得到第二特征图；将第二特征图输入至第一前向传播层中，并将第一前向传播层的输出结果输入至全局注意力层中，得到第三特征图；将第三特征图输入至第二前向传播层中，得到多轴自注意力模块的输出结果。
可选的，在上述装置的基础上，坐标框定位结果得到单元，可以包括：异物定位分数结果得到子单元，用于将卷积正则激活组合网络的输出结果输入至异物定位分数分支中，得到异物定位分数结果；坐标框定位结果得到子单元，用于将卷积正则激活组合网络的输出结果输入至坐标框定位分支中，得到坐标框定位结果。
可选的，在上述装置的基础上，卷积正则激活组合网络包括目标卷积层、正则化层和激活层；输出结果得到单元，可以包括：输出结果输入子单元，用于将第一特征图输入至目标卷积层中，并将目标卷积层的输出结果输入至正则化层中；第二输出结果得到子单元，用于将正则化层的输出结果输入至激活层中，得到卷积正则激活组合网络的输出结果。
可选的，异物检测结果确定模块430，可以包括：评估结果得到单元，用于根据预设分数阈值对异物检测模型输出的异物定位分数结果进行评估，得到评估结果；异物检测结果确定单元，用于根据评估结果和异物检测模型输出的坐标框定位结果，确定异物检测结果。
本发明实施例提供的异物检测装置，通过事件帧确定模块对于待进行异物检测的目标场景，获取通过事件相机针对目标场景采集得到的事件数据，并根据事件数据，确定事件帧；通过异物检测模型获取模块获取已训练完成的异物检测模型，其中，异物检测模型至少包括异物检测头，异物检测头包括异物定位分数分支和坐标框定位分支；通过异物检测结果确定模块将事件帧输入至异物检测模型中，并基于异物检测模型输出的异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果。上述装置，通过异物定位分数分支和坐标框定位分支防止对训练模型的数据集中的固定类别异物的过度拟合，从而提高了异物检测模型的泛化性能，实现了无需非常完备的数据集也可以对所有异物进行检测。
本发明实施例所提供的异物检测装置可执行本发明任意实施例所提供的异物检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述异物检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图10示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如异物检测方法。
在一些实施例中，异物检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的异物检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可通过其他任何适当的方式（例如，借助于固件）而被配置为执行异物检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、以及至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、以及该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或是其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行并且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种异物检测方法，其特征在于，包括：
对于待进行异物检测的目标场景，获取通过事件相机针对所述目标场景采集得到的事件数据，并根据所述事件数据，确定事件帧；
获取已训练完成的异物检测模型，其中，所述异物检测模型至少包括异物检测头，所述异物检测头包括异物定位分数分支和坐标框定位分支；
将所述事件帧输入至所述异物检测模型中，并基于所述异物检测模型输出的异物定位分数结果和坐标框定位结果，确定所述目标场景的异物检测结果；
其中，所述异物检测模型还包括骨干网络和卷积正则激活组合网络；
所述将所述事件帧输入至所述异物检测模型中，并基于所述异物检测模型输出的异物定位分数结果和坐标框定位结果，确定所述目标场景的异物检测结果，包括：
将所述事件帧输入到所述骨干网络中，得到第一特征图；
将所述第一特征图输入至所述卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果；
将所述卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果；
根据所述异物定位分数结果和所述坐标框定位结果，确定所述目标场景的异物检测结果；
其中，所述骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元。
2.根据权利要求1所述的方法，其特征在于，所述将所述事件帧输入到所述骨干网络中，得到第一特征图，包括：
将所述事件帧输入至所述重叠卷积层中，得到位置编码结果；
将所述位置编码结果输入至所述多轴自注意力模块中，得到所述多轴自注意力模块的输出结果；
将所述多轴自注意力模块的输出结果输入至所述门控循环单元中，得到第一特征图。
3.根据权利要求2所述的方法，其特征在于，所述多轴自注意力模块包括局部注意力层、第一前向传播层、全局注意力层以及第二前向传播层；
所述将所述位置编码结果输入至所述多轴自注意力模块中，得到所述多轴自注意力模块的输出结果，包括：
所述将所述位置编码结果输入至所述局部注意力层中，得到第二特征图；
将所述第二特征图输入至所述第一前向传播层中，并将所述第一前向传播层的输出结果输入至所述全局注意力层中，得到第三特征图；
将所述第三特征图输入至所述第二前向传播层中，得到所述多轴自注意力模块的输出结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果，包括：
将所述卷积正则激活组合网络的输出结果输入至所述异物定位分数分支中，得到异物定位分数结果；
将所述卷积正则激活组合网络的输出结果输入至所述坐标框定位分支中，得到坐标框定位结果。
5.根据权利要求1所述的方法，其特征在于，所述卷积正则激活组合网络包括目标卷积层、正则化层和激活层；
所述将所述第一特征图输入至所述卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果，包括：
将所述第一特征图输入至所述目标卷积层中，并将所述目标卷积层的输出结果输入至所述正则化层中；
将所述正则化层的输出结果输入至所述激活层中，得到卷积正则激活组合网络的输出结果。
6.根据权利要求1所述的方法，其特征在于，所述基于所述异物检测模型输出的异物定位分数结果和坐标框定位结果，确定所述目标场景的异物检测结果，包括：
根据预设分数阈值对所述异物检测模型输出的异物定位分数结果进行评估，得到评估结果；
根据所述评估结果和所述异物检测模型输出的坐标框定位结果，确定异物检测结果。
7.一种异物检测装置，其特征在于，包括：
事件帧确定模块，用于对于待进行异物检测的目标场景，获取通过事件相机针对所述目标场景采集得到的事件数据，并根据所述事件数据，确定事件帧；
异物检测模型获取模块，用于获取已训练完成的异物检测模型，其中，所述异物检测模型至少包括异物检测头，所述异物检测头包括异物定位分数分支和坐标框定位分支；
异物检测结果确定模块，用于将所述事件帧输入至所述异物检测模型中，并基于所述异物检测模型输出的异物定位分数结果和坐标框定位结果，确定所述目标场景的异物检测结果；
其中，所述异物检测模型还包括骨干网络和卷积正则激活组合网络；
所述异物检测结果确定模块，包括：
第一特征图得到单元，用于将事件帧输入到骨干网络中，得到第一特征图；
输出结果得到单元，用于将第一特征图输入至卷积正则激活组合网络中，得到卷积正则激活组合网络的输出结果；
坐标框定位结果得到单元，用于将卷积正则激活组合网络的输出结果输入至异物检测头中，得到异物定位分数结果和坐标框定位结果；
异物检测结果确定单元，用于根据异物定位分数结果和坐标框定位结果，确定目标场景的异物检测结果；
其中，所述骨干网络包括重叠卷积层、多轴自注意力模块和门控循环单元。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6中任一项所述的异物检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-6中任一所述的异物检测方法。
CN202311140164.XA 2023-09-06 2023-09-06 一种异物检测方法、装置、电子设备及存储介质 Active CN116883648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311140164.XA CN116883648B (zh) 2023-09-06 2023-09-06 一种异物检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311140164.XA CN116883648B (zh) 2023-09-06 2023-09-06 一种异物检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116883648A true CN116883648A (zh) 2023-10-13
CN116883648B CN116883648B (zh) 2024-02-13

Family

ID=88259046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311140164.XA Active CN116883648B (zh) 2023-09-06 2023-09-06 一种异物检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116883648B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065885A1 (en) * 2017-08-29 2019-02-28 Beijing Samsung Telecom R&D Center Object detection method and system
CN110020598A (zh) * 2019-02-28 2019-07-16 中电海康集团有限公司 一种基于深度学习检测电线杆上异物的方法及装置
US20200011668A1 (en) * 2018-07-09 2020-01-09 Samsung Electronics Co., Ltd. Simultaneous location and mapping (slam) using dual event cameras
CN112380985A (zh) * 2020-11-13 2021-02-19 广东电力信息科技有限公司 变电站入侵异物实时检测方法
CN112766137A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的动态场景异物入侵检测方法
CN113486865A (zh) * 2021-09-03 2021-10-08 国网江西省电力有限公司电力科学研究院 一种基于深度学习的输电线路悬挂异物目标检测方法
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
CN115035597A (zh) * 2022-06-07 2022-09-09 中国科学技术大学 一种基于事件相机的变光照动作识别方法
CN116402852A (zh) * 2023-03-24 2023-07-07 西安电子科技大学广州研究院 基于事件相机的动态高速目标追踪方法及装置
CN116434051A (zh) * 2022-12-21 2023-07-14 广东工业大学 一种输电线路异物检测方法、系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065885A1 (en) * 2017-08-29 2019-02-28 Beijing Samsung Telecom R&D Center Object detection method and system
US20200011668A1 (en) * 2018-07-09 2020-01-09 Samsung Electronics Co., Ltd. Simultaneous location and mapping (slam) using dual event cameras
CN110020598A (zh) * 2019-02-28 2019-07-16 中电海康集团有限公司 一种基于深度学习检测电线杆上异物的方法及装置
CN112380985A (zh) * 2020-11-13 2021-02-19 广东电力信息科技有限公司 变电站入侵异物实时检测方法
CN112766137A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的动态场景异物入侵检测方法
CN113486865A (zh) * 2021-09-03 2021-10-08 国网江西省电力有限公司电力科学研究院 一种基于深度学习的输电线路悬挂异物目标检测方法
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
CN115035597A (zh) * 2022-06-07 2022-09-09 中国科学技术大学 一种基于事件相机的变光照动作识别方法
CN116434051A (zh) * 2022-12-21 2023-07-14 广东工业大学 一种输电线路异物检测方法、系统及存储介质
CN116402852A (zh) * 2023-03-24 2023-07-07 西安电子科技大学广州研究院 基于事件相机的动态高速目标追踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张凡;范亚雷;刘文达;蔡涛;: "一种高压线异物检测算法", 现代电子技术, no. 08, pages 44 - 48 *

Also Published As

Publication number Publication date
CN116883648B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN113642431A (zh) 目标检测模型的训练方法及装置、电子设备和存储介质
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN112597837A (zh) 图像检测方法、装置、设备、存储介质和计算机程序产品
CN113378834B (zh) 目标检测方法、装置、设备、存储介质以及程序产品
CN114360074A (zh) 检测模型的训练方法、活体检测方法、装置、设备和介质
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN116596854A (zh) 一种设备缺陷的识别方法、装置、设备及介质
CN116883648B (zh) 一种异物检测方法、装置、电子设备及存储介质
CN111696134A (zh) 一种目标检测方法、装置以及电子设备
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN112507957B (zh) 一种车辆关联方法、装置、路侧设备及云控平台
CN112861811B (zh) 目标识别方法、装置、设备、存储介质及雷达
CN114898274A (zh) 一种包裹检测方法和装置
CN115131315A (zh) 一种图像的变化检测方法、装置、设备及存储介质
CN113379750A (zh) 语义分割模型的半监督学习方法、相关装置及产品
CN116935366B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN114445711B (zh) 图像检测方法、装置、电子设备和存储介质
CN115482422B (zh) 深度学习模型的训练方法、图像处理方法和装置
CN113570607B (zh) 目标分割的方法、装置及电子设备
CN116668839A (zh) 视频帧图像的处理方法、装置、电子设备以及存储介质
CN118097797A (zh) 人脸活体检测方法、装置、设备和介质
CN115601395A (zh) 运动目标检测方法、装置、电子设备以及存储介质
CN116301361A (zh) 基于智能眼镜的目标选择方法、装置和电子设备
CN118038402A (zh) 一种红绿灯检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou, Guangdong 510000

Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

Address before: Room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou, Guangdong 510000

Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant