CN117690164B - 基于边缘计算的机场飞鸟识别驱赶方法及系统 - Google Patents

基于边缘计算的机场飞鸟识别驱赶方法及系统 Download PDF

Info

Publication number
CN117690164B
CN117690164B CN202410124551.2A CN202410124551A CN117690164B CN 117690164 B CN117690164 B CN 117690164B CN 202410124551 A CN202410124551 A CN 202410124551A CN 117690164 B CN117690164 B CN 117690164B
Authority
CN
China
Prior art keywords
target
classification
result
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410124551.2A
Other languages
English (en)
Other versions
CN117690164A (zh
Inventor
朱科全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xinna Technology Co ltd
Original Assignee
Chengdu Xinna Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xinna Technology Co ltd filed Critical Chengdu Xinna Technology Co ltd
Priority to CN202410124551.2A priority Critical patent/CN117690164B/zh
Publication of CN117690164A publication Critical patent/CN117690164A/zh
Application granted granted Critical
Publication of CN117690164B publication Critical patent/CN117690164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种基于边缘计算的机场飞鸟识别驱赶方法及系统,通过获取目标机场环境图像,通过调试完成的目标飞鸟识别神经网络对目标机场环境图像进行图像内容识别,结合不同特征层次对应的图像内容识别结果来确定目标分类识别集合,最后通过目标分类识别集合包含目标机场环境图像中各个像素对应的对象分类结果,识别得到目标机场环境图像中的目标对象,在目标对象包括飞鸟类别时,控制驱鸟设备执行驱鸟操作。采用挖掘不同特征层次得到的表征向量进行对象分类,能够整合通过深层挖掘的表征语义的表征向量进行对象分类和通过在浅层挖掘的浅层的表征向量进行对象分类获得的图像内容识别结果,对象识别的精度和可靠性高。

Description

基于边缘计算的机场飞鸟识别驱赶方法及系统
技术领域
本申请涉及图像识别领域,并且更具体地,涉及一种基于边缘计算的机场飞鸟识别驱赶方法及系统。
背景技术
随着航空业的发展,机场的安全问题变得越来越重要。飞鸟撞击飞机是机场安全的一个重要威胁,可能导致严重的事故。因此,如何有效地驱赶机场附近的飞鸟,保障飞机的安全起降,成为了一个亟待解决的问题。传统的机场飞鸟驱赶方法主要依赖人工观察和驱赶,例如派遣工作人员在机场附近巡逻,使用喇叭、铜锣等工具发出声响来驱赶飞鸟。然而,这种方法存在着效率低下、覆盖面有限、无法实时监控等问题。近年来,随着边缘计算技术的发展,为机场飞鸟识别驱赶提供了新的解决方案。边缘计算是一种将计算资源靠近数据源的计算模式,它可以在本地处理数据,减少数据传输的延迟和带宽消耗,提高系统的实时性和可靠性。将边缘计算应用于机场飞鸟识别驱赶,可以实现对机场附近飞鸟的实时监控和驱赶,提高机场的安全性和效率。现有技术中,已经有一些基于边缘计算的机场飞鸟识别驱赶方法。例如,利用摄像头和图像识别技术,对机场附近的飞鸟进行识别和分类,并根据不同的飞鸟类型采取相应的驱赶策略。然而,这些方法仍然存在着一些问题,例如识别准确率不高、驱赶效果不佳等。因此,需要进一步研究和开发更加先进的基于边缘计算的机场飞鸟识别驱赶方法,以提高机场的安全性和效率。
发明内容
有鉴于此,本申请实施例至少提供一种基于边缘计算的机场飞鸟识别驱赶方法及系统。
根据本申请实施例的一个方面,提供了一种基于边缘计算的机场飞鸟识别驱赶方法,应用于边缘计算设备,所述边缘计算设备与驱鸟设备通信连接,所述方法包括:
通过所述驱鸟设备获取拟检测的目标机场环境图像;
通过部署在所述边缘计算设备中的目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合,所述目标分类识别集合包含所述目标机场环境图像中各个像素对应的对象分类结果;其中,所述目标分类识别集合由所述目标飞鸟识别神经网络通过所述目标机场环境图像进行链式深度加深的表征向量挖掘,得到不同特征层次得到的多个目标表征向量集合,以及结合所述多个目标表征向量集合的多个图像内容识别结果以获得;其中,所述链式深度加深的表征向量挖掘的方式为将前一深度挖掘的表征向量集合确定为后一深度的输入数据进行表征向量挖掘;
通过所述目标分类识别集合中的对象分类结果,确定所述目标机场环境图像中包含的目标对象;
当所述目标对象包括飞鸟类别时,控制所述驱鸟设备执行驱鸟操作。
根据本申请实施例的一个示例,其中,所述目标飞鸟识别神经网络包括P个依次连接的表征向量挖掘组件和图像内容识别组件;所述通过目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合,包括:
对所述目标机场环境图像进行图像编码映射,得到图像编码映射集合;
通过所述P个依次连接的表征向量挖掘组件依据所述图像编码映射集合进行链式递进式的表征向量挖掘;其中,所述P个依次连接的表征向量挖掘组件中前一个表征向量挖掘组件的执行结果作为后一个表征向量挖掘组件的输入,其中,P>1;
在所述P个依次连接的表征向量挖掘组件执行得到的表征向量集合中,获取其中A个目标表征向量挖掘组件执行得到的A个目标表征向量集合,其中,P≥A>1;
通过图像内容识别组件通过所述A个目标表征向量集合中每一目标表征向量集合进行图像内容识别,获得每一目标表征向量集合对应的图像内容识别结果;
获取各个所述图像内容识别结果的整合偏心系数;
依据所述整合偏心系数对多个所述图像内容识别结果进行整合操作,得到偏心整合结果;
通过所述偏心整合结果确定所述目标机场环境图像对应的目标分类识别集合。
根据本申请实施例的一个示例,其中,所述偏心整合结果包含所述目标机场环境图像中每一图像像素属于各对象分类结果的目标支持系数,所述通过所述偏心整合结果确定所述目标机场环境图像对应的目标分类识别集合,包括:
通过所述偏心整合结果中每一图像像素属于各对象分类结果的目标支持系数,确定所述目标机场环境图像中每一图像像素对应的最大的所述目标支持系数时的目标对象分类结果;
通过每一图像像素的目标对象分类结果,生成所述目标机场环境图像对应的目标分类识别集合。
根据本申请实施例的一个示例,其中,所述图像内容识别组件包含先验支持系数分类模块和上下文约束分类模块,所述通过图像内容识别组件通过所述A个目标表征向量集合中每一目标表征向量集合进行图像内容识别,获得每一目标表征向量集合对应的图像内容识别结果,包括:
对于每一目标表征向量集合,通过所述先验支持系数分类模块对所述目标表征向量集合中的每一语义表征向量进行分类,得到每一所述目标表征向量集合对应的支持系数分布数组;
通过所述上下文约束分类模块,依据每一所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,得到每一所述目标表征向量集合对应的图像内容识别结果。
根据本申请实施例的一个示例,其中,所述通过所述上下文约束分类模块,依据每一所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,得到每一所述目标表征向量集合对应的图像内容识别结果,包括:
对于每一目标表征向量集合,通过所述上下文约束分类模块依据所述目标机场环境图像中的像素空间分布关系,对所述目标表征向量集合中的每一语义表征向量选取一个对象分类结果进行组合,得到多个候选先验标记支线;
通过所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,确定每一候选先验标记支线的支线评估权重;
从所述多个候选先验标记支线中选取所述支线评估权重最大的目标先验标记支线,得到每一目标表征向量集合对应的图像内容识别结果。
根据本申请实施例的一个示例,其中,所述通过所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,确定每一候选先验标记支线的支线评估权重,包括:
确定当前候选先验标记支线中指示的每一对象分类结果相对应的像素;
查询所述每一对象分类结果相对应的像素在相应的支持系数分布数组中的支持系数,并以所述支持系数作为相应像素所属的对象分类结果的分类权重,以获得所述当前候选先验标记支线中指示的每一对象分类结果的分类权重;
将所述当前候选先验标记支线中指示的每一对象分类结果的分类权重进行求和,得到当前候选先验标记支线的对象分类结果的状态权重;
获取状态迁移权重,所述状态迁移权重由所述候选先验标记支线中任意相邻的两个对象分类结果的分类权重之间的状态迁移系数求和获得,其中,对于每一候选先验标记支线,确定任两个相邻的对象分类结果的组合中通过一对象分类结果迁移到另一对象分类结果的状态迁移系数,所述状态迁移系数为由任一对象分类结果迁移到任一对象分类结果的迁移价值,每一所述状态迁移系数通过概率图模型在调试过程中获得的限制和状态迁移权重数组确定得到,将每一所述状态迁移系数进行求和,得到所述候选先验标记支线的状态迁移权重;
将所述状态权重和所述状态迁移权重进行求和,以及对求和结果进行对数求解,得到对应候选先验标记支线的支线评估权重。
根据本申请实施例的一个示例,其中,所述对象分类结果的类型包括非对象分类结果、对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果,所述通过所述目标分类识别集合中的对象分类结果,确定所述目标机场环境图像中包含的目标对象,包括:
通过所述目标分类识别集合中的对象分类结果,确定所述目标分类识别集合中的目标子分类识别集合;其中,所述目标子分类识别集合包括通过所述对象开始像素分类结果和所述对象边界像素分类结果依次排布构成的集合,通过所述对象开始像素分类结果、所述对象中间像素分类结果和所述对象边界像素分类结果依次排布构成的集合,以及在所述目标分类识别集合中周围都是所述非对象分类结果的单个所述对象开始像素分类结果;
通过所述目标子分类识别集合中的对象分类结果在所述目标机场环境图像中对应的像素,确定在所述目标机场环境图像中所述目标子分类识别集合对应的目标对象。
根据本申请实施例的一个示例,其中,所述通过目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合之前,所述方法还包括所述目标飞鸟识别神经网络的调试步骤:
获取目标机场环境图像样例以及分类识别集合样例,所述分类识别集合样例包含所述目标机场环境图像样例中每一样例像素对应的样例对象分类结果;
将所述目标机场环境图像样例输入初始化神经网络进行链式深度加深的表征向量挖掘,得到多个目标特征层次执行得到的多个推理表征向量集合,以及确定每一推理表征向量集合的推理图像内容识别结果,每一所述推理图像内容识别结果包括所述目标机场环境图像样例中每一样例像素属于各对象分类结果的推理支持系数;
通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的误差值;
通过各目标特征层次对应的整合偏心系数和各目标特征层次的误差值,确定目标误差值;
通过所述目标误差值优化所述初始化神经网络的内部配置变量,重复调试过程直到符合设定的调试截止要求,得到调试完成的目标飞鸟识别神经网络。
根据本申请实施例的一个示例,其中,所述通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的误差值,包括:
通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的推理分类结果中每一样例像素的像素误差值;
对所述目标机场环境图像样例中多个样例像素的像素误差值进行加权,得到每一目标特征层次的误差值;
所述目标特征层次对应的整合偏心系数与所述目标特征层次的层数之间的变化趋势相反。
根据本申请实施例的另一方面,提供了一种机场飞鸟识别驱赶系统,包括边缘计算设备和与所述边缘计算设备通信连接的驱鸟设备,所述边缘计算设备包括:处理器;以及存储器,其中所述存储器中存储有计算机可读代码,所述计算机可读代码在由所述处理器运行时,使得所述处理器执行如上所述的方法。
本申请至少具有的有益效果包括:
本申请实施例提供的基于边缘计算的机场飞鸟识别驱赶方法及系统,通过获取需要识别对象类别的目标机场环境图像,接着通过调试完成的目标飞鸟识别神经网络对目标机场环境图像进行图像内容识别,其中,目标飞鸟识别神经网络通过目标机场环境图像进行链式深度加深的表征向量挖掘,获得多个目标特征层次执行得到的多个目标表征向量集合,以确定不同特征层次挖掘的目标表征向量集合来进行图像内容识别,以及结合不同特征层次对应的图像内容识别结果来确定目标分类识别集合,最后通过目标分类识别集合包含目标机场环境图像中各个像素对应的对象分类结果,识别得到目标机场环境图像中的目标对象,在目标对象包括飞鸟类别时,控制驱鸟设备执行驱鸟操作。以上过程采用挖掘不同特征层次得到的表征向量进行对象分类,能够整合通过深层挖掘的表征语义的表征向量进行对象分类获得的图像内容识别结果和通过在浅层挖掘的表征纹理、颜色、形状等浅层的表征向量进行对象分类获得的图像内容识别结果确定目标机场环境图像中的目标对象,对象识别的精度和可靠性高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种机场飞鸟识别驱赶系统的架构示意图;
图2是本申请提供的一种基于边缘计算的机场飞鸟识别驱赶方法的流程示意图;
图3是本申请实施例提供的一种机场飞鸟识别驱赶装置的结构示意图;
图4是本申请实施例提供的一种边缘计算设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于更清楚理解本申请,首先介绍实现本申请的基于边缘计算的机场飞鸟识别驱赶方法的机场飞鸟识别驱赶系统,如图1所示,该机场飞鸟识别驱赶系统中包括边缘计算设备10和驱鸟设备集群,驱鸟设备集群可以包括一个或者多个驱鸟设备,这里将不对驱鸟设备的数量进行限制。如图1所示,驱鸟设备集群具体可以包括驱鸟设备1、驱鸟设备2、…、驱鸟设备n;可以理解的是,驱鸟设备1、驱鸟设备2、驱鸟设备3、… 、驱鸟设备n均可以与边缘计算设备10进行网络连接,以便于每个驱鸟设备均可以通过网络连接与边缘计算设备10之间进行数据交互。可理解的是,边缘计算设备10可以是指执行边缘计算的设备,该边缘计算设备10还可以用于存储机场图像。驱鸟设备包括探测单元和驱鸟单元,二者集成在一起。在其他实施例中,边缘计算设备可以集成在驱鸟设备中。驱鸟单元可以为声波驱鸟单元,例如设置4台定向(及在飞机起降区域设置)和10台探驱一体智能全向强声驱鸟器(声压级146dB—驱鸟半径400米,可根据需要增加声碟数量,提高驱鸟覆盖半径,减少全向强声智能驱鸟器数量)。
进一步地,请参见图2,是本申请实施例提供的一种基于边缘计算的机场飞鸟识别驱赶方法的流程示意图。如图2所示,该方法可由图1中的边缘计算设备执行,其中,该基于边缘计算的机场飞鸟识别驱赶方法可以包括如下步骤:
步骤S110,通过驱鸟设备获取拟检测的目标机场环境图像。
目标机场环境图像为采集的机场环境的图像,本申请实施例中,可以在机场跑道两端部署驱鸟设备,驱鸟设备包括探测单元和驱鸟单元,探测单元例如为双光谱摄像机,飞机降落时,双光谱摄像机进行鸟情扫描,将扫描得到的图像发送到边缘计算设备进行识别,一旦发现鸟情,边缘计算设备启动驱鸟设备的驱鸟单元,例如定向声波驱鸟器进行驱鸟。在一个实施例中,驱鸟单元可以为全向强声声碟单元,其最大声压级不小于146dB/m,声压级360°均匀分布,强声驱离半径不小于400米,并可以进一步通过叠加不同的声碟数实现不同的声压级,满足不同驱鸟半径的驱鸟需求。其中,可以在声碟中配合多种不同的驱鸟音,降低鸟类耐受性,有效降低鸟撞风险。
步骤S120,通过部署在边缘计算设备中的目标飞鸟识别神经网络通过目标机场环境图像进行图像内容识别操作,得到目标分类识别集合。目标分类识别集合由目标飞鸟识别神经网络通过目标机场环境图像进行链式深度加深的表征向量挖掘,得到不同特征层次得到的多个目标表征向量集合,以及结合多个目标表征向量集合的多个图像内容识别结果以获得。
为了识别出目标机场环境图像中的对象,判断是否有飞鸟存在,首先需确定目标机场环境图像中各对象在图像中的位置,可基于调试完成的目标飞鸟识别神经网络对目标机场环境图像中的内容进行图像内容识别,得到对应的目标分类识别集合,该目标分类识别集合包含目标机场环境图像中各个像素对应的对象分类结果,基于该目标分类识别集合,确定目标机场环境图像中的各个对象,以便在目标机场环境图像中识别到对象。其中,目标分类识别集合指示目标机场环境图像中每一图像像素所属的对象分类结果,比如,目标分类识别集合是目标机场环境图像中各个像素对应的对象分类结果依据像素在目标机场环境图像中的空间位置组合得到的集合。作为可行的设计,对象分类结果的类型包含非对象分类结果、对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果。也即,非对象分类结果代表像素不是目标对象(即鸟类)中的像素,对象开始像素分类结果即目标对象(即鸟类)中开始的像素、对象中间像素分类结果即目标对象(即鸟类)中中间的像素、对象边界像素分类结果即目标对象(即鸟类)中结束的像素。例如,可以通过以下方式来定义图像的对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果:1、采用目标检测方式,在目标检测任务中,可以将图像分为不同的区域或感兴趣区域(ROI)。对象开始像素分类结果可以定义为目标出现的位置,对象中间像素分类结果可以是目标的主要部分,对象边界像素分类结果可以是目标消失或离开图像的位置。2、基于语义分割检测方式,在语义分割任务中,图像被划分成不同的语义区域。对象开始像素分类结果可以是某个语义区域的起始点,对象中间像素分类结果可以是该语义区域的主要部分,对象边界像素分类结果可以是该语义区域的结束点或与其他语义区域的边界。3、采用图像分类方式,在图像分类任务中,对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果可以与图像中的关键元素或特征相关。对象开始像素分类结果可以是图像中出现关键元素的位置,对象中间像素分类结果可以是关键元素的主要部分,对象边界像素分类结果可以是关键元素消失或图像的边界。
目标飞鸟识别神经网络可以包括多个依次连接的表征向量挖掘组件来进行表征向量挖掘。表征向量用以对图像特征信息进行表征,表征向量挖掘组件是神经网络中的网络层,例如卷积层、残差层等特征提取层。更高层次的表征向量挖掘组件(更高层次的表征向量挖掘组件也就是深度较深的表征向量挖掘组件,表征向量挖掘组件的深度即向目标飞鸟识别神经网络的正向传播方向,表征向量挖掘组件在目标飞鸟识别神经网络中的层次)执行得到的表征向量可以表达目标机场环境图像更深层的语义信息,低层次表征向量挖掘组件,也就是深度较浅的表征向量挖掘组件挖掘的表征向量能表达目标机场环境图像的纹理、边缘、颜色等低级特征,将深层和浅层表征进行整合(融合)进行图像内容识别,可以帮助提高图像内容识别的精度,本申请实施例在对目标机场环境图像进行图像内容识别时,聚焦不同特征层次的语义表征向量,将不同深度的语义表征向量的图像内容识别结果进行整合以得到目标分类识别集合,可以增加图像内容识别的精度。
其中,链式深度加深的表征向量挖掘的方式为将前一深度挖掘的表征向量集合确定为后一深度的输入数据进行表征向量挖掘。作为一种示例,提供一种神经网络架构。该神经网络架构包括图像表示模块和特征提取模块,图像表示模块用于对目标机场环境图像进行图像编码映射,以将机场环境图像映射表示为向量,以通过特征提取模块进行表征向量挖掘。特征提取模块采用多层表征向量挖掘组件级联组成,每层表征向量挖掘组件包含至少一个卷积单元,连续两层的每一卷积单元之间通过全连接连接,也即,图像表示模块的输出与第1层的每一卷积单元的输入都进行连接,同时第1层中每一卷积单元的输出和第2层的每一卷积单元的输入都进行连接,后面层同理。基于以上神经网络结构,下面对链式深度加深的表征向量挖掘过程进行说明,链式深度加深即在深度传递链(即依次连接的多个深度提取单元)中,深度是逐渐变深的,目标机场环境图像完成图像编码映射后,通过图像表示模块的输出与第1层每一卷积单元之间的连接,将图像编码映射集合传播到第1层的表征向量挖掘组件中相应的卷积单元进行表征向量挖掘,完成特征提取,接着通过第1层中每一卷积单元的输出和第2层的每一卷积单元的输入的连接,将第1层的每一卷积单元执行得到的挖掘表征向量加载到第2层的每一卷积单元进行特征挖掘,后续层同理,直到最后一个卷积单元进行挖掘,如此实现通过目标机场环境图像的链式深度加深的表征向量挖掘。基于此,每一卷积单元通过内部注意力以及全连接操作,对图像编码映射集合进行特征挖掘,从而最后得到表征每一图像像素的高层语义的语义表征向量。
可选地,目标飞鸟识别神经网络的特征提取模块通过多个子表征向量挖掘层构建得到,相邻的两个子表征向量挖掘层通过全连接完成依次连接,每一子表征向量挖掘层即一个表征向量挖掘组件,对应一层次的深度,进一步地,还包括图像内容识别组件,下面基于目标飞鸟识别神经网络的结构对图像内容识别的过程进行说明,目标飞鸟识别神经网络包括P个依次连接的表征向量挖掘组件和图像内容识别组件,以上步骤S120包括:
步骤S121,对目标机场环境图像进行图像编码映射,得到图像编码映射集合。
步骤S122,通过P个依次连接的表征向量挖掘组件依据图像编码映射集合进行链式递进式的表征向量挖掘;其中,P个依次连接的表征向量挖掘组件中前一个表征向量挖掘组件的执行结果作为后一个表征向量挖掘组件的输入,其中,P>1。
步骤S123,在P个依次连接的表征向量挖掘组件执行得到的表征向量集合中,获取其中A个目标表征向量挖掘组件执行得到的A个目标表征向量集合,其中,P≥A>1。
步骤S124,通过图像内容识别组件通过A个目标表征向量集合中每一目标表征向量集合进行图像内容识别,获得每一目标表征向量集合对应的图像内容识别结果。
步骤S125,将多个图像内容识别结果进行整合操作,得到目标机场环境图像对应的目标分类识别集合。
其中,图像编码映射集合包括目标机场环境图像中每一图像像素对应的像素向量。图像编码映射即将目标机场环境图像中的像素进行图像嵌入表示(image embedding),得到低维度向量,完成目标机场环境图像的向量表示,实现表征向量挖掘。在获得目标机场环境图像对应的图像编码映射集合后,依据链式深度加深的表征向量挖掘方式,通过P个依次连接的表征向量挖掘组件对图像编码映射集合中的每一图像像素向量进行表征向量挖掘,以达到各深度的表征向量挖掘组件间,通过前一表征向量挖掘组件执行得到的语义表征向量进行表征向量挖掘,以及在不同特征层次的表征向量挖掘组件处部署相应的输出,得到不同的目标特征层次的表征向量挖掘组件执行得到的目标表征向量集合,该目标表征向量集合的数量不大于层数。
然后,基于图像内容识别组件分别对每一目标表征向量集合进行分类,得到每一目标表征向量集合对应的图像内容识别结果。之后整合全部图像内容识别结果,从而确定目标机场环境图像对应的目标分类识别集合,从而达到结合多个特征层次的表征向量集合的图像内容识别结果,确定目标机场环境图像中每一图像像素最后对应的对象分类结果,增加对目标机场环境图像的对象识别的精度。
作为可行的设计,步骤S123中,可以依据设定的间隔,在P个依次连接的表征向量挖掘组件执行得到的表征向量集合中按规律获取A个表征向量挖掘组件执行得到的表征向量集合,作为A个目标表征向量集合。比如,设目标飞鸟识别神经网络包括6个依次连接的表征向量挖掘组件,则可沿从目标飞鸟识别神经网络的输入到输出的方向,将目标飞鸟识别神经网络中第2个表征向量挖掘组件、第4个表征向量挖掘组件以及将第6个表征向量挖掘组件执行得到的表征向量集合确定为目标表征向量集合。
作为另一可行的设计,可以在P个依次连接的表征向量挖掘组件执行得到的表征向量集合中随意获取A个表征向量挖掘组件执行得到的表征向量集合,作为A个目标表征向量集合。设目标飞鸟识别神经网络包括6个依次连接的表征向量挖掘组件,可以沿目标飞鸟识别神经网络的输入到输出的方向,将目标飞鸟识别神经网络中第1、2、6个表征向量挖掘组件执行得到的表征向量集合确定为目标表征向量集合。A个目标表征向量集合中包括目标飞鸟识别神经网络中最后一个表征向量挖掘组件执行得到的表征向量集合。
可选地,获取多个不同特征层次的目标表征向量集合后,对于每一目标表征向量集合,可通过每一语义表征向量被分类为各对象分类结果的支持系数来确定每一目标表征向量集合的图像内容识别结果,通过此,可设定特定的图像内容识别组件的结构。其中,支持系数可以为概率或置信度。
图像内容识别组件包含先验支持系数分类模块和上下文约束分类模块,步骤S124例如包括如下步骤:
步骤S1241,对于每一目标表征向量集合,通过先验支持系数分类模块对目标表征向量集合中的每一语义表征向量进行分类,得到每一目标表征向量集合对应的支持系数分布数组。
步骤S1242,通过上下文约束分类模块依据每一支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,得到每一目标表征向量集合对应的图像内容识别结果。
其中,目标表征向量集合对应的支持系数分布数组具体可以为一个二维数组,即一个矩阵,其矩阵元素包含目标表征向量集合中每一语义表征向量被分类为每一对象分类结果的支持系数,例如,对象分类结果的类型包含非对象分类结果、对象开始像素分类结果、对象中间像素分类结果和对象边界像素分类结果,则支持系数分布数组中包含每一语义表征向量被分类为上述各对象分类结果的支持系数,例如概率。如果目标机场环境图像包含P个像素,目标表征向量集合包含P个语义表征向量,则支持系数分布数组的尺寸为4×P。这里的先验支持系数即表示对应先验信息的支持系数,先验信息可以通过标签表示,例如非对象分类结果为N、对象开始像素分类结果为S、对象中间像素分类结果为M和对象边界像素分类结果为B。
获得多个不同特征层次的目标表征向量集合后,分别对每一目标表征向量集合进行图像内容识别操作。在图像内容识别操作过程中,对于每一目标表征向量集合,需确定目标表征向量集合中每一语义表征向量被分类至各对象分类结果的支持系数,例如,对于先验支持系数分类模块可以为Softmax分类器,对于每一目标表征向量集合,先验支持系数分类模块对目标表征向量集合中的每一语义表征向量进行先验信息分类,得到每一语义表征向量属于各对象分类结果的支持系数,对于每一语义表征向量可具有多个不同对象分类结果的支持系数,若包含四个对象分类结果,则每一语义表征向量具有四个对象分类结果的支持系数,每一目标表征向量集合经过支持系数分类后得到一个支持系数分布数组。接着,基于上下文约束分类模块的分类模块,结合概率图模型通过调试获得的约束条件对每一目标表征向量集合对应的支持系数分布数组进行图像内容识别,具体基于分类确定得到合适的先验标记支线,确定为每一目标表征向量集合的图像内容识别结果。其中,上下文约束分类模块是采用概率图模型的分类模块,例如条件随机场(CRF)。
可选地,为了增加每一目标表征向量集合的图像内容识别的精度,可基于概率图模型对每一目标表征向量集合的支持系数分布数组进行图像内容识别。那么,以上步骤S1242包括:对于每一目标表征向量集合,通过上下文约束分类模块依据目标机场环境图像中的像素空间分布关系,对目标表征向量集合中的每一语义表征向量选取一个对象分类结果进行组合,获得多个候选先验标记支线;通过支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,确定每一候选先验标记支线的支线评估权重;从多个候选先验标记支线中选取支线评估权重最大的目标先验标记支线,得到每一目标表征向量集合对应的图像内容识别结果。
其中,该像素空间分布关系可以是目标机场环境图像中像素与像素之间的先后关系,例如上下关系左右关系,可以体现像素的顺序,比如以自上而下自左而右的顺序对每一个像素进行顺次标号,标号越大越靠后,如此限定上下文约束分类模块在生成候选先验标记支线时的每一图像像素的对象分类结果之间的顺次。候选先验标记支线是多个像素的对象分类结果组成的,每一图像像素的对象分类结果可以是对应的支持系数分布数组中的任一类别,候选先验标记支线中各个对象分类结果之间的排序关系和所对应的像素在目标机场环境图像中的顺次一致。
图像内容识别结果可以包括目标像素对应各对象分类结果的支持系数,需要理解,虽概率图模型通过分类得到最佳目标先验标记支线,并确定为图像内容识别结果,但是,还是包括每一图像像素被摈弃的对象分类结果的支持系数,而每一图像像素被摈弃的对象分类结果的支持系数等于零,近维持最佳目标先验标记支线指示的每一图像像素的真实对象分类结果的支持系数,有利于对不同特征层次的对象分类结果结果的整合操作。
其中,该支线评估权重为支线对应的评估价值,或称重要性,是对应的候选先验标记支线的权重,被用于判断当前候选先验标记支线是不是正确先验标记支线,候选先验标记支线的支线评估权重越大,支线属于正确的先验标记支线的概率越高。每一候选先验标记支线的支线评估权重可通过该支线的对象分类结果的状态权重和状态迁移权重来确定。
在概率图模型,如条件随机场中,可能会出现对象种类迁移到另一对象种类的情况,对象种类会发生迁移是因为一个像素的对象种类可能会受到周围像素的影响。具体来说,对象种类迁移指的是在一张图像中,某个对象的类别会根据其前后的对象种类发生变化。例如,在一张图像中,某个像素可能在某个位置上被分类为一个对象种类,而在另一个位置上可能被分类为另一个对象种类。这种对象种类迁移的现象是由于图像的上下文和语义关系所导致的。相邻的像素可能会对当前对象的类别产生约束或影响,从而导致对象种类发生迁移。通过考虑对象种类之间的迁移关系,概率图模型可以捕捉到图像中的上下文信息和语义关系,从而提高对象分类的精度。状态迁移权重就是用来衡量这种迁移关系的一种指标,它反映了相邻对象种类之间的迁移概率或置信度。通过计算状态迁移权重,概率图模型可以在对目标特征序列进行对象分类时,考虑到每个像素被分类至各对象种类的权重(可以认为是一个分数值)以及整个目标图像中相邻两个像素之间的对象种类迁移权重,从而更加准确地对图像中的对象进行分类。
其中,该对象分类结果的状态权重例如是对应的候选先验标记支线中包含各个对象分类结果时的状态权重,例如采用以下过程进行获取:确定当前候选先验标记支线中指示的每一对象分类结果相对应的像素,查询每一对象分类结果相对应的像素在相应的支持系数分布数组中的支持系数,并以支持系数作为相应像素所属的对象分类结果的分类权重,那么可确定当前候选先验标记支线中指示的每一对象分类结果的分类权重,将当前候选先验标记支线中指示的每一对象分类结果的分类权重进行求和,获得当前候选先验标记支线的对象分类结果的状态权重。其中,状态迁移权重可以是候选先验标记支线中各个对象分类结果之间的状态迁移权重,状态迁移权重可通过候选先验标记支线中任意相邻的两个对象分类结果的分类权重之间的状态迁移系数求和获得。对于每一候选先验标记支线,确定任两个相邻的对象分类结果的组合中通过一对象分类结果迁移到另一对象分类结果的状态迁移系数,需理解,状态迁移系数可以认为是由任一对象分类结果迁移到任一对象分类结果的迁移价值(即迁移的可能性),每一状态迁移系数由概率图模型(如条件随机场)在调试过程中获得的限制和状态迁移权重数组(如矩阵)确定得到。将每一状态迁移系数进行求和,即获得候选先验标记支线的状态迁移权重。将状态权重和状态迁移权重进行求和,然后对求和结果进行对数求解,即获得对应候选先验标记支线的支线评估权重。基于此,概率图模型在对每一目标表征向量集合的支持系数分布数组进行图像内容识别时,考虑每一图像像素被分类为各对象分类结果的权重和整个目标机场环境图像中相邻两个像素间的对象分类结果迁移权重,增加每一目标表征向量集合的图像内容识别的精度。
可选地,每一目标表征向量集合的图像内容识别结果代表一个特征层次,通过联合多个不同特征层次的图像内容识别结果来确定目标机场环境图像最终的图像内容识别结果,即目标分类识别集合。
步骤S125包括:
步骤S1251,获取各个图像内容识别结果的整合偏心系数。
步骤S1252,依据整合偏心系数对多个图像内容识别结果进行整合操作,得到偏心整合结果。
步骤S1253,通过偏心整合结果确定目标机场环境图像对应的目标分类识别集合。
以上整合偏心系数即相应特征层次在网络调试过程中设置的权重值,例如,在目标飞鸟识别神经网络的调试过程中中,对于不同特征层次配置对应的权重(即偏心系数),以依据各特征层次对应的图像内容识别结果对应的误差值以及各特征层次对应的偏心系数以计算目标误差值,从而对网络进行调试,每一偏心系数在网络应用时分别作为多个图像内容识别结果整合过程中的整合偏心系数。
在获得每一图像内容识别结果在特征层次的整合偏心系数后,依据各整合偏心系数对获得的多个图像内容识别结果进行整合操作,例如通过各自的偏心系数进行加权求和,得到偏心整合结果。通过偏心整合结果中每一图像像素所属对象分类结果的目标支持系数来确定目标机场环境图像中每一图像像素最终的对象分类结果。
可选地,偏心整合结果也可以是支持系数分布数组的形式,各个元素包含目标机场环境图像中每一图像像素对应各对象分类结果的目标支持系数,目标支持系数由不同图像内容识别结果中每一图像像素属于同一对象分类结果的支持系数加权求和获得。对于目标机场环境图像中的每一图像像素,在偏心整合结果中确定目标支持系数最大时的目标对象分类结果,从而得到目标机场环境图像的目标分类识别集合。例如,步骤S1253包括:通过偏心整合结果中每一图像像素属于各对象分类结果的目标支持系数,确定目标机场环境图像中每一图像像素对应的最大的目标支持系数时的目标对象分类结果;通过每一图像像素的目标对象分类结果,生成目标机场环境图像对应的目标分类识别集合。该目标分类识别集合表征目标机场环境图像中每一对象的位置。
下面对神经网络的调试过程进行介绍,得到调试完成的目标飞鸟识别神经网络,用于实施目标机场环境图像的图像内容识别过程,初始飞鸟识别神经网络为一个预训练网络。可选地,为了增加网络在图像内容识别时的能力,本申请实施例分别对不同特征层次的推理结果进行误差的构建,以及结合不同特征层次的误差对初始化神经网络进行调试,得到调试完成的目标飞鸟识别神经网络。具体的,在步骤S120之前,方法还包括:
步骤S1,获取目标机场环境图像样例以及分类识别集合样例。
步骤S2,将目标机场环境图像样例输入初始化神经网络进行链式深度加深的表征向量挖掘,得到多个目标特征层次执行得到的多个推理表征向量集合,以及确定每一推理表征向量集合的推理图像内容识别结果。
步骤S3,通过每一推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的误差值。
步骤S4,通过各目标特征层次对应的整合偏心系数和各目标特征层次的误差值,确定目标误差值。
步骤S5,通过目标误差值优化初始化神经网络的内部配置变量,重复调试过程直到符合设定的调试截止要求,得到调试完成的目标飞鸟识别神经网络。
其中,目标机场环境图像样例为训练样本,分类识别集合样例是训练样本中的标签集合,包含了目标机场环境图像样例中每一样例像素对应的注释标签,每一注释标签表示每一图像像素对应的样例对象分类结果。推理表征向量集合包含每一图像像素在对应特征层次下的表征向量挖掘组件所挖掘的语义表征向量。每一推理图像内容识别结果包括目标机场环境图像样例中每一样例像素属于各对象分类结果的推理支持系数。推理图像内容识别结果可以为二维数组,其中的元素,对于每一图像像素都包含对应对象分类结果的推理支持系数,其中,该数组仅保留每一图像像素被认为是对应对象分类结果的推理支持系数,其他被摈弃的对象分类结果推理支持系数为零。
可以理解,调试过程中的初始化网络包含图像表示模块和特征提取模块,其中,特征提取模块包含多个表征向量挖掘组件,多个表征向量挖掘组件级联组成多层依次连接的特征提取模块。为了增加对象识别精度,可对预训练的神经网络配置相应的多个不同目标特征层次的输出端,将每一特征输出端与初始化神经网络中的图像内容识别层进行连接,完成分别对特征输出端所执行得到的推理表征向量集合进行图像内容识别,以得到每一推理表征向量集合的推理图像内容识别结果。网络调试过程中,将分类识别集合样例作为对比数据,对于每一推理图像内容识别结果,生成误差函数,确定当前目标特征层次的推理图像内容识别结果的误差值。然后,结合多个事先配置的每一目标特征层次的整合偏心系数与误差值进行加权求和,得到目标误差值。最后,通过目标误差值优化初始化神经网络中的内部配置变量,如各层权重、偏置、学习率等参数和超参数。依据上述过程对网络进行反复调试直到符合设定的要求,例如初始化神经网络执行得到的推理图像内容识别结果与分类识别集合样例一致,或调试的次数达到了设定的最大次数,或者,目标误差值不再减小,具体不做限定。如此,获得调试完成的目标飞鸟识别神经网络。
可选地,对于每一推理图像内容识别结果,在计算对应的误差值的过程中,可计算目标机场环境图像中每一图像像素的误差值,然后依据加权求解确定目标机场环境图像中全部像素的误差值,从而确定每一目标特征层次对应的推理图像内容识别结果的误差值。在一个示例中,步骤S3包括:通过每一推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的推理分类结果中每一样例像素的像素误差值;对目标机场环境图像样例中多个样例像素的像素误差值进行加权,获得每一目标特征层次的误差值。
例如,目标特征层次的推理图像内容识别结果的误差值获取的公式如下:
其中,Cost为推理图像内容识别结果的误差值,A为对象分类结果的总数量,假设对象分类结果包含4个分类结果,则A为4,P为目标机场环境图像样例的像素数量,hmn为0或1,取值为0时,代表目标机场环境图像样例中第m个像素不属于第n类对象分类结果,取值为1时,代表目标机场环境图像样例中第m个像素为第n类对象分类结果,Smn为推理图像内容识别结果中第m个像素为第n类对象分类结果的支持系数。
基于上述计算,可获得每一推理图像内容识别结果的误差值,便于依据各目标特征层次的整合偏心系数和对应的推理图像内容识别结果的误差值进行加权得到目标误差值。
可选地,因为较深特征层次对应的语义更准确,为了让网络在对象识别过程中聚焦较浅的语义表征向量表征的颜色、纹理、边缘等信息,本申请实施例中,对于浅层的推理图像内容识别结果分配更大的整合偏心系数,换言之目标特征层次对应的整合偏心系数与目标特征层次的层数之间的变化趋势相反,层数越深,整合偏心系数越小,层数越浅,整合偏心系数越大,这样能识别在结合多个图像内容识别结果进行图像内容识别时,聚焦较浅语义表征向量表征的信息,增加图像内容识别的精度。
基于以上过程,对目标机场环境图像进行图像内容识别操作,获得目标分类识别集合,便于通过目标分类识别集合表征的对象信息识别得到目标机场环境图像中的对象,增加对象识别的精度。
步骤S130,通过目标分类识别集合中的对象分类结果,确定目标机场环境图像中包含的目标对象。
本申请实施例中,获得目标分类识别集合后,分析目标分类识别集合中每一图像像素对应的对象分类结果,依据每一图像像素对应的对象分类结果,选取出目标机场环境图像中表示飞鸟对象的区域,目标机场环境图像中表示飞鸟对象的区域即目标对象。
可选地,对象分类结果的类型包括非对象分类结果、对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果,步骤S130包括:通过目标分类识别集合中的对象分类结果,确定目标分类识别集合中的目标子分类识别集合,其中,目标子分类识别集合包括通过对象开始像素分类结果和对象边界像素分类结果依次排布构成的集合,通过对象开始像素分类结果、对象中间像素分类结果和对象边界像素分类结果依次排布构成的集合,以及在目标分类识别集合中周围都是非对象分类结果的单个对象开始像素分类结果;通过目标子分类识别集合中的对象分类结果在目标机场环境图像中对应的像素,确定在目标机场环境图像中目标子分类识别集合对应的目标对象。
具体的,确定非对象分类结果、对象开始像素分类结果、对象中间像素分类结果和对象边界像素分类结果在目标分类识别集合中的对象分类结果分布,以通过对象标类别分布确定得到目标分类识别集合中的每一个目标子分类识别集合,进而,依据每一个目标子分类识别集合在目标机场环境图像中提取出对应的目标对象。基于上述过程,在获得目标分类识别集合后,分析目标分类识别集合中包含每一图像像素对应的对象分类结果,以通过每一图像像素对应的对象分类结果确定对象在目标机场环境图像中的空间关系,选取得到目标机场环境图像中属于鸟类对象的像素,获得至少一个目标对象。
步骤S140,当目标对象包括飞鸟类别时,控制驱鸟设备执行驱鸟操作。
一旦识别到飞鸟对象,则向驱鸟设备发送控制指令,基于驱鸟设备中的驱鸟单元进行驱鸟,例如产生定向声波(如模仿鸟类天敌的声波)进行驱鸟。
综上所述,本申请实施例获取目标机场环境图像,接着通过调试完成的目标飞鸟识别神经网络对目标机场环境图像进行图像内容识别,其中,目标飞鸟识别神经网络通过目标机场环境图像进行链式深度加深的表征向量挖掘,获得多个目标特征层次执行得到的多个目标表征向量集合,以确定不同特征层次挖掘的目标表征向量集合来进行图像内容识别,以及结合不同特征层次对应的图像内容识别结果确定目标分类识别集合,通过目标分类识别集合包含目标机场环境图像中各个像素对应的对象分类结果,识别出目标机场环境图像中的目标对象。以此,通过提取不同特征层次得到的表征向量进行对象分类,能够整合通过深层挖掘的表征语义的表征向量进行对象分类获得的图像内容识别结果和通过在浅层挖掘的表征纹理、颜色、形状等浅层的表征向量进行对象分类获得的图像内容识别结果确定目标机场环境图像中的目标对象,对象识别的精度和可靠性高。
请参见图3,是本申请实施例提供的一种机场飞鸟识别驱赶装置的结构示意图。上述机场飞鸟识别驱赶装置可以是运行于网络设备中的一个计算机程序(包括程序代码),例如该机场飞鸟识别驱赶装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图3所示,该机场飞鸟识别驱赶装置可以包括:图像获取模块310、图像识别模块320、对象确定模块330、驱鸟控制模块340。
其中,图像获取模块311用于通过所述驱鸟设备获取拟检测的目标机场环境图像;
图像识别模块320用于通过部署在所述边缘计算设备中的目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合,所述目标分类识别集合包含所述目标机场环境图像中各个像素对应的对象分类结果;其中,所述目标分类识别集合由所述目标飞鸟识别神经网络通过所述目标机场环境图像进行链式深度加深的表征向量挖掘,得到不同特征层次得到的多个目标表征向量集合,以及结合所述多个目标表征向量集合的多个图像内容识别结果以获得;其中,所述链式深度加深的表征向量挖掘的方式为将前一深度挖掘的表征向量集合确定为后一深度的输入数据进行表征向量挖掘;
对象确定模块330用于通过所述目标分类识别集合中的对象分类结果,确定所述目标机场环境图像中包含的目标对象;
驱鸟控制模块340用于当所述目标对象包括飞鸟类别时,控制所述驱鸟设备执行驱鸟操作。
根据本申请的一个实施例,图2所示的基于边缘计算的机场飞鸟识别驱赶方法所涉及的步骤可由图3所示的机场飞鸟识别驱赶装置中的各个模块来执行。
根据本申请的一个实施例,图3所示的机场飞鸟识别驱赶装置中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的至少两个子单元,可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由至少两个单元来实现,或者至少两个模块的功能由一个单元实现。在本申请的其它实施例中,机场飞鸟识别驱赶装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由至少两个单元协作实现。
根据本申请的一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理组件和存储组件的例如计算机的通用计算机设备上运行能够执行如图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图3中所示的机场飞鸟识别驱赶装置,以及来实现本申请实施例的基于边缘计算的机场飞鸟识别驱赶方法。上述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
请参见图4,是本申请实施例提供的一种边缘计算设备的结构示意图。如图4所示,上述边缘计算设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述边缘计算设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个在远离前述处理器1001的存储装置。如图4所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图4所示的边缘计算设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现以上实施例中提供的方法。
应当理解,本申请实施例中所描述的边缘计算设备1000可执行前文图2对应实施例中对基于边缘计算的机场飞鸟识别驱赶方法的描述,也可执行前文图3所对应实施例中对机场飞鸟识别驱赶装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的机场飞鸟识别驱赶装置所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图2对应实施例中对上述基于边缘计算的机场飞鸟识别驱赶方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署在一个地点的至少两个计算机设备上执行,又或者,在分布在至少两个地点且通过通信网络互连的至少两个计算机设备上执行,分布在至少两个地点且通过通信网络互连的至少两个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的机场飞鸟识别驱赶装置或者上述计算机设备的中部存储单元,例如计算机设备的硬盘或中存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flashcard)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的中部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同内容,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本申请实施例还提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现前文图2对应实施例中对上述基于边缘计算的机场飞鸟识别驱赶方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品的实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程网络连接设备的处理器以产生一个机器,使得通过计算机或其他可编程网络连接设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程网络连接设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程网络连接设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (8)

1.一种基于边缘计算的机场飞鸟识别驱赶方法,其特征在于,应用于边缘计算设备,所述边缘计算设备与驱鸟设备通信连接,所述方法包括:
通过所述驱鸟设备获取拟检测的目标机场环境图像;
通过部署在所述边缘计算设备中的目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合,所述目标分类识别集合包含所述目标机场环境图像中各个像素对应的对象分类结果;其中,所述目标分类识别集合由所述目标飞鸟识别神经网络通过所述目标机场环境图像进行链式深度加深的表征向量挖掘,得到不同特征层次得到的多个目标表征向量集合,以及结合所述多个目标表征向量集合的多个图像内容识别结果以获得;其中,所述链式深度加深的表征向量挖掘的方式为将前一深度挖掘的表征向量集合确定为后一深度的输入数据进行表征向量挖掘;
通过所述目标分类识别集合中的对象分类结果,确定所述目标机场环境图像中包含的目标对象;
当所述目标对象包括飞鸟类别时,控制所述驱鸟设备执行驱鸟操作;
其中,所述目标飞鸟识别神经网络包括P个依次连接的表征向量挖掘组件和图像内容识别组件;所述通过目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合,包括:
对所述目标机场环境图像进行图像编码映射,得到图像编码映射集合;
通过所述P个依次连接的表征向量挖掘组件依据所述图像编码映射集合进行链式递进式的表征向量挖掘;其中,所述P个依次连接的表征向量挖掘组件中前一个表征向量挖掘组件的执行结果作为后一个表征向量挖掘组件的输入,其中,P>1;
在所述P个依次连接的表征向量挖掘组件执行得到的表征向量集合中,获取其中A个目标表征向量挖掘组件执行得到的A个目标表征向量集合,其中,P≥A>1;
通过图像内容识别组件通过所述A个目标表征向量集合中每一目标表征向量集合进行图像内容识别,获得每一目标表征向量集合对应的图像内容识别结果;
获取各个所述图像内容识别结果的整合偏心系数;所述整合偏心系数为相应特征层次在网络调试过程中设置的权重值;
依据所述整合偏心系数对多个所述图像内容识别结果进行整合操作,得到偏心整合结果;
通过所述偏心整合结果确定所述目标机场环境图像对应的目标分类识别集合;
其中,所述图像内容识别组件包含先验支持系数分类模块和上下文约束分类模块,所述通过图像内容识别组件通过所述A个目标表征向量集合中每一目标表征向量集合进行图像内容识别,获得每一目标表征向量集合对应的图像内容识别结果,包括:
对于每一目标表征向量集合,通过所述先验支持系数分类模块对所述目标表征向量集合中的每一语义表征向量进行分类,得到每一所述目标表征向量集合对应的支持系数分布数组,其中,先验支持系数表示先验信息的支持系数;
通过所述上下文约束分类模块,依据每一所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,得到每一所述目标表征向量集合对应的图像内容识别结果。
2.根据权利要求1所述的方法,其特征在于,所述偏心整合结果包含所述目标机场环境图像中每一图像像素属于各对象分类结果的目标支持系数,所述通过所述偏心整合结果确定所述目标机场环境图像对应的目标分类识别集合,包括:
通过所述偏心整合结果中每一图像像素属于各对象分类结果的目标支持系数,确定所述目标机场环境图像中每一图像像素对应的最大的所述目标支持系数时的目标对象分类结果;
通过每一图像像素的目标对象分类结果,生成所述目标机场环境图像对应的目标分类识别集合。
3.根据权利要求1所述的方法,其特征在于,所述通过所述上下文约束分类模块,依据每一所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,得到每一所述目标表征向量集合对应的图像内容识别结果,包括:
对于每一目标表征向量集合,通过所述上下文约束分类模块依据所述目标机场环境图像中的像素空间分布关系,对所述目标表征向量集合中的每一语义表征向量选取一个对象分类结果进行组合,得到多个候选先验标记支线;
通过所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,确定每一候选先验标记支线的支线评估权重;
从所述多个候选先验标记支线中选取所述支线评估权重最大的目标先验标记支线,得到每一目标表征向量集合对应的图像内容识别结果。
4.根据权利要求3所述的方法,其特征在于,所述通过所述支持系数分布数组中每一语义表征向量属于各对象分类结果的支持系数,确定每一候选先验标记支线的支线评估权重,包括:
确定当前候选先验标记支线中指示的每一对象分类结果相对应的像素;
查询所述每一对象分类结果相对应的像素在相应的支持系数分布数组中的支持系数,并以所述支持系数作为相应像素所属的对象分类结果的分类权重,以获得所述当前候选先验标记支线中指示的每一对象分类结果的分类权重;
将所述当前候选先验标记支线中指示的每一对象分类结果的分类权重进行求和,得到当前候选先验标记支线的对象分类结果的状态权重;
获取状态迁移权重,所述状态迁移权重由所述候选先验标记支线中任意相邻的两个对象分类结果的分类权重之间的状态迁移系数求和获得,其中,对于每一候选先验标记支线,确定任两个相邻的对象分类结果的组合中通过一对象分类结果迁移到另一对象分类结果的状态迁移系数,所述状态迁移系数为由任一对象分类结果迁移到任一对象分类结果的迁移价值,所述迁移价值为一个表示迁移可能性的数值;每一所述状态迁移系数通过概率图模型在调试过程中获得的限制和状态迁移权重数组确定得到,将每一所述状态迁移系数进行求和,得到所述候选先验标记支线的状态迁移权重;
将所述状态权重和所述状态迁移权重进行求和,以及对求和结果进行对数求解,得到对应候选先验标记支线的支线评估权重。
5.根据权利要求1所述的方法,其特征在于,所述对象分类结果的类型包括非对象分类结果、对象开始像素分类结果、对象中间像素分类结果以及对象边界像素分类结果,所述通过所述目标分类识别集合中的对象分类结果,确定所述目标机场环境图像中包含的目标对象,包括:
通过所述目标分类识别集合中的对象分类结果,确定所述目标分类识别集合中的目标子分类识别集合;其中,所述目标子分类识别集合包括通过所述对象开始像素分类结果和所述对象边界像素分类结果依次排布构成的集合,通过所述对象开始像素分类结果、所述对象中间像素分类结果和所述对象边界像素分类结果依次排布构成的集合,以及在所述目标分类识别集合中周围都是所述非对象分类结果的单个所述对象开始像素分类结果;
通过所述目标子分类识别集合中的对象分类结果在所述目标机场环境图像中对应的像素,确定在所述目标机场环境图像中所述目标子分类识别集合对应的目标对象。
6.根据权利要求1所述的方法,其特征在于,所述通过目标飞鸟识别神经网络通过所述目标机场环境图像进行图像内容识别操作,得到目标分类识别集合之前,所述方法还包括所述目标飞鸟识别神经网络的调试步骤:
获取目标机场环境图像样例以及分类识别集合样例,所述分类识别集合样例包含所述目标机场环境图像样例中每一样例像素对应的样例对象分类结果;
将所述目标机场环境图像样例输入初始化神经网络进行链式深度加深的表征向量挖掘,得到多个目标特征层次执行得到的多个推理表征向量集合,以及确定每一推理表征向量集合的推理图像内容识别结果,每一所述推理图像内容识别结果包括所述目标机场环境图像样例中每一样例像素属于各对象分类结果的推理支持系数;
通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的误差值;
通过各目标特征层次对应的整合偏心系数和各目标特征层次的误差值,确定目标误差值;
通过所述目标误差值优化所述初始化神经网络的内部配置变量,重复调试过程直到符合设定的调试截止要求,得到调试完成的目标飞鸟识别神经网络。
7.根据权利要求6所述的方法,其特征在于,所述通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的误差值,包括:
通过每一所述推理图像内容识别结果中每一样例像素属于各对象分类结果的推理支持系数、所述分类识别集合样例中每一样例像素对应的样例对象分类结果,确定每一目标特征层次的推理分类结果中每一样例像素的像素误差值;
对所述目标机场环境图像样例中多个样例像素的像素误差值进行加权,得到每一目标特征层次的误差值;
所述目标特征层次对应的整合偏心系数与所述目标特征层次的层数之间的变化趋势相反。
8.一种机场飞鸟识别驱赶系统,其特征在于,包括边缘计算设备和与所述边缘计算设备通信连接的驱鸟设备,所述边缘计算设备包括:
处理器;
以及存储器,其中所述存储器中存储有计算机可读代码,所述计算机可读代码在由所述处理器运行时,使得所述处理器执行如权利要求1~7中任一项所述的方法。
CN202410124551.2A 2024-01-30 2024-01-30 基于边缘计算的机场飞鸟识别驱赶方法及系统 Active CN117690164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410124551.2A CN117690164B (zh) 2024-01-30 2024-01-30 基于边缘计算的机场飞鸟识别驱赶方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410124551.2A CN117690164B (zh) 2024-01-30 2024-01-30 基于边缘计算的机场飞鸟识别驱赶方法及系统

Publications (2)

Publication Number Publication Date
CN117690164A CN117690164A (zh) 2024-03-12
CN117690164B true CN117690164B (zh) 2024-04-30

Family

ID=90130364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410124551.2A Active CN117690164B (zh) 2024-01-30 2024-01-30 基于边缘计算的机场飞鸟识别驱赶方法及系统

Country Status (1)

Country Link
CN (1) CN117690164B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893538B (zh) * 2024-03-15 2024-05-31 成都方昇科技有限公司 基于机器视觉的半导体器件质量检测方法、装置及系统

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技(深圳)有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN109214403A (zh) * 2017-07-06 2019-01-15 阿里巴巴集团控股有限公司 图像识别方法、装置及设备、可读介质
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位系统和方法
CN110197231A (zh) * 2019-06-04 2019-09-03 南京华格信息技术有限公司 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN110679586A (zh) * 2019-09-30 2020-01-14 深圳供电局有限公司 一种输电网鸟类驱赶方法及其系统、计算机可读存储介质
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN114912612A (zh) * 2021-06-25 2022-08-16 江苏大学 鸟类识别方法、装置、计算机设备及存储介质
CN115147644A (zh) * 2022-06-10 2022-10-04 合肥工业大学 图像描述模型的训练和描述方法、系统、设备及存储介质
CN115311678A (zh) * 2022-04-19 2022-11-08 北京理工雷科电子信息技术有限公司 一种背景抑制和dcnn相结合的红外视频机场飞鸟检测方法
KR20220169110A (ko) * 2021-06-18 2022-12-27 조윤희 유해 조류 퇴치 시스템
CN115546672A (zh) * 2022-11-30 2022-12-30 广州天地林业有限公司 基于图像处理的森林图片处理方法及系统
CN116109613A (zh) * 2023-02-24 2023-05-12 华中科技大学 一种基于分布表征的缺陷检测方法和系统
CN116405577A (zh) * 2023-03-25 2023-07-07 盐城工学院 应用于机场智能驱鸟系统仿生学总线协议
CN116415163A (zh) * 2023-01-04 2023-07-11 中国船舶集团有限公司第七〇九研究所 一种基于雷达数据进行无人机识别的方法
CN116681957A (zh) * 2023-08-03 2023-09-01 富璟科技(深圳)有限公司 一种基于人工智能的图像识别方法及计算机设备
CN116740758A (zh) * 2023-05-25 2023-09-12 广西电网有限责任公司贵港供电局 一种防止误判的鸟类图像识别方法及系统
CN116740662A (zh) * 2023-08-15 2023-09-12 贵州中南锦天科技有限责任公司 一种基于激光雷达的车轴识别方法及系统
CN117011566A (zh) * 2022-07-22 2023-11-07 腾讯科技(深圳)有限公司 一种目标检测方法、检测模型训练方法、装置及电子设备
CN117455910A (zh) * 2023-12-22 2024-01-26 广州金和精密机电设备有限公司 一种基于机器视觉的卷线识别方法及卷线设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242577B2 (en) * 2016-12-01 2019-03-26 Honeywell International Inc. Data communication between airport surveillance radar and onboard airborne weather radar
US11369106B2 (en) * 2019-04-12 2022-06-28 Charles Hartman King Automatic animal detection and deterrent system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214403A (zh) * 2017-07-06 2019-01-15 阿里巴巴集团控股有限公司 图像识别方法、装置及设备、可读介质
CN108764202A (zh) * 2018-06-06 2018-11-06 平安科技(深圳)有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位系统和方法
CN110197231A (zh) * 2019-06-04 2019-09-03 南京华格信息技术有限公司 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN110679586A (zh) * 2019-09-30 2020-01-14 深圳供电局有限公司 一种输电网鸟类驱赶方法及其系统、计算机可读存储介质
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
KR20220169110A (ko) * 2021-06-18 2022-12-27 조윤희 유해 조류 퇴치 시스템
CN114912612A (zh) * 2021-06-25 2022-08-16 江苏大学 鸟类识别方法、装置、计算机设备及存储介质
CN115311678A (zh) * 2022-04-19 2022-11-08 北京理工雷科电子信息技术有限公司 一种背景抑制和dcnn相结合的红外视频机场飞鸟检测方法
CN115147644A (zh) * 2022-06-10 2022-10-04 合肥工业大学 图像描述模型的训练和描述方法、系统、设备及存储介质
CN117011566A (zh) * 2022-07-22 2023-11-07 腾讯科技(深圳)有限公司 一种目标检测方法、检测模型训练方法、装置及电子设备
CN115546672A (zh) * 2022-11-30 2022-12-30 广州天地林业有限公司 基于图像处理的森林图片处理方法及系统
CN116415163A (zh) * 2023-01-04 2023-07-11 中国船舶集团有限公司第七〇九研究所 一种基于雷达数据进行无人机识别的方法
CN116109613A (zh) * 2023-02-24 2023-05-12 华中科技大学 一种基于分布表征的缺陷检测方法和系统
CN116405577A (zh) * 2023-03-25 2023-07-07 盐城工学院 应用于机场智能驱鸟系统仿生学总线协议
CN116740758A (zh) * 2023-05-25 2023-09-12 广西电网有限责任公司贵港供电局 一种防止误判的鸟类图像识别方法及系统
CN116681957A (zh) * 2023-08-03 2023-09-01 富璟科技(深圳)有限公司 一种基于人工智能的图像识别方法及计算机设备
CN116740662A (zh) * 2023-08-15 2023-09-12 贵州中南锦天科技有限责任公司 一种基于激光雷达的车轴识别方法及系统
CN117455910A (zh) * 2023-12-22 2024-01-26 广州金和精密机电设备有限公司 一种基于机器视觉的卷线识别方法及卷线设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Application of Deep-Learning Methods to Bird Detection Using Unmanned Aerial Vehicle Imagery;Suk-Ju Hong 等;《Sensors》;20190406;1-16 *
Automated detection of bird roosts using NEXRAD radar data and Convolutional Neural Networks;Carmen Chilson 等;《Remote Sensing in Ecology and Conservation》;20180822;20-32 *
基于弱监督学习的机场鸟类图像识别研究与实现;王翊斐;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220115;I138-2147 *
民用机场外来飞行物运动轨迹追踪与预测研究;魏桂明;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20230115;C031-931 *
面向短文本的情感分析关键技术研究;邓钰;《中国博士论文全文数据库 信息科技辑》;20220115;I138-240 *

Also Published As

Publication number Publication date
CN117690164A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
Chen et al. Deep learning for autonomous ship-oriented small ship detection
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN113168567A (zh) 用于小样本转移学习的系统和方法
CN110874841A (zh) 参照边缘图像的客体检测方法及装置
US11651302B2 (en) Method and device for generating synthetic training data for an artificial-intelligence machine for assisting with landing an aircraft
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
CN117690164B (zh) 基于边缘计算的机场飞鸟识别驱赶方法及系统
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN104866868A (zh) 基于深度神经网络的金属币识别方法和装置
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
Yoshihashi et al. Bird detection and species classification with time‐lapse images around a wind farm: Dataset construction and evaluation
CN112883839A (zh) 基于自适应样本集构造与深度学习的遥感影像解译方法
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
KR20200027888A (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112905997A (zh) 面向深度学习模型中毒攻击的检测方法、装置及系统
CN116563680A (zh) 基于高斯混合模型的遥感图像特征融合方法、电子设备
CN116740422A (zh) 基于多模态注意力融合技术的遥感图像分类方法及装置
CN114445917A (zh) 一种人脸活体识别网络训练方法、系统及电子设备
Goswami et al. A comprehensive review on real time object detection using deep learing model
Yang et al. UAV Landmark Detection Based on Convolutional Neural Network
Pan et al. A deep learning based framework for UAV trajectory pattern recognition
Luo Sailboat and kayak detection using deep learning methods
Prasvita et al. Deep Learning Model for Automatic Detection of Oil Palm Trees in Indonesia with YOLO-V5
CN113326509B (zh) 基于互信息的深度学习模型中毒攻击检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant