CN112580753A - 基于纹理特征掩码的紧急迫降位置确定方法 - Google Patents
基于纹理特征掩码的紧急迫降位置确定方法 Download PDFInfo
- Publication number
- CN112580753A CN112580753A CN202110202476.3A CN202110202476A CN112580753A CN 112580753 A CN112580753 A CN 112580753A CN 202110202476 A CN202110202476 A CN 202110202476A CN 112580753 A CN112580753 A CN 112580753A
- Authority
- CN
- China
- Prior art keywords
- texture feature
- forced landing
- map
- feature map
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于纹理特征掩码的紧急迫降位置确定方法,其包括:通过无人机自身的摄像头获取备选迫降地的图像;将所述备选迫降地图像通过卷积神经网络以获得第一特征图;从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及,基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度分类。
Description
技术领域
本申请涉及无人机领域,且更为具体地,涉及一种基于纹理特征掩码的用于无人机的紧急迫降地位置确定方法、系统和电子设备。
背景技术
近年来,无人机巡检已成为当前输电线路巡视的热门课题,尤其是目前大量的高压输电线路需要通过人烟稀少的地带,甚至是无人区,给人工巡检带来很大的困难。另一方面,考虑到高压输电线路的安全性问题,也不倾向于使用需要大量人工介入的人工巡检。
在无人机的巡检过程中,可能存在需要无人机紧急迫降的情况,比如无人机碰到恶劣天气,或者无人机在飞行过程中由于高压输电线路的电场或磁场影响导致元件工作不稳定等。
因此,为了保证无人机的迫降安全,需要能够用于确定无人机的紧急迫降位置的方案。
目前,深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外,深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域,也展现出了接近甚至超越人类的水平。
近年来,深度学习以及神经网络的发展为无人机紧急迫降地位置的确定提供了新的解决思路和方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基于纹理特征掩码的紧急迫降地位置确定方法、系统和电子设备,其基于纹理特征掩码降低了迫降地的纹理要求对于迫降地选择的影响,以提高迫降地分类的准确率。
根据本申请的一个方面,提供了一种基于纹理特征掩码的紧急迫降位置确定方法,其包括:
通过无人机自身的摄像头获取备选迫降地的图像;
将所述备选迫降地图像通过卷积神经网络以获得第一特征图;
从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;
将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;
基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;
基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及
基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。
在上述基于纹理特征掩码的紧急迫降位置确定方法中,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图,包括:响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及,响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
在上述基于纹理特征掩码的紧急迫降位置确定方法中,所述预设阈值作为超参数参与到所述卷积神经网络的训练过程中。
在上述基于纹理特征掩码的紧急迫降位置确定方法中,基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图,包括:将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。
在上述基于纹理特征掩码的紧急迫降位置确定方法中,所述分类结果包括用于表示所述备选迫降地的迫降难易度的多个分类标签,所述分类标签包括迫降困难、迫降一般、迫降容易。
根据本申请的另一方面,提供了一种基于纹理特征掩码的紧急迫降位置确定系统,包括:
备选迫降地图像获取单元,用于通过无人机自身的摄像头获取备选迫降地的图像;
第一特征图生成单元,用于将所述备选迫降地图像获取单元获得的所述备选迫降地图像通过卷积神经网络以获得第一特征图;
纹理特征图提取单元,用于从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;
归一化处理单元,用于将所述纹理特征图提取单元获得的所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;
纹理特征掩码图生成单元,用于基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;
分类特征图生成单元,用于基于所述纹理特征掩码图生成单元获得的所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及
分类结果生成单元,用于基于所述分类特征图生成单元获得的所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度分类。
在上述基于纹理特征掩码的紧急迫降位置确定系统中,所述纹理特征掩码图生成单元,进一步用于:响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及,响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
在上述基于纹理特征掩码的紧急迫降位置确定系统中,所述分类特征图生成单元,进一步用于:将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。
在上述基于纹理特征掩码的紧急迫降位置确定系统中,所述分类结果包括用于表示所述备选迫降地的迫降难易度的多个分类标签,所述分类标签包括迫降困难、迫降一般、迫降容易。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于纹理特征掩码的紧急迫降位置确定方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于纹理特征掩码的紧急迫降位置确定方法。
根据本申请提供的基于纹理特征掩码的紧急迫降位置确定方法、系统和电子设备,其基于纹理特征掩码降低了迫降地的纹理要求对于迫降地选择的影响,以提高迫降地分类的准确率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的场景示意图。
图2图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的流程图。
图3图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的架构示意图。
图4图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法中,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图的流程图。
图5图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法中,基于纹理特征图生成纹理特征掩码图的结构示意图。
图6图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定系统的框图。
图7图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如前所述,近年来,无人机巡检已成为当前输电线路巡视的热门课题,尤其是目前大量的高压输电线路需要通过人烟稀少的地带,甚至是无人区,给人工巡检带来很大的困难。另一方面,考虑到高压输电线路的安全性问题,也不倾向于使用需要大量人工介入的人工巡检。
在无人机的巡检过程中,可能存在需要无人机紧急迫降的情况,比如无人机碰到恶劣天气,或者无人机在飞行过程中由于高压输电线路的电场或磁场影响导致元件工作不稳定等。
因此,为了保证无人机的迫降安全,需要能够用于确定无人机的紧急迫降位置的方案。
本申请的申请人考虑到可以利用无人机本身所带的摄像机,通过对于待迫降的候选地点的图像进行识别的方式来确定该迫降地点是否适合于无人机紧急迫降,具体的考虑因素可以包括地势是否平坦,是否存在障碍物体等,因此,这本质上是一个图像识别和分类的问题,可以采用基于卷积神经网络的特征提取和分类来实现。
但是,由于无人机在巡检过程中是在野外工作,无论地面覆盖着植被或者砂石,都包含着大量的纹理特征,而这些纹理特征对于迫降地点的图像识别和分类是没有太大用处的。也就是,无人机在迫降时并不需要考虑地面的纹理要素,而在通过卷积神经网络进行特征提取时,会提取出大量与纹理相关的高维特征,这些高维特征一方面会导致基于卷积神经网络提取出的高维特征的分类的泛化能力差,一方面也会影响分类的准确度。
因此,在本申请的方案中,在对图像进行基于卷积神经网络的特征提取时,从卷积神经网络的第四到第六层获得主要包含图像的纹理特征的特征图,再基于该纹理特征的特征图构建纹理特征掩码图,以便于过滤高维特征图中的与纹理密切关联的特征。可以认为是通过纹理特征掩码图来对高维特征图的各个位置进行筛选,通过仅保留不与纹理密切关联的位置的特征值,而删除与纹理密切关联的位置的特征值来形成新的用于分类的特征图。
在构建纹理特征掩码图的过程中,首先将纹理特征的特征图进行各位置的归一化以便将各位置的值映射到0到1的区间内,再按照预先设置的阈值来对各个位置的值进行转换,即大于阈值的位置的值为1,小于阈值的位置的值为0,从而构建纹理特征掩码图。而该预先设置的阈值可以作为超参数,在卷积神经网络的训练过程中与卷积神经网络一起训练。
基于此,本申请提出了一种基于纹理特征掩码的紧急迫降位置确定方法,其包括:通过无人机自身的摄像头获取备选迫降地的图像;将所述备选迫降地图像通过卷积神经网络以获得第一特征图;从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及,基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。
图1图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的场景示意图。
如图1所示,在该应用场景中,首先通过巡检用无人机(例如,如图1中所示意的V)自身携带的摄像头(例如,如图1中所示意的C)获取备选迫降地的图像;然后,将获取的备选迫降地图像输入至部署有基于纹理特征掩码的紧急迫降位置确定算法的服务器(例如,如图1中所示意的S)中,其中,所述服务器能够基于纹理特征掩码的紧急迫降位置确定算法对所述备选迫降地图像进行处理,以输出所述备选迫降地的迫降难度。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的流程图。如图2所示,根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法,包括:S110, 通过无人机自身的摄像头获取备选迫降地的图像;S120,将所述备选迫降地图像通过卷积神经网络以获得第一特征图;S130,从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;S140,将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;S150,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;S160, 基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及,S170,基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。
图3图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法的架构示意图。如图3所示,在该网络架构中,首先将获取的备选迫降地的图像输入卷积神经网络(例如,如图3中所示意的CNN)以获得第一特征图(例如,如图3中所示意的F1);接着,从所述卷积神经网络的第N层获得纹理特征图(例如,如图3中所示意的Ft);然后,再基于所述纹理特征图构造纹理特征掩码图(例如,如图3中所示意的Fm),所述掩码图用于滤除所述第一特征图中与纹理密切关联的特征;继而,基于所述纹理特征图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图(例如,如图3中所示意的Fc);最终,基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。
在步骤S110中,通过无人机自身的摄像头获取备选迫降地的图像。如前所述,在无人机巡检过程中,可能存在需要无人机紧急迫降的情况,比如无人机碰到恶劣天气,或者无人机在飞行过程中由于高压输电线路的电场或磁场影响导致元件工作不稳定等。此时,为了保证无人机的迫降安全,需要确定迫降地点来进行迫降。
在本申请的技术方案中,通过无人机自身配置的摄像头采集备选迫降地的图像,并基于计算机机器视觉技术来确定备选迫降地的迫降难易度。
在步骤S120中,将所述备选迫降地图像通过卷积神经网络以获得第一特征图。也就是,以卷积神经网络对所述备选迫降地图像进行处理,以提取出所述备选迫降地图像中的高维隐含特征。本领域普通技术人员应知晓,卷积神经网络在图像处理领域具有优异表现,其通常包括卷积层、池化层、激活层、全连接层等。
这里,由于无人机在巡检过程中是在野外工作,无论地面覆盖的植被或者砂石,都包含着大量的纹理特征,而这些纹理特征对于备选迫降地的图像识别和分类没有太大用处。也就是,无人机在迫降时并不需要考虑备选迫降地的纹理要素,而在通过卷积神经网络进行特征提取时,会提取出大量与纹理相关的高维特征,这些高维特征一方面会导致基于卷积神经网络提取出的高维特征的分类的泛化能力差,一方面也会影响分类的准确度。
因此,在本申请的技术方案中,需滤除所述第一特征图中的与纹理密切关联的位置的特征值以形成新的用于分类的特征图。
在步骤S130中,从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数。本领域普通技术人员应知晓,卷积神经网络在提取特征方面:其第一层至第三层提取的是形状、角落和边缘等浅层特征,再往下第四层到第六层提取的就是纹理层面的特征。因此,在本申请实施例中,选择从所述卷积神经网络的第四层到第六层提取出纹理特征,再基于该纹理特征的特征图构建纹理特征掩码图,以便于过滤高维特征图中的与纹理密切关联的特征。
在步骤S140中,将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内。
在步骤S150中,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图。步骤S140和步骤S150为基于所述纹理特征图生成所述纹理特征掩码图的过程。
具体地,在步骤S140中,首先,将纹理特征的特征图进行各位置的归一化以便将各位置的值映射到0到1的区间内。例如,将所述纹理特征图中各位置的特征值以Sigmoid函数进行处理,以将各位置的值映射到0到1的区间内。接着,在步骤S150中,按照预先设置的阈值来对各个位置的值进行转换,即大于阈值的位置的值为1,小于阈值的位置的值为0,从而构建纹理特征掩码图。
图4图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法中,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图的流程图。如图4所示,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图的流程图,包括:S210,响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及,S220,响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
图5图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法中,基于纹理特征图生成纹理特征掩码图的结构示意图。如图5所示,在根据本申请实施例的基于纹理特征图生成纹理特征掩码图的过程中,首先,以Sigmoid函数对所述纹理特征图(例如,如图5中所示意的Ft)进行激活,以将所述纹理特征图中各个位置的特征值转化到[0,1]区间内,接着,以预设阈值作用于经归一化处理后的所述纹理特征图,以生成所述纹理特征掩码图(例如,如图5中所示意的Fm)。
值得一提的是,在训练过程中,所述预设阈值作为超参数参与到所述卷积神经网络的训练过程中。
在步骤S160中,基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图。也就是,以所述纹理特征掩码图过滤所述第一特征图中的与纹理密切关联的特征。可以认为是通过纹理特征掩码图来对高维特征图的各个位置进行筛选,通过仅保留不与纹理密切关联的位置的特征值,而删除与纹理密切关联的位置的特征值来形成新的用于分类的特征图。
具体地,在本申请实施例中,基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图的过程,包括:将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。应可以理解,当所述纹理特征掩码图的对应位置的特征值为0时,其与所述第一特征图中对应位置的特征值的乘积为0,即,对应位置的信息被滤除;相反地,当所述纹理特征掩码图的对应位置的特征值为1时,其与所述第一特征图中对应位置的特征值的乘积为该对应位置的特征值,即,对应位置的信息被保留,通过这样的方式,仅保留不与纹理密切关联的位置的特征值,而删除与纹理密切关联的位置的特征值来形成新的用于分类的特征图。
在步骤S170中,基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。具体地,首先,所述分类特征图通过全连接层以获得分类特征向量,其中,所述全连接层能够充分利用所述分类特征图中各个位置的信息。接着,所述分类特征向量被输入值分类函数(通常为Softmax分类函数)以获得分类结果。
在本申请的技术方案中,所述分类结果表示所述备选迫降地的迫降难易度,其包括多个标签。具体地,所述多个标签包括:迫降困难、迫降一般、迫降容易等。也就是,在本申请的技术方案中,紧急迫降位置分类为多个不同的类别。
在具体实施中,如果没有检测到迫降容易的地点,则可以选择难度相对较低的迫降地点,并启动无人机的紧急迫降辅助装置以保证紧急迫降的安全。
综上,基于本申请实施例的基于纹理特征掩码的紧急迫降位置确定方法被阐明,其基于纹理特征掩码降低了迫降地的纹理要求对于迫降地选择的影响,以提高迫降地分类的准确率。
示例性系统
图6图示了根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定系统的框图。
如图6所示,根据本申请实施例的基于纹理特征掩码的紧急迫降位置确定系统600,包括:备选迫降地图像获取单元 610,用于通过无人机自身的摄像头获取备选迫降地的图像;第一特征图生成单元 620,用于将所述备选迫降地图像获取单元 610获得的所述备选迫降地图像通过卷积神经网络以获得第一特征图;纹理特征图提取单元 630,用于从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;归一化处理单元 640,用于将所述纹理特征图提取单元 630获得的所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;纹理特征掩码图生成单元 650,用于基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;分类特征图生成单元 660,用于基于所述纹理特征掩码图生成单元650获得的所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及,分类结果生成单元 670,用于基于所述分类特征图生成单元 660获得的所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度分类。
在一个示例中,在上述紧急迫降位置确定系统 600中,所述纹理特征掩码图生成单元 650,进一步用于:响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及,响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
在一个示例中,在上述紧急迫降位置确定系统 600中,所述分类特征图生成单元660,进一步用于:将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。
在一个示例中,在上述紧急迫降位置确定系统 600中,所述分类结果包括用于表示所述备选迫降地的迫降难易度的多个分类标签,所述分类标签包括迫降困难、迫降一般、迫降容易。
这里,本领域技术人员可以理解,上述紧急迫降位置确定系统 600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的基于纹理特征掩码的紧急迫降位置确定方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本申请实施例的紧急迫降位置确定系统 600可以实现在各种终端设备中,例如无人机等。在一个示例中,根据本申请实施例的紧急迫降位置确定系统 600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该紧急迫降位置确定系统600可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该紧急迫降位置确定系统 600同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该紧急迫降位置确定系统 600与该终端设备也可以是分立的设备,并且该紧急迫降位置确定系统 600可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图7来描述根据本申请实施例的电子设备。
图7图示了根据本申请实施例的电子设备的框图。
如图7所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的基于纹理特征掩码的紧急迫降位置确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如监控视频、分类结果等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于纹理特征掩码的紧急迫降位置确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于纹理特征掩码的紧急迫降位置确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于纹理特征掩码的紧急迫降位置确定方法,其特征在于,包括:
通过无人机自身的摄像头获取备选迫降地的图像;
将所述备选迫降地图像通过卷积神经网络以获得第一特征图;
从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;
将所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;
基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;
基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及
基于所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度。
2.根据权利要求1所述的基于纹理特征掩码的紧急迫降位置确定方法,其中,基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图,包括:
响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及
响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
3.根据权利要求2所述的基于纹理特征掩码的紧急迫降位置确定方法,其中,所述预设阈值作为超参数参与到所述卷积神经网络的训练过程中。
4.根据权利要求1所述的基于纹理特征掩码的紧急迫降位置确定方法,其中,基于所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图,包括:
将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。
5.根据权利要求1所述的基于纹理特征掩码的紧急迫降位置确定方法,其中,所述分类结果包括用于表示所述备选迫降地的迫降难易度的多个分类标签,所述分类标签包括迫降困难、迫降一般、迫降容易。
6.一种基于纹理特征掩码的紧急迫降位置确定系统,其特征在于,包括:
备选迫降地图像获取单元,用于通过无人机自身的摄像头获取备选迫降地的图像;
第一特征图生成单元,用于将所述备选迫降地图像获取单元获得的所述备选迫降地图像通过卷积神经网络以获得第一特征图;
纹理特征图提取单元,用于从所述卷积神经网络的第N层获取纹理特征图,N为大于等于4且小于等于6的正整数;
归一化处理单元,用于将所述纹理特征图提取单元获得的所述纹理特征图进行归一化处理以将所述纹理特征图中各个像素位置的值映射到0到1的区间内;
纹理特征掩码图生成单元,用于基于预设阈值对归一化后的所述纹理特征图中各个位置的值进行转化,以获得纹理特征掩码图;
分类特征图生成单元,用于基于所述纹理特征掩码图生成单元获得的所述纹理特征掩码图对所述第一特征图中各个像素位置进行筛选,以获得分类特征图;以及
分类结果生成单元,用于基于所述分类特征图生成单元获得的所述分类特征图通过分类器以获得分类结果,所述分类结果表示所述备选迫降地的迫降难易度分类。
7.根据权利要求6所述的基于纹理特征掩码的紧急迫降位置确定系统,所述纹理特征掩码图生成单元,进一步用于:
响应于所述纹理特征图中对应位置的值大于等于所述预设阈值,将所述对应位置的值设为1;以及
响应于所述纹理特征图中对应位置的值小于所述预设阈值,将所述对应位置的值设为0。
8.根据权利要求6所述的基于纹理特征掩码的紧急迫降位置确定系统,所述分类特征图生成单元,进一步用于:将所述纹理特征掩码图与所述第一特征图进行按像素位置点乘以获得所述分类特征图。
9.根据权利要求6所述的基于纹理特征掩码的紧急迫降位置确定系统,所述分类结果包括用于表示所述备选迫降地的迫降难易度的多个分类标签,所述分类标签包括迫降困难、迫降一般、迫降容易。
10.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-5中任一项所述的基于纹理特征掩码的紧急迫降位置确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110202476.3A CN112580753A (zh) | 2021-02-24 | 2021-02-24 | 基于纹理特征掩码的紧急迫降位置确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110202476.3A CN112580753A (zh) | 2021-02-24 | 2021-02-24 | 基于纹理特征掩码的紧急迫降位置确定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112580753A true CN112580753A (zh) | 2021-03-30 |
Family
ID=75113938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110202476.3A Withdrawn CN112580753A (zh) | 2021-02-24 | 2021-02-24 | 基于纹理特征掩码的紧急迫降位置确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112580753A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596576A (zh) * | 2021-07-21 | 2021-11-02 | 杭州网易智企科技有限公司 | 一种视频超分辨率的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931862A (zh) * | 2020-09-11 | 2020-11-13 | 杭州追猎科技有限公司 | 非法张贴广告的检测方法、系统和电子设备 |
CN112101302A (zh) * | 2020-11-05 | 2020-12-18 | 杭州追猎科技有限公司 | 非法张贴物检测方法、系统和电子设备 |
-
2021
- 2021-02-24 CN CN202110202476.3A patent/CN112580753A/zh not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931862A (zh) * | 2020-09-11 | 2020-11-13 | 杭州追猎科技有限公司 | 非法张贴广告的检测方法、系统和电子设备 |
CN112101302A (zh) * | 2020-11-05 | 2020-12-18 | 杭州追猎科技有限公司 | 非法张贴物检测方法、系统和电子设备 |
Non-Patent Citations (1)
Title |
---|
日经大数据: "《深度学习的商业化应用 谷歌工程师前沿解读人工智能》", 31 July 2018, 华中科技大学出版社 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596576A (zh) * | 2021-07-21 | 2021-11-02 | 杭州网易智企科技有限公司 | 一种视频超分辨率的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108604303B (zh) | 用于场景分类的系统、方法和计算机可读介质 | |
CN110313017B (zh) | 基于对象组件来对输入数据进行分类的机器视觉方法 | |
CN110582777B (zh) | 借助于联合稀疏表示的零样本机器视觉系统 | |
US11023777B1 (en) | Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same | |
CN110352429B (zh) | 用于对象的判别定位的机器视觉系统 | |
Ali et al. | Improved YOLOv4 for aerial object detection | |
CN112075071B (zh) | 对视频流中的上下文变化进行检测的方法、系统和介质 | |
Wu et al. | Towards interpretable R-CNN by unfolding latent structures | |
Sharifi et al. | A deep learning based hazardous materials (HAZMAT) sign detection robot with restricted computational resources | |
EP3750103A1 (en) | Machine vision system for recognizing novel objects | |
CN112580753A (zh) | 基于纹理特征掩码的紧急迫降位置确定方法 | |
US11194330B1 (en) | System and method for audio classification based on unsupervised attribute learning | |
CN113076889B (zh) | 集装箱铅封识别方法、装置、电子设备和存储介质 | |
CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
Fraczek et al. | Embedded vision system for automated drone landing site detection | |
Pan et al. | Hyperspectral image fusion and multitemporal image fusion by joint sparsity | |
CN112584108B (zh) | 用于无人机巡检的线路物理损伤监控方法 | |
CN116385962A (zh) | 基于机器视觉的廊道内人员监控系统及其方法 | |
CN113781845B (zh) | 无人机的电子围栏建立方法、系统和电子设备 | |
EP4002270A1 (en) | Image recognition evaluation program, image recognition evaluation method, evaluation device, and evaluation system | |
Dolph et al. | Towards explainability of uav-based convolutional neural networks for object classification | |
EP3516592A1 (en) | Method for object detection in digital image and video using spiking neural networks | |
CN112950693A (zh) | 使用高斯分布概率值的智能静电吸附距离控制方法 | |
CN112633089A (zh) | 一种视频行人重识别方法、智能终端及存储介质 | |
CN112767342A (zh) | 基于双分支推断机制的瓦斯气体智能检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210330 |