CN114626448B - 绘图机器人及其控制方法 - Google Patents
绘图机器人及其控制方法 Download PDFInfo
- Publication number
- CN114626448B CN114626448B CN202210204311.4A CN202210204311A CN114626448B CN 114626448 B CN114626448 B CN 114626448B CN 202210204311 A CN202210204311 A CN 202210204311A CN 114626448 B CN114626448 B CN 114626448B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- feature
- neural network
- matrix
- drawing robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 134
- 238000009877 rendering Methods 0.000 claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 154
- 238000012545 processing Methods 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 102100033620 Calponin-1 Human genes 0.000 description 1
- 102100033591 Calponin-2 Human genes 0.000 description 1
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及测绘的领域,其具体地公开了一种绘图机器人及其控制方法,其通过卷积神经网络模型分别提取出所述预定时间段内的接收信号波形图和多个时间点的深度图在高维空间中的特征分布表示,并利用多层感知机模型对每个所述深度图中的每个像素的方位信息进行转化以得到对应于每个所述深度图的体积密度值,进一步再基于所述第一特征矩阵的每个位置的特征值和其对应的所述体积密度值,对于整个所述第一特征矩阵求和以获得体积渲染值,这样融合所述第一特征向量与所述多个体积渲染值构成的第二特征向量进行分类能够提高分类结果的准确性。这样,可以对所述测绘机器人当前飞行的高度合理性进行准确地判断,以确保空间分辨率满足预设要求。
Description
技术领域
本发明涉及测绘的领域,且更为具体地,涉及一种绘图机器人及其控制方法。
背景技术
无人机的出现可以说对我们生活中的许多领域进行了一场革命,影响最大的可能要属测绘领域。这些小型的飞行器可以在任何区域只需要几分钟或者几小时就能够将区域图给绘制完成,与传统的人工绘制相比大大提升了作业效率。此外,即便是非专业人士,通过使用一些专业设备也可以完成摄影测量或3D建模等任务。
在测绘领域中,最重要的参数之一则是空间分辨率,在摄影测量术中将其描述为GSD(地面采样距离),其定义为在地面上测量的两个连续像素中心之间的距离。如何控制相机与地形表面之间的相对位置关系以确保空间分辨率满足预设要求,是绘图机器人完成出色绘图的关键。
因此,期待一种优化的用于绘图机器人的控制方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种绘图机器人及其控制方法,其通过卷积神经网络模型分别提取出所述预定时间段内的接收信号波形图和多个时间点的深度图在高维空间中的特征分布表示,并利用多层感知机模型对每个所述深度图中的每个像素方位进行转化以得到对应于每个所述深度图的体积密度值,进一步再基于所述第一特征矩阵的每个位置的特征值和其对应的所述体积密度值,对于整个所述第一特征矩阵求和以获得体积渲染值,这样融合所述第一特征向量与所述多个体积渲染值构成的第二特征向量进行分类能够提高分类结果的准确性。通过这样的方式,可以对所述测绘机器人当前飞行的高度合理性进行准确地判断,以确保空间分辨率满足预设要求。
根据本申请的一个方面,提供了一种绘图机器人,其包括:
第一源数据获取单元,用于通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;
第一神经网络单元,用于将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;
第二源数据获取单元,用于通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;
第二神经网络编码单元,用于对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;
方位信息编码单元,用于对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;
体积渲染值计算单元,用于计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;
特征向量构造单元,用于将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;
特征向量融合单元,用于融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及
控制单元,用于将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
在上述绘图机器人中,所述第一神经网络单元,进一步用于:使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
在上述绘图机器人中,所述第二神经网络编码单元,进一步用于:使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
在上述绘图机器人中,在所述深度图的各个像素点的方位信息中,
在上述绘图机器人中,所述体积渲染值计算单元,进一步用于:以如下公式计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,其中,所述公式为:
其中,fi,j为所述第一特征矩阵中各个位置的特征值,σi,j为所述体积密度值矩阵中各个位置的体积密度值。
在上述绘图机器人中,其中,所述特征向量融合单元,进一步用于:计算所述第一特征向量和所述第二特征向量的按位置加权和以获得所述分类特征向量。
在上述绘图机器人中,所述控制单元,进一步用于:使用所述分类器以如下公式对所述分类特征向量进行处理以生成所述分类结果,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,X为分类特征向量。
根据本申请的另一方面,一种绘图机器人的控制方法,其包括:
通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;
将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;
通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;
对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;
对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;
计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;
将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;
融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及
将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
在上述绘图机器人的控制方法中,将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量,包括:使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
在上述绘图机器人的控制方法中,对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵,包括:使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
在上述绘图机器人的控制方法中,在所述深度图的各个像素点的方位信息中,
在上述绘图机器人的控制方法中,算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,包括:以如下公式计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,其中,所述公式为:
其中,fi,j为所述第一特征矩阵中各个位置的特征值,σi,j为所述体积密度值矩阵中各个位置的体积密度值。
在上述绘图机器人的控制方法中,融合所述第一特征向量和所述第二特征向量以获得分类特征向量,包括:计算所述第一特征向量和所述第二特征向量的按位置加权和以获得所述分类特征向量。
在上述绘图机器人的控制方法中,将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适,包括:使用所述分类器以如下公式对所述分类特征向量进行处理以生成所述分类结果,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,X为分类特征向量。
与现有技术相比,本申请提供的绘图机器人及其控制方法,其通过卷积神经网络模型分别提取出所述预定时间段内的接收信号波形图和多个时间点的深度图在高维空间中的特征分布表示,并利用多层感知机模型对每个所述深度图中的每个像素方位进行转化以得到对应于每个所述深度图的体积密度值,进一步再基于所述第一特征矩阵的每个位置的特征值和其对应的所述体积密度值,对于整个所述第一特征矩阵求和以获得体积渲染值,这样融合所述第一特征向量与所述多个体积渲染值构成的第二特征向量进行分类能够提高分类结果的准确性。通过这样的方式,可以对所述测绘机器人当前飞行的高度合理性进行准确地判断,以确保空间分辨率满足预设要求。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的绘图机器人的应用场景图。
图2为根据本申请实施例的绘图机器人的框图。
图3为根据本申请实施例的绘图机器人的控制方法的流程图。
图4为根据本申请实施例的绘图机器人的控制方法的架构示意图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如前所述,无人机的出现可以说对我们生活中的许多领域进行了一场革命,影响最大的可能要属测绘领域。这些小型的飞行器可以在任何区域只需要几分钟或者几小时就能够将区域图给绘制完成,与传统的人工绘制相比大大提升了作业效率。此外,即便是非专业人士,通过使用一些专业设备也可以完成摄影测量或3D建模等任务。
在测绘领域中,最重要的参数之一则是空间分辨率,在摄影测量术中将其描述为GSD(地面采样距离)。在文献中,它被定义为在地面上测量的两个连续像素中心之间的距离。如何控制相机与地形表面之间的相对位置关系以确保空间分辨率满足预设要求,是绘图机器人完成出色绘图的关键。因此,期待一种绘图机器人。
具体地,在本申请的技术方案中,首先获得预定时间段的接收波的波形图,并通过第一卷积神经网络获得第一特征向量。
获得所述预定时间段内的多个时间点的深度图,其中,时间点的数目与第一特征向量的长度相同。对于每个深度图,首先将图像信息通过第二卷积神经网络以获得第一特征矩阵。然后,将每个深度图的每个像素点的方位信息其中
并将方位信息输入多层全连接网络以获得体积密度值σ。
然后,基于每个像素点的体积密度值σ计算整个第一特征矩阵的体积渲染值:
也就是,基于第一特征矩阵的每个位置的特征值fi,j和其对应的体积密度值σi,j,对于整个第一特征矩阵求和,以获得体积渲染值Vrender。
然后,将体积渲染值构成的第二特征向量与第一特征向量融合为分类特征向量。
基于此,本申请提出了一种绘图机器人,其包括:第一源数据获取单元,用于通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;第一神经网络单元,用于将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;第二源数据获取单元,用于通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;第二神经网络编码单元,用于对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;方位信息编码单元,用于对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;体积渲染值计算单元,用于计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;特征向量构造单元,用于将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;特征向量融合单元,用于融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及,控制单元,用于将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
图1图示了根据本申请实施例的绘图机器人的应用场景图。如图1所示,在该应用场景中,首先,通过部署于绘图机器人(例如,如图1中所示意的D)的毫米波雷达(例如,如图1中所示意的R)获取预定时间段内的接收波的波形图,并且通过部署于所述绘图机器人的深度相机(例如,如图1中所示意的C)获取所述预定时间段内的多个时间点的深度图。然后,将获取的所述预定时间段内的接收波的波形图以及所述预定时间段内的多个时间点的深度图输入至部署有绘图机器人算法的服务器中(例如,如图1中所示意的云服务器S),其中,所述服务器能够以绘图机器人算法对所述预定时间段内的接收波的波形图以及所述预定时间段内的多个时间点的深度图进行处理,以生成用于表示所述绘图机器人的当前飞行高度是否合适的分类结果。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的绘图机器人的框图。如图2所示,根据本申请实施例的绘图机器人200,包括:第一源数据获取单元210,用于通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;第一神经网络单元220,用于将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;第二源数据获取单元230,用于通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;第二神经网络编码单元240,用于对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;方位信息编码单元250,用于对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;体积渲染值计算单元260,用于计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;特征向量构造单元270,用于将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;特征向量融合单元280,用于融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及,控制单元290,用于将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
具体地,在本申请实施例中,所述第一源数据获取单元210和所述第一神经网络单元220,用于通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图,并将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量。如前所述,在本申请的技术方案中,要想控制相机与地形表面之间的相对位置关系以确保空间分辨率满足预设要求,就需要对所述绘图机器人的当前飞行高度是否合适进行准确地判断。因此,在本申请的技术方案中,首先,通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图。然后,将获得的所述预定时间段的接收波的波形图输入第一卷积神经网络中进行处理,以提取出所述预定时间段的接收波的波形图的局部特征在高维空间中的特征分布表示,从而获得第一特征向量。相应地,在一个具体示例中,使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
具体地,在本申请实施例中,所述第二源数据获取单元230和所述第二神经网络编码单元240,用于通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同,并对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵。应可以理解,在本申请的技术方案中,为了对所述绘图机器人的当前飞行高度的合理性进行准确地判断,还需要通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,以对所述接收波的波形图的局部特征分布进行修正。这里,所述深度图像中的每一个像素值表示场景中某点与摄像机的距离,并且所述时间点的数目与所述第一特征向量的长度相同。然后,进一步再对于每个所述深度图,将每个所述深度图通过第二卷积神经网络中进行处理,以提取出所述深度图中的局部特征在高维空间中的特征分布表示,从而获得第一特征矩阵。
更具体地,在本申请实施例中,使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
具体地,在本申请实施例中,所述方位信息编码单元250,用于对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵。也就是,在本申请的技术方案中,进一步将每个所述深度图中每个像素的方位信息通过多层全连接网络,例如多层感知机模型,以将每个所述像素的方位信息转化为一个体积密度值σ,以获得对应于每个所述深度图的体积密度值矩阵。值得一提的是,在所述深度图的各个像素点的方位信息/>中,
具体地,在本申请实施例中,所述体积渲染值计算单元260和所述特征向量构造单元270,用于计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和,并将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量。也就是,在本申请的技术方案中,在得到对应于每个所述深度图的体积密度值矩阵后,再基于每个所述像素点的体积密度值σ计算整个第一特征矩阵的体积渲染值。应可以理解,所述体积渲染可以用于显示3D离散采样数据集(通常是3D标量场)的2D投影,因此,在本申请的技术方案中,计算所述体积渲染值可以得到所述体积密度值矩阵相对于所述第一特征矩阵的2D特征信息。相应地,在一个具体示例中,基于所述第一特征矩阵的每个位置的特征值fi,j和其对应的体积密度值σi,j,对于整个所述第一特征矩阵求和,以获得体积渲染值Vrender。然后,将得到的所述多个体积渲染值排列为第二特征向量,以便于后续的特征融合分类。
更具体地,在本申请实施例中,所述体积渲染值计算单元,进一步用于:以如下公式计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,其中,所述公式为:
其中,fi,j为所述第一特征矩阵中各个位置的特征值,σi,j为所述体积密度值矩阵中各个位置的体积密度值。
具体地,在本申请实施例中,所述特征向量融合单元280和所述控制单元290,用于融合所述第一特征向量和所述第二特征向量以获得分类特征向量,并将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。也就是,在得到所述第一特征向量和所述第二特征向量后,进一步融合所述第一特征向量和所述第二特征向量以获得分类特征向量。特别地,在一个具体示例中,可以计算所述第一特征向量和所述第二特征向量的按位置加权和以获得所述分类特征向量。然后,再将所述分类特征向量通过分类器以获得用于表示所述绘图机器人的当前飞行高度是否合适的分类结果。
更具体地,在本申请实施例中,所述所述控制单元,进一步用于;使用所述分类器以如下公式对所述分类特征向量进行处理以生成所述分类结果,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,X为分类特征向量。
综上,基于本申请实施例的所述绘图机器人200被阐明,其通过卷积神经网络模型分别提取出所述预定时间段内的接收信号波形图和多个时间点的深度图在高维空间中的特征分布表示,并利用多层感知机模型对每个所述深度图中的每个像素方位进行转化以得到对应于每个所述深度图的体积密度值,进一步再基于所述第一特征矩阵的每个位置的特征值和其对应的所述体积密度值,对于整个所述第一特征矩阵求和以获得体积渲染值,这样融合所述第一特征向量与所述多个体积渲染值构成的第二特征向量进行分类能够提高分类结果的准确性。通过这样的方式,可以对所述测绘机器人当前飞行的高度合理性进行准确地判断,以确保空间分辨率满足预设要求。
如上所述,根据本申请实施例的绘图机器人200可以实现在各种终端设备中,例如绘图机器人算法的服务器等。在一个示例中,根据本申请实施例的绘图机器人200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该绘图机器人200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该绘图机器人200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该绘图机器人200与该终端设备也可以是分立的设备,并且该绘图机器人200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图3图示了绘图机器人的控制方法的流程图。如图3所示,根据本申请实施例的绘图机器人的控制方法,包括步骤:S110,通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;S120,将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;S130,通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;S140,对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;S150,对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;S160,计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;S170,将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;S180,融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及,S190,将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
图4图示了根据本申请实施例的绘图机器人的控制方法的架构示意图。如图4所示,在所述绘图机器人的控制方法的网络架构中,首先,将获得的所述预定时间段的接收波的波形图(例如,如图4中所示意的P1)输入第一卷积神经网络(例如,如图4中所示意的CNN1)以获得第一特征向量(例如,如图4中所示意的VF1);接着,对于获得的每个所述深度图(例如,如图4中所示意的P2),将每个所述深度图通过第二卷积神经网络(例如,如图4中所示意的CNN2)以获得第一特征矩阵(例如,如图4中所示意的MF1);然后,对于每个所述深度图,将每个所述深度图中每个像素的方位信息(例如,如图4中所示意的P3)通过多层感知机模型(例如,如图4中所示意的MPM)以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵(例如,如图4中所示意的M);接着,计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值(例如,如图4中所示意的RV);然后,将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量(例如,如图4中所示意的VF2);接着,融合所述第一特征向量和所述第二特征向量以获得分类特征向量(例如,如图4中所示意的VF);以及,最后,将所述分类特征向量通过分类器(例如,如图4中所示意的圈S)以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。将获得的所述当前时间点的输入信号波形(例如,如图4中所示意的IN1)和输出信号波形(例如,如图4中所示意的IN2)分别输入卷积神经网络(例如,如图4中所示意的CNN)以获得输入信号特征图(例如,如图4中所示意的F1)和输出信号特征图(例如,如图4中所示意的F2);接着,分别对所述输入信号特征图和所述输出信号特征图进行沿通道维度的池化以获得输入特征矩阵(例如,如图4中所示意的M1)和输出特征矩阵(例如,如图4中所示意的M2);然后,对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵(例如,如图4中所示意的MT1);接着,将获得的所述当期时间点之前的一系列预定时间点的输入信号波形(例如,如图4中所示意的IN3)和输出信号波形(例如,如图4中所示意的IN4)分别以处理所述当前时间点的输入信号波形和输出信号波形的方式进行处理,以获得第二转移矩阵至第n转移矩阵(例如,如图4中所示意的MT2-MTn);然后,将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量(例如,如图4中所示意的MD);接着,对所述距离矩阵进行相关坐标估计以获得分类矩阵(例如,如图4中所示意的MC);以及,最后,将所述分类矩阵通过用于回归的编码器(例如,如图4中所示意的E)以获得所需的PWN激励波的占空比。
更具体地,在步骤S110和步骤S120中,通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图,并将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量。应可以理解,在本申请的技术方案中,要想控制相机与地形表面之间的相对位置关系以确保空间分辨率满足预设要求,就需要对所述绘图机器人的当前飞行高度是否合适进行准确地判断。因此,在本申请的技术方案中,首先,通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图。然后,将获得的所述预定时间段的接收波的波形图输入第一卷积神经网络中进行处理,以提取出所述预定时间段的接收波的波形图的局部特征在高维空间中的特征分布表示,从而获得第一特征向量。相应地,在一个具体示例中,使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
更具体地,在步骤S130和步骤S140中,通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同,并对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵。应可以理解,在本申请的技术方案中,为了对所述绘图机器人的当前飞行高度的合理性进行准确地判断,还需要通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,以对所述接收波的波形图的局部特征分布进行修正。这里,所述深度图像中的每一个像素值表示场景中某点与摄像机的距离,并且所述时间点的数目与所述第一特征向量的长度相同。然后,进一步再对于每个所述深度图,将每个所述深度图通过第二卷积神经网络中进行处理,以提取出所述深度图中的局部特征在高维空间中的特征分布表示,从而获得第一特征矩阵。在一个具体示例中,使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
更具体地,在步骤S150中,对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵。也就是,在本申请的技术方案中,进一步将每个所述深度图中每个像素的方位信息/>通过多层全连接网络,例如多层感知机模型,以将每个所述像素的方位信息转化为一个体积密度值σ,以获得对应于每个所述深度图的体积密度值矩阵。值得一提的是,在所述深度图的各个像素点的方位信息/>中,
更具体地,在步骤S160和步骤S170中,计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和,并将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量。也就是,在本申请的技术方案中,在得到对应于每个所述深度图的体积密度值矩阵后,再基于每个所述像素点的体积密度值σ计算整个第一特征矩阵的体积渲染值。应可以理解,所述体积渲染可以用于显示3D离散采样数据集(通常是3D标量场)的2D投影,因此,在本申请的技术方案中,计算所述体积渲染值可以得到所述体积密度值矩阵相对于所述第一特征矩阵的2D特征信息。相应地,在一个具体示例中,基于所述第一特征矩阵的每个位置的特征值fi,j和其对应的体积密度值σi,j,对于整个所述第一特征矩阵求和,以获得体积渲染值Vrender。然后,将得到的所述多个体积渲染值排列为第二特征向量,以便于后续的特征融合分类。
具体地,在本申请实施例中,计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值的过程,包括:以如下公式计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,其中,所述公式为:
其中,fi,j为所述第一特征矩阵中各个位置的特征值,σi,j为所述体积密度值矩阵中各个位置的体积密度值。
更具体地,在步骤S180和步骤S190中,融合所述第一特征向量和所述第二特征向量以获得分类特征向量,并将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。也就是,在得到所述第一特征向量和所述第二特征向量后,进一步融合所述第一特征向量和所述第二特征向量以获得分类特征向量。特别地,在一个具体示例中,可以计算所述第一特征向量和所述第二特征向量的按位置加权和以获得所述分类特征向量。然后,再将所述分类特征向量通过分类器以获得用于表示所述绘图机器人的当前飞行高度是否合适的分类结果。
具体地,在本申请实施例中,将所述分类特征向量通过分类器以获得分类结果的过程,包括:使用所述分类器以如下公式对所述分类特征向量进行处理以生成所述分类结果,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,X为分类特征向量。
综上,基于本申请实施例的所述绘图机器人的控制方法被阐明,其通过卷积神经网络模型分别提取出所述预定时间段内的接收信号波形图和多个时间点的深度图在高维空间中的特征分布表示,并利用多层感知机模型对每个所述深度图中的每个像素方位进行转化以得到对应于每个所述深度图的体积密度值,进一步再基于所述第一特征矩阵的每个位置的特征值和其对应的所述体积密度值,对于整个所述第一特征矩阵求和以获得体积渲染值,这样融合所述第一特征向量与所述多个体积渲染值构成的第二特征向量进行分类能够提高分类结果的准确性。通过这样的方式,可以对所述测绘机器人当前飞行的高度合理性进行准确地判断,以确保空间分辨率满足预设要求。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种绘图机器人,其特征在于,包括:
第一源数据获取单元,用于通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;
第一神经网络单元,用于将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;
第二源数据获取单元,用于通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;
第二神经网络编码单元,用于对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;
方位信息编码单元,用于对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;
体积渲染值计算单元,用于计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;
特征向量构造单元,用于将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;
特征向量融合单元,用于融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及
控制单元,用于将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
2.根据权利要求1所述的绘图机器人,其中,所述第一神经网络单元,进一步用于使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
3.根据权利要求2所述的绘图机器人,其中,所述第二神经网络编码单元,进一步用于使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
4.根据权利要求3所述的绘图机器人,其中,在所述深度图的各个像素点的方位信息中,
5.根据权利要求4所述的绘图机器人,其中,所述体积渲染值计算单元,进一步用于以如下公式计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,其中,所述公式为:
其中,fi,j为所述第一特征矩阵中各个位置的特征值,σi,j为所述体积密度值矩阵中各个位置的体积密度值。
6.根据权利要求5所述的绘图机器人,其中,所述特征向量融合单元,进一步用于计算所述第一特征向量和所述第二特征向量的按位置加权和以获得所述分类特征向量。
7.根据权利要求6所述的绘图机器人,其中,所述控制单元,进一步用于使用所述分类器以如下公式对所述分类特征向量进行处理以生成所述分类结果,其中,所述公式为:softmax{(Wn,Bn):…:(W1,B1)|X},其中,W1到Wn为权重矩阵,B1到Bn为偏置向量,X为分类特征向量。
8.一种绘图机器人的控制方法,其特征在于,包括:
通过部署于绘图机器人的毫米波雷达获取预定时间段内的接收波的波形图;
将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量;
通过部署于所述绘图机器人的深度相机获取所述预定时间段内的多个时间点的深度图,所述时间点的数目与所述第一特征向量的长度相同;
对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵;
对于每个所述深度图,将每个所述深度图中每个像素的方位信息通过多层感知机模型以将每个所述像素的方位信息转化为一个体积密度值以获得对应于每个所述深度图的体积密度值矩阵;
计算所述体积密度值矩阵相对于所述第一特征矩阵的体积渲染值,所述体积渲染值为所述第一特征矩阵中各个位置的特征值和其对应的体积密度值对于整个所述第一特征矩阵进行求和;
将与所述多个时间点的深度图对应的多个体积渲染值排列为第二特征向量;
融合所述第一特征向量和所述第二特征向量以获得分类特征向量;以及
将所述分类特征向量通过分类器以获得分类结果,所述分类结果用于表示所述绘图机器人的当前飞行高度是否合适。
9.根据权利要求8所述的绘图机器人的控制方法,其中,将所述预定时间段的接收波的波形图输入第一卷积神经网络以获得第一特征向量,包括:
使用所述第一卷积网络的各层在层的正向传递过程中对输入数据进行卷积处理、基于特征矩阵的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征向量,其中,所述第一卷积神经网络的输入为所述预定时间段的接收波的波形图。
10.根据权利要求8所述的绘图机器人的控制方法,其中,对于每个所述深度图,将每个所述深度图通过第二卷积神经网络以获得第一特征矩阵,包括:
使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征矩阵,其中,所述第二卷积神经网络的第一层的输入为各个所述深度图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204311.4A CN114626448B (zh) | 2022-03-03 | 2022-03-03 | 绘图机器人及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204311.4A CN114626448B (zh) | 2022-03-03 | 2022-03-03 | 绘图机器人及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114626448A CN114626448A (zh) | 2022-06-14 |
CN114626448B true CN114626448B (zh) | 2024-04-02 |
Family
ID=81899638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210204311.4A Active CN114626448B (zh) | 2022-03-03 | 2022-03-03 | 绘图机器人及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114626448B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114871486B (zh) * | 2022-06-21 | 2023-05-05 | 大畏机床(江苏)有限公司 | 龙门刨床及其加工控制方法 |
CN115099684B (zh) * | 2022-07-18 | 2023-04-07 | 江西中科冠物联网科技有限公司 | 企业安全生产管理系统及其管理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154541A1 (en) * | 2018-02-09 | 2019-08-15 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera |
CN114092972A (zh) * | 2021-11-30 | 2022-02-25 | 深圳市辰星瑞腾科技有限公司 | 智能防偷窥的电子设备显示方法、系统和电子设备 |
-
2022
- 2022-03-03 CN CN202210204311.4A patent/CN114626448B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154541A1 (en) * | 2018-02-09 | 2019-08-15 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera |
CN114092972A (zh) * | 2021-11-30 | 2022-02-25 | 深圳市辰星瑞腾科技有限公司 | 智能防偷窥的电子设备显示方法、系统和电子设备 |
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络的视差图生成技术;朱俊鹏;赵洪利;杨海涛;;计算机应用;20180110(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114626448A (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114626448B (zh) | 绘图机器人及其控制方法 | |
CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
CN113936139B (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统 | |
CN110675423A (zh) | 一种基于孪生神经网络和注意力模型的无人机跟踪方法 | |
CN114581767B (zh) | 图像处理系统、方法及其计算机装置 | |
CN113313703B (zh) | 基于深度学习图像识别的无人机输电线巡检方法 | |
CN112966555B (zh) | 一种基于深度学习和部件先验的遥感影像飞机识别方法 | |
CN116258817B (zh) | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 | |
CN109613557B (zh) | 一种补全激光雷达三维点云目标的系统及方法 | |
US5537511A (en) | Neural network based data fusion system for source localization | |
CN115561243B (zh) | 锂电池制备中极片质量监测系统及其方法 | |
CN115235612A (zh) | 伺服电机的故障智能诊断系统及其诊断方法 | |
CN114627369B (zh) | 环境监测系统、方法及其计算机装置 | |
CN115049130B (zh) | 一种基于时空金字塔的自动驾驶轨迹预测方法 | |
CN113313176A (zh) | 一种基于动态图卷积神经网络的点云分析方法 | |
Mharolkar et al. | RGBDTCalibNet: End-to-end online extrinsic calibration between a 3D LiDAR, an RGB camera and a thermal camera | |
CN116630828B (zh) | 基于地形环境适配的无人机遥感信息采集系统及方法 | |
CN115479607A (zh) | 用于智慧电场的室内定位方法及其系统 | |
CN114708321B (zh) | 一种基于语义的相机位姿估计方法及系统 | |
CN115965961A (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
CN115864102A (zh) | 具有温漂自适应调整功能的光引擎及其工作方法 | |
CN115473598A (zh) | 基于压缩感知的宽带无线电环境地图构建方法及系统 | |
Khanykov et al. | The Application of the High-Speed Pixel Clustering Method in Combining Multi-Angle Images Obtained from Airborne Optical-Location Systems | |
KR102125723B1 (ko) | 영상의 상대 방사 보정 방법 및 수행 장치 | |
Zhang et al. | A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |