CN114510044A - Agv导航船导航方法、装置、电子设备及存储介质 - Google Patents
Agv导航船导航方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114510044A CN114510044A CN202210090508.XA CN202210090508A CN114510044A CN 114510044 A CN114510044 A CN 114510044A CN 202210090508 A CN202210090508 A CN 202210090508A CN 114510044 A CN114510044 A CN 114510044A
- Authority
- CN
- China
- Prior art keywords
- environment
- agv
- agv navigation
- positioning
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 53
- 230000004913 activation Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 239000005436 troposphere Substances 0.000 description 1
- 230000009452 underexpressoin Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种AGV导航船导航方法、装置、电子设备及存储介质，所述导航方法首先获取图像数据集并对所述图像数据集中的图像进行预处理；然后构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；之后获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；最后根据判断结果选取定位方法对所述AGV导航船进行定位；本发明可以准确及时的对AGV导航船进行定位且适用于各种环境。
Description
技术领域
本发明涉及通信领域，尤其涉及一种AGV导航船导航方法、装置、电子设备及存储介质。
背景技术
AGV导航技术包括磁点导航、电磁导航、磁带导航、视觉导航、激光导航、自然轮廓导航，二维码导航等；使用不同的信号反馈来定位AGV在整个系统中的位置以进行搬运作业；导航技术负责AGV在系统中的定位；
现有技术中很难识别AGV导航船在航行中的环境，不能合理的选择适当的定位方法进行定位，导致定位效果不佳，导航不准确等问题。
发明内容
本发明提供了一种AGV导航船导航方法、装置、电子设备及存储介质；可以准确及时的对AGV导航船进行定位且适用于各种环境。
第一方面，本发明实施例提供了一种AGV导航船导航方法，所述导航方法包括：
获取图像数据集并对所述图像数据集中的图像进行预处理；
构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；
根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
可选地，通过暗光增强、超分辨率、去噪和去除运动模糊对所述图像数据集中的图像进行预处理。
可选地，所述构建卷积神经网络包括：
确定所述卷积神经网络的结构；
对所述卷积神经网络中的参数进行初始化并设置激活函数。
可选地，若所述AGV导航船所处环境类型为安装基站的室内环境则采用UWB方法对所述AGV导航船进行定位，所述采用UWB方法对所述AGV导航船进行定位包括：
采用双向飞行时间法计算所述AGV导航船与任意三个基站之间的距离并获取基站的位置坐标；
根据所述距离和所述位置坐标采用三边定位算法计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
可选地，若所述AGV导航船所处环境类型为没有安装基站的室内环境则采用SLAM方法对所述AGV导航船进行定位，所述采用SLAM方法对所述AGV导航船进行定位包括：
采集实际环境中的各类型原始数据；其中，所述原始数据包括激光扫描数据、视频图像数据和点云数据；
计根据所述原始数据估算一段时间内所述AGV导航船的相对运动轨迹；
处理视觉里程计估算结果的累积误差后根据所述AGV导航船的运动轨迹建立地图，确定所述AGV导航船的位置。
可选地，所述采用SLAM方法对所述AGV导航船进行定位还包括采用回环检测方法来消除空间累积误差。
可选地，若所述AGV导航船所处环境类型为室外环境则采用RTK方法对所述AGV导航船进行定位，所述采用RTK方法对所述AGV导航船进行定位包括：
获取基准站采集的载波相位；
根据所述载波相位计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
第二方面，本发明的实施例提供了一种AGV导航船导航装置，所述导航装置包括：
数据获取模块，获取图像数据集并对所述图像数据集中的图像进行预处理；
训练模块，构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
识别模块，获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；
定位模块，根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
有益效果
本发明提供了一种AGV导航船导航方法、装置、电子设备及存储介质，所述导航方法首先获取图像数据集并对所述图像数据集中的图像进行预处理；然后构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；之后获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；最后根据判断结果选取定位方法对所述AGV导航船进行定位；可以准确及时的对AGV导航船进行定位且适用于各种环境。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1示出了本发明的实施例的一种AGV导航船导航方法的流程图；
图2示出了本发明实施例的一种AGV导航船导航装置的结构示意图；
图3示出了本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1示出了本发明的实施例的一种AGV导航船导航方法的流程图；参见图1，所述导航方法包括：
S20、获取图像数据集并对所述图像数据集中的图像进行预处理；
具体地，所述图像数据集通过采集所述AGV导航船航线区域多方位的环境图像构成，对所述环境图像采用暗光增强、超分辨率、去噪和去除运动模糊等方式进行图像预处理，便于之后再进行模型训练时的特征提取。
S40、构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
所述卷积神经网络主要由卷积层、池化层、全连接层，、Reshape层和Softmax回归层组成；其中，卷积层、池化层、全连接层与Reshape层其主要作用是对字符图片的特征进行提取；Softmax层的主要作用是进行分类处理；
具体地，卷积层：卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元；卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“感受野”，其含义可类比视觉皮层细胞的感受野；卷积核在工作时，有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量；
其中，
式中的求和部分等价于求解一次交叉相关；b为偏差量Zl和Zl+1表示第l+1层的卷积输入和输出，也被称为特征图，Ll+1为Zl+1的尺寸，这里假设特征图长宽相同；Z(i，j)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积展参数，对应卷积核大小、卷积步长和填充层数。
卷积层参数：
卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂；
卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核逐个扫过特征图的元素，步长为n时在下一次扫描跳过n-1个像素；
由卷积核的交叉相关计算可知，随着卷积层的堆叠，特征图的尺寸逐步减小，例如16×16的输入图像在经过单位步长、无填充的5×5的卷积核后，会输出12×12的特征图；为此，填充是在特征图通过卷积核之前人为增大其尺寸以抵消计算中尺寸收缩影响的方法；常见的填充方法为按0填充和重复边界值填充；
填充依据其层数和目的可分为四类：
有效填充：即完全不使用填充，卷积核只允许访问特征图中包含完整感受野的位置；输出的所有像素都是输入中相同数量像素的函数；使用有效填充的卷积被称为“窄卷积”，窄卷积输出的特征图尺寸为(L-f)/s+1；
相同填充/半填充：只进行足够的填充来保持输出和输入的特征图尺寸相同；相同填充下特征图的尺寸不会缩减但输入像素中靠近边界的部分相比于中间部分对于特征图的影响更小，即存在边界像素的欠表达；使用相同填充的卷积被称为“等长卷积”；
全填充：进行足够多的填充使得每个像素在每个方向上被访问的次数相同；步长为1时，全填充输出的特征图尺寸为L+f-1，大于输入值；使用全填充的卷积被称为“宽卷积”；
任意填充：介于有效填充和全填充之间，人为设定的填充，较少使用。
池化层：在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤；池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量；池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
Lp池化：Lp池化是一类受视觉皮层内阶层结构启发而建立的池化模型，其一般表示形式为：
式中步长s0像素(i，j)的含义与卷积层相同；p是预指定参数；当p＝1时，Lp池化在池化区域内取均值，被称为均值地化；当p趋于正无穷时Lp池化在区域内取极大值，被称为极大池化；均值池化和极大池化是在卷积神经网络的设计中被长期使用的池化方法，二者以损失特征图的部分信息或尺寸为代价保留图像的背景和纹理信息；此外p＝2时的L2池化在一些工作中也有使用。
全连接层：卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层；全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号；特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数；
按表征学习观点，卷积神经网络中的卷积层和池化层能够对输入数据进行特征提取，全连接层的作用则是对提取的特征进行非线性组合以得到输出，即全连接层本身不被期望具有特征提取能力，而是利用现有的高阶特征完成学习目标。
在一些卷积神经网络中，全连接层的功能可由全局均值池化取代，全局均值池化会将特征图每个通道的所有值取平均，即若有7×7×256的特征图，全局均值池化将返回一个256的向量，其中每个元素都是7×7，步长为7，无填充的均值池化。
Reshape层:Reshape层的作用是在不改变数据的情况下，改变输入的维度。
Softmax层：对于图像分类问题，输出层使用逻辑函数或归一化指数函数输出分类标签。
确定所述卷积神经网络的结构后对所述卷积神经网络中的参数进行初始化并设置激活函数；
选择损失函数并设置训练结束条件后开始训练，当达到设置结束条件时结束训练得到图像识别模型。
S60、获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；
具体地，首先通过AGV导航船获取周围的环境图像，然后使用已经训练好的图像识别模型对所述环境图像进行识别确定所述AGV导航船所处环境类型；其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；其中室内安装的基站个数至少为3个；
S80、根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
若判断结果为所述AGV导航船所处环境类型为安装基站的室内环境则采用UWB方法对所述AGV导航船进行定位，若判断结果为所述AGV导航船所处环境类型为没有安装基站的室内环境则采用SLAM方法对所述AGV导航船进行定位，若判断结果为所述AGV导航船所处环境类型为室外环境则采用RTK方法对所述AGV导航船进行定位。
具体地，所述采用UWB方法对所述AGV导航船进行定位包括：
采用双向飞行时间法计算所述AGV导航船与任意三个基站之间的距离并获取基站的位置坐标；
根据所述距离和所述位置坐标采用三边定位算法计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
所述采用SLAM方法对所述AGV导航船进行定位包括：
采集实际环境中的各类型原始数据；其中，所述原始数据包括激光扫描数据、视频图像数据和点云数据；
计根据所述原始数据估算一段时间内所述AGV导航船的相对运动轨迹；
处理视觉里程计估算结果的累积误差后根据所述AGV导航船的运动轨迹建立地图，确定所述AGV导航船的位置。
所述采用RTK方法对所述AGV导航船进行定位包括：
获取基准站采集的载波相位；
根据所述载波相位计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
本发明提供了一种AGV导航船导航方法，所述导航方法首先获取图像数据集并对所述图像数据集中的图像进行预处理；然后构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；之后获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；最后根据判断结果选取定位方法对所述AGV导航船进行定位；可以准确及时的对AGV导航船进行定位且适用于各种环境。
下面以一较优的实施例对本发明的有益效果进行说明；
采集AGV导航船航线周围的环境图像构成图像数据集后对所述图像数据集中的图像进行预处理，通过暗光增强、超分辨率、去噪和去除运动模糊等方式增强图像的特征；
构建卷积神经网络对所述卷积神经网络中的参数进行初始化并设置合适的激活函数；
具体地，采用ReLU函数作为激活函数，ReLU函数公式：
选择ReLU函数可以很好的解决梯度消失问题和收敛速度远快于sigmoid和tanh的问题；
ReLU使一部分神经元的输出为0，达到网络的稀疏性，减少参数的相互依存的关系，缓解过拟合的发生；
而且ReLU函数计算速度非常快，只需要判断输入是否大于0，不像Sigmoid、tanh函数等函数，计算激活函数时包含指数运算，计算量大，反向传播求导误差梯度时，求导涉及除法，计算量相对较大。
将进行预处理之后的图像数据集输入到所述卷积神经网络中，设置损失函数以及训练结束条件后开始训练，达到训练结束条件够停止训练输出训练得到的图像识别模型；
AGV导航船采集周围环境图像，使用已经训练好的图像识别模型对所述环境图像进行识别，识别结果为安装有基站的室内环境，采用UWB方法对所述AGV导航船进行定位，确定所述AGV导航船的位置；
具体地，UWB(Ultra-Wideband)超宽带,是一种无线载波通信技术，即不采用正弦载波，而是利用纳秒级的非正弦波窄脉冲传输数据，因此其所占的频谱范围很宽；UWB是利用纳秒级窄脉冲发射无线信号的技术，适用于高速、近距离的无线个人通信；按照FCC的规定，从3.1GHz到10.6GHz之间的7.5GHz的带宽频率为UWB所使用的频率范围；
UWB定位第一步是测距，采用双向飞行时间法，通过测量两点之间来回的无线电飞行时间，此即双向飞行时间，双向飞行时间x光速，就是发射与接收之间的双向飞行距离，此距离除2，就是单向距离；以此方法得到附近三个基站的位置坐标分别为A(x1，y1)、B(x2，y2)、C(x3，y3)，通过假设AGV导航船的位置坐标为D(x,y)，D到A、B、C的距离分别为r1、r2、r3；通过如下公式即可得到AGV导航船的位置坐标：
通过上述技术方案可以达到如下效果：系统定位精度小于30厘米，不受粉尘、雨雪条件影响定位精度，可以在高电压、强磁场条件下使用，单基站覆盖半径可以大于100米，位置刷新频率可以做到1-30Hz可以无延时的目标对象位置发送到管理平台呈现出来，设备辐射不到手机辐射的千分之一和数据局域网加密传输，安全保密。
下面以另一较优的实施例对本发明的有益效果进行说明；
采集AGV导航船航线周围的环境图像构成图像数据集后对所述图像数据集中的图像进行预处理，通过暗光增强、超分辨率、去噪和去除运动模糊等方式增强图像的特征；
构建卷积神经网络对所述卷积神经网络中的参数进行初始化并设置合适的激活函数；
具体地，采用ReLU函数作为激活函数，ReLU函数公式：
选择ReLU函数可以很好的解决梯度消失问题和收敛速度远快于sigmoid和tanh的问题；
ReLU使一部分神经元的输出为0，达到网络的稀疏性，减少参数的相互依存的关系，缓解过拟合的发生；
而且ReLU函数计算速度非常快，只需要判断输入是否大于0，不像Sigmoid、tanh函数等函数，计算激活函数时包含指数运算，计算量大，反向传播求导误差梯度时，求导涉及除法，计算量相对较大。
将进行预处理之后的图像数据集输入到所述卷积神经网络中，设置损失函数以及训练结束条件后开始训练，达到训练结束条件够停止训练输出训练得到的图像识别模型；
AGV导航船采集周围环境图像，使用已经训练好的图像识别模型对所述环境图像进行识别，识别结果为安装有基站的室内环境，采用SLAM方法对所述AGV导航船进行定位，确定所述AGV导航船的位置；
具体地，SLAM是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程，解决机器人等在未知环境下运动时的定位与地图构建问题；
在使用SLAM方法进行定位时首先使用传感器采集实际环境中的原始数据，然后视觉里程计确定不同时刻与初始时刻的相对位姿，估算不同时间移动物体相对位置，之后后端优化减少位姿，优化视觉里程计带的累计误差，采用回环检测约束后端优化方程，完成大幅度的空间累积误差的消除，最后根据运动轨迹构建三维地图后确定AGV导航船的位置。
通过上述技术方案可以达到如下效果：系统定位精度为2厘米，可靠性高，技术成熟，而且稳定，环境要求低，对周围环境的光照和纹理要求低，易用性高，通过直接获取环境中的点云数据，根据生成的点云数据，测算哪里有障碍物以及障碍物的距离和安装简单，无需安装基站。
下面以另一较优的实施例对本发明的有益效果进行说明；
采集AGV导航船航线周围的环境图像构成图像数据集后对所述图像数据集中的图像进行预处理，通过暗光增强、超分辨率、去噪和去除运动模糊等方式增强图像的特征；
构建卷积神经网络对所述卷积神经网络中的参数进行初始化并设置合适的激活函数；
具体地，采用ReLU函数作为激活函数，ReLU函数公式：
选择ReLU函数可以很好的解决梯度消失问题和收敛速度远快于sigmoid和tanh的问题；
ReLU使一部分神经元的输出为0，达到网络的稀疏性，减少参数的相互依存的关系，缓解过拟合的发生；
而且ReLU函数计算速度非常快，只需要判断输入是否大于0，不像Sigmoid、tanh函数等函数，计算激活函数时包含指数运算，计算量大，反向传播求导误差梯度时，求导涉及除法，计算量相对较大。
将进行预处理之后的图像数据集输入到所述卷积神经网络中，设置损失函数以及训练结束条件后开始训练，达到训练结束条件够停止训练输出训练得到的图像识别模型；
AGV导航船采集周围环境图像，使用已经训练好的图像识别模型对所述环境图像进行识别，识别结果为安装有基站的室内环境，采用RTK方法对所述AGV导航船进行定位，确定所述AGV导航船的位置；
具体地，RTK是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标，是一种新的常用的卫星定位测量方法，能够在野外实时得到厘米级定位精度。
采用RTK方法对所述AGV导航船进行定位时首先获取基准站采集的载波相位；然后根据所述载波相位计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置；
具体地，载波相位观测方程为：
其中tk为观测历元时刻，
为卫星到接收机之间的真实距离，
为Li载波相位模糊度，
为Li载波波长，
为Li载波的频率，τR为接收机钟差，τl为卫星钟差，
为对流层延迟，
为电离层延迟，c为真空中的光速，i表示北斗系统载波标识(i＝1，2，5)，j为接收机标识(j＝1，2)，I为卫星标识(I＝1，2，3，…n)。
前一历元的载波相位观测方程为：
将方程(1)和(2)做差，形成单差载波相位观测方程，此过程记为方程(3)：
详细表达式为：
在单差组合中，即方程(5)，卫星的钟差已经消除；对流层和电离层在较短时间内的引起的误差变化缓慢，所以这三种影响定位误差因素，可通过单差处理削弱误差影响；
与方程(5)类似，给出关于卫星m的单差载波相位观测方程；
将不同卫星的单差载波相位观测方程之间做差，记为方程(7)，形成双差载波相位观测方程，此过程记为方程(8)；
由于同一时刻，不同卫星至同一接收机产生的接收机钟差是相同的，可通过卫星间求差的方法消除接收机钟差的影响。得到历元间双差载波相位观测方程，即方程(9)，通过计算整周模糊度，得到两接收机之间的基线矢量。
通过前一历元计算得到的接收机位置与当前时刻计算的基线矢量求和后，接确定收机的位置。故进行单站RTK定位算法解算时，首先要确定接收机的初始位置，即接收机位置初始化；
Xt＝Xt-1+XΔt(10)；
单站RTK算法接收机接收的观测数据，进行一个历元时间的延迟处理，可视为常规RTK算法中的基站接收机接收的观测数据。结合上一个历元计算的定位结果，一同视为常规RTK算法中基站的数据，与单站接收机接收当前历元的观测数据，进行常规RTK定位算法解算。
通过上述技术方案可以达到如下效果：自动化、集成化程度高，定位功能强大，环境要求低，受通视条件、能见度、气候、季节等因素的影响和限制较小，定位精度高，数据安全可靠，没有误差积累和实时性，数据传输速度快，能够做到实时定位。
基于同一发明构思，本发明实施例还提供了一种AGV导航船导航装置，可以用于实现上述实施例中所描述的一种AGV导航船导航方法，如下面实施例所述：由于该一种AGV导航船导航装置解决问题的原理与一种AGV导航船导航方法相似，因此一种AGV导航船导航装置的实施可以参见一种AGV导航船导航方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2示出了本发明的实施例的一种AGV导航船导航装置的结构框图。如图2所示，所述导航装置包括：
数据获取模块20，获取图像数据集并对所述图像数据集中的图像进行预处理；
训练模块40，构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
识别模块60，获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；
定位模块80，根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
本发明实施例提供了一种AGV导航船导航装置，所述导航装置首先通过数据获取模块20，获取图像数据集并对所述图像数据集中的图像进行预处理；然后通过训练模块40，构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；之后再通过识别模块60，获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；最后通过定位模块80，根据判断结果选取定位方法对所述AGV导航船进行定位；通过上述技术方案可以准确及时的对AGV导航船进行定位且适用于各种环境。
本发明实施例还提供了一种计算机电子设备，图3示出了可以应用本发明实施例的电子设备的结构示意图，如图3所示，该计算机电子设备包括，中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块20、训练模块40、识别模块60和定位模块80，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，定位模块80还可以被描述为“根据判断结果选取定位方法对所述AGV导航船进行定位的定位模块80”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种AGV导航船导航装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种AGV导航船导航方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种AGV导航船导航方法，其特征在于，所述导航方法包括：
获取图像数据集并对所述图像数据集中的图像进行预处理；
构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；
根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
2.根据权利要求1所述的导航方法，其特征在于，通过暗光增强、超分辨率、去噪和去除运动模糊对所述图像数据集中的图像进行预处理。
3.根据权利要求1所述的导航方法，其特征在于，所述构建卷积神经网络包括：
确定所述卷积神经网络的结构；
对所述卷积神经网络中的参数进行初始化并设置激活函数。
4.根据权利要求1所述的导航方法，其特征在于，若所述AGV导航船所处环境类型为安装基站的室内环境则采用UWB方法对所述AGV导航船进行定位，所述采用UWB方法对所述AGV导航船进行定位包括：
采用双向飞行时间法计算所述AGV导航船与任意三个基站之间的距离并获取基站的位置坐标；
根据所述距离和所述位置坐标采用三边定位算法计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
5.根据权利要求1所述的导航方法，其特征在于，若所述AGV导航船所处环境类型为没有安装基站的室内环境则采用SLAM方法对所述AGV导航船进行定位，所述采用SLAM方法对所述AGV导航船进行定位包括：
采集实际环境中的各类型原始数据；其中，所述原始数据包括激光扫描数据、视频图像数据和点云数据；
计根据所述原始数据估算一段时间内所述AGV导航船的相对运动轨迹；
处理视觉里程计估算结果的累积误差后根据所述AGV导航船的运动轨迹建立地图，确定所述AGV导航船的位置。
6.根据权利要求5所述的导航方法，其特征在于，所述采用SLAM方法对所述AGV导航船进行定位还包括采用回环检测方法来消除空间累积误差。
7.根据权利要求1所述的导航方法，其特征在于，若所述AGV导航船所处环境类型为室外环境则采用RTK方法对所述AGV导航船进行定位，所述采用RTK方法对所述AGV导航船进行定位包括：
获取基准站采集的载波相位；
根据所述载波相位计算所述AGV导航船的位置坐标，确定所述AGV导航船的位置。
8.一种AGV导航船导航装置，其特征在于，所述导航装置包括：
数据获取模块，获取图像数据集并对所述图像数据集中的图像进行预处理；
训练模块，构建卷积神经网络并将所述图像数据集输入到所述卷积神经网络中进行训练得到图像识别模型；
识别模块，获取AGV导航船周围的环境图像并利用所述图像识别模型对所述环境图像进行识别，判断所述AGV导航船所处环境类型；(其中，所述环境类型包括室内环境和室外环境；室内环境包括安装基站的室内环境和没有安装基站的室内环境；安装基站的室内环境至少存在3个基站；)
定位模块，根据判断结果选取定位方法对所述AGV导航船进行定位；其中，所述定位方法包括UWB、SLAM和RTK。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090508.XA CN114510044A (zh) | 2022-01-25 | 2022-01-25 | Agv导航船导航方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090508.XA CN114510044A (zh) | 2022-01-25 | 2022-01-25 | Agv导航船导航方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114510044A true CN114510044A (zh) | 2022-05-17 |
Family
ID=81550710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210090508.XA Pending CN114510044A (zh) | 2022-01-25 | 2022-01-25 | Agv导航船导航方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114510044A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106358154A (zh) * | 2016-09-07 | 2017-01-25 | 中国人民解放军国防科学技术大学 | 一种模块化的可扩展室内外无缝定位方法 |
| CN206209407U (zh) * | 2016-12-03 | 2017-05-31 | 河池学院 | 一种室内机器人导航定位系统 |
| CN107277773A (zh) * | 2017-07-10 | 2017-10-20 | 广东工业大学 | 联合多种情景模式的自适应定位方法 |
| CN107396322A (zh) * | 2017-08-28 | 2017-11-24 | 电子科技大学 | 基于路径匹配与编码译码循环神经网络的室内定位方法 |
| CN109543819A (zh) * | 2018-11-06 | 2019-03-29 | 中国电子科技集团公司第二十八研究所 | 一种基于改进区域卷积神经网络的景象匹配定位方法 |
| CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
| CN110443155A (zh) * | 2019-07-16 | 2019-11-12 | 上海海事大学 | 一种基于卷积神经网络的视觉航标识别与分类方法 |
| CN111006655A (zh) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | 机场巡检机器人多场景自主导航定位方法 |
| CN111578946A (zh) * | 2020-05-27 | 2020-08-25 | 杭州蓝芯科技有限公司 | 一种基于深度学习的激光导航agv重定位方法和装置 |
| CN111664848A (zh) * | 2020-06-01 | 2020-09-15 | 上海大学 | 一种多模态室内定位导航方法及系统 |
| CN111950386A (zh) * | 2020-07-22 | 2020-11-17 | 北京航空航天大学 | 基于功能智能的微型无人机环境自适应导航场景识别方法 |
| CN112179353A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市银星智能科技股份有限公司 | 自移动机器人的定位方法、装置、机器人及可读存储介质 |
| WO2021139590A1 (zh) * | 2020-01-06 | 2021-07-15 | 三个机器人公司 | 基于蓝牙与slam的室内定位导航装置及其方法 |
| US20210295536A1 (en) * | 2018-11-12 | 2021-09-23 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, equipment and storage medium for locating tracked targets |
-
2022
- 2022-01-25 CN CN202210090508.XA patent/CN114510044A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106358154A (zh) * | 2016-09-07 | 2017-01-25 | 中国人民解放军国防科学技术大学 | 一种模块化的可扩展室内外无缝定位方法 |
| CN206209407U (zh) * | 2016-12-03 | 2017-05-31 | 河池学院 | 一种室内机器人导航定位系统 |
| CN107277773A (zh) * | 2017-07-10 | 2017-10-20 | 广东工业大学 | 联合多种情景模式的自适应定位方法 |
| CN107396322A (zh) * | 2017-08-28 | 2017-11-24 | 电子科技大学 | 基于路径匹配与编码译码循环神经网络的室内定位方法 |
| CN109543819A (zh) * | 2018-11-06 | 2019-03-29 | 中国电子科技集团公司第二十八研究所 | 一种基于改进区域卷积神经网络的景象匹配定位方法 |
| US20210295536A1 (en) * | 2018-11-12 | 2021-09-23 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, equipment and storage medium for locating tracked targets |
| CN110136175A (zh) * | 2019-05-21 | 2019-08-16 | 杭州电子科技大学 | 一种基于神经网络的室内典型场景匹配定位方法 |
| CN110443155A (zh) * | 2019-07-16 | 2019-11-12 | 上海海事大学 | 一种基于卷积神经网络的视觉航标识别与分类方法 |
| CN111006655A (zh) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | 机场巡检机器人多场景自主导航定位方法 |
| WO2021139590A1 (zh) * | 2020-01-06 | 2021-07-15 | 三个机器人公司 | 基于蓝牙与slam的室内定位导航装置及其方法 |
| CN111578946A (zh) * | 2020-05-27 | 2020-08-25 | 杭州蓝芯科技有限公司 | 一种基于深度学习的激光导航agv重定位方法和装置 |
| CN111664848A (zh) * | 2020-06-01 | 2020-09-15 | 上海大学 | 一种多模态室内定位导航方法及系统 |
| CN111950386A (zh) * | 2020-07-22 | 2020-11-17 | 北京航空航天大学 | 基于功能智能的微型无人机环境自适应导航场景识别方法 |
| CN112179353A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市银星智能科技股份有限公司 | 自移动机器人的定位方法、装置、机器人及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8825456B2 (en) | Method and system for multiple dataset gaussian process modeling | |
| Verbyla et al. | Bias in land cover change estimates due to misregistration | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| Halimi et al. | Robust restoration of sparse multidimensional single-photon LiDAR images | |
| JP2008059569A (ja) | 接触時間算出装置及び接触時間算出方法 | |
| CN116778104B (zh) | 一种动态遥感监测的测绘方法及系统 | |
| EP2218057A1 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
| US11238307B1 (en) | System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods | |
| CN116310883B (zh) | 基于遥感图像时空融合的农业灾害预测方法及相关设备 | |
| Recla et al. | Deep-learning-based single-image height reconstruction from very-high-resolution SAR intensity data | |
| Chen et al. | ARU-net: Reduction of atmospheric phase screen in SAR interferometry using attention-based deep residual U-net | |
| Ajibola et al. | Fusion of UAV-based DEMs for vertical component accuracy improvement | |
| CN108732570A (zh) | 基于粒子滤波融合算法的灾害性对流天气的临近预报方法 | |
| Almalki et al. | Autonomous flying IoT: A synergy of machine learning, digital elevation, and 3D structure change detection | |
| CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
| Zhao et al. | DDM-Former: Transformer networks for GNSS reflectometry global ocean wind speed estimation | |
| Cassinis et al. | Leveraging neural network uncertainty in adaptive unscented Kalman Filter for spacecraft pose estimation | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN114510044A (zh) | Agv导航船导航方法、装置、电子设备及存储介质 | |
| Ohira et al. | Autonomous image-based navigation using vector code correlation algorithm for distant small body exploration | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| Lemmens et al. | Sensitivity of automated attitude determination form ISAR radar mappings | |
| US11636649B2 (en) | Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods | |
| CN111833395B (zh) | 一种基于神经网络模型的测向体制单目标定位方法和装置 | |
| Tong et al. | Evaluation of heterogeneous measurement outlier rejection schemes for robotic planetary surface mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |