CN107529650B - 闭环检测方法、装置及计算机设备 - Google Patents
闭环检测方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN107529650B CN107529650B CN201710700709.6A CN201710700709A CN107529650B CN 107529650 B CN107529650 B CN 107529650B CN 201710700709 A CN201710700709 A CN 201710700709A CN 107529650 B CN107529650 B CN 107529650B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- closed
- image frame
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000004364 calculation method Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims description 102
- 238000012549 training Methods 0.000 claims description 43
- 210000002569 neuron Anatomy 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 abstract description 19
- 238000010276 construction Methods 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 18
- 230000004913 activation Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了网络模型的构建和闭环检测方法、相应装置及计算机设备。该闭环检测方法包括：将当前捕获的实景图像帧输入基于本发明网络模型的构建方法构建的目标网络模型，获得实景图像帧的实际图像特征；根据设定的图像帧选取规则，确定至少一个待匹配图像帧及对应的历史图像特征；基于实际图像特征与各历史图像特征的相似度值，确定实景图像帧的闭环检测结果。利用上述方法，能够在保证闭环检测准确率的前提下，有效降低闭环检测中所需图像特征向量的维度，进而缩短了闭环检测中相似度计算时的计算时间，由此能够较好的满足闭环检测中实时性的要求。
Description
技术领域
本发明涉及机器学习技术领域，尤其涉及网络模型的构建和闭环检测方法、相应装置及计算机设备。
背景技术
图像特征提取是计算机视觉领域中图像处理的一个重要技术环节，传统的图像特征提取方法对光照变化十分敏感，对不同光照环境下捕获的同一场景图像进行特征提取时，往往会出现不同的结果，由此影响后续的图像处理性能。
在上述缺陷的基础上，技术人员提出了基于深度学习模型进行图像特征提取的方法，深度学习模型尽管能有效避免复杂光照对图像特征的影响，但现有技术中提出的深度学习模型所输出图像特征的特征维度往往较高(如经典的PlaceCNN卷积网络模型输出的图像特征维度高达9126维)，高纬度的图像特征也极大影响图像处理的计算时间，降低图像处理性能。
此外，闭环检测可看作计算机视觉应用中的一个常见的图像处理问题，闭环检测时，如果首先基于现有的深度学习模型提取了高纬度的图像特征，则高纬度的图像特征大大影响了闭环检测中后续相似性度量的计算时间，进行后续图像处理(如闭环检测)时，大大影响了图像处理(闭环检测)的处理时间，由此难易满足实时进行闭环检测的要求。
发明内容
本发明实施例提供了网络模型的构建和闭环检测方法、相应装置及计算机设备，实现了网络模型构建，所构建的网络模型能够输出低维度的图像特征，且输出的图像特征能够实现图像的实时闭环检测。
第一方面，本发明实施例提供了一种网络模型的构建方法，包括：
基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括以下至少之一：卷积层的层数、池化层的层数、全连接层的层数、以及各层之间的拓扑连接顺序；所述配置参数信息包括以下至少之一：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量；
根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
第二方面，本发明实施例提供了一种闭环检测方法，包括：
将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，所述目标网络模型基于本发明第一方面实施例提供的网络模型的构建方法确定；
根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像帧的历史图像特征；
基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
第三方面，本发明实施例提供了一种网络模型的构建装置，包括：
初始构建模块，用于基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括以下至少之一：卷积层的层数、池化层的层数、全连接层的层数以及各层之间的拓扑连接顺序；所述配置参数信息包括以下至少之一：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量；
目标确定模块，用于根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
第四方面，本发明实施例提供了一种闭环检测装置，包括：
特征提取模块，用于将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，所述目标网络模型基于本发明第三方面实施例提供的网络模型的构建装置确定；
图像选取模块，用于根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像帧的历史图像特征；
检测确定模块，用于基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
第五方面，本发明实施例提供了一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例提供的网络模型的构建方法。
第六方面，本发明实施例提供了一种计算机设备，包括：摄像头，用于捕获图像帧，还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第二方面实施例提供的闭环检测方法。
第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提供的网络模型的构建方法；
第八方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了本发明第二方面实施例提供的闭环检测方法。
在上述提供的网络模型的构建和闭环检测方法、相应装置及计算机设备中，网络模型的构建方法中首先基于获取预设的拓扑结构信息和配置参数信息，构建初始网络模型；然后根据获取的训练学习信息，训练获得具有标准权值数据集的目标网络模型。闭环检测方法中，首先将当前捕获的实景图像帧输入上述构建的目标网络模型中，获得相应的实际图像特征；然后根据设定的图像帧选取规则，确定该实景图像帧的至少一个待匹配图像帧及对应的历史图像特征；最终根据实际图像证与各历史图像帧的相似度值，确定实景图像帧的闭环检测结果。上述技术方案，所构建的目标网络模型能够快速、精简的输出低维度的图像特征向量，且用于闭环检测时，在保证闭环检测准确率的前提下，有效降低了闭环检测中所需图像特征向量的维度，进而缩短了闭环检测中相似度计算时的计算时间，由此能够较好的满足闭环检测中实时性的要求。
附图说明
图1a为本发明实施例一提供的一种网络模型的构建方法的流程示意图；
图1b给出了本发明实施例一所构建网络模型中Convx_1的拓扑结构图；
图1c给出了本发明实施例一所构建网络模型中Convx_2的拓扑结构图；
图1d给出了本发明实施例一所提供C.ReLU计算函数的计算原理示意图；
图1e给出了本发明实施例一所训练目标网络模型的拓扑示意图；
图1f～图1m分别给出了本发明实施例一所构建目标网络模型中各层输出结果的可视化图；
图2为本发明实施例二提供的一种闭环检测方法的流程示意图；
图3为本发明实施例三提供的一种闭环检测方法的流程示意图；
图4a为本发明实施例四提供的一种网络模型的构建装置的结构框图；
图4b为本发明实施例四提供的一种计算机设备的硬件结构示意图；
图5a为本发明实施例五提供的一种闭环检测装置的结构框图；
图5b为本发明实施例五提供一种计算机设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种网络模型的构建方法的流程示意图，该方法适用于对新的网络模型进行构建和训练的情况，该方法可以由网络模型的构建装置执行，其中，该装置可由软件和/或硬件实现，并一般集成计算机设备中。
如图1a所示，本发明实施例一提供的一种网络模型的构建方法，包括如下操作：
S101、基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括以下至少之一：卷积层的层数、池化层的层数、全连接层的层数、以及各层之间的拓扑连接顺序；所述配置参数信息包括以下至少之一：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量。
在本实施例中，根据所提供的拓扑结构信息，可以确定一个网络模型框架，根据所提供的配置参数信息，可以将确定的网络模型框架构建形成一个可进行图像特征提取计算的初始网络模型。由于所述拓扑结构信息及配置参数信息均为预先设置的，所以可认为根据其构建形成的初始网络模型所具有的网络层数及各层之间的连接顺序和连接关系均与现有神经网络模型不同。
对于待构建的网络模型而言，其拓扑结构中除输入层和输出层外，还包括了卷积层、池化层以及全连接层，具体地，本实施例预设置的拓扑结构信息具体给出了各层的层数及整体各层的连接关系，如，拓扑结构信息中设置卷积层连接输入层，池化层连接卷积层，全连接层连接池化层或卷积层等，总之，基于上述拓扑结构信息可搭建形成一个网络模型框架。
本实施例形成一个网络模型框架后，需要基于配置参数信息为网络模型框架中的各层提供实质的拓扑连接，由此形成能够进行图像特征计算的初始网络模型。本实施例中预设的配置参数信息具体包含了待构建的网络模型中各层的配置参数，且各层基于相应的配置参数，可实现相邻各层之间的实质的拓扑连接。
示例性地，网络模型中的卷积层可通过相应的配置参数与上一层(可能是输入层，也可能是池化层)建立能够进行卷积计算的卷积连接；池化层可通过对应的配置参数与上一层(一般为卷积层)建立能够进行池化计算的池化连接；全连接层与上一层(可能是卷积层、池化层或全连接层)建立能够进行全连接计算的全连接。
具体地，卷积层的配置参数包括：卷积核大小和数量、以及卷积步长，所述卷积核大小具体可理解为卷积层与上一层建立卷积连接后进行卷积计算时所采用卷积矩阵的大小；所述卷积核数量具体可理解为进行卷积计算时能够采用的不同卷积矩阵的数量；所述卷积步长具体可理解为卷积计算中卷积核由当前计算位置移动到下一计算位置时的移动幅度，如，卷积步长为1时相当于每次由当前计算位置到下一计算位置的移动幅度为1。
同样，所述池化层的配置参数包括：池化窗口大小和池化步长，所述池化窗口具体可理解为池化层与上一层建立池化连接后进行池化计算时所采用池化矩阵的大小；所述池化步长具体可理解为池化计算中池化窗口由当前计算位置移动到下一计算位置时的移动幅度。此外，全连接层的配置参数包括神经元数量，所述神经元数量具体可用于确定与上一层建立全连接后所需全连接权值数据的总个数。
进一步地，所述卷积层包括5层卷积层，分别为第1卷积层、第2卷积层、第3卷积层、第4卷积层以及第5卷积层；所述池化层包括有2层，分别为第1池化层和第2池化层；所述全连接层包括有2层，分别为第1全连接层和第2全连接层；所述拓扑连接顺序表示为：输入层--第1卷积层--第1池化层--第2卷积层--第2池化层--第3卷积层--第4卷积层--第5卷积层--第1全连接层--第2全连接层--输出层。
在本实施例中，优选设定了整个待构建网络模型框架中的隐藏层由五大层卷积层、两层池化层以及两层全连接层构成，且各层均具有相应的名称如第1卷积层、第1池化层、以及第1全连接层等；本实施例还给出了一个优选的拓扑连接顺序，基于该拓扑连接顺序，可以形成一个优选的初始网络模型框架。
进一步地，所述第i卷积层包括第i_1卷积层和第i_2卷积层，其中，i的取值为3,4和5，且所述第i_1卷积层和第i_2卷积层的卷积计算均采用捷径连接；所述第i_j卷积层还包括：第i_j_1子卷积层、第i_j_2子卷积层以及第i_j_3子卷积层，其中，j的取值为1和2。
可以理解的是，本实施还进一步对第3卷积层、第4卷积层以及第5卷积层的拓扑结构进行了细化，具体地，所述第3卷积层、第4卷积层以及第5卷积层均分别包含了两个小的卷积层，且所包含的两个小的卷积层均分别包括了3个子卷积层，本实施例对网络模型拓扑结构的上述设计，可以有效减少网络模型所提取图像特征的维度。此外，所包含的两个小的卷积层进行卷积计算时采用了捷径连接，采用捷径连接的目的主要在于可以在对构建的网络模型进行权值数据的更新训练时，加快网络模型的训练收敛时间。
在上述优化的技术上，本实施例为网络模型中的各层优选的设置了具体的配置参数。进一步地，所述第1卷积层的卷积步长优选为1、卷积核大小优选为5*5及卷积核数量优选为32；所述第2卷积层的卷积步长优选为1、卷积核大小为3*3及卷积核数量优选为64；所述第1池化层和第2池化层的池化步长均优选为2及池化窗口大小均优选为3*3；所述第1全连接层和第2全连接层的神经元数量均优选为512。
本实施例上述具体给出了待构建的网络模型中第1卷积层、第2卷积层、第1池化层、第2池化层、第1全连接层以及第2全连接层对应的配置参数。可以理解的是，由于所述第3卷积层、第4卷积层以及第5卷积层中分别由多个子卷积层组成，所以本实施例具体对各子卷积层设置了相应的配置参数，且本实施例给出了各子卷积层的优选配置参数。
具体地，在上述优化的基础上，所述第3_1_1子卷积层和第3_2_1子卷积层的卷积步长均优选为1、卷积核大小均为1*1及卷积核数量均优选为96；所述第3_1_2子卷积层和所述第3_2_2子卷积层的卷积步长均优选为1、卷积核大小均为3*3及卷积核数量均优选为96；所述第3_1_3子卷积层和所述第3_2_3子卷积层的卷积步长分别优选为2和1、卷积核大小均为1*1及卷积核数量均优选为192。
进一步地，所述第4_1_1子卷积层和第4_2_1子卷积层的卷积步长均优选为1、卷积核大小均为1*1及卷积核数量均优选为128；所述第4_1_2子卷积层和所述第4_2_2子卷积层的卷积步长均优选为1、卷积核大小均为3*3及卷积核数量均优选为128；所述第4_1_3子卷积层和所述第4_2_3子卷积层的卷积步长分别优选为2和1、卷积核大小均为1*1及卷积核数量均优选为384。
进一步地，所述第5_1_1子卷积层和第5_2_1子卷积层的卷积步长均优选为1、卷积核大小均为1*1及卷积核数量均优选为256；所述第5_1_2子卷积层和所述第5_2_2子卷积层的卷积步长均优选为1、卷积核大小均为3*3及卷积核数量均优选为256；所述第5_1_3子卷积层和所述第5_2_3子卷积层的卷积步长分别优选为2和1、卷积核大小均为1*1及卷积核数量均优选为512。
本实施例结合上述对待构建的网络模型中各层配置参数的优选设定，提供了一个网络模型构建的参数信息表，其中，表1具体给了网络模型构建时优选设定的网络模型中各层对应的配置参数。
表1待构建的网络模型的参数信息列表
如表1所示，表中第1列表示待构建的网络模型中各层的层标识，同时隐含给出了层与层之间的拓扑连接顺序，在第1列中，Convx表示了网络模型中的第x卷积层，由此可发现Convx中x分别取3,4和5时，均包括了两个小的卷积层，Convx_1和Convx_2；在第2列中，具体给出了基于第1列中各层形成网络模型框架后，各层与相邻上一层实质的拓扑连接时具有的计算类型，如，卷积层与相邻上一层实质的拓扑连接时具有的计算类型为卷积计算；在第3列、第4列以及第5列中，具体给出了卷积层以及池化层对应的优选配置参数，其中，上述过滤器大小，具体相当于卷积层的卷积核大小和池化层的池化窗口大小，上述过滤器个数，具体相当于卷积层的卷积核数量；上述步长，具体相当于卷积层的卷积步长和池化层的池化步长；在第6列中，具体给出了基于前几列信息构建出的网络模型中每层计算后所对应输出结果的维度值，其中，输出层的365相当于输出层有365个神经元进行结果输出。同时需要说明的是，对于全连接层而言，经全连接计算后所对应输出结果的维度值实际上等同于其配置参数中设置的神经元数量，本实施例优选设定为512。
可以理解的是，上述Convx中x分别取3,4和5时，其所对应的两个小的卷积层中又分别包含了3个子卷积层，本实施例同样为各子卷积层设定了相应的配置参数。图1b给出了本发明实施例一所构建网络模型中Convx_1的拓扑结构图；图1c给出了本发明实施例一所构建网络模型中Convx_2的拓扑结构图。如图1b和图1c所示，本实施例默认x分别取3,4和5，Convx_1及Convx_2的拓扑结构图中主拓扑连接具体由3个卷积层组成，且卷积核大小分别为1×1，3×3和1×1，其中，1×1卷积核用于控制图像特征提取时的特征维度，可以减少3×3卷积核的输入和输出维度。
同时，由图1b和图1c还可以看出，Convx_1及Convx_2均采用了捷径连接110，即，相当于在Convx_1及Convx_2进行卷积计算时，其分别输入Convx_1及Convx_2的特征数据可以首先基于设定的拓扑结构进行卷积计算并得输出特征数据，然后将所得到的输出特征数据再次与输入的特征数据进行加和计算，并将加和计算后结果可作为Convx_1及Convx_2输出结果。需要说明的是，Convx_1中的捷径连接110还额外与一个1×1卷积核的卷积层进行了拓扑连接，上述额外增加的卷积层具体可用于确保参与加和计算的两组特征数据具有相同的维度，从而保证能够正常进行加和计算，且因为输入Convx_2的特征数据为Convx_1的输出特征数据，因Convx_1和Convx_2的输入和输出维度相同，所以Convx_2中无需额外添加1×1卷积核的卷积层。
此外，还可以发现，Convx_1及Convx_2拓扑连接中的每个卷积层后面都跟随有批量归一化(Batch Normalization，BN)，其进行BN操作的目的在于加快所构建网络模型的训练收敛速度。可以理解的是，本实施例在BN操作后还采用了Relu激活函数来增强各卷积层所输出结果的表达强度。
需要说明的是，除上述图1b和图1c中给出的各卷积层后都跟随BN操作外，本实施例优选的为所构建网络模型中的各卷积层之后均设置BN操作，如在第1卷积层以及第2卷积层后同样设置BN操作，且所述BN操作具体在进入池化层前完成。其设置BN操作的目的同样在于加快所构建网络模型的收敛速度。
S102、根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
在本实施例中，上述步骤可以根据预设的拓扑结构信息以及配置参数信息构建形成一个可进行图像特征提取的初始网络模型。可以理解的是，所构建的初始网络模型中，仅给出了各层实质的拓扑连接后能够进行的计算类型，并没有给出实质计算所需的权值数据，该权值数据可以指卷积层进行卷积计算时所采用卷积核中的具体取值，还可以值池化层进行池化计算时所采用池化窗口中的具体取值，或与全连接层的各神经元进行连接时的连接权重值，因此，基于所述初始网络模型并不能直接输出正确的图像特征结果。
本步骤的目的在于为初始网络模型中各层提供初始的权值数据，并经过相应的迭代更新步骤实现各层所对应权值数据的更新，最终获得各层均具有最佳权值数据的目标网络模型，以基于目标网络模型实现图像特征的准确提取。本步骤具体基于预先设定的训练学习信息进行网络模型的训练。
具体地，所述训练学习信息包括以下至少之一：输入图像样本集、激活函数、偏置数据、各卷积层中卷积核的初始权值数据和卷积函数、各池化层中池化窗口的初始权值数据和池化函数、各全连接层中神经元的初始权值数据以及输出分类函数；所述标准权值数据集包括以下至少之一：迭代训练后各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据。
在本实施实施例，所述输入图像样本集为场景识别领域大型的数据集Places365-Standard，该Places365-Standard数据集包含180多万张具有相应场景标识的场景图片，上述场景图片一共具有365个场景类别，即，每个场景图片的场景标识属于365个场景类别中的一种。所述激活函数具体可用来增加非线性因素，由此增强网络模型的表达能力，本实施例中的激活函数优选采用ReLu激活函数。所述偏置数据优选设置为0。
此外，所述训练学习信息中还包括了各层计算所需的初始权值数据和计算函数，本实施例中优选采用Xavier初始算法为网络模型中的各层设置初始权值数据，同时，本实施例将第1卷积层和第2卷积层的卷积函数设定为C.ReLU计算函数；本实施例将第1池化层和第2池化层的池化函数设定为最大池化计算函数，以用于减少所连接卷积层输出数据的特征维度。
对于C.ReLU计算函数而言，其计算原理为：基于设定的卷积核进行卷积计算得到当前的实际特征值，再将各实际特征值取反获得反特征值，然后对实际特征值与反特征值进行级联，之后使用ReLu激活函数进行非线性因素调整，最终获得的特征数据的维度值则相当于所设定卷积核数量的两倍。图1d给出了本发明实施例一所提供C.ReLU计算函数的计算原理示意图，图1d以图示的形式描述了C.ReLU计算函数的计算处理流程，即整个计算过程为先卷积，之后对卷积结果取反，然后将取反结果与卷积结果级联，最终通过ReLU激活函数处理，并输出维度值翻倍后的特征数据，
示例性地，本实施例设定第1卷积层及第2卷积层均采用了C.ReLU计算函数进行卷积计算，如表1中所示，第1卷积层的卷积核数量为32，则其对应输出的特征数据的维度值为128*128*64，则可以理解的是，128*128为上一层输入的维度值，而普通的卷积计算后对应的维度值为128*128*32，但基于C.ReLU计算函数进行卷积计算后所输出特征数据的维度值则相当于之前的两倍。基于该种卷积计算方法，可以减少所构建网络模型中卷积计算的计算量，能够在保证计算结果准确性的前提下节省计算时间。
此外，本实施例将输出层确定为一个分类函数，以用于通过计算所得的图像特征实现图像场景的分类，由此通过输出的场景分类结果调整所构建初始网络模型中各层对应的权值数据(可能是初始权值数据，也可能是经过调整的待调整权值数据)，然后根据调整后的权值数据再次获得新的场景分类结果，如此循环往复直至达到循环结束条件。
本实施例中的输出分类采用Sofmax分类器，其对应的输出分类结果为每个样本图像x属于每个场景类别j的概率p(y＝j|x)。具体来说，对于第i个样本图像x(i)，所对应的分类函数h(x(i))可表示为：
示例性地，在将样本图像x(i)输入初始网络模型前，本实施例优选对其进行灰度化、减均值以及补白的预处理并将其缩小为128*128，处理后的样本图像输入初始网络模型后，最终会得到一个k维的概率向量p，进而通过公式
可预测x(i)的场景类别
此外，本实施例为更新迭代训练初始网络模型，基于初始网络模型中各层当前的权值数据构成了权值数据参数矩阵θ，同时为该权值数据参数矩阵θ设计了损失函数L(θ)，L(θ)用于确定基于当前的权值数据参数矩阵θ进行图像特征计算时对应的损失值，其中，该损失函数L(θ)表示为：
在本实施例中，确定训练所需的训练学习信息后，具体给出了将初始网络模型训练为目标网络模型的实现步骤：
1)在180多万张场景图片中随机选取设定数量的样本图像作为样本图像集；
2)将选取的样本图像集输入初始网络模型，并经上述公式(1)和公式(2)通过输出层输出各样本图像当前对应的实际场景类别；
3)根据上述公式(3)及各样本图像当前第t-1次迭代对应的实际场景类别，确定当前的权值数据参数矩阵θt-1对应的损失值；
4)通过待冲量的随机梯度下降更新当前的权值数据参数矩阵θt-1。
具体地，通过
和θt＝θt-1+Vt (5)实现权值数据参数矩阵θt-1的更新，其中，t表示对权值数据参数矩阵的第t次迭代；λ为冲量系数，优选为0.9，Vt为权值数据参数矩阵的第t次迭代时对应的更新值，θt为第t次迭代时的权值数据参数矩阵，η为学习率，初始优选为0.01，
表示L(θt-1)对θt-1的导数值。
基于上述步骤，可以在迭代收敛前，迭代更新初始神经网络模型的权值数据参数矩阵，以获得下一次迭代所需权值数据参数矩阵。由此可以在迭代收敛时，获得最终的标准权值数据参数矩阵，且根据标准权值数据参数矩阵形成了训练学习后的目标网络模型。
需要说明的是，标准权值数据参数矩阵中的所有值构成了标准权值数据集，而标准权值数据集中的具体包括了迭代训练后各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据。即，相当于初始网络模型基于各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据形成了可准确进行图像特征提取的目标网络模型。
本实施例训练后的目标网络模型，对Places365-Standard数据集中的场景图像进行图像场景识别时，其所获的1个实际场景类别直接等同于场景图像所具有场景标识的准确率可以达到50.16％，而所获的5个候选场景类别中包括了场景图像所具有场景标识的准确率可以达到80.03％。
图1e给出了本发明实施例一所训练目标网络模型的拓扑示意图，如图1e所示，整个拓扑结构总体包括了输入层--第1卷积层--第1池化层--第2卷积层--第2池化层--第3卷积层--第4卷积层--第5卷积层--第1全连接层--第2全连接层--输出层，其输入层输入的是一幅128*128的单通道图像，第1卷积层和第2卷积层分别采用C.ReLU计算函数对输入数据进行卷积计算，计算中所采用的激活函数均为ReLu激活函数，最终通过第5卷积层的卷积计算后，输出了维度值为4*4*512维的图像特征向量，之后经过第1全连接层再次对4*4*512的图像特征进行融合和分类，由此输出维度值为512维的图像特征向量，后续第2全连接层再次对维度值为512维的图像特征向量进行全连接计算，同样输出输出维度值为512维的图像特征向量，最终经过了输出层的Sofmax分类器，并通过Sofmax分类器的365个神经元输出了输入图像相对于365个场景类别的概率值。
在本实施中，对于训练形成的目标网络模型图而言，其中的第1和第2卷积层具体用来提取输入图像的图像边缘梯度和颜色块等特征，第3至第5卷积层具体用来提取输入图像的图像局部语义特征并逐步提取输入图像的全局语义特征。图1f～图1m分别给出了本发明实施例一所构建目标网络模型中各层输出结果的可视化图。
具体地，图1f中具体给出了预处理后的输入图像，且可以看出该图像中的各图像特征十分清晰；图1g中具体给出了经过第1卷积层卷积计算后的输出结果，可以看出该图像清晰显示了图像轮廓；图1h中具体给出了经过第1池化层池化计算后的输出结果，该图中仍可以隐约判断出图像的轮廓；而后续的图1i至图1m中，随着目标网络模型中卷积层数的加深，神经元的感受野逐渐增大，所提取的图像特征逐渐抽象，人眼已经很难分辨图像具有的特征。但对于图像处理而言，所提取的图像特征越抽象，则其具有的表征能力就越强，基于表征能力强的图像特征更能够准确的进行后续的图像处理。
本实施例训练形成的目标网络模型，具体如下特点：1)针对图像处理实时性的要求，目标网络模型中第1卷积层和第2卷积层的卷积计算时使用了C.ReLU计算函数，并大量使用了1*1卷积核的卷积层，由此很大程度减少了目标网络模型的计算量，加快了计算速度；2)针对卷积神经网络难训练、难收敛的问题，目标网络模型中在所有的卷积层后使用了BN操作，同时在Convx(x＝3,4,5)中均使用了捷径连接，由此加快目标网络模型训练时的收敛速度。
虽然所构建初始网络模型的训练需要较长的时间，但是使用训练好的目标网络模型进行图像特征提取的速度却非常快，经在GPU上测试，使用本实施例目标网络模型进行图像特征提取的时间大概为0.0098s。此外，与现有的PlaceCNN卷积网络模型相比，本实施例的目标网络模型中所具有权值数据的总数量仅有PlaceCNN卷积网络模型的七分之一，由此可认为，本实施例目标网络模型的网络拓扑结构更优于PlaceCNN卷积网络模型，更适用于图像处理中的图像特征提取。
本发明实施例提供的一种网络模型的构建方法，所构建的目标网络模型能够快速、精简的输出低维度的图像特征向量，且基于构建的目标网络模型进行图像特征提取时其提取结果不受光照环境的影响，同时，所提取的图像特征进行图像处理时能够保证处理结果的准确性，从而保证了图像处理的处理效果。
实施例二
图2为本发明实施例二提供的一种闭环检测方法的流程示意图，该方法适用于在即时定位与地图构建中进行闭环检测的情况，该方法可以由闭环检测装置执行，该装置可以由软件和/或硬件实现，并一般集成在能够进行即时定位与地图构建的计算机设备中。
如图2所示，本发明实施例二提供的一种闭环检测方法，具体包括如下操作：
S201、将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征。
在本实施例中，具体实现了即时定位与地图构建时的闭环检测。本步骤首先将捕获的实景图像帧输入目标网络模型，可以知道的是，所述目标网络模型基于本发明上述实施例提供的网络模型的构建方法确定。由此可获得所述实景图像帧的实际图像特征。
可以理解的是，所述目标网络模型中的输出层可以根据实际要处理的问题进行不同的设定。示例性地，本实施例进行闭环检测时，并不需要输入图像对应的场景分类结果，而是需要输入图像的图像帧特征向量，因为本实施例可优选地将目标网络模型中第1全连接层或第2全连接层计算后获得的特征向量作为结果输出，由此，对于每张输入图像而言，均可获得512维的图像特征向量。由此可以发现，所述实景图像帧的实际图像特征具有的维度值相对较低，便于实时进行闭环检测。
同时可以理解的是，本步骤在将实景图像帧作为输入图像输入目标网络模型前，首先对实景图像帧进行灰度化、减均值以及像素分辨率调整等操作，由此形成128*128的单通道的实景图像帧。
S202、根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像帧的历史图像特征。
具体地，为确定所述实景图像帧的闭环检测结果，需要为该实景图像帧选取进行相似性匹配的待匹配图像帧。需要注意的是，闭环检测处理的图像数据往往具有时间连续性，一般情况下，上述实景图像帧与其相邻图像帧的特征相关性较大，计算所得的相似值也往往很高，由此，相邻图像帧很容易被误检测成实景图像帧的闭环区域。
本实施例可以设置待匹配图像帧选取的选取规则，以避免实景图像帧与相邻的图像帧进行相似度匹配。具体地，所述待匹配图像帧可以基于图像帧选取规则从已捕获的历史图像帧中选取，同时，还可以获取各待匹配图像帧对应的历史图像特征，可以理解的是，各待匹配图像帧的历史图像特征同样经过目标网络模型提取获得，本实施例可以将捕获的实景图像帧及确定的实际图像特征存储在设定位置中，由此形成包含历史图像帧与对应历史图像特征的历史信息库。
在本实施例中，所述图像帧选取规则中可以设定所选取待匹配图像帧与实景图像帧之间的间隔帧数。
S203、基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
本实施例可以基于特征向量的相似度计算公式(如两特征向量的余弦值)确定实际图像特征与各历史图像特征的相似度值，同时可以将各相似度值与设定的阈值进行比较，之后根据比较结果确定该实景图像帧的闭环检测结果。
本发明实施例二提供的一种闭环检测方法，能够基于上述实施例构建的目标网络模型对所捕获的图像帧进行图像特征的提取，在保证闭环检测准确率的前提下，有效降低了闭环检测中所需图像特征向量的维度，进而缩短了闭环检测中相似度计算时的计算时间，由此能够较好的满足闭环检测中实时性的要求。
实施例三
图3为本发明实施例三提供的一种闭环检测方法的流程示意图，本发明实施例以上述实施例为基础进行优化，在本实施例中，进一步将根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像特征的历史图像特征，具体化为：获取设定的间隔帧数目及实景图像帧的帧号，并将所述帧号与所述间隔帧数目的差值确定为目标帧号；在已构建的历史信息库中将帧号小于或等于所述目标帧号的历史图像帧作为待匹配图像帧；获取各待匹配图像帧基于所述目标网络模型确定的历史图像特征。
进一步地，本实施例还将基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果，具体优化为：计算所述实际图像特征与各历史图像特征的相似度值；将大于设定相似阈值的相似度值对应的待匹配图像帧确定为候选闭环图像帧，并将所述候选闭环图像帧添加至设定的候选闭环集；如果所述候选闭环集中仅有一个候选闭环图像帧，则将所述候选闭环图像帧确定为所述实景图像帧的闭环区域；如果所述候选闭环集中存在至少两个候选闭环图像帧，则基于设定的闭环确定策略获得所述实景图像帧的闭环区域。
如图3所示，本发明实施例三提供的一种闭环检测方法，具体包括如下操作：
S301、将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征。
需要说明的是，进行即时定位与地图构建的设备可基于其上的摄像头进行图像捕获，一般地，摄像头可以持续的进行图像捕获，其进行图像捕获的速度远大于设备进行即时定位与地图构建时的移动速度，由此造成摄像头连续捕获的多张图像帧实际为同一场景图像。
若本实施例为摄像头捕获的每一张图像帧都进行闭环检测，则在一定程度上增加了设备的处理计算负担。因此，本实施例考虑对摄像头的图像捕获频率进行调整，并优选调整其捕获频率与设备的移动速率相同。
本步骤可认为摄像头基于与设备移动速率相同的捕获频率捕获实景图像帧，然后获得该实景图像帧的实际图像特征。本实施例下述S302～S304具体给出了待匹配图像帧的选取操作。
S302、获取设定的间隔帧数目及实景图像帧的帧号，并将所述帧号与所述间隔帧数目的差值确定为目标帧号。
具体地，所述间隔帧数目具体可理解为要选定的待匹配图像帧与实景图像帧之间的间隔最小值，所述间隔帧数目可预先设置在图像帧选取规则中，且所述间隔帧数目可基于实际的图像环境进行实际的设定，其设定的优选取值范围可以是[300,800]。
所述实景图像帧的帧号具体在捕获时形成，可作为区别于其他图像帧的ID标识。一般地，只有在所述实景图像帧的帧号大于所述间隔帧数目时，才对所述实景图像帧进行闭环检测，否则直接忽略所述实景图像帧的闭环检测，直接进行下一帧图像的捕获。
本步骤将实景图像帧的帧号与间隔帧数目的差值确定为目标帧号，所述目标帧号具体可理解为所选取待匹配图像帧可以具有的最大帧号。
S303、在已构建的历史信息库中将帧号小于或等于所述目标帧号的历史图像帧作为待匹配图像帧。
在本实施例中，可以将已捕获的历史图像帧及其对应的历史图像特征存放于设定的历史信息库中，本实施例可实时将当前捕获的实景图像帧及对应的实际图像特征添加至所述历史信息库中，实现历史信息库的动态更新。
本步骤可以将帧号小于或等于目标帧号的所有历史图像帧作为待匹配图像帧，也可以在符合条件的历史图像帧中选取关键图像帧作为待匹配图像帧。具体地，可以在小于或等于目标帧号的历史图像帧中等差选取关键图像帧，所述等差值可以等于所述间隔帧数目百分之一。
S304、获取各待匹配图像帧基于所述目标网络模型确定的历史图像特征。
S305、计算所述实际图像特征与各历史图像特征的相似度值。
示例性地，基于特征向量相似度计算公式进行相似度值计算。
S306、将大于设定相似阈值的相似度值对应的待匹配图像帧确定为候选闭环图像帧，并将所述候选闭环图像帧添加至设定的候选闭环集。
本步骤可以将计算获得的各相似度值与设定相似阈值进行比较，所述设定相似阈值可优选为0.9。当存在大于设定相似阈值的相似度值时，可以将该相似度值对应的待匹配图像帧作为一个候选闭环图像帧，并添加至候选闭环集。
本实施例可以对所有符合相似度判定条件的相似度对应的待匹配图像帧进行本步骤的操作。本实施例后续可以对候选闭环集中包括的图像帧个数进行统计，并根据统计结果确定执行S307还是执行S308。
S307、如果所述候选闭环集中仅有一个候选闭环图像帧，则将所述候选闭环图像帧确定为所述实景图像帧的闭环区域。
具体地，本步骤可以在候选闭环集中仅存在一个候选闭环图像帧时，直接将该候选闭环图像帧确定为该实景图像帧的闭环区域，即可认为该实景图像帧中的场景与该候选闭环图像帧的场景为同一区域。
S308、如果所述候选闭环集中存在至少两个候选闭环图像帧，则基于设定的闭环确定策略获得所述实景图像帧的闭环区域。
具体地，当候选闭环集中存在多个候选闭环图像帧时，并不能直接将各候选闭环图像帧确定为实景图像帧的闭环区域，需要基于闭环确定策略判定是否满足闭合区域的条件。
进一步地，所述基于设定的闭环确定策略获得所述实景图像帧的闭环区域，包括：当所述候选闭环集中候选闭环图像帧的帧号均为离散的条件下，确定所述实景图像帧不存在闭环区域；当所述候选闭环集中存在帧号连续的候选闭环图像帧的条件下，确定帧号连续的起始帧号和末端帧号，并基于所述起始帧号至末端帧号间对应的候选闭环图像帧形成历史图像区域，将所述历史图像区域确定为所述实景图像帧的闭环区域。
具体地，首先获取各候选闭环图像帧的帧号，并确定各帧号之间是离散的还是连续的。需要说明的是，若本实施例基于等差值在历史图像帧中选取待匹配图像帧时，则本步骤需要确定相邻候选闭环图像帧的帧号差是否与设定的等差值相等，若相等，也可认为相邻候选闭环图像帧的帧号连续。
本步骤可以在帧号离散时确定实景图像帧不存在闭环区域；还可以在帧号连续时，基于所有连续帧号对应的候选闭环图像帧合成历史图像区域，并将该历史图像区域确定为该实景图像帧的闭环区域。
可以理解的是，所述候选闭环集中可能存在多个连续帧号段，本实施例可认为多个帧号连续段对应的历史图像区域均为该实景图像帧的闭环区域，因为该多个帧号连续段对应的历史图像区域可能是设备在不同时间段所经过的同一区域。
本发明实施例三提供的一种闭环检测方法，具体描述了实际图像帧的待匹配图像帧的选取过程，同时描述了在候选闭环图像帧中确定实际图像帧的闭环区域的操作过程。利用该方法，首先采用了目标网络模型分别获取了实景图像帧及待匹配图像帧的低维度的图像特征，由此在保证闭环检测相似度计算结果准确性的前提下，更好的降低了闭环检测中相似度的计算时间，由此能够较好的满足闭环检测中实时性的要求。
实施例四
图4a为本发明实施例四提供的一种网络模型的构建装置的结构框图，该装置适用于对新的网络模型进行构建和训练的情况，该装置可以由软件和/或硬件实现，并一般集成在计算机设备中。如图4a所示，该装置包括：初始构建模块41和目标确定模块42。
其中，初始构建模块41，用于基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括以下至少之一：卷积层的层数、池化层的层数、全连接层的层数、以及各层之间的拓扑连接顺序；所述配置参数信息包括以下至少之一：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量。
目标确定模块42，用于根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
在本实施例中，该装置首先通过初始构建模块41基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型；然后基于目标确定模块42根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
本发明实施例四提供的网络模型的构建装置，能够根据特意设定的拓扑结构信息和配置参数信息，形成特定的初始网络模型，并能够通过训练获得目标网络模型，同时能够保证输出的低维度的图像特征，且基于该装置构建的目标网络模型进行图像特征提取时其提取结果不受光照环境的影响，同时，所提取的图像特征进行图像处理时能够保证处理结果的准确性，从而保证了图像处理的处理效果。
进一步地，所述卷积层包括5层卷积层，分别为第1卷积层、第2卷积层、第3卷积层、第4卷积层以及第5卷积层；所述池化层包括有2层，分别为第1池化层和第2池化层；所述全连接层包括有2层，分别为第1全连接层和第2全连接层；所述拓扑连接顺序表示为：输入层--第1卷积层--第1池化层--第2卷积层--第2池化层--第3卷积层--第4卷积层--第5卷积层--第1全连接层--第2全连接层--输出层。
进一步地，所述第1卷积层的卷积步长为1、卷积核大小为5*5及卷积核数量为32；所述第2卷积层的卷积步长为1、卷积核大小为3*3及卷积核数量为64；所述第1池化层和第2池化层的池化步长均为2及池化窗口大小均为3*3；所述第1全连接层和第2全连接层的神经元数量均为512。
进一步地，所述第i卷积层包括第i_1卷积层和第i_2卷积层，其中，i的取值为3,4和5，且所述第i_1卷积层和第i_2卷积层的卷积计算均采用捷径连接；所述第i_j卷积层还包括：第i_j_1子卷积层、第i_j_2子卷积层以及第i_j_3子卷积层，其中，j的取值为1和2。
在上述优化的基础上，所述第3_1_1子卷积层和第3_2_1子卷积层的卷积步长均可优选为1、卷积核大小均可优选为1*1及卷积核数量均可优选为96；所述第3_1_2子卷积层和所述第3_2_2子卷积层的卷积步长均可优选为1、卷积核大小均可优选为3*3及卷积核数量均可优选为96；所述第3_1_3子卷积层和所述第3_2_3子卷积层的卷积步长分别可优选为2和1、卷积核大小均可优选为1*1及卷积核数量均可优选为192。
进一步地，所述第4_1_1子卷积层和第4_2_1子卷积层的卷积步长均可优选为1、卷积核大小均可优选为1*1及卷积核数量均可优选为128；所述第4_1_2子卷积层和所述第4_2_2子卷积层的卷积步长均可优选为1、卷积核大小均可优选为3*3及卷积核数量均可优选为128；所述第4_1_3子卷积层和所述第4_2_3子卷积层的卷积步长分别可优选为2和1、卷积核大小均可优选为1*1及卷积核数量均可优选为384。
进一步地，所述第5_1_1子卷积层和第5_2_1子卷积层的卷积步长均可优选为1、卷积核大小均可优选为1*1及卷积核数量均可优选为256；所述第5_1_2子卷积层和所述第5_2_2子卷积层的卷积步长均可优选为1、卷积核大小均可优选为3*3及卷积核数量均可优选为256；所述第5_1_3子卷积层和所述第5_2_3子卷积层的卷积步长分别可优选为2和1、卷积核大小均可优选为1*1及卷积核数量均可优选为512。
在上述优化的基础上，所述训练学习信息包括以下至少之一：输入图像样本集、激活函数、偏置数据、各卷积层中卷积核的初始权值数据和卷积函数、各池化层中池化窗口的初始权值数据和池化函数、各全连接层中神经元的初始权值数据以及输出分类函数；所述标准权值数据集包括以下至少之一：迭代训练后各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据。
同时，本发明实施例还提供了一种计算机设备，图4b为本发明实施例四提供的一种计算机设备的硬件结构示意图，如图4b所示，本发明实施例四提供的计算机设备，包括：处理器401和存储装置402、该计算机设备中的处理器可以是一个或多个，图4b中以一个处理器401为例，所述计算机设备中的处理器和存储装置可通过总线或其他方式连接，图4b中以通过总线连接为例。
该计算机设备中的存储装置402作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例提供的网络模型的构建装置中对应的程序指令/模块(例如，附图4a所示的模块，包括：初始构建模块41和目标确定模块42)。处理器401通过运行存储在存储装置402中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例中网络模型的构建方法。
存储装置402可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且，当上述计算机设备所包括一个或者多个程序被所述一个或者多个处理器401执行时，其中一个程序可以进行如下操作：
基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括以下至少之一：卷积层的层数、池化层的层数、全连接层的层数、以及各层之间的拓扑连接顺序；所述配置参数信息包括以下至少之一：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量；根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例一提供的网络模型的构建方法，其中，上述实施例一提供的方法包括：基于获取的拓扑结构信息及配置参数信息，构建形成初始网络模型，其中，所述拓扑结构信息包括：卷积层的层数、池化层的层数、全连接层的层数以及各层之间的拓扑连接顺序；所述配置参数信息包括：各卷积层的卷积步长及卷积核大小和数量、各池化层的池化步长及池化窗口大小、以及各全连接层的神经元数量；根据获取的训练学习信息，迭代训练所述初始网络模型，获得具有标准权值数据集的目标网络模型。
实施例五
图5a为本发明实施例五提供的一种闭环检测装置的结构框图，该装置适用于在即时定位与地图构建中进行闭环检测的情况，该装置可以由可以由软件和/或硬件实现，并一般集成在能够进行即时定位与地图构建的计算机设备中。如图5a所示，该装置包括：特征提取模块51、图像选取模块52和检测确定模块53。
其中，特征提取模块51，用于将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，所述目标网络模型基于本发明上述实施例四提供的网络模型的构建装置确定；
图像选取模块52，用于根据设定的图像帧选取规则，确定至少一个待匹配图像帧及对应的历史图像特征；
检测确定模块53，用于基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
在本实施例中，该装置首先通过特征提取模块51将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，然后通过图像选取模块52根据设定的图像帧选取规则，确定至少一个待匹配图像帧及对应的历史图像特征；最终通过检测确定模块53基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
本发明实施例五提供的一种闭环检测装置，能够基于上述实施例构建的目标网络模型对所捕获的图像帧进行图像特征的提取，在保证闭环检测准确率的前提下，有效降低了闭环检测中所需图像特征向量的维度，进而缩短了闭环检测中相似度计算时的计算时间，由此能够较好的满足闭环检测中实时性的要求。
进一步地，图像选取模块52，具体用于：
获取设定的间隔帧数目及实景图像帧的帧号，并将所述帧号与所述间隔帧数目的差值确定为目标帧号；在已构建的历史信息库中将帧号小于或等于所述目标帧号的历史图像帧作为待匹配图像帧；获取各待匹配图像帧基于所述目标网络模型确定的历史图像特征。
进一步地，检测确定模块53，包括：
相似计算单元，用于计算所述实际图像特征与各历史图像特征的相似度值；
候选确定单元，用于将大于设定相似阈值的相似度值对应的待匹配图像帧确定为候选闭环图像帧，并将所述候选闭环图像帧添加至设定的候选闭环集；
第一确定单元，用于当所述候选闭环集中仅有一个候选闭环图像帧时，将所述候选闭环图像帧确定为所述实景图像帧的闭环区域；
第二确定单元，用于当所述候选闭环集中存在至少两个候选闭环图像帧时，基于设定的闭环确定策略获得所述实景图像帧的闭环区域。
在上述优化的基础上，所述第二确定单元，具体用于：
当所述候选闭环集中候选闭环图像帧的帧号均为离散的条件下，确定所述实景图像帧不存在闭环区域；当所述候选闭环集中存在帧号连续的候选闭环图像帧的条件下，确定帧号连续的起始帧号和末端帧号，并基于所述起始帧号至末端帧号间对应的候选闭环图像帧形成历史图像区域，将所述历史图像区域确定为所述实景图像帧的闭环区域。
同时，本发明实施例五还提供了一种计算机设备，图5b为本发明实施例五提供一种计算机设备的硬件结构示意图，如图5b所示，本发明实施例五提供的计算机设备，包括：摄像头501，用于捕获图像帧，还包括：处理器502和存储装置503、该计算机设备中的处理器可以是一个或多个，图5b中以一个处理器502为例，所述计算机设备中的摄像头可以通过总线或其他方式分别与处理器和存储装置连接，且处理器和存储装置也通过总线或其他方式连接，图5b中以通过总线连接为例。可以理解的是，所述计算机设备中的处理器502可以控制摄像头501的操作。
该计算机设备中的存储装置503作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例提供的闭环检测装置中对应的程序指令/模块(例如，附图5a所示的模块，包括：特征提取模块51、图像选取模块52和检测确定模块53)。处理器502通过运行存储在存储装置503中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例中闭环检测方法。
存储装置503可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置503可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置503可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且，当上述计算机设备所包括一个或者多个程序被所述一个或者多个处理器502执行时，其中一个程序可以进行如下操作：
将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，所述目标网络模型基于本发明实施例一提供的网络模型的构建方法确定；根据设定的图像帧选取规则，确定至少一个待匹配图像帧及对应的历史图像特征；基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例三提供的闭环检测方法，其中，上述实施例三提供的方法包括：将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征，所述目标网络模型基于本发明实施例一提供的网络模型的构建方法确定；根据设定的图像帧选取规则，确定至少一个待匹配图像帧及对应的历史图像特征；基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种闭环检测方法，其特征在于，包括：
将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征；
根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像帧的历史图像特征；
基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果；
其中，所述目标网络模型预先采用训练学习信息迭代训练初始网络模型获得，所述初始网络模型包括5层卷积层、2层池化层和2层全连接层；
各层的拓扑连接顺序为输入层--第1卷积层--第1池化层--第2卷积层--第2池化层--第3卷积层--第4卷积层--第5卷积层--第1全连接层--第2全连接层--输出层；
所述第i卷积层包括第i_1卷积层和第i_2卷积层，其中，i的取值为3,4和5，且所述第i_1卷积层和第i_2卷积层的卷积计算均采用捷径连接；
所述第i_j卷积层还包括：第i_j_1子卷积层、第i_j_2子卷积层以及第i_j_3子卷积层，其中，j的取值为1和2；
所述目标网络模型对应存在标准权值数据集，所述标准权值数据集包括以下至少之一：迭代训练后各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据。
2.根据权利要求1所述的方法，其特征在于，所述根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像特征的历史图像特征，包括：
获取设定的间隔帧数目及实景图像帧的帧号，并将所述帧号与所述间隔帧数目的差值确定为目标帧号；
在已构建的历史信息库中将帧号小于或等于所述目标帧号的历史图像帧作为待匹配图像帧；
获取各待匹配图像帧基于所述目标网络模型确定的历史图像特征。
3.根据权利要求1所述的方法，其特征在于，所述基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果，包括：
计算所述实际图像特征与各历史图像特征的相似度值；
将大于设定相似阈值的相似度值对应的待匹配图像帧确定为候选闭环图像帧，并将所述候选闭环图像帧添加至设定的候选闭环集；
如果所述候选闭环集中仅有一个候选闭环图像帧，则将所述候选闭环图像帧确定为所述实景图像帧的闭环区域；
如果所述候选闭环集中存在至少两个候选闭环图像帧，则基于设定的闭环确定策略获得所述实景图像帧的闭环区域。
4.根据权利要求3所述的方法，其特征在于，所述基于设定的闭环确定策略获得所述实景图像帧的闭环区域，包括：
当所述候选闭环集中候选闭环图像帧的帧号均为离散的条件下，确定所述实景图像帧不存在闭环区域；
当所述候选闭环集中存在帧号连续的候选闭环图像帧的条件下，确定帧号连续的起始帧号和末端帧号，并基于所述起始帧号至末端帧号间对应的候选闭环图像帧形成历史图像区域，将所述历史图像区域确定为所述实景图像帧的闭环区域。
5.一种闭环检测装置，其特征在于，包括：
特征提取模块，用于将当前捕获的实景图像帧输入预设的目标网络模型，获得所述实景图像帧的实际图像特征；
图像选取模块，用于根据设定的图像帧选取规则，确定所述实景图像帧的至少一个待匹配图像帧，并获取各待匹配图像帧的历史图像特征；
检测确定模块，用于基于所述实际图像特征与各历史图像特征的相似度值，确定所述实景图像帧的闭环检测结果；
其中，所述目标网络模型预先采用训练学习信息迭代训练初始网络模型获得，所述初始网络模型包括5层卷积层、2层池化层和2层全连接层；
各层的拓扑连接顺序为输入层--第1卷积层--第1池化层--第2卷积层--第2池化层--第3卷积层--第4卷积层--第5卷积层--第1全连接层--第2全连接层--输出层；
所述第i卷积层包括第i_1卷积层和第i_2卷积层，其中，i的取值为3,4和5，且所述第i_1卷积层和第i_2卷积层的卷积计算均采用捷径连接；
所述第i_j卷积层还包括：第i_j_1子卷积层、第i_j_2子卷积层以及第i_j_3子卷积层，其中，j的取值为1和2；
所述目标网络模型对应存在标准权值数据集，所述标准权值数据集包括以下至少之一：迭代训练后各卷积层中卷积核、各池化层中池化窗口以及各全连接层中神经元对应的标准权值数据。
6.一种计算机设备，包括：摄像头，用于捕获图像帧，其特征在于，还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的闭环检测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的闭环检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700709.6A CN107529650B (zh) | 2017-08-16 | 2017-08-16 | 闭环检测方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710700709.6A CN107529650B (zh) | 2017-08-16 | 2017-08-16 | 闭环检测方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107529650A CN107529650A (zh) | 2018-01-02 |
| CN107529650B true CN107529650B (zh) | 2021-05-18 |
Family
ID=60766355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710700709.6A Active CN107529650B (zh) | 2017-08-16 | 2017-08-16 | 闭环检测方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107529650B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190266482A1 (en) * | 2018-02-26 | 2019-08-29 | Gsi Technology Inc. | Distance based deep learning |
| CN110322389B (zh) * | 2018-03-29 | 2023-03-21 | 上海熠知电子科技有限公司 | 池化方法、装置及系统、计算机可读存储介质 |
| CN110647898B (zh) * | 2018-06-27 | 2022-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN109003229B (zh) * | 2018-08-09 | 2022-12-13 | 成都大学 | 基于三维增强深度残差网络的磁共振超分辨率重建方法 |
| CN110969217B (zh) * | 2018-09-28 | 2023-11-17 | 杭州海康威视数字技术股份有限公司 | 基于卷积神经网络进行图像处理的方法和装置 |
| CN109443382B (zh) * | 2018-10-22 | 2022-05-17 | 北京工业大学 | 基于特征提取与降维神经网络的视觉slam闭环检测方法 |
| CN111597979B (zh) * | 2018-12-17 | 2023-05-12 | 北京嘀嘀无限科技发展有限公司 | 一种目标对象聚类方法及装置 |
| CN110188117A (zh) * | 2019-04-15 | 2019-08-30 | 平安科技（深圳）有限公司 | 维权策略匹配方法、装置、计算机设备及存储介质 |
| CN110287875B (zh) * | 2019-06-25 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 视频目标的检测方法、装置、电子设备和存储介质 |
| CN110587597B (zh) * | 2019-08-01 | 2020-09-22 | 深圳市银星智能科技股份有限公司 | 一种基于激光雷达的slam闭环检测方法及检测系统 |
| CN111145097B (zh) * | 2019-12-31 | 2023-09-01 | 华为技术有限公司 | 图像处理方法、装置和图像处理系统 |
| CN111278085B (zh) * | 2020-02-24 | 2023-08-29 | 北京百度网讯科技有限公司 | 用于获取目标网络的方法及装置 |
| CN111523647B (zh) * | 2020-04-26 | 2023-11-14 | 南开大学 | 网络模型训练方法及装置、特征选择模型、方法及装置 |
| CN112085026A (zh) * | 2020-08-26 | 2020-12-15 | 的卢技术有限公司 | 一种基于深度神经网络语义分割的闭环检测方法 |
| CN113780319B (zh) * | 2020-09-27 | 2024-07-19 | 北京沃东天骏信息技术有限公司 | 闭环检测方法及装置、计算机可存储介质 |
| CN112115920B (zh) * | 2020-09-30 | 2024-07-26 | 广州市行动者科技有限责任公司 | 生成单目标检测神经网络的方法和装置 |
| CN114418927B (zh) * | 2021-11-09 | 2023-06-16 | 四川大学 | 一种基于空间关系特征匹配的闭环检测方法及系统 |
| CN114627036B (zh) * | 2022-03-14 | 2023-10-27 | 北京有竹居网络技术有限公司 | 多媒体资源的处理方法、装置、可读介质和电子设备 |
| CN115050006B (zh) * | 2022-06-21 | 2023-07-18 | 荆州职业技术学院 | 一种基于卷积神经网络的车道偏离预警方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831446A (zh) * | 2012-08-20 | 2012-12-19 | 南京邮电大学 | 单目视觉slam中基于图像外观的闭环检测方法 |
| CN105856230B (zh) * | 2016-05-06 | 2017-11-24 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
| CN106897666B (zh) * | 2017-01-17 | 2020-09-08 | 上海交通大学 | 一种室内场景识别的闭环检测方法 |
-
2017
- 2017-08-16 CN CN201710700709.6A patent/CN107529650B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107529650A (zh) | 2018-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN107229904B (zh) | 一种基于深度学习的目标检测与识别方法 | |
| US10726244B2 (en) | Method and apparatus detecting a target | |
| CN106845487B (zh) | 一种端到端的车牌识别方法 | |
| EP3933693B1 (en) | Object recognition method and device | |
| CN109583340B (zh) | 一种基于深度学习的视频目标检测方法 | |
| WO2020228525A1 (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| US20180157892A1 (en) | Eye detection method and apparatus | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN109949255A (zh) | 图像重建方法及设备 | |
| CN110879982B (zh) | 一种人群计数系统及方法 | |
| KR20180065889A (ko) | 타겟의 검측 방법 및 장치 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN112085055A (zh) | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN111027610B (zh) | 图像特征融合方法、设备和介质 | |
| CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN115564983A (zh) | 目标检测方法、装置、电子设备、存储介质及其应用 | |
| JP6600288B2 (ja) | 統合装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |