CN112633186A - 室内环境下可行驶路面的分割方法、装置、介质和机器人 - Google Patents
室内环境下可行驶路面的分割方法、装置、介质和机器人 Download PDFInfo
- Publication number
- CN112633186A CN112633186A CN202011570416.9A CN202011570416A CN112633186A CN 112633186 A CN112633186 A CN 112633186A CN 202011570416 A CN202011570416 A CN 202011570416A CN 112633186 A CN112633186 A CN 112633186A
- Authority
- CN
- China
- Prior art keywords
- road surface
- pavement
- pictures
- network model
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005065 mining Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 23
- 238000000638 solvent extraction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种室内环境下可行驶路面的分割方法、装置、介质和机器人，方法包括以下步骤：采集室内的路面图片，对路面图片进行预处理，形成训练集；构建路面分割网络模型；采用训练集的图片对路面分割网络模型进行训练；采集室内的实时路面图片，并基于训练完成的路面分割网络模型对实时路面图片中的路面位置和路面尺寸进行检测。本发明对现有语义分割算法和语义分割模型进行了针对性改进，同时采用了Soft‑hard mining策略，不仅缓解了网络过拟合现象，而且网络结构精简高效、计算速度快，从而保证路面分割准确性和实时性，更好地辅助机器人在室内安全地行走，减小机器人从台阶，手扶梯等区域跌落的危险。
Description
技术领域
本发明涉及机器人领域，尤其涉及一种室内环境下可行驶路面的分割方法、装置、介质和机器人。
背景技术
随着机器人的发展，室内移动机器人开始穿梭在写字楼、酒店、商场等室内区域，如何保障机器人在室内区域安全行走一直是工业界的难题。在机器人行走过程中，可以利用激光、超声波等传感器对周围障碍物检测，如墙体，闸机，门等。但写字楼或商场中的台阶、自动手扶梯等容易造成机器人的传感器失灵，从而导致机器人从高处跌落。
语义分割(Semantic Segmentation)技术是当今计算机视觉一个非常重要的课题，该技术主要作用是将图像中不同类别的元素分类，属于像素级别的分类任务。随着深度学习的发展，越来越多基于深度卷积神经网络的方法出现，如FCN，PSPnet，DeepLab等。机器人也可以通过摄像头视觉感知，使用语义分割技术对室内可行驶路面分割，将画面中路面元素标记出来，为机器人提供更安全的行驶保障。在实际场景下，机器人在行走时，对路面分割的计算耗时有一定的要求。现有技术的语义分割方法通常计算量非常大，而机器人等边缘端设备上算力有限，通常处理一张图片消耗的时间超过1s，如此高的时延，使得现有语义分割技术难以在实际场景中进行运用。
发明内容
本发明提供了一种室内环境下可行驶路面的分割方法、装置、介质和机器人，解决了以上所述的技术问题。
本发明解决上述技术问题的技术方案如下：一种室内环境下可行驶路面的分割方法，包括以下步骤：
步骤1，采集室内的路面图片，并对所述路面图片进行预处理，形成训练集；
步骤2，构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块；
步骤3，采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数；
步骤4，采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
在一个优选实施方式中，所述采集室内的路面图片，并对路面图片进行预处理，具体为：
S101，通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，其中机器人易跌落处的路面图片占全部路面图片的60％-80％；
S102，分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集；
其中采用多边形连通域的形式对所述路面进行标记，并将所述交界模糊处标记为背景，以用作忽略样本。
在一个优选实施方式中，所述骨干网络的网络结构按计算单元处理顺序包括依次连接的第一卷积块、第二卷积块、第一瓶颈卷积块、第三卷积块、第二瓶颈卷积块、第四卷积块、第三瓶颈卷积块、空间金字塔池化层、第五卷积块、第四瓶颈卷积块和注意力模块。
在一个优选实施方式中，所述采用训练集的图片对路面分割网络模型进行训练，优化路面分割网络模型的网络参数具体包括以下步骤：
S301，对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
S302，将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；
S303，采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
在一个优选实施方式中，采用Soft-hard mining算法构建预设损失函数为：
Loss＝Loss*mask1*mask2，
其中，mask1为第一图像掩码，用于获取小于预设thresholdMax的Loss值；mask2为第二图像掩码，用于获取大于预设thresholdMin的Loss值。
本发明实施例的第二方面提供了一种室内环境下可行驶路面的分割装置，包括训练集建立模块、模型构建模块、模型训练模块和分割模块，
所述训练集建立模块用于采集室内的路面图片，并对所述路面图片进行预处理，形成训练集；
所述模型构建模块用于构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块；
所述模型训练模块用于采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数；
所述分割模块用于采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
在一个优选实施方式中，所述训练集建立模块具体包括：
图像采集单元，用于通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，其中机器人易跌落处的路面图片占全部路面图片的60％-80％；
标记单元，用于分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集。
在一个优选实施方式中，所述模型训练模块具体包括：
初始化单元，用于对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
训练单元，用于将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；以及采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
本发明实施例的第三方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述室内环境下可行驶路面的分割方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述室内环境下可行驶路面的分割方法的步骤。
本发明提供了一种室内环境下可行驶路面的分割方法、装置、介质和机器人，对现有语义分割算法和语义分割模型进行了针对性改进，同时采用了Soft-hard mining策略，不仅缓解了网络过拟合现象，而且网络结构精简高效、计算速度快，从而保证路面分割准确性和实时性，更好地辅助机器人在室内安全地行走，减小机器人从台阶，手扶梯等区域跌落的危险。
为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是实施例1提供的室内环境下可行驶路面的分割方法的流程示意图；
图2a是实施例1中对路面图片进行预处理的结果示意图；
图2b是实施例1中对另一路面图片进行预处理的结果示意图；
图3是实施例1中路面分割网络模型的整体结构示意图；
图4是实施例1中瓶颈卷积块的结构示意图；
图5是实施例1中空间金字塔池化层的结构示意图；
图6是实施例1中注意力模块的结构示意图；
图7是实施例1中分割头模块的结构示意图；
图8是实施例2提供的室内环境下可行驶路面的分割装置的结构示意图；
图9是实施例3提供的一种控制器的电路结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
本发明实施例的机器人一般包括壳体、摄像头模块、传感器单元、驱动轮部件、存储部件及控制器。壳体的外形大体上呈圆形，在一些实施例中，壳体的外形可以大体上呈椭圆形、三角形、D形、柱形或其他形状。
传感器单元用于采集机器人的一些运动参数及环境空间各类数据。在一些实施例中，传感器单元包括激光雷达,激光雷达安装于壳体上方，其安装高度高于所述壳体的顶部面壳高度，激光雷达用于检测机器人与障碍物之间的障碍物距离。在一些实施例中，传感器单元还可以包括惯性测量单元(Inertialmeasurementunit，IMU)、陀螺仪、磁场计、加速度计或速度计、光学摄像头等等。
控制器分别与摄像头模块、左驱动轮、右驱动轮、全向轮及激光雷达电连接。控制器作为机器人的控制核心，用于控制机器人行走、后退以及一些业务逻辑处理。
在一些实施例中，控制器可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、AR(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，控制器还可以是任何传统处理器、控制器、微控制器或状态机。控制器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
在一些实施例中，上述机器人在活动的过程中，控制器采用SLAM(simultaneouslocalizationandmapping，即时定位与建图技术)技术，根据环境数据构建地图和定位，从而移动到目标位置完成递送任务、清洁任务等。控制器基于被建立好的地图以及机器人的位置，通过全覆盖路径规划算法指示机器人完全遍历一个环境空间。例如，在机器人遍历时，传感器单元获取遍历区域的图像，其中，该遍历区域的图像可以为整片遍历区域的图像，亦可以为整片遍历区域中局部遍历区域的图像。控制器根据遍历区域的图像生成地图，该地图已指示机器人需要遍历的区域以及位于遍历区域中的障碍物所在的坐标位置。当机器人每遍历完一个位置或区域后，机器人基于该地图，标记该位置或区域已被遍历。并且，由于障碍物在地图中是以坐标方式被标记，机器人遍历时，可以根据当前位置对应的坐标点与障碍物涉及的坐标点，判断与障碍物之间的距离，从而实现环绕障碍物作遍历工作。同理，位置或区域已遍历而被标记后，当机器人下一个位置将会移动至该位置或该区域时，机器人基于该地图以及该位置或该区域的标记，作出转弯调头或者停止遍历的策略。
可以理解的是，控制器还可以根据多种方式识别已遍历位置或区域，或者，识别障碍物，从而作出满足产品需求的控制策略。
请参阅图1，为本发明实施例1提供一种室内环境下可行驶路面的分割方法的流程示意图，如图1所示，方法包括以下步骤：
步骤1，采集室内的路面图片，并对所述路面图片进行预处理，形成训练集。具体包括以下步骤：
S101，通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，每隔5秒保存一帧画面，重点采集机器人易发生跌落的场景，比如楼梯口等，其中机器人易跌落处的路面图片占全部路面图片的60％-80％。
S102，分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集。比如采用多边形连通域的形式对所述路面进行标记，并将所述交界模糊处标记为背景，以用作忽略样本。对路面图片进行预处理的结果如图2a和图2b所示。
然后执行步骤2，构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块。语义分割网络通常由骨干网络(backbone)和分割头(segmentation head)组合。骨干网络主要功能是提取图片中不同尺度/深度下的语义特征，Resnet网络架构通常是语义分割的标配，但在实际运用中，Resnet结构的神经网络参数量多，计算量大，网络冗余。随着深度学习的发展，一种CSPnet(cross stage partialnetwork)网络架构在图片分类、目标检测领域取得了很好的效果。本发明提出一种改良版的CSPnet网络架构作为路面分割的骨干网络，其由卷积块(Convolution blocks)，瓶颈卷积块(Bottleneck blocks)，空间金字塔池化(spatial pyramid pooling),注意力模块(attention blocks)组成。更加具体来说，如图3所示，所述骨干网络的网络结构按计算单元处理顺序包括依次连接的第一卷积块、第二卷积块、第一瓶颈卷积块、第三卷积块、第二瓶颈卷积块、第四卷积块、第三瓶颈卷积块、空间金字塔池化层、第五卷积块、第四瓶颈卷积块和注意力模块。
如图3所示，所述第一卷积块中卷积层的输入尺寸为480*480*3，卷积核大小为3*3，步长为2，输出特征通道数为32通道.
所述第二卷积块中卷积层的卷积核大小为3*3，步长为2，输出特征通道数为64通道。
所述第三卷积块中卷积层的卷积核大小为3*3，步长为2，输出特征通道数为128通道。
所述第四卷积块中卷积层的卷积核大小为3*3，步长为2，输出特征通道数为256通道。
所述第五卷积块中卷积层的卷积核大小为3*3，步长为2，输出特征通道数为256通道。
如图4所示，每个瓶颈卷积块按计算单元处理顺序均包括第六卷积块、第七卷积块、第八卷积块、第九卷积块、第一卷积层和第二卷积层，所述第六卷积块、所述第七卷积块和所述第八卷积块依次连接，且所述第六卷积块和所述第八卷积块的输出端分别连接第一卷积层的输入端，所述第六卷积块的输出端还连接第二卷积层的输入端，所述第一卷积层和所述第二卷积层的输出端分别连接批归一化层，所述批归一化层的输出端经激活层连接所述第九卷积块；
所述第六卷积块中卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*1/2；
所述第七卷积块中卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*1/2；
所述第八卷积块中卷积层的卷积核大小为3*3，步长为1，输出特征通道数为输入特征通道数*2；
所述第一卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*1/2；
所述第二卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*1/2；
所述第九卷积块中卷积层的卷积核大小为1*1，步长为1，输出特征通道数与输入特征通道数相同。
如图5所示，所述空间金字塔池化层按计算单元处理顺序包括第一最大池化层、第二最大池化层和第十卷积块，所述第三瓶颈卷积层的输出端连接第一最大池化层和第二最大池化层的输入端，且所述第三瓶颈卷积层、所述第一最大池化层和所述第二最大池化层的输出端分别连接第十卷积块的输入端，所述第一最大池化层的池化窗口为5*5，所述第二最大池化层的池化窗口为9*9，所述第十卷积块中卷积核大小为1*1，步长为1。
如图6所示，所述注意力模块按计算单元处理顺序包括依次连接的全局平均池化层、第十一卷积块和第十二卷积块，所述第四瓶颈卷积块的输出端连接所述全局平均池化层的输入端，所述注意力模块的输出值为所述注意力模块的输入值与所述第十二卷积块的乘积；
所述第十一卷积块中卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*1/4；
所述第十二卷积块中卷积层的卷积核大小为1*1，步长为1，输出特征通道数为输入特征通道数*4。
如图7所示，为本实施例中路面分割网络模型中分割头模块(Segmentation headblocks)的结构图，分割头模块的主要功能是根据骨干网络提取出的高维特征，对图片上每个像素进行分类。如图7所示，按计算顺序具体结构包括按第十三卷积块、第一上采样模块、第十四卷积块、第二上采样模块、第三卷积层和第三上采样模块，
所述第十三卷积块中卷积层的卷积核大小为3*3，步长为1，输入特征通道数为256，输出特征通道数为128；
所述第十四卷积块中卷积层的卷积核大小为3*3，步长为1，输入特征通道数为128，输出特征通道数为64；
所述第三卷积层的卷积核大小为1*1，步长为1，输入特征通道数为64，输出特征通道数为2；
所述第一上采样模块、第二上采样模块和第三上采样模块的尺寸分别为2、2、8。
然后执行步骤3，采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数。具体包括以下步骤：
S301，对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
S302，将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；
S303，采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
具体来说，打标完的图片会统一缩放到[480,480]的尺寸，放入可行驶路面分割网络中进行计算，得到一个尺寸[480,480,2]的输出，即图片上每个像素点[i,j]对应两个结果a＝[i,j,0]和b＝[i,j,1]，当a<b时，表示该像素是路面。现有技术的损失函数通常选取Softmax交叉熵，其定义如下：
Loss＝y0log(a′)+y1log(b′)，
其中，y0,y1表示打标值，y0＝1表示其他物体，y1＝1表示路面；
根据上述公式，可以计算出图片上每个像素点的损失Loss，通常的处理方式是将所有值求和回传网络更新参数，也有取损失topk的loss求和回传，但通常数据集中会有些处于边界的像素点或者标记错误导致的loss值异常。并且，在实际运用中，边界像素点的分类准确与否并不影响算法的使用，鉴于此，本发明提出一种的Soft-hard mining算法，避免网络过分注意边界等难样本分类而导致过拟合的问题，采用Soft-hard mining算法构建预设损失函数为：
Loss＝Loss*mask1*mask2，
其中，mask1为第一图像掩码，用于获取小于预设thresholdMax的Loss值；mask2为第二图像掩码，用于获取大于预设thresholdMin的Loss值。优选实施例中，所述thresholdMin取值为log(0.1)，所述thresholdMax取值为log(0.7)。
根据计算的损失函数，以反向传播的方式回传并更新网络参数。训练方式采用随机梯度下降法SGD+动量法，学习动量参数设定为0.9，卷积参数L2正则惩罚系数设定为0.001，学习率为多项式缓慢下降。训练90次后终止训练保存网络参数。
最后执行步骤4，采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
本实施例的室内环境下可行驶路面的分割方法对现有语义分割算法和语义分割模型进行了针对性改进，同时采用了Soft-hard mining策略，不仅缓解了网络过拟合现象，而且网络结构精简高效、计算速度快，在边缘端机器人计算设备上可以达到20fp，从而保证路面分割准确性和实时性，更好地辅助机器人在室内安全地行走，减小机器人从台阶，手扶梯等区域跌落的危险。
需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
作为本发明实施例的另一方面，本发明实施例还提供一种室内环境下可行驶路面的分割装置。其中，室内环境下可行驶路面的分割装置可以为软件模块，所述软件模块包括若干指令，其存储在存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述各个实施例所阐述的室内环境下可行驶路面的分割方法。
在一些实施例中，室内环境下可行驶路面的分割装置亦可以由硬件器件搭建成的，例如，室内环境下可行驶路面的分割装置可以由一个或两个以上的芯片搭建而成，各个芯片可以互相协调工作，以完成上述各个实施例所阐述的室内环境下可行驶路面的分割方法。再例如，室内环境下可行驶路面的分割装置还可以由各类逻辑器件搭建而成，诸如由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(AcornRISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合而搭建成。
图8是本发明实施例2提供一种室内环境下可行驶路面的分割装置的结构示意图，该室内环境下可行驶路面的分割装置包括训练集建立模块100、模型构建模块200、模型训练模块300和分割模块400，
所述训练集建立模块100用于采集室内的路面图片，并对所述路面图片进行预处理，形成训练集；
所述模型构建模块200用于构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块；
所述模型训练模块300用于采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数；
所述分割模块400用于采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
在一个优选实施方式中，所述训练集建立模块100具体包括：
图像采集单元，用于通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，其中机器人易跌落处的路面图片占全部路面图片的60％-80％；
标记单元，用于分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集。
在一个优选实施方式中，所述模型训练模块300具体包括：
初始化单元，用于对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
训练单元，用于将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；以及采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
本实施例的室内环境下可行驶路面的分割装置，对现有语义分割算法和语义分割模型进行了针对性改进，同时采用了Soft-hard mining策略，不仅缓解了网络过拟合现象，而且网络结构精简高效、计算速度快，从而保证路面分割准确性和实时性，更好地辅助机器人在室内安全地行走，减小机器人从台阶，手扶梯等区域跌落的危险。
需要说明的是，上述室内环境下可行驶路面的分割装置可执行本发明实施例所提供的室内环境下可行驶路面的分割方法，具备执行方法相应的功能模块和有益效果。未在室内环境下可行驶路面的分割装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的室内环境下可行驶路面的分割方法。
图9是本发明实施例提供的一种控制器的电路结构示意图。如图9所示，该控制器600包括一个或多个处理器61以及存储器62。其中，图9中以一个处理器61为例。
处理器61和存储器62可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的室内环境下可行驶路面的分割方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行室内环境下可行驶路面的分割装置的各种功能应用以及数据处理，即实现上述方法实施例提供的室内环境下可行驶路面的分割方法以及上述装置实施例的各个模块或单元的功能。
存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器62中，当被所述一个或者多个处理器61执行时，执行上述任意方法实施例中的室内环境下可行驶路面的分割方法。
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图9中的一个处理器61，可使得上述一个或多个处理器可执行上述任意方法实施例中的室内环境下可行驶路面的分割方法。
本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的室内环境下可行驶路面的分割方法。
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种室内环境下可行驶路面的分割方法，其特征在于，包括以下步骤：
步骤1，采集室内的路面图片，并对所述路面图片进行预处理，形成训练集；
步骤2，构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块；
步骤3，采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数；
步骤4，采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
2.根据权利要求1所述室内环境下可行驶路面的分割方法，其特征在于，所述采集室内的路面图片，并对路面图片进行预处理，具体为：
S101，通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，其中机器人易跌落处的路面图片占全部路面图片的60％-80％；
S102，分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集；
其中采用多边形连通域的形式对所述路面进行标记，并将所述交界模糊处标记为背景，以用作忽略样本。
3.根据权利要求1或2所述室内环境下可行驶路面的分割方法，其特征在于，所述骨干网络的网络结构按计算单元处理顺序包括依次连接的第一卷积块、第二卷积块、第一瓶颈卷积块、第三卷积块、第二瓶颈卷积块、第四卷积块、第三瓶颈卷积块、空间金字塔池化层、第五卷积块、第四瓶颈卷积块和注意力模块。
4.根据权利要求3所述室内环境下可行驶路面的分割方法，其特征在于，所述采用训练集的图片对路面分割网络模型进行训练，优化路面分割网络模型的网络参数具体包括以下步骤：
S301，对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
S302，将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；
S303，采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
5.根据权利要求4所述室内环境下可行驶路面的分割方法，其特征在于，采用Soft-hard mining算法构建预设损失函数为：
Loss＝Loss*mask1*mask2，
其中，mask1为第一图像掩码，用于获取小于预设thresholdMax的Loss值；mask2为第二图像掩码，用于获取大于预设thresholdMin的Loss值。
6.一种室内环境下可行驶路面的分割装置，其特征在于，包括训练集建立模块、模型构建模块、模型训练模块和分割模块，
所述训练集建立模块用于采集室内的路面图片，并对所述路面图片进行预处理，形成训练集；
所述模型构建模块用于构建路面分割网络模型，所述路面分割网络模型包括基于CSPnet构架的骨干网络和分割头模块；
所述模型训练模块用于采用所述训练集的图片对所述路面分割网络模型进行训练，优化所述路面分割网络模型的网络参数；
所述分割模块用于采集室内的实时路面图片，并基于训练完成的路面分割网络模型对所述实时路面图片中的路面位置和路面尺寸进行检测。
7.根据权利要求6所述室内环境下可行驶路面的分割装置，其特征在于，所述训练集建立模块具体包括：
图像采集单元，用于通过室内移动机器人的摄像头在各个室内场景随机采集路面图片，其中机器人易跌落处的路面图片占全部路面图片的60％-80％；
标记单元，用于分别对所述路面图片的路面、非路面以及路面和非路面的交界模糊处进行标记，并形成训练集。
8.根据权利要求6或7所述室内环境下可行驶路面的分割装置，其特征在于，所述模型训练模块具体包括：
初始化单元，用于对所述路面分割网络模型进行初始化，生成初始权重和初始偏置；
训练单元，用于将所述训练集的图片作为样本数据输入到初始化后的路面分割网络模型，通过所述骨干网络提取输入图像的路面特征图，并通过所述分割头模块生成路面特征图中每个点的分类结果；以及采用预设损失函数计算损失值，降低所述损失值并进行反向传播，通过反复循环前向传播和反向传播对所述路面分割网络模型的权重和偏置进行更新，直至达到预设迭代停止条件，生成训练完成的路面分割网络模型。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-5任一项所述室内环境下可行驶路面的分割方法。
10.一种机器人，其特征在于，包括权利要求9所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现如权利要求1-5任一项所述室内环境下可行驶路面的分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011570416.9A CN112633186B (zh) | 2020-12-26 | 2020-12-26 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011570416.9A CN112633186B (zh) | 2020-12-26 | 2020-12-26 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633186A true CN112633186A (zh) | 2021-04-09 |
| CN112633186B CN112633186B (zh) | 2024-05-28 |
Family
ID=75325257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011570416.9A Active CN112633186B (zh) | 2020-12-26 | 2020-12-26 | 室内环境下可行驶路面的分割方法、装置、介质和机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633186B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537228A (zh) * | 2021-07-07 | 2021-10-22 | 中国电子科技集团公司第五十四研究所 | 一种基于深度特征的实时图像语义分割方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN111008959A (zh) * | 2019-11-22 | 2020-04-14 | 江苏方天电力技术有限公司 | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 |
| CN111275711A (zh) * | 2020-01-08 | 2020-06-12 | 西安电子科技大学 | 基于轻量级卷积神经网络模型的实时图像语义分割方法 |
| CN111401213A (zh) * | 2020-03-11 | 2020-07-10 | 上海中科教育装备集团有限公司 | 一种用于化学气体检测的火焰检测实验装置及方法 |
| CN111881779A (zh) * | 2020-07-08 | 2020-11-03 | 北京思维实创科技股份有限公司 | 一种给予自适应的人脸特征分离提取方法 |
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
| US20220036562A1 (en) * | 2018-11-27 | 2022-02-03 | Bongos Robotics Shanghai Co., Ltd | Vision-based working area boundary detection system and method, and machine equipment |
-
2020
- 2020-12-26 CN CN202011570416.9A patent/CN112633186B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220036562A1 (en) * | 2018-11-27 | 2022-02-03 | Bongos Robotics Shanghai Co., Ltd | Vision-based working area boundary detection system and method, and machine equipment |
| CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
| CN111008959A (zh) * | 2019-11-22 | 2020-04-14 | 江苏方天电力技术有限公司 | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 |
| CN111275711A (zh) * | 2020-01-08 | 2020-06-12 | 西安电子科技大学 | 基于轻量级卷积神经网络模型的实时图像语义分割方法 |
| CN111401213A (zh) * | 2020-03-11 | 2020-07-10 | 上海中科教育装备集团有限公司 | 一种用于化学气体检测的火焰检测实验装置及方法 |
| CN111881779A (zh) * | 2020-07-08 | 2020-11-03 | 北京思维实创科技股份有限公司 | 一种给予自适应的人脸特征分离提取方法 |
| CN111882002A (zh) * | 2020-08-06 | 2020-11-03 | 桂林电子科技大学 | 一种基于msf-am的低照度目标检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537228A (zh) * | 2021-07-07 | 2021-10-22 | 中国电子科技集团公司第五十四研究所 | 一种基于深度特征的实时图像语义分割方法 |
| CN113537228B (zh) * | 2021-07-07 | 2022-10-21 | 中国电子科技集团公司第五十四研究所 | 一种基于深度特征的实时图像语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633186B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216971B2 (en) | Three-dimensional bounding box from two-dimensional image and point cloud data | |
| KR102335389B1 (ko) | 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출 | |
| KR102292277B1 (ko) | 자율 주행 차량에서 3d cnn 네트워크를 사용하여 솔루션을 추론하는 lidar 위치 추정 | |
| CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
| CN110674705B (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| CN110874100A (zh) | 用于使用视觉稀疏地图进行自主导航的系统和方法 | |
| CN109375618A (zh) | 清洁机器人的导航避障方法及终端设备 | |
| KR102629036B1 (ko) | 로봇 및 그의 제어 방법 | |
| CN114222986A (zh) | 使用社交图网络进行的随机轨迹预测 | |
| Ruf et al. | Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision | |
| CN116993817B (zh) | 目标车辆的位姿确定方法、装置、计算机设备及存储介质 | |
| Liang et al. | End-to-end deep structured models for drawing crosswalks | |
| CN112526984A (zh) | 一种机器人避障方法、装置及机器人 | |
| Bao et al. | A systematic mapping framework for backpack mobile mapping system in common monotonous environments | |
| CN112633186B (zh) | 室内环境下可行驶路面的分割方法、装置、介质和机器人 | |
| Kovács | Visual monocular obstacle avoidance for small unmanned vehicles | |
| CN114910927A (zh) | 使用单色成像的基于事件的车辆姿态估计 | |
| CN114089752A (zh) | 机器人的自主探索方法、机器人及计算机可读存储介质 | |
| US20240092385A1 (en) | Driving Policy Determining Method and Apparatus, Device, and Vehicle | |
| CN114030483B (zh) | 车辆控制方法、装置、电子设备和介质 | |
| CN115686019A (zh) | 机器人的限速方法、装置及电子设备 | |
| Davies et al. | Using CART to segment road images | |
| CN112489131A (zh) | 基于路面检测构建代价地图的方法、装置、介质和机器人 | |
| CN112597915B (zh) | 对室内近距离行人进行识别的方法、装置、介质和机器人 | |
| CN112528728B (zh) | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |