CN114426069A - 一种基于实时语义分割的室内救援车及图像语义分割方法 - Google Patents

一种基于实时语义分割的室内救援车及图像语义分割方法 Download PDF

Info

Publication number
CN114426069A
CN114426069A CN202111528155.9A CN202111528155A CN114426069A CN 114426069 A CN114426069 A CN 114426069A CN 202111528155 A CN202111528155 A CN 202111528155A CN 114426069 A CN114426069 A CN 114426069A
Authority
CN
China
Prior art keywords
image
module
resolution
semantic segmentation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111528155.9A
Other languages
English (en)
Other versions
CN114426069B (zh
Inventor
李茂月
郝鹏举
闫亚男
杨腾辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202111528155.9A priority Critical patent/CN114426069B/zh
Publication of CN114426069A publication Critical patent/CN114426069A/zh
Application granted granted Critical
Publication of CN114426069B publication Critical patent/CN114426069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D63/00—Motor vehicles or trailers not otherwise provided for
    • B62D63/02—Motor vehicles
    • B62D63/04—Component parts or accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于实时语义分割的室内救援车及图像语义分割方法，本发明涉及室内救援车，本发明目的在于克服室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要的问题，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。并通过室内救援车的图像采集结构进行语义分割。本发明属于室内救援领域。

Description

一种基于实时语义分割的室内救援车及图像语义分割方法
技术领域
本发明涉及室内救援车，特别是涉及一种基于实时语义分割的室内救援车及图像语义分割方法，属于实时语义分割的室内救援领域。
背景技术
随着机器视觉相关研究的不断发展，解决车载传感器采集图像的准确分析和表达相关物体表面的特征，如位置、颜色、质地、纹理等，国内外科学技术人员对图像中目标特征的像素点进行聚类，而图像语义分割技术是针对这个要求而提出来的。为了提高图像目标特征像素语义分割的精度，优化神经网络模型的相关结构，从而实现对图像中每个像素都能够进行精确的语义分割。现有基于室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要。
发明内容
本发明目的在于克服室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要的问题，提供了一种基于实时语义分割的室内救援车。
本发明所述一种基于实时语义分割的室内救援车，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。
一种基于实时语义分割的室内救援车的图像语义分割方法，其特征在于：所述方法是按照以下步骤实现的：
步骤一：通过双目相机图像输入至微型电脑内，对双目相机低分辨率镜头图像采用上下文编码A中带孔系数为2的扩展卷积，扩大低分辨率图像的感受野，将原始低分辨率图像的分辨率放大到原来的一倍，作为下采样输入图像；下采样输入图像作为编码器A的输入图像；
步骤二：采用下采样输入图像作为编码器A的输入图像进行下采样操作，并进行1x1卷积、3x3卷积且Rate为6、3x3卷积且Rate为12、最大汇合层操作得到不同的特征图；
步骤三：利用步骤二中得到的不同特征图进行1x1卷积操作并进行两倍的下采样，进一步提取步骤二中得到的不同特征图中特征信息，输出特征图，降低特征图像维度，得到编码A提取到的特征图，输入到解码中；
步骤四：利用上采样单元对步骤三解码中得到的输出特征图进行两倍上采样，得到低分辨率特征图，恢复低分辨率特征图图像的维度；
步骤五：对双目相机输入高分辨率镜头的图像进行预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，保证后续卷积层提取图像特征的可靠性；分别提取高分辨率图像中的RGB图像信息和深度图像信息；
步骤六：对步骤五中输出的RGB图像具有红、绿、蓝像素信息的特点，分别采用具有对红色像素特征提取的3x3卷积并进行两倍的下采样操作，得到红色像素特征图；具有对绿色像素特征提取的3x3卷积并进行两倍的下采样操作，得到绿色像素特征图；具有对蓝色像素特征提取的3x3卷积并进行两倍的下采样操作，得到蓝色像素特征图；
步骤七：对步骤五中高分辨率镜头的深度图像信息使用3x3卷积并进行2倍的下采样操作，提取高分辨图像的深度特征，输出深度特征图；
步骤八：将步骤六和步骤七中得到的图像中的红色像素特征图、绿色像素特征图、蓝色像素特征图和深度图像特征融合在一起，并进行1x1卷积提取相关的特征信息，输出编码B提取的关联特征图，输入到解码中；
步骤九：利用上采样单元对编码B提取的关联特征图进行两倍的上采样模块中反卷积操作，得到高分辨率特征图，恢复高分辨率特征图图像的维度；
步骤十：将步骤四中恢复的上下文编码A得到的低分辨率特征图和步骤九中恢复编码B得到的高分辨率特征图进行堆叠方式组合成联合特征图；
步骤十一：将步骤十中得到的联合特征图进行3x3卷积操作并进行两倍的上采样操作，提取联合特征图的特征信息，进一步恢复图像的维度，输出预测的语义分割结果。
本发明最为突出的特点和显著的有益效果是：
1.本申请的双目相机具有采集高分辨率的RGB图像、深度图像，低分辨率的灰度图像的功能；在双目相机支撑架内设计光源进行补偿装置，能够提高双目相机在黑暗环境下图像采集精度；针对大型建筑物内部环境的特点，所设计的一套可以进行自动调节俯仰角、水平角度范围的双目相机支架结构，消除了救援车辆两侧、上下方向的视野盲区；通过双目相机支架结构解决了使用廉价相机代替造价高昂激光雷达传感器难题，同时解决了相机获得更大扇面扫描角度的难题；
2.区别于现有单目相机采集单帧图像语义分割方法，通过双目相机采集两幅高低分辨率差异图像，借助英伟达AGX Xavier Developer Kit中GPU流处理器设计搭建了基于扩展卷积和RGB-D语义分割的联合网络结构模型，解决了基于室内救援环境图像语义分割的难题；
3.输入到基于扩展卷积和RGB-D语义分割的联合网络结构模型两幅具有高低分辨率差异图像，使用不同的卷积层分别对RGB、深度、灰度图像进行提取相关像素特征图，将像素特征图联合后再一次提取相关特征信息，输出预测结果，提高语义分割模型的识别精度；所搭建的一种基于室内救援场景下智能车辆的实时语义分割网络，可以实现针对室内救援环境中不同被困人员进行语义分割，标注出被困人员的具体形态；微型电脑控制定位模块发送位置信息，被困人员能够利用无线模块、语音交互模块、音响模块和救援人员进行交流，根据救援人员的远程指导，被困人员使用车载医疗用品对自己进行紧急自救；
4.微型电脑根据基于扩展卷积和RGB-D语义分割的联合网络结构模型输出的预测结果，控制电机控制模块发送控制信号到不同的舵机、驱动电机，实现自主设计悬架结构、双目相机支架结构的相关控制；根据对现实生活的观察借助仿生学原理，自主设计了一套自主越障悬架结构。
5.本发明针对室内救援环境，提出一种基于实时语义分割的室内救援智能车辆设计，其中图像语义分割是机器视觉中最重要的基础性技术，也在无人驾驶、机器人感知与导航等重要领域中均具有重要的应用，具有环境感知技术、环境图像识别技术的智能车辆，也可以称之为轮式机器人。针对规模庞大的建筑物，内部分布房间众多，并且各个房间之间使用不同的通道相互连接在一起，就造成了庞大建筑物具有地形复杂等特点，加之大型建筑物内部环境具有一定的相似性，一旦建筑物内部发生险情，由于周围环境辨识性较差，所以极其容易造成人员被困的危险。随着硬件方面对图像处理需求的性能支持，采用嵌入式图像开发处理设备将图像处理与卷积神经网络相互结合成为智能车辆研究的主流方法；智能救援车辆通过图像传感器采集室内救援图像信息，传输到神经网络模型中，微型电脑利用神经网络模型识别到的室内救援环境结果，根据发布控制信号到各个执行器，调节智能救援车辆的相关结构，实现智能救援车辆辅助救援人员救援的目的；神经网络模型识别低分辨率图像信息的特征：上下文信息是依据每个像素和周围像素存在的联系，通过将不同的上下文信息融入到卷积层中提取的特征图中，对救援车辆周围的各种不同目标和对象进行像素级别语义分割，是无人驾驶车辆应用深度学习算法的实践应用。本发明针对室内救援环境的特殊性，提出一种基于实时语义分割的室内救援智能车辆设计，通过优化卷积神经网络结构、调整各级卷积层中提取特征图的局部连接，利用全局上下文信息来改善局部特征歧义像素信息，采用上采样和下采样对输入不同分辨率的图像提取不同特征图，通过融合高分辨率图像中的深度特征图信息，再次提取特征图，从而提高语义分割的准确率。本申请通过合理布置、优化卷积神经网络的卷积层和汇合层结构，从而提高神经网络的鲁棒性。
附图说明
图1为本申请的整体结构示意图；
图2为本申请的整体结构示意图；
图3为本申请越障行走机构示意图；
图4为本申请图像采集结构示意图；
图5为麦克纳姆轮结构示意图；
图6为双目相机的高分辨率镜头和低分辨率镜头进行上采样和下采样的流程图。
图7为双目相机的低分辨率镜头经过卷积为3x3，取扩张系数(dilation)为1后的示意图；和对于卷积大小为3x3且扩张系数(dilation)为2后的示意图。
图8为双目相机的高分辨率镜头和低分辨率镜头图像进行基于扩展卷积和RGB-D语义分割的联合网络结构模型图。
具体实施方式
具体实施方式一：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。
具体实施方式二：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，图像采集结构包括双目相机13、四号舵机26、四号舵机安装座27、光源29、双目相机支撑架30和五号舵机31；双目相机13上设置有高分辨率镜头25和低分辨率镜头28，双目相机13通过双目相机支撑架30与四号舵机26的输出端连接，四号舵机26通过四号舵机安装座27与五号舵机31的输出端连接，光源29安装在双目相机支撑架30上。
高分辨率镜头25采集高分辨率的RGB-D图像信息，低分辨率镜头28采集低分辨率的灰度图像信息，通过四号舵机26舵机输出轴的转动实现双目相机13、光源29的俯仰角度调节，通过五号舵机31舵机输出轴的转动实现四号舵机安装座27的旋转转动。双目相机支撑架30为自主设计的零部件，使用五号舵机31实现双目相机水平方向扫描角度增大，消除智能救援车辆两侧的视野盲区；使用四号舵机26实现双目相机竖直方向扫描角度增大，消除智能救援车辆上下方向的视野盲区；通过自主设计的双目相机支架结构，解决了使用廉价相机代替造价高昂激光雷达传感器难题，同时解决了相机获得更大扇面扫描角度的难题。其它结构连接关系和具体实施方式一相同。
具体实施方式三：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，沟通提示结构包括语音交互模块1、无线模块2、警示灯4和音响模块5；无线模块2与语音交互模块1连接，语音交互模块1与音响模块5连接，语音交互模块1、无线模块2、警示灯4和音响模块5安装在架体上，且语音交互模块1、无线模块2、警示灯4和音响模块5与驱动控制机构连接。
警示灯4释放灯光救援信号，音响模块5播放声音救援信号，引起被困人员的注意，提高救援的效率，被困人员使用语音交互模块1、音响模块5、无线模块2与驱动控制机构通过通讯信号进行相互交互处理，进一步了解被困人员的身体状况，以及根据救援人员的指导。其它结构连接关系和具体实施方式一相同。
具体实施方式四：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，越障行走机构包括第一关节18、第二关节19、麦克纳姆轮20、驱动电机21、一号舵机22、二号舵机23和三号舵机24；三号舵机24的输出端与第一关节18的一端固定连接，第一关节18的另一端与二号舵机23的壳体固定连接，二号舵机23的输出端与第二关节19的一端连接，第二关节19的另一端与一号舵机22的输出端固定连接，一号舵机22的壳体与驱动电机21壳体固定连接，麦克纳姆轮20固定安装在驱动电机21的转轴上。
电机控制模块7根据微型电脑11实时语义分割的结果，发送不同的控制信号到三号舵机24、调节角度以控制第一关节18，二号舵机23调节角度控制第二关节19，实现智能救援车辆高度的调节；一号舵机22调节角度控制驱动电机21、麦克纳姆轮20相对于地面的角度，车轮更好的抓地力，微型电脑11控制电机驱动器9对驱动电机21的电流大小、方向控制，实现越过障碍物的功能。其它结构连接关系和具体实施方式一相同。
具体实施方式五：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，驱动控制机构包括电机控制模块7、电机驱动器9、微型电脑11、定位模块12和电源模块14；电机驱动器9与电机控制模块7连接，定位模块12和电机控制模块7与微型电脑11连接，电源模块14与电机控制模块7、电机驱动器9和微型电脑11连接并供电。电机驱动器9与电机控制模块7使用USB 3.0数据线实现通信控制信号的交互，微型电脑11为英伟达Jetson AGX Xavier Developer Kit，借助英伟达AGX XavierDeveloper Kit中GPU流处理器设计搭建了基于扩展卷积和RGB-D语义分割的联合网络结构模型，解决了基于室内救援环境图像语义分割的难题。其它结构连接关系和具体实施方式一相同。
具体实施方式六：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，架体包括储存厢6、第一层底盘15、第二层底盘16和第三层底盘17；第一层底盘15、第二层底盘16和第三层底盘17由下至上通过杆体固定连接，语音交互模块1、无线模块2、警示灯4、音响模块5和五号舵机31安装在第三层底盘17上，微型电脑11、定位模块12和储存厢6安装在第二层底盘16上，电机控制模块7、电机驱动器9和电源模块14安装在第一层底盘15上，四个三号舵机24的壳体均布安装在第一层底盘15底端面上，第一层底盘15上加工有第一层穿线孔10，第二层底盘16上加工有第二层穿线孔8，第三层底盘17上加工有第三层穿线孔3，电机控制模块7与一号舵机22、二号舵机23、三号舵机24、四号舵机26和五号舵机31连接并供电，电源模块14与警示灯4、音响模块5、光源29、双目相机13、微型电脑11、电机控制模块7、驱动电机21、语音交互模块1、无线模块2和电机驱动器9连接并供电。
储存厢6内存放相关医疗药品，用于进行紧急救援。电机控制模块7根据微型电脑11实时语义分割结果对一号舵机22、二号舵机23、三号舵机24、四号舵机26、五号舵机31和电机驱动器9进行实时控制；电机驱动器9根据电机控制模块7控制信号，实现对驱动电机21的电流大小和方向控制。第三层穿线孔3、第二层穿线孔8和第一层穿线孔10进行走线，解决了设备之间走线问题，根据微型电脑11控制定位模块12向救援人员发送定位信号，被困人员使用交互模块1、无线模块2和音响模块5实现相互之间的通话，其它结构连接关系和具体实施方式一、二、三、四或五相同。
具体实施方式七：结合图1-图5对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车，双目相机13为3D双目结构光深度相机，微型电脑11内置的基于扩展卷积和RGB-D语义分割的联合网络结构模型，微型电脑11通过USB2.0数据线与双目相机13连接并供电。其它结构连接关系和具体实施方式六相同。
具体实施方式八：结合图1-图8对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车的图像语义分割方法，步骤一：通过双目相机13图像输入至微型电脑11内，对双目相机13低分辨率镜头28图像采用上下文编码A中带孔系数为2的扩展卷积，扩大低分辨率图像的感受野，将原始低分辨率图像的分辨率放大到原来的一倍，作为下采样输入图像；下采样输入图像作为编码器A的输入图像；
步骤二：采用下采样输入图像作为编码器A的输入图像进行下采样操作，并进行1x1卷积、3x3卷积且Rate为6、3x3卷积且Rate为12、最大汇合层操作得到不同的特征图；最大汇合层的作用是使特征不变性，汇合操作使模型更加关注是否存在某些特征而不是特征具体的位置，可以看做是一种很强的先验，是特征学习包含某种程度自由度，能容忍一些特征微小的位移，特征降维，使模型可以抽取更广泛围的特征，减小了下一层输入大小，进而减小计算量和参数个数。在一定程度防止过拟合，更方便优化。
步骤三：利用步骤二中得到的不同特征图进行1x1卷积操作并进行两倍的下采样，进一步提取步骤二中得到的不同特征图中特征信息，输出特征图，降低特征图像维度，得到编码A提取到的特征图，输入到解码中；
步骤四：利用上采样单元对步骤三解码中得到的输出特征图进行两倍上采样，得到低分辨率特征图，恢复低分辨率特征图图像的维度；
步骤五：对双目相机13输入高分辨率镜头25的图像进行预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，保证后续卷积层提取图像特征的可靠性；分别提取高分辨率图像中的RGB图像信息和深度图像信息；
步骤六：对步骤五中输出的RGB图像具有红、绿、蓝像素信息的特点，分别采用具有对红色像素特征提取的3x3卷积并进行两倍的下采样操作，得到红色像素特征图；具有对绿色像素特征提取的3x3卷积并进行两倍的下采样操作，得到绿色像素特征图；具有对蓝色像素特征提取的3x3卷积并进行两倍的下采样操作，得到蓝色像素特征图；
步骤七：对步骤五中高分辨率镜头25的深度图像信息使用3x3卷积并进行2倍的下采样操作，提取高分辨图像的深度特征，输出深度特征图；
步骤八：将步骤六和步骤七中得到的图像中的红色像素特征图、绿色像素特征图、蓝色像素特征图和深度图像特征融合在一起，并进行1x1卷积提取相关的特征信息，输出编码B提取的关联特征图，输入到解码中；
步骤九：利用上采样单元对编码B提取的关联特征图进行两倍的上采样模块中反卷积操作，得到高分辨率特征图，恢复高分辨率特征图图像的维度；
随着卷积和汇合的进行，图像通道数越来越大，而空间大小越来越小，要想使输出和输入有相同的空间大小，全卷积网络需要使用反卷积和反汇合来增大空间大小。
步骤十：将步骤四中恢复的上下文编码A得到的低分辨率特征图和步骤九中恢复编码B得到的高分辨率特征图进行堆叠方式组合成联合特征图；
步骤十一：将步骤10中得到的联合特征图进行3x3卷积操作并进行两倍的上采样操作，提取联合特征图的特征信息，进一步恢复图像维度，输出预测的语义分割结果。其它结构连接关系和具体实施方式一相同。
具体实施方式九：结合图1-图8对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车的图像语义分割方法，步骤五中预处理过程包括，首先将原始图像进行左右翻转；针对室内救援环境中被困人员移动的特殊环境影响，再对其进行随机平移2个像素点，进行动态补偿环境信息，再从平移后的图像中裁剪出编码B的输入图像。消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测，保证后续卷积层提取图像特征的可靠性。其它结构连接关系和具体实施方式一相同。
具体实施方式十：结合图1-图8对本实施方式进行说明，本实施方式给出的一种基于实时语义分割的室内救援车的图像语义分割方法，下采样模块A是将图像从输入通道CinA输入，通过输出通道CoutA输出；下采样模块采用并行主分支通道结构设计，其中主分支通道采用的卷积核为3x3，取步长为2，特征映射：表达式高度M、宽度N、深度D在经过卷积提取特征。每个特征映射可以作为一类抽取的图像特征。灰度图像，就是有一个特征映射。输入层的深度D＝1，彩色图像：RGB三个颜色通道的特征映射。输入层的深度D＝3；分支通道采用2x2的最大汇合层，取步长为2，分支通道从Cin2输入；将两个主分支得到的特征图通过连接层叠加在一起，作为整个下采样模块的输出特征图，上采样模块B由反卷积层、激活层、批量归一化层顺序堆叠构成，记输入特征张量为CinB，输出特征张量为CoutB；上采样模块采用卷积核为3x3，取步长为2；且带有反卷积，卷积网络负责特征提取，将输入图片转化为多维的特征向量；而反卷积网络则根据特征提取图片中对象的形状，以恢复图像的分辨率，但是随着卷积和汇合的进行，图像通道数越来越大，而空间大小越来越小。要想使输出和输入有相同的空间大小，全卷积网络需要使用反卷积和反汇合来增大空间大小。上采样模块是通过从引导图像中传输细节和结构来生成一个高分辨率的目标图像，提高图像识别模型提取特征的能力，提高图像识别模型提取特征的能力，过低分辨率的引导图像xl使用变换f(·)求解低分辨率的目标图像yl，
即yl＝f(xl)来生成的，由于f(·)的计算过于复杂，使用一个变换
Figure BDA0003410961530000081
来近似f(·)，通过应用
Figure BDA0003410961530000082
对高分辨率引导图像xh，即
Figure BDA0003410961530000083
获得高分辨率的目标图像yh，根据给定xl、yl和xh，上采样的定义如下：
Figure BDA0003410961530000084
其中H是转换函数的集合，||·||是一个预定义的距离度量。其它结构连接关系和具体实施方式八相同。
附图6中：是对双目相机13上高分辨率镜头25下采样模块A中，图像从输入通道CinA输入，通过输出通道CoutA输出；下采样模块采用并行主分支通道结构设计，其中主分支通道采用的卷积核为3x3，取步长为2；分支通道采用2x2的最大汇合层，取步长为2，分支通道从Cin2输入；将两个主分支得到的特征图通过连接层叠加在一起，作为整个下采样模块的输出特征图。
附图6中对双目相机13上低分辨率镜头28上采样模块B由反卷积层，反卷积：将卷积操作降低输出特征的维数，映射到高维特征，激活层(Rectified Linear Unit，ReLU)、批量归一化层(Batch Normalization,BN)顺序堆叠构成，记输入特征张量为CinB，输出特征张量为CoutB；上采样模块采用卷积核为3x3，取步长为2；且带有反卷积，以恢复图像的分辨率。其中的BN层缓解梯度消失，加速网络收敛。BN层可以让激活函数的输入数据落在非饱和区，缓解了梯度消失问题。此外，由于每一层数据的均值与方差都在一定范围内，深层网络不必去不断适应浅层网络输入的变化，实现了层间解耦，允许每一层独立学习，也加快了网络的收敛。简化调参，网络更稳定。在调参时，学习率调得过大容易出现震荡与不收敛，BN层则抑制了参数微小变化随网络加深而被放大的问题，因此对于参数变化的适应能力更强，更容易调参，防止过拟合。BN层将每一个batch的均值与方差引入到网络中，由于每个batch的这两个值都不相同，可看做为训练过程增加了随机噪音，可以起到一定的正则效果，防止过拟合。ReLU层对于第i个神经元，其中ReLU的定义为
Figure BDA0003410961530000091
采用ReLU的神经元只需要进行加、乘和比较的操作，计算上更加高效。可以根据网络模型的特点进行自主选择，BN层的作用主要是加快网络的训练、收敛的速度、控制梯度爆炸、防止梯度消失，防止过拟合；ReLU激活函数节省巨大的计算量，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。可以根据网络模型的特点进行自主选择，BN层的作用主要是加快网络的训练、收敛的速度、控制梯度爆炸、防止梯度消失，防止过拟合；ReLU激活函数节省巨大的计算量，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
附图8中：针对双目相机采集的一个低分辨率的目标图像，附图7中(a)是经过卷积为3x3，取扩张系数(dilation)为1后的特征图；为了更加清楚地获得特征图(a)的像素信息，对于大小为3x3且扩张系数(dilation)为2的卷积层，使特征图具有5x5的理论感受野，利用扩展卷积在不损失图像分辨率、不增加参数、不降低模型性能的情况下，将采集到的低分辨率图像像素进行扩大感受野，凸显出更多低分辨图像信息和全局特征信息。
附图8中提出的整体网络架构是一种高效的并行编码-解码网络结构，主要由下采样单元、上采样单元、卷积单元、预处理单元组成。针对低分辨率灰度图像采用了编码A中带孔系数(dilation)为2的扩展卷积扩大了卷积层的感受野，加强后续网络模型提取图像目标像素特征的能力，附图8编码A、编码B生成了下采样提取的语义特征图，利用堆叠的方式将编码A、编码B提取到语义特征图叠加在一起，解码器对编码A、编码B提取到的叠加语义特征图进行上采样，以匹配输入图像分辨率，恢复图像的空间信息并向分割类别映射，最终生成与输入图像相同分辨率的语义分割预测结果；其中下采样、上采样模块结构图。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于实时语义分割的室内救援车，其特征在于：它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。
2.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：图像采集结构包括双目相机(13)、四号舵机(26)、四号舵机安装座(27)、光源(29)、双目相机支撑架(30)和五号舵机(31)；双目相机(13)上设置有高分辨率镜头(25)和低分辨率镜头(28)，双目相机(13)通过双目相机支撑架(30)与四号舵机(26)的输出端连接，四号舵机(26)通过四号舵机安装座(27)与五号舵机(31)的输出端连接，光源(29)安装在双目相机支撑架(30)上。
3.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：沟通提示结构包括语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)；无线模块(2)与语音交互模块(1)连接，语音交互模块(1)与音响模块(5)连接，语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)安装在架体上，且语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)与驱动控制机构连接。
4.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：越障行走机构包括第一关节(18)、第二关节(19)、麦克纳姆轮(20)、驱动电机(21)、一号舵机(22)、二号舵机(23)和三号舵机(24)；三号舵机(24)的输出端与第一关节(18)的一端固定连接，第一关节(18)的另一端与二号舵机(23)的壳体固定连接，二号舵机(23)的输出端与第二关节(19)的一端连接，第二关节(19)的另一端与一号舵机(22)的输出端固定连接，一号舵机(22)的壳体与驱动电机(21)壳体固定连接，麦克纳姆轮(20)固定安装在驱动电机(21)的转轴上。
5.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：驱动控制机构包括电机控制模块(7)、电机驱动器(9)、微型电脑(11)、定位模块(12)和电源模块(14)；电机驱动器(9)与电机控制模块(7)连接，定位模块(12)和电机控制模块(7)与微型电脑(11)连接，电源模块(14)与电机控制模块(7)、电机驱动器(9)和微型电脑(11)连接并供电。
6.根据权利要求1、2、3、4或5所述一种基于实时语义分割的室内救援车，其特征在于：架体包括储存厢(6)、第一层底盘(15)、第二层底盘(16)和第三层底盘(17)；第一层底盘(15)、第二层底盘(16)和第三层底盘(17)由下至上通过杆体固定连接，语音交互模块(1)、无线模块(2)、警示灯(4)、音响模块(5)和五号舵机(31)安装在第三层底盘(17)上，微型电脑(11)、定位模块(12)和储存厢(6)安装在第二层底盘(16)上，电机控制模块(7)、电机驱动器(9)和电源模块(14)安装在第一层底盘(15)上，四个三号舵机(24)的壳体均布安装在第一层底盘(15)底端面上，第一层底盘(15)上加工有第一层穿线孔(10)，第二层底盘(16)上加工有第二层穿线孔(8)，第三层底盘(17)上加工有第三层穿线孔(3)，电机控制模块(7)与一号舵机(22)、二号舵机(23)、三号舵机(24)、四号舵机(26)和五号舵机(31)连接并供电，电源模块(14)与警示灯(4)、音响模块(5)、光源(29)、双目相机(13)、微型电脑(11)、电机控制模块(7)、驱动电机(21)、语音交互模块(1)、无线模块(2)和电机驱动器(9)连接并供电，电机驱动器(9)与驱动电机(21)通过导线连接并对驱动电机(21)供电。
7.根据权利要求6所述一种基于实时语义分割的室内救援车，其特征在于：双目相机(13)为3D双目结构光深度相机，微型电脑(11)内置的基于扩展卷积和RGB-D语义分割的联合网络结构模型，微型电脑(11)通过USB2.0数据线与双目相机(13)连接并供电。
8.利用权利要求1、2、3、4、5或7或中任一所述一种基于实时语义分割的室内救援车的图像语义分割方法，其特征在于：所述方法是按照以下步骤实现的：
步骤一：通过双目相机(13)图像输入至微型电脑(11)内，对双目相机(13)低分辨率镜头(28)图像采用上下文编码A中带孔系数为2的扩展卷积，扩大低分辨率图像的感受野，将原始低分辨率图像的分辨率放大到原来的一倍，作为下采样输入图像；下采样输入图像作为编码器A的输入图像；
步骤二：采用下采样输入图像作为编码器A的输入图像进行下采样操作，并进行1x1卷积、3x3卷积且Rate为6、3x3卷积且Rate为12、最大汇合层操作得到不同的特征图；
步骤三：利用步骤二中得到的不同特征图进行1x1卷积操作并进行两倍的下采样，进一步提取步骤二中得到的不同特征图中特征信息，输出特征图，降低特征图像维度，得到编码A提取到的特征图，输入到解码中；
步骤四：利用上采样单元对步骤三解码中得到的输出特征图进行两倍上采样，得到低分辨率特征图，恢复低分辨率特征图图像的维度；
步骤五：对双目相机(13)输入高分辨率镜头(25)的图像进行预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，保证后续卷积层提取图像特征的可靠性；分别提取高分辨率图像中的RGB图像信息和深度图像信息；
步骤六：对步骤五中输出的RGB图像具有红、绿、蓝像素信息的特点，分别采用具有对红色像素特征提取的3x3卷积并进行两倍的下采样操作，得到红色像素特征图；具有对绿色像素特征提取的3x3卷积并进行两倍的下采样操作，得到绿色像素特征图；具有对蓝色像素特征提取的3x3卷积并进行两倍的下采样操作，得到蓝色像素特征图；
步骤七：对步骤五中高分辨率镜头(25)的深度图像信息使用3x3卷积并进行2倍的下采样操作，提取高分辨图像的深度特征，输出深度特征图；
步骤八：将步骤六和步骤七中得到的图像中的红色像素特征图、绿色像素特征图、蓝色像素特征图和深度图像特征融合在一起，并进行1x1卷积提取相关的特征信息，输出编码B提取的关联特征图，输入到解码中；
步骤九：利用上采样单元对编码B提取的关联特征图进行两倍的上采样模块中反卷积操作，得到高分辨率特征图，恢复高分辨率特征图图像的维度；
步骤十：将步骤四中恢复的上下文编码A得到的低分辨率特征图和步骤九中恢复编码B得到的高分辨率特征图进行堆叠方式组合成联合特征图；
步骤十一：将步骤十中得到的联合特征图进行3x3卷积操作并进行两倍的上采样操作，提取联合特征图的特征信息，进一步恢复图像的维度，输出预测的语义分割结果。
9.根据权利要求8所述一种基于实时语义分割的室内救援车的图像语义分割方法：其特征在于：步骤五中预处理过程包括，首先将原始图像进行左右翻转；针对室内救援环境中被困人员移动的特殊环境影响，再对其进行随机平移2个像素点，进行动态补偿环境信息，再从平移后的图像中裁剪出编码B的输入图像。
10.根据权利要求8所述一种基于实时语义分割的室内救援车的图像语义分割方法，其特征在于：下采样模块A是将图像从输入通道CinA输入，通过输出通道CoutA输出；下采样模块采用并行主分支通道结构设计，其中主分支通道采用的卷积核为3x3，取步长为2；分支通道采用2x2的最大汇合层，取步长为2，分支通道从Cin2输入；将两个主分支得到的特征图通过连接层叠加在一起，作为整个下采样模块的输出特征图，上采样模块B由反卷积层、激活层、批量归一化层顺序堆叠构成，记输入特征张量为CinB，输出特征张量为CoutB；上采样模块采用卷积核为3x3，取步长为2；且带有反卷积，以恢复图像的分辨率，上采样模块是通过从引导图像中传输细节和结构来生成一个高分辨率的目标图像，提高图像识别模型提取特征的能力，提高图像识别模型提取特征的能力，过低分辨率的引导图像xl使用变换f(·)求解低分辨率的目标图像yl，
即yl＝f(xl)来生成的，使用一个变换
Figure FDA0003410961520000031
来近似f(·)，通过应用
Figure FDA0003410961520000032
对高分辨率引导图像xh，即
Figure FDA0003410961520000033
获得高分辨率的目标图像yh，根据给定xl、yl和xh，上采样的定义如下：
Figure FDA0003410961520000034
其中H是转换函数的集合，||·||是一个预定义的距离度量。
CN202111528155.9A 2021-12-14 2021-12-14 一种基于实时语义分割的室内救援车及图像语义分割方法 Active CN114426069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111528155.9A CN114426069B (zh) 2021-12-14 2021-12-14 一种基于实时语义分割的室内救援车及图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111528155.9A CN114426069B (zh) 2021-12-14 2021-12-14 一种基于实时语义分割的室内救援车及图像语义分割方法

Publications (2)

Publication Number Publication Date
CN114426069A true CN114426069A (zh) 2022-05-03
CN114426069B CN114426069B (zh) 2023-08-25

Family

ID=81311440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111528155.9A Active CN114426069B (zh) 2021-12-14 2021-12-14 一种基于实时语义分割的室内救援车及图像语义分割方法

Country Status (1)

Country Link
CN (1) CN114426069B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063541A (zh) * 2022-08-18 2022-09-16 四川天启智能科技有限公司 一种大型机器人掩埋救援方法及系统
CN115789451A (zh) * 2022-10-11 2023-03-14 华南师范大学 一种基于全向轮的电控移动辅助三脚架装置和控制方法
CN116229277A (zh) * 2023-05-08 2023-06-06 中国海洋大学 基于语义相关性的强抗干扰海洋遥感图像语义分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234944A (zh) * 2015-09-06 2016-01-13 北京航空航天大学 一种护理机器人与运动控制系统
CN105997447A (zh) * 2016-04-27 2016-10-12 绍兴文理学院 一种轮腿结构的导盲机器人及其使用方法
CN108596102A (zh) * 2018-04-26 2018-09-28 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
CN108858176A (zh) * 2018-08-21 2018-11-23 西北工业大学 一种智能机器狗
CN110122073A (zh) * 2019-05-28 2019-08-16 江苏大学 一种基于机器视觉的草莓采摘机器人
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113159051A (zh) * 2021-04-27 2021-07-23 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN113219971A (zh) * 2021-05-07 2021-08-06 西南交通大学 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车
CN113657388A (zh) * 2021-07-09 2021-11-16 北京科技大学 一种融合图像超分辨率重建的图像语义分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234944A (zh) * 2015-09-06 2016-01-13 北京航空航天大学 一种护理机器人与运动控制系统
CN105997447A (zh) * 2016-04-27 2016-10-12 绍兴文理学院 一种轮腿结构的导盲机器人及其使用方法
CN108596102A (zh) * 2018-04-26 2018-09-28 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
CN108858176A (zh) * 2018-08-21 2018-11-23 西北工业大学 一种智能机器狗
CN110122073A (zh) * 2019-05-28 2019-08-16 江苏大学 一种基于机器视觉的草莓采摘机器人
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113159051A (zh) * 2021-04-27 2021-07-23 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN113219971A (zh) * 2021-05-07 2021-08-06 西南交通大学 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车
CN113657388A (zh) * 2021-07-09 2021-11-16 北京科技大学 一种融合图像超分辨率重建的图像语义分割方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063541A (zh) * 2022-08-18 2022-09-16 四川天启智能科技有限公司 一种大型机器人掩埋救援方法及系统
CN115063541B (zh) * 2022-08-18 2022-12-02 四川天启智能科技有限公司 一种大型机器人掩埋救援方法及系统
CN115789451A (zh) * 2022-10-11 2023-03-14 华南师范大学 一种基于全向轮的电控移动辅助三脚架装置和控制方法
CN115789451B (zh) * 2022-10-11 2023-10-20 华南师范大学 一种基于全向轮的电控移动辅助三脚架装置和控制方法
CN116229277A (zh) * 2023-05-08 2023-06-06 中国海洋大学 基于语义相关性的强抗干扰海洋遥感图像语义分割方法
CN116229277B (zh) * 2023-05-08 2023-08-08 中国海洋大学 基于语义相关性的强抗干扰海洋遥感图像语义分割方法

Also Published As

Publication number Publication date
CN114426069B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN114426069B (zh) 一种基于实时语义分割的室内救援车及图像语义分割方法
US11462023B2 (en) Systems and methods for 3D object detection
CN109945858A (zh) 用于低速泊车驾驶场景的多传感融合定位方法
WO2019230339A1 (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
JP2021012683A (ja) コンピュータビジョン方法およびシステム
Truong et al. Deep learning-based super-resolution reconstruction and marker detection for drone landing
US10005473B2 (en) Stereo camera, vehicle driving auxiliary device having same, and vehicle
CN111368755A (zh) 一种基于视觉的四足机器人行人自主跟随方法
Yu et al. Baidu driving dataset and end-to-end reactive control model
CN109033245B (zh) 一种移动机器人视觉-雷达图像跨模态检索方法
CN115143964A (zh) 一种基于2.5d代价地图的四足机器人自主导航方法
CN113985897B (zh) 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法
CN116229394A (zh) 一种自动驾驶图像识别方法、装置及识别设备
CN116051758A (zh) 一种用于室外机器人的含有高度信息的地貌地图构建方法
CN117612135A (zh) 一种基于transform的点云和图像融合的行驶区域判断方法
CN112907625A (zh) 应用于四足仿生机器人的目标跟随方法及系统
WO2023155903A1 (en) Systems and methods for generating road surface semantic segmentation map from sequence of point clouds
US20230077856A1 (en) Systems and methods for single-shot multi-object 3d shape reconstruction and categorical 6d pose and size estimation
CN112419411A (zh) 一种基于卷积神经网络和光流特征视觉里程计的实现方法
US11568653B2 (en) Vehicle environment modeling with a camera
CN116476816A (zh) 泊车规划方法、装置、电子设备及存储介质
US20220377973A1 (en) Method and apparatus for modeling an environment proximate an autonomous system
CN111098285A (zh) 一种基于低轨卫星通信的轮式探测机器人
Neto et al. A simple and efficient road detection algorithm for real time autonomous navigation based on monocular vision
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant