CN117746524A - 一种基于slam和人群异常行为识别的安防巡检系统和方法 - Google Patents
一种基于slam和人群异常行为识别的安防巡检系统和方法 Download PDFInfo
- Publication number
- CN117746524A CN117746524A CN202311682251.8A CN202311682251A CN117746524A CN 117746524 A CN117746524 A CN 117746524A CN 202311682251 A CN202311682251 A CN 202311682251A CN 117746524 A CN117746524 A CN 117746524A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- robot
- crowd
- security inspection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 55
- 238000007689 inspection Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000007726 management method Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 37
- 230000006399 behavior Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 30
- 239000002245 particle Substances 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 210000003423 ankle Anatomy 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000003121 nonmonotonic effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000011835 investigation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012014 frustrated Lewis pair Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 description 1
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于SLAM和人群异常行为识别的安防巡检系统和方法，属于自动化安全巡视技术领域。针对人群异常行为发生时社区监管无法第一时间响应，只能事后走访调查，无法及时预警危险等问题，机器人通过激光雷达返回周围环境点云数据判断是否存在障碍物，完善地图信息；在地图中标定巡检区域与目标点，搜索地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息进行局部路径规划，从而避开人体或路障等临时障碍物。在执行巡检任务的同时，利用深度相机进行图像检测和信息提取，当检测到图像范围内出现异常行为时，提醒人群需要救助或者预警，并把事件信息返回至社区管理部门。
Description
技术领域
本发明属于自动化安全巡视技术领域，具体涉及一种基于SLAM和人群异常行为识别的安防巡检系统和方法。
背景技术
随着智慧社区发展的进一步深入，监管低效、应急滞后和成本高昂的人工社区安全监管制度导致社区出现人群异常行为时无法及时预警和处理。而这些行为可能会给居民带来较大的损失，所以及时预警人群异常行为并快速响应社区中发生的意外状况变得十分重要。作为一种智能化生产巡视的方法，人群异常行为预警是视频理解与计算机视觉领域炙手可热的研究内容，备受国内外学者的关注，在智能监控、人机交互等多领域被广泛应用。
当前，社区活动和生活场所的人群异常行为预警通常是采用固定摄像头配合人工巡检的方式，但是人工巡视存在人力成本开销大、应急能力不足以及人员情绪化等问题。而且当人群异常行为发生时，社区监管往往无法第一时间响应，只能在事后调取监控或走访调查，无法及时预警危险。并且，常见的基于摄像机的人群异常行为识别方案受制于摄像机位置，只能对社区小部分地区的小部分人群行为进行分析。而且受制于摄像机的清晰度，基于摄像机的人群异常行为识别方案往往也无法准确的判断人群的行为，只能进行粗略的判断。针对于环境相关度大的人群异常行为，也无法正确有效的识别及相应预警。
发明内容
针对当人群异常行为发生时，社区监管往往无法第一时间响应，只能在事后调取监控或走访调查，无法及时预警危险等问题，本发明提供了一种基于SLAM和人群异常行为识别的安防巡检系统和方法。
为了达到上述目的，本发明采用了下列技术方案：
一种基于SLAM和人群异常行为识别的安防巡检系统，包括上层系统和下层系统；所述的上层系统配置激光建图单元、自主导航单元和人群异常行为检测单元；所述的激光建图单元以单线激光雷达为硬件基础，Gmapping算法为软件基础完成建图功能；所述的自主导航单元采用A*和DWA融合算法完成自主导航功能；所述的人群异常行为检测单元以RGB-D深度相机为硬件基础，以ST-GCN算法为深度学习算法模型完成人群异常行为检测；
所述的下层系统配置车身控制单元、通信预警单元；所述的车身控制单元以六轴加速度传感器、履带、电源以及电机为基础完成机器人控制；通信预警单元采用六麦克风语音阵列和云服务器完成语音识别和通信预警；
所述的上层系统与下层系统通过串口通信连接，上层系统控制下层系统，并扩充下层系统的运算资源。
进一步，上层控制系统采用英伟达Jetson nano为核心，安装有ROS系统，以Python3.8、Pytorch 1.13.0和mmcv 2.1为深度学习算法运行环境；
激光建图单元依托ROS系统和改进的Gmapping算法、以2D单线激光雷达为硬件基础，使用RBPF算法完成2D栅格地图构建，采用粒子滤波算法对机器人位姿进行准确估计；
自主导航单元采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时采用DWA算法根据移动机器人当前的位置状态和速度状态，然后计算机器人在这些速度情况下移动一定时间内的轨迹，从而有效的避开障碍物。
人群异常行为检测单元使用改进的YOLOv7算法对RGB-D深度相机采集到的视频进行采集和片段截取，利用改进的SimCC提取出视频中行人的关键点，结合ST-GCN算法对目标人员行为进行判断，并根据空间信息确定人员是否出现跌倒或者打架行为。
进一步，下层控制系统采用STM32F407作为主控芯片，采用串口通信控制车身控制单元和通信预警单元。车身包括车头、车体和底盘。车头安装RGB-D深度相机和单线激光雷达，车体安装通信模块以及上下层控制电路板。底盘的内部安装电源模块、电机驱动板、解码器以及履带。
一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其工作步骤如下：
步骤1：将安防巡检机器人置于工作区域的地面上，打开安装在底盘上电源模块的总电源，开启车身上Jetson nano电路板开关，进入安防巡检机器人运行模式；
步骤2：在ROS系统中选择地图自主建模模式，设置安防巡检机器人的移动速度；机器人开始移动，通过激光雷达返回周围环境的点云数据判断周围是否存在障碍物，并逐步完善地图信息；在经过运动畸变去除处理后，提取出激光雷达扫描获取的2D栅格地图，并将其保存在map路径下；
进一步，步骤2的具体方法为：
步骤2.1：安防巡检机器人开始运行后，使用单线激光雷达360度扫描周围环境，当激光雷达按照所设定的扫描频率20Hz工作时，激光雷达每隔一个扫描周期50ms完成一次360度环境的扫描，并将所扫描的360度的环境数据作为完整的一帧数据；
步骤2-2，在激光雷达获得完整一帧扫描数据期间，由于机器人的运动，所以收到的激光雷达的扫描数据是在激光雷达处于不同的位置时获得的，因此，需要在该扫描周期50ms期间，获得在每个激光扫描点时刻机器人所对应的位姿；采用改进的Gmapping算法对当前时刻所接收到的激光雷达获取到的扫描数据进行处理，由此可得到在同一时间戳时刻且在同一位置处，激光雷达扫描360度环境完整一帧的扫描数据；其中改进的Gmapping算法过程包括：
步骤2.2.1：输入最近时刻t的粒子群、采样子集并初始化粒子群，遍历上一时刻粒子群中的粒子，并获取粒子携带的位姿、权重和地图；
步骤2.2.2：通过里程计进行位姿更新，采用极大似然估计求取局部极值；如果未求得局部极值，则使用观测模型更新粒子位姿权重状态；如果求得局部极值，则在局部极值附近取k个位姿，并计算k个位姿得均值、权重以及方差；然后使用多元正态分布近似新的位姿，并计算新的位姿粒子权重。
步骤2.2.3：更新地图，更新粒子群，循环遍历上一时刻的所有粒子；计算所有粒子权重的离散程度，并根据阈值判断粒子权重是否符合要求；若小于阈值，则说明粒子差异性过大，需要进行重新采样；若大于阈值，则结束进程。
步骤2.3：根据优化后的完整一帧扫描数据，逐帧进行位姿变换并拼接，然后采用相邻帧边约束的方法，根据与当前帧相关联的关键候选帧，通过对齐匹配地标来校正姿态累计误差，其中关键候选帧的选择条件和添加的约束表示为：
||xip-xjp||<Thdist (1)
‖path(xi,xj)‖<Thpath (2)
Score(xi,xj)<Thscore (3)
式中：xi为第i个关键帧的估计位姿；p为关键帧权重；path为关键帧的最小距离；Score为匹配结果的评分；Thdist为设定的阈值；Thpath为设定的距离阈值；Thscore为设定的得分阈值；||...||表示取绝对值。最后得到全局静态2d栅格地图，并将其保存至“map”的路径下。
步骤3：在2D栅格地图中标定巡检区域与目标点，机器人采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息，采用DWA算法进行局部路径规划，从而避开临时障碍物；
进一步，步骤3的具体方法为：
步骤3.1：基于步骤2生成的2D栅格地图网络，标注机器人巡航区域和巡航目标位置；
步骤3.2：使用A*算法进行机器人巡航的全局路径规划，生成初始路径；所述A*算法过程为：
步骤3.2.1：从机器人起点A开始，检查其相邻的栅格，并将它们加入到由栅格构成的Openlist中；
步骤3.2.2：检查与起点A相邻的方格，忽略其中不可通行障碍物所占领的方格，把其中可行走的或者可到达的方格加入到Openlist中；
步骤3.2.3：遍历Openlist，并计算估价函数F(n)，其中F(n)的计算公式为：
F(n)＝G(n)+H(n) (4)
其中，G(n)为从起点A移动到指定方格的移动代价，G(n)为当前位置的G值，H(n)为计算从当前方格横向或纵向移动到达目标所经过的方格数，忽略对角移动，总数乘以10；从Openlist中选择F值最小的方格节点，将其设置为起点A，并再次执行步骤3.2.2；当相邻最小F(n)的方格已经存在Openlist时，判断最小F(n)方格的G值是否小于G(n)，即判断G值是否为下一个位置的G值，检查这条路径是否更好，用G(n)值做参考；更小的G值表示这是更好的路径，但是如果不是，则回退至上层起点，并在剔除本次方格的情况下重新计算它的G值和F值，然后重新选择路径；
步骤3.2.4：当终点B加入到Openlist中时，则保存路径；
步骤3.3：安防巡航机器人按照A*算法的全局规划路径执行巡航任务，并利用激光雷达检测周围环境是否存在动态障碍物，当发现障碍物时，则在全局路径的基础上调用DWA算法进行局部路径规划，从而规避动态障碍物；所述DWA算法过程包括：
步骤3.3.1：根据小车当前状态(v,ω)，求解机器人在不同速度和角速度状态下的预测状态，并模拟这些速度在一定时间内的运动轨迹；
步骤3.3.2：采用评价函数评价不同预测状态下的评价函数的值；其中评价函数G(v,ω)表示为：
G(v,ω)＝σ(α*heading(v,ω)+β*dist(v,ω)+γ*vel(v,ω)) (5)
其中，heading(v,ω)为方位角评价函数：评价机器人在当前的设定的速度下，轨迹末端朝向与目标点之间的角度差距；dist(v,ω)表示机器人处于预测轨迹末端点位置时与地图上最近障碍物的距离，对于靠近动态障碍物的采样点进行惩罚，确保机器人的避障能力，降低机器人与障碍物发生碰撞的概率；vel(v,ω)为当前机器人的线速度，保证机器人快速到达目标；α、β、γ、σ为权重；
步骤3.3.3：归一化评价函数，采用Softmax选取合适的评价函数对应的预测状态的线速度和角速度作为下一个原始状态的线速度和角速度；
步骤3.4：更新机器人状态，采用A*算法重新为机器人规划全局路径，并继续执行巡航任务。
步骤4：机器人在执行巡检任务的同时，集成在英伟达Jetson nano电路板上集成的机器学习视觉模块通过RGB-D深度相机进行图像检测和信息提取；采用改进的YOLOv7算法检测行人和物品，利用改进的SimCC算法提取出相机中采集到的人体关键点，然后采用ST-GCN算法融合多帧图像信息，结合时空卷积判断人体姿态；
进一步，步骤4的具体方法为：
步骤4.1：读取RGB-D深度相机获取的视频流信息，作为系统输入；
步骤4.2：利用改进的YOLOv7，提取视频流中的行人目标以及与危险行为有关的目标物体；
所述的改进的YOLOv7算法具体为：网络结构上，在YOLOv7框架上使用部分卷积压缩卷积核的通道数，降低模型的参数量；重新构建一个CA注意力模块，使得网络在获取跨通道信息的同时，捕获到图像的位置信息和方向信息；损失函数上，采用Wise-IoU损失函数替换原算法中的CIoU，引入非单调动态聚焦机制，提升算法的特征提取能力；
步骤4.3：以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的人体关键点表示；
所述的改进的SimCC算法具体为：网络结构上，通过将自注意机制和一种新颖的空间卷积相结合，LiteFNet使特征图在底层网络中获得更具信息性的全局特征表示；改进的SimCC算法添加大核卷积和自注意机制的方式，增强SimCC处理空间信息的能力，获取有效关键点特征表示。
所述步骤4.3：以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的人体关键点表示时，使用YOLOv7作为SimCC的人体检测算法，并对检测出的行人进行翻转和裁剪处理，最终预测的关键点一共17个，包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝。
步骤4.4：使用ST-GCN对目标人员行为进行分析判断，结合空间信息确定人员是否出现异常行为；
所述步骤4.4：使用ST-GCN对目标人员行为进行分析判断，结合空间信息确定人员是否出现异常行为中检测跌倒的具体步骤为：
首先检测是否存在行人，当存在行人时，对采集到的行人进行翻转和裁剪处理，检测每一位行人的关键点表示，采用ST-GCN网络结合时间卷积判断人群行为，如果人群行为分类为跌倒且跌倒得分超越阈值，阈值如表1所示，认为行人存在跌倒的状况；如果连续8s均检测出行人跌倒的状况，则靠近跌倒目标进行语音求助并向上位机发送求助信息。
表1人群异常行为检测指标
所述步骤4.4：使用ST-GCN对目标人员行为进行分析判断，结合空间信息确定人员是否出现异常行为中检测打架的具体步骤为：
首先同时检测危险物品和人群，如果存在危险物品，则立刻向上位机进行预警处理，如果没有危险物品则根据ST-GCN的人群行为进行分类，当分类为打架且得分超过阈值时，则将人群标注为Fighting，当Fighting状态持续保持5s时，则认为人群存在打架的危险行为，进行语音预警并向上位机发送信息。
步骤4.5：将判断出的危险行为信息传输到前端进行显示以及预警，同时控制小车靠近异常人群进行预警或者救助。
步骤5：当检测到图像范围内出现人群异常行为时，上层系统会将行为信息数据传递给底层控制系统，此时安防巡检机器人会移动至目标行人或人群附近，提醒人群这里需要救助或者预警人群不要发生冲突，并把事件信息通过通信模块返回至社区管理部门。
与现有技术相比本发明具有以下优点：
1.本发明创新性的将激光SLAM、ST-GCN视频理解算法与ROS机器人进行了有效的结合，相比于目前普通的无人巡航车，引入了视频流分析，克服了目前无人巡航车作用小、适用范围小以及成本高的问题；
2.本发明设计了相邻帧边约束算法来优化复杂环境下的SLAM建图的位姿累积误差，相比于目前只采用闭环检测算法的SLAM建图算法来说，相邻帧边约束算法能够对点云地图的累计误差进行更好的优化，且对于连续变化的场景也能够获得更好的效果；
3.本发明通过改进YOLOv7算法，首先重新设计了ELAN模块，通过使用部分卷积有效降低参数量与运算量；然后添加了CA注意力机制，获取通道信息与位置信息，帮助算法高效地定位识别目标以提高在识别小物体上的准确率。经过测试验证，改进算法的准确率提升2.3％，参数量降低12.3％，在达到轻量化的同时避免检测精度降低，如表2所示。
表2对比实验结果
4.本发明通过改进SimCC人体姿态估计识别算法，有效地将自注意机制和一种新颖的空间卷积相结合，在底层网络中获得了更具信息性的全局特征表示。此外，改进的SimCC算法还通过添加大核卷积和自注意机制的方式，增强了SimCC处理空间信息的能力，获取了更有效的关键点特征表示。经过测试验证，相比于基于ResNet的SimCC算法，改进的SimCC算法在减少了46.0％的GFlops的同时取得了2.0PCK的提升，与其他的基于热图或回归的算法相比，改进的SimCC算法也在GFlops和精度上取得了最佳的平衡，如表3所示。
表3MPII数据集中不同算法结果对比。
5.本设计采用结构优化后的人群异常行为检测算法在多个检测数据集上取得了精度的提升，如表4所示。相比于同类型的视频理解算法，我们的算法在距离人群15m内均能够更加有效的识别人体关键点和人群异常行为。
表4人群异常行为检测精度对比
附图说明
图1为本发明的方法流程示意图；
图2为改进的YOLOv7中采用的部分卷积示意图；
图3为改进的YOLOv7中采用的CA注意力示意图；
图4为SimCC中提取到的关键点示意图；
图5为智能巡检机器人总体设计技术路线示意图；
图6为改进的Gmapping算法流程图；
图7为A*融合DWA算法流程图；
图8为人群异常行为检测算法流程图；
图9为异常行为检测算法流程图；
图10为DFC注意力机制网络图。
具体实施方式
如图1所示，一种基于SLAM和人群异常行为识别的安防巡检系统包括上层系统和下层系统。所述的上层系统配置激光建图单元、自主导航单元和人群异常行为检测单元。所述的激光建图单元以单线激光雷达为硬件基础，Gmapping算法为软件基础完成建图功能；所述的自主导航单元采用A*和DWA融合算法完成自主导航功能；所述的人体异常行为检测单元以RGB-D深度相机为硬件基础，以ST-GCN算法为深度学习算法模型完成人体异常行为检测；
所述的下层系统配置车身控制单元、通信预警单元。所述的车身控制单元以六轴加速度传感器、履带、电源以及电机为基础完成机器人控制；通信预警单元采用六麦克风语音阵列和云服务器完成语音识别和通信预警；所述的上层系统与下层系统通过串口通信连接，上层系统控制下层系统，并扩充下层系统的运算资源。
一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其具体实施方式主要为以下几个步骤：
步骤1：将安防巡检机器人置于工作区域的地面上，打开安装在底盘上电源模块的总电源，开启车身上Jetson nano电路板开关，进入安防巡检机器人运行模式；
步骤2：在ROS系统中选择地图自主建模模式，设置安防巡检机器人的移动速度；机器人开始移动，通过激光雷达返回周围环境的点云数据判断周围是否存在障碍物，并逐步完善地图信息；在经过运动畸变去除处理后，提取出激光雷达扫描获取的2D栅格地图，并将其保存在map路径下；
步骤3：在2D栅格地图中标定巡检区域与目标点，机器人采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息，采用DWA算法进行局部路径规划，从而避开临时障碍物；
步骤4：机器人在执行巡检任务的同时，集成在英伟达Jetson nano电路板上集成的机器学习视觉模块通过RGB-D深度相机进行图像检测和信息提取；采用改进的YOLOv7算法检测行人和物品，利用改进的SimCC算法提取出相机中采集到的人体关键点，然后采用ST-GCN算法融合多帧图像信息，结合时空卷积判断人体姿态；
步骤5：当检测到图像范围内出现人群异常行为时，上层系统会将行为信息数据传递给底层控制系统，此时安防巡检机器人会移动至目标行人或人群附近，提醒人群这里需要救助或者预警人群不要发生冲突，并把事件信息通过通信模块返回至社区管理部门。
进一步，所述的人群异常行为检测算法主要包括以下步骤：
1)读取巡检机器人搭载的RGB-D深度相机作为系统的视频流信息输入；
2)利用改进的YOLOv7，提取输入视频流中的行人目标以及与危险行为有关的目标物体；
3)以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的关键点表示；
4)结合SimCC提取到的人体关键点表示与YOLOv7提取到的小目标物体位置信息，采用ST-GCN对目标人员进行判断，并结合空间信息确定人员是否出现跌倒行为或者危险行为；
5)将分类得出的危险行为类别反馈给巡检机器人；
其中，步骤2)中提到的改进的YOLOv7提取行人目标以及危险行为有关目标物体的方法步骤如下：
1)收集社区人群行为录像，对获取到的视频拆帧，得到社区人群行为的图片；然后对获取到的图像进行预处理，利用LableImage图像标注工具对社区行人和所携带物体进行进行标注，并划分为训练集和测试集，从而得到社区行人与小物体数据集；
2)构建基于改进YOLOv7的人群与小目标检测网络。通过结合部分卷积与普通卷积，重新构建了YOLOv7算法的ELAN模块，以降低算法参数量；然后在YOLOv7的Neck模块中引入CA注意力机制，增强算法的特征提取能力；同时在预测头部分添加小目标检测层，提升对小目标的定位精度；引入WIOU作为网络的损失函数，加强网络的定位能力，提高模型的泛化能力；
所述的重建ELAN模块中PConv结构如图2所示，网络在cp(cp<c)个通道上应用普通卷积进行空间特征提取，保持特征图的通道数不变。并且保留剩余的c-cp个通道，让后续的卷积层利用其中的特征信息。算法的复杂度常使用FLOPs(浮点运算次数)进行衡量，部分卷积的FLOPs计算公式如式(1)所示：
其中，h、w分别为特征图的长和宽；k为部分卷积的长和宽。取压缩比则部分卷积的FLOPs仅为普通卷积的1/16，因此相比于原有的网络，改进YOLOv7算法的复杂度大幅下降。进一步的，为了高效地使用所有通道的特征信息，改进YOLOv7算法在部分卷积之后加入一层1×1普通卷积，并使用批量归一化(BatchNorm)和SiLU激活函数。
所述的CA注意力机制如图3所示。在CA模块中，首先对输入特征图x在宽度(W)和高度(H)两个方向上进行全局平均池化，池化核大小分别为H×1和1×W，从而对水平坐标和垂直坐标上的每个通道采取编码操作。因此h处的通道c输出计算公式(2)如下：
类似地，可以得到w处的通道c输出如下式(3)：
其中，xc(h,i)和xc(j,w)分别表示W和H中的第i个像素点和第j个像素点；从而得到水平和垂直方向的特征感知图大小分别为C×H×1和C×1×W。然后将两个特征感知图进行拼接，并使用共享权重的1×1卷积层和非线性激活函数，生成过渡特征图其中r为下采样比例。接着按空间维度将过渡特征图分为两个独立张量/>和利用两个1×1卷积层Fh和Fw分别把fh和fw的通道数变换至与输入X通道数相同，即公式(4)、(5)：
gh＝σ(Fh(fh)) (4)
gw＝σ(Fw(fw)) (5)
其中σ为非线性激活函数，最后对gh和gw分别进行展开，并将其作为注意力权重，得到CA注意力模块的最终输出如式(6)所示：
所述的Wise-IoU损失函数引入非单调动态聚焦机制，提升算法的特征提取能力。Wise-IoU计算公式如下：
L1＝R×LIoU,LIoU∈[0,1] (10)
其中LIoU为YOLOv7算法采用的损失函数，R用于放大普通锚框的LIoU；*代表分离梯度计算图操作，避免R产生阻碍收敛的梯度；x和y为网络预测值，xgt和ygt为预测框真值；Wg和Hg为对应的真值输入图大小；α为平衡系数；δ为比例系数；β为离群度，用于描述锚框质量；r为梯度增益。高质量的锚框所对应的离群度较低，这使得其获得的梯度增益较小，损失函数能够聚焦相对低质量的锚框；将较小的梯度增益分配给离群度较高的锚框，能够有效防止来自低质量示例的有害梯度。此外，由于是动态的，使得锚框的质量划分也是动态的，这让Wise-IoU能够在任何时刻产生最符合当前情况的梯度增益，从而提高检测精度。
3)利用数据集中的图像数据训练改进的YOLOv7算法，得到训练好的行人和小目标物体检测模型权重；
4)把训练好的模型、预测样本下载到Jetson中，然后配置文件并执行预测；
其中，步骤3)中提到的改进的SimCC提取人体关键点的方法步骤如下：
1)收集YOLOv7分割出的行人图片，然后对获取到的图像进行预处理，利用LableImage图像标注工具对社区行人的人体关键点进行标注，标注标准参考图4。然后与COCO、UAV-Human等公共数据集做数据集融合，得到关键点检测数据集。
2)构建基于改进SimCC的人体关键点检测模型。网络结构上，通过将自注意机制和一种新颖的空间卷积相结合，采替换SimCC中的卷积层，采用LiteFNet使特征图在底层网络中获得更具信息性的全局特征表示；同时改进的SimCC算法添加大核卷积和自注意机制的方式，增强SimCC处理空间信息的能力，获取有效关键点特征表示。
进一步，LiteFNet采用全局信息能力提取更强的DFC Attention来调整特征表示的权重，DFC注意力机制网络图如图10所示。同时采用FlipConv替换SimCC中的普通卷积来泛化模型的性能。为了能够增加坐标分离方法对坐标之间信息的感知能力，我们引入了大核卷积和GAU注意力机制，有效的提高了网络的性能。
3)利用数据集中的图像数据训练改进的SimCC算法，得到训练好的行人关键点检测模型权重；
4)把训练好的模型、预测样本下载到Jetson中，然后配置文件并对YOLOv7模型的输出文件执行行人关键点预测；然后使用空间变换网络对初步的行人关键点区域进行修正，得到较高质量的行人关键点预测结果，然后送入ST-GCN网络做目标状态分类，得到行人的目标状态编码。同时，得出的目标状态行为结果通过参数化非最大抑制方法进行处理，避免出现冗余结果。
进一步的，针对本系统所使用的深度网络模型，包括YOLOv7、SimCC、ST-GCN模型在内，使用Tensorrt框架进行深度学习推理加速。在Tensorrt部署环境上，本实例采用cuda11.0+cudann8.2.0+Tensorrt8.0.0.3的版本配合。通过张量融合、模型剪枝等方法来提升模型的推理速度。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (10)
1.一种基于SLAM和人群异常行为识别的安防巡检系统，其特征在于，包括上层系统和下层系统；所述的上层系统包括激光建图单元、自主导航单元和人群异常行为检测单元；所述的激光建图单元以单线激光雷达为硬件基础，Gmapping算法为软件基础完成建图功能；所述的自主导航单元采用A*和DWA融合算法完成自主导航功能；所述的人群异常行为检测单元以RGB-D深度相机为硬件基础，以ST-GCN算法为深度学习算法模型完成人群异常行为检测；
所述的下层系统包括车身控制单元、通信预警单元；所述的车身控制单元以六轴加速度传感器、履带、电源以及电机为基础完成机器人控制；通信预警单元采用六麦克风语音阵列和云服务器完成语音识别和通信预警；
所述的上层系统与下层系统通过串口通信连接，上层系统控制下层系统，并扩充下层系统的运算资源。
2.根据权利要求1所述的一种基于SLAM和人群异常行为识别的安防巡检系统，其特征在于，所述上层控制系统采用英伟达Jetsonnano为核心，安装有ROS系统，以Python3.8、Pytorch 1.13.0和mmcv 2.1为深度学习算法运行环境；
激光建图单元依托ROS系统和改进的Gmapping算法、以2D单线激光雷达为硬件基础，使用RBPF算法完成2D栅格地图构建，采用粒子滤波算法对机器人位姿进行准确估计；
自主导航单元采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时采用DWA算法根据移动机器人当前的位置状态和速度状态，计算机器人在此速度情况下移动一定时间内的轨迹，从而有效的避开障碍物；
人群异常行为检测单元使用改进的YOLOv7算法对RGB-D深度相机采集到的视频进行采集和片段截取，利用改进的SimCC提取出视频中行人的关键点，结合ST-GCN算法对目标人员行为进行判断，并根据空间信息确定人员是否出现跌倒或者打架行为。
3.根据权利要求1所述的一种基于SLAM和人群异常行为识别的安防巡检系统，其特征在于，所述下层控制系统采用STM32F407作为主控芯片，采用串口通信控制车身控制单元和通信预警单元；车身包括车头、车体和底盘；车头安装RGB-D深度相机和单线激光雷达，车体安装通信模块以及上下层控制电路板；底盘的内部安装电源模块、电机驱动板、解码器以及履带。
4.一种根据权利要求1～3任意一项所述的基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，包括以下工作步骤：
步骤1：将安防巡检机器人置于工作区域的地面上，打开安装在底盘上电源模块的总电源，开启车身上Jetson nano电路板开关，进入安防巡检机器人运行模式；
步骤2：在ROS系统中选择地图自主建模模式，设置安防巡检机器人的移动速度；机器人开始移动，通过激光雷达返回周围环境的点云数据判断周围是否存在障碍物，并逐步完善地图信息；在经过运动畸变去除处理后，提取出激光雷达扫描获取的2D栅格地图，并将其保存在“map”路径下；
步骤3：在2D栅格地图中标定巡检区域与目标点，机器人采用A*算法搜索二维栅格地图网络中机器人当前位姿与目标点之间的最短路径，同时根据激光雷达捕获到的障碍物信息，采用DWA算法进行局部路径规划，从而避开临时障碍物；
步骤4：机器人在执行巡检任务的同时，集成在英伟达Jetson nano电路板上集成的机器学习视觉模块通过RGB-D深度相机进行图像检测和信息提取；采用改进的YOLOv7算法检测行人和物品，利用改进的SimCC算法提取出相机中采集到的人体关键点，然后采用ST-GCN算法融合多帧图像信息，结合时空卷积判断人体姿态；
步骤5：当检测到图像范围内出现人群异常行为时，上层系统会将行为信息数据传递给底层控制系统，此时安防巡检机器人会移动至目标行人或人群附近，提醒人群这里需要救助或者预警人群不要发生冲突，并把事件信息通过通信模块返回至社区管理部门。
5.根据权利要求4所述的一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，步骤2的具体过程如下：
步骤2.1：安防巡检机器人开始运行后，使用单线激光雷达360度扫描周围环境，当激光雷达按照所设定的扫描频率工作时，激光雷达每隔一个扫描周期完成一次360度环境的扫描，并将所扫描的360度的环境数据作为完整的一帧数据；
步骤2.2：在激光雷达获得完整一帧扫描数据期间，采用改进的Gmapping算法对当前时刻所接收到的激光雷达获取到的扫描数据进行处理，得到同一时刻且在同一位置处，激光雷达扫描360度环境完整一帧的扫描数据；其中改进的Gmapping算法过程包括：
步骤2.2.1：输入最近时刻t的粒子群、采样子集并初始化粒子群，遍历上一时刻粒子群中的粒子，并获取粒子携带的位姿、权重和地图；
步骤2.2.2：通过里程计进行位姿更新，采用极大似然估计求取局部极值；
步骤2.2.3：更新地图，更新粒子群，循环遍历上一时刻的所有粒子；计算所有粒子权重的离散程度，并根据阈值判断粒子权重是否符合要求；
步骤2.3：根据优化后的完整一帧扫描数据，逐帧进行位姿变换并拼接，然后采用相邻帧边约束的方法，根据与当前帧相关联的关键候选帧，通过对齐匹配地标来校正姿态累计误差，其中关键候选帧的选择条件和添加的约束表示为：
||xip-xjp||＜Thdist (1)
‖path(xi,xj)‖<Thpath (2)
Score(xi,xj)<Thscore (3)
式中：xi为第i个关键帧的估计位姿；p表示关键帧权重；path为关键帧的最小距离；Score为匹配结果的评分；Thdist为设定的阈值；Thpath为设定的距离阈值；Thscore为设定的得分阈值；||...||表示取绝对值；最后得到全局静态2d栅格地图，并将其保存至“map”的路径下。
6.根据权利要求4所述的一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，步骤3的具体过程如下：
步骤3.1：基于步骤2生成的2D栅格地图网络，标注机器人巡航区域和巡航目标位置；
步骤3.2：使用A*算法进行机器人巡航的全局路径规划，生成初始路径；所述A*算法过程为：
步骤3.2.1：从机器人起点A开始，检查其相邻的栅格，并将它们加入到由栅格构成的Openlist中；
步骤3.2.2：检查与起点A相邻的方格，忽略其中不可通行障碍物所占领的方格，把其中可行走的或者可到达的方格加入到Openlist中；
步骤3.2.3：遍历Openlist，并计算估价函数F(n)，其中F(n)的计算公式为：
F(n)＝G(n)+H(n) (4)
其中，G(n)为从起点A移动到指定方格的移动代价，G(n)为当前位置的G值，H(n)为计算从当前方格横向或纵向移动到达目标所经过的方格数，忽略对角移动，总数乘以10；从Openlist中选择F值最小的方格节点，将其设置为起点A，并再次执行步骤3.2.2；当相邻最小F(n)的方格已经存在Openlist时，判断最小F(n)方格的G值是否小于G(n)，即判断G值是否为下一个位置的G值；
步骤3.2.4：当终点B加入到Openlist中时，则保存路径；
步骤3.3：安防巡航机器人按照A*算法的全局规划路径执行巡航任务，并利用激光雷达检测周围环境是否存在动态障碍物，当发现障碍物时，则在全局路径的基础上调用DWA算法进行局部路径规划，从而规避动态障碍物；所述DWA算法过程包括：
步骤3.3.1：根据小车当前状态(v,ω)，求解机器人在不同速度和角速度状态下的预测状态，并模拟这些速度在一定时间内的运动轨迹；
步骤3.3.2：采用评价函数评价不同预测状态下的评价函数的值；其中评价函数G(v,ω)表示为：
G(v,ω)＝σ(α*heading(v,ω)+β*dist(v,ω)+γ*vel(v,ω)) (5)
其中，heading(v,ω)为方位角评价函数：评价机器人在当前的设定的速度下，轨迹末端朝向与目标点之间的角度差距；dist(v,ω)表示机器人处于预测轨迹末端点位置时与地图上最近障碍物的距离，对于靠近动态障碍物的采样点进行惩罚，确保机器人的避障能力，降低机器人与障碍物发生碰撞的概率；vel(v,ω)为当前机器人的线速度，保证机器人快速到达目标；α、β、γ、σ为权重；
步骤3.3.3：归一化评价函数，采用Softmax选取合适的评价函数对应的预测状态的线速度和角速度作为下一个原始状态的线速度和角速度；
步骤3.4：更新机器人状态，采用A*算法重新为机器人规划全局路径，并继续执行巡航任务。
7.根据权利要求4所述的一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，所述步骤4的具体过程如下：
步骤4.1：读取RGB-D深度相机获取的视频流信息，作为系统输入；
步骤4.2：利用改进的YOLOv7，提取视频流中的行人目标以及与危险行为有关的目标物体；
所述的改进的YOLOv7算法具体为：网络结构上，在YOLOv7框架上使用部分卷积压缩卷积核的通道数，降低模型的参数量；重新构建一个CA注意力模块，使得网络在获取跨通道信息的同时，捕获到图像的位置信息和方向信息；损失函数上，采用Wise-IoU损失函数替换原算法中的CIoU，引入非单调动态聚焦机制，提升算法的特征提取能力；
步骤4.3：以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的人体关键点表示；
所述的改进的SimCC算法具体为：网络结构上，通过将自注意机制和一种新颖的空间卷积相结合，LiteFNet使特征图在底层网络中获得更具信息性的全局特征表示；改进的SimCC算法添加大核卷积和自注意机制的方式，增强SimCC处理空间信息的能力，获取有效关键点特征表示；
步骤4.4：使用ST-GCN对目标人员行为进行分析判断，结合空间信息确定人员是否出现异常行为；
步骤4.5：将判断出的危险行为信息传输到前端进行显示以及预警，同时控制小车靠近异常人群进行预警或者救助。
8.根据权利要求7所述的一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，所述步骤4.3：以提取到的目标人员区域作为人体姿态检测的输入，利用改进的SimCC提取出视频流中行人的人体关键点表示时，使用YOLOv7作为SimCC的人体检测算法，并对检测出的行人进行翻转和裁剪处理，最终预测的关键点一共17个，包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝。
9.根据权利要求7所述的一种基于SLAM和人群异常行为识别的安防巡检系统的巡检方法，其特征在于，检测跌倒的具体步骤为：首先检测是否存在行人，当存在行人时，对采集到的行人进行翻转和裁剪处理，检测每一位行人的关键点表示，采用ST-GCN网络结合时间卷积判断人群行为，当人群行为分类为跌倒且跌倒得分超越阈值，认为行人存在跌倒的状况；当连续8s均检测出行人跌倒的状况，则靠近跌倒目标进行语音求助并向上位机发送求助信息。
检测打架的具体步骤为：首先同时检测危险物品和人群，当存在危险物品，则立刻向上位机进行预警处理，当没有危险物品则根据ST-GCN的人群行为进行分类，当分类为打架且得分超过阈值时，则将人群标注为Fighting，当Fighting状态持续保持5s时，则认为人群存在打架的危险行为，进行语音预警并向上位机发送信息。
10.一种包含权利要求1～3所述的一种基于SLAM和人群异常行为识别的安防巡检系统的安防巡检机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311682251.8A CN117746524A (zh) | 2023-12-08 | 2023-12-08 | 一种基于slam和人群异常行为识别的安防巡检系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311682251.8A CN117746524A (zh) | 2023-12-08 | 2023-12-08 | 一种基于slam和人群异常行为识别的安防巡检系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117746524A true CN117746524A (zh) | 2024-03-22 |
Family
ID=90276757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311682251.8A Pending CN117746524A (zh) | 2023-12-08 | 2023-12-08 | 一种基于slam和人群异常行为识别的安防巡检系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746524A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848890A (zh) * | 2021-09-09 | 2021-12-28 | 山东新一代信息产业技术研究院有限公司 | 一种园区安防方法及设备 |
| CN114510057A (zh) * | 2022-02-21 | 2022-05-17 | 沈阳理工大学 | 一种室内环境中基于ros的移动机器人自主导航方法 |
| CN114879702A (zh) * | 2022-07-06 | 2022-08-09 | 季华实验室 | 多智能体巡检控制方法、装置、系统、设备及介质 |
| CN115079705A (zh) * | 2022-08-08 | 2022-09-20 | 海相(江苏)科技有限公司 | 基于改进a星融合dwa优化算法的巡检机器人路径规划方法 |
| CN115407352A (zh) * | 2022-08-19 | 2022-11-29 | 杭州电子科技大学 | 基于粒子滤波和图优化的机器人定位和建图系统及方法 |
| CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
| CN116259101A (zh) * | 2022-12-08 | 2023-06-13 | 深圳技术大学 | 一种用于考场或课堂纪律巡视的方法及巡视机器人 |
| CN116824541A (zh) * | 2023-05-25 | 2023-09-29 | 常州大学 | 基于双通道的行人过街意向预测方法、模型及装置 |
-
2023
- 2023-12-08 CN CN202311682251.8A patent/CN117746524A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848890A (zh) * | 2021-09-09 | 2021-12-28 | 山东新一代信息产业技术研究院有限公司 | 一种园区安防方法及设备 |
| CN114510057A (zh) * | 2022-02-21 | 2022-05-17 | 沈阳理工大学 | 一种室内环境中基于ros的移动机器人自主导航方法 |
| CN114879702A (zh) * | 2022-07-06 | 2022-08-09 | 季华实验室 | 多智能体巡检控制方法、装置、系统、设备及介质 |
| CN115079705A (zh) * | 2022-08-08 | 2022-09-20 | 海相(江苏)科技有限公司 | 基于改进a星融合dwa优化算法的巡检机器人路径规划方法 |
| CN115407352A (zh) * | 2022-08-19 | 2022-11-29 | 杭州电子科技大学 | 基于粒子滤波和图优化的机器人定位和建图系统及方法 |
| CN116259101A (zh) * | 2022-12-08 | 2023-06-13 | 深圳技术大学 | 一种用于考场或课堂纪律巡视的方法及巡视机器人 |
| CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
| CN116824541A (zh) * | 2023-05-25 | 2023-09-29 | 常州大学 | 基于双通道的行人过街意向预测方法、模型及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 章弘凯;陈年生;范光宇;: "基于粒子滤波的智能机器人定位算法", 计算机应用与软件, no. 02, 12 February 2020 (2020-02-12) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461023B (zh) | 基于三维激光雷达的四足机器人自主跟随领航员的方法 | |
| Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
| EP2202672B1 (en) | Information processing apparatus, information processing method, and computer program | |
| CN114708435B (zh) | 基于语义分割的障碍物尺寸预测与不确定性分析方法 | |
| CN113484875B (zh) | 一种基于混合高斯排序的激光雷达点云目标分级识别方法 | |
| JP2016009487A (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| Chen et al. | Real-time identification and avoidance of simultaneous static and dynamic obstacles on point cloud for UAVs navigation | |
| Iloie et al. | UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios | |
| Hayton et al. | CNN-based human detection using a 3D LiDAR onboard a UAV | |
| Zhang et al. | A fast detection and grasping method for mobile manipulator based on improved faster R-CNN | |
| Shi et al. | Fuzzy dynamic obstacle avoidance algorithm for basketball robot based on multi-sensor data fusion technology | |
| Dong et al. | A vision-based method for improving the safety of self-driving | |
| Karampinis et al. | Ensuring UAV Safety: A Vision-only and Real-time Framework for Collision Avoidance Through Object Detection, Tracking, and Distance Estimation | |
| Páez-Ubieta et al. | Detection and depth estimation for domestic waste in outdoor environments by sensors fusion | |
| CN108664918B (zh) | 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 | |
| CN118189959A (zh) | 一种基于yolo姿态估计的无人机目标定位方法 | |
| Zhao et al. | Improving autonomous vehicle visual perception by fusing human gaze and machine vision | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
| CN117474950A (zh) | 基于视觉语义跨模态目标跟踪方法 | |
| Tsiourva et al. | LiDAR imaging-based attentive perception | |
| Li et al. | Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety | |
| CN115542362A (zh) | 电力作业现场的高精度空间定位方法、系统、设备及介质 | |
| Ma et al. | Self-Supervised Drivable Area Segmentation Using LiDAR's Depth Information for Autonomous Driving | |
| Budzan | Fusion of visual and range images for object extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |