CN112684430A - 一种室内老人行走健康检测方法、系统、存储介质、终端 - Google Patents
一种室内老人行走健康检测方法、系统、存储介质、终端 Download PDFInfo
- Publication number
- CN112684430A CN112684430A CN202011533492.2A CN202011533492A CN112684430A CN 112684430 A CN112684430 A CN 112684430A CN 202011533492 A CN202011533492 A CN 202011533492A CN 112684430 A CN112684430 A CN 112684430A
- Authority
- CN
- China
- Prior art keywords
- data
- walking
- pedestrian
- point
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 230000036541 health Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000003068 static effect Effects 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000012216 screening Methods 0.000 claims abstract description 30
- 238000013079 data visualisation Methods 0.000 claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000007637 random forest analysis Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 27
- 238000004422 calculation algorithm Methods 0.000 description 50
- 238000013461 design Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 10
- 238000001545 Page's trend test Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 241000238097 Callinectes sapidus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明属于健康监测技术领域,公开了一种室内老人行走健康检测方法、系统、存储介质、终端,包括:静态地图绘制模块用于读取环境数据,计算静态环境地图;动点筛选模块用于筛选脚步候选点;点集合特征提取模块,用于将脚步候选点进行点聚类,并对得到的点集合进行特征值提取,基于提取的脚步候选点集合特征值对点集合进行行人与物体分类;行人检测模块,用于进行行人脚步跟踪;行走健康数据提取模块,用于对跟踪过程中计算得到的数据进行提取;数据可视化模块用于将接收的相关数据进行动态展示;本发明以激光雷达为传感器,可靠性得到很大提高,而且能十分有效地检测出行人的位置并实时跟踪行人的运动轨迹。
Description
技术领域
本发明属于健康监测技术领域,尤其涉及一种室内老人行走健康检测方法、系统、存储介质、终端。
背景技术
目前,现代社会中,各种养老问题尤为严重。由于老龄化社会的到来,人们也渐渐地开始关注了老人身体健康、运动安全的问题,由于老人与子女后代之间生活习惯与生活观念有一定的差异性,亦或是子女选择去另一个城市生活居住,所以通常情况下老人与子女会分开居住,这就导致很多老人只能两人甚至独自在家中居住,这就导致了大量的孤寡老人或者两个同时有健康问题的老人在家中遇到危险时无法及时向外界发出信号。室内如果有一台可以自动监测老人行走活动的装置,就可以通过老人的行走状态实时分析老人的身体健康状况,一旦遇到紧急情况还可以进行预警。如何利用现阶段的科学技术提高独居老人的生活质量以及保证他们的健康安全成为国内外学术界的热点话题。
目前,主要的行走健康分析是使用摄像机或监控设备采集数据的,但是基于计算机图像信息的行走健康分析技术有很多局限性。例如,比较容易受到室内灯光强度以及室内各种遮挡物的影响,而且在很多应用场景下会有很高的计算复杂度。所以很多相关研究虽然在实验室中的测试中获得很高的精度以及近乎完美的效果,但是当这些检测系统应用于实际场景,比如独居老人的室内,会有很多不可控的因素,最终导致检测结果有很大的误差。另一方面,考虑到如果在独居老人的室内安装电子眼等视频监控设施会有侵犯老人隐私安全的可能性。
国外有不少的相关学术研究是基于三维激光雷达对移动物体或者是行人进行跟踪实验。这两个研究利用激光投射扫描得到的三维点云信息结合SVM支持向量机机器学习模型对动态的物体或行人进行实时行走状态分析,完成自动驾驶中的人工壁障以及路边行人的实时检测。这些实验中的测量得到的数据量很充足,但是有一部分的三维数据信息并没有被充分利用。而且由于需要很大的计算量,所以检测系统的实时性能并不好。现有技术一总结了拓展目标跟踪的几种方法,包括随机矩阵方法和基于卡尔曼滤波器的方法。现有技术二提出了一种现代激光跟踪系统,该系统采用了安装在成年人肩膀水平的激光雷达极网络。雷达磁极可分布在现实环境中,从而确保了人们无需穿戴探测器就可以完成实验。现有技术三使用安装在移动机器人上的静态立体相机和激光测距仪实现了一种用于多传感器数据融合的方法,该方法使用递归贝叶斯估计算法,分析了两个传感器的检测精度,以对跟踪滤波器进行参数化。尽管精度较低,但由于相机的高地位置和广阔的视野,仍可获得可观的增益。
多目标跟踪同时针对多个目标进行跟踪,往往需要跟踪的目标外形都较为相似,比如行人之间整体上差别不大,在发生轨迹交叉时很容易发生跟踪错误的现象。此外目标的形变,如行人姿态的变化,也会影响目标的跟踪效果,因而需要使用稳定有效的特征来区分目标。而目标被遮挡的情况更是常有发生,如何有效的处理遮挡是很大的挑战。另外如何有效地区分误检,判别是否为新出现的目标也是一大难点。如何较好地解决这些可能发生的问题,是多目标跟踪展示其价值的必经之路。现有技术四提出一种简单的在线实时跟踪算法SORT(SimpleOnlineandRealtimeTracking),仅基于目标区域的重叠度进行目标关联,使得多目标跟踪能迖到实时跟踪的效果。现有技术五提出DeepSort多目标跟踪算法,使用FasterR-CNN(Region-ConvolutionalNeuralNetworks)来进行目标检测。现有技术六采用WideResidualNetwork来提取目标表观特征进行相似度衡量,通过匈牙利匹配进行数据关联得到跟踪轨迹。现有技术七进一步提出用改进后的GoogleNet来进行特征提取。
国内有不少使用激光雷达研究人行走状态并实现多目标跟踪的学术研究,现有技术八在激光雷达自定位研究中使用了SLAM(SimultaneousLocalizationAndMapping)算法,利用激光雷达给移动机器人导航定位以及避障。现有技术九使用了主流聚类和卡尔曼滤波算法实现了室内行人的实时跟踪。现有技术十针对激光雷达在环境感知过程中,点云数据稀疏,导致对目标检测和跟踪困难的问题,提出了一种基于IMU(InertialMeasurementUnit)的激光雷达点云多帧融合方法。该方法应用IMU获得激光雷达的位姿变化,采用四元数法求出历史帧点云数据到当前帧的位置坐标转换矩阵,将历史点云数据投影到当前坐标系下,获得密集点云。通过试验验证结果表明,此方法能够实现光雷达点云多帧融合,并且不增加任何额外硬件成本。现有技术十一提出一种基于激光雷达和视觉传感器信息融合的目标检测和跟踪算法,在初始状态下,利用激光雷达的点云数据对地面进行检测,根据点云数据的反射率对可通行区域进行提取,并在可通行区域上利用DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)聚类算法对目标物进行检测;根据已有的激光雷达和视觉传感器的标定信息,将激光雷达检测到的障碍物投影到图片上,根据目标的颜色直方图信息确定跟踪目标;在粒子滤波算法的基础上,利用激光雷达点云数据对目标位置进行修正,从而实现对目标的跟踪。
基于激光雷达的行人跟踪能够有效地解决多目标跟踪和统计的问题,在跟踪领域有不可替代的作用,目前的发展方向有以下几方面:第一,大视角场景下多目标的跟踪。由于激光雷达的特征在于抗干扰能力强,同时激光雷达有较大的扫描范围和视野,所以适合在大视角场景下跟踪多个目标;第二,多激光雷达的跟踪。单激光雷达存在遮挡和干扰,当行人多的时候就很容易产生遮挡,为了进一步提高雷达在大场景和多目标跟踪下的应用能力,用多台激光雷达协同跟踪是理想的方法,同时由于雷达间的标定简单精确,也为这一技术的发展提供了可行性;第三,联合跟踪,为了克服雷达自身的缺陷,需要借助其他传感器来协同雷达工作。联合跟踪在理论上虽已经成功,但是在实际应用上还有很多未解决的问题;第四,通过其他手段加大雷达信息量。如第三点所说,雷达自身最大的缺陷就是信息量不如视觉那么丰富,通过一些特殊的处理方法来丰富雷达的信息量,从某种意义上来说可使得这一技术得到突破性的发展。比如基于行人在运动中双脚的运动规律,可以用这些运动规律来增加雷达所得的数据信息的信息量,使得跟踪更加可靠。
通过上述分析,现有技术存在的问题及缺陷为:现有的健康监测分析方法主要利用计算机视觉系统进行数据采集,比较容易受到室内灯光强度以及室内各种遮挡物的影响,而且在很多应用场景下会有很高的计算复杂度,且会侵犯隐私安全;同时当其应用于实际场景,检测结果有很大的误差。
解决以上问题及缺陷的难度为:尽管激光雷达得到的距离信息精确度较高,但是其所得的数据形式过于单调,有限的信息量较难适应多行人多变的运动状态和运动规律,跟踪难度较大。这也限制了基于激光雷达的多目标跟踪的发展。
解决以上问题及缺陷的意义为:提高多人脚步跟踪的精度,详细分析老人的行走步态,辨识老人健康状态,检测突发状况(如跌倒)和疾病风险,提升老人生活质量,降低公共医疗资源浪费。
发明内容
针对现有技术存在的问题,本发明提供了一种室内老人行走健康检测方法、系统、存储介质、终端。
本发明是这样实现的,一种基于激光雷达的室内老人行走健康监测系统检测方法,所述基于激光雷达的室内老人行走健康监测系统检测方法包括:
利用激光雷达扫描获取环境数据,基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新;
基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
筛选得到动点进行点聚类,得到点集合,并利用随机森林学习模型对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
进行行人脚步跟踪检测;对跟踪过程中计算得到的数据进行提取;
将提取的相关数据进行动态展示,同时利用数据库对相关数据进行处理,并将处理分析结果进行展示。
进一步,所述基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新包括:
(1.1)读取初始静态环境数据,生成原始环境地图;
(1.2)获取若干帧原始静态环境时间的雷达扫描数据;
(1.3)将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在;若有人存在,则转向步骤(1.2);若无人存在,则转向步骤(1.4);
(1.4)计算每个角度的雷达扫描点即环境点的平均值,绘制新的静态环境地图。
进一步,步骤(1.3)中,所述将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在包括:将相邻两帧之间的帧差数据进行累加,得到最后的总帧差值,将帧差总值与阈值进行对比,若大于阈值则判断环境内有行人走动。
进一步,所述进行动点筛选包括:
(2.1)基于获取的行人行走帧数据与得到的环境地图进行差值计算,若计算得到的差值超出预设阈值,则判断为动点;否则,为静态点;保留动点,去除静点;
(2.2)对得到的动点点云信息,进行每两个点之间的欧几里得距离计算;将距离小于阈值的两点形成一个集合;并依次扫描其他点,计算扫描点与点集合中的所有点计算欧几里得距离;
若小于阈值则加入点集合;若扫描点与每个点集合中的所有扫描点之间的欧几里得距离都大于阈值,则将该扫描点放入一个新创立的点集合中;
(2.3)重复步骤(2.2),直至处理完扫描周期内所有的新点;得到点集合。
进一步,步骤(2.2)中,所述计算点集合与点的欧几里得距离具体公式如下:
式中Pk|k=1,2,…N1代表新雷达扫描周期内第k个新扫描点位置;Cij|i=1,2,…N2;j=1,2,…N3表示第i个点集合中第j个激光投射点。
进一步,所述进行行人脚步跟踪检测包括:
(4.1)接收K+1帧的点集合M1;与第K帧经过卡尔曼滤波预测过后的K+1帧轨道集合M2进行计算,得到脚步与轨道的匹配矩阵;
(4.2)判断M1中的点集合是否可以与M2中轨道是否匹配;如果匹配,则生成匹配矩阵,转向步骤(4.3);如果不匹配,则判断产生新行人,并为新行人生成新轨道,转向步骤(4.5);
(4.3)检测M2中轨道是否在这一帧匹配到了脚步,若匹配到脚步,则转向步骤(4.4);若未匹配到脚步,则转向步骤(4.6);
(4.4)根据脚步数据更新轨道,对更新后的轨道进行脚步匹配,两条轨道生成一条行人轨道;
(4.5)得到这一帧的轨道后利用卡尔曼滤波进行预测,预测数据供下一帧的点集合进行配对;
(4.6)继续使用预测值进行下一轮跟踪,并M2轨道的置信度降低。
进一步,所述对跟踪过程中计算得到的数据进行提取包括:对跟踪过程中计算得到的行走速度、行走步长、行走时落地面积数据进行提取;
1)行走速度计算公式为:
其中,S表示上一帧轨道所在的位置与下一帧轨道位置之间的欧几里得距离;T表示雷达扫描周期;
2)行走步长计算公式如下:
其中,v表示行走速度,a为双脚之间连线的向量;
3)脚步落地面积计算公式包括:
S=π*a*b;
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
利用激光雷达扫描获取环境数据,基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新;
基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
筛选得到动点进行点聚类,得到点集合,并利用随机森林学习模型对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
进行行人脚步跟踪检测;对跟踪过程中计算得到的数据进行提取;
将提取的相关数据进行动态展示,同时利用数据库对相关数据进行处理,并将处理分析结果进行展示。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的室内老人行走健康检测方法。
本发明的另一目的在于提供一种实施所述的室内老人行走健康检测方法的室内老人行走健康检测系统,所述室内老人行走健康检测系统包括:
静态地图绘制模块,用于读取环境数据,计算静态环境地图,同时对环境地图进行实时更新;
动点筛选模块,用于基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
点集合特征提取模块,用于将动点进行点聚类,得到点集合,并对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
行人检测模块,用于进行行人脚步跟踪;
行走健康数据提取模块,用于对跟踪过程中计算得到的数据进行提取;并通过ROSBridge发送至数据可视化模块;
数据可视化模块;用于将接收的相关数据进行动态展示,并发送到数据库进行处理,同时将处理分析结果发送至分析页面进行展示;
数据库,用于存储相关数据、绘制得到的静态地图,并对数据进行处理。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明以激光雷达为传感器,克服了图像传感器的跟踪方法中存在的易受光照变化影响的缺点,可靠性得到很大提高,而且能十分有效地检测出行人的位置并实时跟踪行人的运动轨迹。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的室内老人行走健康检测系统结构示意图。
图2是本发明实施例提供的室内老人行走健康检测系统数据流图。
图3是本发明实施例提供的室内老人行走健康检测系统架构图。
图4是本发明实施例提供的室内老人行走健康检测系统时序图。
图5是本发明实施例提供的室内老人行走健康检测系统结构示意图;
图中:1、静态地图绘制模块;2、动点筛选模块;3、点集合特征提取模块;4、行人检测模块;5、行走健康数据提取模块;6、数据可视化模块;7、数据库。
图6是本发明实施例提供的室内老人行走健康检测方法流程图。
图7是本发明实施例提供的绘制静态环境流程图。
图8是本发明实施例提供的帧差法示意图。
图9是本发明实施例提供的行人检测模块流程图。
图10是本发明实施例提供的数据来源及使用场景图。
图11是本发明实施例提供的行人行走轨迹示意图。
图12是本发明实施例提供的行人一天行走数据折线图。
图13是本发明实施例提供的DBSCAN算法示意图。
图14是本发明实施例提供的未遮挡行人示意图。
图15是本发明实施例提供的遮挡行人示意图。
图16是本发明实施例提供的行人行走模型行人分析页面测试。
图17是本发明实施例提供的行人脚步点集合行人分析页面测试。
图18是本发明实施例提供的人脚落地面积行人分析页面测试。
图19是本发明实施例提供的计算椭圆面积图。
图20是本发明实施例提供的静态环境测试模块测试行人分析页面测试。
图21是本发明实施例提供的动点检测模块测试行人分析页面测试。
图22是本发明实施例提供的静止环境下的行人跟踪行人分析页面测试。
图23是本发明实施例提供的行走状态下的行人跟踪行人分析页面测试。
图24是本发明实施例提供的行走检测页面轨迹测试行人分析页面测试。
图25是本发明实施例提供的行人速度折线图。
图26是本发明实施例提供的行人步长折线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种室内老人行走健康检测方法、系统、存储介质、终端,下面结合附图对本发明作详细的描述。
如图1至图5所示,本发明实施例提供的室内老人行走健康检测系统包括:
静态地图绘制模块1、动点筛选模块2、点集合特征提取模块3、行人检测模块4、行走健康数据提取模块5、数据可视化模块6以及数据库7;
静态地图绘制模块1,用于读取环境数据,计算静态环境地图,同时对环境地图进行实时更新;
动点筛选模块2,用于基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
点集合特征提取模块3,用于将动点进行点聚类,得到点集合,并对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
行人检测模块4,用于进行行人脚步跟踪;
行走健康数据提取模块5,用于对跟踪过程中计算得到的数据进行提取;并通过ROSBridge发送至数据可视化模块;
数据可视化模块6;用于将接收的相关数据进行动态展示,并发送到数据库进行处理,同时将处理分析结果发送至分析页面进行展示;
数据库7,用于存储相关数据、绘制得到的静态地图,并对数据进行处理。
如图6所示,本发明实施例提供的室内老人行走健康检测方法包括以下步骤:
S101,利用激光雷达扫描获取环境数据,基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新;
S102,基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
S103,将筛选得到动点进行点聚类,得到点集合,并利用随机森林学习模型对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
S104,进行行人脚步跟踪检测;对跟踪过程中计算得到的数据进行提取;
S105,将提取的相关数据进行动态展示,同时利用数据库对相关数据进行处理,并将处理分析结果进行展示。
本发明提供的室内老人行走健康检测方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的室内老人行走健康检测方法仅仅是一个具体实施例而已。
如图7-图8所示,本发明实施例提供的基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新包括:
(1.1)读取初始静态环境数据,生成原始环境地图;
(1.2)获取若干帧原始静态环境时间的雷达扫描数据;
(1.3)将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在;若有人存在,则转向步骤(1.2);若无人存在,则转向步骤(1.4);
(1.4)计算每个角度的雷达扫描点即环境点的平均值,绘制新的静态环境地图。
步骤(1.3)中,本发明实施例提供的将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在包括:
将相邻两帧之间的帧差数据进行累加,得到最后的总帧差值,将帧差总值与阈值进行对比,若大于阈值则判断环境内有行人走动。
步骤S102中,本发明实施例提供的进行动点筛选包括:
(2.1)基于获取的行人行走帧数据与得到的环境地图进行差值计算,若计算得到的差值超出预设阈值,则判断为动点;否则,为静态点;保留动点,去除静点;
(2.2)对得到的动点点云信息,进行每两个点之间的欧几里得距离计算;将距离小于阈值的两点形成一个集合;并依次扫描其他点,计算扫描点与点集合中的所有点计算欧几里得距离;
若小于阈值则加入点集合;若扫描点与每个点集合中的所有扫描点之间的欧几里得距离都大于阈值,则将该扫描点放入一个新创立的点集合中;
(2.3)重复步骤(2.2),直至处理完扫描周期内所有的新点;得到点集合。
步骤(2.2)中,本发明实施例提供的计算点集合与点的欧几里得距离具体公式如下:
式中Pk|k=1,2,…N1代表新雷达扫描周期内第k个新扫描点位置;Cij|i=1,2,…N2;j=1,2,…N3表示第i个点集合中第j个激光投射点。
步骤S104中,如图9所示,本发明实施例提供的进行行人脚步跟踪检测包括:
(4.1)接收K+1帧的点集合M1;与第K帧经过卡尔曼滤波预测过后的K+1帧轨道集合M2进行计算,得到脚步与轨道的匹配矩阵;
(4.2)判断M1中的点集合是否可以与M2中轨道是否匹配;如果匹配,则生成匹配矩阵,转向步骤(4.3);如果不匹配,则判断产生新行人,并为新行人生成新轨道,转向步骤(4.5);
(4.3)检测M2中轨道是否在这一帧匹配到了脚步,若匹配到脚步,则转向步骤(4.4);若未匹配到脚步,则转向步骤(4.6);
(4.4)根据脚步数据更新轨道,对更新后的轨道进行脚步匹配,两条轨道生成一条行人轨道;
(4.5)得到这一帧的轨道后利用卡尔曼滤波进行预测,预测数据供下一帧的点集合进行配对;
(4.6)继续使用预测值进行下一轮跟踪,并M2轨道的置信度降低。
步骤S104中,本发明实施例提供的对跟踪过程中计算得到的数据进行提取包括:对跟踪过程中计算得到的行走速度、行走步长、行走时落地面积数据进行提取;
1)行走速度计算公式为:
其中,S表示上一帧轨道所在的位置与下一帧轨道位置之间的欧几里得距离;T表示雷达扫描周期;
2)行走步长计算公式如下:
其中,v表示行走速度,a为双脚之间连线的向量;
3)脚步落地面积计算公式包括:
S=π*a*b;
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1:
1、内容
本发明开发一款检测室内老人行走健康状况的系统。与传统的基于医疗设备或者各种速度,压力传感器的单人检测系统不同,本发明开发的行走健康检测系统是基于激光雷达设备的复杂环境检测系统,使用了一种基于激光雷达的多目标跟踪方法:每个采样时刻雷达输出行人的脚步点距离数据,根据距离信息建立行人的脚步运动模型检测行人的位置,并通过卡尔曼滤波对行人运动状态进行跟踪,最终获得稳定的目标轨迹和相关统计信息。本发明以激光雷达为传感器,克服了图像传感器的跟踪方法中存在的易受光照变化影响的缺点,可靠性得到很大提高,而且能十分有效地检测出行人的位置并实时跟踪行人的运动轨迹。
本发明系统主要功能模块有静态地图绘制模块、动点筛选模块、点集合特征提取模块、行人检测模块、行走健康数据提取模块、数据可视化模块。下面详细介绍各个模块的内容:
(1)静态地图绘制模块:首先本发明需要先读入静态环境帧信息,计算静态环境地图,在得到静态环境地图后本发明需要在读入帧信息后继续对帧信息进行计算,如计算得到环境地图可以替换,则更新环境地图。
(2)动点筛选模块:在得到静态地图之后,本发明就可以将行人行走时的帧数据与得到的环境地图计算差值,若差值大于设定阈值就认为是动点。
(3)点集合特征提取模块:得到动点后就需要将动点进行点聚类,得到点集合,对符合要求的点集合进行特征提取,即可得到点集合特征值,将特征值送入随机森林进行判别,将点集合分类为物体或者人类脚步。
(4)行人检测模块:在得到人脚点集合后将点集合送入卡尔曼滤波器进行预测,预测得到结果与实际测量结果进行对比计算,从而完成行人脚步的跟踪。
(5)行走健康数据提取模块:在跟踪过程中通过计算可以得到一些行走数据,例如行走速度、步长等等,本发明将这些数据计算提取发布出来,通过ROSBridge发送至数据展示系统进行展示。
(6)数据可视化模块:数据展示系统是通过与ROS系统建立一个长连接,不断从ROS获取行走健康数据,然后将数据进行动态展示并发送到数据库进行处理,将处理分析的结果发送到分析页面进行展示。
2、系统的需求分析与概要设计
2.1系统需求分析与概要设计
2.1.1系统需求分析
本发明旨在开发一款室内老人行走健康检测系统,与传统的单人目标检测不同,本发明主要是在多目标环境下对室内老人行走健康进行检测。在真实的老人家中,有时是老人独居,有时是多人一同居住生活,本发明需要在老人在室内行走时将他们的脚步筛选出来,在得到脚步定位之后对脚步进行两两配对,通过跟踪算法在多人环境下对多个人同时进行跟踪,在跟踪过程中通过测量室内行人的行走相关信息得到跟踪目标的行走健康数据与运动轨迹,并将这些可以用来分析行人行走健康的数据分析过后进行可视化展示。
激光雷达将雷达原始数据传送至网关,本发明使用在网关下载得到的雷达数据文件,文件中保存了JSON格式的雷达扫描数据,使用此时的雷达扫描数据进行数据分析,通过计算得到静态环境地图,持续扫描行人行走时的行走信息,计算对比得到人类行走脚步的点集合,将这些点集合发送到行人行走跟踪模块。在点集合进入跟踪模块之后会结合卡尔曼滤波算法进行持续跟踪,跟踪过程中会产生一些行走数据,例如步长、行走速度、落地面积、落地位置等,这些数据可以展现一个人的行走健康程度与行走轨迹。在得到行走数据之后行人检测系统会通过ROSBridge将行走数据传输到行走数据分析展示系统,在展示系统接收到数据之后会对已有数据进行动态展示,并对行走健康信息进行分析并以折线图展示。
行人检测模块主要完成的工作是将激光雷达的原始数据进行处理,雷达原始数据分为静态环境数据与行人行走时数据,首先本发明应当绘制原始的环境地图,在绘制成功后将静态地图存起来,然后本发明要继续读入行人行走时数据并提取其中的动点,进行聚类形成点集合,点集合需要进行特征提取并进行判别,将判别后的点集合送入行人检测模块,行人检测模块会根据静态地图绘制模块得出的雷达扫描信息动态改变参数,并将跟踪结果反馈给静态地图绘制模块,以便能够进行地图更新。在行人检测模块会产生行走数据,通过算法根据行走数据计算出行走健康数据,得到行走健康数据后会将其通过数据可视化模块搭建的长连接将数据传送至数据展示系统进行展示,在网页端接收到数据之后会将其进行展示并且送至后台进行数据处理,将处理后数据存入数据库,在点击行走分析页面时,前台会向后端发送查询请求,后台将数据库中数据发送至页面进行展示。这个系统的数据流程图如图2所示:
2.2行人检测子系统需求分析与概要设计
2.2.1行人检测系统系统需求分析
介绍行人检测系统应实现的功能要求。行人检测系统主要完成雷达数据文件解析与行人行走状态跟踪的工作,首先,雷达数据解析需要知道雷达扫描频率与扫描一帧得到的激光点数量等必要信息,这些信息影响了雷达扫描数据文件的读入频率以及跟踪的正确性与行走数据的准确性,所以在得到帧信息后需要对此时的帧信息进行检并将检测得到的数据发送至行人行走帧信息读入的部分以及行走状态跟踪的部分,由此本发明实现了根据不同雷达的规格动态改变本发明的运行参数,可以适用于更多雷达。其次,在本发明中需要先读入静态环境下的雷达帧信息,大多数老人在夜间都不会进行行走活动,所以本发明设定初始的静态环境采集工作为凌晨,此时很大概率上不会有行人进入,本发明以此作为初始的环境地图,然而在一定概率下,老人有可能偶然在夜间行走,恰巧被雷达扫描得到认为是环境信息,此时环境地图的绘制准确度大大降低,由此本发明引入了帧差对比的方式,在得到静态环境数据之后本发明得到原始环境地图,此后继续读入行人行走时的帧信息,通过帧差对比算法计算此时读入的环境是否是无人环境,如果判断得到是无人环境本发明将重新计算环境地图,将新的环境地图替换原始的环境地图,由此本发明保证了环境地图的正确性与实时性,并且不会因为雷达放置环境的更改而让后续的跟踪过程产生错误。但是这样在白天老人不动的时候会误把静止不动的老人当做环境点,所以本发明需要在环境点扫描到有人存在时发送信号停止静态地图的更新。
本发明的行人检测系统是基于多目标环境下的,在多个目标的环境下,会产生遮挡与脚步匹配的问题,根据本发明在老人家中放置雷达观测的结果看,两位老人在家中多数时间都处于坐着的状态,并不会频繁的行走,这就导致实验室环境下对脚步匹配的一些判断逻辑与规则在真实环境下并不适用,例如:实验室环境下通常以行走方向作为重要的匹配指标,但是真实环境下这种匹配规则显然不适用,由此本发明需要根据脚步之间的距离以及一些点集合特征来进行脚步匹配。其次是脚步之间的遮挡问题,老人在家中并不能保证雷达扫描范围没有其他障碍物的遮挡,在真实环境下,老人会在家中放置一些家具以及桌椅以及杂物,这些都会影响到雷达对人行走的扫描跟踪结果,所以本发明需要在老人被家具等遮挡后能够持续跟踪一段时间,以减少由于家具遮挡造成的跟踪不连续问题,由此本发明在跟踪过程中要将对跟踪目标的预测结果与实际结果相结合,如果在新的一帧中没有检测到行人,会先使用预测值继续进行跟踪,在一段时间始终无法与实际读入的脚步进行匹配的时候,才会停止这个轨道的跟踪。
在整个跟踪过程中都会产生很多过程噪声,因为卡尔曼滤波算法中对噪声的处理相较于其他算法更加完善,所以本发明选择使用及卡尔曼滤波算法进行行人的跟踪与检测。
2.2.2行人检测系统概要设计
为了满足行人检测系统的需求,本发明首先需要需要选定正确的行人跟踪算法,本发明选择卡尔曼滤波算法作为行人跟踪算法,下面将详述卡尔曼滤波算法的详细过程与主要优势。
卡尔曼滤波算法最核心的两个方程式为公式(2-1)与公式(2-2):
X(k)=A·X(k-1)+B·U(k)+W(k) (2-1);
Z(k)=H·X(k)+V(k) (2-2);
式中:X(k)表示k时刻的行人状态;U(k)表示k时刻的控制量;A表示状态转换矩阵;B表示控制矩阵;Z(k)表示k时刻的系统状态测量值;H表示测量系统的参数;W(k)表示过程噪声,通常被假设为高斯白噪声;V(k)表示测量噪声,通常被假设为高斯白噪声;
公式中W(k)和V(k)的协方差分别是Q,R。卡尔曼滤波算法中的k时刻在本发明中就是一个雷达扫描周期,k+1时刻就相当于下一个雷达扫描周期。所以,本发明的卡尔曼滤波算法的迭代更新周期正是一个雷达扫描周期的时间,所以这部分需要静态地图绘制模块就将雷达扫描速率发送至卡尔曼滤波部分。
卡尔曼滤波算法在本发明中是基于行人运动状态的,所以本发明需要为其建立行人运动模型。经调查发现雷达速率多数在3~15Hz,这种频率的扫描下,行人运动可以被认为是匀速运动。所以,本发明可以认为式(2-1)中的U(k)在本发明环境下为0,又因匀速运动的过程中行人加速度为0。室内行人的行走状态矩阵X(k)可以表示为(x,y,vx,vy),其中x和y分别代表行人在X轴和Y轴的坐标,vx和vy分别代表行人在X轴和Y轴方向上的速度。据此行人运动模型本发明可以得到得到如下运动学公式:
同时本发明可以得到下面的矩阵方程公式:
方程(2-7)依据k-1时刻的行人状态X(k-1|k-1)预测k时刻的行人状态为X(k|k-1)。其中X(k-1|k-1)是k-1时刻的行人状态,而X(k|k-1)是根据上一个状态预测的结果。然而X(k|k-1)并不是最优结果,卡尔曼滤波会考虑噪声因素,所以在根据运动模型预测的过程中还需要考虑预测误差P,如式(2-8):
P(k|k-1)=A·P(k-1|k-1)·AT+Q (2-8)
式中,P(k|k-1)表示X(k-1|k-1)预测到X(k|k-1)过程中的协方差;P(k-1|k-1)表示k-1时刻X(k-1|k-1)时考虑的协方差;Q表示系统过程的协方差,是设定好的。
结合公式得到的当前时刻系统的预测状态和观测状态Z(k)计算出此时的最优估计,计算公式如式(2-9)所示:
X(k|k)=X(k|k-1)+Kg(k)(2(k)-H·X(k|k-1)) (2-9)
式中:Kg(k)表示k时刻的卡尔曼增益,其计算公式如所示:
得到k时刻的最优估计值后,最后需要对当前时刻的协方差P(k|k)进行更新,计算公式如式所示:
P(k|k)=(I-Kg(k)·H)·P(k|k-1) (2-11);
式中:I表示单位矩阵;P(k|k)表示在k+1时刻的最优结果X(k|k)考虑的协方差。
至此本发明利用上述算法得出了k时刻的预测结果。这样,每当一个新的雷达扫描周期到来的时候,行人跟踪系统机会调用这个卡尔曼滤波算法更新室内所有行人的下一帧的估计状态,直到检测系统结束工作。
以上就是卡尔曼滤波算法的整体算法思想,其中可以看出卡尔曼滤波算法很适用于噪声环境,这也是本发明选择卡尔曼滤波算法的主要原因,本系中的卡尔曼滤波算法可以根据雷达扫描频率的改变自动改变噪声参数,使得本发明中的卡尔曼滤波算法更加准确并更加适用于多种设备。行人检测系统的概要设计仅详述了整个子系统的最核心算法,具体行人检测系统中模块的算法与实现流程以及设计方法将在3中进行详述。
2.3数据展示子系统需求分析与概要设计
2.3.1数据展示系统需求分析
数据展示系统是为了将目标跟踪时产生的行走数据进行可视化的展示,稳定性和正确性是比较重要的条件。本发明是基于多目标的行人跟踪,所以会产生多条行人轨迹以及多个人的数据,所以在展示的时候需要将他们展现出来。同时本发明也应该将行走数据进行一下简单的分析,本发明将使用折线图的方式展现一整天中每个小时行人的速度与步长。
2.3.2数据展示系统概要设计
首先本发明使用ROSBridge将两个系统连通起来,ROSBridge可以使他们之间相互通信,完成行走健康数据的传输工作。行走健康数据传输至数据展示系统之后,本发明还需要对数据进行处理,整个数据展示系统有两个页面,第一个页面进行行走数据展示,另一个页面使用折线图进行分析数据展示。
数据展示系统是基于Vue与Django的,前台主要实现与ROS操作系统的连接,在得到数据之后会将已得到的数据,例如行人位置、行走速度、行走步长等进行展示,同时也需啊将这些数据通过axios发送至后端进行处理,处理方式是将这些数据按小时分类,每小时求得平均值后存入数据库,当用户查看分析数据展示界面时会向后端发出申请,后端得到申请后会访问数据库得到今天存入数据的小时以及每小时的具体数据,将这些数据发送至前端使用折线图进行展示,具体图例如图11-图12所示。
2.4首先对系统进行需求分析,分析了系统的整体场景分析和数据流向,并且将系统分为行人检测子系统与数据展示子系统两个部分,其中行人检测系统部分是整个系统的核心部分,本节对行人检测系统进行了详细的系统需求分析,并且对此子系统的六大模块功能以及模块间联系进行设计。而后分析了数据展示系统的需求,对实现展示系统所需要的技术进行简述。
3、系统设计与实现
3.1系统整体架构分析
将主要介绍系统的整体架构。首先整个系统主要由两个子系统构成:行人检测子系统与数据展示子系统。行人检测子系统运行在安装了ROS操作系统的Ubuntu系统上,原始雷达扫描帧数据以JSON格式存于文件中,其中的雷达扫描帧信息具体含义如表1所示:
表1雷达扫描帧信息
行走信息检测系统在得到了雷达扫描信息文件之后,这个系统将逐条读入帧信息,由于雷达设备之间扫描频率不同,同一个雷达设备也会有频率上的更改,所以这个系统首先需要根据文件中的帧信息计算此时的雷达扫描频率,这个频率决定了行人行走时雷达扫描帧信息文件读入的速率,也会对后续的行人跟踪以及速度计算产生影响。
数据展示系统是基于Django+Vue的web应用,本发明通过ROS wiki官方提供的ROSBridge方法将运行在Ubuntu系统上的行人检测系统发送的行人行走数据节点与web应用建立一个长连接,使他们可以通信,具体步骤如下:首先,在主机的ROS上需要开启ROSBridge_Server服务端,然后在web端就可以调用ROSBridge library中的函数来接收主机上行走健康分析系统提取的行走健康参数。web端还会用折线图的方式将一整天的行走健康参数很直观地展示给用户,从而帮助用户监控老人的行走健康。
整个室内老人行走健康检测系统的总体架构图如图3所示。
整个系统的时序图如图4所示,静态地图模块被动点提取模块使用askMAP()函数调用并返回静态地图,同时使用ROS的节点发布函数将雷达频率发送给跟踪模块,动点提取模块得到地图后使用Detect_Legs()函数调用点集合特征提取模块,点集合特征提取模块在运行结束后调用ROS节点发布函数将点集合发布出去,行人检测模块使用ROS节点订阅函数接收数据并进行跟踪,跟踪结束将跟踪结果通过ROS节点发布函数发布出去,此时静态地图绘制模块与展示系统前端都会使用ROS订阅函数订阅跟踪结果,展示系统前端接收数据后通过axios的POST方法将数据传输至后端,后端处理完毕使用JsonResponse()函数将处理数据以JSON格式返回。
3.2行人行走检测系统的设计与实现
3.2.1静态地图绘制模块
常见的辨别提取动点的方法有帧差法,是通过对比两帧之间因行人运动形成的各个角度上距离值的差值变化来检测行人。然而激光雷达识别范围有限,并且只有距离与角度两种数据,行走的过程中脚步必然会对环境形成遮挡,被遮挡的环境也会因为脚步的移动而成为动点,同时雷达自身的抖动与脚步行走时造成的抖动会使得激光点在一定的范围内形成偏移,因而仅仅使用帧差法提取脚步动点会出现大量的环境点被认为是行人的情况;另一种方法为构建静态环境地图法,该方法主要应用于日常生活中,例如扫地机器人,通过建立运动模型与激光雷达模型,使用激光雷达数据进行静态环境地图的构建,这也十分适用于本发明。与扫地机器人不同的是,本发明所用的激光雷达无法自主移动,所以无法通过建立激光雷达的运动模型来构建环境地图,但是在本发明的应用场景中,一定会存在无人静止环境,例如在深夜大概率不会有人走动,只需要在无人且静止的环境下绘制环境地图即可,因此本发明将帧差法与静态地图构建法结合起来绘制环境地图,从而为后续的动点筛选模块与行人检测模块提高准确度。
静态地图绘制模块的主要功能是读入若干帧原始静态环境时间的雷达扫描数据,计算每个角度的雷达扫描点,即环境点的平均值,即可绘制得到一张稳定的静态环境地图,这张地图使用容器存储。为了保证环境地图的正确性与实时性,这个模块在读入行人行走信息时需要进行帧差对比,通过对比得到这段时间是否是无人静止环境,若判断得出是无人静止环境则将新的静态环境帧数据读入,重新计算得到各个角度的环境点平均值,这里判断是否无人是因为防止老人长时间在家中静止不动导致被误认为是环境点,在得到平均值后此模块需要将新的静态环境数据替换原先的静态环境数据,即实现了静态环境地图的更新。具体流程图如7所示。
帧差对比算法使用三帧差分法,由于雷达数据较为单一,只有角度与各个角度的探测距离,所以本发明选择将相邻两帧之间的帧差数据进行累加,得到最后的总帧差值,将帧差总值与阈值进行对比,若大于阈值则认为是动态环境,即环境内有行人走动,若小于则认为是静态环境。具体算法示意图如图8所示。
3.2.2动点筛选模块
在得到静态地图之后,本发明在继续读入行人行走时候的帧信息的时候会将此时得到的帧数据按每个角度与静态地图进行对比,如果此角度环境点与扫描点之间的差值小于阈值,则它们被认为是环境点,这是因为人类行走会造成雷达的抖动,并且雷达自身也会产生抖动,由实验得出这种雷达抖动都在0.038m以内,所以本发明设定阈值为0.038m。如果雷达扫描得到的点距离与环境地图所定距离相差的值超过了阈值,则认为是动点,否则则判定为静态点,动点继续保留,静态点就直接丢弃。除此之外本发明发现雷达的抖动误差会造成一些原本环境点有角度上的偏移,所以本发明设定在比较的时候不仅仅与同角度的环境点做计算,也需要与相邻角度的环境点做计算。经过以上处理后最后留下来的只被判定为动点的脚步点,由此本发明可以排除绝大多数的环境点。
在得到动点需要将动点进行聚类,这里使用的是DBSCAN聚类算法。DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种具有噪声的基于密度的聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合,具体算法示意图如图13所示。
本发明得到动点点云信息之后,计算每两个点之间的欧几里得距离,将距离小于阈值的两点形成一个集合,在扫描到其他点的时候会将这个点与点集合中的所有点计算欧几里得距离,若小于阈值则加入点集合,其中计算点集合与点的欧几里得距离具体公式为式(3-1):
式中Pk|k=1,2,…N1代表新雷达扫描周期内第k个新扫描点位置;Cij|i=1,2,…N2;j=1,2,…N3表示第i个点集合中第j个激光投射点;
如果一个新点与每个点集合中的所有扫描点之间的欧几里得距离都大于阈值0.13m,即图7中的圆半径,系统将这个新点放入一个新创立的点集合中,即这个新点成为这个点集合中的第一个点。重复上述操作,直到处理完这个扫描周期内所有的新点。本发明将扫描点数量小于3的点集合删除掉,因为这些过小的点集合很可能是由于雷达抖动造成的误差或者扫描噪声数据。聚类算法循环完一个扫描周期后,则继续循环进行下一个周期的雷达扫描运算。
本发明聚类运算的阈值选择为0.13m,是因为这个阈值既可以将室内物体或者是行人脚步很好地彼此分别开来,也可以使系统识别出足够小的室内物体。经过多次聚类运算测试对比可以得到这个最佳阈值。
由此本发明将动点点云信息聚类成为点集合,并且完成了第一轮筛选。
3.2.3点集合特征提取模块
通过聚类之后本发明得到了经过初步处理得到的点集合,这些点集合主要包括脚步集合,由于雷达自身会有抖动,并且在人行走过程中也会造成雷达抖动,所以得到的点集合中偶尔会有因雷达抖动幅度较大、较为密集所致的环境点集合,由此本发明可以通过计算点集合的特征值为后续的进一步筛选做准备。点集合特征提取子模块主要负责计算并保存上述点集合容器中每个点集合的特征参数。这些特征参数后续会保存至特征容器送入随机森林学习模型进行辨别。本发明提取的点集合主要特征如表2所示:
表2点集合主要特征介绍
点集合特征的主要用途有两个:第一是将点集合特征值送入随机森林学习模型进行辨别,将点集合分为物体和人腿,为后续的跟踪提供重要参考。第二是为后续的行走健康参数的计算提供原始数据。
由此本发明将得到的点集合进行标记,若是人腿则标记为1,若是物体则标记为0,然后将它们保存送入行人检测模块。
3.2.4行人检测模块
行人检测模块是在接收到动点点集合之后将其送入卡尔曼滤波器进行预测,前文已经详述卡尔曼滤波算法,第一帧在经过卡尔曼滤波器预测过后,为第一帧的每一个点集合分配一个轨道并且得到了第一帧每个轨道的预测值,记为F1;在第二帧读入的时候将每一个点集合与F1中的轨道进行匹配算法,这里使用的匹配算法是通过计算两者之间的欧几里得距离是否小于阈值,得到两者的匹配程度,如果可以匹配则认为这一轨道预测成功,如果点集合没有匹配到任何轨道,则认为这是新出现的行人,为他新匹配一个轨道,由此本发明得到了第二帧所应有的所有轨道,并且对这些轨道进行标记,如果不是这一帧生成的新轨道,即是上一帧预测过后的轨道在这一帧匹配到了脚步,会为它设置一个标记值,值为1,如果上一帧预测过后的轨道在这一帧没有匹配到脚步,则会将他的标记值置为0,标记值为1的轨道将新一帧匹配到的脚步点信息的值,即实际值,替换预测值进行下一轮跟踪;如果为0,则继续使用预测值进行下一轮跟踪,并将这个轨道的置信度降低。整个过程的流程图如图9所示。其中脚步匹配算法主要使用几何方法,计算两条轨道之间的距离,并且判断两条轨道始终在地图内,则将两条轨道合成为一条行人轨道,这是为了保证这条轨道不会在之后的过程中与其他人的脚步再次匹配导致的匹配错乱。
在得到脚步匹配结果后本发明得到了已合成的行人轨道与未合成的脚步轨道,经观测发现在实际环境中会产生遮挡问题,在双脚同时被遮挡时有可能是因为走过障碍物,这时本发明需要使用由卡尔曼滤波器得到的预测值代替实际观测值继续进行跟踪,直到重新匹配到脚步后会继续使用实际值进行跟踪;同时本发明发现老人在家中时常会有一只脚被遮挡完全的情况,这种情况会有两种情形:第一种是老人静止时,环境中一只脚被障碍物遮挡,只有一只脚可以被检测到,这就导致没有两只脚可以进行匹配合成一条行人轨道;第二种是已经合成行人轨道,但是在接下来的匹配过程中,这个行人轨道却只能匹配到一只脚,另一只脚被遮挡了。
在前面的模块本发明已经对环境点进行了筛除,这时留下的可跟踪脚步点已经大概率是行人了,所以即便只有一只脚,本发明也有足够的理由相信它很大概率上是一个行人,这就解决了第一种情形。若已经形成行人轨道,但是在未来的过程中都没有同时匹配到两只行人脚步的话,本发明就使用匹配到的那一只脚的数据继续进行跟踪检测,这就解决了第二种情形。但是为了确保正确性,本发明将根据这个点的置信度进行进一步的判断,前文中经过随机森林判断过后本发明会为置信度赋值,判定是行人则置信度为1,判定为物体则置信度为0,如果一个点集合被判定为是物体,在后续的跟踪过程中,如果这个轨道可以持续跟踪,本发明会为这个轨道的置信度进行提升,因为这很可能是被误判为物体的行人;如果这个轨道没有能继续跟踪到现实中的脚步,本发明会降低这个轨道的置信度,如果在未来的某一帧他匹配到了行人脚步则会提升他的置信度,如果在未来的几帧内再也没有匹配到脚步,他的置信度会持续下降,本发明为置信度设置一个阈值,当被判定为物体的点集合形成的轨道能持续跟踪,它的置信度从0会上升超过阈值,当被判定为脚步的点集合形成的轨道不能再持续跟踪,它的置信度会从1降低至低于阈值。
经过这样的逻辑判断与运算过后,本发明在只能扫描到一只脚的时候也可以判断他是一个行人的可能性,因为一只脚的情况下只要这只脚被判定为人脚,即置信度为1,那么它也应该被判定为是行人;同理置信度也可以处理行走过程中的遮挡问题,这时当人双脚被物体遮挡过后,即便此时并没有两只真实的脚步与之进行匹配,本发明也会使用预测值继续进行跟踪,但是同时本发明会降低它的置信度,如果在行人穿过障碍物后可以被扫描到一只或两只脚并可以与之匹配,那么就可以使用实际观测值持续进行跟踪且重新提升置信度,这就处理了障碍物遮挡的问题。如图14、图15所示,行人标志下,有脚步标志,此时脚步点未被遮挡;如图16所示,行人标志下已经不存在脚步点了,此时的脚步点已经被家具遮挡,但是本发明仍会继续使用预测值进行跟踪,直至其走出地图。
3.2.5行走健康参数提取模块
在完成了行人行走的跟踪之后,本发明需要在整个跟踪过程中计算行人的行走健康参数。首先,需要知道什么数据可以体现出一个行人的行走稳定性。本发明通过结合一些常识和医学文献认为长时间内的双脚行走速度对比和行人行走步长的变化趋势以及双脚的落地面积可以很好地反映一个行人的行走稳定性和行走健康。试想,如果一个人行走的过程中左右脚步速度相差很大,他速度较慢的那条腿很有可能出现了健康问题,这就导致了他的行走过程中稳定性得不到保证;如果一个行人的行走步长随着时间的推进明显变小了,也可以证明这个行人的双腿老化;若是行人行走时的落地面积产生了很大改变,本发明也可以合体推测行人目前的行走过程不够稳定。所以本发明主要使用行走速度、行走步长、行走时落地面积作为主要的行走健康参数。下面将详细介绍行走健康参数的计算方法:
一、行走速度
行走速度的计算方法是记录上一帧轨道所在的位置(X1,Y1),并在下一帧得到轨道位置(X2,Y2)之后,计算两个位置之间的欧几里得距离S米,在前文中提到在绘制静态地图时会计算雷达的扫描频率,记为f Hz,则扫描周期记为秒,此时根据速度计算公式(3-3)即可得出行走速度,单位为m/s。
二、行走步长
步长这个参数需要根据双脚的位置分布来提取。根据人类行走规律,双脚之间的距离是在0和极大值之间周期性变化的。现在需要提取这些极大值,然后根据速度方向求出双脚在速度方向上的距离,即步长。具体算法如图9所示,考虑到v的方向,双脚此时的步长是s。图16中a为双脚之间连线的向量,显然s的计算公式是公式(2-19)。
由此本发明得到了行人的行走步长。
三、脚步落地面积
脚步落地面积的源数据来自于特征提取部分的曲率。在得到点集合后,本发明可以通过计算得到点集合中任意两点之间的欧氏距离,任选相邻的三个点,由三角形面积公式(3-5)可以得到三角形的面积S,再由曲率公式(3-6)可以得到任意三个点之间的曲率,计算平均值得到整个点集合的平均曲率,如图17所示。得到曲率后取曲率的倒数即可得到外接圆半径r(3-7)。
其中S表示三角形面积,C代表三角形周长,a、b、c表示三角形三条边的长度,ρ表示曲率。
本发明计算落地面积通常是以脚步弧形轮廓计算而得的椭圆形面积,如图18所示,得到脚步点云集合之后会将人脚补全为一个椭圆形。
此前本发明已经得到了点集合的外接圆半径以及人脚的长度,也就是椭圆的长轴,将两者集合起来即可得到图19,图中圆形是点集合的外接圆,由圆心向点集合的两个端点以及点集合的中间点连三条直线,这是三条圆半径,由公式(3-8)可以得出椭圆短半轴b的长度,由公式(3-9)可以得到椭圆面积S。
S=π*a*b (3-9);
其中a表示椭圆长半轴,r表示外接圆半径。至此本发明得到了所有需要的行人行走健康参数。
3.2.6数据可视化模块
考虑到行走数据应满足用户观察需求,本发明使用web客户端对数据进行可视化展示,将数据分析结果更加直白地展示出来。用户通过这个客户端可以轻松地浏览行人的行走轨迹以及检测系统对其行走健康的分析数据。本发明的行走检测子系统运行在基于Ubuntu系统的ROS系统上,然而客户端是运行在Windows系统之上。本发明计划利用ROSWIKI官方给出的ROSBridge方法来完成客户端和服务端之间的通信。
ROSBridge是ROS WIKI官方为普通ROS开发人员提供的一个协议,本协议基于TCP/IP,适用于非ROS系统(例如移动端或者网页)与ROS系统有数据交互需求的时候。ROSBridge包含两个主要的部分,即ROSBridge Protocol与ROSBridge Implementation,其中Protocol部分提供了非ROS系统和ROS系统通信的具体格式,包括话题的订阅,消息的发布,服务的调用,参数的设置和获取,图片信息的传递等等,都是JSON格式的字符串。Implementation部分是ROSBridge的具体实现,包含ROSAPI,ROSBridge_Library,ROSBridge_server等包。ROSAPI通过服务调用使某些ROS Action可访问,包括获取和设置参数,获取主题列表等。ROSBridge_Library负责获取JSON字符串并将命令发送到ROS。ROSBridge_server负责通信的传输层,包括WebSocket,TCP,UDP等几种格式。
3.3数据展示系统的设计与实现
3.3.1数据库设计
一、数据库的数据表设计
本发明实现的web客户端包含一个数据表:每一个行人每小时的行走信息。如表3所示。
表3客户端健康参数数据表设计
二、数据的简化功能
原始的数据库设计方案是将行走的数据按照帧信息保存起来,这样可以保证每一帧的行走位置都被保存下来,但是在实验中发现这会导致数据库过于庞大,影响运行效率与用户体验,并且有大量不必要的冗余数据存在。所以本发明基于现实情况,行走健康数据是通过在网页中引入ROS官方提供的roslibjs包,在网页运行时刻自动建立长连接接收数据,所以帧信息中的行走位置数据可以不用每一帧都保存在数据库后再进行读取,而是直接使用数据在前端行走监控网页进行展示,然后将数据传输到后台进行处理分析,存成每小时的步长与速度的平均值,在行走健康分析网页将每小时的平均步长与每小时的平均速度以折线图的形式展示出来。
3.3.2客户端页面的设计与实现
数据展示系统主要是实现行走健康数据的展示与分析,整个数据展示子系统框架是由Vue.js与Django组成的,前端选择Vue.js是考虑到其MVVM架构模式十分适用于本发明的需求,在本发明在行人检测系统的数据可视化模块将ROSBridge的端口打开,通过引入Node.js提供的roslib包实现与ROSBridge建立一个长连接,并且订阅由行走检测系统发布的节点,这个节点会以字符串的形式发布所有得出的行走数据,每当有新数据发布,数据展示系统都可以通过这个节点接收新数据。由于本发明是基于多目标的,所以展示轨道也需要展示出多个目标的轨道以及行走信息,所以具体的数据格式如表4:
表4客户端健康参数数据设计
由表中的行人id作为标志,建立多个对象,每个对象保存这个对象的步长、左脚速度、右脚速度、X轴位置与Y轴位置,至此本发明得到了多个行人的个人行走数据。
首先介绍行走检测页面,本发明使用echarts提供的散点图进行多人行走轨迹的展示,每次接收到新的行人位置数据就会将数据保存进对应行人id下的位置数组里,每当散点图刷新时就会将这些点连接起来并指明行进方向,由于过多的行走轨迹在多人同时行进的时候会显得杂乱,所以本发明设计一个只显示最近20个点的选项,让用户可以只查看到最近的20个点信息。
本发明使用仪表盘的形式对行人的行走数据进行动态展示,由于多目标环境下会产生多个行人,也就会产生多组行人运动信息,所以本发明使用交替展示的方式展示每个行人的行走数据组,本发明设置仪表盘初始值为0,转换标志为0,每当接受新的新人行走速度数据都会将其存入对应行人对象的行走速度值,将其显示在仪表盘图案上,定时改变转换标志以实现多人行走数据定时切换。
行走分析页面是在行走检测页面收到数据通过axios发送至后台接收,后台接收到数据后,为了简化数据库存储结构,本发明根据时间戳读取对应日期、对应小时的行走数据,计算平均值后使用新的行走数据替换原始数据库中行走数据,如果在数据库没有这个时间点的行走数据则创建。在用户点击行走分析页面之后,由前端发送POST请求给后端,后端依据时间查找数据库中对应数据,为每个行人建立一个列表,列表中保存这个行人每小时的平均行走速度列表与每小时的平均行走步长列表,并以JSON格式返回至前端,使用折线图进行展示。
3.4对于室内老人行走健康检测系统的开发进行了系统设计。首先介绍了系统的总体设计、数据库设计。又对静态地图绘制模块、动点提取模块、点集合特征提取模块、行人跟踪模块、行走健康数据提取模块、数据可视化模块这六个模块的功能描述与流程描述等进行了详细的阐述。
下面结合实验对本发明的技术方案作进一步的描述。
1、系统的开发环境与开发工具
系统的开发环境与开发工具如表5所示。
表5系统开发环境说明表
行人检测系统选择运行在Ubuntu系统结合ROS操作系统,ROS(melodic)版本是专为Ubuntu18.04版本设计的。
数据展示系统选择使用前端Vue.js与后端Django结合的方式,实现了前后端分离。选择了Vue.js的前端渲染,放弃了Django的后端模板引擎渲染。保留了Django的Controller来实现前端路由的父级路由,可以达到不同页面使用不同的前端框架,页面内部使用各自独有的前端路由的效果,耦合性低,重用性高,有利于软件工程管理,这也是数据展示系统使用Django的原因。前后端框架与MySQL实现过程大致是以下步骤:调用Django框架中的setting.py设置数据库IP端口和密码等设置,在models.py中完成数据库详细设计的实现,在urls.py中完成对平台URL的渲染,Vue将前端页面与静态文件打包放入dist文件夹,在templates文件引入dist路径,在views.py中写后台处理函数。最后运行manage.py脚本来进行调试运行。
2系统测试和分析
2.1行走检测系统测试
(1)静态地图绘制模块测试结果如图20所示,可以看出此模块可以绘制出完整的静态地图,抖动较少,在没有人存在的静态环境下,可以实现静态环境地图的更换。
(2)动点提取模块与点集合特征提取模块测试结果如图21所示,图中可以看出本发明可以对行人脚步进行很好地提取,图中蓝色点标志着点集合的中心且经过随机森林判定为脚步,这标志着这两个模块模块的聚类工作与点集合特征提取也已经完成。
(3)行人检测模块测试结果如图21所示,图中显示出此模块可以对静止和行走状态下的行人进行跟踪。
2.2数据展示系统测试
行走健康数据提取模块与数据可视化模块以及数据展示系统的测试结果图如22所示,可以看出行走数据与行走轨迹都可以很好地展示出来。如图25所示,右侧的多人行走数据可以进行切换。如图26所示,行走分析页面可以对行人行走速度与步长进行折线图展示。
3系统的开发工具与开发环境。并且分别对行人检测系统与数据展示系统实现的每一条功能进行截图论述,对系统进行了测试。通过测试保证了系统的正确性和完善性。最终证明该系统达到了需求分析的预期效果。
本发明主要设计并实现了室内老人行走健康检测系统,从系统的需求分析,到各个模块算法的设计以及各个模块功能的实现,都进行了详细的介绍与讲解,并且对系统进行了测试。
本发明的主要成果如下所示:
(1)雷达数据分析部分:这个部分包括了静态地图绘制模块、动点提取模块、点集合特征提取模块。静态地图绘制模块与动点提取模块实现了将大部分环境点进行去除,在随后的特征提取模块会大大提高分析辨别的准确率。同时为了保证静态地图的实时有效性,本发明加入了帧差对比的算法,将由于环境改变造成数据错误的可能性降低。
(2)行人检测与跟踪部分:这个部分包含行人检测模块与行走健康检测模块。在行人行走过程中,本发明将经过卡尔曼滤波预测过后的轨道与实际轨道进行对比分析,而不仅仅是依靠预测结果或是实际检测结果进行分析,这使得在杂乱环境下,本发明也可以具有较高的可靠跟踪性。除了跟踪算法以外,本发明主要解决的问题是行人与环境之间的遮挡问题,由遮挡处理方法实现了多个行人间即使互相遮挡也可以完成持续跟踪,在行人被物体遮挡时也可以持续跟踪直到行人走过障碍物或者走出环境地图。在行走健康数据提取模块,也提取了步长、步速、落地面积等可以进行健康分析的特征数据。
(3)数据可视化部分:这部分包括了数据可视化模块,本发明使用Web客户端对行走的轨迹以及行走信息进行一个展示,并且将数据分析后存入数据库,并在数据分析页面展示,在提高数据可视化程度的同时简化了数据库中的数据,大大提高用户体验。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于激光雷达的室内老人行走健康监测系统检测方法,其特征在于,所述基于激光雷达的室内老人行走健康监测系统检测方法包括:
利用激光雷达扫描获取环境数据,基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新;
基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
筛选得到动点进行点聚类,得到点集合,并利用随机森林学习模型对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
进行行人脚步跟踪检测;对跟踪过程中计算得到的数据进行提取;
将提取的相关数据进行动态展示,同时利用数据库对相关数据进行处理,并将处理分析结果进行展示。
2.如权利要求1所述的室内老人行走健康检测方法,其特征在于,所述基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新包括:
(1.1)读取初始静态环境数据,生成原始环境地图;
(1.2)获取若干帧原始静态环境时间的雷达扫描数据;
(1.3)将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在;若有人存在,则转向步骤(1.2);若无人存在,则转向步骤(1.4);
(1.4)计算每个角度的雷达扫描点即环境点的平均值,绘制新的静态环境地图。
3.如权利要求2所述的室内老人行走健康检测方法,其特征在于,步骤(1.3)中,所述将雷达扫描数据与行人行走信息进行帧差对比,判断环境中是否有人存在包括:将相邻两帧之间的帧差数据进行累加,得到最后的总帧差值,将帧差总值与阈值进行对比,若大于阈值则判断环境内有行人走动。
4.如权利要求1所述的室内老人行走健康检测方法,其特征在于,所述进行动点筛选包括:
(2.1)基于获取的行人行走帧数据与得到的环境地图进行差值计算,若计算得到的差值超出预设阈值,则判断为动点;否则,为静态点;保留动点,去除静点;
(2.2)对得到的动点点云信息,进行每两个点之间的欧几里得距离计算;将距离小于阈值的两点形成一个集合;并依次扫描其他点,计算扫描点与点集合中的所有点计算欧几里得距离;
若小于阈值则加入点集合;若扫描点与每个点集合中的所有扫描点之间的欧几里得距离都大于阈值,则将该扫描点放入一个新创立的点集合中;
(2.3)重复步骤(2.2),直至处理完扫描周期内所有的新点;得到点集合。
6.如权利要求1所述的室内老人行走健康检测方法,其特征在于,所述进行行人脚步跟踪检测包括:
(4.1)接收K+1帧的点集合M1;与第K帧经过卡尔曼滤波预测过后的K+1帧轨道集合M2进行计算,得到脚步与轨道的匹配矩阵;
(4.2)判断M1中的点集合是否可以与M2中轨道是否匹配;如果匹配,则生成匹配矩阵,转向步骤(4.3);如果不匹配,则判断产生新行人,并为新行人生成新轨道,转向步骤(4.5);
(4.3)检测M2中轨道是否在这一帧匹配到了脚步,若匹配到脚步,则转向步骤(4.4);若未匹配到脚步,则转向步骤(4.6);
(4.4)根据脚步数据更新轨道,对更新后的轨道进行脚步匹配,两条轨道生成一条行人轨道;
(4.5)得到这一帧的轨道后利用卡尔曼滤波进行预测,预测数据供下一帧的点集合进行配对;
(4.6)继续使用预测值进行下一轮跟踪,并M2轨道的置信度降低。
8.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
利用激光雷达扫描获取环境数据,基于获取的环境数据计算静态环境地图,并对环境地图进行实时更新;
基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
筛选得到动点进行点聚类,得到点集合,并利用随机森林学习模型对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
进行行人脚步跟踪检测;对跟踪过程中计算得到的数据进行提取;
将提取的相关数据进行动态展示,同时利用数据库对相关数据进行处理,并将处理分析结果进行展示。
9.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现权利要求1~7任意一项所述的室内老人行走健康检测方法。
10.一种实施权利要求1~7任意一项所述的室内老人行走健康检测方法的室内老人行走健康检测系统,其特征在于,所述室内老人行走健康检测系统包括:
静态地图绘制模块,用于读取环境数据,计算静态环境地图,同时对环境地图进行实时更新;
动点筛选模块,用于基于获取的行人行走帧数据与得到的环境地图进行差值计算,进行动点筛选;
点集合特征提取模块,用于将动点进行点聚类,得到点集合,并对得到的点集合进行特征值提取,基于提取的点集合特征值对点集合进行行人与物体分类;
行人检测模块,用于进行行人脚步跟踪;
行走健康数据提取模块,用于对跟踪过程中计算得到的数据进行提取;并通过ROSBridge发送至数据可视化模块;
数据可视化模块;用于将接收的相关数据进行动态展示,并发送到数据库进行处理,同时将处理分析结果发送至分析页面进行展示;
数据库,用于存储相关数据、绘制得到的静态地图,并对数据进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011533492.2A CN112684430A (zh) | 2020-12-23 | 2020-12-23 | 一种室内老人行走健康检测方法、系统、存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011533492.2A CN112684430A (zh) | 2020-12-23 | 2020-12-23 | 一种室内老人行走健康检测方法、系统、存储介质、终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112684430A true CN112684430A (zh) | 2021-04-20 |
Family
ID=75450961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011533492.2A Pending CN112684430A (zh) | 2020-12-23 | 2020-12-23 | 一种室内老人行走健康检测方法、系统、存储介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112684430A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221755A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人底盘防压脚方法、装置、计算机设备及存储介质 |
CN113324559A (zh) * | 2021-05-10 | 2021-08-31 | 青岛海尔空调器有限总公司 | 一种运动计步方法、装置及空气处理设备 |
CN113359141A (zh) * | 2021-07-28 | 2021-09-07 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及系统 |
CN113377845A (zh) * | 2021-08-12 | 2021-09-10 | 成都天府市民云服务有限公司 | 基于大数据的智慧养老数据处理方法及系统 |
CN114185059A (zh) * | 2021-11-08 | 2022-03-15 | 哈尔滨工业大学(威海) | 基于多雷达融合的多人跟踪系统、方法、介质、终端 |
CN114510021A (zh) * | 2021-12-15 | 2022-05-17 | 广东盈峰智能环卫科技有限公司 | 机器人自跟随方法和无人驾驶环卫机器人 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN102253391A (zh) * | 2011-04-19 | 2011-11-23 | 浙江大学 | 一种基于多激光雷达的行人目标跟踪方法 |
CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
US20190178998A1 (en) * | 2017-12-07 | 2019-06-13 | Ouster, Inc. | Installation and use of vehicle light ranging system |
EP3564853A2 (en) * | 2018-09-07 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle classification method and apparatus based on unmanned vehicle, device, and storage medium |
US20200005444A1 (en) * | 2018-06-28 | 2020-01-02 | General Electric Company | Systems and methods of feature correspondence analysis |
CN111048208A (zh) * | 2019-12-28 | 2020-04-21 | 哈尔滨工业大学(威海) | 一种基于激光雷达的室内独居老人行走健康检测方法 |
CN111161412A (zh) * | 2019-12-06 | 2020-05-15 | 苏州艾吉威机器人有限公司 | 三维激光建图方法及系统 |
CN111583369A (zh) * | 2020-04-21 | 2020-08-25 | 天津大学 | 一种基于面线角点特征提取的激光slam方法 |
-
2020
- 2020-12-23 CN CN202011533492.2A patent/CN112684430A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101975951A (zh) * | 2010-06-09 | 2011-02-16 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN102253391A (zh) * | 2011-04-19 | 2011-11-23 | 浙江大学 | 一种基于多激光雷达的行人目标跟踪方法 |
CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
US20190178998A1 (en) * | 2017-12-07 | 2019-06-13 | Ouster, Inc. | Installation and use of vehicle light ranging system |
CN108665540A (zh) * | 2018-03-16 | 2018-10-16 | 浙江工业大学 | 基于双目视觉特征和imu信息的机器人定位与地图构建系统 |
US20200005444A1 (en) * | 2018-06-28 | 2020-01-02 | General Electric Company | Systems and methods of feature correspondence analysis |
EP3564853A2 (en) * | 2018-09-07 | 2019-11-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle classification method and apparatus based on unmanned vehicle, device, and storage medium |
CN111161412A (zh) * | 2019-12-06 | 2020-05-15 | 苏州艾吉威机器人有限公司 | 三维激光建图方法及系统 |
CN111048208A (zh) * | 2019-12-28 | 2020-04-21 | 哈尔滨工业大学(威海) | 一种基于激光雷达的室内独居老人行走健康检测方法 |
CN111583369A (zh) * | 2020-04-21 | 2020-08-25 | 天津大学 | 一种基于面线角点特征提取的激光slam方法 |
Non-Patent Citations (5)
Title |
---|
BRODIE M A, COPPENS M J, EJUPI A, ET AL: "《Comparison between clinical gait and daily‐life gait assessments of fall risk in older people》", 《GERIATRICS & GERONTOLOGY INTERNATIONAL》 * |
LING-FENG SHI, CHAO-XI QIU, DONG-JIN XIN & GONG-XU LIU : "《Gait recognition via random forests based on wearable inertial measurement unit》", 《JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING 》 * |
XIN HU 等: "《Coarse-to-Fine Activity Annotation and Recognition Algorithm for Solitary Older Adults》", 《IEEE ACCESS》 * |
杨飞: "《基于三维激光雷达的运动目标实时检测与跟踪》", 《中国优秀硕士学位论文全文数据库》 * |
衡浩: "《复杂交通场景中基于路面提取的行人检测研究》", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113324559A (zh) * | 2021-05-10 | 2021-08-31 | 青岛海尔空调器有限总公司 | 一种运动计步方法、装置及空气处理设备 |
WO2022237148A1 (zh) * | 2021-05-10 | 2022-11-17 | 青岛海尔空调器有限总公司 | 一种运动计步方法、装置及空气处理设备 |
CN113221755A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人底盘防压脚方法、装置、计算机设备及存储介质 |
CN113359141A (zh) * | 2021-07-28 | 2021-09-07 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及系统 |
CN113359141B (zh) * | 2021-07-28 | 2021-12-17 | 东北林业大学 | 一种基于无人机多传感器数据融合的林火定位方法及系统 |
CN113377845A (zh) * | 2021-08-12 | 2021-09-10 | 成都天府市民云服务有限公司 | 基于大数据的智慧养老数据处理方法及系统 |
CN113377845B (zh) * | 2021-08-12 | 2021-10-29 | 成都天府市民云服务有限公司 | 基于大数据的智慧养老数据处理方法及系统 |
CN114185059A (zh) * | 2021-11-08 | 2022-03-15 | 哈尔滨工业大学(威海) | 基于多雷达融合的多人跟踪系统、方法、介质、终端 |
CN114185059B (zh) * | 2021-11-08 | 2024-09-06 | 哈尔滨工业大学(威海) | 基于多雷达融合的多人跟踪系统、方法、介质、终端 |
CN114510021A (zh) * | 2021-12-15 | 2022-05-17 | 广东盈峰智能环卫科技有限公司 | 机器人自跟随方法和无人驾驶环卫机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112684430A (zh) | 一种室内老人行走健康检测方法、系统、存储介质、终端 | |
US20240303924A1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
US9911340B2 (en) | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics | |
Luo et al. | Temporal convolutional networks for multiperson activity recognition using a 2-d lidar | |
Luber et al. | Place-dependent people tracking | |
CN112926514A (zh) | 一种多目标检测及跟踪方法、系统、存储介质及应用 | |
EP2345999A1 (en) | Method for automatic detection and tracking of multiple objects | |
WO2019129255A1 (zh) | 一种目标跟踪方法及装置 | |
US20220130109A1 (en) | Centralized tracking system with distributed fixed sensors | |
US20220362939A1 (en) | Robot positioning method and apparatus, intelligent robot, and storage medium | |
CN110264495A (zh) | 一种目标跟踪方法及装置 | |
CN109163731A (zh) | 一种语义地图构建方法及系统 | |
CN113568435A (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
CN112613668A (zh) | 基于人工智能的景区危险区域管控方法 | |
US20230283925A1 (en) | Object detection improvement based on autonomously selected training samples | |
CN114818788A (zh) | 基于毫米波感知的追踪目标状态识别方法和装置 | |
Hu et al. | Building occupancy detection and localization using CCTV camera and deep learning | |
CN113596158A (zh) | 一种基于场景的算法配置方法和装置 | |
US11919160B2 (en) | Fall detection and assistance | |
CN117152719B (zh) | 除草障碍物检测方法、设备、存储介质及装置 | |
Tsaregorodtsev et al. | Automated static camera calibration with intelligent vehicles | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
Liao et al. | TSM: Topological scene map for representation in indoor environment understanding | |
Rashed et al. | Robustly tracking people with lidars in a crowded museum for behavioral analysis | |
Ettehadieh | Systematic parameter optimization and application of automated tracking in pedestrian-dominant situations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |