CN108830248B - 一种行人局部特征大数据混合提取方法 - Google Patents

一种行人局部特征大数据混合提取方法 Download PDF

Info

Publication number
CN108830248B
CN108830248B CN201810664086.6A CN201810664086A CN108830248B CN 108830248 B CN108830248 B CN 108830248B CN 201810664086 A CN201810664086 A CN 201810664086A CN 108830248 B CN108830248 B CN 108830248B
Authority
CN
China
Prior art keywords
pedestrian
image
posture
frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810664086.6A
Other languages
English (en)
Other versions
CN108830248A (zh
Inventor
刘辉
李燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201810664086.6A priority Critical patent/CN108830248B/zh
Publication of CN108830248A publication Critical patent/CN108830248A/zh
Application granted granted Critical
Publication of CN108830248B publication Critical patent/CN108830248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人局部特征大数据混合提取方法，包括：步骤1：构建行人运动数据库；步骤2：提取同一行人在连续图像帧中的行人检测框图像；步骤3：提取同一行人运动能量图的HOG特征；步骤4：构建基于支持向量机的行人运动姿势识别模型；步骤5：利用基于支持向量机的的行人运动姿势识别模型，判断当前视频中行人姿势；步骤6：并计算获得行人在X轴和Y轴方向上的瞬时速度序列，得到行人实时速度；步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。该方案能够获得更多全面的有用信息，而且具备信号探测范围宽，目标信息完整的优势，性价比高，容易推广。

Description

一种行人局部特征大数据混合提取方法
技术领域
本发明属于交通监测领域，特别涉及一种行人局部特征大数据混合提取方法。
背景技术
现今，大数据应用在越来越广泛的领域，对人类社会产生了深远的影响，随着《中国制造2025》国策的开启，大数据已经对交通、工业、医疗、能源、气候等领域已经产生明显影响。在交通领域中，保证人类自身财产安全永远放在第一位，一直以来人们在不断努力探索改进，但行人交通事故的发生依旧常见，如何有效保障行人的生命财产安全的发生，是交通领域的重点也是难点。
行人检测的难点在于如何对行人动作进行有效辨识，人的运动具有非刚体特征，且不同个体之间的形态、移速、外貌、穿着差别明显，无规则的运动以及不同运动方向等都是造成行人检测困难的原因。传统的行人检测方法主要有：微波法、光束法、压力传感器法，这些方法普遍存在检测地方的局限性，准确度不高的问题，无法利用图像所提供的具体准确的行人信息。
发明内容
本发明提供了一种行人局部特征大数据混合提取方法，其目的在于，利用深度摄像头提供的图像信息以及位置信息，将视觉信息进行机器学习，对行人姿势进行检测，对车辆进行提醒，为交通安全进行预警。
一种行人局部特征大数据混合提取方法，包括以下步骤：
步骤1：构建行人运动数据库；
采集行人在深度摄像头各拍摄方向下的各种运动姿势与所处道路位置的视频，其中，所述拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向七个方向，所述姿势包括行走、跑步以及站立三种；
步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；
步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的HOG特征；
步骤4：构建基于支持向量机的行人运动姿势识别模型；
将各行人在连续图像帧对应的运动能量图作为输入数据，以对应的行人的姿势作为输出数据，对支持向量机进行训练；
所述站立姿势输出对应为[001],行走姿势输出对应为[010],奔跑姿势输出对应为[100]；
所述支持向量机参数设置，输入层节点数对应运动能量图像素个数x，输出层节点为3，最大迭代次数为900，学习率为0.0001，阈值为0.00001；
步骤5：利用基于支持向量机的行人运动姿势识别模型，判断当前视频中行人姿势；
将当前视频按照步骤2提取同一行人在连续帧图像中的行人检测框图像，并输入基于支持向量机的行人运动姿势识别模型中，获得对应的姿势，进行姿势辨别；
步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在X轴和Y轴方向上的瞬时速度序列，得到行人实时速度；
步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
路口的摄像头采用深度摄像头，建立路口环境下的三维立体场景，实时得到图像中行人的位置信息，根据实际道路情况将三维立体场景划分为人行道路和车行道路，当人进入三维立体场景中，对每一个人建立一个ID，通过连续帧图像信息判断人的运动特征。
进一步地，使用教与学算法对基于支持向量机的行人运动姿势识别模型中的支持向量机的惩罚系数和核参数进行优化，具体步骤如下：
步骤A1：将学员个体成绩作为支持向量机的惩罚系数和核参数，初始化教与学算法参数；
随机初始化所有班级学员个体成绩，种群规模为Np，取值范围为[50,180]，作为搜索空间维数的学生所学科目数为对应惩罚系数和核参数个数，学习因子Ct，取值范围[0.3,1.3]；
步骤A2：设置适应度函数，并令迭代次数t＝1；
依次将学员个体成绩对应的惩罚系数和核参数代入基于支持向量机的行人运动姿势识别模型中，并利用学员个体成绩确定的基于支持向量机的行人运动姿势识别模型确定输入的同一行人在连续帧图像中的行人检测框图像中的行人姿势，将同一行人在连续帧图像中的行人检测框图像的行人姿势检测值与对应的行人姿势实际值之差的倒数作为第一适应度函数f1(x)；
适应度越大，个体越优秀；
步骤A3：选取第一适应度函数值最大的学员个体成绩的学员作为老师，并以当前老师对其余学员个体教学，提高学员个体成绩；
Figure BDA0001707343460000024
其中，
Figure BDA0001707343460000021
表示班级中学员个体i在迭代次数为t+1时的成绩，
Figure BDA0001707343460000022
表示班级中学员个体i在迭代次数为t时的成绩；Mean为班级所有学员个体的初始成绩的平均值，
Figure BDA0001707343460000023
表示老师的成绩，T为教学因子，T＝round[1+rand(0,1)]，round为四舍五入法取整函数，rand(0,1)为随机函数，在(0,1)之间随机取值；
步骤A4：学员个体之间相互学习；
每一个学员个体在班级中随机挑选另一名学员个体进行相互学习，通过成绩好的学员个体带成绩差的学员个体，提高学员个体成绩，具体公式如下：
Figure BDA0001707343460000031
其中，
Figure BDA0001707343460000032
分别是学员个体i和学员个体k的迭代次数为t时的第一适应度函数值，
Figure BDA0001707343460000033
为在迭代次数为t时，班级中除学员个体i以外随机选择的学员个体k的成绩；
步骤A5：班级中所有学员个体成绩更新；
如果学员个体在迭代次数t+1的成绩大于在迭代次数t时的成绩，则，以迭代次数为t+1时的成绩作为学员个体的当前成绩，否则，以迭代次数为t时的成绩作为学员个体的当前成绩；
步骤A6：判断是否达到最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到满足最大迭代次数，输出最好学员个体成绩对应的支持向量机惩罚系数及核参数，获得基于支持向量机的行人运动姿势识别模型。
进一步地，所述行人实时速度为
Figure BDA0001707343460000034
Figure BDA0001707343460000035
其中，
Figure BDA0001707343460000036
和
Figure BDA0001707343460000037
分别表示行人在X轴方向和Y轴方向的瞬时速度，
Figure BDA0001707343460000038
ΔWj＝k|w2-w1|＝k|x2×P-x1×P|，ΔLj＝|f(l2)-f(l1)|，l1＝(N-y1)×P，l2＝(N-y2)×P，
Figure BDA0001707343460000039
行人目标点在前一帧图像和当前帧图像中的像素坐标分别为(x1,y1)和(x2,y2)；l1和l2分别表示行人目标点在相邻两帧图像中距离显示屏Y轴边缘的距离；
k表示实际场景距离与显示屏中场景成像距离的比值，M和N分别表示显示屏中X轴和Y轴方向的总像素点的个数；P表示显示屏中每个像素点的长度，MP、NP分别为整个屏幕的X轴和Y轴的总长度；ΔWj和ΔLj分别表示行人目标点在相邻两帧图像中沿X轴和Y轴方向产生的位移；
AB表示深度摄像头到行人的距离，α表示深度摄像头到行人之间的连线和地平面之间的夹角，θ为深度摄像头到行人之间的直线与成像平面的夹角，m为帧数。
AB，α，θ的取值利用深度摄像头进行实时测量获得。
进一步地，根据行人的实时运动特征，对行车道路上的车辆进行行人行为级别预警；
所述行为级别包括安全、威胁以及危险三个级别；
所述安全行为包括行人距离车行道路一米之外处于站立姿势下，行人在人行道路上且距离车行道路一米以外沿车行道路平行方向或背向车行道路处于行走姿势下，背向车行道路处于跑步姿势；
所述威胁行为包括行人在人行道路上距离车行道路一米之内，且位于人行道路中处于站立姿势下，距离车行道路边缘一米以内处于跑步姿势下；
所述危险行为包括行人在人行道路上朝向车行道路方向或行人在车行道路中处于跑步姿势下，以及在车行道路中处于行走姿势下；
当处于威胁行为中行人的行走速度大于1.9m/s或跑步速度大于8m/s时，威胁行为升级为危险行为。
所述行为级别是指对处于交通环境中行人状态的安全状况，不同的行为级别对交通环境中行驶的车辆驾驶员进行提示，确保交通安全；
进一步地，所述行人目标点为行人检测框图像的左下角像素点。
进一步地，对行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量，构建行人轨迹；
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；
所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；
前一帧行人图像中的行人在后一帧行人图像中的出现结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中。
有益效果
本发明提供了一种行人局部特征大数据混合提取方法，包括以下几个步骤：步骤1：构建行人运动数据库；步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的HOG特征；步骤4：构建基于支持向量机的行人运动姿势识别模型；步骤5：利用基于支持向量机的行人运动姿势识别模型，判断当前视频中行人姿势；步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在X轴和Y轴方向上的瞬时速度序列，得到行人实时速度；步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
相对于现有技术而言，具有以下优点：
1.基于深度摄像头，可以根据深度信息实时计算行人准确位置，能够实时为车辆提供行人危险信息，对车辆进行预警。
2.使用支持向量机对图像信息进行处理，能够处理大容量的行人数据，提高了准确率，保证了实时性。
3.本发明从行人目标的多特征出发，适用于复杂的道路环境条件下，提高了行人检测的精度的鲁棒性，使行人检测技术能在监控系统中能够更加广泛的推广应用。
附图说明
图1为本发明所述方法的流程图；
图2为深度摄像头与行人之间的距离关系示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步地说明。
如图1所示，一种行人局部特征大数据混合提取方法，包括以下步骤：
步骤1：构建行人运动数据库；
采集行人在深度摄像头各拍摄方向下的各种运动姿势与所处道路位置的视频，其中，所述拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向七个方向，所述姿势包括行走、跑步以及站立三种；
步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；
步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的HOG特征；
步骤4：构建基于支持向量机的行人运动姿势识别模型；
将各行人在连续图像帧对应的运动能量图作为输入数据，以对应的行人的姿势作为输出数据，对支持向量机进行训练；
所述站立姿势输出对应为[001],行走姿势输出对应为[010],奔跑姿势输出对应为[100]；
所述支持向量机参数设置，输入层节点数对应运动能量图像素个数x，输出层节点为3，最大迭代次数为900，学习率为0.0001，阈值为0.00001；
使用教与学算法对基于支持向量机的行人运动姿势识别模型中的支持向量机的惩罚系数和核参数进行优化，具体步骤如下：
步骤A1：将学员个体成绩作为支持向量机的惩罚系数和核参数，初始化教与学算法参数；
随机初始化所有班级学员个体成绩，种群规模为Np，取值范围为[50,180]，作为搜索空间维数的学生所学科目数为对应惩罚系数和核参数个数，学习因子Ct，取值范围[0.3,1.3]；
步骤A2：设置适应度函数，并令迭代次数t＝1；
依次将学员个体成绩对应的权值和阈值代入基于支持向量机的行人运动姿势识别模型中，并利用学员个体成绩确定的基于支持向量机的行人运动姿势识别模型确定输入的同一行人在连续帧图像中的行人检测框图像中的行人姿势，将同一行人在连续帧图像中的行人检测框图像的行人姿势检测值与对应的行人姿势实际值之差的倒数作为第一适应度函数f1(x)；
适应度越大，个体越优秀；
步骤A3：选取第一适应度函数值最大的学员个体成绩的学员作为老师，并以当前老师对其余学员个体教学，提高学员个体成绩；
Figure BDA0001707343460000061
其中，
Figure BDA0001707343460000062
表示班级中学员个体i在迭代次数为t+1时的成绩，
Figure BDA0001707343460000063
表示班级中学员个体i在迭代次数为t时的成绩；Mean为班级所有学员个体的初始成绩的平均值，
Figure BDA0001707343460000064
表示老师的成绩，T为教学因子，T＝round[1+rand(0,1)]，round为四舍五入法取整函数，rand(0,1)为随机函数，在(0,1)之间随机取值；
步骤A4：学员个体之间相互学习；
每一个学员个体在班级中随机挑选另一名学员个体进行相互学习，通过成绩好的学员个体带成绩差的学员个体，提高学员个体成绩，具体公式如下：
Figure BDA0001707343460000071
其中，
Figure BDA0001707343460000072
分别是学员个体i和学员个体k的迭代次数为t时的第一适应度函数值，
Figure BDA0001707343460000073
为在迭代次数为t时，班级中除学员个体i以外随机选择的学员个体k的成绩；
步骤A5：班级中所有学员个体成绩更新；
如果学员个体在迭代次数t+1的成绩大于在迭代次数t时的成绩，则，以迭代次数为t+1时的成绩作为学员个体的当前成绩，否则，以迭代次数为t时的成绩作为学员个体的当前成绩；
步骤A6：判断是否达到最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到满足最大迭代次数，输出最好学员个体成绩对应的支持向量机惩罚系数和核参数，获得基于支持向量机的行人运动姿势识别模型。
步骤5：利用基于支持向量机的行人运动姿势识别模型，判断当前视频中行人姿势；
将当前视频按照步骤2提取同一行人在连续帧图像中的行人检测框图像，并输入基于支持向量机的行人运动姿势识别模型中，获得对应的姿势，进行姿势辨别；
步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在X轴和Y轴方向上的瞬时速度序列，得到行人实时速度；
所述行人实时速度为
Figure BDA0001707343460000074
Figure BDA0001707343460000075
其中，
Figure BDA0001707343460000076
和
Figure BDA0001707343460000077
分别表示行人在X轴方向和Y轴方向的瞬时速度，
Figure BDA0001707343460000078
ΔWj＝k|w2-w1|＝k|x2×P-x1×P|，ΔLj＝|f(l2)-f(l1)|，l1＝(N-y1)×P，l2＝(N-y2)×P，
Figure BDA0001707343460000079
行人目标点在前一帧图像和当前帧图像中的像素坐标分别为(x1,y1)和(x2,y2)；l1和l2分别表示行人目标点在相邻两帧图像中距离显示屏Y轴边缘的距离；
k表示实际场景距离与显示屏中场景成像距离的比值，M和N分别表示显示屏中X轴和Y轴方向的总像素点的个数；P表示显示屏中每个像素点的长度，MP、NP分别为整个屏幕的X轴和Y轴的总长度；ΔWj和ΔLj分别表示行人目标点在相邻两帧图像中沿X轴和Y轴方向产生的位移；
如图2所示，AB表示深度摄像头到行人的距离，α表示深度摄像头到行人之间的连线和地平面之间的夹角，θ为深度摄像头到行人之间的直线与成像平面的夹角，AB，α，θ的取值利用深度摄像头进行实时测量获得，m为帧数。
步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征。
路口的摄像头采用深度摄像头，建立路口环境下的三维立体场景，实时得到图像中行人的位置信息，根据实际道路情况将三维立体场景划分为人行道路和车行道路，当人进入三维立体场景中，对每一个人建立一个ID，通过连续帧图像信息判断人的运动特征。
根据行人的实时运动特征，对行车道路上的车辆进行行人行为级别预警；
所述行为级别包括安全、威胁以及危险三个级别；
所述安全行为包括行人距离车行道路一米之外处于站立姿势下，行人在人行道路上且距离车行道路一米以外沿车行道路平行方向或背向车行道路处于行走姿势下，背向车行道路处于跑步姿势；
所述威胁行为包括行人在人行道路上距离车行道路一米之内，且位于人行道路中处于站立姿势下，距离车行道路边缘一米以内处于跑步姿势下；
所述危险行为包括行人在人行道路上朝向车行道路方向或行人在车行道路中处于跑步姿势下，以及在车行道路中处于行走姿势下；
当处于威胁行为中行人的行走速度大于1.9m/s或跑步速度大于8m/s时，威胁行为升级为危险行为。
所述行为级别是指对处于交通环境中行人状态的安全状况，不同的行为级别对交通环境中行驶的车辆驾驶员进行提示，确保交通安全；
在本实例中，行人检测框图像的左下角像素点作为行人目标点。
对行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量，构建行人轨迹；
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；
所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；
前一帧行人图像中的行人在后一帧行人图像中的出现结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种行人局部特征大数据混合提取方法，其特征在于，包括以下步骤：
步骤1：构建行人运动数据库；
采集行人在摄像头各拍摄方向下的各种运动姿势与所处道路位置的视频，其中，所述拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向七个方向，所述姿势包括行走、跑步以及站立三种；
步骤2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人检测框，再提取出同一行人在连续图像帧中的行人检测框图像；
步骤3：对每一幅行人检测框图像进行灰度化处理，合成同一行人在连续图像帧中的行人检测框图像对应的灰度图像的运动能量图，并提取所述运动能量图的HOG特征；
步骤4：构建基于支持向量机的行人运动姿势识别模型；
将各行人在连续图像帧对应的运动能量图作为输入数据，以对应的行人的姿势作为输出数据，对支持向量机进行训练；
站立姿势输出对应为[001],行走姿势输出对应为[010],奔跑姿势输出对应为[100]；
所述支持向量机参数设置，输入层节点数对应运动能量图像素个数x，输出层节点为3，最大迭代次数为900，学习率为0.0001，阈值为0.00001；
步骤5：利用基于支持向量机的行人运动姿势识别模型，判断当前视频中行人姿势；
将当前视频按照步骤2提取同一行人在连续帧图像中的行人检测框图像，并输入基于支持向量机的行人运动姿势识别模型中，获得对应的姿势，进行姿势辨别；
步骤6：计算同一行人在连续帧图像中行人检测框左下角顶点的像素坐标变化序列，并计算获得行人在X轴和Y轴方向上的瞬时速度序列，得到行人实时速度；
步骤7：根据路口环境下的三维立体场景，实时得到图像中行人的位置信息，结合行人姿势以及实时速度，获得行人的实时运动特征；
根据行人的实时运动特征，对行车道路上的车辆进行行人行为级别预警；
所述行为级别包括安全、威胁以及危险三个级别；
安全行为包括行人距离车行道路一米之外处于站立姿势下，行人在人行道路上且距离车行道路一米以外沿车行道路平行方向或背向车行道路处于行走姿势下，背向车行道路处于跑步姿势；
威胁行为包括行人在人行道路上距离车行道路一米之内，且位于人行道路中处于站立姿势下，距离车行道路边缘一米以内处于跑步姿势下；
危险行为包括行人在人行道路上朝向车行道路方向或行人在车行道路中处于跑步姿势下，以及在车行道路中处于行走姿势下；
当处于威胁行为中行人的行走速度大于1.9m/s或跑步速度大于8m/s时，威胁行为升级为危险行为。
2.根据权利要求1所述的方法，其特征在于，使用教与学算法对基于支持向量机的行人运动姿势识别模型中的支持向量机的惩罚系数c、核参数g进行优化，具体步骤如下：
步骤A1：将学员个体成绩作为支持向量机的惩罚系数和核参数，初始化教与学算法参数；
随机初始化所有班级学员个体成绩，种群规模为Np，取值范围为[50,180]，作为搜索空间维数的学生所学科目数为对应惩罚系数和核参数个数，学习因子Ct，取值范围[0.3,1.3]；
步骤A2：设置适应度函数，并令迭代次数t＝1；
依次将学员个体成绩对应的权值和阈值代入基于支持向量机的行人运动姿势识别模型中，并利用学员个体成绩确定的基于支持向量机的行人运动姿势识别模型确定输入的同一行人在连续帧图像中的行人检测框图像中的行人姿势，将同一行人在连续帧图像中的行人检测框图像的行人姿势检测值与对应的行人姿势实际值之差的倒数作为第一适应度函数f1(x)；
步骤A3：选取第一适应度函数值最大的学员个体成绩的学员作为老师，并以当前老师对其余学员个体教学，提高学员个体成绩；
Figure FDA0003357958230000021
其中，
Figure FDA0003357958230000022
表示班级中学员个体i在迭代次数为t+1时的成绩，
Figure FDA0003357958230000023
表示班级中学员个体i在迭代次数为t时的成绩；Mean为班级所有学员个体的初始成绩的平均值，
Figure FDA0003357958230000024
表示老师的成绩，T为教学因子，T＝round[1+rand(0,1)]，round为四舍五入法取整函数，rand(0,1)为随机函数，在(0,1)之间随机取值；
步骤A4：学员个体之间相互学习；
每一个学员个体在班级中随机挑选另一名学员个体进行相互学习，通过成绩好的学员个体带成绩差的学员个体，提高学员个体成绩，具体公式如下：
Figure FDA0003357958230000025
其中，
Figure FDA0003357958230000026
分别是学员个体i和学员个体k的迭代次数为t时的第一适应度函数值，
Figure FDA0003357958230000027
为在迭代次数为t时，班级中除学员个体i以外随机选择的学员个体k的成绩；
步骤A5：班级中所有学员个体成绩更新；
如果学员个体在迭代次数t+1的成绩大于在迭代次数t时的成绩，则，以迭代次数为t+1时的成绩作为学员个体的当前成绩，否则，以迭代次数为t时的成绩作为学员个体的当前成绩；
步骤A6：判断是否达到最大迭代次数，若满足则退出，否则，令t＝t+1，转入步骤B3，直到满足最大迭代次数，输出最好学员个体成绩对应的支持向量机的惩罚系数和核参数，获得基于支持向量机的行人运动姿势识别模型。
3.根据权利要求1所述的方法，其特征在于，所述行人实时速度为
Figure FDA0003357958230000031
Figure FDA0003357958230000032
其中，
Figure FDA0003357958230000033
和
Figure FDA0003357958230000034
分别表示行人在X轴方向和Y轴方向的瞬时速度，
Figure FDA0003357958230000035
ΔWj＝k|w2-w1|＝k|x2×P-x1×P|，ΔLj＝|f(l2)-f(l1)|，l1＝(N-y1)×P，l2＝(N-y2)×P，
Figure FDA0003357958230000036
行人目标点在前一帧图像和当前帧图像中的像素坐标分别为(x1,y1)和(x2,y2)；l1和l2分别表示行人目标点在相邻两帧图像中距离显示屏Y轴边缘的距离；
k表示实际场景距离与显示屏中场景成像距离的比值，M和N分别表示显示屏中X轴和Y轴方向的总像素点的个数；P表示显示屏中每个像素点的长度，MP、NP分别为整个屏幕的X轴和Y轴的总长度；ΔWj和ΔLj分别表示行人目标点在相邻两帧图像中沿X轴和Y轴方向产生的位移；
AB表示深度摄像头到行人的距离，α表示深度摄像头到行人之间的连线和地平面之间的夹角，θ为深度摄像头到行人之间的直线与成像平面的夹角，m为帧数。
4.根据权利要求3所述的方法，其特征在于，所述行人目标点为行人检测框图像的左下角像素点。
5.根据权利要求4所述的方法，其特征在于，对行人图像帧进行预处理，并对预处理后的图像设置行人检测框、行人目标标识以及行人位置标签向量，构建行人轨迹；
所述行人检测框是行人图像帧中行人轮廓的最小外接矩形；
所述行人目标标识是所有行人图像帧中出现的不同行人的唯一标识P；
所述行人位置标签向量的表达形式为[t，x，y，a，b]，t表示当前行人图像帧属于监控视频中的第t帧，x和y分别表示行人图像帧中的行人检测框的左下角的横坐标和纵坐标，a和b分别表示行人检测框长和宽；
前一帧行人图像中的行人在后一帧行人图像中的出现结果是指如果前一帧行人图像中的行人，在后一帧行人图像中出现，则该行人的跟踪结果为1，否则为0；若行人跟踪结果为1，则将后一帧行人图像中出现的对应行人位置标签向量添加至行人轨迹中。
CN201810664086.6A 2018-06-25 2018-06-25 一种行人局部特征大数据混合提取方法 Active CN108830248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810664086.6A CN108830248B (zh) 2018-06-25 2018-06-25 一种行人局部特征大数据混合提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810664086.6A CN108830248B (zh) 2018-06-25 2018-06-25 一种行人局部特征大数据混合提取方法

Publications (2)

Publication Number Publication Date
CN108830248A CN108830248A (zh) 2018-11-16
CN108830248B true CN108830248B (zh) 2022-05-17

Family

ID=64137584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810664086.6A Active CN108830248B (zh) 2018-06-25 2018-06-25 一种行人局部特征大数据混合提取方法

Country Status (1)

Country Link
CN (1) CN108830248B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658436B (zh) * 2018-12-04 2020-09-01 郑州轻工业学院 一种混合goa和tlbo搜索的快速运动目标跟踪方法
CN109745044B (zh) * 2018-12-19 2022-02-22 陕西师范大学 基于代理模型Volterra建模的脑电信号编码解码方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904845B2 (en) * 2009-02-25 2018-02-27 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
US20140169624A1 (en) * 2012-12-14 2014-06-19 Hyundai Motor Company Image based pedestrian sensing apparatus and method
CN103886315B (zh) * 2012-12-21 2017-05-24 本田技研工业株式会社 应用于行人姿势分类的3d人体模型
CN104392445B (zh) * 2014-11-21 2017-10-31 中国计量学院 一种监控视频中人群小群体分割方法
CN104715238B (zh) * 2015-03-11 2018-09-11 南京邮电大学 一种基于多特征融合的行人检测方法
CN106570480B (zh) * 2016-11-07 2019-04-19 南京邮电大学 一种基于姿势识别的人体动作分类方法
CN106781278A (zh) * 2017-02-04 2017-05-31 华南理工大学 一种基于多传感器数据融合的跌倒检测方法及装置
CN107967944A (zh) * 2017-11-24 2018-04-27 中南大学 一种基于Hadoop的户外环境大数据人体健康监测方法与平台
CN108021889A (zh) * 2017-12-05 2018-05-11 重庆邮电大学 一种基于姿态外形和运动信息的双通道红外行为识别方法
CN108196453B (zh) * 2018-01-24 2020-11-20 中南大学 一种机械臂运动规划群体智能计算方法

Also Published As

Publication number Publication date
CN108830248A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN105260712B (zh) 一种车辆前方行人检测方法及系统
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN108830246B (zh) 一种交通环境行人多维运动特征视觉提取方法
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN106875424A (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
CN102831427B (zh) 一种融合视觉显著性和灰度共生矩的纹理特征提取方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN111274980B (zh) 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN107031661A (zh) 一种基于盲区相机输入的变道预警方法及系统
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN106934374A (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN106203261A (zh) 基于svm和surf的无人车野外水体检测与跟踪方法
CN107316332A (zh) 一种应用智能驾驶的相机和场景关联标定方法及系统
CN104881661A (zh) 基于结构相似度的车辆检测方法
CN106778484A (zh) 交通场景下的运动车辆跟踪方法
CN108830248B (zh) 一种行人局部特征大数据混合提取方法
CN109117717A (zh) 一种城市行人检测方法
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN106919939A (zh) 一种交通标识牌跟踪识别方法及系统
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant