CN111339843A - 动车组车厢拥挤度检测方法及装置 - Google Patents

动车组车厢拥挤度检测方法及装置 Download PDF

Info

Publication number
CN111339843A
CN111339843A CN202010088881.2A CN202010088881A CN111339843A CN 111339843 A CN111339843 A CN 111339843A CN 202010088881 A CN202010088881 A CN 202010088881A CN 111339843 A CN111339843 A CN 111339843A
Authority
CN
China
Prior art keywords
carriage
aisle
detecting
degree
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010088881.2A
Other languages
English (en)
Inventor
王丽娟
段旺旺
哈大雷
许华胜
陶然
高德健
王敏
钱秀辉
田伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Original Assignee
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd filed Critical CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority to CN202010088881.2A priority Critical patent/CN111339843A/zh
Publication of CN111339843A publication Critical patent/CN111339843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种动车组车厢拥挤度检测方法及装置，所述方法含有以下步骤：获取车厢内监控视频图像；采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；根据人员数量确定车厢内的拥挤程度。所述方法还包括以下步骤：采用VGG卷积神经网络模型检测图像中的座椅并进行统计得到车厢内的座椅数量；根据过道内人数与监控视野内的座椅数量比例来确定车厢内的拥挤程度。本发明根据车厢内的视频监控图像，只检测过道人数，避免了座椅遮挡对人员检测的影响，检测准确率高，同时通过人数和座椅的比例确定车厢拥挤度，不需要根据乘客区域大小设定不同的人数阈值来判断拥挤程度，提高了易用性。

Description

动车组车厢拥挤度检测方法及装置
技术领域
本发明属于轨道交通技术领域，涉及车厢内人数检测技术，具体地说，涉及一种动车组车厢拥挤度检测方法及装置。
背景技术
目前，对车厢拥挤度的检测基本是通过统计车厢人数来实现的。例如：公开号为CN109241858A的中国专利申请公开了一种基于轨道交通列车的客流密度检测方法及装置，其方法包括：S1：从不同的车厢内收集车厢图像；S2：将收集到的图像分成训练集和测试集，并通过像素点对所述训练集和所述测试集中的每张图像的人体面部/头部信息进行标注；S3：通过高斯核函数对标注后的图像中的人体面部/头部信息进行高斯滤波，得到人体面部/头部特征数据；S4：向由卷积神经网络模型组成的深度学习模型中输入所述训练集中的所述人体面部/头部特征数据，经过训练得到训练后的卷积神经网络模型；S5：将所述测试集中的人体面部/头部特征数据输入到所述训练后的卷积神经网络模型，以输出车厢图像的客流密度图。
但在实际应用中，尤其是动车组，由于摄像机安装在车厢车顶，同时动车组车厢内座椅对乘客遮挡严重，现有的检测方法及装置对车厢内人数统计误差大，对车厢拥挤度的检测效果产生了较大的影响，检测准确率差。
发明内容
本发明针对现有动车组车厢拥挤度检测时存在的检测准确率差等上述问题，提供了一种动车组车厢拥挤度检测方法及装置，能够提高动车组车厢内人员拥挤度的检测准确率。
为了达到上述目的，本发明提供了一种动车组车厢拥挤度检测方法，含有以下步骤：
获取车厢内监控视频图像；
采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
根据人员数量确定车厢内的拥挤程度。
优选的，根据人员数量确定车厢内的拥挤程度的方法为：当车厢过道及车厢两端连接处的人员数量小于2人，车厢内不拥挤；当车厢过道及车厢两端连接处的人员数量为2-3人，车厢内轻度拥挤；当车厢过道及车厢两端连接处的人员数量为4-5，车厢内中度拥挤；当车厢过道及车厢两端连接处的人员数量为6人及以上，车厢内重度拥挤。
优选的，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
为了达到上述目的，本发明另提供了一种动车组车厢拥挤度检测方法，含有以下步骤：
获取车厢内监控视频图像；
采用VGG卷积神经网络模型检测图像中的座椅并进行统计得到车厢内的座椅数量；
采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
根据座椅数量和人员数量计算车厢拥挤度，车厢拥挤度的计算公式表示为：
Figure BDA0002383029400000021
式中，c为车厢拥挤度，M为车厢内座椅数量，N为过道及车厢两端处人数之和；
根据车厢拥挤度确定车厢内的拥挤程度。
优选的，根据车厢拥挤度确定车厢内的拥挤程度的方法为：当c<0.1时，车厢内不拥挤；当0.1≤c<0.2时，车厢内轻度拥挤；当0.2≤c<0.3时，车厢内中度拥挤；当0.3≤c时，车厢内重度拥挤。
优选的，在动车组清客状态下，采用VGG卷积神经网络模型检测座椅数量。
优选的，所述VGG卷积神经网络模型在训练是否为座椅时，采用的损失函数为交叉熵损失函数
Figure BDA0002383029400000031
Figure BDA0002383029400000032
式中，pi表示样本xi为座椅的可能性，
Figure BDA0002383029400000033
表示标注标签；
所述VGG卷积神经网络模型对于座椅区域进行位置回归时，采用的损失函数为平方差损失函数
Figure BDA0002383029400000034
Figure BDA0002383029400000035
式中，
Figure BDA0002383029400000036
表示VGG卷积神经网络模型预测得到的回归框，
Figure BDA0002383029400000037
表示座椅的标注框；
所述VGG卷积神经网络模型输出结构化的预测信息[C,Bx,By,H,W,…]，其中，C表示属于座椅的置信度，(Bx,By)表示座椅位置左上角的位置坐标，H表示座椅区域的长，W表示座椅区域的宽。
优选的，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
为了达到上述目的，本发明还提供了一种动车组车厢拥挤度检测装置，包括：
图像采集装置，用于采集车厢内的图像；
人员数量检测模块，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
判断模块，根据人员数量判断车厢内的拥挤程度。
为了达到上述目的，本发明还提供了一种动车组车厢拥挤度检测装置，包括：
图像采集装置，用于采集车厢内的图像；
座椅数量检测模块，设有VGG卷积神经网络模型，用于检测图像中的座椅并进行统计得到车厢内的座椅数量；
人员数量检测模块，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
计算模块，用于计算根据座椅数量和人员数量计算车厢拥挤度；
判断模块，根据车厢拥挤度判断车厢内的拥挤程度。
优选的，所述VGG卷积神经网络模型包括七个卷积层、五个池化层以及一个全连接层，前五个卷积层与池化层之间呈一层卷积层一层池化层交替排布，第六卷积层设于第五池化层和第七卷积层之间，全连接层与第七卷积层相邻。
优选的，第一卷积层采用64通道3×3的卷积核，第二卷积层采用128通道3×3的卷积核，第三卷积层采用128通道3×3的卷积核，第四卷积层采用512通道3×3的卷积核，第五卷积层采用512通道7×7的卷积核，第六卷积层采用4096通道1×1的卷积核，第七卷积层采用1000通道1×1的卷积核；前四个池化层最大池化核函数尺寸均为2×2，步长为2，第五池化层的核函数尺寸为7×7。
优选的，所述全连接层采用卷积核为1×1的卷积层。
优选的，所述头部检测网络模型包括：
卷积神经网络，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络，使特征图生成头部图像可能的候选区域；
关键特征抽取网络，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
与现有技术相比，本发明的优点和积极效果在于：
本发明针对动车组车厢内按座号就坐的实际情况，根据车厢内的视频监控图像，只检测过道人数，避免了座椅遮挡对人员检测的影响，同时检测到的人数与视野中的座椅数量结合得出车厢拥挤度，不需要提前根据视野大小或车厢内乘客区域大小设置经验值，不受摄像机视野的影响，检测准确率高。
附图说明
图1为本发明实施例1所述动车组车厢拥挤度检测方法的流程图；
图2-3为本发明实施例动车组车厢不拥挤时的示意图；
图4-5为本发明实施例动车组车厢轻度拥挤时的示意图；
图6-7为本发明实施例动车组车厢中度拥挤时的示意图；
图8-9为本发明实施例动车组车厢重度拥挤时的示意图；
图10为本发明实施例2所述动车组车厢拥挤度检测方法的流程图；
图11为本发明实施例2所述动车组车厢拥挤度检测方法中座椅的检测结果图；
图12为本发明实施例3所述动车组车厢拥挤度检测装置的结构框图；
图13为本发明实施例所述头部检测网络模型的结构图；
图14为本发明实施例所述头部检测网络模型中卷积神经网络的结构示意图
图15本发明实施例4所述动车组车厢拥挤度检测装置的结构框图；
图16本发明实施例所述VGG卷积神经网络模型的结构示意图。
具体实施方式
下面，通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益地结合到其他实施方式中。
目前人员拥挤的普遍方式是计算图像内的人员数量，与提前设定的人数做对比，得出当前车厢内是否拥挤。但在动车组车厢内，检测到的人员数量因受座椅遮挡的原因浮动较大，并且设定的人数需要根据监控图像视野的不同分别进行设置，导致检测的准确度低。针对动车组车厢内按座号就坐的实际情况，座椅区域极少会出现拥挤的情况，并且座椅对乘客遮挡严重，影响人数检测，同时车厢内的拥挤主要出现在车厢过道和车厢两端连接处。本发明提供了一种动车组车厢拥挤度检测方法及装置，根据车厢内的视频监控图像，只检测过道人数，避免了座椅遮挡对人员检测的影响，同时检测到的人数与视野中的座椅数量结合得出车厢拥挤度，不需要提前根据视野大小设置经验值，不受摄像机视野的影响。以下以具体的实施例对上述方法及装置进行详细说明。
实施例1：参见图1，本实施例提供了一种动车组车厢拥挤度检测方法，含有以下步骤：
S1、获取车厢内监控视频图像。
S2、采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量。
具体地，采用头部检测网络模型检测过道及车厢两端连接处的人员数量时，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。采用采用头部检测网络模型检测人员的头部图像，能够保证学习到关于头部检测的各种特征(包括轮廓边缘、纹理特征、颜色特征)提高检测效果。
参见图13，所述头部检测网络模型包括：
卷积神经网络21，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络22，使特征图生成头部图像可能的候选区域；
关键特征抽取网络23，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络24，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
例如：对输入的1920x1080的监控图像，先经过缩放，以适应头部检测网络模型的输入。经过缩放的图像先经过卷积神经网络的卷积层提取特征，以输入图像512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入至候选框生成网络处理。候选框生成网络使用卷积网络生成的特征图，生成头部图像出现的可能的候选区域，关键特征抽取网络则利用候选框生成网络生成的候选区域从特征图中提取可能出现的头部图像特征生成固定大小的特征送入回归和分类网络作分类和回归，得到过道及车厢两端连接处的人员数量。
具体地，卷积神经网络的特征抽层使用Conv+ReLU+Pooling的结构，把图像抽象成一系列的特征图，特征图被共享用于后续网络处理。参见图14所示的卷积神经网络，由于经过了3层Pooling，一个MxNx3大小的输入图像，经过特征抽取，变为(M/16)x(N/16)x512的特征图。以输入图像为512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入给候选框生成网络处理。
候选框生成网络基于输入特征的大小生成一系列可能出现头部的位置，提供给关键特征抽取网络进一步判断。由于乘客和摄像头的距离关系，在成像中大小可能发生变化，卷积神经网络在处理多尺度上效果不是很好，因此采用关键特征抽取网络进行关键特征抽取操作，把可能出现头部的图片特征从特征层中抽取出来，送给后续的网络处理。将经过卷积神经网络生成的特征图导入候选框生成网络后，先经过一次3*3的卷积，这样做的目的是进一步集中特征信息，接着两个1x1的卷积神经网络，特征的输出宽高保持不变，做分类的特征(rpn_cls)的维度变为18，做回归的特征维度(rpn_bbox)为36。
关键特征抽取(ROI Pooling)网络通过接收特征图的数据和候选框生成网络的输出，生成固定大小的特征用于回归和分类网络的回归和分类。
回归和分类网络对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
S3、根据人员数量确定车厢内的拥挤程度。
具体地，根据动车组监控视频的实际情况，即当车厢一端设有摄像机时，根据人员数量确定车厢内的拥挤程度的方法为：当车厢过道及车厢两端连接处的人员数量小于2人(参见图2、3)，车厢内不拥挤；当车厢过道及车厢两端连接处的人员数量为2-3人(参见图4、5)，车厢内轻度拥挤；当车厢过道及车厢两端连接处的人员数量为4-5(参见图6、7)，车厢内中度拥挤；当车厢过道及车厢两端连接处的人员数量为6人及以上(参见图8、9)，车厢内重度拥挤。
本实施例上述方法，根据动车组车厢内的实际情况，只检测过道人数，避免了座椅遮挡对人员检测的影响，提高了车厢拥挤度的检测准确率。
实施例2：参见图10，本实施例提供了一种动车组车厢拥挤度检测方法，含有以下步骤：
S1、获取车厢内监控视频图像。
S2、在动车组清客状态下，采用VGG卷积神经网络模型检测图像中的座椅并进行统计得到车厢内的座椅数量，座椅的检测结果参考图11。
具体地，参见图16，所述VGG卷积神经网络模型包括七个卷积层、五个池化层以及一个全连接层，前五个卷积层与池化层之间呈一层卷积层一层池化层交替排布，第六卷积层设于第五池化层和第七卷积层之间，全连接层与第七卷积层相邻。其中，第一卷积层采用64通道3×3的卷积核，第二卷积层采用128通道3×3的卷积核，第三卷积层采用128通道3×3的卷积核，第四卷积层采用512通道3×3的卷积核，第五卷积层采用512通道7×7的卷积核，第六卷积层采用4096通道1×1的卷积核，第七卷积层采用1000通道1×1的卷积核；前四个池化层最大池化核函数尺寸均为2×2，步长为2，第五池化层的核函数尺寸为7×7。
具体地，为了实现对座椅位置进行检测，所述VGG卷积神经网络模型在训练是否为座椅时，采用的损失函数为交叉熵损失函数
Figure BDA0002383029400000091
Figure BDA0002383029400000092
式中，pi表示样本xi为座椅的可能性，
Figure BDA0002383029400000093
表示标注标签；
所述VGG卷积神经网络模型对于座椅区域进行位置回归时，采用的损失函数为平方差损失函数
Figure BDA0002383029400000101
Figure BDA0002383029400000102
式中，
Figure BDA0002383029400000103
表示VGG卷积神经网络模型预测得到的回归框，
Figure BDA0002383029400000104
表示座椅的标注框；
所述VGG卷积神经网络模型输出结构化的预测信息[C,Bx,By,H,W,…]，其中，C表示属于座椅的置信度，(Bx,By)表示座椅位置左上角的位置坐标，H表示座椅区域的长，W表示座椅区域的宽。
S3、采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量。
具体地，采用头部检测网络模型检测过道及车厢两端连接处的人员数量时，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。采用采用头部检测网络模型检测人员的头部图像，能够保证学习到关于头部检测的各种特征(包括轮廓边缘、纹理特征、颜色特征)提高检测效果。
参见图13，所述头部检测网络模型包括：
卷积神经网络21，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络22，使特征图生成头部图像可能的候选区域；
关键特征抽取网络23，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络24，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
例如：对输入的1920x1080的监控图像，先经过缩放，以适应头部检测网络模型的输入。经过缩放的图像先经过卷积神经网络的卷积层提取特征，以输入图像512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入至候选框生成网络处理。候选框生成网络使用卷积网络生成的特征图，生成头部图像出现的可能的候选区域，关键特征抽取网络则利用候选框生成网络生成的候选区域从特征图中提取可能出现的头部图像特征生成固定大小的特征送入回归和分类网络作分类和回归，得到过道及车厢两端连接处的人员数量。
具体地，卷积神经网络的特征抽层使用Conv+ReLU+Pooling的结构，把图像抽象成一系列的特征图，特征图被共享用于后续网络处理。参见图14所示的卷积神经网络，由于经过了4层Pooling，一个MxNx3大小的输入图像，经过特征抽取，变为(M/16)x(N/16)x512的特征图。以输入图像为512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入给候选框生成网络处理。
候选框生成网络基于输入特征的大小生成一系列可能出现头部的位置，提供给关键特征抽取网络进一步判断。由于乘客和摄像头的距离关系，在成像中大小可能发生变化，卷积神经网络在处理多尺度上效果不是很好，因此采用关键特征抽取网络进行关键特征抽取操作，把可能出现头部的图片特征从特征层中抽取出来，送给后续的网络处理。将经过卷积神经网络生成的特征图导入候选框生成网络后，先经过一次3*3的卷积，这样做的目的是进一步集中特征信息，接着两个1x1的卷积神经网络，特征的输出宽高保持不变，做分类的特征(rpn_cls)的维度变为18，做回归的特征维度(rpn_bbox)为36。
关键特征抽取(ROI Pooling)网络通过接收特征图的数据和候选框生成网络的输出，生成固定大小的特征用于回归和分类网络的回归和分类。
回归和分类网络对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
S4、根据座椅数量和人员数量计算车厢拥挤度，车厢拥挤度的计算公式表示为：
Figure BDA0002383029400000121
式中，c为车厢拥挤度，M为车厢内座椅数量，N为过道及车厢两端处人数之和。
S5、根据车厢拥挤度确定车厢内的拥挤程度。
具体地，根据车厢拥挤度确定车厢内的拥挤程度的方法为：当c<0.1时，车厢内不拥挤；当0.1≤c<0.2时，车厢内轻度拥挤；当0.2≤c<0.3时，车厢内中度拥挤；当0.3≤c时，车厢内重度拥挤。
需要说明的是，上述步骤2和步骤3的顺序不限于次，还可将上述步骤2和步骤3的顺序进行互换，也可以使上述步骤2和步骤3同时进行。
本实施例上述方法，根据动车组车厢内的实际情况，只检测过道人数，避免了座椅遮挡对人员检测的影响，提高了车厢拥挤度的检测准确率。同时检测到的人员数量与视野中座椅数量相结合得出车厢拥挤度，不需要提前根据视野大小设置经验值，不收摄像机视野的影响。
实施例3：参见图12，本实施例提供了一种动车组车厢拥挤度检测装置，包括：
图像采集装置1，用于采集车厢内的图像；
人员数量检测模块2，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
判断模块3，根据人员数量判断车厢内的拥挤程度。
参见图13，所述头部检测网络模型包括：
卷积神经网络21，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络22，使特征图生成头部图像可能的候选区域；
关键特征抽取网络23，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络24，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
例如：对输入的1920x1080的监控图像，先经过缩放，以适应头部检测网络模型的输入。经过缩放的图像先经过卷积神经网络的卷积层提取特征，以输入图像512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入至候选框生成网络处理。候选框生成网络使用卷积网络生成的特征图，生成头部图像出现的可能的候选区域，关键特征抽取网络则利用候选框生成网络生成的候选区域从特征图中提取可能出现的头部图像特征生成固定大小的特征送入回归和分类网络作分类和回归，得到过道及车厢两端连接处的人员数量。
具体地，卷积神经网络的特征抽层使用Conv+ReLU+Pooling的结构，把图像抽象成一系列的特征图，特征图被共享用于后续网络处理。参见图14所示的卷积神经网络，由于经过了4层Pooling，一个MxNx3大小的输入图像，经过特征抽取，变为(M/16)x(N/16)x512的特征图。以输入图像为512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入给候选框生成网络处理。
候选框生成网络基于输入特征的大小生成一系列可能出现头部的位置，提供给关键特征抽取网络进一步判断。由于乘客和摄像头的距离关系，在成像中大小可能发生变化，卷积神经网络在处理多尺度上效果不是很好，因此采用关键特征抽取网络进行关键特征抽取操作，把可能出现头部的图片特征从特征层中抽取出来，送给后续的网络处理。将经过卷积神经网络生成的特征图导入候选框生成网络后，先经过一次3*3的卷积，这样做的目的是进一步集中特征信息，接着两个1x1的卷积神经网络，特征的输出宽高保持不变，做分类的特征(rpn_cls)的维度变为18，做回归的特征维度(rpn_bbox)为36。
关键特征抽取(ROI Pooling)网络通过接收特征图的数据和候选框生成网络的输出，生成固定大小的特征用于回归和分类网络的回归和分类。
回归和分类网络对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
本实施例上述装置，根据动车组车厢内的实际情况，只检测过道人数，避免了座椅遮挡对人员检测的影响，提高了车厢拥挤度的检测准确率。
实施例4：参见图15，本实施例提供了一种动车组车厢拥挤度检测装置，包括：
图像采集装置1，用于采集车厢内的图像；
座椅数量检测模块4，设有VGG卷积神经网络模型，用于检测图像中的座椅并进行统计得到车厢内的座椅数量；
人员数量检测模块2，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
计算模块5，用于计算根据座椅数量和人员数量计算车厢拥挤度；
判断模块3，根据车厢拥挤度判断车厢内的拥挤程度。
参见图16，所述VGG卷积神经网络模型包括七个卷积层、五个池化层以及一个全连接层，前五个卷积层与池化层之间呈一层卷积层一层池化层交替排布，第六卷积层设于第五池化层和第七卷积层之间，全连接层与第七卷积层相邻。具体地，第一卷积层采用64通道3×3的卷积核，第二卷积层采用128通道3×3的卷积核，第三卷积层采用128通道3×3的卷积核，第四卷积层采用512通道3×3的卷积核，第五卷积层采用512通道7×7的卷积核，第六卷积层采用4096通道1×1的卷积核，第七卷积层采用1000通道1×1的卷积核；前四个池化层最大池化核函数尺寸均为2×2，步长为2，第五池化层的核函数尺寸为7×7。在一具体实施中，所述全连接层采用卷积核为1×1的卷积层。使用1×1的卷积层代替全连接层可以避免全连接层对图像空间结构的破坏，不改变图形的空间结构。此外，全连接层的输入尺寸是固定的，它的参数的个数取决于图像的大小，而卷积层的输入尺寸是任意的，其参数的个数与输入图像的大小无关。使用使用1×1的卷积层代替全连接层还可以提高VGG卷积神经网络模型计算效率。
参见图13，所述头部检测网络模型包括：
卷积神经网络21，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络22，使特征图生成头部图像可能的候选区域；
关键特征抽取网络23，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络24，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
例如：对输入的1920x1080的监控图像，先经过缩放，以适应头部检测网络模型的输入。经过缩放的图像先经过卷积神经网络的卷积层提取特征，以输入图像512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入至候选框生成网络处理。候选框生成网络使用卷积网络生成的特征图，生成头部图像出现的可能的候选区域，关键特征抽取网络则利用候选框生成网络生成的候选区域从特征图中提取可能出现的头部图像特征生成固定大小的特征送入回归和分类网络作分类和回归，得到过道及车厢两端连接处的人员数量。
具体地，卷积神经网络的特征抽层使用Conv+ReLU+Pooling的结构，把图像抽象成一系列的特征图，特征图被共享用于后续网络处理。参见图14所示的卷积神经网络，由于经过了4层Pooling，一个MxNx3大小的输入图像，经过特征抽取，变为(M/16)x(N/16)x512的特征图。以输入图像为512x512为例，经过特征提取后，得到的特征图的尺寸为32x32x512，把得到的特征图输入给候选框生成网络处理。
候选框生成网络基于输入特征的大小生成一系列可能出现头部的位置，提供给关键特征抽取网络进一步判断。由于乘客和摄像头的距离关系，在成像中大小可能发生变化，卷积神经网络在处理多尺度上效果不是很好，因此采用关键特征抽取网络进行关键特征抽取操作，把可能出现头部的图片特征从特征层中抽取出来，送给后续的网络处理。将经过卷积神经网络生成的特征图导入候选框生成网络后，先经过一次3*3的卷积，这样做的目的是进一步集中特征信息，接着两个1x1的卷积神经网络，特征的输出宽高保持不变，做分类的特征(rpn_cls)的维度变为18，做回归的特征维度(rpn_bbox)为36。
关键特征抽取(ROI Pooling)网络通过接收特征图的数据和候选框生成网络的输出，生成固定大小的特征用于回归和分类网络的回归和分类。
回归和分类网络对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
本实施例上述装置，根据动车组车厢内的实际情况，只检测过道人数，避免了座椅遮挡对人员检测的影响，提高了车厢拥挤度的检测准确率。同时检测到的人员数量与视野中座椅数量相结合得出车厢拥挤度，不需要提前根据视野大小或车厢内乘客区域大小设置经验值，不收摄像机视野的影响。
上述实施例用来解释本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (14)

1.一种动车组车厢拥挤度检测方法，其特征在于，含有以下步骤：
获取车厢内监控视频图像；
采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
根据人员数量确定车厢内的拥挤程度。
2.如权利要求1所述的动车组车厢拥挤度检测方法，其特征在于，根据人员数量确定车厢内的拥挤程度的方法为：当车厢过道及车厢两端连接处的人员数量小于2人，车厢内不拥挤；当车厢过道及车厢两端连接处的人员数量为2-3人，车厢内轻度拥挤；当车厢过道及车厢两端连接处的人员数量为4-5，车厢内中度拥挤；当车厢过道及车厢两端连接处的人员数量为6人及以上，车厢内重度拥挤。
3.如权利要求1或2所述的动车组车厢拥挤度检测方法，其特征在于，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
4.一种动车组车厢拥挤度检测方法，其特征在于，含有以下步骤：
获取车厢内监控视频图像；
采用VGG卷积神经网络模型检测图像中的座椅并进行统计得到车厢内的座椅数量；
采用头部检测网络模型检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
根据座椅数量和人员数量计算车厢拥挤度，车厢拥挤度的计算公式表示为：
Figure FDA0002383029390000021
式中，c为车厢拥挤度，M为车厢内座椅数量，N为过道及车厢两端处人数之和；
根据车厢拥挤度确定车厢内的拥挤程度。
5.如权利要求4所述的动车组车厢拥挤度检测方法，其特征在于，根据车厢拥挤度确定车厢内的拥挤程度的方法为：当c<0.1时，车厢内不拥挤；当0.1≤c<0.2时，车厢内轻度拥挤；当0.2≤c<0.3时，车厢内中度拥挤；当0.3≤c时，车厢内重度拥挤。
6.如权利要求4或5所述的动车组车厢拥挤度检测方法，其特征在于，在动车组清客状态下，采用VGG卷积神经网络模型检测座椅数量。
7.如权利要求6所述的动车组车厢拥挤度检测方法，其特征在于，所述VGG卷积神经网络模型在训练是否为座椅时，采用的损失函数为交叉熵损失函数
Figure FDA0002383029390000022
Figure FDA0002383029390000023
式中，pi表示样本xi为座椅的可能性，
Figure FDA0002383029390000024
表示标注标签；
所述VGG卷积神经网络模型对于座椅区域进行位置回归时，采用的损失函数为平方差损失函数
Figure FDA0002383029390000025
Figure FDA0002383029390000026
式中，
Figure FDA0002383029390000027
表示VGG卷积神经网络模型预测得到的回归框，
Figure FDA0002383029390000028
表示座椅的标注框；
所述VGG卷积神经网络模型输出结构化的预测信息[C,Bx,By,H,W,…]，其中，C表示属于座椅的置信度，(Bx,By)表示座椅位置左上角的位置坐标，H表示座椅区域的长，W表示座椅区域的宽。
8.如权利要求4所述的动车组车厢拥挤度检测方法，其特征在于，所述头部检测网络模型对图像进行特征提取得到特征图，使特征图生成头部图像可能出现的候选区域，利用候选区域对特征图进行关键特征提取，把可能出现的头部图像特征抽取出来得到固定大小的特征，对关键特征提取后得到的特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
9.一种动车组车厢拥挤度检测装置，其特征在于，包括：
图像采集装置，用于采集车厢内的图像；
人员数量检测模块，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
判断模块，根据人员数量判断车厢内的拥挤程度。
10.一种动车组车厢拥挤度检测装置，其特征在于，包括：
图像采集装置，用于采集车厢内的图像；
座椅数量检测模块，设有VGG卷积神经网络模型，用于检测图像中的座椅并进行统计得到车厢内的座椅数量；
人员数量检测模块，设有头部检测网络模型，用于检测过道及车厢两端连接处的人员并进行统计得到过道及车厢两端连接处的人员数量；
计算模块，用于计算根据座椅数量和人员数量计算车厢拥挤度；
判断模块，根据车厢拥挤度判断车厢内的拥挤程度。
11.如权利要求9所述的动车组车厢拥挤度检测装置，其特征在于，所述VGG卷积神经网络模型包括七个卷积层、五个池化层以及一个全连接层，前五个卷积层与池化层之间呈一层卷积层一层池化层交替排布，第六卷积层设于第五池化层和第七卷积层之间，全连接层与第七卷积层相邻。
12.如权利要求10所述的动车组车厢拥挤度检测装置，其特征在于，第一卷积层采用64通道3×3的卷积核，第二卷积层采用128通道3×3的卷积核，第三卷积层采用128通道3×3的卷积核，第四卷积层采用512通道3×3的卷积核，第五卷积层采用512通道7×7的卷积核，第六卷积层采用4096通道1×1的卷积核，第七卷积层采用1000通道1×1的卷积核；前四个池化层最大池化核函数尺寸均为2×2，步长为2，第五池化层的核函数尺寸为7×7。
13.如权利要求10所述的动车组车厢拥挤度检测装置，其特征在于，所述全连接层采用卷积核为1×1的卷积层。
14.如权利要求9所述的动车组车厢拥挤度检测装置，其特征在于，所述头部检测网络模型包括：
卷积神经网络，用于对图像进行特征抽取，生成一系列的特征图；
候选框生成网络，使特征图生成头部图像可能的候选区域；
关键特征抽取网络，用于利用候选区域对特征图进行关键特征抽取，抽取可能出现的头部图像特征生成固定大小的特征；
回归和分类网络，用于对特征进行回归和分类，得到过道及车厢两端连接处的人员数量。
CN202010088881.2A 2020-02-12 2020-02-12 动车组车厢拥挤度检测方法及装置 Pending CN111339843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010088881.2A CN111339843A (zh) 2020-02-12 2020-02-12 动车组车厢拥挤度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010088881.2A CN111339843A (zh) 2020-02-12 2020-02-12 动车组车厢拥挤度检测方法及装置

Publications (1)

Publication Number Publication Date
CN111339843A true CN111339843A (zh) 2020-06-26

Family

ID=71186844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010088881.2A Pending CN111339843A (zh) 2020-02-12 2020-02-12 动车组车厢拥挤度检测方法及装置

Country Status (1)

Country Link
CN (1) CN111339843A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255480A (zh) * 2021-05-11 2021-08-13 中国联合网络通信集团有限公司 公交车内拥挤程度识别方法、系统、计算机设备及介质
CN113553921A (zh) * 2021-07-02 2021-10-26 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610400A (zh) * 2009-07-10 2009-12-23 重庆大学 长途客运车辆人员超载监控系统及监控方法
EP2738060A1 (en) * 2012-11-29 2014-06-04 Bombardier Transportation GmbH Passenger guidance system for guidance of passengers within a public transportation vehicle
CN106586738A (zh) * 2017-01-24 2017-04-26 沈阳建筑大学 一种基于视觉检测的多轿厢电梯调度方法
CN109815882A (zh) * 2019-01-21 2019-05-28 南京行者易智能交通科技有限公司 一种基于图像识别的地铁车厢客流密度监控系统及方法
CN110378258A (zh) * 2019-07-04 2019-10-25 上海眼控科技股份有限公司 一种基于图像的车辆座椅信息检测方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610400A (zh) * 2009-07-10 2009-12-23 重庆大学 长途客运车辆人员超载监控系统及监控方法
EP2738060A1 (en) * 2012-11-29 2014-06-04 Bombardier Transportation GmbH Passenger guidance system for guidance of passengers within a public transportation vehicle
CN106586738A (zh) * 2017-01-24 2017-04-26 沈阳建筑大学 一种基于视觉检测的多轿厢电梯调度方法
CN109815882A (zh) * 2019-01-21 2019-05-28 南京行者易智能交通科技有限公司 一种基于图像识别的地铁车厢客流密度监控系统及方法
CN110378258A (zh) * 2019-07-04 2019-10-25 上海眼控科技股份有限公司 一种基于图像的车辆座椅信息检测方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高华: "基于视频分析的公交车辆拥挤信息发布系统设计", 《工业控制计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255480A (zh) * 2021-05-11 2021-08-13 中国联合网络通信集团有限公司 公交车内拥挤程度识别方法、系统、计算机设备及介质
CN113553921A (zh) * 2021-07-02 2021-10-26 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法
CN113553921B (zh) * 2021-07-02 2022-06-10 兰州交通大学 一种基于卷积神经网络的地铁车厢拥挤度识别方法

Similar Documents

Publication Publication Date Title
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN112132789B (zh) 基于级联式神经网络的受电弓在线检测装置及方法
CN103745224B (zh) 基于图像的铁路接触网鸟窝异常情况检测方法
CN103793684B (zh) 用于全景式监控系统的检测障碍物的设备和方法
CN109685026B (zh) 一种驾驶员手持手机通话的实时监测方法
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN113159004B (zh) 轨道交通车厢客流估计方法
CN103985182A (zh) 一种公交客流自动计数方法及自动计数系统
CN111339843A (zh) 动车组车厢拥挤度检测方法及装置
CN106303158A (zh) 一种视频图像中的条纹异常检测方法
CN112700473B (zh) 一种基于图像识别进行车厢拥挤度判断系统
CN107273852A (zh) 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法
CN113012335A (zh) 一种基于YOLOv3人脸检测的地铁站台引导排队系统
CN105787438A (zh) 一种基于视频的机车司机值乘状态检测方法及系统
CN106254864A (zh) 监控视频中的雪花和噪点噪声检测方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN113553921B (zh) 一种基于卷积神经网络的地铁车厢拥挤度识别方法
CN115272850A (zh) 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN111079488B (zh) 一种基于深度学习的公交客流检测系统及方法
CN114724094A (zh) 一种基于三维图像与雷达技术的闸道口车内人数计量系统
CN113486712B (zh) 一种基于深度学习的多人脸识别方法、系统和介质
CN117116046A (zh) 一种基于单阶段目标检测的交通常见事件检测方法
Sheng et al. A faster R-CNN based high-normalization sample calibration method for dense subway passenger flow detection
CN106919889B (zh) 对视频图像中的人头进行检测的方法和装置
CN115171059A (zh) 基于改进YOLOv5网络模型的车辆感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication