CN106548451A - 一种客车客流拥挤度计算方法和装置 - Google Patents

一种客车客流拥挤度计算方法和装置 Download PDF

Info

Publication number
CN106548451A
CN106548451A CN201610899819.5A CN201610899819A CN106548451A CN 106548451 A CN106548451 A CN 106548451A CN 201610899819 A CN201610899819 A CN 201610899819A CN 106548451 A CN106548451 A CN 106548451A
Authority
CN
China
Prior art keywords
image
car
vehicle
human body
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610899819.5A
Other languages
English (en)
Inventor
邢江
张希
张如礁
杨金东
牟三钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Qingdao Hisense Network Technology Co Ltd
Original Assignee
Qingdao Hisense Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Network Technology Co Ltd filed Critical Qingdao Hisense Network Technology Co Ltd
Priority to CN201610899819.5A priority Critical patent/CN106548451A/zh
Publication of CN106548451A publication Critical patent/CN106548451A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种客车客流拥挤度计算方法及装置，该方法包括：获取客车车辆内至少两个摄像头分别采集到的图像，对采集到的图像进行拼接形成车辆内的全景图像，针对所述全景图像进行人体识别和计数，所述计数结果用于进行客车流量分析。本发明实施例中根据图像坐标变换矩阵对多个摄像头采集到的图像进行拼接，确定出车内的全景图像，然后对车内全景图像进行人体检测确定车内所有人数，由于根据全景图像中检测到的乘客数量对车辆客流拥挤程度进行分析，而不是通过上下车门乘客的累计差进行统计，从而避免了累计误差，提高了统计精度。

Description

一种客车客流拥挤度计算方法和装置
技术领域
本发明实施例涉及公交客流检测技术领域，尤其涉及一种客车客流拥挤度计算方法和装置。
背景技术
城市公共交通系统是城市交通运输体系的重要构成部分，它具有环境污染小、集体化经营、运输量大、节省能源和道路空间等优点，因此国内外各大城市都相继采取了公交优先、公交专用车道等措施，进而推动城市公共交通的信息智能化建设；而车辆管理部门如何及时准确地获取管辖车辆的客流数据，决定了其是否能够合理安排线路、优化调度计划。目前车辆客流检测的方法较多，且部分方法已运用在公交客流检测中，包括基于IC(Integrated Circuit，集成电路)卡信息检测方法、基于视频监控跟踪的检测方法等。基于IC卡信息检测方法的原理为：乘客上车打卡，下车打卡，通过两次打卡乘客数量的差获得站点的净上车人数，但该方法无法统计投币的乘客，对车辆客流统计不够全面，存在累计误差；基于视频监控跟踪的检测方法的原理为：首先获取上车门与下车门处的视频，通过人体检测算法检测出乘客，并跟踪乘客的移动方向，判断是否通过分隔线，确定出乘客是上车还是下车，最终确定出站点的净上车人数，由于乘客的移动存在很大的随机性，会出现乘客反复经过分隔线，造成车内有很多乘客的假象，所以该方法在统计车辆客流时仍然存在累计误差，难以得到广泛的应用。
发明内容
本发明实施例提供一种客车客流拥挤度计算方法和装置，用以解决现有技术中车辆客流统计方法存在客流累计误差的问题。
本发明实施例提供了一种客车客流拥挤度计算方法，包括：
获取客车车辆内至少两个摄像头分别采集到的图像；
对采集到的图像进行拼接形成车辆内的全景图像；
针对全景图像进行人体识别和计数，计数结果用于进行客车流量分析。
可选地，对所述采集到的图像进行拼接形成车辆内的全景图像之前，还包括：
获取车内至少两个摄像头采集的初始图像，车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的；
根据车内至少两个摄像头采集的初始图像，通过SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法构建高斯尺度空间；
提取出高斯尺度空间中车内至少两个摄像头采集的初始图像的特征点对；
通过RANSAC(RANdom Sample Consensus，随机抽样一致性)算法对车内至少两个摄像头采集的初始图像的特征点对进行提纯，确定图像坐标变换矩阵。
可选地，对采集到的图像进行拼接形成车辆内的全景图像，包括：
采集到的图像为img1，img2，……，imgn；n为正整数；
图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm；m＝n-1；
根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1；
根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2；
依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的车辆内的全景图像。
可选地，还包括：
接收图像坐标变换矩阵的更新指令；
根据图像坐标变换矩阵的更新指令，在车辆静止时更新图像变换矩阵。
可选地，针对全景图像进行人体识别和计数，包括：
提取全景图像中人体头部的边缘特征；
根据边缘特征求取人体头部的拟合轮廓；
对人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓；
检测人体头部最优轮廓的个数确定出车内乘客的数量。
可选地，，提取全景图像中人体头部的边缘特征，包括：
依据Canny(边缘检测算子)算法提取全景图像中人体头部的边缘特征；
根据边缘特征求取人体头部的拟合轮廓，包括：
采用基于梯度信息圆检测Hough(霍夫)变换对边缘特征求取人体头部的拟合轮廓。
相应地，本发明实施例还提供了一种客车客流拥挤度计算装置，包括：
获取模块，用于获取客车车辆内至少两个摄像头分别采集到的图像；
拼接模块，用于对采集到的图像进行拼接形成车辆内的全景图像；
检测模块，用于针对全景图像进行人体识别和计数，计数结果用于进行客车流量分析。
可选地，拼接模块还用于：
获取车内至少两个摄像头采集的初始图像，车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的；
根据车内至少两个摄像头采集的初始图像，通过SIFT算法构建高斯尺度空间；
提取出高斯尺度空间中车内至少两个摄像头采集的初始图像的特征点对；
通过RANSAC算法对至少两个摄像头采集的初始图像的特征点对进行提纯，确定图像坐标变换矩阵。
可选地，拼接模块具体用于：
采集到的图像为img1，img2，……，imgn；n为正整数；
图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm；m＝n-1；
根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1；
根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2；
依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的车辆内的全景图像。
可选地，拼接模块还用于：
接收图像坐标变换矩阵的更新指令；
根据图像坐标变换矩阵的更新指令，在车辆静止时更新图像变换矩阵。
可选地，检测模块具体用于：
提取全景图像中人体头部的边缘特征；
根据边缘特征求取人体头部的拟合轮廓；
对人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓；
检测人体头部最优轮廓的个数确定出车内乘客的数量。
可选地，检测模块具体用于：
依据Canny算法提取全景图像中人体头部的边缘特征；
采用基于梯度信息圆检测Hough变换对边缘特征求取人体头部的拟合轮廓。
本发明实施例表明，获取客车车辆内至少两个摄像头分别采集到的图像，对采集到的图像进行拼接形成车辆内的全景图像，针对全景图像进行人体识别和计数，计数结果用于进行客车流量分析。本发明实施例中为了检测车内所有的乘客，故采用车辆内至少两个摄像头对车内的所有区域进行拍摄，由于相邻两摄像头所拍摄的区域存在重叠区域，对各摄像头检测到的乘客人数直接相加会存在误差，故对采集到的图像进行拼接形成车辆内的全景图像，然后对车内全景图像进行人体检测确定车内所有人数，由于根据全景图像中检测到的乘客数量对车辆客流拥挤程度进行分析，而不是通过上下车门乘客的累计差进行统计，从而避免了累计误差，提高了统计精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例提供的一种客车客流拥挤度计算方法的流程示意图；
图2为本发明实施例提供的摄像头拍摄区域的示意图；
图3为本发明实施例提供的图像高斯尺度空间的示意图；
图4为本发明实施例提供的一种图像拼接过程的示意图；
图5为本发明实施例提供的一种全景图像进行人体检测的示意图；
图6为本发明实施例提供的另一种客车客流拥挤度计算方法的流程示意图；
图7为本发明实施例提供的一种客车客流拥挤度计算装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示例性示出了本发明实施例提供的一种客车客流拥挤度计算方法的流程，该流程可以由客车客流拥挤度计算装置执行。
如图1所示，该流程的具体步骤包括：
步骤S101，获取客车车辆内至少两个摄像头分别采集到的图像。
步骤S102，对采集到的图像进行拼接形成车辆内的全景图像。
步骤S103，针对全景图像进行人体识别和计数。
具体的，在步骤S101中，该车内多个摄像头采集到的图像为车辆行驶过程中通过位于车内顶部的多个摄像头拍摄的。为了拍摄到车内所有的乘客，所安装的车内多个摄像头必须覆盖车内所有的区域，车内安装摄像头的个数根据车辆大小以及车内结构确定，一般车内需安装2个或2个以上的摄像头可覆盖所有的区域。摄像头可安装在车顶，垂直拍摄车内乘客信息，如图2所示，摄像头A、B、C安装在车顶，摄像头A、B、C对应的成像区域分别是区域a、区域b、区域c，需要说明的是摄像头安装的位置并不限于车顶，可以是车内其它位置。获取各摄像头采集到的图像的时间可根据具体情况由司机或车辆管理人员设定。
在步骤S102中，为使安装的摄像头所拍摄的区域能够覆盖车内所有区域，很难保证相邻摄像头拍摄区域刚好相接，而不存在重叠区域，所以步骤S101中获得的图像之间存在重叠区域，若对存在重叠区域的视频图像分别进行人体检测，并将检测的乘客的总数直接相加，这必然对重叠区域的乘客做了重复的相加，如图2所示，摄像头A、B拍摄区域a、b存在重叠区域，且重叠区域内存在乘客，若将区域a、b中的乘客数量相加，则增加了乘客的数量，故需对采集到的图像进行拼接形成车辆内的全景图像。在对采集到的图像进行拼接前，需求取图像坐标变换矩阵。图像坐标变换矩阵的作用为对各图像中的像素坐标进行调整，使得各图像的坐标统一，通用的坐标变换公式为式(1)：
其中，u、v是原始图像坐标，图像坐标变换矩阵为对应得到变换后的图像坐标为x'、y'，其中x'、y'计算公式分别为式(2)和式(3)：
根据式(2)和式(3)可以看出，可以根据原始图像的坐标和变换后图像的坐标求取图像坐标变换矩阵，求取图像坐标变换矩阵时只需求解8个未知数，则可通过获得原始图像和变换后图像中的4组坐标求解图像坐标变换矩阵。
在具体实施中，图像变换矩阵求取过程受乘客的影响大，车内有乘客时容易产生误差，因此需在始发站启动并且开启摄像头时获取车内至少两个摄像头采集的初始图像，根据采集的初始图像确定图像坐标变换矩阵，具体为先获取车内至少两个摄像头采集的初始图像，车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的。然后根据采集的初始图像，通过SIFT算法构建高斯尺度空间。再提取出高斯尺度空间中采集的初始图像的特征点对。最后通过RANSAC算法对采集的初始图像的特征点对进行提纯，确定图像坐标变换矩阵。
本发明实施例中涉及多个摄像头，多个摄像头中相邻摄像头采集的图像进行拼接时都需要用到图像坐标变换矩阵，因此需要求出各摄像头中相邻摄像头的图像坐标变换矩阵，下面以前两个摄像头采集的初始图像为例介绍图像坐标变换矩阵的求取过程。
设定前两个摄像头采集的初始图像分别为初始图像1和初始图像2，通过SIFT算法构建初始图像的高斯尺度空间，初始图像1、初始图像2及其他初始图像构建高斯尺度空间的方法相同，以初始图1为例介绍，具体过程为：
设初始图像1像素点坐标方程为I(x,y)，则该初始图像1的高斯尺度空间表达式如式(4)，相邻高斯尺度图像相减得到高斯一阶差分图像，计算公式如式(5)。
L(x,y,σ)＝G(x,y,σ)*I(x,y)…………………………(4)
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,kσ)-L(x,y,σ) ……(5)
其中G(x,y,σ)为高斯核函数，*表示卷积，σ表示尺度因子，k为相邻尺度空间的倍数，
在建立高斯尺度空间时，首先利用具有不同σ的高斯核函数对初始图像1进行卷积操作，从而得到初始图像1的在不同尺度下的高斯模糊图，计算公式如式(4)，将得到的一系列的高斯模糊图作为高斯金字塔空间中的第一阶。然后同一阶中相邻的高斯图像相减得到同阶的高斯一阶差分图像，计算公式如式(5)。接下来对第一阶中2倍像素距离的高斯图像进行降采样，得到第二阶高斯图像中的第一层图像，再对该初始图像1进行不同σ的高斯函数卷积，得到第二阶高斯图像，同样本阶相邻的高斯图像相减等到了对应的高斯一阶差分图像，以此类推，就能得到后续的几阶高斯图像及高斯一阶差分图像。
构建初始图像的高斯尺度空间后，提取出高斯尺度空间中初始图像1和初始图像2的特征点对，具体过程为：
首先分别检测初始图像1和初始图像2中特征点并对特征点进行定位，特征点的寻找即同一阶高斯一阶差分图像空间中查找极值点的过程，由本层8邻域和上下两层9邻域的像素点进行逐次比较求得。如图3所示，在高斯一阶差分图像空间中，搜索一般从每阶的第二层高斯差分图像开始，以其为当前层，然后对同尺度下的8邻域点及上下两层(第一层和第三层)的9×2个邻域点进行比较搜索。当第二层中的所有像素点都检测完后，将当前层移至第三层，而后检测候选极值点的过程与第二层检测过程一致。通过高斯一阶差分图像空间提取出初始图像1和初始图像2的特征点后，将特征点生成128维特征描述符，当初始图像1中的特征点与初始图像2中的特征点描述符矢量间距离小时，则认为这两个特征点对应的图像场景中的相同位置，反之距离大，则不为同一位置。根据这一原则，本文利用最小和次小欧式距离来对特征点进行粗匹配，通过式(6)计算并找出最小距离Dmin和次小距离Dscn，计算比值R＝Dmin/Dscn，当R小于某一阈值时，对应的两特征点为匹配点，并提取出对应两特征点作为两图像之间的特征点对，其中阈值可以根据具体情况设定。
其中，X2i[j]表示初始图像1中的第i个特征点的特征向量，X1i[j]表示初始图像2中的第i个特征点向量，D表示欧氏距离。
提取出高斯尺度空间中初始图像1和初始图像2的特征点对后，使用RANSAC算法进行特征点对的提纯，消除误匹配。具体步骤为：第一步，随机选取初始图像1和初始图像2中4组特征点用来计算图像坐标变换矩阵，得到图像坐标变换矩阵后再计算剩余的特征点的距离，判断距离是否在误差门限范围内，误差门限范围根据具体情况设定。根据误差门限来判定特征点对是否为图像坐标变换矩阵的内点(即正确的特征点对)。第二步，选择包含内点数目最多的一个集合重新计算图像坐标变换矩阵，并用最小二乘法来最小化误差，去掉少数的外点(即误匹配点对)后计算新的内点集合的平均误差。第三步，重复第一、二步直至达到理想效果，选择平均误差最小的内点集合计算最终的图像坐标变换矩阵H1。
求取得到的图像坐标变换矩阵H1为初始图像1和初始图像2之间的变换矩阵，在求取其它的图像坐标变换矩阵时，采用的方法与H1的求取方法相同，此处不再赘述。通过获取初始图像求取所有的图像坐标变换矩阵之后，可将求取的图像坐标变换矩阵作为一项参数自动保存在车辆的配置文件中，不需要重复求取，若摄像头位置和角度在车辆行驶过程中发生了变化，并导致拼接结果有很大误差，可由司机或车辆管理人员设置重新求取；也可以设置在一定周期内重新求取，周期可根据实际情况设定。可选地，在接收图像坐标变换矩阵的更新指令后，根据图像坐标变换矩阵的更新指令，在车辆静止时更新图像变换矩阵。
本发明实施例中根据摄像头拍摄的初始图像确定图像坐标变换矩阵，由于此时车内几乎没有乘客，从而使得配准精度高；由于在图像坐标变换矩阵求取一次后进行保存，车辆行驶过程中可直接使用，从而避免车载终端复杂的运算，提高业务效率；在车辆行驶过程中根据当前图像拼接的效果重新求取图像变换矩阵，从而保障车辆行驶全程中图像拼接的精度。
在确定图像坐标变换矩阵后，就可以根据图像坐标变换矩阵对采集到的图像进行拼接，确定出车内的全景图像，具体为：
采集到的图像为img1，img2，……，imgn，图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm。根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1，根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2，依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的车辆内的全景图像。其中，n为正整数，m＝n-1。
具体实施中，在车辆进站时，乘客会上下车，此时车内乘客的数量存在变动，车内乘客数量不稳定，很难精确计算车厢内乘客数目，因此选择车辆离站后获取多个摄像头采集的图像，此时统计更为方便。设定车内只有三个摄像头，分别为摄像头1、摄像头2和摄像头3，下面以摄像头1、摄像头2和摄像头3拍摄到的单帧图像为例介绍确定车内全景图像的过程，图4示例性示出了图像拼接过程的示意图，如图4所示，包括以下步骤：
步骤S401，获取摄像头1采集到的单帧图像img1。
步骤S402，获取摄像头2采集到的单帧图像img2。
步骤S403，通过图像坐标变换矩阵H1对图像img1和图像img2进行坐标变换。
步骤S404，采用渐入渐出融合算法对变换坐标后的图像img1和图像img2进行融合得到拼接图像1。
步骤S405，获取摄像头3采集到的单帧图像img3。
步骤S406，通过图像坐标变换矩阵H2对拼接图像1和图像img3进行坐标变换。
步骤S407，采用渐入渐出融合算法对变换坐标后的拼接图像1和图像img3进行融合得到拼接图像2。
上述例子中最终得到的拼接图像2即为车内全景图像，需要说明的是车内摄像头并不限于三个，当车内的摄像头至少为两个时，确定全景图像的方法和上述方法相同，另外在图像拼接过程中使用的融合算法并不限于渐入渐出融合算法，可以采用其他的融合算法。
在步骤S103中，针对全景图像进行人体识别和计数。
可选地，本发明实施例提供了一种针对全景图像进行人体识别和计数的方法，包括：提取全景图像中人体头部的边缘特征。根据边缘特征求取人体头部的拟合轮廓。对人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓。检测人体头部最优轮廓的个数确定出车内乘客的数量。
进一步地，在提取全景图像中人体头部的边缘特征时，可以依据Canny算法提取车辆全景图像中人体头部的边缘特征，而在求取人体头部的拟合轮廓时，可以采用基于梯度信息圆检测Hough变换对边缘特征求取人体头部的拟合轮廓。
具体实施中，在对全景图像进行人体检测时，可检测人体的头部特征、肩部特征或者头肩部特征等。下面以检测全景图像A中人体头部特征为例介绍人体检测的过程，并根据检测结果确定车内乘客数量，全景图像A的原始图像如图5中的(a)所示。
首先通过Canny边缘检测算法、图像边缘细化提取全景图像A中的人体头部的边缘特征，经Canny边缘检测与边缘细化处理后得到边缘图像B，如图5中的(b)所示。由先验知识可知，当摄像头垂直对车内乘客进行拍摄时，人的头部为圆形或椭圆形，因此根据边缘特征求取人体头部的拟合轮廓时主要是为对类圆形或类椭圆的检测。设A(xA,yA)为边缘图像B中圆形边界上的某个点，则它的法向量是己知的(方向指向圆心)，方向角设为θn，当半径为r时，其对应的参数空间的圆心坐标(xC,yc)的计算公式为：
由于边缘点的灰度梯度方向θg与该点的法线方向θn是密切相关的，一般来讲，它们具有以下关系:
(1)边缘点对应的圆形目标在图像中的颜色比背景颜色深，此时梯度方向与法线方向相反，即θg＝θn±π。
(2)边缘点对应的圆形目标在图像中的颜色比背景颜色浅，此时梯度方向与法线方向相同，即θg＝θn。
在车内拍摄的图像中人体头发颜色一般比背景颜色深，因此取：θg＝θn±π，将θg带入式(7)中可得对应的参数空间的圆心坐标(xC,yc)的计算公式为：
由于图像中圆周上一点并沿梯度方向的直线必经过圆心，则同一圆周上的点的梯度方向线的公共交点即为圆心，采用二维的Hough变换对边缘图像B中所有边缘点沿过梯度方向的直线进行累积，并求取局部极值可得图像中所有可能的候选圆心。为获取圆心所确定的圆的半径，分别计算图像中所有的边缘点到该圆心的距离，并在该圆心对应的半径直方图中进行累积，对所有边缘点累积结束后，对半径直方图进行极值搜索，若存在极值，则极值位置所在的距离就是该圆的半径。若不存在明显极值，则该圆心为虚假圆心，从候选圆心中删除，采用基于梯度信息圆检测Hough变换求得的人体头部拟合轮廓如图5中的(c)所示。由图5中的(c)可以看出，求取得到的单个人体头部的拟合轮廓有多个，直接统计会存在很大误差，从而需对人体头部轮廓进行优化，优化的过程包括以下步骤：
步骤1，采用灰度判决器FG对虚假头部轮廓去除，其中FG＝THG-μG，μG为候选头部轮廓的内部灰度置信度，THG为灰度判决器阈值，本发明实施中THG＝0.91，灰度判决器处理结果如图5中的(d)所示。
步骤2，采用共圆判决器Fc拟合头部轮廓内部过小的虚假轮廓，其中Fc＝μc-TH，μc为共圆置信度，THc为共圆判决器的判决阈值，本发明实施例中THc＝0.62，共圆判决器处理结果如图5中的(e)所示。
步骤3，采用最大最小距离法对去除虚假轮廓的轮廓图像进行聚类处理，采用最大最小距离法聚类处理结果如图5中的(f)所示。通过统计图5中的(f)中圆圈的个数可以得到全景图像A中乘客的数量。
根据车内乘客的数量进行客车流量分析。具体实施中，通过统计全景图像中检测的圆圈的个数确定车内乘客的数目，并以乘客数量为依据对客流拥挤度进行划分。例如设M为车辆标准载客人数，x为检测的乘客人数，λ为调整参数，其中M与λ可根据具体情况进行设定。表1示例性示出了车辆拥挤度划分示例。
表1车辆拥挤度划分示例
x＜M M≤x＜(1+λ)M (1+λ)M≤x＜(1+2λ)M x＞(1+2λ)M
有座 无座不拥挤 较为拥挤 十分拥挤
如表1所示，根据检测得到的乘客数量和车辆标准载客人数将车内拥挤程度划分为四个情况，分别是有座、无座不拥挤、较为拥挤以及十分拥挤。需要说明的是，在对车辆拥挤程度进行划分时并不限于表1中四种情况，根据具体情况可对车辆拥挤程度进行其他划分。如此，本发明实施中，通过对车辆行驶过程中的车内客流拥挤程度进行划分并分析，从而使车辆管理部门能实时掌握真实的车辆运营情况，并制定科学的调度方案。
为了更好的解释本发明实施例，下面通过具体的实施场景描述本发明实施例提供的一种客车客流拥挤度计算方法的流程。
如图6所示，该方法包括以下步骤：
步骤S601，获取车内多个摄像头的初始图像。
步骤S602，根据初始图像求取摄像头间的图像坐标变换矩阵并保存。
步骤S603，查看车辆的GPS或检测车辆车门状态。
步骤S604，判断车辆是否离站，若是，则执行步骤S604，否则执行步骤S603；
步骤S605，获取车内多个摄像头的待拼接图像。
步骤S606，根据图像坐标变换矩阵进行图像拼接求取车内全景图像。
步骤S607，对全景图像进行人体检测并统计乘客数量。
步骤S608，根据统计得到的乘客人数对车辆拥挤程度进行分析。
从上述内容可以看出，本发明实施例提供一种客车客流拥挤度计算方法和装置，获取客车车辆内至少两个摄像头分别采集到的图像，对采集到的图像进行拼接形成车辆内的全景图像，针对全景图像进行人体识别和计数，计数结果用于进行客车流量分析。本发明实施例中为了检测车内所有的乘客，故采用车辆内至少两个摄像头对车内的所有区域进行拍摄，由于相邻两摄像头所拍摄的区域存在重叠区域，对各摄像头检测到的乘客人数直接相加会存在误差，故对采集到的图像进行拼接形成车辆内的全景图像，然后对车内全景图像进行人体检测确定车内所有人数，由于根据全景图像中检测到的乘客数量对车辆客流拥挤程度进行分析，而不是通过上下车门乘客的累计差进行统计，从而避免了累计误差，提高了统计精度。
基于相同的技术构思，图7示例性示出了本发明实施例提供的一种客车客流拥挤度计算装置的结构示意图。
基于相同构思，图7示例性的示出了本发明实施例提供的一种客车客流拥挤度计算装置的结构，该装置可以执行客车客流拥挤度计算的流程。
如图7所示，该装置包括：
获取模块701，用于获取客车车辆内至少两个摄像头分别采集到的图像；
拼接模块702，用于对采集到的图像进行拼接形成车辆内的全景图像；
检测模块703，用于针对全景图像进行人体识别和计数，计数结果用于进行客车流量分析。
可选的，拼接模块702还用于：
获取车内至少两个摄像头采集的初始图像，车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的；
根据车内至少两个摄像头采集的初始图像，通过SIFT算法构建高斯尺度空间；
提取出高斯尺度空间中车内至少两个摄像头采集的初始图像的特征点对；
通过RANSAC算法对车内至少两个摄像头采集的初始图像的特征点对进行提纯，确定图像坐标变换矩阵。
可选的，拼接模块702具体用于：
采集到的图像为img1，img2，……，imgn；n为正整数；
图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm；m＝n-1；
根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1；
根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2；
依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的车辆内的全景图像。
可选的，拼接模块702还用于：
接收图像坐标变换矩阵的更新指令；
根据图像坐标变换矩阵的更新指令，在车辆静止时更新图像变换矩阵。
可选的，检测模块703具体用于：
提取全景图像中人体头部的边缘特征；
根据边缘特征求取人体头部的拟合轮廓；
对人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓；
检测人体头部最优轮廓的个数确定出车内乘客的数量。
可选的，检测模块703具体用于：
依据Canny算法提取全景图像中人体头部的边缘特征；
采用基于梯度信息圆检测Hough变换对边缘特征求取人体头部的拟合轮廓。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种客车客流拥挤度计算方法，其特征在于，包括：
获取客车车辆内至少两个摄像头分别采集到的图像；
对所述采集到的图像进行拼接形成车辆内的全景图像；
针对所述全景图像进行人体识别和计数，所述计数结果用于进行客车流量分析。
2.如权利要求1所述的方法，其特征在于，对所述采集到的图像进行拼接形成车辆内的全景图像之前，还包括：
获取车内至少两个摄像头采集的初始图像，所述车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的；
根据所述车内至少两个摄像头采集的初始图像，通过SIFT算法构建高斯尺度空间；
提取出所述高斯尺度空间中所述车内至少两个摄像头采集的初始图像的特征点对；
通过RANSAC算法对所述车内至少两个摄像头采集的初始图像的特征点对进行提纯，确定所述图像坐标变换矩阵。
3.如权利要求2所述的方法，其特征在于，对所述采集到的图像进行拼接形成车辆内的全景图像，包括：
所述采集到的图像为img1，img2，……，imgn；n为正整数；
所述图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm；m＝n-1；
根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1；
根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2；
依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的所述车辆内的全景图像。
4.如权利要求2所述的方法，其特征在于，还包括：
接收所述图像坐标变换矩阵的更新指令；
根据所述图像坐标变换矩阵的更新指令，在所述车辆静止时更新所述图像变换矩阵。
5.如权利要求1所述的方法，其特征在于，所述针对所述全景图像进行人体识别和计数，包括：
提取所述全景图像中人体头部的边缘特征；
根据所述边缘特征求取人体头部的拟合轮廓；
对所述人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓；
检测所述人体头部最优轮廓的个数确定出车内乘客的数量。
6.如权利要求5所述的方法，其特征在于，所述提取所述全景图像中人体头部的边缘特征，包括：
依据Canny算法提取所述全景图像中人体头部的边缘特征；
所述根据所述边缘特征求取人体头部的拟合轮廓，包括：
采用基于梯度信息圆检测Hough变换对所述边缘特征求取人体头部的拟合轮廓。
7.一种客车客流拥挤度计算装置，其特征在于，包括：
获取模块，用于获取客车车辆内至少两个摄像头分别采集到的图像；
拼接模块，用于对所述采集到的图像进行拼接形成车辆内的全景图像；
检测模块，用于针对所述全景图像进行人体识别和计数，所述计数结果用于进行客车流量分析。
8.如权利要求7所述的装置，其特征在于，所述拼接模块还用于：
获取车内至少两个摄像头采集的初始图像，所述车内至少两个摄像头采集的初始图像为车辆未载客时拍摄的；
根据所述车内至少两个摄像头采集的初始图像，通过SIFT算法构建高斯尺度空间；
提取出所述高斯尺度空间中所述车内至少两个摄像头采集的初始图像的特征点对；
通过RANSAC算法对所述车内至少两个摄像头采集的初始图像的特征点对进行提纯，确定所述图像坐标变换矩阵。
9.如权利要求8所述的装置，其特征在于，所述拼接模块具体用于：
所述采集到的图像为img1，img2，……，imgn；n为正整数；
所述图像坐标变换矩阵包括多个子图像坐标变换矩阵，分别为H1，H2，……，Hm；m＝n-1；
根据H1将img1和img2进行坐标变换，得到拼接后的子拼接图像1；
根据H2将子拼接图像1和img3进行坐标变换，得到拼接后的子拼接图像2；
依次根据H3，……，Hm将子拼接图像2以及剩余图像进行坐标变换，得到拼接后的所述车辆内的全景图像。
10.如权利要求8所述的装置，其特征在于，所述拼接模块还用于：
接收所述图像坐标变换矩阵的更新指令；
根据所述图像坐标变换矩阵的更新指令，在所述车辆静止时更新所述图像变换矩阵。
11.如权利要求7所述的装置，其特征在于，所述检测模块具体用于：
提取所述全景图像中人体头部的边缘特征；
根据所述边缘特征求取人体头部的拟合轮廓；
对所述人体头部的拟合轮廓进行优化，去除虚假的人体头部的拟合轮廓，确定出人体头部最优轮廓；
检测所述人体头部最优轮廓的个数确定出车内乘客的数量。
12.如权利要求11所述的装置，其特征在于，所述检测模块具体用于：
依据Canny算法提取所述全景图像中人体头部的边缘特征；
采用基于梯度信息圆检测Hough变换对所述边缘特征求取人体头部的拟合轮廓。
CN201610899819.5A 2016-10-14 2016-10-14 一种客车客流拥挤度计算方法和装置 Pending CN106548451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610899819.5A CN106548451A (zh) 2016-10-14 2016-10-14 一种客车客流拥挤度计算方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610899819.5A CN106548451A (zh) 2016-10-14 2016-10-14 一种客车客流拥挤度计算方法和装置

Publications (1)

Publication Number Publication Date
CN106548451A true CN106548451A (zh) 2017-03-29

Family

ID=58368834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610899819.5A Pending CN106548451A (zh) 2016-10-14 2016-10-14 一种客车客流拥挤度计算方法和装置

Country Status (1)

Country Link
CN (1) CN106548451A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423681A (zh) * 2017-05-27 2017-12-01 上海骁达信息科技有限公司 一种车型自动识别方法及系统
CN108470464A (zh) * 2018-03-13 2018-08-31 内蒙古天之风信息科技有限责任公司 公交服务系统及其乘客人数采集装置、电子站牌
CN108615020A (zh) * 2018-04-28 2018-10-02 东莞市华睿电子科技有限公司 一种视频监控区域内的流动人数统计方法
CN108647615A (zh) * 2018-04-28 2018-10-12 东莞市华睿电子科技有限公司 一种电影院逃票预警的实现方法
CN109272442A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 全景球面图像的处理方法、装置、设备和存储介质
CN109598257A (zh) * 2018-12-28 2019-04-09 福建工程学院 一种均衡地铁车厢载客量的引导方法及系统
CN109919064A (zh) * 2019-02-27 2019-06-21 湖南信达通信息技术有限公司 一种轨道交通车厢内实时人数统计方法和装置
CN110276719A (zh) * 2018-03-14 2019-09-24 北京三快在线科技有限公司 一种全景图像的生成方法及装置、电子设备
CN110458056A (zh) * 2019-07-29 2019-11-15 交控科技股份有限公司 列车车厢拥挤度检测方法及装置
CN110852155A (zh) * 2019-09-29 2020-02-28 深圳市深网视界科技有限公司 公交乘客拥挤度检测方法、系统、装置及存储介质
CN111508229A (zh) * 2020-04-01 2020-08-07 辽宁百思特达半导体科技有限公司 一种基于智慧城市的公共安全防护报警装置
CN111738125A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 客户人数确定方法及装置
CN111869198A (zh) * 2018-03-15 2020-10-30 株式会社村上开明堂 合成影像制作装置、合成影像制作方法以及合成影像制作程序
CN111860261A (zh) * 2020-07-10 2020-10-30 北京猎户星空科技有限公司 一种客流值的统计方法、装置、设备及介质
CN113129583A (zh) * 2019-12-31 2021-07-16 浙江宇视科技有限公司 一种乘车方法和乘车系统
CN115527180A (zh) * 2022-11-03 2022-12-27 北京贝能达信息技术股份有限公司 一种基于图像识别技术的车厢拥挤度识别系统
JP7465663B2 (ja) 2020-01-29 2024-04-11 コイト電工株式会社 計測装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847206A (zh) * 2010-04-21 2010-09-29 北京交通大学 基于交通监控设施的行人流量统计方法与系统
CN103345792A (zh) * 2013-07-04 2013-10-09 南京理工大学 基于传感器景深图像的客流统计装置及其方法
CN105426859A (zh) * 2015-12-01 2016-03-23 东华大学 一种学校运动场使用情况智能监控统计系统
CN105512720A (zh) * 2015-12-15 2016-04-20 广州通达汽车电气股份有限公司 一种公交车辆客流统计方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847206A (zh) * 2010-04-21 2010-09-29 北京交通大学 基于交通监控设施的行人流量统计方法与系统
CN103345792A (zh) * 2013-07-04 2013-10-09 南京理工大学 基于传感器景深图像的客流统计装置及其方法
CN105426859A (zh) * 2015-12-01 2016-03-23 东华大学 一种学校运动场使用情况智能监控统计系统
CN105512720A (zh) * 2015-12-15 2016-04-20 广州通达汽车电气股份有限公司 一种公交车辆客流统计方法和系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423681A (zh) * 2017-05-27 2017-12-01 上海骁达信息科技有限公司 一种车型自动识别方法及系统
CN108470464A (zh) * 2018-03-13 2018-08-31 内蒙古天之风信息科技有限责任公司 公交服务系统及其乘客人数采集装置、电子站牌
CN110276719A (zh) * 2018-03-14 2019-09-24 北京三快在线科技有限公司 一种全景图像的生成方法及装置、电子设备
CN111869198B (zh) * 2018-03-15 2021-12-14 株式会社村上开明堂 合成影像制作装置、合成影像制作方法以及记录介质
CN111869198A (zh) * 2018-03-15 2020-10-30 株式会社村上开明堂 合成影像制作装置、合成影像制作方法以及合成影像制作程序
CN108615020A (zh) * 2018-04-28 2018-10-02 东莞市华睿电子科技有限公司 一种视频监控区域内的流动人数统计方法
CN108647615A (zh) * 2018-04-28 2018-10-12 东莞市华睿电子科技有限公司 一种电影院逃票预警的实现方法
CN109272442A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 全景球面图像的处理方法、装置、设备和存储介质
CN109598257A (zh) * 2018-12-28 2019-04-09 福建工程学院 一种均衡地铁车厢载客量的引导方法及系统
CN109919064A (zh) * 2019-02-27 2019-06-21 湖南信达通信息技术有限公司 一种轨道交通车厢内实时人数统计方法和装置
CN109919064B (zh) * 2019-02-27 2020-12-22 湖南信达通信息技术有限公司 一种轨道交通车厢内实时人数统计方法和装置
CN110458056A (zh) * 2019-07-29 2019-11-15 交控科技股份有限公司 列车车厢拥挤度检测方法及装置
CN110852155A (zh) * 2019-09-29 2020-02-28 深圳市深网视界科技有限公司 公交乘客拥挤度检测方法、系统、装置及存储介质
CN113129583A (zh) * 2019-12-31 2021-07-16 浙江宇视科技有限公司 一种乘车方法和乘车系统
JP7465663B2 (ja) 2020-01-29 2024-04-11 コイト電工株式会社 計測装置
CN111508229A (zh) * 2020-04-01 2020-08-07 辽宁百思特达半导体科技有限公司 一种基于智慧城市的公共安全防护报警装置
CN111738125A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 客户人数确定方法及装置
CN111738125B (zh) * 2020-06-16 2023-10-27 中国银行股份有限公司 客户人数确定方法及装置
CN111860261A (zh) * 2020-07-10 2020-10-30 北京猎户星空科技有限公司 一种客流值的统计方法、装置、设备及介质
CN111860261B (zh) * 2020-07-10 2023-11-03 北京猎户星空科技有限公司 一种客流值的统计方法、装置、设备及介质
CN115527180A (zh) * 2022-11-03 2022-12-27 北京贝能达信息技术股份有限公司 一种基于图像识别技术的车厢拥挤度识别系统

Similar Documents

Publication Publication Date Title
CN106548451A (zh) 一种客车客流拥挤度计算方法和装置
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
Tian et al. A two-stage character segmentation method for Chinese license plate
CN112287912B (zh) 基于深度学习的车道线检测方法以及装置
CN102646343A (zh) 车辆检测装置
CN111340701A (zh) 一种基于聚类法筛选匹配点的电路板图像拼接方法
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110502982A (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
CN104102909B (zh) 基于多重视觉信息的车辆特征定位及匹配方法
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN112674998B (zh) 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法
CN112487848A (zh) 文字识别方法和终端设备
CN108182691B (zh) 识别限速标志的方法、装置及车辆
CN111144405A (zh) 一种新能源车辆识别方法及装置
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN111832515A (zh) 一种密集行人检测方法、介质、终端和装置
CN113642560A (zh) 一种车牌字符定位方法及相关设备
CN110826364A (zh) 一种库位识别方法及装置
CN108460348A (zh) 基于三维模型的道路目标检测方法
Vijayalakshmi et al. Design of algorithm for vehicle identification by number plate recognition
CN116343095A (zh) 一种基于视频拼接的车辆轨迹提取方法及相关设备
CN104463135B (zh) 一种车标识别方法和系统
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
Huertas et al. Use of hyperspectral data with intensity images for automatic building modeling
CN114078235A (zh) 基于图像识别的轨道交通费用结算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170329