CN105809890A - 面向校车安全的遗漏孩童检测方法 - Google Patents

面向校车安全的遗漏孩童检测方法 Download PDF

Info

Publication number
CN105809890A
CN105809890A CN201610314226.8A CN201610314226A CN105809890A CN 105809890 A CN105809890 A CN 105809890A CN 201610314226 A CN201610314226 A CN 201610314226A CN 105809890 A CN105809890 A CN 105809890A
Authority
CN
China
Prior art keywords
child
video
power
school
missed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610314226.8A
Other languages
English (en)
Other versions
CN105809890B (zh
Inventor
谢剑斌
刘通
闫玮
李沛秦
吴训波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Junsor Desai Technology Development Co Ltd
National University of Defense Technology
Original Assignee
Hunan Junsor Desai Technology Development Co Ltd
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Junsor Desai Technology Development Co Ltd, National University of Defense Technology filed Critical Hunan Junsor Desai Technology Development Co Ltd
Priority to CN201610314226.8A priority Critical patent/CN105809890B/zh
Publication of CN105809890A publication Critical patent/CN105809890A/zh
Application granted granted Critical
Publication of CN105809890B publication Critical patent/CN105809890B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Burglar Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向校车安全的遗漏孩童检测方法，融合红外、视频和音频三类传感器信号，结合视频分析和音频分析两类先进的计算机处理技术，可以可靠检测校车上是否存在遗留孩童。同时，采用ARM处理板进行合理的电源控制，降低了系统功耗，可广泛用于校车安全领域。融合红外、视频和音频三类信号，可以可靠检测校车上是否存在遗留孩童，而且功耗低、安装便捷、成本低，可广泛用于校车安全领域。

Description

面向校车安全的遗漏孩童检测方法
技术领域
本发明涉及一种遗漏孩童检测方法，属于视频监控技术领域。
背景技术
遗漏孩童是校车安全的重大隐患，近些年已发生多起由于遗漏孩童在校车上而导致的孩童死亡事件，引起了社会的强烈关注。目前，主要还是通过加强思想教育以及制定更合理的安全措施来尽可能避免遗漏孩童。譬如，让跟车老师在学生下车后到校车的尾部触发安全警示装置，以便老师可以仔细检查是否存在遗漏孩童。然而，人工查验可能会由于人的疏忽或者麻痹大意而导致事故发生，存在安全隐患。为了尽可能减少在校车上遗漏孩童酿成的悲剧，迫切需要采用切实有效的技术防范措施，智能监测校车上是否存在遗漏孩童。随着物联网技术的深入发展，为技术上检测遗留孩童提供方向。譬如在人体检测领域，目前出现了许多采用视频分析技术检测人体的方法，如JingShao等人(DeeplyLearnedAttributesforCrowdedSceneUnderstanding，CVPR2015)采用深度学习方法检测拥挤场景中的人体目标，但该方法对于车辆上存在遮挡的人体检测效果不佳；Seung-WookKim等人(SensorFusion-BasedPeopleCountiongSystemUsingtheActiveAppearanceModels，ICCE2013)采用主动形状模型检测人头区域，但该方法主要针对商场、博物馆等大型场所，摄像机架设位置距离人较远，这样人头区域一致性好，受干扰小；然而由于车辆空间有限，该技术难以应用到车辆上。JuanChen等人（AutomaticHeadDetectionforPassengerFlowAnalysisinBusSurveillanceVideos,CISP2012）提出一种基于视频分析的人数统计方法，通过在车门处架设摄像机统计出入的人数，但无法检测车内遗留的人员。总的来说，单纯依靠某种传感器难免存在误检或者漏检现象。
发明内容
为解决上述问题，本发明特提出一种多传感器融合的低功耗遗漏孩童检测方法。融合红外、视频和音频三类传感器信号，结合视频分析和音频分析两类先进的计算机处理技术，可以可靠检测校车上是否存在遗留孩童。同时，采用ARM处理板进行合理的电源控制，降低了系统功耗，可广泛用于校车安全领域。融合红外、视频和音频三类信号，可以可靠检测校车上是否存在遗留孩童，而且功耗低、安装便捷、成本低，可广泛用于校车安全领域。
为实现上述发明目的，本发明采用下述的技术方案，流程图如图1所示：
1、红外感知
在车辆停止之后，为降低功耗，仅给红外传感器上电。当红外传感器感知到有可疑目标存在时，给ARM处理板上电。
2、视频分析
在ARM处理板上电之后，首先控制摄像机供电，给摄像机上电t1秒（本发明取t1=120）。在此期间，ARM处理板获取摄像机的视频数据进行视频分析，具体是先采用帧差法粗定位运动目标，然后结合霍夫圆检测方法判断是否存在遗留孩童，如果存在，则ARM处理板通过无线网络向中心报警，否则，进入音频流程。
视频分析的具体步骤为
Step1计算当前帧图像Ik与其前后两帧图像Ik-1和Ik+1的差分图像E。
Step2计算自适应分割阈值T：
其中，W和H分别为图像的宽度和高度，β为加权系数（本发明中，W=640，H=480，β=8）。
Step3图像分割，分割后的图像Bk为：
其中，“255”表示目标，“0”表示背景。
Step4提取二值图像Bk的轮廓图像。
Step5采用经典的霍夫圆检测方法，在轮廓图像上检测的圆，并记录每一个圆的半径R。
Step6：如果T1<R<T2，则认为存在遗留孩童，启动报警流程，否则重复step1～step6，直到摄像机断电。其中，T1和T2为经验阈值，本发明中T1=5，T2=40。
3、音频分析
如果视频分析阶段未检测到遗留孩童，ARM处理板控制拾音器供电，给拾音器上电t2秒（本发明取t2=120）。在此期间，ARM处理板获取拾音器的音频数据进行音频分析，具体是首先提取音频的梅尔倒谱系数(Mel-FrequencyCepstrumCoefficients，MFCC)特征，然后采用高斯混合模型分类器检测异常声音，如果存在小孩哭喊等异常声音，则ARM处理板通过无线网络向中心报警，否则，关闭电源。
音频分析的具体步骤为：
Step1把异常声音信号经过分帧、加窗处理变为短时信号，信号的采样频率为8KHz，选取每帧长度为240点，帧移为80。
Step2计算每帧信号的最小方差无失真响应(minimumvariancedistortionlessresponse，MVDR)谱的功率谱，其中MVDR谱的阶数取为12。
Step3将能量谱通过梅尔（Mel）滤波器组，其中滤波器个数为24。
Step4将通过Mel滤波后的输出值取对数，然后再进行离散余弦变换得到特征矢量。
Step5采用高斯混合模型（GMM）分类器进行异常声音识别，具体是以上述特征矢量为分类器的输入信号，求取后验概率最大值所对应的分类器类别为识别结果，如果识别结果为异常声音，则启动报警流程，否则重复Step1~Step5，直到拾音器断电。其中，分类器的训练方法是：选取包含孩童哭喊、尖叫、求救的声音片段作为正样本，其他类型的声音片段作为负样本，提取各类样本的特征矢量，通过K均值算法动态聚类产生训练需用的模型初始值；然后将特征矢量和模型初始值代入GMM，由期望最大化（EM）算法反复迭代训练，确定GMM中声音的模板参数，得到GMM分类器。
本发明的优点在于：融合多种传感器信号，降低校车上遗漏孩童检测的虚警率和漏警率，提高了遗漏孩童检测的可靠性；各传感器通过分时工作来降低系统功耗，便于在校车发动机停止工作之后利用蓄电池进行遗漏孩童检测。
附图说明
图1人数统计流程图。
具体实施方式
面向校车安全的遗漏孩童检测方法，融合红外、视频和音频三类传感器信号，结合视频分析和音频分析两类先进的计算机处理技术，可以可靠检测校车上是否存在遗留孩童。同时，采用ARM处理板进行合理的电源控制，降低了系统功耗，可广泛用于校车安全领域。融合红外、视频和音频三类信号，可以可靠检测校车上是否存在遗留孩童，而且功耗低、安装便捷、成本低，可广泛用于校车安全领域。

Claims (2)

1.面向校车安全的遗漏孩童检测方法，融合红外、视频和音频三类传感器信号，结合视频分析和音频分析两类先进的计算机处理技术，检测校车上是否存在遗留孩童，其特征在于，
流程如下：
（1）、红外感知
在车辆停止之后，为降低功耗，仅给红外传感器上电，当红外传感器感知到有可疑目标存在时，给ARM处理板上电；
（2）、视频分析
在ARM处理板上电之后，首先控制摄像机供电，给摄像机上电t1秒，本发明取t1=120，在此期间，ARM处理板获取摄像机的视频数据进行视频分析，具体是：先采用帧差法粗定位运动目标，然后结合霍夫圆检测方法判断是否存在遗留孩童，如果存在，则ARM处理板通过无线网络向中心报警，否则，进入音频流程；
视频分析的具体步骤为
Step2.1计算当前帧图像Ik与其前后两帧图像Ik-1和Ik+1的差分图像E，
Step2.2计算自适应分割阈值T
其中，W和H分别为图像的宽度和高度，β为加权系数，本发明中，W=640，H=480，β=8；
Step2.3图像分割，分割后的图像Bk为：
其中，“255”表示目标，“0”表示背景；
Step2.4提取二值图像Bk的轮廓图像；
Step2.5采用霍夫圆检测方法，在轮廓图像上检测的圆，并记录每一个圆的半径R；
Step2.6：如果T1<R<T2，则认为存在遗留孩童，启动报警流程，否则重复step1～step6，直到摄像机断电，其中，T1和T2为经验阈值，本发明中T1=5，T2=40；
（3）、音频分析
如果视频分析阶段未检测到遗留孩童，ARM处理板控制拾音器供电，给拾音器上电t2秒，本发明取t2=120，在此期间，ARM处理板获取拾音器的音频数据进行音频分析，具体是首先提取音频的梅尔倒谱系数特征，然后采用高斯混合模型分类器检测异常声音，如果存在小孩哭喊等异常声音，则ARM处理板通过无线网络向中心报警，否则，关闭电源；
音频分析的具体步骤为：
Step3.1把异常声音信号经过分帧、加窗处理变为短时信号，信号的采样频率为8KHz，选取每帧长度为240点，帧移为80。
Step3.2计算每帧信号的最小方差无失真响应谱的功率谱，其中MVDR谱的阶数取为12；
Step3.3将能量谱通过梅尔滤波器组，其中滤波器个数为24；
Step3.4将通过Mel滤波后的输出值取对数，然后再进行离散余弦变换得到特征矢量；
Step3.5采用高斯混合模型(GMM)分类器进行异常声音识别，具体是以上述特征矢量为分类器的输入信号，求取后验概率最大值所对应的分类器类别为识别结果，如果识别结果为异常声音，则启动报警流程，否则重复Step3.1~Step3.5，直到拾音器断电。
2.根据权利要求1所述的面向校车安全的遗漏孩童检测方法，其特征在于，所述分类器的训练方法是：选取包含孩童哭喊、尖叫、求救的声音片段作为正样本，其他类型的声音片段作为负样本，提取各类样本的特征矢量，通过K均值算法动态聚类产生训练需用的模型初始值；然后将特征矢量和模型初始值代入GMM，由期望最大化EM反复迭代训练，确定GMM中声音的模板参数，得到GMM分类器。
CN201610314226.8A 2016-05-13 2016-05-13 面向校车安全的遗漏孩童检测方法 Expired - Fee Related CN105809890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610314226.8A CN105809890B (zh) 2016-05-13 2016-05-13 面向校车安全的遗漏孩童检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610314226.8A CN105809890B (zh) 2016-05-13 2016-05-13 面向校车安全的遗漏孩童检测方法

Publications (2)

Publication Number Publication Date
CN105809890A true CN105809890A (zh) 2016-07-27
CN105809890B CN105809890B (zh) 2017-10-13

Family

ID=56456975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610314226.8A Expired - Fee Related CN105809890B (zh) 2016-05-13 2016-05-13 面向校车安全的遗漏孩童检测方法

Country Status (1)

Country Link
CN (1) CN105809890B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106482776A (zh) * 2016-12-20 2017-03-08 珠海格力电器股份有限公司 一种车内安全检测方法及系统
CN106991790A (zh) * 2017-05-27 2017-07-28 重庆大学 基于多模特征分析的老人摔倒实时监测方法及系统
CN107591162A (zh) * 2017-07-28 2018-01-16 南京邮电大学 基于模式匹配的哭声识别方法及智能看护系统
CN107933476A (zh) * 2017-11-14 2018-04-20 苏州数言信息技术有限公司 通用的车内乘客防遗忘的传感装置的实现方法和系统
CN108288975A (zh) * 2018-02-06 2018-07-17 钱昱昭 一种基于语音识别和摄像采集的儿童安全监护系统
CN109927644A (zh) * 2017-12-15 2019-06-25 郑州宇通客车股份有限公司 一种车辆及防儿童遗留装置
CN110969805A (zh) * 2018-09-30 2020-04-07 杭州海康威视数字技术股份有限公司 一种安全检测方法、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999034320A1 (en) * 1997-12-31 1999-07-08 Intel Corporation Method and apparatus to improve video processing in a computer system or the like
US20110210851A1 (en) * 1997-04-15 2011-09-01 Tyzx, Inc. Generation of a disparity result with low latency
CN202077142U (zh) * 2011-05-17 2011-12-14 成都凯智科技有限公司 一种车载智能视频侦测分析系统
CN102646317A (zh) * 2012-05-07 2012-08-22 河南理工大学 校车检测报警装置
CN103258188A (zh) * 2013-04-19 2013-08-21 上海应用技术学院 基于跨平台计算机视觉库的移动目标物体检测跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110210851A1 (en) * 1997-04-15 2011-09-01 Tyzx, Inc. Generation of a disparity result with low latency
WO1999034320A1 (en) * 1997-12-31 1999-07-08 Intel Corporation Method and apparatus to improve video processing in a computer system or the like
CN202077142U (zh) * 2011-05-17 2011-12-14 成都凯智科技有限公司 一种车载智能视频侦测分析系统
CN102646317A (zh) * 2012-05-07 2012-08-22 河南理工大学 校车检测报警装置
CN103258188A (zh) * 2013-04-19 2013-08-21 上海应用技术学院 基于跨平台计算机视觉库的移动目标物体检测跟踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106482776A (zh) * 2016-12-20 2017-03-08 珠海格力电器股份有限公司 一种车内安全检测方法及系统
CN106991790A (zh) * 2017-05-27 2017-07-28 重庆大学 基于多模特征分析的老人摔倒实时监测方法及系统
CN107591162A (zh) * 2017-07-28 2018-01-16 南京邮电大学 基于模式匹配的哭声识别方法及智能看护系统
CN107591162B (zh) * 2017-07-28 2021-01-12 南京邮电大学 基于模式匹配的哭声识别方法及智能看护系统
CN107933476A (zh) * 2017-11-14 2018-04-20 苏州数言信息技术有限公司 通用的车内乘客防遗忘的传感装置的实现方法和系统
CN107933476B (zh) * 2017-11-14 2019-08-13 苏州数言信息技术有限公司 通用的车内乘客防遗忘的传感装置的实现方法和系统
CN109927644A (zh) * 2017-12-15 2019-06-25 郑州宇通客车股份有限公司 一种车辆及防儿童遗留装置
CN108288975A (zh) * 2018-02-06 2018-07-17 钱昱昭 一种基于语音识别和摄像采集的儿童安全监护系统
CN110969805A (zh) * 2018-09-30 2020-04-07 杭州海康威视数字技术股份有限公司 一种安全检测方法、装置和系统

Also Published As

Publication number Publication date
CN105809890B (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN105809890A (zh) 面向校车安全的遗漏孩童检测方法
CN101950355B (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN103839373B (zh) 一种突发异常事件智能识别报警装置及报警系统
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
Andersson et al. Fusion of acoustic and optical sensor data for automatic fight detection in urban environments
CN103150870B (zh) 一种基于视频的火车驾驶员疲劳检测方法
CN102164270A (zh) 具有异常事件发掘功能的智能视频监控方法及系统
CN106022235B (zh) 基于人体探测的遗漏孩童检测方法
WO2019127274A1 (zh) 一种针对犯罪活动的告警方法、装置、存储介质及服务器
Xu et al. ER: Early recognition of inattentive driving leveraging audio devices on smartphones
CN107915102B (zh) 一种基于视频分析的电梯遮挡门行为的检测系统及检测方法
US9946921B2 (en) Monitoring device, monitoring method and monitoring program
CN103839346A (zh) 一种智能门窗防入侵装置以及系统、智能门禁系统
CN112735473B (zh) 基于声音识别无人机的方法及系统
CN104637246A (zh) 一种驾驶员多种行为预警系统及危险评估方法
CN105227907A (zh) 基于视频的无监督异常事件实时检测方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN101968848A (zh) 一种视频监测方法、系统及视频监测报警系统
CN109920448A (zh) 一种自动驾驶车辆交通环境特种声音的识别系统及方法
Rehman et al. Multi-modal anomaly detection by using audio and visual cues
CN112016429A (zh) 基于火车驾驶室场景下疲劳驾驶检测方法
WO2018210192A1 (zh) 一种无人机监测方法及音视频联动装置
CN105957300A (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
CN105976831A (zh) 基于哭声识别的遗漏孩童检测方法
CN117952808A (zh) 一种基于视频和语音识别的校园防欺凌方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171013