CN111008566A - 一种基于深度学习的针对校车学生下车遗漏检测装置及方法 - Google Patents

一种基于深度学习的针对校车学生下车遗漏检测装置及方法 Download PDF

Info

Publication number
CN111008566A
CN111008566A CN201911074846.9A CN201911074846A CN111008566A CN 111008566 A CN111008566 A CN 111008566A CN 201911074846 A CN201911074846 A CN 201911074846A CN 111008566 A CN111008566 A CN 111008566A
Authority
CN
China
Prior art keywords
module
camera
image
main control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911074846.9A
Other languages
English (en)
Inventor
王正家
何涛
李勇
王超
吴顺尧
翟海祥
曾雨晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201911074846.9A priority Critical patent/CN111008566A/zh
Publication of CN111008566A publication Critical patent/CN111008566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的针对校车学生下车遗漏检测装置包括图像采集模块、摄像智能处理模块、传输模块、主控单元、车辆接口模块、存储模块、主控单元、预警模块和显示模块。本发明方法通过图像采集模块采集不同环境下的图像样本，通过深度学习技术训练出校车车厢内目标分类模型，将此分类模型移植到摄像智能处理模块中；校车位于终点待停靠时，图像采集模块采集车厢图像，并送入到摄像智能处理模块中进行图像目标识别，将识别后图像及识别结果送入到主控单元，主控单元对不同的图像进行解码、融合、识别后输出到显示模块。本发明不安装额外的传感器，可通过算法上的持续优化，降低硬件系统成本，提高了校车的安全性以及智能化程度。

Description

一种基于深度学习的针对校车学生下车遗漏检测装置及方法
技术领域
本发明涉及校车人员安全技术领域，具体涉及一种基于深度学习的针对校车学生下车遗漏检测装置及方法。
背景技术
公共交通工具带给我们巨大方便的同时，也给我们带来了很多的安全隐患。在新闻报道中，经常见到学生被遗漏在校车内，造成巨大的安全隐患，尤其是在天气炎热的夏天，车内温度高，氧气浓度下降，严重甚至威胁到生命。所以，如何及时有效地发现校车内遗漏学生，并给出报警信息，是一个十分急切的问题。
为了解决上述技术问题，现有技术中，出现了相关方法，一些防止车内人员遗漏的检测技术主要是通过安装各种传感器，单片机或者PLC控制器组合成检测系统，例如专利文献CN106364442A公开的一种车内遗留人员检测报警装置和方法和专利文献CN205149643U中公开的“停车锁车后车内人员检测系统”，另外是专利文献CN106515573B公开的校车计数报警系统，该系统通过基于传感器的人员计数系统，通过记录上下车人数，发生不匹配时产生警告信息。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
通过安装各种传感器，单片机或者PLC控制器组合成检测系统，大多数采用多种传感器的组合使用，通过单片机控制来发出预警信息。对于人体的检测，多数采用红外传感器，座椅传感器等，容易受到高温天气、车内温度剧烈变化和车内人员不在座椅上等情况的影响，造成检测结果不够准确；同时，需要安装多种多个传感器，若某一传感器出现问题，就会影响整体系统的正确性，不利于维护和长期使用的稳定性。
校车计数报警系统，采用的是在车门处安装光敏传感器，检测上车人数和下车人数，再通过控制系统来达到检测和报警的目的。不足之处在于只在车内处安装传感器，只能感应有物体通过的动作，并不能匹配到每位学生的情况，也不能排除宠物、其他物体上车的无关情况，发生误判的几率会很大，准确度不高。
由此可知，现有技术中的方法或者系统存在检测准确性不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习的针对校车学生下车遗漏检测装置及方法，用以解决或者至少部分解决现有技术中的方法或者系统存在的检测准确性不高的技术问题。
为了解决上述技术问题，本发明提供了一种基于深度学习的针对校车学生下车遗漏检测装置，包括：
图像采集模块，用于接收主控单元发送的图像采集信号，采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
摄像智能处理模块，用于对校车车厢内不同区域的图像进行识别，获得识别后的图像，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
传输模块，用于将摄像智能处理单元得到的识别后的图像传输至主控单元；
主控单元，用于根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
主控单元还用于判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，选择是否将警报控制信号发送至预警模块；
或者判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
车辆接口模块，用于获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
显示模块，用于在接收主控单元发送的显示控制信号后，显示带框的检测目标；
预警模块，用于在接收主控单元发送的警报控制信号后，发出警报。
在一种实施方式中，图像采集模块包括第一摄像头、第二摄像头和第三摄像头，摄像智能处理模块包括第一摄像智能处理单元、第二摄像智能处理单元和第三摄像智能处理单元，
其中，第一摄像头，用于采集车厢内司机与乘务员位置的图像，并将采集的第一图像传输给所述第一摄像智能处理单元；
第二摄像头，用于采集校车车厢前半区的图像，并将采集的第二图像传输给所述第二摄像智能处理单元；
第三摄像头，用于采集校车车厢后半区的图像，并将采集的第三图像传输给所述第三摄像智能处理单元；
第一摄像智能处理单元，用于搭载预先训练好的分类网络模型对第一图像进行识别，并将识别后的第一图像传输至所述传输模块；
第二摄像智能处理单元，用于搭载预先训练好的分类网络模型对第二图像进行识别，并将识别后的第二图像传输至所述传输模块；
第三摄像智能处理单元，用于搭载预先训练好的分类网络模型对第三图像进行识别，并将识别后的第三图像传输至所述传输模块。
在一种实施方式中，主控单元具体用于：
判断识别后的第一图像、识别后的第二图像和识别后的第三图像是否包含人类检测目标，如果任意识别后的图像包含人类检测目标，则向预警装置发送警报控制信号；
否则，不发送警报控制信号。
在一种实施方式中，所述显示模块具体用于在接收主控单元发送的对应显示控制信号后，实时显示第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元识别后的图像。
在一种实施方式中，所述第一摄像头安装于车厢前挡风玻璃上部0.2米处或离前挡风玻璃0.1米处的车厢顶部位置上，且位于前挡风玻璃中线上；所述第二摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为1.8米；所述第三摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为6米。
在一种实施方式中，所述装置还包括存储模块，用于存储图像采集模块采集的图像。
在一种实施方式中，预先训练好的分类网络模型的构建过程包括：
从存储模块中筛选出不同条件下的图像，并对筛选出的图像进行标注，创建数据集，不同条件包括乘客数量、校车运行环境以及车内光照情况；
根据开源神经网络算法YOLOV2算法和开源神经网络架构Darknet搭建分类网络模型；
将创建的数据集和ImageNet数据集作为训练集，对分类网络模型进行训练；
结合预训练参数和损失函数对分类网络模型进行微调，获得优化后的分类网络模型。
在一种实施方式中，在训练过程中采用多尺度输入的方法训练分类网络模型，每隔预设批次改变模型的输入图像的尺寸。
在一种实施方式中，所述装置还包括电源模块，电源模块分别与图像采集模块、摄像智能处理模块、传输模块、主控单元、车辆接口模块、显示模块和预警模块连接，用于对各个模块供电。
基于同样的发明构思，本发明第二方面提供了一种基于深度学习的针对校车学生下车遗漏检测方法，该方法包括：
通过图像采集模块在接收主控单元发送的图像采集信号时采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
通过摄像智能处理模块对校车车厢内不同区域的图像进行识别，获得识别后的图像，其中，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
通过传输模块将摄像智能处理单元得到的识别后的图像传输至主控单元；
通过主控单元根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
以及判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，选择是否将警报控制信号发送至预警模块；
或者判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
通过车辆接口模块获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
通过显示模块在接收主控单元发送的显示控制信号后，显示带框的检测目标；
通过预警模块在接收主控单元发送的警报控制信号后，发出警报。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
主控单元向图像采集模块图像采集信号，图像采集模块在接收到图像采集信号后采集车厢内不同区域的图像，然后摄像智能处理模块搭载预先训练好的分类网络模型对校车车厢内不同区域的图像进行识别，获得识别后的图像，将识别后图像及识别结果送入到主控单元，再通过主控单元判断识别后的图像是否包含人类这一检测目标类别，当识别后的图像包含人类时，采用不同的方式进行警报，一种方式为主控单元自主决定是否发出警报，当选择发出警报时直接将警报控制信号发送至预警模块，另一种方式为主控单元给出的报警信号需要通过人工手(司机或乘务员等校车安全相关人员)动确认和取消，当检测到乘客区域有人时，将显示控制信号发送至显示模块，以控制显示模块显示显示带框的检测目标，以提醒驾驶区的司机知晓，并人工确定是否将警报控制信号发送至预警模块进行报警，若在第一预设时间内未检测到取消报警的信号，或者第二预设时间内未触发警报，表明驾驶区司机或其他相关人员暂不在驾驶区，同时若通过车辆接口模块获取的车辆运行状态为位于终点待停靠状态且车门的开闭状态为车门关闭，则表明车门处于关闭状态，车内遗漏人员无法主动离开车辆，此时主控单元向车辆接口模块发送车门控制信号，进而通过车辆接口模块将主控单元发送的车门控制信号传输至车辆，控制车门的开启。
一方面，本发明不安装额外的传感器，可通过训练好的分类网络模型对图像进行识别，可以通过改进神经网络算法，实现分类网络模型的持续优化，降低了硬件系统成本，提高了检测的准确性，并且提高了校车的安全性以及智能化程度；
另一方面，可以根据具体应用情况，主控单元可以选择不同的控制报警方式，一种方式可以直接通过主控单元触发警报，另一种方式则可以控制显示模块显示检测目标，起到警示作用，此外，在车辆运行状态为位于终点待停靠状态且车门的关闭状态为车门关闭时，主控单元还会向车辆接口模块发送车门控制信号，从而通过车辆接口模块将主控单元发送的车门控制信号传输至车辆，控制车门的开启，进一步提高了安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于深度学习的针对校车学生下车遗漏检测装置逻辑框图；
图2为一种具体示例中实施例中下车遗漏检测装置的结构图；
图3为本发明实施例中分类网络模型的网络结构示意图；
图4为具体示例中基于深度学习的针对校车学生下车遗漏检测方法的流程图。
具体实施方式
本发明的目的在于提供一种采用深度学习技术训练出校车车厢内目标分类模型(即预先训练好的分类网络模型)，通过安装在校车内不同位置的摄像头采集校车车厢内图像，使用训练完成的分类模型对采集的图像进行目标识别的装置及方法。通过深度学习技术训练分类模型，可实现对车厢内司机、学生、常见宠物等不同目标的检测，并输出检测结果，如果发生人员遗漏情况，可根据车辆状态及目标识别结果给出不同的警报信息，提醒校车司机、乘务人员知晓。校车车厢内目标分类模型可持续进行学习训练，提高目标识别的速度和类别总数。此装置也可以推广到客车、家用轿车等交通工具上使用，可以达到提高检测准确性以及安全性的效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种基于深度学习的针对校车学生下车遗漏检测装置，请参见图1，该装置包括：
图像采集模块101，用于接收主控单元发送的图像采集信号，采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
摄像智能处理模块102，用于对校车车厢内不同区域的图像进行识别，获得识别后的图像，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
传输模块103，用于将摄像智能处理单元得到的识别后的图像传输至主控单元；
主控单元104，用于根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
主控单元还用于判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，选择是否将警报控制信号发送至预警模块；
或者判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
车辆接口模块105，用于获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
显示模块106，用于在接收主控单元发送的显示控制信号后，显示带框的检测目标；
预警模块107，用于在接收主控单元发送的警报控制信号后，发出警报。
具体来说，图像采集模块为不同的摄像头，具体数量可以结合车厢的长度和结构进行确定，确定标准为需要覆盖到车厢的全部范围，实现所有座位都可被至少一个摄像头所覆盖。通过不同的摄像头可以采集车厢内不同区域的图像。
摄像智能处理模块与图像采集模块对应，当图像采集模块为不同的摄像头时，可以分别设置对应的摄像智能处理单元。预先训练好的分类网络模型事先通过大量的样本图像进行训练得到。
传输模块可以为有线传输或者无线传输，有线传输可以通过网线、交换机等实现，无线传输包括WIFI、蓝牙等形式。
主控单元为整个装置的中央处理单元，控制其他模块或单元，当接收到的车辆运行状态为位于终点待停靠状态时，向图像采集模块图像采集信号，以控制图像采集模块进行图像采集。主控单元还对摄像智能处理模块得到的识别后的图像进行解码、融合、识别结果判别操作，并传输到所述显示模块实时显示车厢内学生情况，同时根据判别结果控制预警模块报警，并发送车门控制信号到车辆接口模块，获取车辆状态信息以及控制车门开启。
主控单元的报警方式包括两种，一种是判断识别后的图像是否包含人类这一检测目标类别，根据判断结果，选择是否将警报控制信号发送至预警模块。
例如当识别后的图像中判断识别后的图像中包含人类检测目标，即车厢内有人时，会触发预警模块，此报警方式时间较长，从学生下车开始起到车内完全没人预警模块一直被触发，考虑到长时间报警容易引起学生及司机负面情绪，可设置一段音乐旋律作为报警模块的报警信息，用于提示学生及时下车，提示司机时刻关注学生下车情况。当判断识别后的图像中不包含人类检测目标，即车厢内无人时，报警模块自动关闭。
也就是说，主控单元通过判断识别后的图像是否包含人类检测目标，如果包含，则自主将警报控制信号发送至预警模块，正常情况下，驾驶区域是有人的，通过本发明的装置会识别到，会触发报警装置，可以使用带有音乐旋律的报警方式，提醒司机，学生正在下车；当识别后的图像中不包含人类检测目标时，则不发出警报。
另一种方式是，当乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块提醒司机知晓，并通过人工触发的方式将警报控制信号发送至预警模块进行报警，使用易引人注意的频率。当第一预设时间内未检测到警报取消信号或者第二预设时间内未检测到警报信号，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；若车辆接口模块，进而控制车门重新打开。
也就是说，不管驾驶区域是否有人，只要乘客区域有人，则将显示控制信号发送到显示模块，对识别的目标进行显示，此时如果驾驶区域有人，则可以将乘客区域有人提醒其知晓，然后通过驾驶区域的人手动触发警报，提醒有人未下车。如果警报触发后一段时间内(例如5分钟、10分钟)内未检测到警报取消的信号(驾驶区域的人不在)，或者一段时间(例如10分钟、15分钟)内未触发警报，则通过车辆接口模块检测车辆运行状态以及车门的开闭状态，如果车辆运行状态为位于终点待停靠且车门关闭是，主控单元将车门控制信号发送至车辆接口模块，以控制车门打开。
两种报警方式可以任选一种。
在一种实施方式中，图像采集模块包括第一摄像头、第二摄像头和第三摄像头，摄像智能处理模块包括第一摄像智能处理单元、第二摄像智能处理单元和第三摄像智能处理单元，
其中，第一摄像头，用于采集车厢内司机与乘务员位置的图像，并将采集的第一图像传输给所述第一摄像智能处理单元；
第二摄像头，用于采集校车车厢前半区的图像，并将采集的第二图像传输给所述第二摄像智能处理单元；
第三摄像头，用于采集校车车厢后半区的图像，并将采集的第三图像传输给所述第三摄像智能处理单元；
第一摄像智能处理单元，用于搭载预先训练好的分类网络模型对第一图像进行识别，并将识别后的第一图像传输至所述传输模块；
第二摄像智能处理单元，用于搭载预先训练好的分类网络模型对第二图像进行识别，并将识别后的第二图像传输至所述传输模块；
第三摄像智能处理单元，用于搭载预先训练好的分类网络模型对第三图像进行识别，并将识别后的第三图像传输至所述传输模块。
在本实施方式中，图像采集模块包括三个不同的摄像头，摄像智能处理模块包括三个对应的摄像智能处理单元。其中摄像头的安装位置可以根据车厢的长度和结构等进行设置。相对应地，当传输模块为交换机时，对第一至第三摄像智能处理单元的处理图像进行融合(即采用带宽足够大的交换机，将三路的视频信息传输给主控单元)，传输给主控单元，主控单元对接收到的信息进行解码、拼接，同时判断第一至第三摄像智能处理单元的识别结果，将识别后的图像传输给显示模块，显示模块进行实时显示。显示模块可以分为三块区域，分别显示经过第一至第三摄像智能处理单元识别后的图像，若图像中有人存在，则显示加红框之后的图像。
在一种实施方式中，主控单元具体用于：
判断识别后的第一图像、识别后的第二图像和识别后的第三图像是否包含人类检测目标，如果任意识别后的图像包含人类检测目标，则向预警装置发送警报控制信号；
否则，不发送警报控制信号。
具体来说，对于第一种警报方式，即由主控单元自主触发警报的方式，当识别后的图像中，任意识别后的图像包含人类检测目标时(例如可以是识别后的第一图像包含人类检测目标、识别后的第二图像包含人类检测目标、识别后的第三图像包含人类检测目标，或者两个图像同时三个图像同时包含人类检测目标，在具体实施过程中，为了提高效率，还可以设置判断的优先级，例如优先判断识别后的第三图像，然后判断识别后的第二图像，最后判断识别后的第一图像，当然，判断的优先级可以根据情况设置，在此不做具体限定)，则表示车上有人，此时主控单元向预警模块发送警报控制信号；当识别后的第一图像、第二图像和第三图像都不包含人类检测目标时，则表明车上没有人，此时不触发警报，主控单元不发送警报信号。
在一种实施方式中，所述显示模块具体用于在接收主控单元发送的对应显示控制信号后，实时显示第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元识别后的图像。
具体来说，本发明中的显示模块可以实时地显示3路摄像头采集到的车厢内情况，即可以从采集到车厢内图像后进行显示，通过摄像智能处理单元得到的识别后的图像也可以进行实时显示。
在一种实施方式中，所述第一摄像头安装于车厢前挡风玻璃上部0.2米处或离前挡风玻璃0.1米处的车厢顶部位置上，且位于前挡风玻璃中线上，所述第二摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为1.8米；所述第三摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为6米。
具体来说，上述摄像头安装位置是根据校车长度是为中大型(8～10米)校车的情况进行设置的。
在一种实施方式中，所述装置还包括存储模块，用于存储图像采集模块采集的图像。
具体来说，图像采集模块采集的图像可作为图像样本用于分类网络模型的训练，存储模块用于存储所有的图像。
在一种实施方式中，预先训练好的分类网络模型的构建过程包括：
从存储模块中筛选出不同条件下的图像，并对筛选出的图像进行标注，创建数据集，不同条件包括乘客数量、校车运行环境以及车内光照情况；
根据开源神经网络算法YOLOV2算法和开源神经网络架构Darknet搭建分类网络模型；
将创建的数据集和ImageNet数据集作为训练集，对分类网络模型进行训练；
结合预训练参数和损失函数对分类网络模型进行微调，获得优化后的分类网络模型。
具体来说，通过采集分类神经网络所需的图像样本创建数据集。通过摄像智能处理模块(例如第一至第三摄像头)收集校车运行状态下车内图像，在收集图像的过程中，通过人工设置上车人数、校车运行环境、车内光照等条件，在车内光照良好、校车白天运行的前提下要求需收集到车内0人、1人、2人、、、直到车辆满载时的图像共N1张，在车内光照一般、校车阴雨天气运行的前提下要求需收集到车内0人、1人、2人、、、直到车辆满载时的图像共N2张，在校车夜间行驶运行的前提下要求需收集到车内0人、1人、2人、、、直到车辆满载时的图像共N3张。然后手动对这些图像进行类别分类，并用标签定义不同类别，记为类别m1，m2，m3....mn等。收集不同情况下的图像，为后续分类网络的训练提供充分的图像样本。将收集到的图像存储在存储模块中。
此外，可以将创建的数据集按照比例分为训练数据集、测试数据集和验证数据集。例如，将这些图像按照3：1：1的比例划分为训练集n1、测试集n2和验证集n3。其中，训练集n1用于建立本专利所需要的预训练分类模型，测试集n2用于测试预训练分类模型的泛化能力，验证集n3用于控制预训练分类模型的参数。
在基于开源神经网络架构Darknet搭建分类网络模型后，对分类网络模型进行训练及微调。具体来说，本发明使用开源神经网络架构Darknet搭建分类网络模型，将创建的数据集(此处为训练数据集)在此训练网络的前提下放入1000类ImageNet数据集上训练a轮，具体训练轮数根据训练效果确定，得到预训练参数。其中，1000类ImageNet数据集是ImageNet网站公开提供的、包含有1000类常见物体的图像数据集合。由于训练集n1属于校车车厢内有人图像，同时人工地添加了标签定义，使用训练集n1加上1000类ImageNet数据集的组合，不仅可以训练出能够识别人类这一目标类别，同时可以识别出其他常见物体的网络模型。为防止训练过程中过度拟合和提高训练速度，设置权重衰减系数为0.0005，初始学习率为0.001。
在具体实现过程中，本发明在第一轮训练时使用的分类网络模型是Darknet-19，为YOLO第2版本得出的基础网络模型。Darknet-19主要使用3*3卷积并在池化后使得通道数加倍；用平均池化层替代最后一个全连接层做预测分类，并在3*3卷积之间使用1*1卷积压缩特征表示，使用batch normalization(批量归一化)来提高稳定性，加速收敛，对模型正则化。
采用预训练过程得到的预训练参数对分类网络的网络结构进行微调，使微调后的YOLO网络更适合用于校车行驶状态下的图像目标识别任务。本实施方式做出的调整为：去掉分类网络的最后一个全连接层1*1层，在最后添加3个3*3*1024的卷积层，再接上输出是类别个数的1*1卷积层。调整后的网络结构如图3所示，例如CONV表示卷积层，Max表示归一化层，Route表示融合层，作用是将上一阶段多个层的输出进行合并，从而融合为一个新层，Reorg表示重构层，Detection表示检测层。
在一种实施方式中，在训练过程中采用多尺度输入的方法训练分类网络模型，每隔预设批次改变模型的输入图像的尺寸。
具体实施过程中，间隔的批次可以根据实际情况进行设置，例如每隔10个批次便改变模型的输入尺寸，以增强分类网络模型对不同分辨率图像的鲁棒性。
本发明提供的分类网络模型具有如下优点或有益的技术效果：
1、本发明采用的是YOLOV2算法，可以实现目标识别的实时性，
2、采用了一种目标分类与检测的联合训练方法，这样可以同时在Imagenet数据集和coco数据集(目标检测两大权威的数据集)上同时训练，训练后的模型可做到多达几千种的物体的实时检测；
3、使用整张图片作为环境信息，将背景误认为物体的错误较少，降低了误识别率；
4、得到的分类网络模型具有更强的泛化能力。
在一种实施方式中，所述装置还包括电源模块，电源模块分别与图像采集模块、摄像智能处理模块、传输模块、主控单元、车辆接口模块、显示模块和预警模块连接，用于对各个模块供电。
具体来说，请参见图2，为具体示例中实施例中下车遗漏检测装置的结构图，下车遗漏检测装置包括第一摄像头、第二摄像头、第三摄像头、第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元、交换机、车辆接口模块、存储模块、主控单元、预警模块、显示模块和电源模块。
连接关系如下：第一摄像头与第一摄像智能处理单元连接；第二摄像头与第二摄像智能处理单元连接；第三摄像头与所述第三摄像智能处理单元连接；所述第一摄像头与所述存储模块连接；第二摄像头与存储模块连接；第三摄像头与存储模块连接；第一摄像智能处理单元与交换机连接；第二摄像智能处理单元与交换机连接，第三摄像智能处理单元与所述交换机连接；所述交换机与所述主控单元连接；所述车辆接口模块与主控单元连接；主控单元与预警模块连接；主控单元与显示模块连接；电源模块分别与第一摄像头、第二摄像头、第三摄像头、第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元、交换机、车辆接口模块、存储模块、主控单元、预警模块、显示模块依次连接。
在具体实施方式中，本发明的装置可以根据实际需要对各个模块进行设置与选取，通过嵌入式硬件系统实现，例如选用现有型号的设备。作为可选，第一摄像头、第二摄像头、第三摄像头选型均为SAFUWE SW-802C车载摄像头；第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元选型均为Raspberry Pi 3b+；交换机选型为TL-SG1008M 5口千兆交换机；车辆接口模块选型为CAN总线通信且基于商用车的CAN接口；存储模块选型为SAMSUNG MicroSD 64G；主控单元选型为采用搭载了四核1.2GHz BroadcomBCM2837ARM Cortex-A53架构芯片的树莓派ARM芯片；预警模块选型为蜂鸣器；所述显示模块选型为YOELBAER显示屏；电源模块选型为RYDBATT的12V锂电池。
本发明的有益效果在于：本发明提供了一种以嵌入式硬件系统为硬件处理平台，以深度学习技术为手段的针对校车学生下车遗漏检测的装置和方法，不采用额外的传感器等检测装置，可与车内原有的监控系统合二为一。通过深度学习技术构建训练校车车厢内目标分类模型，通过校车车厢内目标分类模型可对摄像头采集的图像进行目标识别与检测，能够识别多种类别目标，包括人类、宠物、常见物品等类别。通过大量、丰富的图像样本以及多尺度图像输入的方法训练分类网络，提高校车车厢内目标分类模型的鲁棒性，同时，由于采用YOLO网络作为深度学习训练网络，故训练出的分类网络具有较快的识别速率和较为准确的识别效果。校车车厢内目标分类模型可通过样本集的不断收集、模型的不断训练持续优化，能够做到在不增加高昂硬件成本的前提下，提高目标识别的准确性，提高校车智能化程度，增加校车的安全性。本发明也可推广到客车、家用桥车、公工汽车、火车等交通工具上使用。
实施例二
基于同样的发明构思，本发明实施例二提供了一种基于深度学习的针对校车学生下车遗漏检测方法，包括：
通过图像采集模块在接收主控单元发送的图像采集信号时采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
通过摄像智能处理模块对校车车厢内不同区域的图像进行识别，获得识别后的图像，其中，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
通过传输模块将摄像智能处理单元得到的识别后的图像传输至主控单元；
通过主控单元根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
以及判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，选择是否将警报控制信号发送至预警模块；
或者判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
通过车辆接口模块获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
通过显示模块在接收主控单元发送的显示控制信号后，显示带框的检测目标；
通过预警模块在接收主控单元发送的警报控制信号后，发出警报。
下面结合图2和图4，对本发明实施方式的针对校车学生下车遗漏的检测方法进行介绍，该方法具体包括以下步骤：
步骤1：采集分类神经网络所需的图像样本。通过第一至第三摄像头收集校车运行状态下车内图像，在收集图像的过程中，通过人工设置上车人数、校车运行环境、车内光照等条件，在车内光照良好、校车白天运行的前提下要求需收集到车内0人、1人、2人直到车辆满载时的图像共N1张，在车内光照一般、校车阴雨天气运行的前提下要求需收集到车内0人、1人、2人直到车辆满载时的图像共N2张，在校车夜间行驶运行的前提下，收集到车内0人、1人、2人直到车辆满载时的图像共N3张。收集不同情况下的图像，为后续分类网络的训练提供充分的图像样本。将收集到的图像存储在存储模块中。
步骤2:YOLO分类网络模型的训练及微调。
步骤3：车辆接口模块获取车辆状态信息，当获取到校车位于终点待停靠车辆状态时，主控单元发出控制信号，通过第一摄像头、第二摄像头以及第三摄像头采集图像，并送入到对应的摄像智能处理单元中搭载的已训练好的分类网络模型中进行图像识别，并输出目标回归框和目标类别。将识别后的图像进行编码压缩通过以太网口传输到交换机中。
步骤4：采用带宽足够大的交换机，将3路的视频信息传输给主控单元，主控单元对接收到的信息进行解码、拼接，同时判断第一至第三摄像智能处理单元的识别结果，将识别后的图像传输给显示模块，显示模块进行实时显示。
步骤5：报警方式A:主控单元判断第一至第三摄像智能处理单元的识别结果，若判断出第一至第三摄像智能处理单元的识别结果中有人类这一检测目标类别，则触发报警模块，控制蜂鸣器以一定频率报警，同时控制显示模块实时显示带框的检测目标，提醒司机知晓。此报警方式时间较长，从学生下车开始起到车内完全没人，报警模块一直被触发，考虑到长时间报警容易引起学生及司机负面情绪，可设置一段音乐旋律作为报警模块的报警信息，用于提示学生及时下车，提示司机时刻关注学生下车情况。当车内无人时，报警模块自动关闭。报警方式B：主控单元判断第一至第三摄像智能处理单元的识别结果，若判断出第二至第三摄像智能处理单元的识别结果中有人类这一检测目标类别，控制显示模块实时显示带框的检测目标，提醒司机知晓。车辆接口模块获取车辆状态信息，当获取到校车位于终点待停靠车辆状态且车门处于关闭状态下，在此状态下，主控单元判断判断第二至第三摄像智能处理单元的识别结果，若判断出第二至第三摄像智能处理单元的识别结果中有人类这一检测目标类别，主控单元控制预警模块报警，此时蜂鸣器使用较为特殊、易引人注意的频率进行报警。应当指出，报警方式A与报警方式B是可以在不同的情况下使用。
步骤6：在报警方式A下，主控单元可通过判断第一至第三摄像智能处理单元的识别结果自主决定给出报警信息以及不给出报警信息。在报警方式B下，主控单元给出的报警信息必须由司机或乘务员等校车安全相关人员手动确认取消，若主控单元已触发报警方式B，在t分钟后未检测到取消报警的信号，同时主控单元通过车辆接口模块获取到t分钟后校车车门仍然处于关闭状态下，则判断为此种情况下，司机或其他相关人员暂不在工作位且车门处于关闭状态，车内遗漏人员无法主动离开车辆。此时，主控单元通过车辆接口模块发出控制信号，控制车门开启。
由于本发明实施例二所介绍的方法，为基于本发明实施例一中基于深度学习的针对校车学生下车遗漏检测装置所采用的方法，故而基于本发明实施例一所介绍的装置，本领域所属人员能够了解该方法的具体实施形式，故而在此不再赘述。凡是基于本发明实施例一的装置所采用的方法都属于本发明所欲保护的范围。
尽管本发明较多地使用了第一摄像头、第二摄像头、第三摄像头、第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元、交换机、车辆接口模块、存储模块、主控单元、预警模块、显示模块和电源模块等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的针对校车学生下车遗漏检测装置，其特征在于，包括：
图像采集模块，用于接收主控单元发送的图像采集信号，采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
摄像智能处理模块，用于对校车车厢内不同区域的图像进行识别，获得识别后的图像，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
传输模块，用于将摄像智能处理单元得到的识别后的图像传输至主控单元；
主控单元，用于根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
主控单元还用于判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，自主选择是否将警报控制信号发送至预警模块；
或者
判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
车辆接口模块，用于获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
显示模块，用于在接收主控单元发送的显示控制信号后，显示带框的检测目标；
预警模块，用于在接收主控单元发送的警报控制信号后，发出警报。
2.如权利要求1所述的装置，其特征在于，图像采集模块包括第一摄像头、第二摄像头和第三摄像头，摄像智能处理模块包括第一摄像智能处理单元、第二摄像智能处理单元和第三摄像智能处理单元，
其中，第一摄像头，用于采集车厢内司机与乘务员位置的图像，并将采集的第一图像传输给所述第一摄像智能处理单元；
第二摄像头，用于采集校车车厢前半区的图像，并将采集的第二图像传输给所述第二摄像智能处理单元；
第三摄像头，用于采集校车车厢后半区的图像，并将采集的第三图像传输给所述第三摄像智能处理单元；
第一摄像智能处理单元，用于搭载预先训练好的分类网络模型对第一图像进行识别，并将识别后的第一图像传输至所述传输模块；
第二摄像智能处理单元，用于搭载预先训练好的分类网络模型对第二图像进行识别，并将识别后的第二图像传输至所述传输模块；
第三摄像智能处理单元，用于搭载预先训练好的分类网络模型对第三图像进行识别，并将识别后的第三图像传输至所述传输模块。
3.如权利要求2所述的装置，其特征在于，主控单元具体用于：
判断识别后的第一图像、识别后的第二图像和识别后的第三图像是否包含人类检测目标，如果任意识别后的图像包含人类检测目标，则向预警装置发送警报控制信号；
否则，不发送警报控制信号。
4.如权利要求2所述的装置，其特征在于，所述显示模块具体用于在接收主控单元发送的对应显示控制信号后，实时显示第一摄像智能处理单元、第二摄像智能处理单元、第三摄像智能处理单元识别后的图像。
5.如权利要求2所述的装置，其特征在于，所述第一摄像头安装于车厢前挡风玻璃上部0.2米处或离前挡风玻璃0.1米处的车厢顶部位置上，且位于前挡风玻璃中线上；所述第二摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为1.8米；所述第三摄像头安装于车厢顶部，在车厢平面上，摄像头与车厢头部的距离为6米。
6.如权利要求1所述的装置，其特征在于，所述装置还包括存储模块，用于存储图像采集模块采集的图像。
7.如权利要求6所述的装置，其特征在于，预先训练好的分类网络模型的构建过程包括：
从存储模块中筛选出不同条件下的图像，并对筛选出的图像进行标注，创建数据集，不同条件包括乘客数量、校车运行环境以及车内光照情况；
根据开源神经网络算法YOLOV2算法和开源神经网络架构Darknet搭建分类网络模型；
将创建的数据集和ImageNet数据集作为训练集，对分类网络模型进行训练；
结合预训练参数和损失函数对分类网络模型进行微调，获得优化后的分类网络模型。
8.如权利要求7述的装置，其特征在于，在训练过程中采用多尺度输入的方法训练分类网络模型，每隔预设批次改变模型的输入图像的尺寸。
9.如权利要求1所述的装置，其特征在于，所述装置还包括电源模块，电源模块分别与图像采集模块、摄像智能处理模块、传输模块、主控单元、车辆接口模块、显示模块和预警模块连接，用于对各个模块供电。
10.一种基于深度学习的针对校车学生下车遗漏检测方法，其特征在于，包括：
通过图像采集模块接收主控单元发送的图像采集信号，采集校车车厢内不同区域的图像，不同区域包括驾驶区域和乘客区域；
通过摄像智能处理模块对校车车厢内不同区域的图像进行识别，获得识别后的图像，其中，识别过程具体包括：搭载预先训练好的分类网络模型对图像进行识别其中，识别后的图像包括目标回归框和目标类别；
通过传输模块将摄像智能处理单元得到的识别后的图像传输至主控单元；
通过主控单元根据车辆运行状态，控制是否向图像采集模块发送图像采集信号；
以及判断识别后的图像是否包含人类这一检测目标类别，并根据判断结果，选择是否将警报控制信号发送至预警模块；
或者判断识别后的图像是否包含人类这一检测目标类别，当判断出乘客区域包含人类检测目标类别时，将显示控制信号发送至显示模块，提醒驾驶区司机，并通过人工触发警报，将报警信号发送至预警模块，当警报触发后第一预设时间内未检测到警报取消信号或者警报在第二预设时间内未触发时，若接收到车辆接口模块发送的车辆运行状态信息为校车位于终点待停靠，车门的开闭状态为关闭状态，主控单元将车门控制信号发送至车辆接口模块；
通过车辆接口模块获取车辆运行状态信息以及车门的开闭状态，并将获取的车辆运行状态信息以及车门的开闭状态发送至主控单元，以及将主控单元发送的车门控制信号传输至车辆，控制车门的开启；
通过显示模块在接收主控单元发送的显示控制信号后，显示带框的检测目标；
通过预警模块在接收主控单元发送的警报控制信号后，发出警报。
CN201911074846.9A 2019-11-06 2019-11-06 一种基于深度学习的针对校车学生下车遗漏检测装置及方法 Pending CN111008566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911074846.9A CN111008566A (zh) 2019-11-06 2019-11-06 一种基于深度学习的针对校车学生下车遗漏检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911074846.9A CN111008566A (zh) 2019-11-06 2019-11-06 一种基于深度学习的针对校车学生下车遗漏检测装置及方法

Publications (1)

Publication Number Publication Date
CN111008566A true CN111008566A (zh) 2020-04-14

Family

ID=70111039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911074846.9A Pending CN111008566A (zh) 2019-11-06 2019-11-06 一种基于深度学习的针对校车学生下车遗漏检测装置及方法

Country Status (1)

Country Link
CN (1) CN111008566A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680592A (zh) * 2020-05-28 2020-09-18 东风柳州汽车有限公司 车内生物检测方法、装置、设备及存储介质
CN111709404A (zh) * 2020-08-05 2020-09-25 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备
CN112949400A (zh) * 2021-01-26 2021-06-11 四川大学 一种基于深度学习的动物智能实验系统与方法
CN114312580A (zh) * 2021-12-31 2022-04-12 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置
CN114626460A (zh) * 2022-03-15 2022-06-14 河海大学 一种藻类图像数据的水下采集与原位识别装置及方法
CN117273664A (zh) * 2023-11-21 2023-12-22 云启智慧科技有限公司 一种基于人工智能的智慧校车系统及装置
CN114626460B (zh) * 2022-03-15 2024-06-07 河海大学 一种藻类图像数据的水下采集与原位识别装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108238000A (zh) * 2016-12-27 2018-07-03 比亚迪股份有限公司 防止儿童锁于车内的防护系统和防护方法以及车辆
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109657555A (zh) * 2018-11-22 2019-04-19 湖北工业大学 一种针对校车学生下车遗漏的检测装置及方法
CN110097733A (zh) * 2019-04-15 2019-08-06 安徽中科美络信息技术有限公司 一种停车安全控制方法、系统及车载终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108238000A (zh) * 2016-12-27 2018-07-03 比亚迪股份有限公司 防止儿童锁于车内的防护系统和防护方法以及车辆
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109657555A (zh) * 2018-11-22 2019-04-19 湖北工业大学 一种针对校车学生下车遗漏的检测装置及方法
CN110097733A (zh) * 2019-04-15 2019-08-06 安徽中科美络信息技术有限公司 一种停车安全控制方法、系统及车载终端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680592A (zh) * 2020-05-28 2020-09-18 东风柳州汽车有限公司 车内生物检测方法、装置、设备及存储介质
CN111709404A (zh) * 2020-08-05 2020-09-25 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备
CN111709404B (zh) * 2020-08-05 2024-01-12 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备
CN112949400A (zh) * 2021-01-26 2021-06-11 四川大学 一种基于深度学习的动物智能实验系统与方法
CN112949400B (zh) * 2021-01-26 2022-07-08 四川大学 一种基于深度学习的动物智能实验系统与方法
CN114312580A (zh) * 2021-12-31 2022-04-12 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置
CN114312580B (zh) * 2021-12-31 2024-03-22 上海商汤临港智能科技有限公司 确定车辆内乘员的座位及车辆控制方法及装置
CN114626460A (zh) * 2022-03-15 2022-06-14 河海大学 一种藻类图像数据的水下采集与原位识别装置及方法
CN114626460B (zh) * 2022-03-15 2024-06-07 河海大学 一种藻类图像数据的水下采集与原位识别装置及方法
CN117273664A (zh) * 2023-11-21 2023-12-22 云启智慧科技有限公司 一种基于人工智能的智慧校车系统及装置
CN117273664B (zh) * 2023-11-21 2024-02-27 云启智慧科技有限公司 一种基于人工智能的智慧校车系统及装置

Similar Documents

Publication Publication Date Title
CN111008566A (zh) 一种基于深度学习的针对校车学生下车遗漏检测装置及方法
US11778144B2 (en) Vehicle monitoring
WO2018058958A1 (zh) 一种道路车辆交通告警系统及其方法
US11987256B1 (en) Automobile detection system
CN103810856B (zh) 校车安全监测装置及使用方法
JP2019205078A (ja) システム及びプログラム等
CN104786934B (zh) 一种车辆行驶数据管理系统及实现方法
US10997430B1 (en) Dangerous driver detection and response system
CN107336669A (zh) 车辆安全防护系统及其方法
CN104847211B (zh) 一种站台安全门与车门区间安全的辅助系统及其实现方法
US10836309B1 (en) Distracted driver detection and alert system
CN112686090B (zh) 一种公交车内异常行为智能监控系统
CN112633057B (zh) 一种公交车内异常行为智能监控方法
CN101179710A (zh) 铁路道口智能视频监控装置
CN108268849A (zh) 基于ai技术的公交车载视觉智能感知系统
CN208291146U (zh) 控制系统、车辆、云服务器及车联网系统
CN111599140A (zh) 一种车辆后排活体监测系统及方法
CN109639937A (zh) 使用传感器报告集成的相机子系统评估
CN105946595A (zh) 无人驾驶车辆的自动智能续航方法和装置
CN104821025A (zh) 客流检测方法及其检测系统
CN106600953A (zh) 出租车异常营运监测方法及系统
CN113370786A (zh) 基于多源信息融合的单位用车车载酒驾综合检测系统
CN102749908A (zh) 一种火力发电厂燃料智能无人值守管控系统及方法
CN110087026A (zh) 一种车辆双屏多摄像头监控系统
CN112434564A (zh) 公交车内异常聚集行为的检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200414