CN108986400A - 一种基于图像处理的第三方乘驾安全自动报警方法 - Google Patents

一种基于图像处理的第三方乘驾安全自动报警方法 Download PDF

Info

Publication number
CN108986400A
CN108986400A CN201811024761.5A CN201811024761A CN108986400A CN 108986400 A CN108986400 A CN 108986400A CN 201811024761 A CN201811024761 A CN 201811024761A CN 108986400 A CN108986400 A CN 108986400A
Authority
CN
China
Prior art keywords
human body
image
behavioral value
deep learning
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811024761.5A
Other languages
English (en)
Inventor
王东明
黄庆毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Nio Technology Co Ltd
Original Assignee
Shenzhen Nio Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Nio Technology Co Ltd filed Critical Shenzhen Nio Technology Co Ltd
Priority to CN201811024761.5A priority Critical patent/CN108986400A/zh
Publication of CN108986400A publication Critical patent/CN108986400A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Abstract

本发明公开一种基于图像处理的第三方乘驾安全自动报警方法，其分为多任务深度学习人体行为检测模型训练阶段和人体行为测试阶段，人体行为测试阶段是基于多任务深度学习人体行为检测模型进行人体危险行为检测，根据多任务深度学习人体行为检测模型计算出人体行为损失函数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数，发生网约车服务订单时，会自动激发安装在车内的乘驾安全自动报警装置，内置广角高清摄像头开始工作，首先采集驾驶员脸部图像，与网约平台存储的司机图像数据进行对比，核实驾驶人身份信息，再进入到人体行为测试阶段。本发明在驾驶员发生异常动作时自动预警，能有效降低网约车违法犯罪，将生命财产安全降到最低。

Description

一种基于图像处理的第三方乘驾安全自动报警方法
技术领域
本发明涉及运营车辆第三方乘车安全领域，特别涉及一种基于图像处 理的第三方乘驾安全自动报警方法。
背景技术
目前网约车平台的事故异常处理机制为在受害人提前感受到威胁时通 过手机APP端的紧急联系人或求救电话，接通通话或发短信到联系人平台， 紧急联系人接收到求救电话或信息后报警并联系网约平台获取出事车辆的 位置信息，需平台提供涉事车辆的位置及车辆特征便于公安出警处置。虽 有相关机制但还是安全事故频发，主要原因有：
1、网约车平台的安全预防机制不利，平台对于事故报警处理调取车辆 信息监控存在层层审批，内部监管流程导致延误警方第一时间处置。
2、网约车技术监管仅能提供车辆的大致特征及GPS位置信息，但因车 辆是运动的，平台提供的信息对于警方处置案件信息过少，往往延误了最 佳的处置黄金时间。
3、由于技术缺陷导致监管漏洞，常助长违法分子的犯罪心理并直接对 乘客造成生命安全伤害。
因此，上述方法存在技术弊端，
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图像处理的第 三方乘驾安全自动报警方法，其能在车内发生人身安全事故和车辆发生严 重交通事故时自动报警，能有效降低网约车违法犯罪，将生命财产安全降 到最低。
本发明的技术方案如下：
一种基于图像处理的第三方乘驾安全自动报警方法，其分为多任务深 度学习人体行为检测模型训练阶段和人体行为测试阶段，所述人体行为测 试阶段是基于所述多任务深度学习人体行为检测模型训练阶段所生成的多 任务深度学习人体行为检测模型进行人体危险行为检测，其中，所述多任 务深度学习人体行为检测模型训练阶段是通过一多任务卷积神经网络框架 训练出多任务深度学习人体行为检测模型，从而根据所述多任务深度学习 人体行为检测模型计算出人体行为损失函数、人体行为姿态损失函数、人 体其他特征点损失函数和总损失函数，在发生网约车服务订单时，会自动 激发安装在车内的乘驾安全自动报警装置，内置广角高清摄像头开始工作， 首先采集驾驶员脸部图像，与网约平台存储的司机图像数据进行对比，核 实驾驶人身份信息，再进入到人体行为测试阶段，所述人体行为测试阶段 的具体步骤如下：
a、采集驾驶员的人体行为图像；
b、将采集的图像进行预处理；
c、通过所述多任务深度学习人体行为检测模型检测，并将检测到的结 果送入人体异常行为检测算法；
d、对预处理后的图像，用canny边缘检测算法提取人体特征点的边缘 特征，跟进提取的人体特征点反馈给乘驾安全自动报警装置控制广角高清 摄像头摆动，聚焦移动目标；
e、根据所述人体异常行为检测算法从预处理后的图像中统计出人脸异 常行为、人脸朝向异常行为及人体其他特征异常行为的个数，并根据所统 计的数据判断出驾驶员是否发生异常，在发生异常时自动发出预警；
f、危险预警时激活后台监控和后台对讲功能，同时上报给公安机关/ 急救平台。
进一步地，所述乘驾安全自动报警装置包括ARM内核智能图像识别模 块、蓝牙数据传输模块、主机系统控制端、4G无线通讯模块、语音识别模 块、主机防拆报警模块、音频输出模块、对讲电路以及麦克风，所述ARM 内核智能图像识别模块的输出端分别连接所述广角高清摄像头和音频输出 模块，所述ARM内核智能图像识别模块通过所述蓝牙数据传输模块与外部 设备进行蓝牙连接，所述ARM内核智能图像识别模块与所述主机系统控制 端串口通讯，所述主机系统控制端分别连接所述4G无线通讯模块、语音识 别模块、主机防拆报警模块和对讲电路，所述对讲电路的输入端连接所述 麦克风，所述对讲电路的输出端连接所述音频输出模块。
进一步地，在所述人体行为测试阶段的步骤f中，危险预警的情况包括 有车内发生人身安全事故和车辆发生严重交通事故；
在发生人身安全事故时，实时接通平台安全监管人员，提供位置、车 辆信息和车内实时视频，平台开启对讲功能，安全监管人员通过语音进行 喝止；同时4G接通报警电话及向警务平台发送求救短信，提供案件实发实 时位置、车辆信息、车内情形图片；
在发生车辆发生严重交通事故时，系统自动接通120救助电话并将车 辆位置、车辆信息发送到急救平台，自动上报车辆安全异常到网约平台， 平台打开音视频监控接口提供安全指导，获取车辆、人员安全状况信息并 协助提供给急救、交通部门。
进一步地，所述多任务深度学习人体行为检测模型训练阶段的具体步 骤如下：
a、采集驾驶员的人体行为图像；
b、对所采集到的每一张人体行为图像进行标注；
c、将采集的图像进行预处理
d、通过一多任务卷积神经网络框架训练出多任务深度学习人体行为检 测模型；
e、根据所述多任务深度学习人体行为检测模型计算出人体行为损失函 数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数。
进一步地，在所述多任务深度学习人体行为检测模型训练阶段的步骤d 中，所述多任务卷积神经网络框架包括依次连接的第一卷积层、第一池化 层、第一RELU层、第二卷积层、第二RELU层、第三卷积层、第二池化层 和拥有512神经元的第一全连接层，所述第一全连接层连接有人体行为检 测网络分支、人体行为姿态检测网络分支和人体行为其他特征点检测网络 分支；所述人体行为检测网络分支依次包括拥有128个神经元的第二全连接层和拥有2个神经元的第三全连接层；所述人体行为姿态检测网络分支 依次包括拥有128个神经元的第四全连接层和拥有5个神经元的第五全连 接层；所述人体行为其他特征点检测网络分支依次包括拥有256个神经元 的第六全连接层、拥有196个神经元的第七全连接层和拥有10个神经元的 第八全连接层。
进一步地，所述第一卷积层的卷积核大小为5X5，卷积层数为32；所 述第一池化层的大小为2X2；所述第二卷积层的卷积核大小为3X3，卷积层 数为32；所述第三卷积层的卷积核大小为3X3，卷积层数为24；所述第二 池化层的大小为2X2。
进一步地，所述人体行为检测网络分支经过所述第二全连接层和第三 全连接层最后送入到softmax函数，其人体行为损失函数计算公式如下：L1 ＝-∑(i＝1，2)tilogyi。
进一步地，所述人体行为姿态检测网络分支经过所述第四全连接层和 第五全连接层最后送入到softmax函数，其人体行为姿态损失函数计算公式 如下：L2＝-∑(i＝1，5)tilogyi。
进一步地，所述人体行为其他特征点检测网络分支经过所述第六全连 接层、第七全连接层和第八全连接层最后送入到带权重的均方误差函数， 其人体其他特征点损失函数计算公式如下：L3＝1/2*{[∑iwi(zi-yi)^2]/(∑iwi)}。
进一步地，所述多任务卷积神经网络框架的总的损失函数计算公式如 下：L＝∑(i＝1，3)αiLi。
相对于现有技术，本发明的有益效果在于：该方法基于图像处理技术， 在发生网约车服务订单时，自动激发安装在车内的乘驾安全自动报警装置， 内置广角高清摄像头开始工作，通过广角高清摄像头实时采集车内影像， 首先采集驾驶员脸部图像，与网约平台存储的司机图像数据进行对比，核 实驾驶人身份信息，防止无证驾驶、非法营运。驾驶员身份核实之后，广 角高清摄像头开始自动捕捉运动目标，网约订单正常进行中广角高清摄像头对准驾驶人，一旦驾驶人视线或动作移向副驾驶位或后座，乘驾安全自 动报警装置控制广角高清摄像头捕捉驾驶员的动作将捕捉目标进行切换， 当乘驾安全自动报警装置检测到驾驶员在订单结束前离开驾驶位时，乘驾 安全自动报警装置会通过智能图像识别自动将这一异常信息通过后台发生 给网约平台方，监管人员可实时观察车内情形，当检测到车内安全异常(有 诸如骚扰/打架/非法侵害犯罪事件发生或重大交通安全事故)时自动接通报 警电话，后台自动定时将车辆位置，车内图像，车辆信息发送到公安机关， 便于公安民警人员进行警情处置；同时网约平台可通过打开乘驾安全自动 报警装置的4G无线通讯模块进行实时通信，通过语音警告嫌疑人中止犯罪 实施，也可在发生重大交通事故时指导车内人员科学处置，将生命财产安 全降到最低。
附图说明
图1为本发明的系统工作流程图；
图2为本发明所述人体行为测试阶段的步骤流程图；
图3为本发明所述多任务深度学习人体行为检测模型训练阶段的步骤 流程图；
图4为本发明所述乘驾安全自动报警装置的结构示意图；
图5为本发明所述多任务卷积神经网络框架的网络框架图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1、图2、图3，本发明提供一种基于图像处理的第三方乘驾 安全自动报警方法，其分为多任务深度学习人体行为检测模型训练阶段和 人体行为测试阶段，所述人体行为测试阶段是基于所述多任务深度学习人 体行为检测模型训练阶段所生成的多任务深度学习人体行为检测模型进行 人体危险行为检测，其中，所述多任务深度学习人体行为检测模型训练阶 段是通过一多任务卷积神经网络框架训练出多任务深度学习人体行为检测模型，从而根据所述多任务深度学习人体行为检测模型计算出人体行为损 失函数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数， 在发生网约车服务订单时，会自动激发安装在车内的乘驾安全自动报警装 置，内置广角高清摄像头开始工作，首先采集驾驶员脸部图像，与网约平 台存储的司机图像数据进行对比，核实驾驶人身份信息，防止无证驾驶、 非法营运，驾驶员身份核实之后，广角高清摄像头开始自动捕捉运动目标， 进入到人体行为测试阶段，其中，采集的图像一部分作为多任务深度学习 人体行为检测模型训练阶段的训练样本，另一部分作为人体行为测试阶段 的测试图像输入。
其中，如图4所示，所述乘驾安全自动报警装置包括ARM内核智能图 像识别模块、蓝牙数据传输模块、主机系统控制端、4G无线通讯模块、语 音识别模块、主机防拆报警模块、音频输出模块、对讲电路以及麦克风， ARM内核智能图像识别模块的输出端分别连接广角高清摄像头和音频输出 模块，ARM内核智能图像识别模块通过蓝牙数据传输模块与外部设备进行 蓝牙连接，ARM内核智能图像识别模块与主机系统控制端串口通讯，主机 系统控制端分别连接4G无线通讯模块、语音识别模块、主机防拆报警模块 和对讲电路，对讲电路的输入端连接麦克风，对讲电路的输出端连接音频 输出模块。
如图2所示，所述人体行为测试阶段的具体步骤如下：
a、采集驾驶员的人体行为图像；
b、将采集的图像进行预处理，主要包括图像去噪和图像增强；
c、通过所述多任务深度学习人体行为检测模型检测，并将检测到的结 果送入人体异常行为检测算法；
d、对预处理后的图像，用canny边缘检测算法提取人体特征点的边缘 特征，跟进提取的人体特征点反馈给乘驾安全自动报警装置控制广角高清 摄像头摆动，聚焦移动目标；
e、根据所述人体异常行为检测算法从预处理后的图像中统计出人脸异 常行为、人脸朝向异常行为及人体其他特征异常行为的个数，并根据所统 计的数据判断出驾驶员是否发生异常，在发生异常时自动发出预警；
具体步骤e如下：
e1、统计每秒中检测到驾驶员人脸次数，当连续超过1分钟时间未接 到检测到人脸结果的信息，则发出驾驶异常报警信息a；
e2、统计驾驶员每秒中人脸朝向乘客，当连续超过1分钟时间未接到 人脸朝向为正面的结果，则发出驾驶员与乘客异常报警b；
e3、统计每秒钟检测驾驶员双手离开方向盘的次数，当连续超过10秒 未检测到方向盘上驾驶员手部特征，则发出驾驶员行为异常c；
e4、统计每秒钟检测到乘客身上有手的数量异常(大于2只)次数， 且连续超过5秒，则发出乘客危险报警信息d；
e5、统计驾驶员、乘客脸部左右眼，左右嘴角特征点的坐标，分别计 算左右眼睛的长度，嘴角长度；再根据提取的左右眼，嘴巴的边缘，计算 出左右眼的宽度，嘴角的宽度；根据左右眼长度和宽度之比与设定的阈值 比较，判断眼睛是否睁开还是闭合，如眼睛司机和乘客眼睛闭合时间超过 30S，则发出车辆异常报警信息e；
e6、根据输出行为动作特征、捕获，统计每秒中检测到车内人员的移 动次数，如连续2分钟车内无人员移动，则发出车内异常信息f。
f、危险预警时激活后台监控和后台对讲功能，同时上报给公安机关/ 急救平台。
其中，危险预警的情况包括有车内发生人身安全事故和车辆发生严重 交通事故两种情形：
1)在发生人身安全事故时，实时接通平台安全监管人员，提供位置、 车辆信息和车内实时视频，平台开启对讲功能，安全监管人员通过语音进 行喝止；同时4G接通报警电话及向警务平台发送求救短信，提供案件实发 实时位置、车辆信息、车内情形图片。
2)在发生车辆发生严重交通事故时，系统自动接通120救助电话并将 车辆位置、车辆信息发送到急救平台，自动上报车辆安全异常到网约平台， 平台打开音视频监控接口提供安全指导，获取车辆、人员安全状况信息并 协助提供给急救、交通部门。
如图3所示，所述多任务深度学习人体行为检测模型训练阶段的具体 步骤如下：
a、采集驾驶员的人体行为图像；
b、对所采集到的每一张人体行为图像进行标注；
c、将采集的图像进行预处理
d、通过一多任务卷积神经网络框架训练出多任务深度学习人体行为检 测模型；
其中，如图5所示，所述多任务卷积神经网络框架包括依次连接的第 一卷积层、第一池化层、第一RELU层、第二卷积层、第二RELU层、第三 卷积层、第二池化层和拥有512神经元的第一全连接层，损失函数采用交 叉熵函数，在所述第一卷积层和第二卷积层后添加一层RELU层作为激活函 数以加快网络收敛，最后一层第三卷积层不添加ReLU操作，以保留重要的 特征信息，所述第一全连接层连接有人体行为检测网络分支、人体行为姿 态检测网络分支和人体行为其他特征点检测网络分支。
所述第一卷积层的卷积核大小为5X5，卷积层数为32；所述第一池化 层的大小为2X2；所述第二卷积层的卷积核大小为3X3，卷积层数为32；所 述第三卷积层的卷积核大小为3X3，卷积层数为24；所述第二池化层的大 小为2X2。
所述人体行为检测网络分支依次包括拥有128个神经元的第二全连接 层和拥有2个神经元的第三全连接层，人体行为检测网络分支经过所述第 二全连接层和第三全连接层最后送入到softmax函数，结果只包含(1人脸、 0非人脸)，其人体行为损失函数计算公式如下：
L1＝-∑(i＝1，2)tilogyi。
所述人体行为姿态检测网络分支依次包括拥有128个神经元的第四全 连接层和拥有5个神经元的第五全连接层，人体行为姿态检测网络分支经 过所述第四全连接层和第五全连接层最后送入到softmax函数，结果只包含 (0正面、1左侧、2右侧、3大于15度朝下测、4大于15度朝上测)，其 人体行为姿态损失函数计算公式如下：
L2＝-∑(i＝1，5)tilogyi。
所述人体行为其他特征点检测网络分支依次包括拥有256个神经元的 第六全连接层、拥有196个神经元的第七全连接层和拥有10个神经元的第 八全连接层，人体行为其他特征点检测网络分支经过所述第六全连接层、 第七全连接层和第八全连接层最后送入到带权重的均方误差函数，结果只 包含(左眼、右眼、鼻子、左嘴角、右嘴角)在图片中的坐标位置，其人 体其他特征点损失函数计算公式如下：
L3＝1/2*{[∑iwi(zi-yi)^2]/(∑iwi)}。
由于本发明使用的是多任务深度学习，而输入的图像可能只包含某个 检测任务，如图片只有一部分人脸信息，而人脸其他特征不全，为了不影 响模型训练收敛，将所有任务综合训练，并设置不同的权重，模型总的损 失函数如下公式所示训练模型的总的损失函数如公式下所示，训练模型的 总的损失函数计算公式如下：
L＝∑(i＝1，3)αiLi。
αi代表不同任务的权重值，所有任务的权重值之和等于1；任务越重要 αi值越大。
e、根据所述多任务深度学习人体行为检测模型计算出人体行为损失函 数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数。
综上所述，本发明基于图像识别技术，通过采集驾驶员和乘坐成员的 图像信息，将驾驶员的脸部图像进行识别，与绑定的车辆和网约平台车主 注册的司机图像、ID进行对比，杜绝非法营运等安全隐患；另外能自动跟 踪移动目标，实时监控车内图像及语音信息，通过图像识别算法识别车内 异常信息，如违法犯罪行为及重大交通事故等，自动将报警信息传递给公 安机关并且同步传输到平台安全监控人员，平台能与车内人员进行紧急通话，终止犯罪行为实施或科学指导车内人员进行脱困，且能实时查看现场 情况，直接和当事人进行语音沟通，有效降低网约车违法犯罪。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本 发明的保护范围之内。

Claims (10)

1.一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，其分为多任务深度学习人体行为检测模型训练阶段和人体行为测试阶段，所述人体行为测试阶段是基于所述多任务深度学习人体行为检测模型训练阶段所生成的多任务深度学习人体行为检测模型进行人体危险行为检测，其中，所述多任务深度学习人体行为检测模型训练阶段是通过一多任务卷积神经网络框架训练出多任务深度学习人体行为检测模型，从而根据所述多任务深度学习人体行为检测模型计算出人体行为损失函数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数，在发生网约车服务订单时，会自动激发安装在车内的乘驾安全自动报警装置，内置广角高清摄像头开始工作，首先采集驾驶员脸部图像，与网约平台存储的司机图像数据进行对比，核实驾驶人身份信息，再进入到人体行为测试阶段，所述人体行为测试阶段的具体步骤如下：
a、采集驾驶员的人体行为图像，
b、将采集的图像进行预处理；
c、通过所述多任务深度学习人体行为检测模型检测，并将检测到的结果送入人体异常行为检测算法；
d、对预处理后的图像，用canny边缘检测算法提取人体特征点的边缘特征，跟进提取的人体特征点反馈给乘驾安全自动报警装置控制广角高清摄像头摆动，聚焦移动目标；
e、根据所述人体异常行为检测算法从预处理后的图像中统计出人脸异常行为、人脸朝向异常行为及人体其他特征异常行为的个数，并根据所统计的数据判断出驾驶员是否发生异常，在发生异常时自动发出预警；
f、危险预警时激活后台监控和后台对讲功能，同时上报给公安机关/急救平台。
2.根据权利要求1所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述乘驾安全自动报警装置包括ARM内核智能图像识别模块、蓝牙数据传输模块、主机系统控制端、4G无线通讯模块、语音识别模块、主机防拆报警模块、音频输出模块、对讲电路以及麦克风，所述ARM内核智能图像识别模块的输出端分别连接所述广角高清摄像头和音频输出模块，所述ARM内核智能图像识别模块通过所述蓝牙数据传输模块与外部设备进行蓝牙连接，所述ARM内核智能图像识别模块与所述主机系统控制端串口通讯，所述主机系统控制端分别连接所述4G无线通讯模块、语音识别模块、主机防拆报警模块和对讲电路，所述对讲电路的输入端连接所述麦克风，所述对讲电路的输出端连接所述音频输出模块。
3.根据权利要求1所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，在所述人体行为测试阶段的步骤f中，危险预警的情况包括有车内发生人身安全事故和车辆发生严重交通事故；
在发生人身安全事故时，实时接通平台安全监管人员，提供位置、车辆信息和车内实时视频，平台开启对讲功能，安全监管人员通过语音进行喝止；同时4G接通报警电话及向警务平台发送求救短信，提供案件实发实时位置、车辆信息、车内情形图片；
在发生车辆发生严重交通事故时，系统自动接通120救助电话并将车辆位置、车辆信息发送到急救平台，自动上报车辆安全异常到网约平台，平台打开音视频监控接口提供安全指导，获取车辆、人员安全状况信息并协助提供给急救、交通部门。
4.根据权利要求1所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述多任务深度学习人体行为检测模型训练阶段的具体步骤如下：
a、采集驾驶员的人体行为图像；
b、对所采集到的每一张人体行为图像进行标注；
c、将采集的图像进行预处理
d、通过一多任务卷积神经网络框架训练出多任务深度学习人体行为检测模型；
e、根据所述多任务深度学习人体行为检测模型计算出人体行为损失函数、人体行为姿态损失函数、人体其他特征点损失函数和总损失函数。
5.根据权利要求4所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，在所述多任务深度学习人体行为检测模型训练阶段的步骤d中，所述多任务卷积神经网络框架包括依次连接的第一卷积层、第一池化层、第一RELU层、第二卷积层、第二RELU层、第三卷积层、第二池化层和拥有512神经元的第一全连接层，所述第一全连接层连接有人体行为检测网络分支、人体行为姿态检测网络分支和人体行为其他特征点检测网络分支；所述人体行为检测网络分支依次包括拥有128个神经元的第二全连接层和拥有2个神经元的第三全连接层；所述人体行为姿态检测网络分支依次包括拥有128个神经元的第四全连接层和拥有5个神经元的第五全连接层；所述人体行为其他特征点检测网络分支依次包括拥有256个神经元的第六全连接层、拥有196个神经元的第七全连接层和拥有10个神经元的第八全连接层。
6.根据权利要求5所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述第一卷积层的卷积核大小为5X5，卷积层数为32；所述第一池化层的大小为2X2；所述第二卷积层的卷积核大小为3X3，卷积层数为32；所述第三卷积层的卷积核大小为3X3，卷积层数为24；所述第二池化层的大小为2X2。
7.根据权利要求5所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述人体行为检测网络分支经过所述第二全连接层和第三全连接层最后送入到softmax函数，其人体行为损失函数计算公式如下：L1＝‐∑(i＝1，2)tilogyi。
8.根据权利要求5所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述人体行为姿态检测网络分支经过所述第四全连接层和第五全连接层最后送入到softmax函数，其人体行为姿态损失函数计算公式如下：L2＝‐∑(i＝1，5)tilogyi。
9.根据权利要求5所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述人体行为其他特征点检测网络分支经过所述第六全连接层、第七全连接层和第八全连接层最后送入到带权重的均方误差函数，其人体其他特征点损失函数计算公式如下：L3＝1/2*{[∑iwi(zi‐yi)^2]/(∑iwi)}。
10.根据权利要求5所述的一种基于图像处理的第三方乘驾安全自动报警方法，其特征在于，所述多任务卷积神经网络框架的总的损失函数计算公式如下：L＝∑(i＝1，3)αiLi。
CN201811024761.5A 2018-09-03 2018-09-03 一种基于图像处理的第三方乘驾安全自动报警方法 Pending CN108986400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811024761.5A CN108986400A (zh) 2018-09-03 2018-09-03 一种基于图像处理的第三方乘驾安全自动报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811024761.5A CN108986400A (zh) 2018-09-03 2018-09-03 一种基于图像处理的第三方乘驾安全自动报警方法

Publications (1)

Publication Number Publication Date
CN108986400A true CN108986400A (zh) 2018-12-11

Family

ID=64547879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811024761.5A Pending CN108986400A (zh) 2018-09-03 2018-09-03 一种基于图像处理的第三方乘驾安全自动报警方法

Country Status (1)

Country Link
CN (1) CN108986400A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919134A (zh) * 2019-03-25 2019-06-21 王奕然 一种基于视觉的运营车辆人员异常行为检测方法
CN110363093A (zh) * 2019-06-19 2019-10-22 深圳大学 一种司机动作识别方法及装置
CN110491060A (zh) * 2019-08-19 2019-11-22 深圳市优必选科技股份有限公司 一种机器人及其安全监控方法、装置及存储介质
CN110517449A (zh) * 2019-09-25 2019-11-29 合肥工业大学 一种用于网约车、出租车的智能风控系统
CN110580799A (zh) * 2019-06-19 2019-12-17 四川鼎鸿物联网科技有限公司 一种出租车网约车驾乘人员言行自动预判报警系统
US20200090082A1 (en) * 2018-09-19 2020-03-19 Jayvinder Singh A/L Surjit Singh System and method for providing personalized security services
CN111460938A (zh) * 2020-03-20 2020-07-28 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置
CN111598641A (zh) * 2019-02-21 2020-08-28 北京嘀嘀无限科技发展有限公司 一种订单风险验证方法和系统
CN111723623A (zh) * 2019-03-22 2020-09-29 杭州海康威视数字技术股份有限公司 一种检测平台的方法及装置
CN111806375A (zh) * 2019-08-07 2020-10-23 北京嘀嘀无限科技发展有限公司 汽车报警方法、电子设备、汽车、存储介质及服务器
CN112061065A (zh) * 2020-07-27 2020-12-11 大众问问(北京)信息科技有限公司 一种车内行为识别报警方法、设备、电子设备及存储介质
WO2021017057A1 (zh) * 2019-07-31 2021-02-04 衢州市博特化工有限公司 载客运营车辆监管系统及设备、介质
CN113183989A (zh) * 2021-03-18 2021-07-30 浙江警察学院 一种站台系统
CN114663863A (zh) * 2022-02-24 2022-06-24 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
JP7472639B2 (ja) 2020-05-11 2024-04-23 株式会社デンソー 危険度推定装置、危険度推定方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056839A (zh) * 2016-06-30 2016-10-26 武汉斑马快跑科技有限公司 网约车安全监测系统及方法
CN106453570A (zh) * 2016-10-19 2017-02-22 北京速能数码网络技术有限公司 一种行车状态的远程监控方法、系统及车载设备、服务器
CN107332875A (zh) * 2017-05-27 2017-11-07 上海与德科技有限公司 一种网约车监控方法及系统、云端服务器
CN107729870A (zh) * 2017-01-24 2018-02-23 问众智能信息科技（北京）有限公司 基于计算机视觉的车内安全监测的方法和装置
CN108162975A (zh) * 2017-12-11 2018-06-15 厦门蓝斯通信股份有限公司 一种驾驶员身份识别与监管方法及系统
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN108961669A (zh) * 2018-07-19 2018-12-07 上海小蚁科技有限公司 网约车的安全预警方法及装置、存储介质、服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056839A (zh) * 2016-06-30 2016-10-26 武汉斑马快跑科技有限公司 网约车安全监测系统及方法
CN106453570A (zh) * 2016-10-19 2017-02-22 北京速能数码网络技术有限公司 一种行车状态的远程监控方法、系统及车载设备、服务器
CN107729870A (zh) * 2017-01-24 2018-02-23 问众智能信息科技（北京）有限公司 基于计算机视觉的车内安全监测的方法和装置
CN107332875A (zh) * 2017-05-27 2017-11-07 上海与德科技有限公司 一种网约车监控方法及系统、云端服务器
CN108162975A (zh) * 2017-12-11 2018-06-15 厦门蓝斯通信股份有限公司 一种驾驶员身份识别与监管方法及系统
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN108961669A (zh) * 2018-07-19 2018-12-07 上海小蚁科技有限公司 网约车的安全预警方法及装置、存储介质、服务器

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200090082A1 (en) * 2018-09-19 2020-03-19 Jayvinder Singh A/L Surjit Singh System and method for providing personalized security services
CN111598641A (zh) * 2019-02-21 2020-08-28 北京嘀嘀无限科技发展有限公司 一种订单风险验证方法和系统
CN111723623A (zh) * 2019-03-22 2020-09-29 杭州海康威视数字技术股份有限公司 一种检测平台的方法及装置
CN109919134B (zh) * 2019-03-25 2023-04-18 王奕然 一种基于视觉的运营车辆人员异常行为检测方法
CN109919134A (zh) * 2019-03-25 2019-06-21 王奕然 一种基于视觉的运营车辆人员异常行为检测方法
CN110580799A (zh) * 2019-06-19 2019-12-17 四川鼎鸿物联网科技有限公司 一种出租车网约车驾乘人员言行自动预判报警系统
CN110363093A (zh) * 2019-06-19 2019-10-22 深圳大学 一种司机动作识别方法及装置
WO2021017057A1 (zh) * 2019-07-31 2021-02-04 衢州市博特化工有限公司 载客运营车辆监管系统及设备、介质
CN111806375A (zh) * 2019-08-07 2020-10-23 北京嘀嘀无限科技发展有限公司 汽车报警方法、电子设备、汽车、存储介质及服务器
CN110491060A (zh) * 2019-08-19 2019-11-22 深圳市优必选科技股份有限公司 一种机器人及其安全监控方法、装置及存储介质
CN110491060B (zh) * 2019-08-19 2021-09-17 深圳市优必选科技股份有限公司 一种机器人及其安全监控方法、装置及存储介质
CN110517449A (zh) * 2019-09-25 2019-11-29 合肥工业大学 一种用于网约车、出租车的智能风控系统
CN111460938A (zh) * 2020-03-20 2020-07-28 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置
CN111460938B (zh) * 2020-03-20 2022-04-08 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置
JP7472639B2 (ja) 2020-05-11 2024-04-23 株式会社デンソー 危険度推定装置、危険度推定方法、及びプログラム
CN112061065A (zh) * 2020-07-27 2020-12-11 大众问问(北京)信息科技有限公司 一种车内行为识别报警方法、设备、电子设备及存储介质
CN113183989A (zh) * 2021-03-18 2021-07-30 浙江警察学院 一种站台系统
CN113183989B (zh) * 2021-03-18 2023-07-18 浙江警察学院 一种站台系统
CN114663863A (zh) * 2022-02-24 2022-06-24 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和计算机存储介质

Similar Documents

Publication Publication Date Title
CN108986400A (zh) 一种基于图像处理的第三方乘驾安全自动报警方法
CN108791299A (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN107657236A (zh) 汽车安全驾驶预警方法及车载预警系统
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN107697069A (zh) 汽车驾驶员疲劳驾驶智能控制方法
CN108351968A (zh) 一种针对犯罪活动的告警方法、装置、存储介质及服务器
CN103956028A (zh) 一种汽车多元驾驶安全防护方法
CN110544360B (zh) 一种列车安全驾驶监测系统及方法
CN107016852B (zh) 具有防胁迫的智能停车出入控制系统及方法
WO2015155143A1 (de) Einrichtung zur überwachung eines kraftfahrzeugs und verfahren zum betrieb einer solchen einrichtung
CN111027478A (zh) 一种基于深度学习的司机、乘客行为分析与预警系统
CN110525456B (zh) 一种列车安全驾驶监测系统及方法
CN109359755A (zh) 事件监测方法、装置、设备和存储介质
CN110517449A (zh) 一种用于网约车、出租车的智能风控系统
CN110103816B (zh) 一种驾驶状态检测方法
JP7160454B2 (ja) 情報を出力するための方法、装置及びシステム、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN109190468A (zh) 一种疲劳驾驶监测方法及系统
CN109801475A (zh) 疲劳驾驶检测方法、装置及计算机可读存储介质
CN106683413A (zh) 一种基于应急车道的快速救援系统
Yan et al. Recognizing driver inattention by convolutional neural networks
CN110222596A (zh) 一种基于视觉的驾驶员行为分析防作弊方法
CN107585026A (zh) 一种防疲劳驾驶系统
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
CN108170056A (zh) 一种互动交流驾驶机器人及其控制方法
CN205722310U (zh) 一种基于视频序列的列车驾驶员行为识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination