CN112037365A - 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统 - Google Patents

Abstract

面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，包括以下步骤；行车记录仪实时拍摄视频原始数据，通过车载WiFi将视频原始数据传送到车载终端系统；车载终端系统部署有本地边缘计算软件或设备，本地边缘计算软件或设备进行判断；若结果判断为疑似车辆火灾事故发生，则将相关序列视频数据传输到车载系统中的边缘计算管理中心；把相关数据分析结果发送到云服务器；云服务器接收来自边缘计算管理中心的报警信息和视频数据，将相关信息和数据发送至智能报警系统运营中心；智能报警系统运营中心将相关报警信息推送到相应交通管理部门进行警情处理。本发明可实现在道路监控盲区检测车辆火灾事故并及时报警，弥补了固定式监控的缺点。

Description

面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统

技术领域

本发明涉及行车记录辅助技术领域，特别涉及面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统。

背景技术

云计算平台为车辆服务提供了大量数据资源，摆脱了车辆在计算、存储、资源方面的限制，但是在5G时代，实现车辆与云计算平台之间低时延的视频传输及实时检测仍然存在一些挑战。传统的云计算模型是集中式的，其功能实现依靠众多高性能服务器来完成，云计算平台主要集中部署在距离用户较远的数据中心。车辆在行驶过程中，向云计算平台传输数据所面临的首要问题就是高传输时延问题，且随着车载设备、移动终端数量大幅上升的变化趋势，大量的数据传输势必给云计算平台造成巨大的计算负载，因而云计算平台进行计算处理的稳定性就无法有效地保证，又因各种数据传输复杂多样，缺乏足够的数据传输加密协议，因而造成车载设备与云计算平台之间的数据传输的安全性大幅下降。例如：行车视频的实时检测功能所需要的大量视频数据的传输，则会造成巨大的流量损耗，无疑大幅增加了实时检测的成本需求。

综上所述，云计算的数据传输以及处理能力无法有效地满足类似如行车视频的传输以及实时检测的功能，包括在检测响应速度、成本实现、传输可靠安全性方面的实际应用需求。

传统的固定式监控因部署在道路的固定位置，监测范围受其设备限制，不能够有效全面的监测道路危险状况。

发明内容

为了解决以上技术问题，本发明的目的在于提供面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，使行车记录仪配备有视频检测报警功能，可实现在道路监控盲区检测车辆火灾事故并及时报警，弥补了固定式监控的缺点。

为了实现上述目的，本发明采用的技术方案是：

面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，包括以下步骤；

①行车记录仪实时拍摄视频原始数据，通过车载WiFi将视频原始数据传送到车载终端系统；

②车载终端系统部署有本地边缘计算软件或设备，本地边缘计算软件或设备将自动获取来自行车记录仪的视频原始数据，边缘计算软件或设备基于本地存储的车辆火灾检测预判算法，初步分析视频原始数据，生成预判结果；若结果判断为疑似车辆火灾事故发生，则将相关序列视频数据打包后进行压缩处理、类型转化，将视频数据传输到车载系统中的边缘计算管理中心；

③边缘计算管理中心对视频来源做出分析，在边缘计算管理中心进行计算卸载任务分析，把相关数据分析结果发送到云服务器；

④云服务器接收来自边缘计算管理中心的有关计算卸载任务的数据分析结果，并对此进行来源分析，寻找合适的云边缘计算平台并向云边缘计算平台分配边缘计算任务，将此云边缘计算平台相关的链接信息推送给边缘计算管理中心；

⑤边缘计算管理中心获得云边缘计算平台相关链接信息后，自动连接云边缘计算平台，并将疑似为车辆火灾的交通事故视频进行视频数据类型转化和压缩处理后发送至云边缘计算平台；

⑥云边缘计算平台对所接收视频进行视频数据解析，通过车辆火灾事故检测算法来对车辆火灾交通事故进行二次确认检测判断，若检测判断为车辆火灾交通事故则将预报警信息回传至边缘计算管理中心，边缘计算管理中心将预报警信息传输至车载终端语音提示系统提示车主进行信息确认；若判别不是车辆火灾交通事故，则将视频数据暂存2～3天，云边缘计算平台利用运行空闲时间将误判视频数据上传至云服务器，供云服务器对错误预判数据进行分析，改善本地边缘计算中的车辆火灾事故预判算法模型；

⑦车载系统收到预报警后，向车主征求车辆火灾交通事故报警意见，车主做出选择后，车载系统则向边缘计算管理中心发送指定报警信息；

⑧边缘计算管理中心接收报警信息做出报警判断，若判断为是，则将相关视频进行数据处理，后连同报警信息上传至云服务器；若判断为否，则保留视频数据和相关信息并添加误判标记，后续可在视频存储期限内由车主自行上传至云服务器，供云服务器对现有的云边缘计算平台中的车辆火灾检测算法模型进行调整训练；

⑨云服务器接收来自边缘计算管理中心的报警信息和视频数据，将相关信息和数据进行二次处理，发送至智能报警系统运营中心；

⑩智能报警系统运营中心对报警信息的来源做出定位分析，将相关报警信息推送到相应交通管理部门进行警情处理。

所述步骤①具体为：

TBOX通过CAN总线将TBOX链接信息发送给行车记录仪，使行车记录仪通过CAN总线建立视频传输信道，连接成功后，TBOX基于WIFI局域网与车载终端系统进行视频传输。

所述的步骤②具体为：

本地边缘计算软件或设备获取视频原始数据后可进行火灾烟雾检测进行火灾烟雾预判，在视频检测中主要进行前景检测、特征提取和特征识别三大处理；在前景检测中，依据灰度差值的绝对值计算和阈值化方法，从视频数据中提取出前景区域，采用背景差分法，对比当前帧图像I(x，y，t)和背景图像B(x，y，t)的差异，然后确定噪声和前景区域图像，再检测出前景区域，提取前景之后对背景图像进行更新以满足对不断变化的静态特征的视频适应需求，在前景检测完成后进行火灾烟雾的背景模糊特征提取，采用二维离散小波分析的方法进行小波分析，借助火灾烟雾的出现会使得图像中被火灾烟雾遮挡的背景边缘区出现模糊现象这一特征，通过小波变换来提取模糊现象中的边缘高通信息，依据能量值变小的特点来判定交通火灾烟雾的存在；

完成特征提取后，将视频图像进行分区分块处理；针对每一个区域，利用存在火灾烟雾的图像中每帧图像的像素点能量值显著差异做出判别，通多块区域的联合判别来综合判断提高识别准确率，依此确定最终识别结果；

然后对视频数据进行抽帧、分帧，再进行进一步细化、调整等预处理操作，采集得到不同时刻的图像信息，将图像导入图像处理区，进行图像的连续处理并计算HSV颜色特征，，利用现有的火灾颜色特征与实例采集得到的HSV特征进行匹配分析，判断二者相似度，若相似度较高，继续进行后续计算判断；若相似度较低，则直接预判结果为非车辆火灾，不做后续处理；

后续计算中，首先是要利用SURF算法计算实例图像特征以及火灾类图像的局部特征，通过改进的SURF算法来大幅减少计算量，然后采用K均值聚类算法针对所计算的局部特征来进行各类图像的聚类中心的距离计算，完成计算后判定是否为火灾事故。

所述的步骤③具体为：

边缘计算管理中心通过周边的基站等无线接入点将卸载请求发送到SDN上，SDN根据请求来源分析用户附近网络情况，并且实时完成对计算卸载任务的估量，计算出对应卸载策略，卸载策略应包含任务卸载比例以及边缘节点需求数量，SDN完成这一卸载策略的制定后将其回传给边缘计算管理中心，边缘计算管理中心进行本地计算数据收集的统计，进而确定计算卸载任务分析量。

所述的步骤⑤具体为：

边缘计算管理中心和云服务器、以及云服务器和云边缘计算平台和边缘计算管理中心的视频传输实现：这三部分间的视频传输主要是利用ConnectThread线程创建Socket类对象，依据不同系统的服务器IP地址以及端口号来建立连接或通过JSONObject类对象来对视频数据进行标识，使视频数据成为带有标识IMEI号以及JSON数据格式的视频数据进行发送，在视频传输过程中会用到OutputStream类的对象mOutStream进行数据的传输发送，利用Socket的getInputStream()方法，依次对云边缘计算平台回传的JSON数据包中的信息进行解析，在各平台接收过程中，分别建立Receive和Send线程，通过特定IMEI号来开辟独立传输信道，实现视频实时传输功能。

所述的步骤⑥具体为：

首先对视频数据做抽帧、分帧处理，然后进行细化和调整，获取图像信息，对火灾烟雾图像进行灰度变换、滤波处理，接着进行形态学处理，至此完成图像预处理操作；

再对预处理后的图形进行火灾烟雾运动区域的提取，使用运动目标提取法，将火灾烟雾进行图像提取，通过初步提取以减少计算量进而提高图像判别效率，在运动目标提取算法中可采用帧间差分法提取，通过采集视频序列中两帧或多帧的图像比较前后灰度值做出判断提取；

鉴于帧间差分法在行车记录仪的视频中难以过滤众多运动物体的噪声影响，在此加入高斯混合模型的使用来辅助计算判断；

完成火灾烟雾提取之后接着进行火灾烟雾的特征分析，基于火灾烟雾在图像上的许多明显特征来分析判断，首先是分析判断火灾烟雾在RGB上的颜色特征，接着对火灾烟雾的形态特征作分析，之后进行火灾烟雾的面积增长特征进行分析，然后进行火灾烟雾的运动方向特征分析，在运动方向特征分析中，采用块分配法，即计算8个方向的SAD，进行逐帧计算，同时采用块匹配搜索策略做运动方向特征分析；

对火灾烟雾的五大特征提取分析后，将特征组合成一个特征向量进行最终的火灾识别判断；完成了对火灾的烟雾识别后，进行火灾的火焰识别，首先引入一条用于增强底层特征信息的自底向上的路径，建立一条特征路径来对底层和高层的特征进行特征融合，然后去改进Mask R-CNN模型本身的损失函数，实现对Mask R-CNN直接应用于火灾火焰检测的问题，Mask R-CNN模型接收到经过图像预处理的视频输入后，首先利用其骨干网络提取图片的多尺度特征图，一次根据当前云边缘计算平台的所在区域选择出待定区域目标，然后通过softmax划分两类目标如前景和后景目标，与此同时使用边框回归器来修正待定选择框的位置后生成最终的候选框，在生成最终候选框之后，利用全卷积网络进行掩膜预测，根据特征图和候选区域完成对火灾发生的分类检测，完成对车辆火灾的判定识别。

所述的步骤⑦具体为：

云服务器向智能报警中心的视频推送，以及向交通管理部门的视频以及相关信息推送；云服务器在收到报警信息和相关视频数据后，和智能报警系统运营中心建立链接，通过5G传输网络快速将视频数据和报警信息传送给智能报警系统运营中心，智能报警运行中心接受来自云服务器的相关数据后，对视频信号以及报警信息、视频数据进行编码，然后根据报警信息分析数据来源的位置信息，自动搜寻其周边的交通管理部门，然后将编码后的信息再次借助5G传输推送到相应的交通管理部门，实现第一时间迅速报警。

本发明的有益效果：

本发明可使得车载系统在车载本地借助边缘计算设备或软件实现火灾预判识别的本地边缘计算功能，并可借助5G实时传输将火灾预判视频传送到云边缘计算平台实现复杂的火灾检测识别的实时检测功能，通过5G传输来实现报警信息的迅速确认，完成联动报警功能。基于边缘计算的火灾事故检测可有效提高视频传输以及实时处理的响应速度，提高行车用户信息的安全保护性，减少因远距离数据传输产生的流量消耗而造成的高昂检测成本，同时可减免云计算平台的部分计算负载，通过能够快速实现火灾检测的边缘计算来为向交通部门及时提供报警信息，借助于行车记录仪实现检测范围更宽广的交通安全监控。

附图说明

图1为本发明系统流程图。

图2为本发明框架示意图。

图3为行车记录仪视频传输过程示意图。

图4为火灾烟雾预判算法示意图。

图5为火灾识别预判算法示意图。

图6为实现计算卸载框架示意图。

图7为接收端和发送端间的视频传输示意图。

图8为火灾探测判定算法流程图。

图9为基于改进Mask R-CNN的火焰图像识别模型示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1图2所示：面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，包括以下步骤；

①行车记录仪实时拍摄视频原始数据，通过车载WiFi将视频原始数据传送到车载终端系统；

②车载终端系统部署有本地边缘计算软件或设备，本地边缘计算软件或设备将自动获取来自行车记录仪的视频原始数据，边缘计算软件或设备基于本地存储的车辆火灾检测预判算法，初步分析视频原始数据，生成预判结果；若结果判断为疑似车辆火灾事故发生，则将相关序列视频数据打包后进行压缩处理、类型转化，将视频数据传输到车载系统中的边缘计算管理中心；

③边缘计算管理中心对视频来源做出分析，在边缘计算管理中心进行计算卸载任务分析，把相关数据分析结果发送到云服务器；

④云服务器接收来自边缘计算管理中心的有关计算卸载任务的数据分析结果，并对此进行来源分析，寻找合适的云边缘计算平台并向云边缘计算平台分配边缘计算任务，将此云边缘计算平台相关的链接信息推送给边缘计算管理中心；

⑤边缘计算管理中心获得云边缘计算平台相关链接信息后，自动连接云边缘计算平台，并将疑似为车辆火灾的交通事故视频进行视频数据类型转化和压缩处理后发送至云边缘计算平台；

⑥云边缘计算平台对所接收视频进行视频数据解析，通过车辆火灾事故检测算法来对车辆火灾交通事故进行二次确认检测判断，若检测判断为车辆火灾交通事故则将预报警信息回传至边缘计算管理中心，边缘计算管理中心将预报警信息传输至车载终端语音提示系统提示车主进行信息确认；若判别不是车辆火灾交通事故，则将视频数据暂存2～3天，云边缘计算平台利用运行空闲时间将误判视频数据上传至云服务器，供云服务器对错误预判数据进行分析，改善本地边缘计算中的车辆火灾事故预判算法模型；

⑦车载系统收到预报警后，向车主征求车辆火灾交通事故报警意见，车主做出选择后，车载系统则向边缘计算管理中心发送指定报警信息；

⑧边缘计算管理中心接收报警信息做出报警判断，若判断为是，则将相关视频进行数据处理，后连同报警信息上传至云服务器；若判断为否，则保留视频数据和相关信息并添加误判标记，后续可在视频存储期限内由车主自行上传至云服务器，供云服务器对现有的云边缘计算平台中的车辆火灾检测算法模型进行调整训练；

⑨云服务器接收来自边缘计算管理中心的报警信息和视频数据，将相关信息和数据进行二次处理，发送至智能报警系统运营中心；

⑩智能报警系统运营中心对报警信息的来源做出定位分析，将相关报警信息推送到相应交通管理部门进行警情处理。

如图3所示：所述步骤①具体为：

TBOX通过CAN总线将TBOX链接信息发送给行车记录仪，使行车记录仪通过CAN总线建立视频传输信道，连接成功后，TBOX基于WIFI局域网与车载终端系统进行视频传输。

如图4所示：所述的步骤②具体为：

本地边缘计算软件或设备获取视频原始数据后可进行火灾烟雾检测进行火灾烟雾预判，在视频检测中主要进行前景检测、特征提取和特征识别三大处理；在前景检测中，依据灰度差值的绝对值计算和阈值化方法，从视频数据中提取出前景区域，提取数据主要采用背景差分法，对比当前帧图像I(x，y，t)和背景图像B(x，y，t)的差异，该步骤主要公式如下：

式中，(x，y)表示以图像长方向为x轴，宽方向为y轴建立的坐标系中的图像像素点的坐标；X(x，y)为图像像素值；t为当前时间点；T为提前设定的阈值，设置T＝2，然后确定噪声和前景区域图像，再检测出前景区域，提取前景之后对背景图像进行更新以满足对不断变化的静态特征的视频适应需求，其中对背景图像更新过程中采用如下公式进行：

式中，a为介于0到1之间的常数值，若前景检测中X(x，y)中点(x，y)的像素值为0，则更新I(x，y，j)，而若其像素值为1，则不更新，即默认为前景图像，为尽可能提高提取前景图像的准确率，需要用到中值滤波的方法，在前景检测完成后进行火灾烟雾的背景模糊特征提取，采用二维离散小波分析的方法进行小波分析，借助火灾烟雾的出现会使得图像中被火灾烟雾遮挡的背景边缘区出现模糊现象这一特征，通过小波变换来提取模糊现象中的边缘高通信息，依据能量值变小的特点来判定交通火灾烟雾的存在，上述过程中，依据小波分析原理，检测图像中每一个像素在小波变换之后的高频信息的表达式如下：

W_t(x，y)＝|ψ^H(x，y)|²+|ψ^V(x，y)|²+|ψ^D(x，y)|²

上式中，ψ^H、ψ^V和ψ^D为在二维小波变换后的3个高频分量，下标t表示第t帧图像，其初始背景图像计算所得能量方程为W_b，当前帧图像为W_t，若W_t介于0到k*W_b之间，且0＜k＜1，可以判为背景模糊，即表示存在火灾烟雾，在这里，考虑到车载计算能力有限，因而像素的能量数值计算仅考虑前景区域的像素点，从而避免过多计算量；

完成特征提取后，将视频图像进行分区分块处理，进而提高判别效率，在分块处理过程中，可把图像分成相同尺寸的矩形块，每个块大小为(K，K)，即长宽相同的正方形，则其高频信息可用e(l₁，l₂)表示，其中，有关e(x，y)的计算表达式如下：

在计算模糊特征图片的高频信息时，利用火灾烟雾高频分量的特征，所以火灾烟雾的模糊特征实际也是频率特征，判据则介于0到k*e_b(l₁，l₂)，其中e(l₁，l₂)与e_b(l₁，l₂)分别代表当前帧图像坐标和背景帧，针对每一个区域，利用存在火灾烟雾的图像中每帧图像的像素点能量值显著差异做出判别，并且通过多区域的联合判别来综合判断提高识别准确率，依此确定最终识别结果；本探测方法区别于其它图像烟雾识别中依据颜色和轮廓特征做出的判断结果，本算法可适应不同环境的检测，检测效率较高，实时性较好，适用于行车记录仪中路况多变的视频数据；

如图5所示：然后对视频数据进行抽帧、分帧，再进行进一步细化、调整等预处理操作，采集得到不同时刻的图像信息，将图像导入图像处理区，进行图像的连续处理并计算HSV颜色特征，其中提取颜色特征的具体过程为：设所检测图像在某范围内共有X个灰度级，那么可确定其灰度直方图为表达式：E(q_m)＝p_m，其中，q_m是区间[0，1]内第m级亮度，p_m是亮度级数为q_m像素总数，m＝1，2......，X；经过归一化直方图后可得：

其中r(q_m)表示灰度级q_m出现的频率，利用现有的火灾颜色特征与实例采集得到的HSV特征进行匹配分析，判断二者相似度，若相似度较高，继续进行后续计算判断；若相似度较低，则直接预判结果为非车辆火灾，不做后续处理；

后续计算中，首先是要利用SURF算法计算实例图像特征以及火灾类图像的局部特征，通过改进的SURF算法来大幅减少计算量，改进后的SURF算法可通过图像二阶Hessian矩阵定义如下：

在上述定义中，L_xx(x，σ)是

与图像在(x，y)处的卷积，L_xy(x，σ)、L_yy(x，σ)分别为

与

与图像I(x，y)在点(x，y)处的卷积，其中G的表达式为：

那么Hessian矩阵行列式在尺度空间和图像空间的最大值点则被确定为特征点。

SURF算法利用Hessian得到特征点，接着进行精确定位，确定主方向并构造特征向量，具体操作如下：

(1)先确定以特征点为中心的半径为当前尺度六倍的圆形区，对此区域进行n*n(n是当前尺度的四倍，以n表示常量)模板大小的Hear小波梯度运算，接着依次进行加权运算；

(2)以每个特征点为中心、角度为π/3的扇形滑动窗口来获取特征点的主方向，对此区域内的图像进行Hear小波变换，相应值在两微分变量的方向上进行累增，得到所求向量；

(3)再以特征点为中心，旋转到主方向上，按此选取正方形区域(20σ*20σ)，再划分成4*4的子区域，每个子区域重复生成新的思维向量，据此可得一个64维的描述向量，归一化后可得最终的特征点描述子；接着采用K均值聚类算法针对所计算的局部特征来进行各类图像的聚类中心的距离计算，采用K均值聚类算法计算(设在m个数据对象中随机选择K个类别)计算过程如下：

(1)首先在m个对象中选择K个对象作为初始聚类中心；

(2)计算每个对象与聚类中心的距离，依据最小距离再重新划分；

(3)重复确定新的聚类中心，直到每个聚类不再发生变化，便可确定火灾类与非火灾类图像的聚类中心；

(4)利用特定点对两类图像进行比对，完成火灾识别；

火灾识别过程如下：

若有a个特征点接近火灾图像，初始值为0，同样的有b个特征点接近非火灾类，初始值也为0，那么可从中提取某一特征点，该特征点与火灾类聚类中心距离为U，与非火灾类聚类中心距离I，若U＜I，则a＝a+1，若U＞I，则b＝b+1。

当所有特征点提取完之后，若a/(a+b)比例为50％以上，则判定为火灾类图像，否则判为非火灾类图像。

如图6所示：所述的步骤③具体为：

边缘计算管理中心通过周边的基站等无线接入点将卸载请求发送到SDN上，SDN根据请求来源分析用户附近网络情况，并且实时完成对计算卸载任务的估量，计算出对应卸载策略，卸载策略应包含任务卸载比例以及边缘节点需求数量，SDN完成这一卸载策略的制定后将其回传给边缘计算管理中心，边缘计算管理中心进行本地计算数据收集的统计，进而确定计算卸载任务分析量；

此处对计算卸载过程中做出部分简要分析：假设该车辆有一个计算任务ψ_n需要进行卸载，卸载任务有两个卸载参数D_n和α_n，分别表示任务的输入数据大小和该任务的计算复杂度，据此可确定CPU周期数c_n＝a_n*D_n，然后终端车辆可向SDN请求这个卸载任务ψ_n，SDN查询车辆附近的空闲资源，若包含p个移动，边缘节点和q个固定边缘节点，当终端车辆准备上传ψ_n以及p个移动边缘节点时，可确定其二维坐标：

K＝{(x₀，y₀)，(x₁，y₁)，(x₂，y₂)，…(x_p，y_p)}

则可得车辆与接入点间的距离有：

进而可得上行链路速度和下行链路速度分别为：

W^UL和W^DL分别是上行和下行链路带宽；p_i和p_AP分别是各自的传输功率。p₀表示终端车辆的传输功率；ε表示路径损失常数，其区间为2～5h₀是复高斯信道参数，N₀代表加性高斯白噪声，由此可进行计算卸载效能的分析；

接着在SDN控制器上进一步地进行卸载策略的制定，此处可采用带有重传机制的高可靠计算卸载模型，设该边缘网络由p个移动边缘节点和q个固定边缘节点组成，可按照其上负责的子任务是否成功，划分有2^p+q种执行情况，若对各种情况进行编号，考虑其中一种编号为ε的具体情况，在其移动边缘节点中有k_m个子任务无法完成，未执行成功的移动边缘节点属于集合τ’(k_m)，成功的属于τ(p-k_m)，在固定边缘节点中同样的设有k_f个无法执行，共同属于集合Φ′(k_f)，其成功的归属于集合Φ(q-k_f)，则可以计算该种情况下的出现概率为：

为了完成计算任务，系统可将未成功的任务J重分配，J可表示为：

考虑其传输时延的问题后，可据此进行再优化，采用基于蒙特卡洛策略设计的一种算法一模拟退火算法进行计算优化，进而辅助高效完成计算卸载任务的决策。

如图7所示：所述的步骤⑤具体为：

边缘计算管理中心和云服务器、以及云服务器和云边缘计算平台和边缘计算管理中心的视频传输实现：这三部分间的视频传输主要是利用ConnectThread线程创建Socket类对象，依据不同系统的服务器IP地址以及端口号来建立连接或通过JSONObject类对象来对视频数据进行标识，使视频数据成为带有标识IMEI号以及JSON数据格式的视频数据进行发送，在视频传输过程中会用到OutputStream类的对象mOutStream进行数据的传输发送，利用Socket的getInputStream()方法，依次对云边缘计算平台回传的JSON数据包中的信息进行解析，在各平台接收过程中，分别建立Receive和Send线程，通过特定IMEI号来开辟独立传输信道，实现视频实时传输功能。

如图8所示：所述的步骤⑥具体为：

首先对视频数据做抽帧、分帧处理，然后进行细化和调整，获取图像信息，对火灾烟雾图像进行灰度变换、滤波处理，接着进行形态学处理，至此完成图像预处理操作。通常情况下，处理的RGB图像有24位，即R、G、B各占8位，而灰度表示范围是0～255，即存在256个灰度级，灰度值不同表示的色彩就不同，图像处理中，不需要图像的色彩信息，只要知道亮度即可，并且灰度图像处理速度远大于彩色图像处理速度，就需要对视频数据采集后的图像进行灰度转化，转化公式为：

G(x，y)＝0.299×R(x，y)+0.587×G(x，y)+0.114×B(x，y)

公式中，G(x，y)表示图片中像素点灰度值，R(x，y)表示彩色图片中红色的分量值，G(x，y)表示图片中的绿色的分量值，B(x，y)表示图片中蓝色的分量值，TH为选定的最佳阈值，将所有像素点的值取0或者255，即完成二值化操作，以加快图像的处理速度，二值化运算规则为：

其中，f(x，y)代表灰度图像中的每个像素点灰度值，g(x，y)为二值化后的灰度图像。若测量值大于定义的阈值则转化为255，反之为0，阈值的选取可采用自适应阈值法或者双峰法，在一般应用中，可手动设定TH＝2；

在图像去噪中，可采用均值滤波法处理，对m×n大小的掩模均质化处理的公式得R如下：

式子中w为掩模参数，z为w位置处像素点的像素值，mn为在掩模范围内的参数总个数；

形态学处理方式主要有：膨胀、腐蚀、开启、闭合。

膨胀的定义公式为：

腐蚀的定义公式为：

开启的定义公式为：

闭合的定义公式为：

在选定集合A、B后便可依据上述公式进行变化，得到经过形态学处理之后的最终图像；

再对预处理后的图形进行火灾烟雾运动区域的提取，使用运动目标提取法，将火灾烟雾进行图像提取，通过初步提取以减少计算量进而提高图像判别效率，在运动目标提取算法中可采用帧间差分法提取，通过采集视频序列中两帧或多帧的图像比较前后灰度值做出判断提取，在帧间差分法中用到的是两帧差分法，其具体实现步骤如下：

(1)截取两帧图像g(t，x，y)、g(t-1，x，y)，转换为灰度图像后，对这两帧图像进行相减，算出灰度图像在每个像素点前后的差值d(t，x，y)

d(t，x，y)＝|g(t，x，y)-g(t-1，x，y)|

注意t表示第t帧，t-1表示第t-1帧。

(3)进行二值化处理

其中m(t，x，y)∈M_t，M_t为t时刻的二值图像，T为预设的阈值。

鉴于帧间差分法在行车记录仪的视频中难以过滤众多运动物体的噪声影响，在此加入高斯混合模型的使用来辅助计算判断；

运用高斯混合模型，要明确高斯分布，引入概率密度函数

加以说明，在高斯模型建立完成后，背景模型从k个高斯分布中重新选择。可选B个高斯分布作为背景，其中B的表示如下：

此时，可根据新像素值与B的对比分析来判定是否为背景像素，进而判断是否为运动点；

完成火灾烟雾提取之后接着进行火灾烟雾的特征分析，基于火灾烟雾在图像上的许多明显特征来分析判断，首先是分析判断火灾烟雾在RGB上的颜色特征，接着对火灾烟雾的形态特征作分析，之后进行火灾烟雾的面积增长特征进行分析，然后进行火灾烟雾的运动方向特征分析，在运动方向特征分析中，采用块分配法，即计算8个方向的SAD，进行逐帧计算，同时采用块匹配搜索策略做运动方向特征分析。由于R、G、B分量的值一般较为接近，其变化具有趋同性，可用如下公式表示：

R-G＝I1，R-B＝I2，B-G＝I3

式中I即为R、G、B任意两个分量之间的平均值，借此来有效提取火灾烟雾的颜色特征实现有效识别。在火灾烟雾的形态特征方面，用一条直线将提出的火灾烟雾区域分为上下两部分，并将上半部分像素点个数设为N1，下半部分像素点个数设为N2，假设一个大于1的阈值为T，那么有当N1和N2满足下列公式

时可以认为具有形态特征，进而提高火灾烟雾检测的准确性。

在面积增长特征方面，主要借助增长特征计算公式进行计算：

式中A表示图像中面积增长率，A_t和A_t+Δt分别表示了在t和_t+Δt时刻的面积，若A趋向增大则表示火灾烟雾扩散速度加快；

火灾烟雾运动方向特征方面的分析，主要采用块匹配法，本申请采用最小绝对准则(SAD)来进行计算，定义公式如下：

式中m表示运动区域，(Δx，Δy)代表一个运动矢量。由此来计算8个方向的SAD，取最小值作为火灾烟雾运动的方向向量。在进行逐帧计算式，可选较小偏移量。上述特征分析完成后进行火灾烟雾的纹理特征分析，此处主要借助灰度共生矩阵及其标量信息来描述火灾烟雾的纹理特征并进行判断；

由于火灾产生的烟雾其组成成分较为繁多，所以其具有明显的纹理特性，此处使用灰度共生矩阵来进行描述分析。灰度共生矩阵即统计灰度值对(δ₁，δ₂)出现的次数。用公式表示为：G(i，j)＝#{(x₁，y₁)，(x₂，y₂)∈w×H|g(x₁，y₁)＝i&&g(x₂，y₂)＝j}其中w表示该图像的宽度，H表示高度，i和j含义为某一个灰度值，#表示个数，G(i，j)即表示灰度对(i，j)在图像中出现的次数。把图像分为8个灰度级可以表示如下：

由此简化成为8×8的矩阵，也简化了计算的复杂度，提升了检测效率。

有关共生矩阵的标量信息涉及如下：

(1)对比度

(2)熵

(3)角二阶矩

对火灾烟雾的五大特征提取分析后，将特征组合成一个特征向量进行最终的火灾识别判断。根据火灾烟雾的颜色特征x₁，火灾烟雾的形态特征x₂火灾烟雾的面积增长特征x₃以及火灾烟雾的运动方向特征x₄和火灾烟雾的纹理特征中的熵x₅、对比度x₆来进行火灾烟雾识别，据此可构建特征向量V：V＝{x₁，x₂，x₃，x₄，x₅，x₆，label}再进行归一化处理后，便可进行火灾烟雾的判别本识别处理中主要是应用基于支持向量记得火灾烟雾识别技术，通过利用SVM的核函数以及惩罚系数的选取，不断进行SVM的模型训练和检测便可完成火灾烟雾的识别判断；

如图9所示：完成了对火灾的烟雾识别后，还可进行火灾的火焰识别，此处采用一种基于改进Mask R-CNN的火焰检测算法来实现火灾火焰识别检测MaskR-CNN首先引入一条用于增强底层特征信息的自底向上的路径，以此来建立一条特征路径来对底层和高层的特征进行特征融合，然后去改进Mask R-CNN模型本身的损失函数，实现对Mask R-CNN直接应用于火灾火焰检测的问题，经过改进后的Mask R-CNN可进一步提高对火灾中的烟雾和火焰的图像检测功能，对将视频数据预处理完成后输入到经过多次训练的Mask R-CNN火焰图像识别模型中，进行火焰图像识别，Mask R-CNN模型接收到经过图像预处理的视频输入后，首先利用其骨干网络提取图片的多尺度特征图，一次根据当前云边缘计算平台的所在区域选择出待定区域目标，然后通过softmax划分两类目标如前景和后景目标，与此同时使用边框回归器来修正待定选择框的位置后生成最终的候选框。在生成最终候选框之后，利用全卷积网络进行掩膜预测，根据特征图和候选区域完成对火灾发生的分类检测，完成对车辆火灾的判定识别。

所述的步骤⑦具体为：

云服务器向智能报警中心的视频推送，以及向交通管理部门的视频以及相关信息推送；云服务器在收到报警信息和相关视频数据后，和智能报警系统运营中心建立链接，通过5G传输网络快速将视频数据和报警信息传送给智能报警系统运营中心，智能报警运行中心接受来自云服务器的相关数据后，对视频信号以及报警信息、视频数据进行编码，此处的视频编码主要进行变换编码和量化编码，通过变换编码可以有效消除空域冗余和时域冗余，采用DCT的变换编码，视频编码采用二维DCT变换定义如公式：

式中

编码器也应根据实际编码情况灵活使用变换方法，量化编码，如HEVC设有52个量化步长正对应52个量化参数QP QP∈[0，51]则Q_Step≈2^(QP-4)/6若c为输入值则量化值1为：

然后根据报警信息分析数据来源的位置信息，自动搜寻其周边的交通管理部门，然后将编码后的信息再次借助5G传输推送到相应的交通管理部门，实现第一时间迅速报警。

Claims (7)

1.面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，包括以下步骤；

①行车记录仪实时拍摄视频原始数据，通过车载WiFi将视频原始数据传送到车载终端系统；

②车载终端系统部署有本地边缘计算软件或设备，本地边缘计算软件或设备将自动获取来自行车记录仪的视频原始数据，边缘计算软件或设备基于本地存储的车辆火灾检测预判算法，初步分析视频原始数据，生成预判结果；若结果判断为疑似车辆火灾事故发生，则将相关序列视频数据打包后进行压缩处理、类型转化，将视频数据传输到车载系统中的边缘计算管理中心；

③边缘计算管理中心对视频来源做出分析，在边缘计算管理中心进行计算卸载任务分析，把相关数据分析结果发送到云服务器；

④云服务器接收来自边缘计算管理中心的有关计算卸载任务的数据分析结果，并对此进行来源分析，寻找合适的云边缘计算平台并向云边缘计算平台分配边缘计算任务，将此云边缘计算平台相关的链接信息推送给边缘计算管理中心；

⑤边缘计算管理中心获得云边缘计算平台相关链接信息后，自动连接云边缘计算平台，并将疑似为车辆火灾的交通事故视频进行视频数据类型转化和压缩处理后发送至云边缘计算平台；

⑥云边缘计算平台对所接收视频进行视频数据解析，通过车辆火灾事故检测算法来对车辆火灾交通事故进行二次确认检测判断，若检测判断为车辆火灾交通事故则将预报警信息回传至边缘计算管理中心，边缘计算管理中心将预报警信息传输至车载终端语音提示系统提示车主进行信息确认；若判别不是车辆火灾交通事故，则将视频数据暂存2～3天，云边缘计算平台利用运行空闲时间将误判视频数据上传至云服务器，供云服务器对错误预判数据进行分析，改善本地边缘计算中的车辆火灾事故预判算法模型；

⑦车载系统收到预报警后，向车主征求车辆火灾交通事故报警意见，车主做出选择后，车载系统则向边缘计算管理中心发送指定报警信息；

⑧边缘计算管理中心接收报警信息做出报警判断，若判断为是，则将相关视频进行数据处理，后连同报警信息上传至云服务器；若判断为否，则保留视频数据和相关信息并添加误判标记，后续可在视频存储期限内由车主自行上传至云服务器，供云服务器对现有的云边缘计算平台中的车辆火灾检测算法模型进行调整训练；

⑨云服务器接收来自边缘计算管理中心的报警信息和视频数据，将相关信息和数据进行二次处理，发送至智能报警系统运营中心；

⑩智能报警系统运营中心对报警信息的来源做出定位分析，将相关报警信息推送到相应交通管理部门进行警情处理。

2.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述步骤①具体为：

TBOX通过CAN总线将TBOX链接信息发送给行车记录仪，使行车记录仪通过CAN总线建立视频传输信道，连接成功后，TBOX基于WIFI局域网与车载终端系统进行视频传输。

3.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述的步骤②具体为：

本地边缘计算软件或设备获取视频原始数据后可进行火灾烟雾检测进行火灾烟雾预判，在视频检测中主要进行前景检测、特征提取和特征识别三大处理；在前景检测中，依据灰度差值的绝对值计算和阈值化方法，从视频数据中提取出前景区域，采用背景差分法，对比当前帧图像和背景图像的差异，然后确定噪声和前景区域图像，再检测出前景区域，提取前景之后对背景图像进行更新以满足对不断变化的静态特征的视频适应需求，在前景检测完成后进行火灾烟雾的背景模糊特征提取，采用二维离散小波分析的方法进行小波分析，借助火灾烟雾的出现会使得图像中被火灾烟雾遮挡的背景边缘区出现模糊现象这一特征，通过小波变换来提取模糊现象中的边缘高通信息，依据能量值变小的特点来判定交通火灾烟雾的存在；

完成特征提取后，将视频图像进行分区分块处理；

针对每一个区域，利用存在火灾烟雾的图像中每帧图像的像素点能量值显著差异做出判别；

通多块区域的联合判别来综合判断提高识别准确率，依此确定最终识别结果；然后对视频数据进行抽帧、分帧，再进行进一步细化、调整等预处理操作，采集得到不同时刻的图像信息，将图像导入图像处理区，进行图像的连续处理并计算HSV颜色特征，利用现有的火灾颜色特征与实例采集得到的HSV特征进行匹配分析，判断二者相似度，若相似度较高，继续进行后续计算判断；若相似度较低，则直接预判结果为非车辆火灾，不做后续处理；

后续计算中，首先是要利用SURF算法计算实例图像特征以及火灾类图像的局部特征，通过改进的SURF算法来大幅减少计算量，然后采用K均值聚类算法针对所计算的局部特征来进行各类图像的聚类中心的距离计算，完成计算后判定是否为火灾事故。

4.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述的步骤③具体为：

边缘计算管理中心通过周边的基站等无线接入点将卸载请求发送到SDN上，SDN根据请求来源分析用户附近网络情况，并且实时完成对计算卸载任务的估量，计算出对应卸载策略，卸载策略应包含任务卸载比例以及边缘节点需求数量，SDN完成这一卸载策略的制定后将其回传给边缘计算管理中心，边缘计算管理中心进行本地计算数据收集的统计，进而确定计算卸载任务分析量。

5.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述的步骤⑤具体为：

边缘计算管理中心和云服务器、以及云服务器和云边缘计算平台和边缘计算管理中心的视频传输实现：这三部分间的视频传输主要是利用ConnectThread线程创建Socket类对象，依据不同系统的服务器IP地址以及端口号来建立连接或通过JSONObject类对象来对视频数据进行标识，使视频数据成为带有标识IMEI号以及JSON数据格式的视频数据进行发送，在视频传输过程中会用到OutputStream类的对象mOutStream进行数据的传输发送，利用Socket的getInputStream()方法，依次对云边缘计算平台回传的JSON数据包中的信息进行解析，在各平台接收过程中，分别建立Receive和Send线程，通过特定IMEI号来开辟独立传输信道，实现视频实时传输功能。

6.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述的步骤⑥具体为：

首先对视频数据做抽帧、分帧处理，然后进行细化和调整，获取图像信息，对火灾烟雾图像进行灰度变换、滤波处理，接着进行形态学处理，至此完成图像预处理操作；

再对预处理后的图形进行火灾烟雾运动区域的提取，使用运动目标提取法，将火灾烟雾进行图像提取，通过初步提取以减少计算量进而提高图像判别效率，在运动目标提取算法中可采用帧间差分法提取，通过采集视频序列中两帧或多帧的图像比较前后灰度值做出判断提取；

鉴于帧间差分法在行车记录仪的视频中难以过滤众多运动物体的噪声影响，在此加入高斯混合模型的使用来辅助计算判断；

完成火灾烟雾提取之后接着进行火灾烟雾的特征分析，基于火灾烟雾在图像上的许多明显特征来分析判断，首先是分析判断火灾烟雾在RGB上的颜色特征，接着对火灾烟雾的形态特征作分析，之后进行火灾烟雾的面积增长特征进行分析，然后进行火灾烟雾的运动方向特征分析，在运动方向特征分析中，采用块分配法，即计算8个方向的SAD，进行逐帧计算，同时采用块匹配搜索策略做运动方向特征分析；

对火灾烟雾的特征提取分析后，将特征组合成一个特征向量进行最终的火灾识别判断；完成了对火灾的烟雾识别后，进行火灾的火焰识别，首先引入一条用于增强底层特征信息的自底向上的路径，建立一条特征路径来对底层和高层的特征进行特征融合，然后去改进Mask R-CNN模型本身的损失函数，实现对Mask R-CNN直接应用于火灾火焰检测的问题，Mask R-CNN模型接收到经过图像预处理的视频输入后，首先利用其骨干网络提取图片的多尺度特征图，一次根据当前云边缘计算平台的所在区域选择出待定区域目标，然后通过softmax划分两类目标如前景和后景目标，与此同时使用边框回归器来修正待定选择框的位置后生成最终的候选框，在生成最终候选框之后，利用全卷积网络进行掩膜预测，根据特征图和候选区域完成对火灾发生的分类检测，完成对车辆火灾的判定识别。

7.根据权利要求1所述的面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统，其特征在于，所述的步骤⑦具体为：

云服务器向智能报警中心的视频推送，以及向交通管理部门的视频以及相关信息推送；云服务器在收到报警信息和相关视频数据后，和智能报警系统运营中心建立链接，通过5G传输网络快速将视频数据和报警信息传送给智能报警系统运营中心，智能报警运行中心接受来自云服务器的相关数据后，对视频信号以及报警信息、视频数据进行编码，然后根据报警信息分析数据来源的位置信息，自动搜寻其周边的交通管理部门，然后将编码后的信息再次借助5G传输推送到相应的交通管理部门，实现第一时间迅速报警。

Images