CN115620199B - 一种交通安全风险诊断方法和装置 - Google Patents

Abstract

本发明涉及交通安全技术领域，并提供了一种交通安全风险诊断方法和装置，包括获取交通监控的视频流；通过OPencv视觉模型将视频流划分为帧图像；通过预设的SOLOv2实例分割框架对帧图像进行上的车辆实例和行人实例进行分割处理；对车辆实例和行人实例进行风险诊断，判断是否存在交通风险，生成可视化判断结果；将可视化判断结果载入原视频流进行输出。本发明采用了SOLOv2实例分割框架，该框架预测每个像素所在的物体的实例类别，通过位置和形状进行区分实例，同一中心位置，同一尺寸物体为同一实例，否则为不同类别。最后对不同类别的分割图像进行，分割之后，分别判断道路中行人和车辆的风险状况，从而判断是不是存在风险进行可视化的输出。

Description

一种交通安全风险诊断方法和装置

技术领域

本发明涉及交通风险识别技术领域，特别涉及一种交通安全风险诊断方法和装置。

背景技术

目前，随着城市化和机动化水平的提高，城市交通问题日趋严重,社会各界对于智能交通系统的需求也日益强烈。人工智能的发展也使得智能交通系统成为未来交通的发展方向，而道路监控作为智能交通系统中的关键，在其中起着非常重要的作用，实现对交通监控视频中车辆、行人等目标的分割具有较大的研究和应用价值。

传统的分割方法主要有阈值分割方法、边缘检测方法、区域提取方法和结合特定理论工具的分割方法。阈值分割方法是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值相比较，最后将像素根据比较结果分到合适的类别中。边缘检测方法指的是基于灰度值的边缘检测，它是建立在边缘灰度值会呈现出阶跃型或屋顶型变化这一观测基础上的方法。区域提取方法是将图像按照相似性准则分成不同的区域，主要包括种子区域生长法、区域分裂合并法和分水岭法等几种类型。但是，传统的分割方法往往需要手工设计特征，效率低；受噪声影响大，且分割的精度不高，需要辅助人工识别；另外其分割目标具有针对性和单一性，无法将其应用到多目标分割当中。

基于深度学习的分割方法主要有基于全卷积神经网络的语义分割方法和基于区域框的实例分割方法。基于全卷积神经网络的语义分割方法能够在普通分割的基础上，分类出每一块区域的语义，将全连接网络替换成了卷积网络(如U-net)，使得网络可以接受任意大小的图像，并输出和原图一样大小的分割图。基于区域框的实例分割方法是在目标检测的基础上增加了分割分支(如Mask-RCNN)其通过生成大量候选框进行目标检测，之后再对检测的结果进行分割。但是，语义分割方法只能做到不同类别之间的区分而无法做到不同实例之间的区分；基于区域框的实例分割方法采用分两步走策略，即先检测后分割，这使得模型推理时间变长，无法满足实际工程应用的实时性要求，且模型庞大，不利于部署到边缘终端设备。

因此，本发明提供一种基于交通监控视频的目标实例分割方法，利用深度学习自动提取特征，减少人工干预，提高效率；提高检测精度，实现交通监控的智能化、实时化，同时具有模型轻便，检测精度高的优点。

发明内容

本发明提供一种交通安全风险诊断方法和装置，利用深度学习自动提取特征，减少人工干预，提高效率；提高检测精度，实现交通监控的智能化、实时化，同时具有模型轻便，检测精度高的优点。

本发明的实施例包括一种交通安全风险诊断方法，包括：

获取交通监控的视频流；

通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

将可视化判断结果载入原视频流进行输出。

作为本发明的一种可选实施例：所述方法还包括：

对所述帧图像进行命名，并以预设格式和分辨率进行保存；其中，

所述预设格式为如下格式之一：bmp，jpg，png，tif，gif，pcx，tga，exif，fpx，svg，psd，cdr，pcd，dxf，ufo，eps，ai，raw，WMF，webp，avif，apng；

对所述帧图像上的不同车辆和不同行人进行实例标注；其中，

所述实例标注包括：位置标注、类别标注和形状类型标注；

分别建立行人标签文件和车辆标签文件，并基于所述实例标注进行数据分类。

作为本发明的一种可选实施例：所述方法还包括：

预设帧图像的划分网格，对每个帧图像进行网格划分；

基于残差网络对每个网格划分后的帧图像进行特征提取；其中，

所述残差网络包括17个卷积层和一个全连接层；

通过特征提取，确定帧图像在不同尺度的特征信息，分支网络进行卷积预测；其中，

分支网络包括：分类分支网络和掩码分支网络；

分类分支网络用于预测语义类别；

掩码分支网络用于确定实例掩码；

根据卷积预测，预测卷积核和卷积特征；

通过卷积核和卷积特征，生成SOLOv2实例分割框架。

作为本发明的一种可选实施例：所述方法还包括：

将所述标注图像划分为训练集图像和测试集图像；

将训练集图像和测试集图像引入深度学习模型和目标检测模型进行训练，构成深度识别模型；其中，

所述训练还包括对深度识别模型的参数进行微调；

将所述深度识别模型和所述SOLOv2实例分割框架融合，构成SOLOv2实例分割模型。

作为本发明的一种可选实施例：所述方法还包括：

计算所述可视化判断结果的置信度；

基于预设的置信度基准值，对未达到置信度基准值的可视化判断结果进行过滤；

获取过滤后的可视化结果，并使用学习后的卷积核对掩膜特征进行卷积操作，并转变为二值图；

对所述二值图进行非极大值一直，确定每个过滤后的可视化结果的得分；

基于得分分数，确定最终的可视化预测结果。

作为本发明的一种可选实施例：所述方法还包括：

在交通监控设备上设置第一视频流处理装置、第二视频流处理装置和视频流截取装置；其中，

第一视频流处理装置用于对视频流中的任意对象的进行位移检测和时间戳标记；其中，

时间戳标记为位移停止时间戳和位移转移时间戳；

第二视频流处理装置用于构建道路孪生模型，在道路孪生模型中对无位移的目标对象进行孪生模拟；

视频流截取装置用于通过所述时间戳标记，对孪生模拟对象对应的视频流进行截取。

作为本发明的一种可选实施例：所述方法还包括：

获取交通事故的样本数据集合；

针对样本数据集合，划分不同的交通事故特征；其中，

交通事故特征包括：事故对象、事故基础特征、事故类型特征、交通状态特征和道路设施特征；

构建基于交通事故特征的生成器，对所述不同的交通事故特征进行融合，生成多个融合图谱；

构建事故鉴别器，将多个融合图谱导入所述事故鉴别器进行训练，生成风险诊断模型。

作为本发明的一种可选实施例：所述方法还包括：

根据所述风险诊断，确定分割处理后不同车辆实例和行人实例的风险特征和风险评估分数；

根据所述风险特征，生成对应的特征文本；

根据所述风险评估分数和预设的风险评估权重值，判断每个特征文本是否达到可视化基准参数；

根据所述可视化基准参数，将对应的特征文本载入原视频流中。

作为本发明的一种可选实施例：所述方法还包括：

分别获取设定可视化判断结果的标注框和标注对象，以及标注对象的可视化标注文本；

进行标注框和可视化标注文本的载入匹配；

计算标注框和标注对象的映射匹配矩阵；

基于所述映射匹配矩阵和标注框的标注范围，得到映射到标注对象中的点位坐标；

将标注对象的点位坐标与标注框的可视化标注文本中的3D点云的坐标进行联合标定，得到标注对象与3D点云的空间转换关系；

基于所述转换关系实现标注对象的可视化文本标注。

一种交通安全风险诊断装置，所述装置包括：

视频流载入模块：获取交通监控的视频流；

标注模块：通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

分割模块：通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

诊断模块：对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

可视化输出模块：将可视化判断结果载入原视频流进行输出。

本发明的有益效果在于：

本发明采用了SOLOv2实例分割框架，该框架预测每个像素所在的物体的实例类别，通过位置和形状进行区分实例，同一中心位置，同一尺寸物体为同一实例，否则为不同类别。最后对不同类别的分割图像进行，分割之后，分别判断道路中行人和车辆的风险状况，从而判断是不是存在风险进行可视化的输出。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种交通安全风险诊断方法的方法流程图；

图2为本发明实施例中分类分支示意图；

图3为本发明实施例中掩码分支示意图；

图4为本发明实施例中掩码特征分支示意图；

图5为本发明实施例中一种交通安全风险诊断装置的装置组成图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的实施例包括一种交通安全风险诊断方法，包括：

获取交通监控的视频流；

通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

将可视化判断结果载入原视频流进行输出。

可选的，如附图1所示，本发明是一种基于视频分割的交通风险诊断的方法，在本发明中首先会获取交通监控的视频流，视频流时设置在道路旁边的交通设备采集的视频流，然后进行分帧处理，例如：每隔20帧提取一帧图像重新命名,并以jpg格式保存到本地image文件夹下,其中每帧图像的分辨率为1280*720；本发明还会进行图像标注，对图片中包含的不同车辆以及行人进行实例标注，在标注之后，容易进行事故元素的划分，也可以转换为数据集和训练集。在分割处理的过程中，本发明采用了SOLOv2实例分割框架，该框架预测每个像素所在的物体的实例类别，通过位置和形状进行区分实例，同一中心位置，同一尺寸物体为同一实例，否则为不同类别。最后对不同类别的分割图像进行，分割之后，分别判断道路中行人和车辆的风险状况，从而判断是不是存在风险进行可视化的输出。

作为本发明的一种可选实施例：所述方法还包括：

对所述帧图像进行命名，并以预设格式和分辨率进行保存；其中，

所述预设格式为如下格式之一：bmp，jpg，png，tif，gif，pcx，tga，exif，fpx，svg，psd，cdr，pcd，dxf，ufo，eps，ai，raw，WMF，webp，avif，apng；

对所述帧图像上的不同车辆和不同行人进行实例标注；其中，

所述实例标注包括：位置标注、类别标注和形状类型标注；

分别建立行人标签文件和车辆标签文件，并基于所述实例标注进行数据分类。

可选的，本发明在实际实施时，通过对图片中包含的不同车辆以及行人进行实例标注，每张图片标注好的信息以json格式和对应的图片名保存(例如图片名为image.jpg，则标注文件保存为image.json)，并保存到label文件夹下。其josn标注文件包括一个shape属性，该shape属性值内嵌套了多个对象，其中每个对象代表一个实例，其包含了label,points,shape_type三个属性。属性label代表了该实例的类别，由字符串表示，这里为car或person。属性points代表的是该实例在图像当中的轮廓坐标，由数组表示为[[x1,y1],[x2,y2]…[x3,y3]]，每个[x,y]对应一个标注的轮廓点。属性shape_type代表的是该实例的形状类型如矩形框，线条等，这里都为polygon。建立一个labels.txt文件，内容首行为__ignore__,后续为自己数据的分类标签，也就是car和person。

作为本发明的一种可选实施例：所述方法还包括：

预设帧图像的划分网格，对每个帧图像进行网格划分；

基于残差网络对每个网格划分后的帧图像进行特征提取；其中，

所述残差网络包括17个卷积层和一个全连接层；

通过特征提取，确定帧图像在不同尺度的特征信息，分支网络进行卷积预测；其中，

分支网络包括：分类分支网络和掩码分支网络；

分类分支网络用于预测语义类别；

掩码分支网络用于确定实例掩码；

根据卷积预测，预测卷积核和卷积特征；

通过卷积核和卷积特征，生成SOLOv2实例分割框架。

可选的，在本发明进行划分网格的时候，每一张图片划分为的网格，优选的采用resnet18作为主干网络提取图像特征，resnet18是ResNet系列网络中的一种，18代表其网络深度，指定的是带有权重的18层，包括17个卷积层和一个全连接层，不包括池化层和BN层。网络结构的表格如下表所示：

将resnet18中Conv1，conv2_x,conv3_x,conv4_x,conv5_x各层不同尺度的特征信息提取出来构成特征金字塔，并将其输入到分类分支和掩码分支。分类分支负责预测物体的语义类别，每个网格预测类别S*S*C。当网格(i，j)与物体的中心区域有大于阈值的重叠则认为是正样本。这里的中心区域定义在中心点(这里定义的中心点是物体的质心)周围的0.2倍区域。对于每个正样本，都会有对应类别的实例掩码，这由后面的掩码分支来预测。对于分类分支，如下图所示，输入特征F为H*W*E，需要将H*W的输入对齐为S*S的网格输入，这里采用直接插值法进行Align对齐操作，首先将FPN最高层的特征从H*W*256对齐至S*S*256(256为特征通道数)，然后经过一系列卷积(7个3*3卷积)提取特征，最后再经过一个3*3卷积将输出对齐到S*S*C，C为预测类别数，如附图2所示。对于掩码分支，每个正样本(有类别输出的网格)都会输出对应类别的实例掩码，这里的通道和网格的对应关系是：第k个通道负责预测出第(i，j)个网格的实例掩码，k＝i*S+j。因此输出维度是H*W*S*S。这样的话就有了一一对应的语义类别和该类别的实例掩码。具体的，掩码分支被解耦为掩码核分支和掩码特征分支，分别预测卷积核和卷积特征，如附图3所示；F为主干网络resnet18提取的图像特征。对于掩码核分支，输入特征F学习动态卷积核G为，比如G为或，即为或者。输入通道数为，输出通道为，表示共有个位置，每个位置对应一个卷积核。因此最多生成个掩码，此时意味着，每个位置都出现了目标。

对于掩码特征分支，将每层FPN合并为一个统一的掩码，如附图4所示。将FPN的P2到P5层依次经过卷积、归一化、ReLU、2个双线性插值，统一到原图的1/4尺寸，再做元素级的加和操作，经过的卷积、归一化、ReLU得到掩码的特征图F。最后将掩码特征图F与与动态卷积核进行卷积运算即可输出与分类分支对应类别的实例掩码，构成SOLOv2实例分割框架。

作为本发明的一种可选实施例：所述方法还包括：

将所述标注图像划分为训练集图像和测试集图像；

将训练集图像和测试集图像引入深度学习模型和目标检测模型进行训练，构成深度识别模型；其中，

所述训练还包括对深度识别模型的参数进行微调；

将所述深度识别模型和所述SOLOv2实例分割框架融合，构成SOLOv2实例分割模型。

可选的，在实际实施时，采用了pytorch深度学习模型和mmdetect框架并在TeslaV100 GPU上进行训练和微调网络的各项参数，首先使用在COCO数据集上训练的模型权重作为预训练权重，在预训练权重的基础上，用之前准备好的数据集进行迁移学习，微调网络参数，使损失函数达到收敛。各项参数具体设置如下：batch size设为16，共训练200个epoch，前20个epoch学习率为0.1，中间30个epoch学习率为，后150个epoch学习率为0.00001，网络使用SGD优化器，momentum系数设为0.9，为了防止过拟合，权值衰减系数设置为0.0001。

可选的，本发明在进行模型训练的过程中，还会进行损失函数计算，损失函数公式如下：

L＝L_cate+λL_mask

其中，L_cate表示针对类别分类的Focal Loss；λ表示损失系数，

在这里取值为3，L_mask表示掩码预测的损失函数，其具体表示为：

其中，N_pos表示正样本数量，Γ表示指示函数，当

时，

则为1,否则为0，i表示输出的分类网格第i行，其取值为[k/S]，j表示输出的分类网格第j列，其取值为k mod S，k表示对应输出第(i,j)个网格实例掩码的掩码分支，S表示动态卷积核的大小，

表示第(i，j)个网格的类别真值，/>

表示掩码真值，m_k表示对应输出分类网格的掩码，d_mask表示掩码的损失函数，这里使用Dice Loss，其具体定义如下：

d_mask＝L_Dice＝1-D(p,q)

其中，L_Dice表示Dice Loss的求解公式，D(p,q)表示dice系数，其具体表述如下：

其中，p_x,y表示预测掩码在(x,y)位置的像素值,q_x,y表示真实掩码在(x,y)位置的像素值。

在在进行模型训练过程中，将损失函数定义为L＝L_cate+λL_mask，通过大量模型训练确定损失最小时的各项优化参数，使得在各项优化参数下，模型使用时损失最小，从而提高精度，减小误差。

作为本发明的一种可选实施例：所述方法还包括：

计算所述可视化判断结果的置信度；

基于预设的置信度基准值，对未达到置信度基准值的可视化判断结果进行过滤；

获取过滤后的可视化结果，并使用学习后的卷积核对掩膜特征进行卷积操作，并转变为二值图；

对所述二值图进行非极大值一直，确定每个过滤后的可视化结果的得分；

基于得分分数，确定最终的可视化预测结果。

可选的，在置信度计算的过程中，先得到类别置信度，通过阈值0.1过滤掉低置信度预测结果，而后使用学习到的卷积核对mask特征进行卷积操作，经过sigmoid函数后，使用阈值0.5将预测的soft mask转变为二值图。之后进行Matrix NMS矩阵非极大值抑制，选择前k名得分的masks作为最终的预测。最后将预测的结果可视化在原图上并以视频形式输出。

作为本发明的一种可选实施例：所述方法还包括：

在交通监控设备上设置第一视频流处理装置、第二视频流处理装置和视频流截取装置；其中，

第一视频流处理装置用于对视频流中的任意对象的进行位移检测和时间戳标记；其中，

时间戳标记为位移停止时间戳和位移转移时间戳；

第二视频流处理装置用于构建道路孪生模型，在道路孪生模型中对无位移的目标对象进行孪生模拟；

视频流截取装置用于通过所述时间戳标记，对孪生模拟对象对应的视频流进行截取。

可选的，本发明会通过视频处理的方式截取对应交通事故的第一视频流处理装置主要是用于对视频流中的对象进行时间标记和位移标记检测，也就是标记每一时刻在视频流中每一个目标对象，例如汽车和行人在每一时刻所在的位置，从而能够实现位移标记，确定目标对象是不是在移动。时间戳标记中，位移停止时间戳，就是相邻两个帧图像中，视频流中的任意目标对象没有位移变动的时间戳。位移转移时间戳，为在相邻的两个帧图像中任意目标对象不在相同位置的帧图像，从而可以在任意对象在道路上的时候对对应的视频流进行采集，确定移动距离，而根据时间戳和移动标记，可以在道路孪生模型上确定对应的位移对象，进而对对应的视频流进行采集。在视频流的截取上，因为有道路孪生模型作为模板，可以直切提取其中的移动对象，孪生模拟在道路孪生模型上，实现孪生监控。

作为本发明的一种可选实施例：所述方法还包括：

获取交通事故的样本数据集合；

针对样本数据集合，划分不同的交通事故特征；其中，

交通事故特征包括：事故对象、事故基础特征、事故类型特征、交通状态特征和道路设施特征；

构建基于交通事故特征的生成器，对所述不同的交通事故特征进行融合，生成多个融合图谱；

构建事故鉴别器，将多个融合图谱导入所述事故鉴别器进行训练，生成风险诊断模型。

上述技术方案的原理在于：本发明主要是为了进行交通风险的诊断，所以需要对不同的交通事故进行识别。因此，本发明搭建了基于交通事故识别的风险诊断模型。现有技术中是通过大量数据的直接训练，去判断是否存在交通风险，本发明为了让识别结果更加精确和更加快速，本发明生成了基于交通事故特征的生成器，每个生成器会对相同事故类型的事故特征进行融合，从而生成了融合图谱，根据融合图谱进行事故鉴别的训练，融合图谱中包括事故发生之后和事故发生之前的交通事故特征，因此，在进行风险诊断的时候还可以进行交通风险的检测。本发明的重点在于，通过融合图谱进行训练，所以对于不同事故的风险可以进行快速的通过特征识别，在具有多项可能存在风险的特征之后，就可以实现直接的风险识别诊断。

在一种可选实施例中，事故鉴别器包括如下风险识别步骤：

步骤1：获取帧图像，构建帧图像的特征模型：

其中，T表示帧图像中所有元素的特征模型；n表示帧图像中出现的元素总数；i∈n，i为正整数；y_i表示帧图像中所有元素的第i个元素的元素特征；元素表示帧图像中的行人、交通标志或者车辆等等任意元素；Y表示帧图像中所有元素的总特征参数；y∈Y帧图像中任意一个元素特征都在总特征参数内。l_i表示帧图像中所有元素的第i个元素的类型参数；k表示帧图像中元素的总数；w_i，(x，y)表示帧图像中所有元素的第i个元素的位置参数，(x，y)表示在帧图像坐标矩阵中的坐标；

表示帧图像的位置矩阵；x_m表示第m个坐标点的横坐标值；y_m表示第m个坐标点的纵坐标值。

上述步骤1中，大家按了每个帧图像的特征模型，确定每个帧图像所显示的所有信息。

是为了保证计算的元素特征是帧图像中的元素，进而确定每个元素的特征比，

用于确定每个类型的元素对应对应的类型参数，

是为了通过第i个元素在帧图像中的全部坐标，可以确定帧图像现实的具体特征信息。

步骤2：根据特征模型，导入事故鉴别器，判断是否存在事故：

其中，H为事故判定结果的判定模型；K_f，T∈f表示第f个融合图谱的图谱特征，且帧图像的特征模型T属于第f个融合图谱对应的事故类型；判断特征模型T是否属于第f个融合图谱通过马氏距离公式计算得到。K_G≠f，示第f个融合图谱的图谱特征，且帧图像的特征模型G不属于第f个融合图谱对应的事故类型；l_f，q表示第f个融合图谱中第q中元素的元素特征。F表示交通事故的融合图谱的图谱总数，f和G∈F，F和G为正整数。Q表示交通事故的融合图谱中元素的总数量；q∈Q，q为正整数。H≤0时表示存在事故；当H＞0时表示不存在风险。

在步骤2中特征信息确定之后通过相似度对比，可以判断帧图像中的所有特征元素是否存在风险元素，进行匹配融合，从而判断是不是存在风险。

作为本发明的一种可选实施例：所述方法还包括：

根据所述风险诊断，确定分割处理后不同车辆实例和行人实例的风险特征和风险评估分数；

根据所述风险特征，生成对应的特征文本；

根据所述风险评估分数和预设的风险评估权重值，判断每个特征文本是否达到可视化基准参数；

根据所述可视化基准参数，将对应的特征文本载入原视频流中。

上述技术方案的原理在于：本发明在进行风险诊断的时候，会根据车辆实例和行人实例分别进行风险评估和风险特征的判断，进而处理成对应分特征文本，转化为特征文本的目的是为了将风险时间的特征文本通过显示框的方式载入原视频流，供用户看到。而可视化基准参数是为了判断其是否达到风险提示的，风险诊断的标准，在原视频流的那个时刻出现的风险，从而在视频流对应的时间进行载入。可视化基准参数包括可视化的风险评估权重参数，用于判断是否达到风险提示的程度，可视化的对应时间和视频流中对应的风险位置。

作为本发明的一种可选实施例：所述方法还包括：

分别获取设定可视化判断结果的标注框和标注对象，以及标注对象的可视化标注文本；

进行标注框和可视化标注文本的载入匹配；

计算标注框和标注对象的映射匹配矩阵；

基于所述映射匹配矩阵和标注框的标注范围，得到映射到标注对象中的点位坐标；

将标注对象的点位坐标与标注框的可视化标注文本中的3D点云的坐标进行联合标定，得到标注对象与3D点云的空间转换关系；

基于所述转换关系实现标注对象的可视化文本标注。

上述技术方案的原理在于：

本发明对于因为要将风险的文本载入原视频流，所以需要设定标注框和标注对象，通过标注框和标注对象进行可视化文本的标注，标注对象就是引起风险的目标对象，映射匹配矩阵就是在原视频上进行载入标注框和标注文本的位置，对应的数据插入矩阵。进而通过对应的点位坐标进行对应的需要标注的风险对象进行风险标注，在进行风险标注的过程中，本发明采用了3D点云技术，通过3D点云坐标进行联合标定，3D点云的坐标是将原视频中标注对象生成点数据集合中，确定与点位坐标相同的带你，进而确定相同的点，然后进行可视化文本的标注，3D点云技术是为了在进行标注框标注的时候更加的形象化。

一种交通安全风险诊断装置，所述装置包括：

视频流载入模块：获取交通监控的视频流；

标注模块：通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

分割模块：通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

诊断模块：对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

可视化输出模块：将可视化判断结果载入原视频流进行输出。

可选的，如附图5所示，本发明是一种基于视频分割的交通风险诊断的方法，在本发明中首先会获取交通监控的视频流，视频流时设置在道路旁边的交通设备采集的视频流，然后进行分帧处理，例如：每隔20帧提取一帧图像重新命名,并以jpg格式保存到本地image文件夹下,其中每帧图像的分辨率为1280*720；本发明还会进行图像标注，对图片中包含的不同车辆以及行人进行实例标注，在标注之后，容易进行事故元素的划分，也可以转换为数据集和训练集。在分割处理的过程中，本发明采用了SOLOv2实例分割框架，该框架预测每个像素所在的物体的实例类别，通过位置和形状进行区分实例，同一中心位置，同一尺寸物体为同一实例，否则为不同类别。最后对不同类别的分割图像进行，分割之后，分别判断道路中行人和车辆的风险状况，从而判断是不是存在风险进行可视化的输出。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种交通安全风险诊断方法，其特征在于，包括：

获取交通监控的视频流；

通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

将可视化判断结果载入原视频流进行输出；

所述方法还包括：

获取交通事故的样本数据集合；

针对样本数据集合，划分不同的交通事故特征；其中，

交通事故特征包括：事故对象、事故基础特征、事故类型特征、交通状态特征和道路设施特征；

构建基于交通事故特征的生成器，对所述不同的交通事故特征进行融合，生成多个融合图谱；

构建事故鉴别器，将多个融合图谱导入所述事故鉴别器进行训练，生成风险诊断模型；

所述方法还包括：

在交通监控设备上设置第一视频流处理装置、第二视频流处理装置和视频流截取装置；其中，

第一视频流处理装置用于对视频流中的任意对象的进行位移检测和时间戳标记；其中，

时间戳标记为位移停止时间戳和位移转移时间戳；

第二视频流处理装置用于构建道路孪生模型，在道路孪生模型中对无位移的目标对象进行孪生模拟；

视频流截取装置用于通过所述时间戳标记和孪生模拟对象对视频流进行截取；

所述方法还包括：

根据所述风险诊断，确定分割处理后不同车辆实例和行人实例的风险特征和风险评估分数；

根据所述风险特征，生成对应的特征文本；

根据所述风险评估分数和预设的风险评估权重值，判断每个特征文本是否达到可视化基准参数；

根据所述可视化基准参数，将对应的特征文本载入原视频流中；

所述方法还包括：

分别获取设定可视化判断结果的标注框和标注对象，以及标注对象的可视化标注文本；

进行标注框和可视化标注文本的载入匹配；

计算标注框和标注对象的映射匹配矩阵；

基于所述映射匹配矩阵和标注框的标注范围，得到映射到标注对象中的点位坐标；

将标注对象的点位坐标与标注框的可视化标注文本中的3D点云的坐标进行联合标定，得到标注对象与3D点云的空间转换关系；

基于所述转换关系实现标注对象的可视化文本标注。

2.如权利要求1所述的一种交通安全风险诊断方法，其特征在于，所述方法还包括：

对所述帧图像进行命名，并以预设格式和分辨率进行保存；其中，

所述预设格式为如下格式之一：bmp，jpg，png，tif，gif，pcx，tga，exif，fpx，svg，psd，cdr，pcd，dxf，ufo，eps，ai，raw，WMF，webp，avif，apng；

对所述帧图像上的不同车辆和不同行人进行实例标注；其中，

所述实例标注包括：位置标注、类别标注和形状类型标注；

分别建立行人标签文件和车辆标签文件，并基于所述实例标注进行数据分类。

3.如权利要求1所述的一种交通安全风险诊断方法，其特征在于，所述方法还包括：

预设帧图像的划分网格，对每个帧图像进行网格划分；

基于残差网络对每个网格划分后的帧图像进行特征提取；其中，

所述残差网络包括17个卷积层和一个全连接层；

通过特征提取，确定帧图像在不同尺度的特征信息，分支网络进行卷积预测；其中，

分支网络包括：分类分支网络和掩码分支网络；

分类分支网络用于预测语义类别；

掩码分支网络用于确定实例掩码；

根据卷积预测，预测卷积核和卷积特征；

通过卷积核和卷积特征，生成SOLOv2实例分割框架。

4.如权利要求3所述的一种交通安全风险诊断方法，其特征在于，所述方法还包括：

将所述标注图像划分为训练集图像和测试集图像；

将训练集图像和测试集图像引入深度学习模型和目标检测模型进行训练，构成深度识别模型；其中，

所述训练还包括对深度识别模型的参数进行微调；

将所述深度识别模型和所述SOLOv2实例分割框架融合，构成SOLOv2实例分割模型。

5.如权利要求3所述的一种交通安全风险诊断方法，其特征在于，所述方法还包括：

计算所述可视化判断结果的置信度；

基于预设的置信度基准值，对未达到置信度基准值的可视化判断结果进行过滤；

获取过滤后的可视化结果，并使用学习后的卷积核对掩膜特征进行卷积操作，并转变为二值图；

对所述二值图进行非极大值一直，确定每个过滤后的可视化结果的得分；

基于得分分数，确定最终的可视化预测结果。

6.一种交通安全风险诊断装置，适用于权利要求1~5对应的方法，其特征在于，所述装置包括：

视频流载入模块：获取交通监控的视频流；

标注模块：通过OPencv视觉模型将视频流划分为帧图像，并进行图像标注，生成标注图像；

分割模块：通过SOLOv2实例分割模型对标注图像进行车辆实例和行人实例进行分割处理；

诊断模块：对车辆实例和行人实例通过风险诊断模型进行风险诊断，判断是否存在交通风险，生成可视化判断结果；

可视化输出模块：将可视化判断结果载入原视频流进行输出。

Images