CN117079256B - 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 - Google Patents
基于目标检测及关键帧快速定位的疲劳驾驶检测算法 Download PDFInfo
- Publication number
- CN117079256B CN117079256B CN202311345617.2A CN202311345617A CN117079256B CN 117079256 B CN117079256 B CN 117079256B CN 202311345617 A CN202311345617 A CN 202311345617A CN 117079256 B CN117079256 B CN 117079256B
- Authority
- CN
- China
- Prior art keywords
- behavior
- frame
- fatigue driving
- interval
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 230000006399 behavior Effects 0.000 claims abstract description 240
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000002955 isolation Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 7
- 206010048232 Yawning Diseases 0.000 claims description 6
- 241001282135 Poromitra oscitans Species 0.000 claims description 4
- 208000020442 loss of weight Diseases 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 36
- 238000002372 labelling Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Abstract
本发明公开了一种基于目标检测及关键帧快速定位的疲劳驾驶检测算法，其步骤为：设计一个数据迭代算法，减少进行数据标注的人力成本并极大地扩充数据集；设计一个聚焦难预测类别的损失函数，提高网络模型在训练过程对难预测类别图像的特征学习能力；设计一个关键帧快速定位策略，在不遗漏行为帧的情况下用最少的帧信息来判断疲劳驾驶行为是否超过安全时间阈值，减少聚焦目标类别检测模型预测次数，从而提高疲劳驾驶行为的检测效率；最后设计一个端云协同策略，合理分配算力与算法的部署位置，从而提高系统的整体性能。本发明能够在提升疲劳驾驶检测的准确率的同时提高检测效率。
Description
技术领域
本发明涉及疲劳驾驶检测领域，特别是涉及一种基于目标检测及关键帧快速定位的疲劳驾驶检测算法。
背景技术
众所周知人进入瞌睡状态后，反应时间和判断力都会受损，其表现的行为类似于醉酒状态。因此一个疲劳分心的驾驶员是危险的，由于生活或工作的原因，很多人都不自觉地陷入疲劳驾驶的陷阱。21世纪以来，随着信息技术理论的进步和硬件设备性能的提升，人工智能技术得以迅猛发展，并在目标检测任务中展现出强大的性能。
目前已有多种基于深度学习方法的疲劳驾驶检测算法，如：人脸关键点检测模型、目标检测模型（YoLo）、循环神经网络（RNN）、融合模型、级联模型。这些算法可以分为两类：单模型检测算法和多模型检测算法。其中多模型检测算法根据疲劳驾驶行为的特征使用不同侧重点的模型来进行综合判断，例如：首先使用目标检测模型（YoLo）来检测驾驶位是否存在打电话行为，然后使用人脸关键点检测模型来判断是否存在打哈欠、闭眼、左顾右盼等行为。一般来说多模型算法对视频中每一帧行为类别的检测准确率相对较高，然而对于一些模糊帧或面部关键点遮挡的情况将无法进行判断，多模型算法对于单张图片的检测速度较慢，且对算力要求较高。
而单模型算法则是直接给出图片所属的疲劳驾驶行为类别，如：目标检测模型YoloV7。这种算法速度快且对判断逻辑更加简单，但是单模型算法往往需要大量且规范的数据集，而数据集的数量和质量又受人力成本的限制。此外，无论那种算法，对于视频流中的疲劳驾驶检测任务，速度往往是制约算法性能最大的瓶颈。神经网络模型对图片进行预测时，计算量大，耗时也较高，对于一般的视频而言，每秒可能有30~60帧的图片，如果对每一帧图片使用神经网络模型进行类别判断，时间成本大，基本缺少实用性。
解决这个问题一般有两种思路：一是对目标检测模型进行轻量化，而目标检测模型参数量减少虽然能一定程度上提高速度，但同时也会降低准确率；第二种方法是对视频进行隔样抽帧，这种方法通过减少目标检测模型的预测次数可以提高整体的速度，但遗漏帧的情况又会影响疲劳驾驶检测的准确率。本技术提出的方法可以在提高目标检测模型准确率的同时提高疲劳驾驶检测算法的整体效率。
发明内容
本发明的目的是提供一种基于目标检测及关键帧快速定位的疲劳驾驶检测算法，具体为设计一个兼顾准确率和效率的疲劳驾驶检测算法，检测出视频流中的超过安全时间阈值的疲劳驾驶行为片段，使用数据迭代算法，在减少人力成本的同时极大地扩充数据集，并通过设计的聚集难分类行为类别损失函数使目标检测模型（YoLoV7）在训练过程中更加关注难分类的图片（如：闭眼、打哈欠、左顾右盼）的特征学习，通过关键帧快速定位算法在不遗漏关键帧的前提下用最少的帧信息判断出疲劳驾驶行为，从而提高疲劳驾驶检测算法的整体速度，最后通过端云协同策略，合理地分配资源和算法部署位置，从而大大提高疲劳驾驶检测算法的效率。
为实现上述目的，本发明提供如下方案：基于目标检测及关键帧快速定位的疲劳驾驶检测算法，其具体步骤如下：
步骤S1：设计一个数据迭代算法；
步骤S2：设计一个聚焦难分类行为的损失函数；
步骤S3：设计一个关键帧快速定位算法；
步骤S4：设计一个端云协同策略；
其中步骤S1设计一个数据迭代算法，具体为：
步骤S1.1,将包含疲劳驾驶行为的视频进行逐帧提取，保存为总图片集，图片总数为S；
步骤S1.2,从总图片集中随机抽取S*20%张图片进行人工标注，获得小数据集D1；
步骤S1.3,使用小数据集D1训练模型Net得到临时模型N1；
步骤S1.4,使用临时模型N1对剩余的S*80%张图片进行预标注,获得大数据集D2；
步骤S1.5,人工对大数据集D2进行微调,并将微调后的大数据集D2与小数据集D1合并得到总数据集。
进一步地，所述步骤S2中设计一个聚焦难分类行为的损失函数，具体为：
对目标检测模型中的损失函数进行修改，设计一个聚焦难分类行为的损失函数，得到一个聚焦目标类别检测模型；聚焦目标类别检测模型中的整体损失函数为：
；
其中，为整体损失函数，/>为置信度损失函数，/>为置信度损失权重；为聚焦难分类行为类别损失函数，/>为聚焦难分类行为类别损失权重；/>为位置损失函数，/>为位置损失权重；
调整聚焦难分类行为类别损失的权重，使且/>；
聚焦难分类行为类别损失函数为：
；
其中，是包含目标的边界框的数量，/>是第/>个边界框，/>是类别的数量，/>是第/>个行为类别，/>是实际标签中第/>个边界框是否包含目标的二进制值，/>是聚焦目标类别检测模型预测的第/>个边界框的类别概率分布，/>是聚焦因子，取正值，用来调节聚焦目标类别检测模型训练时对难分类行为类别的关注度；
对于不难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布/>接近1，那么/>接近0，从而减小不难分类的样本的权重，不难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与不难分类的样本预测相关的网络参数更新幅度减小；
对于难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布/>接近0，那么/>接近1，从而增加难分类的样本的权重，难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与难分类的样本预测相关的网络参数更新幅度增大；
通过改变损失函数导数性质从而改变聚焦目标类别检测模型反向传播对不同网络参数的更新步幅。
进一步地，所述步骤S3中设计一个关键帧快速定位算法，具体步骤如下：
步骤（1）：隔样抽帧；
对原视频流进行每秒一帧的隔样抽帧操作，并将隔样帧保存至隔样帧序列中；
步骤（2）：模型预测隔样帧类别；
使用聚焦目标类别检测模型对隔样帧序列中的图片进行行为类别预测，判断出每张图片是否属于正常驾驶行为或者是否呈现出某种疲劳驾驶行为，疲劳驾驶行为包括闭眼、打哈欠、打电话和左顾右盼四种，并将预测结果保存至隔样帧行为类别序列中；
步骤（3）：筛选粗行为区间；
已知安全驾驶时间阈值为N秒，当隔样帧行为类别序列中疲劳驾驶行为连续出现次数小于等于N-2秒或者行为类别为正常驾驶的序列，不满足疲劳驾驶的条件，将其删除，将筛选后的信息保存至粗行为区间数组Info[X][3]中，其中Info为二维数组，第一个维度保存X个疲劳驾驶行为的信息数组，第二个维度3保存每个疲劳驾驶行为的3个信息，其中索引0保存疲劳驾驶粗行为区间所属类别，索引1保存疲劳驾驶粗行为区间起始帧号，索引2保存疲劳驾驶粗行为区间结束帧号；
步骤（4）：寻找起始帧，计算前遗漏帧；
在粗行为区间的起始帧前及结束帧后可能存在遗漏帧的情况，将粗行为区间的开始帧定义为：伪起始帧，结束帧定义为：伪结束帧；将上个粗行为区间的伪结束帧定义为：上伪结束帧；下一个粗行为区间的伪起始帧定义为：下伪起始帧；从上伪结束帧至伪起始帧这个区间内查找真正的行为起始帧，使用二分查找算法来寻找行为起始帧；然后计算出前遗漏帧，公式如下：
；
步骤（5）：粗行为区间情况讨论；
设当前粗行为区间时间为F，若当前粗行为区间时间F等于安全时间阈值N-1秒时，进一步细化探索区间，执行步骤（6）；否则粗行为区间时间F大于等于安全时间阈值N秒，满足疲劳驾驶条件，执行步骤（8）；
步骤（6）：设定探索帧；探索帧位置的计算公式如下：
；
步骤（7）：判定探索帧；当探索帧的行为类别与粗行为区间类别一致时，进一步探索，执行步骤（8）；
步骤（8）：寻找结束帧，计算后遗漏帧；从探索帧或者伪结束帧至下伪起始帧范围内，通过二分查找，寻找出结束帧，并计算出后遗漏帧，其计算公式如下：
；
步骤（9）：确定精确行为区间；通过起始帧和结束帧，计算出疲劳驾驶行为的起始时间、结束时间以及持续时间，确定精确行为区间，然后进入下一粗行为区间的查找；对于精确行为区间，其持续时间的计算公式如下：
；
步骤（10）：输出所有疲劳驾驶行为；所有的粗行为区间查找完毕后，根据所有精确行为区间的持续时间，判断是否超过安全驾驶时间阈值N秒，超过安全驾驶时间阈值则判断为疲劳驾驶，记录疲劳驾驶行为类别，并进行相应的输出。
进一步地，所述步骤S4中设计一个端云协同策略，具体如下：
（1）端侧和云侧通过网络进行数据的交互；
（2）将对算力要求较小的算法部署至端侧，将对算力要求较高的算法部署至云侧，算力要求较小的算法包括图像采集、图像预处理、抽帧策略，算力要求较高的算法包括训练模型、模型预测、数据集综合处理；
（3）端侧设备向云侧的行为区间判断模块和行为判断模块发送目标检测模型选择信号，根据不同的场景任务，行为区间判断模块和行为判断模块从云侧存储服务中加载对应的目标检测模型来进行后续的检测任务；
（4）用户选择视频检测功能，有两种端云协同方案；
（5）用户选择实时检测功能，端侧将摄像头采集的实时视频数据逐帧传输至云侧行为判断模块进行预测，云侧将每帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为，并给出警告提示；
（6）用户选择实时行为检测功能，端侧将摄像头采集的实时视频数据每隔一定时间段传输至云侧行为判断模块进行预测，云侧将间隔帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为，并给出警告提示；
（7）云侧模型训练模块从云存储模块收集数据集，并利用不同场景的数据集训练不同的目标检测模型，最后将训练好的模型保存至云侧云存储模块中。
进一步的，其中两种端云协同方案，具体为：
第一种端云协同方案：端侧设备调用关键帧快速定位算法对视频中的疲劳驾驶行为进行检测，在检测过程中将需要进行类别判断的帧图片传至云侧行为判断模块进行处理，进行类别判断的帧图片属于疲劳驾驶驾驶行为，则将其保存至云侧云存储模块中，并将该帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；
端侧通过云侧返回的信息检测出视频中的疲劳驾驶行为，并进疲劳驾驶行为的类别和起始时间和结束时间进行显示；
第二种端云协同方案：端侧设备直接将待检测的视频传输至云侧行为区间判断模块，云侧行为区间判断模块中包含关键帧快速定位算法和聚焦目标类别检测模型，能够将视频中的疲劳驾驶行为检测出来，将疲劳驾驶行为片段保存至云侧云存储服务中，并将视频中的疲劳驾驶行为类别和行为起始时间和结束时间返回至端侧进行显示。
本发明的有益效果是：
（1）本发明设计一个数据迭代算法，在减少人力成本的同时极大地扩充数据集。
（2）本发明设计一个聚焦难分类行为的损失函数，使神经网络模型在训练过程中更加关注难分类的图片的特征学习。
（3）本发明设计一个关键帧快速定位算法，在不遗漏行为帧的情况下以最少的行为帧信息检测出疲劳驾驶行为。
（4）本发明设计一个端云协同策略，通过对算法时间复杂度和算力要求的分析从而合理地分配算法的部署位置从而提高系统的整体性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供算法流程图。
图2为本发明提供聚焦难分类行为类别损失函数图。
图3为本发明提供关键帧快速定位策略流程图。
图4为本发明提供端云协同方案结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明采用基于目标检测及关键帧快速定位的疲劳驾驶检测算法，其具体步骤如下：
S1：设计一个数据迭代算法；疲劳驾驶检测算法是单模型检测算法，单模型检测算法对于视频中的单张图片所属行为类别的分类准确率受数据集的质量和大小影响，而数据集的质量和大小又受人力成本和时间成本的制约，因此设计一个数据迭代算法，在提高数据集数量和质量的同时降低时间成本和人力成本。为后续模型的训练提供丰富且高质量的数据集。
S2：设计一个聚焦难分类行为的损失函数；所述S1的数据迭代算法从数据集方面入手，提高目标检测模型（YoLoV7）对视频中单张图片所属行为类别的分类准确率，但对于侧重点在于图片类别分类的疲劳驾驶检测任务来说，目标检测模型（YoLoV7）中的损失函数不能很好地利用S1中的数据对行为类别进行针对性地学习，此外，原目标检测模型（YoLoV7）对于特征不明显的图片（如：闭眼、打哈欠、左顾右盼）分类准确率不高，因此设计一个聚焦难分类行为的损失函数，从而得到一个聚焦目标类别检测模型，使该模型在训练过程中更加关注于行为类别的预测同时增强该模型对难分类行为图片的特征学习。
S3：设计一个关键帧快速定位算法；所述S1和S2分别从聚焦目标类别检测模型的数据集和损失函数方面入手，提高聚焦目标类别检测模型对视频中单张图片所属类别分类的准确度，但制约疲劳驾驶检测算法另一关键问题在于聚焦目标类别检测模型的检测速度，提高速度有两种方法：轻量化模型和视频抽帧。轻量化可能会影响聚焦目标类别检测模型对单张图片所属行为类别分类的准确率，而视频抽帧可能会存在遗漏帧的情况，从而影响对疲劳驾驶行为关键帧（起始帧和结束帧）的判断。因此设计一个关键帧快速定位算法，快速定位行为的起始帧和结束帧，从而用最少的帧信息来判断疲劳驾驶行为是否超过安全阈值，通过减少聚焦目标类别检测模型的预测次数从而大大提高疲劳驾驶检测算法的速度。
S4：设计一个端云协同策略；所诉S3通过减少疲劳驾驶检测算法中聚焦目标类别检测模型的预测次数从而提高算法的整体速度，但模型预测的速度还受硬件设备的算力资源的影响，而整个疲劳驾驶检测算法中的不同模块对算力的要求各不相同，为了更加合理地分配算力资源，设计一个端云协同策略，提高疲劳驾驶检测算法的整体速度和资源利用率。
以上步骤的具体实施如下：
S1：设计提升数据标注效率并扩充数据集的数据迭代算法；
本发明所使用到的数据集为2004段时长为5~15秒的视频；对每段视频进行逐帧提取，得到总图片集26773张；由于需要标注的总图片集较多，为了提高数据标注效率，所以需要通过数据迭代算法来减少人力成本并进一步扩充数据集。算法流程图如图1所示。具体过程如下：
（1）从总图片集中的五种行为类别的图片中分别选择1000张图片，共5000张图片进行人工标注，作为小数据集D1；
（2）使用小数据集D1训练模型Net从而使聚焦目标类别检测模型具有一定的异常驾驶行为识别能力，得到临时模型N1；
（3）使用临时模型N1对剩余的21773张图片进行预标注，获得大数据集D2；
（4）人工对大数据集D2进行微调，并将微调后的数据集与小数据集D1合并得到总数据集D3；
（5）使用总数据集D3训练模型Net后得到异常驾驶行为检测模型；通过聚焦目标类别检测模型进行实时视频检测，并将检测过程中抽帧得到的图片，经过人工微调后作为训练数据集来扩充总数据集D3为扩充后的数据集D。
具体数量如下表所示。
表 1 数据集信息
先使用小数据集进行人工标注的目的是得到精确标注的数据集，放入聚焦目标类别检测模型中进行训练，从而使聚焦目标类别检测模型具有一定的异常驾驶行为识别能力；
使用临时模型对剩余数据集进行预标注的目的是得到粗标注的数据集，再进行人工微调可以极大减少人力成本；
标注好的训练数据集训练模型后，使用训练好的模型进行视频实时检测过程中保存异常行为帧的目的是扩充数据集。
S2：设计一个聚焦难分类行为损失函数；
目标检测模型（YoLoV7）中的损失函数在疲劳驾驶检测任务中存在缺陷，而损失函数是深度学习网络模型中至关重要的一部分，它用来衡量真实值和预测值之间的误差，并指导网络模型中参数的更新。本发明对目标检测模型（YoLoV7）中的损失函数进行修改，设计了一个聚焦难分类行为的损失函数，从而得到一个聚焦目标类别检测模型。
对目标检测模型中的损失函数进行修改，设计一个聚焦难分类行为的损失函数，得到一个聚焦目标类别检测模型；聚焦目标类别检测模型中的整体损失函数为：
；
其中，为整体损失函数，/>为置信度损失函数，/>为置信度损失权重；为聚焦难分类行为类别损失函数，/>为聚焦难分类行为类别损失权重；/>为位置损失函数，/>为位置损失权重；
调整聚焦难分类行为类别损失的权重，使且/>；
聚焦难分类行为类别损失函数为：
；
其中，是包含目标的边界框的数量，/>是第/>个边界框，/>是类别的数量，/>是第/>个行为类别，/>是实际标签中第/>个边界框是否包含目标的二进制值，/>是聚焦目标类别检测模型预测的第/>个边界框的类别概率分布，/>是聚焦因子，取正值，用来调节聚焦目标类别检测模型训练时对难分类行为类别的关注度；
对于不难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布/>接近1（聚焦目标类别检测模型对样本的分类非常自信），那么/>接近0，从而减小该样本的权重，这意味着聚焦目标类别检测模型不太关注不难分类的样本的误差，因为不难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与不难分类的样本预测相关的网络参数更新幅度减小。
对于难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布/>接近0（聚焦目标类别检测模型对样本的分类不自信），那么/>接近1，从而增加该样本的权重，这意味着聚焦目标类别检测模型非常关注难分类的样本的误差，因为难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与难分类的样本预测相关的网络参数更新幅度增大。
为了更加直观地展示聚焦难分类行为类别损失函数的函数性质，下面给出该函数的简化形式如下所示，并画出对应的函数图像如图 2所示。
；
通过改变损失函数导数性质从而改变聚焦目标类别检测模型反向传播对不同网络参数的更新步幅，聚焦难分类行为类别损失函数使得聚焦目标类别检测模型更加关注那些它认为难以分类的样本，从而提高了对这些样本的学习效果，这有助于改善聚焦目标类别检测模型在难分类样本上的分类准确性，同时减少了对不难分类样本的过度拟合风险。
S3：设计一个关键帧快速定位算法；
在对视频流的疲劳驾驶检测任务中，其难点在于如何在较短的时间内判断出疲劳驾驶行为是否超过安全时间阈值，存在着时间效率和准确率之间的矛盾。深度学习算法在单张图片上的检测准确率较高，但是深度学习方法预测的过程需要大量的计算资源，而视频流通常包含每秒30到60帧图像，如果对视频流中的每一帧图片都使用深度学习模型进行预测，会导致耗时严重，降低系统的可用性。传统的基于隔样抽帧的算法可以减少模型的预测次数，从而提高系统的整体速度，然而隔样抽帧间隔大小会影响对疲劳驾驶行为持续时间的判断准确度，因此当前算法面临着整体速度和行为持续时间判断准确度之间的平衡问题。
为了应对这一挑战，本发明提供一种创新的解决方案，充分考虑了视频流中行为的连续性，假设如果视频中存在某个疲劳驾驶行为，根据人做动作时的实际情况，可以默认该段疲劳驾驶行为是连续的。通过优化的设计，在不遗漏行为起始帧、结束帧的前提下，极大地减少了模型对视频帧类别的判断次数，从而在不影响疲劳驾驶检测准确率的情况下极大地缩短了系统检测的时间。根据设定的阈值，当连续疲劳驾驶行为的持续时间大于等于N时，判定为疲劳驾驶，这里假设N为3秒。
关键帧快速定位策略流程图如图 3所示。具体步骤如下：
步骤（1）：隔样抽帧。对原视频流进行每秒一帧的隔样抽帧操作，并将隔样帧保存至隔样帧序列中。
步骤（2）：模型预测隔样帧类别。使用聚焦目标类别检测模型对隔样帧序列中的图片进行行为类别预测，快速而精准地判断出每张图片是否属于正常驾驶行为或者是否呈现出某种疲劳驾驶行为，疲劳驾驶行为包括闭眼、打哈欠、打电话和左顾右盼等四种，并将预测结果保存至隔样帧行为类别序列中。
步骤（3）：筛选粗行为区间。已知安全驾驶时间阈值为N秒，当隔样帧行为类别序列中疲劳驾驶行为连续出现次数小于等于N-2次（即N-2秒=1秒）或者行为类别为正常驾驶的序列，不满足疲劳驾驶的条件，将其删除。将筛选后的信息保存至粗行为区间数组Info[X][3]中，其中Info为二维数组，第一个维度保存X个疲劳驾驶行为的信息数组，第二个维度保存每个疲劳驾驶的详细信息，其中索引0保存该粗行为区间所属类别，索引1保存该粗行为区间起始帧号，索引2保存该粗行为区间结束帧号。
步骤（4）：寻找起始帧，计算前遗漏帧。在粗行为区间数组的起始帧前及结束帧后可能存在遗漏帧的情况，将粗行为区间的开始帧定义为：伪起始帧，结束帧定义为：伪结束帧；将上个粗行为区间的伪结束帧定义为：上伪结束帧；下一个粗行为区间的伪起始帧定义为：下伪起始帧；从上伪结束帧至伪起始帧这个区间内查找真正的行为起始帧，使用二分查找算法来寻找行为起始帧。然后计算出前遗漏帧，公式如下：
；
步骤（5）：粗行为区间情况讨论。设当前粗行为区间时间为F，若当前粗行为区间时间F等于安全时间阈值-1秒（即N-1秒=2秒）时，进一步细化探索区间，执行步骤（6）；否则粗行为区间时间F大于等于安全时间阈值（即N秒=3秒），满足疲劳驾驶条件，执行步骤（8）。
步骤（6）：设定探索帧。设定探索帧，探索帧位置的计算公式如下：
；
步骤（7）：判定探索帧。当探索帧的行为类别与粗行为区间类别不一致时，该粗行为区间一定小于安全时间阈值（即N秒=3秒），不满足疲劳驾驶条件，则直接丢弃该粗行为区间，进入下一粗行为区间的查找；当探索帧的行为类别与粗行为区间类别一致时，进一步探索，执行步骤（8）。
步骤（8）：寻找结束帧，计算后遗漏帧。从探索帧或者伪结束帧至下伪起始帧范围内，通过二分查找，寻找出结束帧，并计算出后遗漏帧，其计算公式如下：
；
步骤（9）：确定精确行为区间。通过起始帧和结束帧，计算出疲劳驾驶行为的起始时间、结束时间以及持续时间，确定精确行为区间，然后进入下一粗行为区间的查找。对于精确行为区间，其持续时间的计算公式如下：
；
步骤（10）：输出所有疲劳驾驶行为。所有的粗行为区间查找完毕后，根据所有精确行为区间的持续时间，判断该段行为是否超过了安全驾驶时间阈值（即N秒=3秒），超过则判断为疲劳驾驶，记录疲劳驾驶行为类别，并进行相应的输出。
S4：设计一个端云协同策略；
在疲劳驾驶任务当中，根据端侧和云侧的不同特点，分别在端侧和云侧当中部署不同任务，实现两者协同完成检测。具体来说，端侧的算力较小相对响应延迟时间较短；云侧资源算力较大相对响应延迟时间较高。为了合理地分配算力资源，提高资源利用率和平衡端侧和云侧的延迟时间，提出端云协同策略，具体如下：端云协同策略结构如图 4所示。
首先在端侧，主要部署以下任务：
①根据场景和需求，端侧设备能够向云侧发送模型选择信号，以加载模型。
②通过使用数据采集器捕获驾驶员实时的视频流和生理特征数据，并对其进行降低分辨率和压缩图像等图像预处理策略，以减少数据传输的负担和提高传输速度。
③采用实时图像抽帧和基本特征提取的轻量级算法，以减小数据量并提高实时性。
④将上述处理后的数据以流式方式传输至云侧服务器。
其次在云侧当中，需要完成以下任务：
①云端服务器使用深度学习模型进行驾驶行为的检测，分析驾驶员的视频流或视频帧以识别潜在的异常迹象。
②云侧服务器主要由对象存储服务的桶构成，桶中保留不同检测任务的最优模型、训练时的数据集以及相同检测任务的不同功能，这里的功能包含对视频流检测、视频流实时监测和实时行为检测。
③云侧服务器接收来自端侧的视频流或视频帧，并加载桶中对应的模型和功能进行检测，并且将检测后的数据传输至端侧当中，如果该数据为异常行为类别，则会进行提示和警告。
④对象存储服务的桶会记录检测的结果，该结果包括疲劳行为的类别、置信度以及标注框的坐标等信息，以供后续对驾驶行为进行分析和相关报告所使用。
⑤云侧服务器还包括模型训练服务，从存储服务的桶中获取检测图像的数据，此数据主要来自于模型实时检测的图片和视频，通过这类数据来迭代和优化新的检测模型。
在端云协同策略当中，允许实时监测驾驶员的状态，需要对行为类别实时反馈，一旦云端服务器检测到存在异常的驾驶行为，立即触发如声音、震动的实时警报，以警示驾驶员采取行动。此外，通过在云端进行深度学习模型的检测以及不断迭代模型的策略，可以提高检测的准确性和可靠性，同时减轻了端侧设备的计算负担。该策略支持远程更新模型，以不断提升系统性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (2)
1.基于目标检测及关键帧快速定位的疲劳驾驶检测算法，其特征在于：具体步骤如下：
步骤S1：设计一个数据迭代算法；
步骤S2：设计一个聚焦难分类行为的损失函数；
步骤S3：设计一个关键帧快速定位算法；
步骤S4：设计一个端云协同策略；
其中步骤S1设计一个数据迭代算法，具体为：
步骤S1.1,将包含疲劳驾驶行为的视频进行逐帧提取，保存为总图片集，图片总数为S；
步骤S1.2,从总图片集中随机抽取S*20%张图片进行人工标注，获得小数据集D1；
步骤S1.3,使用小数据集D1训练模型Net得到临时模型N1；
步骤S1.4,使用临时模型N1对剩余的S*80%张图片进行预标注,获得大数据集D2；
步骤S1.5,人工对大数据集D2进行微调,并将微调后的大数据集D2与小数据集D1合并得到总数据集；
所述步骤S2中设计一个聚焦难分类行为的损失函数，具体为：
对目标检测模型中的损失函数进行修改，设计一个聚焦难分类行为的损失函数，得到一个聚焦目标类别检测模型；聚焦目标类别检测模型中的整体损失函数为：
；
其中，为整体损失函数，/>为置信度损失函数，/>为置信度损失权重；/>为聚焦难分类行为类别损失函数，/>为聚焦难分类行为类别损失权重；/>为位置损失函数，/>为位置损失权重；
调整聚焦难分类行为类别损失的权重，使且/>；
聚焦难分类行为类别损失函数为：
；
其中，是包含目标的边界框的数量，/>是第/>个边界框，/>是类别的数量，/>是第/>个行为类别，/>是实际标签中第/>个边界框是否包含目标的二进制值，/>是聚焦目标类别检测模型预测的第/>个边界框的类别概率分布，/>是聚焦因子，取正值，用来调节聚焦目标类别检测模型训练时对难分类行为类别的关注度；
对于不难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布接近1，那么/>接近0，从而减小不难分类的样本的权重，不难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与不难分类的样本预测相关的网络参数更新幅度减小；
对于难分类的样本：如果聚焦目标类别检测模型预测的第个边界框的类别概率分布接近0，那么/>接近1，从而增加难分类的样本的权重，难分类的样本会使聚焦目标类别检测模型在进行反向传播时，使与难分类的样本预测相关的网络参数更新幅度增大；
通过改变损失函数导数性质从而改变聚焦目标类别检测模型反向传播对不同网络参数的更新步幅；
所述步骤S3中设计一个关键帧快速定位算法，具体步骤如下：
步骤（1）：隔样抽帧；
对原视频流进行每秒一帧的隔样抽帧操作，并将隔样帧保存至隔样帧序列中；
步骤（2）：模型预测隔样帧类别；
使用聚焦目标类别检测模型对隔样帧序列中的图片进行行为类别预测，判断出每张图片是否属于正常驾驶行为或者是否呈现出某种疲劳驾驶行为，疲劳驾驶行为包括闭眼、打哈欠、打电话和左顾右盼四种，并将预测结果保存至隔样帧行为类别序列中；
步骤（3）：筛选粗行为区间；
已知安全驾驶时间阈值为N秒，当隔样帧行为类别序列中疲劳驾驶行为连续出现次数小于等于N-2秒或者行为类别为正常驾驶的序列，不满足疲劳驾驶的条件，将其删除，将筛选后的信息保存至粗行为区间数组Info[X][3]中，其中Info为二维数组，第一个维度保存X个疲劳驾驶行为的信息数组，第二个维度3保存每个疲劳驾驶行为的3个信息，其中索引0保存疲劳驾驶粗行为区间所属类别，索引1保存疲劳驾驶粗行为区间起始帧号，索引2保存疲劳驾驶行为粗行为区间结束帧号；
步骤（4）：寻找起始帧，计算前遗漏帧；
在粗行为区间数组的起始帧前及结束帧后可能存在遗漏帧的情况，将粗行为区间的开始帧定义为：伪起始帧，结束帧定义为：伪结束帧；将上个粗行为区间的伪结束帧定义为：上伪结束帧；下一个粗行为区间的伪起始帧定义为：下伪起始帧；从上伪结束帧至伪起始帧这个区间内查找真正的行为起始帧，使用二分查找算法来寻找行为起始帧；然后计算出前遗漏帧，公式如下：
；
步骤（5）：粗行为区间情况讨论；
设当前粗行为区间时间为F，若当前粗行为区间时间F等于安全时间阈值N-1秒时，进一步细化探索区间，执行步骤（6）；否则粗行为区间时间F大于等于安全时间阈值N秒，满足疲劳驾驶条件，执行步骤（8）；
步骤（6）：设定探索帧；探索帧位置的计算公式如下：
；
步骤（7）：判定探索帧；当探索帧的行为类别与粗行为区间类别一致时，进一步探索，执行步骤（8）；
步骤（8）：寻找结束帧，计算后遗漏帧；从探索帧或者伪结束帧至下伪起始帧范围内，通过二分查找，寻找出结束帧，并计算出后遗漏帧，其计算公式如下：
；
步骤（9）：确定精确行为区间；通过起始帧和结束帧，计算出疲劳驾驶行为的起始时间、结束时间以及持续时间，确定精确行为区间，然后进入下一粗行为区间的查找；对于精确行为区间，其持续时间的计算公式如下：
；
步骤（10）：输出所有疲劳驾驶行为；所有的粗行为区间查找完毕后，根据所有精确行为区间的持续时间，判断是否超过安全驾驶时间阈值N秒，超过安全驾驶时间阈值则判断为疲劳驾驶，记录疲劳驾驶行为类别，并进行相应的输出；
所述步骤S4中设计一个端云协同策略，具体如下：
（1）端侧和云侧通过网络进行数据的交互；
（2）将对算力要求较小的算法部署至端侧，将对算力要求较高的算法部署至云侧，算力要求较小的算法包括图像采集、图像预处理、抽帧策略，算力要求较高的算法包括训练模型、模型预测、数据集综合处理；
（3）端侧设备向云侧的行为区间判断模块和行为判断模块发送目标检测模型选择信号，根据不同的场景任务，行为区间判断模块和行为判断模块从云侧存储服务中加载对应的目标检测模型来进行后续的检测任务；
（4）用户选择视频检测功能，有两种端云协同方案；
（5）用户选择实时检测功能，端侧将摄像头采集的实时视频数据逐帧传输至云侧行为判断模块进行预测，云侧将每帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为，并给出警告提示；
（6）用户选择实时行为检测功能，端侧将摄像头采集的实时视频数据每隔一定时间段传输至云侧行为判断模块进行预测，云侧将间隔帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为，并给出警告提示；
（7）云侧模型训练模块从云存储模块收集数据集，并利用不同场景的数据集训练不同的目标检测模型，最后将训练好的模型保存至云侧云存储模块中。
2.根据权利要求1所述的基于目标检测及关键帧快速定位的疲劳驾驶检测算法，其特征在于：其中两种端云协同方案，具体为：
第一种端云协同方案：端侧设备调用关键帧快速定位算法对视频中的疲劳驾驶行为进行检测，在检测过程中将需要进行类别判断的帧图片传至云侧行为判断模块进行处理，进行类别判断的帧图片属于疲劳驾驶驾驶行为，则将其保存至云侧云存储模块中，并将该帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧；
端侧通过云侧返回的信息检测出视频中的疲劳驾驶行为，并进疲劳驾驶行为的类别和起始时间和结束时间进行显示；
第二种端云协同方案：端侧设备直接将待检测的视频传输至云侧行为区间判断模块，云侧行为区间判断模块中包含关键帧快速定位算法和聚焦目标类别检测模型，能够将视频中的疲劳驾驶行为检测出来，将疲劳驾驶行为片段保存至云侧云存储服务中，并将视频中的疲劳驾驶行为类别和行为起始时间和结束时间返回至端侧进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311345617.2A CN117079256B (zh) | 2023-10-18 | 2023-10-18 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311345617.2A CN117079256B (zh) | 2023-10-18 | 2023-10-18 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117079256A CN117079256A (zh) | 2023-11-17 |
| CN117079256B true CN117079256B (zh) | 2024-01-05 |
Family
ID=88706549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311345617.2A Active CN117079256B (zh) | 2023-10-18 | 2023-10-18 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079256B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000016243A1 (en) * | 1998-09-10 | 2000-03-23 | Mate - Media Access Technologies Ltd. | Method of face indexing for efficient browsing and searching ofp eople in video |
| DE102012020778A1 (de) * | 2012-10-23 | 2014-04-24 | Audi Ag | Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung |
| CN111540171A (zh) * | 2020-04-28 | 2020-08-14 | 河北地质大学 | 疲劳驾驶预警系统、相应的预警方法及构建方法 |
| CN112241715A (zh) * | 2020-10-23 | 2021-01-19 | 北京百度网讯科技有限公司 | 模型训练方法、表情识别方法、装置、设备及存储介质 |
| WO2022007776A1 (zh) * | 2020-07-07 | 2022-01-13 | 长沙智能驾驶研究院有限公司 | 目标场景区域的车辆定位方法、装置、设备和存储介质 |
| CN114172908A (zh) * | 2022-02-10 | 2022-03-11 | 浙江大学 | 一种端云协同处理方法及设备 |
| CN114220158A (zh) * | 2022-02-18 | 2022-03-22 | 电子科技大学长三角研究院(湖州) | 基于深度学习的疲劳驾驶检测方法 |
| WO2022143688A1 (zh) * | 2020-12-31 | 2022-07-07 | 百果园技术(新加坡)有限公司 | 视频抽帧处理方法、装置、设备及介质 |
| CN114884832A (zh) * | 2022-03-31 | 2022-08-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 端云协同系统、分布式处理集群及移动端设备 |
| CN115147662A (zh) * | 2022-07-27 | 2022-10-04 | 安徽易刚信息技术有限公司 | 一种自动标注数据集的方法及标注系统 |
| CN115359462A (zh) * | 2022-08-08 | 2022-11-18 | 浙江工业大学 | 公交驾驶员疲劳参数补偿以及双轨并行检测方法 |
| CN115760729A (zh) * | 2022-11-07 | 2023-03-07 | 重庆凯瑞机器人技术有限公司 | 一种发动机叶片微小缺陷检测方法 |
| CN116189063A (zh) * | 2023-04-24 | 2023-05-30 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
| CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
| CN116311180A (zh) * | 2023-03-03 | 2023-06-23 | 内蒙古工业大学 | 一种多方法融合的疲劳驾驶检测方法 |
| CN116543303A (zh) * | 2023-05-04 | 2023-08-04 | 交通运输部公路科学研究所 | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 |
| CN116567346A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、存储介质及计算机设备 |
| CN116597424A (zh) * | 2023-05-13 | 2023-08-15 | 河海大学 | 一种基于人脸识别的疲劳驾驶检测系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019098002A1 (ja) * | 2017-11-20 | 2019-05-23 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び移動体 |
| CN111428699B (zh) * | 2020-06-10 | 2020-09-22 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 |
-
2023
- 2023-10-18 CN CN202311345617.2A patent/CN117079256B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000016243A1 (en) * | 1998-09-10 | 2000-03-23 | Mate - Media Access Technologies Ltd. | Method of face indexing for efficient browsing and searching ofp eople in video |
| DE102012020778A1 (de) * | 2012-10-23 | 2014-04-24 | Audi Ag | Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung |
| CN111540171A (zh) * | 2020-04-28 | 2020-08-14 | 河北地质大学 | 疲劳驾驶预警系统、相应的预警方法及构建方法 |
| WO2022007776A1 (zh) * | 2020-07-07 | 2022-01-13 | 长沙智能驾驶研究院有限公司 | 目标场景区域的车辆定位方法、装置、设备和存储介质 |
| CN112241715A (zh) * | 2020-10-23 | 2021-01-19 | 北京百度网讯科技有限公司 | 模型训练方法、表情识别方法、装置、设备及存储介质 |
| WO2022143688A1 (zh) * | 2020-12-31 | 2022-07-07 | 百果园技术(新加坡)有限公司 | 视频抽帧处理方法、装置、设备及介质 |
| CN116567346A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、存储介质及计算机设备 |
| CN114172908A (zh) * | 2022-02-10 | 2022-03-11 | 浙江大学 | 一种端云协同处理方法及设备 |
| CN114220158A (zh) * | 2022-02-18 | 2022-03-22 | 电子科技大学长三角研究院(湖州) | 基于深度学习的疲劳驾驶检测方法 |
| CN114884832A (zh) * | 2022-03-31 | 2022-08-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 端云协同系统、分布式处理集群及移动端设备 |
| CN115147662A (zh) * | 2022-07-27 | 2022-10-04 | 安徽易刚信息技术有限公司 | 一种自动标注数据集的方法及标注系统 |
| CN115359462A (zh) * | 2022-08-08 | 2022-11-18 | 浙江工业大学 | 公交驾驶员疲劳参数补偿以及双轨并行检测方法 |
| CN115760729A (zh) * | 2022-11-07 | 2023-03-07 | 重庆凯瑞机器人技术有限公司 | 一种发动机叶片微小缺陷检测方法 |
| CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
| CN116311180A (zh) * | 2023-03-03 | 2023-06-23 | 内蒙古工业大学 | 一种多方法融合的疲劳驾驶检测方法 |
| CN116189063A (zh) * | 2023-04-24 | 2023-05-30 | 青岛润邦泽业信息技术有限公司 | 一种用于智能视频监控的关键帧优化方法及装置 |
| CN116543303A (zh) * | 2023-05-04 | 2023-08-04 | 交通运输部公路科学研究所 | 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法 |
| CN116597424A (zh) * | 2023-05-13 | 2023-08-15 | 河海大学 | 一种基于人脸识别的疲劳驾驶检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| Driver activity recognition using spatial-temporal graph convolutional LSTM networks with attention mechanism;Chaopeng Pan 等;《IET Intelligent Transport Systems》;第297-307页 * |
| 基于计算机视觉的驾驶员驾驶行为识别;潘超鹏;《CNKI学位论文》;第2022年卷(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117079256A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977773B (zh) | 基于多目标检测3d cnn的人体行为识别方法及系统 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN109558811B (zh) | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 | |
| CN110602526A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN112818849B (zh) | 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法 | |
| CN113128360A (zh) | 基于深度学习的司机驾驶行为检测与识别方法 | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| CN110163169A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN117011563A (zh) | 基于半监督联邦学习的道路损害巡检跨域检测方法及系统 | |
| CN116756688A (zh) | 一种基于多模态融合算法的舆情风险发现方法 | |
| CN112949456B (zh) | 视频特征提取模型训练、视频特征提取方法和装置 | |
| CN114359669A (zh) | 图片分析模型调整方法、装置以及计算机可读存储介质 | |
| CN117079256B (zh) | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 | |
| CN112487961A (zh) | 一种交通事故检测方法、存储介质及设备 | |
| CN113065379A (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN116110005A (zh) | 一种人群行为属性的计数方法、系统及产品 | |
| KR102488789B1 (ko) | 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램 | |
| Park et al. | Intensity classification background model based on the tracing scheme for deep learning based CCTV pedestrian detection | |
| CN111681748B (zh) | 基于智能视觉感知的医疗行为动作规范性评价方法 | |
| CN113468540A (zh) | 基于网络安全大数据的安全画像处理方法及网络安全系统 | |
| Wang et al. | A driver abnormal behavior warning method based on isolated forest algorithm. | |
| CN114970654B (zh) | 数据处理方法、装置和终端 | |
| CN112686344B (zh) | 一种快速过滤背景图片的检测模型及其训练方法 | |
| CN116994176A (zh) | 一种基于多维语义信息的视频关键数据提取方法 | |
| Saber et al. | DeepFake Video Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |