CN111814582B - 一种用于驾驶员行为监测图像的处理方法及装置 - Google Patents

一种用于驾驶员行为监测图像的处理方法及装置 Download PDF

Info

Publication number
CN111814582B
CN111814582B CN202010545376.6A CN202010545376A CN111814582B CN 111814582 B CN111814582 B CN 111814582B CN 202010545376 A CN202010545376 A CN 202010545376A CN 111814582 B CN111814582 B CN 111814582B
Authority
CN
China
Prior art keywords
model
image
detection
data
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010545376.6A
Other languages
English (en)
Other versions
CN111814582A (zh
Inventor
陈志江
刘鹏
张世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adasplus Beijing Technology Co ltd
Original Assignee
Adasplus Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adasplus Beijing Technology Co ltd filed Critical Adasplus Beijing Technology Co ltd
Priority to CN202010545376.6A priority Critical patent/CN111814582B/zh
Publication of CN111814582A publication Critical patent/CN111814582A/zh
Application granted granted Critical
Publication of CN111814582B publication Critical patent/CN111814582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种用于驾驶员行为监测图像的处理方法及装置。所述方法包括：采集数据；模型训练；基于模型进行推理检测；根据检测结果，计算检测框和图像难度系数；半自动标注及难样本挖掘；数据分析与数据增量；根据数据分析与数据增量的结果，补充采集数据或者将增加的图像数据用于模型训练。所述装置包括：数据采集模块、模型训练模块、推理检测模块、标注与样本挖掘模块以及数据增量模块。本申请解决相关技术中需要大量人工标注、检测结果不理想的技术问题，有助于提高标注效率、降低数据标注成本。

Description

一种用于驾驶员行为监测图像的处理方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种用于驾驶员行为监测图像的处理方法及装置。
背景技术
目前，驾驶人是道路交通安全最主要的因素，驾驶员异常行为是造成道路交通事故的主要原因之一，因此对驾驶员驾驶异常行为的监控是异常重要的任务。驾驶员的行为主要包括：抽烟、打电话、饮食(吃东西、喝水等)、疑似动作(揉眼睛、摸脸、摸耳朵、捂嘴等)等。目前对驾驶员行为监测图像的标注处理方法主要包括这几种方法：
方法1：根据预先设计的分类和规则标准，对收集到的每张图像进行纯人工标注。
方法2：进行图像标注时，同时使用预先训练的模型对图像进行检测推理，提示图像中的存在标注类别和位置，辅助人工进行数据标注。
方法3：进行图像标注时，使用预先训练的模型对图像进行检测推理，将检测结果作为候选标注结果，再由人工进行数据标注结果的去错、补缺、调优等工作。
现在数据标注的主要有以上三种方法，但是都存在一些明显的不足。
方法1的人工标注经济成本高，交付周期长，容易出去漏标注、错标注的情况。
方法2对方法1进行了少量优化和改进，通过模型检测结果进行提示，可以减少漏标注、错标注的情况，但仍需要人工对每张图像进行完全标注，对效率的提升有限。
方法3中使用单个模型的检测结果作为自动标注结果，出现漏检、误检的概率比较大，同时检测结果存在一定的偏向性，可能存在类似的图像都没有检出来的情况，人工调整标注的工作量比较大，难样本的挖掘比较单一。
针对相关技术中需要大量人工标注、检测结果不理想的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于驾驶员行为监测图像的处理方法及装置，以解决相关技术中需要大量人工标注、检测结果不理想的问题。
为了实现上述目的，第一方面，本申请提供了一种用于驾驶员行为监测图像的处理方法。
具体流程如下：
采集数据；
模型训练；
基于模型进行推理检测；
根据检测结果，计算检测框和图像难度系数；
根据所述图像难度系数进行半自动标注及难样本挖掘；
根据所述图像难度系数进行数据分析与数据增量；
根据数据分析与数据增量的结果，补充采集数据或者将增加的图像数据用于模型训练。
所述采集数据，将采集到的驾驶员行为图像进行初始化数据标注。
所述模型训练，具体为：
基于已经初始化数据标注的图像，选取一个训练集和两个验证集，其中两个验证集为：第一验证集与第二验证集；使用不同算法对训练集进行训练，得到第一模型与第二模型。
得到所述第一模型，过程如下：
步骤201：采用第一算法对训练集进行模型训练，得到第一模型；
步骤202：使用第一验证集与第二验证集分别在第一模型中投影，分别得到验证结果集A及验证结果集B；
步骤203：所述验证结果集A及验证结果集B分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第一阈值，则保留第一模型；
步骤204：若比较结果大于等于第一阈值，则转到步骤201，重新采用第一算法对训练集进行模型训练，重新生成第一模型。
得到所述第二模型，过程如下：
步骤301：采用第二算法对训练集进行模型训练，得到第二模型；
步骤302：使用第一验证集与第二验证集分别在第二模型中投影，分别得到验证结果集C及验证结果集D；
步骤303：所述验证结果集C及验证结果集D分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第二阈值，则保留第二模型；
步骤304：若比较结果大于等于第一阈值，则转到步骤301，重新采用第二算法对训练集进行模型训练，重新生成第二模型。
所述第一算法与第二算法为不同算法，用来生成不同的数据特征，以便在后续的数据标注中取得更好的效果。
所述基于模型进行推理检测，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
所述根据检测结果，计算检测框和图像难度系数：
所述计算检测框，过程如下：
根据第一检测结果与第二检测结果，计算IOU值(IOU，Intersection over Union，交并比)；
判断IOU值是否大于IOU阈值；
若IOU值大于等于IOU阈值，判断第一检测结果与第二检测结果是否类别相同具体为：
设第一检测结果为：(T1,R1),第二检测结果为：(T2,R2)；其中，T为检测类别，R为检测边框，则
Figure GDA0003594210510000041
所述判断第一检测结果与第二检测结果是否类别相同，即判断T1与T2的值是否相等；
若IOU值大于等于IOU阈值，并且类别相同，则对第一检测结果与第二检测结果取平均值作为最终检测框，同时将最终检测框的置信度设为IOU值。
若IOU值大于等于IOU阈值，但类别不相同，则保留置信度较大的框作为最终检测框，同时最终检测框的置信度设为IOU值。
若IOU值小于IOU阈值，此时认为是两个不同的检测结果，将两个框都保留，并且两个框的置信度都设置为IOU值。
所述图像难度系数，若图像上有边框，则使用边框难度的均值作为图像难度系数，计算公式为：
Figure GDA0003594210510000042
其中，ci为边框的置信度。
所述半自动标注与难样本挖掘，包括三个部分：
(1)按图像难度系数从高到低对检测结果的图像进行人工标注。这样可以优先标注并筛选出能够给模型优化提供更多信息的图像片，从而进行快速迭代改进。
(2)在检测结果的基础上辅助人工进行数据标注，对检测结果图像中的检测框进行删除、增加和调整。这样只需要对已经有的检测框进行删除、增加和调整，能够极大程度地减少数据标注的人工工作量。对于部分检测结果十分准确的图像，无需进行标注，并且随着模型检测能力越来越强，这类图片会不断增加。
(3)根据图像的标注情况进行难度系数调整。当f≥fT，若没有对检测结果图像进行人工修改，则将图像难度系数调整为1-f；当f<fT时，若对检测结果图像进行修改，则将图像难度系数调整为1-f。其中，fT为难度阈值，根据实际情况进行设置。
所述数据分析与数据增量：包括两个方面：
(1)根据检测结果图像的难度系数加大该图像的数量，公式为：Q＝[f×M]，其中，Q为增加图像的总数量，f为检测结果图像的难度系数，M为根据需要设定的增量倍数。所述图片难度系数，是针对当前选用的模型而言的，难度系数越大说明能够图片能够提供的新信息越多，因此可以在训练时加大增量倍数。
(2)对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中。对标注情况进行分析，有针对性地采集缺少的数据进行补充。例如分析发现标注时出现大量某类边框的补标，但同时这类边框在整个数据集中占的比重又偏低，就可以针对性补充该类数据。
当标注的数据量足够支持新的一轮模型训练时，即可结束当前的数据标注流程；将新的标注数据加入训练集和测试集中，重新训练并挑选新的辅助标注模型。
第二方面，本申请还提供了一种用于驾驶员行为监测图像的处理装置，使用所述用于驾驶员行为监测图像的处理方法实现，包括：
数据采集模块，用来采集驶员行为图像；
模型训练模块，用于训练模型，并得到第一模型与第二模型；
推理检测模块，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
标注与样本挖掘模块，对检测结果进行人工标注，并修改难度系数；
数据增量模块，根据检测结果图像的难度系数加大该图像的数量，或者对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中；
所述数据采集模块、模型训练模块、推理检测模块、标注与样本挖掘模块以及数据增量模块，依次顺序相连接。
有益技术效果：
本发明提出一种用于驾驶员行为监测图像的处理方法及装置。使用两个预训练的模型进行未标注数据的难度评级，优先标注难度大对模型改进作用大的数据，解决了盲目进行数据标注的问题；使用预训练模型的检测结果，辅助人工进行半自动标注，有助于提高标注效率、降低数据标注成本；根据图像难度系统，指导模型训练时的数量增量以及数据针对性采集，可以加速模型的迭代改进效率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的一种用于驾驶员行为监测图像的处理方法流程图；
图2是根据本申请实施例提供的模型训练过程示意图；
图3是根据本申请实施例提供的计算检测框过程流程图；
图4是根据本申请实施例提供的一种用于驾驶员行为监测图像的处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
另外，术语“多个”的含义应为两个以及两个以上。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
数据标注是使用标注工具通过分类、画框、注释等对收集来的数据进行标记以形成可供计算机识别、分析的优质数据的过程。通过海量优质数据的训练可以使人工智能算法学习得到更好的模型，变得更加智能。
本申请提供了一种用于驾驶员行为监测图像的处理方法。
如图1所示，具体流程如下：
步骤100：采集数据；
步骤101：模型训练；
步骤102：基于模型进行推理检测；
步骤103：根据检测结果，计算检测框和图像难度系数；
步骤104：根据所述图像难度系数进行半自动标注及难样本挖掘；
步骤105：根据所述图像难度系数进行数据分析与数据增量；
根据数据分析与数据增量的结果，补充采集数据或者将增加的图像数据用于模型训练。
所述采集数据，将采集到的驾驶员行为图像进行初始化数据标注。在采集到时驾驶员行为图像后，需要由人工进行少量的数据标注，以满足初始辅助标注模型的训练与挑选。如果已有标注数据积累，或可以使用公开数据集，则可省略初始的纯人工标注过程。
所述模型训练，如图2所示，具体为：
基于已经初始化数据标注的图像，选取一个训练集和两个验证集，其中两个验证集为：第一验证集与第二验证集；使用不同算法对训练集进行训练，得到第一模型与第二模型；
得到所述第一模型，过程如下：
步骤201：采用第一算法对训练集进行模型训练，得到第一模型；
步骤202：使用第一验证集与第二验证集分别在第一模型中投影，分别得到验证结果集A及验证结果集B；
步骤203：所述验证结果集A及验证结果集B分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第一阈值，则保留第一模型；
步骤204：若比较结果大于等于第一阈值，则转到步骤201，重新采用第一算法对训练集进行模型训练，重新生成第一模型。
得到所述第二模型，过程如下：
步骤301：采用第二算法对训练集进行模型训练，得到第二模型；
步骤302：使用第一验证集与第二验证集分别在第二模型中投影，分别得到验证结果集C及验证结果集D；
步骤303：所述验证结果集C及验证结果集D分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第二阈值，则保留第二模型；
步骤304：若比较结果大于等于第一阈值，则转到步骤301，重新采用第二算法对训练集进行模型训练，重新生成第二模型。
所述第一算法与第二算法为不同算法，用来生成不同的数据特征，以便在后续的数据标注中取得更好的效果。使用不同的算法和网络结构之间的组合，如Faster R-CNN(Faster Regions with CNN feature，CNN:Convolutional Neural Network，卷积神经网络)和VGG组合(VGG：Oxford Visual Geometry Group)、SSD(Single Shot MultiBoxDetector)和ResNet组合(Residual Network，残差网络)、YOLO(You Only Look Once)和MobileNet组合，从而训练获取不同的数据特征，在后续的辅助标注中取得更好的效果。
所述基于模型进行推理检测，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
所述根据检测结果，计算检测框和图像难度系数：
所述计算检测框，如图3所示，过程如下：
根据第一检测结果与第二检测结果，计算IOU值；
判断IOU值是否大于IOU阈值；
若IOU值大于等于IOU阈值，判断第一检测结果与第二检测结果是否类别相同具体为：
设第一检测结果为：(T1,R1),第二检测结果为：(T2,R2)；其中，T为检测类别，R为检测边框，则
Figure GDA0003594210510000091
所述判断第一检测结果与第二检测结果是否类别相同，即判断T1与T2的值是否相等；
若IOU值大于等于IOU阈值，并且类别相同，则对第一检测结果与第二检测结果取平均值作为最终检测框，同时将最终检测框的置信度设为IOU值。
若IOU值大于等于IOU阈值，但类别不相同，则保留置信度较大的框作为最终检测框，同时最终检测框的置信度设为IOU值。
若IOU值小于IOU阈值，此时认为是两个不同的检测结果，将两个框都保留，并且两个框的置信度都设置为IOU值。
所述图像难度系数，若图像上有边框，则使用边框难度的均值作为图像难度系数，计算公式为：
Figure GDA0003594210510000101
其中，ci为边框的置信度。
所述半自动标注与难样本挖掘，包括三个部分：
(1)按图像难度系数从高到低对检测结果的图像进行人工标注。这样可以优先标注并筛选出能够给模型优化提供更多信息的图像片，从而进行快速迭代改进。
(2)在检测结果的基础上辅助人工进行数据标注，对检测结果图像中的检测框进行删除、增加和调整。这样只需要对已经有的检测框进行删除、增加和调整，能够极大程度地减少数据标注的人工工作量。对于部分检测结果十分准确的图像，无需进行标注，并且随着模型检测能力越来越强，这类图片会不断增加。
(3)根据图像的标注情况进行难度系数调整。当f≥fT，若没有对检测结果图像进行人工修改，则将图像难度系数调整为1-f；当f<fT时，若对检测结果图像进行修改，则将图像难度系数调整为1-f。其中，fT难度阈值，根据实际情况进行设置。
所述数据分析与数据增量：包括两个方面：
(1)根据检测结果图像的难度系数加大该图像的数量，公式为：Q＝[f×M]，其中，Q为增加图像的总数量，f为检测结果图像的难度系数，M为根据需要设定的增量倍数。所述图片难度系数，是针对当前选用的模型而言的，难度系数越大说明能够图片能够提供的新信息越多，因此可以在训练时加大增量倍数。
(2)对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中。对标注情况进行分析，有针对性地采集缺少的数据进行补充。例如分析发现标注时出现大量某类边框的补标，但同时这类边框在整个数据集中占的比重又偏低，就可以针对性补充该类数据。
当标注的数据量足够支持新的一轮模型训练时，即可结束当前的数据标注流程；将新的标注数据加入训练集和测试集中，重新训练并挑选新的辅助标注模型。
本申请还提供了一种用于驾驶员行为监测图像的处理装置，使用所述用于驾驶员行为监测图像的处理方法实现，如图4所示，包括：
数据采集模块，用来采集驶员行为图像；
模型训练模块，用于训练模型，并得到第一模型与第二模型；
推理检测模块，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
标注与样本挖掘模块，对检测结果进行人工标注，并修改难度系数；
数据增量模块，根据检测结果图像的难度系数加大该图像的数量，或者对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中；
所述数据采集模块、模型训练模块、推理检测模块、标注与样本挖掘模块以及数据增量模块，依次顺序相连接，如图4所示。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种用于驾驶员行为监测图像的处理方法，其特征在于，具体流程如下：
采集数据；
模型训练；
基于模型进行推理检测；
根据检测结果，计算检测框和图像难度系数；
根据所述图像难度系数进行半自动标注及难样本挖掘；
根据所述图像难度系数进行数据分析与数据增量；
根据数据分析与数据增量的结果，补充采集数据或者将增加的图像数据用于模型训练；
所述模型训练，具体为：基于已经初始化数据标注的图像，选取一个训练集和两个验证集，其中两个验证集为：第一验证集与第二验证集；使用不同算法对训练集进行训练，得到第一模型与第二模型；
所述基于模型进行推理检测，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
所述计算检测框，过程如下：
根据第一检测结果与第二检测结果，计算IOU值；
判断IOU值是否大于IOU阈值；
若IOU值大于等于IOU阈值，判断第一检测结果与第二检测结果是否类别相同；
所述图像难度系数为：若图像上有边框，则使用边框难度的均值作为图像难度系数，计算公式为：
Figure FDA0003594210500000011
其中，ci为边框的置信度。
2.如权利要求1所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述采集数据，将采集到的驾驶员行为图像进行初始化数据标注。
3.如权利要求2所述的用于驾驶员行为监测图像的处理方法，其特征在于，得到所述第一模型，过程如下：
步骤201：采用第一算法对训练集进行模型训练，得到第一模型；
步骤202：使用第一验证集与第二验证集分别在第一模型中投影，分别得到验证结果集A及验证结果集B；
步骤203：所述验证结果集A及验证结果集B分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第一阈值，则保留第一模型；
步骤204：若比较结果大于等于第一阈值，则转到步骤201，重新采用第一算法对训练集进行模型训练，重新生成第一模型。
4.如权利要求2所述的用于驾驶员行为监测图像的处理方法，其特征在于，得到所述第二模型，过程如下：
步骤301：采用第二算法对训练集进行模型训练，得到第二模型；
步骤302：使用第一验证集与第二验证集分别在第二模型中投影，分别得到验证结果集C及验证结果集D；
步骤303：所述验证结果集C及验证结果集D分别与第一验证集与第二验证集已经做数据标注的图像进行比较，若比较结果小于第二阈值，则保留第二模型；
步骤304：若比较结果大于等于第一阈值，则转到步骤301，重新采用第二算法对训练集进行模型训练，重新生成第二模型。
5.如权利要求1所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述计算检测框，过程如下：
设第一检测结果为：(T1,R1),第二检测结果为：(T2,R2)；其中，T为检测类别，R为检测边框，则
Figure FDA0003594210500000021
所述判断第一检测结果与第二检测结果是否类别相同，即判断T1与T2的值是否相等；
若IOU值大于等于IOU阈值，并且类别相同，则对第一检测结果与第二检测结果取平均值作为最终检测框，同时将最终检测框的置信度设为IOU值；
若IOU值大于等于IOU阈值，但类别不相同，则保留置信度较大的框作为最终检测框，同时最终检测框的置信度设为IOU值；
若IOU值小于IOU阈值，此时认为是两个不同的检测结果，将两个框都保留，并且两个框的置信度都设置为IOU值。
6.如权利要求2所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述半自动标注与难样本挖掘，包括三个部分：
(1)按图像难度系数从高到低对检测结果的图像进行人工标注；
(2)在检测结果的基础上辅助人工进行数据标注，对检测结果图像中的检测框进行删除、增加和调整；
(3)根据图像的标注情况进行难度系数调整：当f≥fT，若没有对检测结果图像进行人工修改，则将图像难度系数调整为1-f；当f＜fT时，若对检测结果图像进行修改，则将图像难度系数调整为1-f，其中，fT难度阈值，根据实际情况进行设置。
7.如权利要求6所述的用于驾驶员行为监测图像的处理方法，其特征在于，所述数据分析与数据增量：包括两个方面：
(1)根据检测结果图像的难度系数加大该图像的数量，公式为：Q＝[f×M]，其中，Q为增加图像的总数量，f为检测结果图像的难度系数，M为根据需要设定的增量倍数；
(2)对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中。
8.一种用于驾驶员行为监测图像的处理装置，其特征在于，使用权利要求1-7任一项所述的用于驾驶员行为监测图像的处理方法，包括：
数据采集模块，用来采集驶员行为图像；
模型训练模块，用于训练模型，并得到第一模型与第二模型；
推理检测模块，使用所述第一模型与第二模型对待标注图像进行目标检测，得到第一检测结果与第二检测结果；
标注与样本挖掘模块，对检测结果进行人工标注，并修改难度系数；
数据增量模块，根据检测结果图像的难度系数加大该图像的数量，或者对于所占比例小于预设定比例阈值的图像，再次进行采集，进而补充到训练模型中；
所述数据采集模块、模型训练模块、推理检测模块、标注与样本挖掘模块以及数据增量模块，依次顺序相连接。
CN202010545376.6A 2020-06-15 2020-06-15 一种用于驾驶员行为监测图像的处理方法及装置 Active CN111814582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010545376.6A CN111814582B (zh) 2020-06-15 2020-06-15 一种用于驾驶员行为监测图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010545376.6A CN111814582B (zh) 2020-06-15 2020-06-15 一种用于驾驶员行为监测图像的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111814582A CN111814582A (zh) 2020-10-23
CN111814582B true CN111814582B (zh) 2022-06-28

Family

ID=72846174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010545376.6A Active CN111814582B (zh) 2020-06-15 2020-06-15 一种用于驾驶员行为监测图像的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111814582B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655457B (zh) * 2021-08-24 2023-11-24 中国电子科技集团公司第十四研究所 一种基于样本挖掘的雷达目标检测能力自进化方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051941A1 (zh) * 2017-09-15 2019-03-21 平安科技（深圳）有限公司 车型识别方法、装置、设备及计算机可读存储介质
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN111191732A (zh) * 2020-01-03 2020-05-22 天津大学 一种基于全自动学习的目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133436A (zh) * 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 一种多重抽样模型训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051941A1 (zh) * 2017-09-15 2019-03-21 平安科技（深圳）有限公司 车型识别方法、装置、设备及计算机可读存储介质
CN109784391A (zh) * 2019-01-04 2019-05-21 杭州比智科技有限公司 基于多模型的样本标注方法及装置
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN111191732A (zh) * 2020-01-03 2020-05-22 天津大学 一种基于全自动学习的目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks;Dongming Yang etc.;《arxiv》;20190819;全文 *
Optimizing Region Selection forWeakly Supervised Object Detection;Wenhui Jiang etc.;《arxiv》;20170805;全文 *

Also Published As

Publication number Publication date
CN111814582A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111444821B (zh) 一种城市道路标志自动识别方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108710865B (zh) 一种基于神经网络的司机异常行为检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN109657552B (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN111611905B (zh) 一种可见光与红外融合的目标识别方法
CN106446896A (zh) 一种字符分割方法、装置及电子设备
CN111652296A (zh) 一种基于深度学习的铁路货车下拉杆折断故障检测方法
CN109472226B (zh) 一种基于深度学习的睡觉行为检测方法
CN111582129A (zh) 一种盾构机司机工作状态实时监测报警方法及装置
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
CN111814582B (zh) 一种用于驾驶员行为监测图像的处理方法及装置
CN112861617A (zh) 一种基于监控图像的边坡灾害识别系统
CN110458023B (zh) 一种道路线检测模型的训练方法、道路线检测方法及装置
CN111163332A (zh) 视频色情度检测方法、终端及介质
TWI360085B (zh)
CN107330470B (zh) 识别图片的方法和装置
CN113362330B (zh) 受电弓羊角实时检测方法、装置、计算机设备及存储介质
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN105160300A (zh) 一种基于水平集分割的文本抽取方法
CN111310607B (zh) 基于计算机视觉和人工智能的公路安全风险识别方法及系统
CN115601558A (zh) 单开道岔状态检测系统及检测方法、半自动数据标注方法
CN114998689A (zh) 一种轨道数据集的生成方法、轨道识别方法和系统
CN113763326A (zh) 一种基于Mask Scoring R-CNN网络的受电弓检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant