CN111563494B - 基于目标检测的行为识别方法、装置和计算机设备 - Google Patents

基于目标检测的行为识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN111563494B
CN111563494B CN202010687629.3A CN202010687629A CN111563494B CN 111563494 B CN111563494 B CN 111563494B CN 202010687629 A CN202010687629 A CN 202010687629A CN 111563494 B CN111563494 B CN 111563494B
Authority
CN
China
Prior art keywords
image
behavior
target
driver
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010687629.3A
Other languages
English (en)
Other versions
CN111563494A (zh
Inventor
董菲
于溦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010687629.3A priority Critical patent/CN111563494B/zh
Publication of CN111563494A publication Critical patent/CN111563494A/zh
Application granted granted Critical
Publication of CN111563494B publication Critical patent/CN111563494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请涉及人工智能技术领域，提供一种基于目标检测的行为识别方法、装置和计算机设备，方法包括：获取待处理图像；通过预设的目标检测算法对待处理图像进行车辆检测处理，得到处理后的车辆检测结果；获取预设的EfficientDet目标检测器；对EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及对EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；将车辆检测结果输入至指定目标检测器内，获取指定目标检测器输出的人员检测结果；将驾驶员图像输入至预设的SVM多分类器，以通过SVM多分类器对驾驶员图像进行行为类别识别处理，得到与驾驶员图像对应的行为类别结果。本申请应用于智慧城市中，提高了对于驾驶员行为的识别效率。

Description

基于目标检测的行为识别方法、装置和计算机设备
技术领域
本申请涉及人工智能中的目标检测技术领域，具体涉及一种基于目标检测的行为识别方法、装置和计算机设备。
背景技术
随着机动车数量不断增多，道路交通安全问题日益严重。当驾驶员出现违法打电话、违法未系安全带等一系列违反交通安全法规的不良驾驶行为时，容易危及他人和自身的安全，且大概80％的交通事故是由于驾驶员疏忽大意、不遵守交通规则等人为因素造成的，使得如何通过从车辆监控图像中智能识别出驾驶员行为已成为当前的一个迫切需求。然而，当前主要是依靠人工审核的方式来对车辆监控图像进行分析，并判断驾驶员是否出现违反交通规则的不良驾驶行为，人工审核分析的工作重复枯燥，处理效率低且人力成本高。
发明内容
本申请的主要目的为提供一种基于目标检测的行为识别方法、装置、计算机设备和存储介质，旨在解决现有的识别驾驶员行为的方法主要是依靠人工审核的方式来对车辆监控图像进行分析，并判断驾驶员是否出现违反交通规则的不良驾驶行为，人工审核分析的工作重复枯燥，处理效率低且人力成本高的技术问题。
本申请提出一种基于目标检测的行为识别方法，所述方法包括步骤：
获取待处理图像；
通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
获取预设的EfficientDet目标检测器；
对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
可选地，所述通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果的步骤，包括：
将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
可选地，所述目标检测算法为YOLO算法，所述将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内的步骤之前，包括：
获取包含车辆的样本集，以及获取不包含车辆的背景样本集；
通过积分图从所述样本集与所述背景样本集中提取指定矩形特征；
通过YOLO算法对所述指定矩形特征进行离线训练，得到基于YOLO算法的车辆检测模型。
可选地，所述将所述车辆检测结果输入至预设的指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果的步骤，包括：
将所述目标车辆区域图像输入至所述指定目标检测器内；
通过所述指定目标检测器对所述目标车辆区域图像中驾驶员的位置进行检测，得到对应的位置检测结果，并根据所述位置检测结果，从所述目标车辆区域图像中提取出驾驶员图像；
获取所述指定目标检测器输出的所述驾驶员图像。
可选地，所述将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果的步骤，包括：
根据预设的第一数量的第一SVM分类器以及一对多的分类规则，将所述驾驶员图像分别输入至每一个所述第一SVM分类器内，其中，所述第一数量与行为类别的数量相同；
分别获取每一个所述第一SVM分类器输出的第一结果；
分别计算每一个所述第一结果对应的分类分值；
根据所有所述分类分值，从所有所述第一结果中筛选出分类分值最大的指定结果，并将所述指定结果对应的类别作为分类结果；
将所述分类结果确定为与所述驾驶员图像对应的行为类别结果。
可选地，所述将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果的步骤，包括：
根据预设的第二数量的第二SVM分类器以及一对一的分类规则，将所述驾驶员图像分别输入至每一个所述第二SVM分类器内，其中，任意两个行为类别之间会设计一个第二SVM分类器；
分别获取所述驾驶员图像与每一个所述第二SVM分类器之间对应的得票分数；
根据所有所述得票分数，计算每一个行为类别的得票分数和值；
从所有行为类别中筛选出得票分数和值最大的指定行为类别；
将所述指定行为类别确定为与所述驾驶员图像对应的行为类别结果。
本申请还提供一种基于目标检测的行为识别装置，包括：
第一获取模块，用于获取待处理图像；
第一处理模块，用于通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
第二获取模块，用于获取预设的EfficientDet目标检测器；
扩展模块，用于对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
简化模块，用于对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
输入模块，用于将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
第二处理模块，用于将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
可选地，所述第一处理模块，包括：
第一输入单元，用于将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
划分单元，用于通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
第一确定单元，用于提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请中提供的基于目标检测的行为识别方法、装置、计算机设备和存储介质，具有以下有益效果：
本申请中提供的基于目标检测的行为识别方法、装置、计算机设备和存储介质，获取待处理图像；通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；获取预设的EfficientDet目标检测器；对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。本申请可应用于智慧交通领域中，从而推动智慧城市的建设。本申请通过结合使用指定目标检测器与SVM多分类器，来进行对于待处理图像中的驾驶员图像的行为类别识别判断，可以快速且准确的根据该待驾驶员图像来识别监测出驾驶员是否存在不良驾驶行为，相较于传统的人工审核分析待处理图像的现有方式，有效地提高了对于驾驶员行为的识别效率，节省了人工处理成本，也提高了对于待处理图片的审核效率，在监控识别驾驶员不良驾驶行为、预防交通事故方面具有重要的应用价值。
附图说明
图1是本申请一实施例的基于目标检测的行为识别方法的流程示意图；
图2是本申请一实施例的基于目标检测的行为识别装置的结构示意图；
图3是本申请一实施例的计算机设备的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用于解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
参照图1，本申请一实施例的基于目标检测的行为识别方法，包括：
S1：获取待处理图像；
S2：通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
S3：获取预设的EfficientDet目标检测器；
S4：对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
S5：对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
S6：将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
S7：将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
如上述步骤S1至S7所述，本方法实施例的执行主体为一种基于目标检测的行为识别装置。在实际应用中，该基于目标检测的行为识别装置可以通过虚拟装置，例如软件代码实现，也可以通过写入或集成有相关执行代码的实体装置实现，且可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。本实施例的基于目标检测的行为识别装置可以智能准确地识别出待处理图像中的驾驶员行为，从而可以监测出驾驶员是否存在不良驾驶行为。具体地，首先获取待处理图像。其中，上述待处理图像为待审核处理的驾驶员具有违反交通规则的可能性的车辆监控图像。然后通过预设的目标检测算法对上述待处理图像进行车辆检测处理，得到处理后的车辆检测结果。其中，上述目标检测算法具体可采用YOLO算法。之后获取预设的EfficientDet目标检测器。其中，上述EfficientDet目标检测器具体为一种模型可缩放且高效的目标检测器，提出了一种复合缩放（compound scaling）方法，同时对所有主干网络、特征网络和边界框/类别预测网络的分辨率、深度和宽度执行统一缩放。EfficientDet目标检测器的整体架构大致遵循单阶段检测器范式，通过将在ImageNet数据集上预训练的EfficientNet作为主干网络，将加权双向特征金字塔网络BiFPN（weighted bi-directional feature pyramid network）作为特征网络，接受来自主干网络的level 3-7特征{P3, P4, P5, P6, P7}，并重复应用自上而下和自下而上的双向特征融合。然后将融合后的特征输入边界框/类别预测网络，分别输出目标类别和边界框预测结果。上述BiFPN是将每个双向路径（自上而下和自下而上）作为一个特征网络层，并多次重复同一个层，以实现更高级的特征融合。在得到了上述EfficientDet目标检测器后，再对上述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理。其中，相对于车内的驾驶员的行为对应的抓拍图像，这属于小物体的目标检测，利用网络对物体进行检测时，浅层网络分辨率高，学到的是图片的细节特征，而深层网络分辨率低，学到的更多的是语义特征。因此，为了提高后续对于车辆检测结果，即目标车辆区域图像的精度，可将EfficientDet目标检测器中的多尺度的特征融合level扩展到浅层网络。另外，对上述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理具体是指将BiFPN使用自上而下的路径来融合多尺度特征 level 3-7（P3 - P7）改进为level 1-7（P1- P7），从而能够更好融合浅层网络的细节特征。在对上述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理的同时，还会对上述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，进而得到上述指定目标检测器。其中，对上述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理具体是指在BiFPN Layer模块内的level 2-4（P2- P4）低层的输入和输出节点之间只连一条边，使得level 2-4（P2- P4）低层的输入边和输出边只有一个节点。通过使用对上述EfficientDet目标检测器进行改进处理后得到的指定目标检测器，可以根据输入的车辆检测结果来精准地检测车内人员所处的位置，并准确地输出驾驶员图像，且该指定目标检测器相比于EfficientDet目标检测器，能够更加适用于与驾驶员对应的小目标物体的检测，有效提高了应用于与驾驶员检测对应的小目标物体检测场景的检测精度与检测效率。在得到了上述指定目标检测器后，再将上述车辆检测结果输入至预设的指定目标检测器内，并获取上述指定目标检测器输出的与上述车辆检测结果对应的人员检测结果。其中，上述人员检测结果至少包括驾驶员图像。当接收到上述驾驶员图像时，最后将上述驾驶员图像输入至预设的SVM多分类器，以通过上述SVM多分类器对上述驾驶员图像进行行为类别识别处理，得到与上述驾驶员图像对应的行为类别结果。其中，对于上述SVM多分类器的构造方法不作具体限定，例如可采用一对多法，训练时依次把某个类别的样本归为一类，其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM分类器。分类时将未知样本分类为具有最大分类函数值的那类。或者还可采用一对一法，通过在任意两类样本之间设计一个SVM分类器，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别作为该未知样本的类别。另外，上述行为类别具体可包括佩戴安全带、打电话、抽烟、玩手机、视角未朝前方，等等。本实施例可应用于智慧交通领域中，从而推动智慧城市的建设。本实施例通过结合使用指定目标检测器与SVM多分类器，来进行对于待处理图像中的驾驶员图像的行为类别识别判断，可以快速且准确的根据该待驾驶员图像来识别监测出驾驶员是否存在不良驾驶行为，相较于传统的人工审核分析待处理图像的现有方式，有效地提高了对于驾驶员行为的识别效率，节省了人工处理成本，也提高了对于待处理图片的审核效率，在监控识别驾驶员不良驾驶行为、预防交通事故方面具有重要的应用价值。
进一步地，本申请一实施例中，上述步骤S2，包括：
S200：将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
S201：通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
S202：提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
如上述步骤S200至S202所述，上述通过预设的目标检测算法对上述待处理图像进行车辆检测处理，得到处理后的车辆检测结果的步骤，具体可包括：首先将上述待处理图像输入至与上述目标检测算法对应的预创建的车辆检测模型内。其中，上述目标检测算法具体可为YOLO算法，YOLO的全拼是You Only Look Once，顾名思义就是只看一次，把目标区域预测和目标类别预测合二为一，通过将目标检测任务看作目标区域预测和类别预测的回归问题。YOLO算法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。另外，上述车辆检测模型是根据上述YOLO算法进行训练生成的，且训练生成后的车辆检测模型能够实现对于输入的图像内进行车辆区域与背景区域的划分功能。然后通过上述车辆检测模型对上述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像。最后提取上述目标车辆区域图像，并将上述目标车辆区域图像确定为上述车辆检测结果。本实施例通过使用预创建的与目标检测算法对应的车辆检测模型，能够快速准确地识别出待处理图像中的目标车辆区域图像，有利于后续使用指定目标检测器来从该目标车辆区域图像中精确地提取出对应的驾驶员图像。
进一步地，本申请一实施例中，上述步骤S200之前，包括：
S2000：获取包含车辆的样本集，以及获取不包含车辆的背景样本集；
S2001：通过积分图从所述样本集与所述背景样本集中提取指定矩形特征；
S2002：通过YOLO算法对所述指定矩形特征进行离线训练，得到基于YOLO算法的车辆检测模型。
如上述步骤S2000至S2002所述，在将上述待处理图像输入至与上述目标检测算法对应的预创建的车辆检测模型内的步骤之前，还包括创建上述车辆检测模型的创建过程。具体地，首先获取包含车辆的样本集与不包含车辆的背景样本集。其中，上述样本集与背景样本集均为图像形式的样本数据，上述包含车辆的样本集作为正样本，上述不包含车辆的背景样本集作为负样本，且一般情况下负样本的元素数目大于正样本数目。然后通过积分图从上述样本集与背景样本集中提取出指定矩形特征。其中，上述积分图是一种在图像中快速计算矩形区域和的方法，这种方法的主要优点是一旦积分图首先被计算出来，我们就可以在常量时间内计算图像中任意大小矩形区域的和，这样在图像模糊、边缘提取、对象检测的时候极大降低计算量、提高计算速度。另外，上述指定矩形特征具体可为Haar矩形特征，Haar矩形特征是用于物体识别的一种数字图像特征。Haar矩形特征使用检测窗口中指定位置的相邻矩形，计算每一个矩形的像素和并取度其差值，之后使用这些差值来对图像的子区域进行分类。最后通过YOLO算法对上述指定矩形特征进行离线训练，得到基于YOLO算法的上述车辆检测模型。其中，通过YOLO算法对上述指定矩形特征进行离线训练的训练过程可参照现有的离线训练方式，在此不再赘述。本实施例通过使用YOLO算法来训练生成车辆检测模型，以便后续能够通过该车辆检测模型来快速准确地识别并划分出，待处理图像内的目标车辆区域图像与背景区域图像。
进一步地，本申请一实施例中，上述步骤S6，包括：
S600：将所述目标车辆区域图像输入至所述指定目标检测器内；
S601：通过所述指定目标检测器对所述目标车辆区域图像中驾驶员的位置进行检测，得到对应的位置检测结果，并根据所述位置检测结果，从所述目标车辆区域图像中提取出驾驶员图像；
S602：获取所述指定目标检测器输出的所述驾驶员图像。
如上述步骤S600至S602所述，上述将上述车辆检测结果输入至预设的指定目标检测器内，获取上述指定目标检测器输出的与上述车辆检测结果对应的人员检测结果的步骤，具体可包括：首先将上述目标车辆区域图像输入至上述指定目标检测器内。其中，上述指定目标检测器是通过对预设的EfficientDet目标检测器进行改进处理，具体是对于该EfficientDet目标检测器内的特征融合level进行扩展处理，以及对于该EfficientDet目标检测器内BiFPN Layer模块进行简化处理后生成的。然后通过上述指定目标检测器对上述目标车辆区域图像中驾驶员的位置进行检测，得到对应的位置检测结果。且在得到该位置检测结果后，指定目标检测器会根据上述位置检测结果，从上述目标车辆区域图像中提取出驾驶员图像，以实现快速、高精确度地获取上述待处理图像内的驾驶员图像。其中，当检测出驾驶员的位置时，即得到了与驾驶员对应的位置检测结果后，便可以根据驾驶员在目标车辆区域图像的所处位置来提取出相应的驾驶员图像。最后获取上述指定目标检测器输出的上述驾驶员图像，以便后续能够通过SVM多分类器来对上述驾驶员图像进行行为类别识别处理，进而快速准确地得到与上述驾驶员图像对应的行为类别结果。进一步地，在上述指定目标检测器的训练和优化过程中，如果遇到了驾驶员行为数据类别不均衡的情况，则可采用增加类别权重系数和引入FocalLoss损失函数的方式，以便使得生成的指定目标检测器能够达到最佳效果。
进一步地，本申请一实施例中，上述步骤S7，包括：
S700：根据预设的第一数量的第一SVM分类器以及一对多的分类规则，将所述驾驶员图像分别输入至每一个所述第一SVM分类器内，其中，所述第一数量与行为类别的数量相同；
S701：分别获取每一个所述第一SVM分类器输出的第一结果；
S702：分别计算每一个所述第一结果对应的分类分值；
S703：根据所有所述分类分值，从所有所述第一结果中筛选出分类分值最大的指定结果，并将所述指定结果对应的类别作为分类结果；
S704：将所述分类结果确定为与所述驾驶员图像对应的行为类别结果。
如上述步骤S700至S704所述，上述将上述驾驶员图像输入至预设的SVM多分类器，以通过上述SVM多分类器对上述驾驶员图像进行行为类别识别处理，得到与上述驾驶员图像对应的行为类别结果的步骤，具体可包括：首先根据预设的第一数量的第一SVM分类器以及一对多的分类规则，将上述驾驶员图像分别输入至每一个上述第一SVM分类器内。其中，上述第一数量与行为类别的数量相同。然后分别获取每一个上述第一SVM分类器输出的第一结果。之后根据上述第一结果，分别计算每一个上述第一结果对应的分类分值。在得到了所有上述分类分值后，从所有上述第一结果中筛选出分类分值最大的指定结果，并将上述指定结果对应的类别作为分类结果。最后将上述分类结果确定为与上述驾驶员图像对应的行为类别结果，以实现准确地确定出待处理图片内的驾驶员行为的行为类别，并可根据该行为类别结果来监测出驾驶员是否存在不良驾驶行为，进而可以根据得到的监测结果来有效地预防交通事故。举例地，假设存在3种驾驶员的行为类别，分别作为3类。我们分别做（类1）、（类2）、（类3）共3个SVM分类面（第一SVM分类器），现在有一个驾驶员图像X，将其分别送入3个SVM分类面，假如（类1）的分类数值在所有的SVM分类面中为最大，那么驾驶员图像X就属于类1。进一步地，在使用上述第一SVM分类器确定出与上述驾驶员图像对应的行为类别结果之前，还会包括对于该第一SVM分类器的训练过程。具体地，获取样本数据的行为类别数量；构造与上述行为类别数量相同的多个第一SVM分类器；从上述样本数据中抽取对应的训练集，在构建第i个训练集时，将属于i类别的样本数据标记为正训练集，将不属于i类别的样本数据标记为负训练集，即对每类样本数据以该类行为作为正样本，其他样本数据作为负样本；最后使用上述正训练集与负训练集训练对应的各上述第一SVM分类器，得到各上述第一分类器。举例地，将驾驶员行为类别分为系安全带、玩手机、打电话三类，并按照1、2、3类分别采集样本数据x，及将每类样本数据按照数字1-3进行编号；在从样本数据中抽取训练集时，将经过高斯核函数处理后的一部分数据作为训练数据，每类数据分别标记为一数据集，记为
Figure 491406DEST_PATH_IMAGE002
，k=1，2，3;先将
Figure 80650DEST_PATH_IMAGE004
作为正集，
Figure 263982DEST_PATH_IMAGE006
作为负集，
Figure 268978DEST_PATH_IMAGE008
一同输入到第1个第一SVM分类器进行训练，得到分类超平面
Figure 489875DEST_PATH_IMAGE010
;再将
Figure 718862DEST_PATH_IMAGE012
作为正集，
Figure 392420DEST_PATH_IMAGE014
作为负集，
Figure 797513DEST_PATH_IMAGE016
一同输入到第2个第一SVM分类器中进行训练，得到分类超平面
Figure 872916DEST_PATH_IMAGE018
;最后将
Figure 7225DEST_PATH_IMAGE020
作为正集，
Figure 168079DEST_PATH_IMAGE022
作为负集，
Figure 46036DEST_PATH_IMAGE024
一同输入到第3个第一SVM分类器进行训练，得到分类超平面
Figure 645121DEST_PATH_IMAGE026
;其中，经过三种训练得到的三种训练结果可表示为:
Figure 481490DEST_PATH_IMAGE028
，且，
Figure 129640DEST_PATH_IMAGE030
为分类超平面的斜率
Figure DEST_PATH_IMAGE032
，b为常数；最后在分类时，将三种训练结果中数值最大的对应的第一SVM分类器的类别作为最终的分类结果。
进一步地，本申请一实施例中，上述步骤S7，包括：
S710：根据预设的第二数量的第二SVM分类器以及一对一的分类规则，将所述驾驶员图像分别输入至每一个所述第二SVM分类器内，其中，任意两个行为类别之间会设计一个第二SVM分类器；
S711：分别获取所述驾驶员图像与每一个所述第二SVM分类器之间对应的得票分数；
S712：根据所有所述得票分数，计算每一个行为类别的得票分数和值；
S713：从所有行为类别中筛选出得票分数和值最大的指定行为类别；
S714：将所述指定行为类别确定为与所述驾驶员图像对应的行为类别结果。
如上述步骤S710至S714所述，上述将上述驾驶员图像输入至预设的SVM多分类器，以通过上述SVM多分类器对上述驾驶员图像进行行为类别识别处理，得到与上述驾驶员图像对应的行为类别结果的步骤，具体可包括：首先根据预设的第二数量的第二SVM分类器以及一对一的分类规则，将上述驾驶员图像分别输入至每一个上述第二SVM分类器内。其中，任意两个行为类别之间会设计一个第二SVM分类器，且上述第二数量根据驾驶员的行为类别的类别数量进行确定。然后分别获取上述驾驶员图像与每一个上述第二SVM分类器之间对应的得票分数。之后根据所有上述得票分数，计算每一个行为类别的得票分数和值。在得到了每一个行为类别的得票分数和值后，再从所有行为类别中筛选出得票分数和值最大的指定行为类别。最后将上述指定行为类别确定为与上述驾驶员图像对应的行为类别结果，以实现准确地确定出待处理图片内的驾驶员行为的行为类别，并可根据该行为类别结果来监测出驾驶员是否存在不良驾驶行为，进而可以根据得到的监测结果来有效地预防交通事故。举例地，假设存在6种驾驶员的行为类别，分别作为6类。我们分别做（类1、类2），（类1、类3），…（类5、类6）总共15个SVM分类面（第二SVM分类器），现在有一个驾驶员图像X，将其分别送入15个SVM分类面（第二SVM分类器），假如说，驾驶员图像X在（类1、类2）属于类1，在（类1、类3）中属于类1，在（类1，类4）中属于类一，在（类1、类5）中属于类1，在（类1、类6）中属于类1，那么它属于类1的投票数是5，如果属于其他类别数不大于5时，那么驾驶员图像X就属于类1。进一步地，在使用上述第二SVM分类器确定出与上述驾驶员图像对应的行为类别结果之前，还会包括对于该第二SVM分类器的训练过程。具体地，获取样本数据的类别数量v；根据上述类别数量，在任意两类样品数据之间设计一个第二SVM分类器，即所需的第二SVM分类器数量为
Figure DEST_PATH_IMAGE034
；在构造类别i和类别j的第二SVM分类器时，可以将类别i的训练样本置为1，j的样本置为-1来对所有的数量为
Figure 483392DEST_PATH_IMAGE034
的第二SVM分类器进行训练。举例地，将驾驶员行为分为系安全带、玩手机、打电话三类，并按照a、b、c类分别采集样本数据；根据上述类别数量，在任意两类样品数据之间设计一个第二SVM分类器，以得到3个第二SVM分类器；将a，b作为训练集分别输入至3个第二SVM分类器中进行训练；再将a，c作为训练集分别输入至3个第二SVM分类器中进行训练；最后将b，c作为训练集分别输入至3个第二SVM分类器中进行训练；最后在分类时，计算每一个第二SVM分类器的得票分数，并将得票分数最大的分类器的类别作为最终的分类结果。
进一步地，本申请一实施例中，上述步骤S1之后，包括：
S100：判断所述待处理图像是否存在交通标志；
S101：若判断出所述待处理图像存在交通标志，根据所述交通标志以及预设的交通规则对所述待处理图像中的车辆进行分析，得到分析结果；
S102：根据所述分析结果识别所述车辆是否存在违规行为。
如上述步骤S100至S102所述，除了可以通过对上述待处理图像进行分析来检测出相应的驾驶员行为，还可以进一步在该待处理图像中存在交通标志的情况下，对待处理图像中的车辆是否存在违规行为进行识别。具体地，首先判断上述待处理图像是否存在交通标志。其中，上述交通标志具体可为公交车道专用线、斑马线、道路双黄线等。如果判断出上述待处理图像存在交通标志，根据上述交通标志以及预设的交通规则对上述待处理图像中的车辆进行分析，得到分析结果。其中，上述交通规则为符合车辆正常行驶行为的规则。最后根据上述分析结果识别上述车辆是否存在违规行为，以智能快捷地实现对待处理图像中的车辆的行驶轨迹的分析并确定车辆的行驶轨迹是否合法。其中，上述违规行为包括车辆的违规变道、违规逆行、压黄线、违规占道、违规调头和违规停靠等。
参照图2，本申请一实施例中还提供了一种基于目标检测的行为识别装置，包括：
第一获取模块1，用于获取待处理图像；
第一处理模块2，用于通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
第二获取模块3，用于获取预设的EfficientDet目标检测器；
扩展模块4，用于对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
简化模块5，用于对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
输入模块6，用于将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
第二处理模块7，用于将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
本实施例中，上述基于目标检测的行为识别装置中的第一获取模块、第一处理模块、第二获取模块、扩展模块、简化模块、输入模块与第二处理模块的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S1至S7的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述第一处理模块，包括：
第一输入单元，用于将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
划分单元，用于通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
第一确定单元，用于提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
本实施例中，上述基于目标检测的行为识别装置中的第一输入单元、划分单元与第一确定单元的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S200至S202的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述第一处理模块，包括：
第一获取单元，用于获取包含车辆的样本集，以及获取不包含车辆的背景样本集；
第一提取单元，用于通过积分图从所述样本集与所述背景样本集中提取指定矩形特征；
训练单元，用于通过YOLO算法对所述指定矩形特征进行离线训练，得到基于YOLO算法的车辆检测模型。
本实施例中，上述基于目标检测的行为识别装置中的第一获取单元、第一提取单元与训练单元的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S2000至S2002的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述输入模块，包括：
第二输入单元，用于将所述目标车辆区域图像输入至所述指定目标检测器内；
检测单元，用于通过所述指定目标检测器对所述目标车辆区域图像中驾驶员的位置进行检测，得到对应的位置检测结果，并根据所述位置检测结果，从所述目标车辆区域图像中提取出驾驶员图像；
接收单元，用于获取所述指定目标检测器输出的所述驾驶员图像。
本实施例中，上述基于目标检测的行为识别装置中的第二输入单元、检测单元与接收单元的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S600至S602的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述第二处理模块，包括：
第三输入单元，用于根据预设的第一数量的第一SVM分类器以及一对多的分类规则，将所述驾驶员图像分别输入至每一个所述第一SVM分类器内，其中，所述第一数量与行为类别的数量相同；
第二获取单元，用于分别获取每一个所述第一SVM分类器输出的第一结果；
第一计算单元，用于分别计算每一个所述第一结果对应的分类分值；
第一筛选单元，用于根据所有所述分类分值，从所有所述第一结果中筛选出分类分值最大的指定结果，并将所述指定结果对应的类别作为分类结果；
第二确定单元，用于将所述分类结果确定为与所述驾驶员图像对应的行为类别结果。
本实施例中，上述基于目标检测的行为识别装置中的第三输入单元、第二获取单元、第一计算单元、第一筛选单元与第二确定单元的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S700至S704的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述第二处理模块，包括：
第四输入单元，用于根据预设的第二数量的第二SVM分类器以及一对一的分类规则，将所述驾驶员图像分别输入至每一个所述第二SVM分类器内，其中，任意两个行为类别之间会设计一个第二SVM分类器；
第三获取单元，用于分别获取所述驾驶员图像与每一个所述第二SVM分类器之间对应的得票分数；
第二计算单元，用于根据所有所述得票分数，计算每一个行为类别的得票分数和值；
第二筛选单元，用于从所有行为类别中筛选出得票分数和值最大的指定行为类别；
第三确定单元，用于将所述指定行为类别确定为与所述驾驶员图像对应的行为类别结果。
本实施例中，上述基于目标检测的行为识别装置中的第四输入单元、第三获取单元、第二计算单元、第二筛选单元与第三确定单元的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S710至S714的实现过程，在此不再赘述。
进一步地，本申请一实施例中，上述基于目标检测的行为识别装置，包括：
判断模块，用于判断所述待处理图像是否存在交通标志；
分析模块，用于若判断出所述待处理图像存在交通标志，根据所述交通标志以及预设的交通规则对所述待处理图像中的车辆进行分析，得到分析结果；
识别模块，用于根据所述分析结果识别所述车辆是否存在违规行为。
本实施例中，上述基于目标检测的行为识别装置中的判断模块、分析模块与识别模块的功能和作用的实现过程具体详见上述基于目标检测的行为识别方法中对应步骤S100至S102的实现过程，在此不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理图像、车辆检测结果、驾驶员图像以及行为类别结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于目标检测的行为识别方法。
上述处理器执行上述基于目标检测的行为识别方法的步骤：
获取待处理图像；
通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
获取预设的EfficientDet目标检测器；
对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的装置、计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于目标检测的行为识别方法，具体为：
获取待处理图像；
通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
获取预设的EfficientDet目标检测器；
对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。
综上所述，本申请实施例中提供的基于目标检测的行为识别方法、装置、计算机设备和存储介质，获取待处理图像；通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；获取预设的EfficientDet目标检测器；对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果。本方案可应用于智慧交通领域中，从而推动智慧城市的建设。本申请实施例通过结合使用指定目标检测器与SVM多分类器，来进行对于待处理图像中的驾驶员图像的行为类别识别判断，可以快速且准确的根据该待驾驶员图像来识别监测出驾驶员是否存在不良驾驶行为，相较于传统的人工审核分析待处理图像的现有方式，有效地提高了对于驾驶员行为的识别效率，节省了人工处理成本，也提高了对于待处理图片的审核效率，在监控识别驾驶员不良驾驶行为、预防交通事故方面具有重要的应用价值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于目标检测的行为识别方法，其特征在于，包括：
获取待处理图像；
通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
获取预设的EfficientDet目标检测器；
对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果；
其中，所述对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理的步骤包括：将所述EfficientDet目标检测器内的多尺度的特征融合 level 3-7改进为level 1-7；
所述对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理的步骤包括：在所述BiFPN Layer模块内的level 2-4低层的输入和输出节点之间只连一条边，使得level 2-4低层的输入边和输出边只有一个节点。
2.根据权利要求1所述的基于目标检测的行为识别方法，其特征在于，所述通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果的步骤，包括：
将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
3.根据权利要求2所述的基于目标检测的行为识别方法，其特征在于，所述目标检测算法为YOLO算法，所述将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内的步骤之前，包括：
获取包含车辆的样本集，以及获取不包含车辆的背景样本集；
通过积分图从所述样本集与所述背景样本集中提取指定矩形特征；
通过YOLO算法对所述指定矩形特征进行离线训练，得到基于YOLO算法的车辆检测模型。
4.根据权利要求2所述的基于目标检测的行为识别方法，其特征在于，所述将所述车辆检测结果输入至预设的指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果的步骤，包括：
将所述目标车辆区域图像输入至所述指定目标检测器内；
通过所述指定目标检测器对所述目标车辆区域图像中驾驶员的位置进行检测，得到对应的位置检测结果，并根据所述位置检测结果，从所述目标车辆区域图像中提取出驾驶员图像；
获取所述指定目标检测器输出的所述驾驶员图像。
5.根据权利要求1所述的基于目标检测的行为识别方法，其特征在于，所述将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果的步骤，包括：
根据预设的第一数量的第一SVM分类器以及一对多的分类规则，将所述驾驶员图像分别输入至每一个所述第一SVM分类器内，其中，所述第一数量与行为类别的数量相同；
分别获取每一个所述第一SVM分类器输出的第一结果；
分别计算每一个所述第一结果对应的分类分值；
根据所有所述分类分值，从所有所述第一结果中筛选出分类分值最大的指定结果，并将所述指定结果对应的类别作为分类结果；
将所述分类结果确定为与所述驾驶员图像对应的行为类别结果。
6.根据权利要求1所述的基于目标检测的行为识别方法，其特征在于，所述将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果的步骤，包括：
根据预设的第二数量的第二SVM分类器以及一对一的分类规则，将所述驾驶员图像分别输入至每一个所述第二SVM分类器内，其中，任意两个行为类别之间会设计一个第二SVM分类器；
分别获取所述驾驶员图像与每一个所述第二SVM分类器之间对应的得票分数；
根据所有所述得票分数，计算每一个行为类别的得票分数和值；
从所有行为类别中筛选出得票分数和值最大的指定行为类别；
将所述指定行为类别确定为与所述驾驶员图像对应的行为类别结果。
7.一种基于目标检测的行为识别装置，其特征在于，包括：
第一获取模块，用于获取待处理图像；
第一处理模块，用于通过预设的目标检测算法对所述待处理图像进行车辆检测处理，得到处理后的车辆检测结果；
第二获取模块，用于获取预设的EfficientDet目标检测器；
扩展模块，用于对所述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理；以及，
简化模块，用于对所述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，得到指定目标检测器；
输入模块，用于将所述车辆检测结果输入至所述指定目标检测器内，获取所述指定目标检测器输出的与所述车辆检测结果对应的人员检测结果，其中，所述人员检测结果至少包括驾驶员图像；
第二处理模块，用于将所述驾驶员图像输入至预设的SVM多分类器，以通过所述SVM多分类器对所述驾驶员图像进行行为类别识别处理，得到与所述驾驶员图像对应的行为类别结果；
其中，所述扩展模块，具体用于将所述EfficientDet目标检测器内的多尺度的特征融合 level 3-7改进为level 1-7；
所述简化模块，具体用于在所述BiFPN Layer模块内的level 2-4低层的输入和输出节点之间只连一条边，使得level 2-4低层的输入边和输出边只有一个节点。
8.根据权利要求7所述的基于目标检测的行为识别装置，其特征在于，所述第一处理模块，包括：
第一输入单元，用于将所述待处理图像输入至与所述目标检测算法对应的预创建的车辆检测模型内；
划分单元，用于通过所述车辆检测模型对所述待处理图像进行图像划分处理，得到目标车辆区域图像与背景区域图像；
第一确定单元，用于提取所述目标车辆区域图像，并将所述目标车辆区域图像确定为所述车辆检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010687629.3A 2020-07-16 2020-07-16 基于目标检测的行为识别方法、装置和计算机设备 Active CN111563494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010687629.3A CN111563494B (zh) 2020-07-16 2020-07-16 基于目标检测的行为识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010687629.3A CN111563494B (zh) 2020-07-16 2020-07-16 基于目标检测的行为识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111563494A CN111563494A (zh) 2020-08-21
CN111563494B true CN111563494B (zh) 2020-10-27

Family

ID=72075446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010687629.3A Active CN111563494B (zh) 2020-07-16 2020-07-16 基于目标检测的行为识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111563494B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464701B (zh) * 2020-08-26 2023-06-30 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置
CN112016502B (zh) * 2020-09-04 2023-12-26 平安国际智慧城市科技股份有限公司 安全带检测方法、装置、计算机设备及存储介质
CN112233088B (zh) * 2020-10-14 2021-08-06 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112348776A (zh) * 2020-10-16 2021-02-09 上海布眼人工智能科技有限公司 基于EfficientDet的织物瑕疵检测方法
CN112487862B (zh) * 2020-10-28 2021-07-02 南京云牛智能科技有限公司 基于改进EfficientDet模型的车库行人检测方法
CN112668497B (zh) * 2020-12-30 2022-05-20 南京佑驾科技有限公司 一种车辆精准定位与识别方法及系统
CN112699848B (zh) * 2021-01-15 2022-05-31 上海交通大学 一种针对图像的密集人群的计数方法及系统
CN112926510A (zh) * 2021-03-25 2021-06-08 深圳市商汤科技有限公司 异常驾驶行为识别方法及装置、电子设备和存储介质
CN113158829A (zh) * 2021-03-31 2021-07-23 安徽大学 一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统
CN113421221A (zh) * 2021-05-20 2021-09-21 深圳大学 一种检测早期iPSCs质量的方法、存储介质及装置
CN113361375B (zh) * 2021-06-02 2022-06-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113283409B (zh) * 2021-07-23 2022-02-11 中国人民解放军国防科技大学 基于EfficientDet和Transformer的航空图像中的飞机检测方法
CN113705549B (zh) * 2021-10-29 2022-02-11 中移(上海)信息通信科技有限公司 道路救援工作节点确定方法、装置及相关设备
CN114913202B (zh) * 2022-04-07 2022-11-29 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN117152846B (zh) * 2023-10-30 2024-01-26 云南师范大学 学生行为识别方法、装置、系统及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
CN111223099A (zh) * 2020-04-17 2020-06-02 浙江啄云智能科技有限公司 违禁品检测方法、一种计算设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570444B (zh) * 2015-10-10 2019-04-12 腾讯科技（深圳）有限公司 基于行为识别的车载智能提醒方法及系统
CN109987102A (zh) * 2018-01-03 2019-07-09 田文洪 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置
CN110135327B (zh) * 2019-05-11 2023-04-07 东南大学 一种基于多区域特征学习模型的驾驶员行为识别方法
CN111311918B (zh) * 2020-05-12 2020-09-04 南京云析科技有限公司 一种基于视觉分析的交通管理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
CN111223099A (zh) * 2020-04-17 2020-06-02 浙江啄云智能科技有限公司 违禁品检测方法、一种计算设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Natural Language Processing based Visual Question Answering Efficient: an EfficientDet Approach;Rahul Gupta et al;《the International Conference on Intelligent Computing and Control Systems (ICICCS 2020)》;20200515;第900-904页 *

Also Published As

Publication number Publication date
CN111563494A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563494B (zh) 基于目标检测的行为识别方法、装置和计算机设备
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
Amraee et al. Abnormal event detection in crowded scenes using one-class SVM
US9396548B2 (en) Multi-cue object detection and analysis
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN109711264B (zh) 一种公交车道占道检测方法及装置
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN101364263A (zh) 对图像进行皮肤纹理检测的方法及系统
CN110147707B (zh) 一种高精度车辆识别方法及系统
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN113033604A (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN111539317A (zh) 车辆违规行驶检测方法、装置、计算机设备和存储介质
CN102867183A (zh) 一种车辆遗撒物检测方法、装置及智能交通监控系统
Pavaskar et al. Real-time vehicle-type categorization and character extraction from the license plates
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
de las Heras et al. Notation-invariant patch-based wall detector in architectural floor plans
Ponsa et al. Cascade of classifiers for vehicle detection
Pramanik et al. Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach
CN116052189A (zh) 一种文本识别方法、系统和存储介质
Shaout et al. A smart traffic sign recognition system
CN112766176A (zh) 轻量化卷积神经网络的训练方法及人脸属性识别方法
KR101503398B1 (ko) 이동물체 분류장치 및 분류방법
CN112528893A (zh) 异常状态的识别方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant