CN113139403A - 违规行为识别方法、装置、计算机设备和存储介质 - Google Patents

违规行为识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113139403A
CN113139403A CN202010055450.6A CN202010055450A CN113139403A CN 113139403 A CN113139403 A CN 113139403A CN 202010055450 A CN202010055450 A CN 202010055450A CN 113139403 A CN113139403 A CN 113139403A
Authority
CN
China
Prior art keywords
violation
model
target
target image
illegal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010055450.6A
Other languages
English (en)
Inventor
韩放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010055450.6A priority Critical patent/CN113139403A/zh
Publication of CN113139403A publication Critical patent/CN113139403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请涉及一种违规行为识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别的目标图像；通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。采用本方法能够提高违规行为识别的准确性与效率。

Description

违规行为识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种违规行为识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机视觉技术的发展，基于计算机视觉技术的智能监控广泛应用于各行各业，给人们的生活带来了诸多便捷。以交通监管为例，交通事故的发生主要源于司机的违规行为，由此，对司机的违规行为进行智能监控与识别是值得关注的问题。目前，通常是终端通过服务器根据所采集的监控视频，对用户的违规行为进行智能监控与识别，并针对违规行为进行预警。但是，该种违规行为识别方式，存在识别效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高违规行为识别效率的违规行为识别方法、装置、计算机设备和存储介质。
一种违规行为识别方法，所述方法包括：
获取待识别的目标图像；
通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
在其中一个实施例中，所述已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；所述通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果，包括：
将所述人脸图像输入所述违规行为检测模型进行检测，得到从所述人脸图像中检测出的目标物体；
通过所述违规行为分类模型对所述目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
在其中一个实施例中，所述目标图像有多个；所述当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息，包括：
根据所述违规行为识别结果对相应目标图像进行聚类得到聚类结果；
根据所述聚类结果对相应用户进行违规行为判定；
当判定所述用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练所述违规行为识别模型。
在其中一个实施例中，所述违规行为识别模型通过服务器训练得到；通过所述服务器训练所述违规行为识别模型的步骤，包括：
通过所述服务器获取训练样本集；所述训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；
通过所述服务器将所述样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
在其中一个实施例中，所述待训练的违规行为识别模型的初始化步骤，包括：
通过所述服务器获取待确定的每个超参数对应的取值范围，并根据所述取值范围确定多个超参数组；
通过所述服务器获取目标样本集与测试样本集，并按照每个超参数组根据所述目标样本集进行模型训练，得到相应的候选违规行为识别模型；
通过所述服务器根据所述测试样本集对所述候选违规行为识别模型进行测试，根据测试结果从所述多个超参数组中选取目标超参数组，并根据所述目标超参数组初始化得到待训练的违规行为识别模型。
在其中一个实施例中，所述方法还包括：
获取自身的定位信息；
根据所述定位信息判断自身所处的车辆是否处于运行状态；
当判定所述车辆处于运行状态时，执行所述获取待识别的目标图像的步骤。
一种违规行为识别装置，所述装置包括：
获取模块，用于获取待识别的目标图像；
识别模块，用于通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
所述识别模块，还用于通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
预警模块，用于当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
训练模块，用于当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
在其中一个实施例中，所述目标图像有多个；所述预警模块，还用于对各所述目标图像对应的违规行为识别结果进行聚类得到聚类结果；根据所述聚类结果对相应用户进行违规行为判定；当判定所述用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练所述违规行为识别模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待识别的目标图像；
通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待识别的目标图像；
通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
上述违规行为识别方法、装置、计算机设备和存储介质，通过已训练好的人脸检测模型从待识别的目标图像中提取人脸图像，能够快速而准确地获得从目标图像中剔除无关图像区域后的人脸图像，而通过已训练好的违规行为识别模型对所提取出的人脸图像进行识别，能够快速而准确地得到目标图像对应的违规行为识别结果，以便于基于目标图像的违规行为识别结果识别用户的违规行为时，能够在保证违规行为识别准确性的情况下提高识别效率，这样，针对用户的违规行为能够快速而准确地触发预警信息。进一步地，当满足模型重新训练条件时，根据所识别出的存在违规行为的目标图像重新训练违规行为识别模型，以便于基于重新训练的违规行为识别模型对再次获取到的目标图像进行识别，能够进一步提高违规行为识别准确性，从而能够同时兼顾违规行为识别的准确性与效率。
附图说明
图1为一个实施例中违规行为识别方法的应用环境图；
图2为一个实施例中违规行为识别方法的流程示意图；
图3为一个实施例中基于多个目标图像进行违规行为识别的原理图；
图4为一个实施例中违规行为识别方法的原理图；
图5为另一个实施例中违规行为识别方法的流程示意图；
图6为一个实施例中违规行为识别装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的违规行为识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102获取待识别的目标图像，通过已训练好的人脸检测模型从目标图像中提取人脸图像，并通过已训练好的违规行为识别模型对提取出的人脸图像进行识别，得到违规行为识别结果，当根据所得到的违规行为结果判定用户存在违规行为时，触发预警信息，当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过该重新训练的违规行为识别模型对再次获取到的目标图像进行识别。终端102可通过服务器104训练人脸检测模型与违规行为识别模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和其他智能终端设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种违规行为识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取待识别的目标图像。
其中，目标图像是指待识别违规行为的图像。在一个实施例中，终端采集监控视频，并从所采集的监控视频中提取待识别的目标图像。目标图像可以是监控视频中的视频帧图像。终端可从监控视频中提取一个或多个视频帧图像作为单次违规行为识别流程中的目标图像。单次违规行为识别流程中的多个目标图像可以是监控视频中的连续视频帧图像，也可以是按照预设步长从监控视频中提取的多个视频帧图像。预设步长比如2个视频帧。可以理解，若单次违规行为识别流程中的多个目标图像为监控视频中的连续视频帧图像，则可按照预设周期从监控视频中提取相邻两次违规行为识别流程中的目标图像，预设周期比如2秒。
在一个实施例中，终端将通过摄像头拍摄的图像确定为目标图像。终端通过摄像头按照预设周期定期拍摄图像，可将单次拍摄的图像确定为单次违规行为识别流程中的目标图像，也可将多次拍摄的图像确定为单次违规行为识别流程中的多个目标图像。预设周期比如2秒。
在一个实施例中，目标图像为监控视频中的一帧视频帧图像。由于用户的违规行为通常为一种缓慢发生的行为，该违规行为的完成通常需要几秒钟，因此监控视频中的帧间重复性较高，为了避免计算资源的浪费及对同一违规行为的频繁重复预警，无需针对监控视频中每帧视频帧图像分别进行违规行为识别，由此，终端按照预设步长或预设周期从监控视频中抽取一帧视频帧图像作为待识别的目标图像。
在一个实施例中，为了提高用户违规行为识别与预警的准确性，在单次违规行为识别流程中，可从监控视频中选取多帧视频帧图像作为待识别的目标图像。该多帧视频帧图像可以是连续的视频帧图像，也可以是按照预设步长或预设周期选取的视频帧图像。
S204，通过已训练好的人脸检测模型从目标图像中提取人脸图像。
其中，已训练好的人脸检测模型是根据预先获取的训练样本集训练得到的、能够用于从目标图像中提取人脸图像的模型。
具体地，终端本地预配置有已训练好的人脸检测模型，在获取到待识别的目标图像后，将所获取到的目标图像输入该人脸检测模型，通过该人脸检测模型从目标图像中提取人脸图像。
在一个实施例中，终端通过服务器训练人脸检测模型，并将已训练好的人脸检测模型预配置在本地。具体地，服务器获取包括样本图像与从样本图像中提取出的样本人脸图像的训练样本集，将样本图像作为输入特征，将相应的样本人脸图像作为期望的输出特征进行模型训练，得到已训练好的人脸检测模型，并将该已训练好的人脸检测模型发送至终端。终端将所接收到的人脸检测模型预配置在本地。其中，服务器可基于现有的机器学习算子训练得到轻量级的人脸检测模型，机器学习算子比如深度学习，在此不作具体限定。
在一个实施例中，从目标图像中提取人脸图像可以是指从目标图像中截取人脸图像，也可以是指将目标图像中除人脸图像以外的图像区域内的像素值置为预设像素值。预设像素值可以是使得该图像区域显示纯黑或纯白的像素值，比如0或255。
在一个实施例中，人脸图像是指包括人脸区域与人脸区域附近的图像区域的预设尺寸的二维图像。预设尺寸是指二维图像的大小或像素点数量。预设尺寸可根据实际情况自定义。这样，人脸图像包括人脸区域与人脸的外扩区域。
在一个实施例中，当目标图像有多个时，通过已训练好的人脸检测模型分别从每个目标图像中提取相应的人脸图像。在一个实施例中，当通过人脸检测模型未从目标图像中提取出人脸图像时，则不会继续执行候选的违规行为识别模型。这样，当待识别的目标图像中未包括人脸图像时，则无需针对该目标图像执行违规行为识别流程，以免浪费不必要的计算资源。
S206，通过已训练好的违规行为识别模型对人脸图像进行识别，得到违规行为识别结果。
其中，违规行为识别模型是根据预先获取的训练样本集训练得到的、能够识别人脸图像中的违规行为的模型。违规行为识别结果是用于表征目标图像中是否存在违规行为的识别结果，具体可包括存在违规行为与不存在违规行为。
具体地，终端本地预配置有已训练好的违规行为识别模型，当从目标图像中提取出人脸图像后，将所提取出的人脸图像输入该违规行为识别模型，通过该违规行为识别模型对该人脸图像进行违规行为识别，得到违规行为识别结果，并将该违规行为识别结果确定为相应目标图像对应的违规行为识别结果。
在一个实施例中，违规行为识别结果中包括违规行为类型，违规行为类型比如抽烟、喝水、打电话与正常等。可以理解，当通过违规行为识别模型判定人脸图像中不存在违规行为时，该违规行为识别模型输出违规行为类型为正常的违规行为识别结果。
在一个实施例中，终端通过服务器训练违规行为识别模型，并将已训练好的违规行为识别模型预配置在本地。
S208，当根据违规行为识别结果判定用户存在违规行为时，触发预警信息。
具体地，终端在得到每个目标图像对应的违规行为识别结果后，根据所得到的违规行为识别结果判定相应用户是否存在违规行为，并在判定用户存在违规行为时，触发预警信息。
在一个实施例中，当目标图像为一个时，若该目标图像对应的违规行为识别结果为存在违规行为，则判定相应用户存在违规行为。当目标图像为多个时，若该多个目标图像中存在违规行为的目标图像数量大于数量阈值，或者，存在违规行为的目标图像占比大于占比阈值，则判定相应用户存在违规行为。数量阈值具体可根据目标图像总数量确定，目标图像占比可自定义，比如70％。
在一个实施例中，用户是指当前通过识别目标图像中的违规行为来监控其违规行为的目标用户，比如司机。
在一个实施例中，终端将触发的预警信息通过声音形式播放给用户，以提示用户规范其操作。当判定用户存在违规行为时，终端可根据违规行为识别结果将存在违规行为的目标图像与相应的违规行为识别结果关联存储。
S210，当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
其中，模型重新训练条件是重新训练违规行为识别模型的判断条件或依据，具体可以是指统计到存在违规行为的目标图像数量大于或等于预设数量阈值，或者，自前一次重新训练违规行为识别模型起达到预设时长。预设数量阈值与预设时长均可自定义，预设数量阈值比如300，预设时长比如3个月。
具体地，当满足模型重新训练条件时，终端获取本地预存储的存在违规行为的目标图像与相应的违规行为识别结果，并将所获取到的存在违规行为的目标图像与相应违规行为识别结果发送至服务器。服务器根据所接收到的目标图像与相应的违规行为识别结果确定新的训练样本集，并根据新的训练样本集重新训练前一次已训练好的违规行为识别模型，得到当次已训练好的违规行为识别模型，并作为重新训练的违规行为模型反馈至终端。终端将本地预配置的违规行为识别模型替换为该重新训练的违规行为识别模型，并在针对再次获取到的目标图像执行违规行为识别流程时，通过该重新训练的违规行为识别模型，对从再次获取到的目标图像中提取出的人脸图像进行识别，以得到准确性更高的违规行为识别结果。
在一个实施例中，通过服务器检测模型重新训练条件，并在满足模型重新训练条件时触发违规行为识别模型的重新训练流程。终端将存在违规行为的目标图像与相应的违规行为识别结果发送至服务器。服务器根据各个终端分别发送的目标图像与相应违规行为识别结果扩充新的训练样本集，并在满足模型重新训练条件时，根据新的训练样本集重新训练违规行为识别模型。
上述违规行为识别方法，通过已训练好的人脸检测模型从待识别的目标图像中提取人脸图像，能够快速而准确地获得从目标图像中剔除无关图像区域后的人脸图像，而通过已训练好的违规行为识别模型对所提取出的人脸图像进行识别，能够快速而准确地得到目标图像对应的违规行为识别结果，以便于基于目标图像的违规行为识别结果识别用户的违规行为时，能够在保证违规行为识别准确性的情况下提高识别效率，这样，针对用户的违规行为能够快速而准确地触发预警信息。进一步地，当满足模型重新训练条件时，根据所识别出的存在违规行为的目标图像重新训练违规行为识别模型，以便于基于重新训练的违规行为识别模型对再次获取到的目标图像进行识别，能够进一步提高违规行为识别准确性，从而能够同时兼顾违规行为识别的准确性与效率。
在一个实施例中，已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；步骤S206包括：将人脸图像输入违规行为检测模型进行检测，得到从人脸图像中检测出的目标物体；通过违规行为分类模型对目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
其中，分类结果用于表征从人脸图像中识别出的目标物体的类型，比如杯子、烟与手机等。
具体地，终端本地预配置有已训练好的违规行为检测模型与违规行为分类模型。当从目标图像中提取出人脸图像后，将该人脸图像输入已训练好的违规行为检测模型，通过该违规行为检测模型对该人脸图像进行目标物体检测。当从人脸图像中检测出目标物体时，将所检测出的目标物体输入已训练好的违规行为分类模型，通过该违规行为分类模型对该目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
在一个实施例中，终端通过违规行为分类模型根据分类结果确定目标图像所对应的违规行为类型，并根据该违规行为类型确定相应的违规行为识别结果。比如，当分类结果为杯子时，则相应目标图像所对应的违规行为类型为喝水，则违规行为识别结果为存在喝水违规行为。
在一个实施例中，当通过违规行为检测模型未从人脸图像中检测出目标物体时，终端则直接判定相应目标图像对应的违规行为识别结果为正常或不存在违规行为。
在一个实施例中，违规行为检测模型是根据预先获取的第一训练样本集训练得到的、能够从人脸图像中检测出目标物体的模型。用于训练违规行为检测模型的机器学习算子比如YOLO，在此不作具体限定。违规行为分类模型是根据预先获取的第二训练样本集训练得到的、能够对目标物体进行分类的模型。用于训练违规行为分类模型的机器学习算子比如决策树，在此不作具体限定。第一训练样本集包括从样本图像中提取出的样本人脸图像，以及从样本人脸图像中检测出的目标物体。第二训练样本集包括从样本人脸图像中检测出的目标物体与相应样本图像所对应的违规行为识别结果。
在一个实施例中，终端通过服务器根据预先获取的训练样本集，对违规行为检测模型与违规行为分类模型进行联合训练。该训练样本集包括从样本图像中提取出的样本人脸图像，以及样本图像对应的违规行为识别结果。
上述实施例中，将违规行为检测模型与违规行为分类模型相结合，根据从目标图像中提取出的人脸图像识别该目标图像中的违规行为，在保证违规行为识别准确性与效率的情况下，能够降低模型运行所需占用的计算资源，从而能够降低对终端的硬件要求。
在一个实施例中，目标图像有多个；步骤S208包括：根据违规行为识别结果对相应目标图像进行聚类得到聚类结果；根据聚类结果对相应用户进行违规行为判定；当判定用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练违规行为识别模型。
具体地，终端针对多个目标图像中的每个目标图像分别确定相应的违规行为识别结果后，根据每个目标图像对应的违规行为识别结果对该多个目标图像进行聚类，得到包括至少一个聚类类别的聚类结果。终端统计每个聚类类别中的目标图像数量，并根据统计的目标图像数量判定相应用户是否存在违规行为。当判定相应用户存在违规行为时，终端触发预警信息，将该预警信息广播至相应用户，并记录该多个目标图像中存在违规行为的目标图像，以及每个存在违规行为的目标图像对应的违规行为识别结果。记录的目标图像与相应的违规行为识别结果，用于在满足模型重新训练条件时，作为新的训练样本重新训练违规行为识别模型，以便于提高重新训练的违规行为识别模型的识别准确性。
在一个实施例中，终端按照违规行为识别结果，将相同违规行为类型的目标图像聚类至同一聚类类别中，并统计每个聚类类别中的目标图像数量，当统计的目标图像数量最多的聚类类别中的目标图像中存在违规行为、且该聚类类别中的目标图像数量的占比大于占比阈值时，则判定相应用户存在违规行为。比如，将违规行为类型为喝水与接电话的目标图像聚类至不同的聚类类别。
在一个实施例中，终端按照违规行为识别结果，将存在违规行为的目标图像与不存在违规行为的目标图像分别聚类至不同的聚类类别，并根据聚类结果分别统计存在违规行为的目标图像数量与不存在违规行为的目标图像数量，当统计的存在违规行为的目标图像数量大于数量阈值时，则判定相应用户存在违规行为。
图3为一个实施例中基于多个目标图像进行违规行为识别的原理图。终端在获取到待识别的目标图像后，将目标图像输入人脸检测模型，以从目标图像中提取人脸图像，将提取出的人脸图像输入违规行为识别模型，以识别得到包括违规行为类型的违规行为识别结果，按照违规行为识别结果对目标图像进行聚类，并根据聚类结果确定用户的违规行为识别结果。如图3所示，违规行为类型包括正常与抽烟，按照违规行为识别结果对目标图像进行聚类，可理解为对多个目标图像各自对应的违规行为类型进行投票统计，并根据投票统计结果确定用户的违规行为识别结果。可以理解，当用户为司机时，待识别的目标图像为司机图像。
上述实施例中，基于多个目标图像对应的违规行为识别结果确定相应用户是否存在违规行为，能够提高违规行为识别的准确性。
在一个实施例中，违规行为识别模型通过服务器训练得到；通过服务器训练违规行为识别模型的步骤，包括：通过服务器获取训练样本集；训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；通过服务器将样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
具体地，终端通过服务器获取包括从样本图像中提取出的样本人脸图像，以及样本人脸图像对应的样本违规行为识别结果的训练样本集，将训练样本集汇总的样本人脸图像作为输入特征，将相应的违规行为识别结果作为期望的输出特征，对通过初始化得到的待训练的违规行为识别模型进行模型训练，直至满足迭代停止条件时，停止迭代训练流程，得到已训练好的违规行为识别模型。
在一个实施例中，服务器获取样本图像，通过已训练好的人脸检测模型从样本图像中提取样本人脸图像，对样本图像或从样本图像中提取出的样本人脸图像进行人工标注，得到样本人脸图像对应的样本违规行为识别结果，进而得到包括样本人脸图像与相应样本违规行为识别结果的训练样本。
在一个实施例中，用于训练人脸检测模型的训练样本集与用于训练违规行为识别模型的训练样本集可以是同一个训练样本集。该训练样本集包括样本图像与从样本图像中提取出的样本人脸图像，以及相应的违规行为识别结果。服务器根据训练样本集中的样本图像与相应样本人脸图像训练得到人脸检测模型，并根据训练样本集中的样本人脸图像与相应违规行为识别模型训练得到违规行为识别模型。可以理解，服务器还可根据训练样本集中的样本图像与相应违规行为识别结果进行联合训练，得到已训练的人脸检测模型与违规行为识别模型。
上述实施例中，借助于服务器训练违规行为识别模型，并通过已训练好的违规行为识别模型在本地进行违规行为识别，这样，在无需额外增加终端的性能要求，通过常规的终端即可快速而准确地进行违规行为识别。
在一个实施例中，待训练的违规行为识别模型的初始化步骤，包括：通过服务器获取待确定的每个超参数对应的取值范围，并根据取值范围确定多个超参数组；通过服务器获取目标样本集与测试样本集，并按照每个超参数组根据目标样本集进行模型训练，得到相应的候选违规行为识别模型；通过服务器根据测试样本集对候选违规行为识别模型进行测试，根据测试结果从多个超参数组中选取目标超参数组，并根据目标超参数组初始化得到待训练的违规行为识别模型。
其中，超参数是在触发模型训练流程之前设定超参数值、而不是通过模型训练确定超参数值的参数。超参数组是由至少一个超参数组成的集合，可理解为一组超参数。超参数组中的超参数个数具体可由相应机器学习算子确定，比如机器学习算子为EfficientNet(一种轻量级分类网络)，相应超参数组可包括网络深度(depth scaling)、网络宽度(widthscaling)与网络输入分辨率(resolution scaling)三个超参数。超参数组中具体可包括一个或多个超参数，以及每个超参数对应的一个超参数值。超参数对应的取值范围是指该超参数对应的超参数值的可能取值范围，比如网络深度的取值范围为[2,19]，取值范围内的每个数值可理解为该超参数的候选超参数值。测试结果用于表征相应候选违规行为识别模型的识别准确性。
具体地，服务器针对机器学习算子对应的每个超参数在本地预配置有相应的取值范围。当需要初始化得到待训练的违规行为识别模型时，服务器根据违规行为识别模型所基于的机器学习算子，确定待确定相应超参数值的超参数，并获取每个超参数对应的取值范围。服务器根据取值范围确定每个超参数对应的一个或多个候选超参数值，并将各超参数对应的候选超参数值进行组合得到多个超参数组。服务器获取目标样本集与测试样本集，并按照每个超参数组与相应机器学习算子根据该目标样本集分别进行模型训练，得到每个超参数组对应的候选违规行为识别模型。服务器根据测试样本集对每个超参数组对应的候选违规行为识别模型进行测试，得到每个超参数组对应的测试结果，根据测试结果从该多个超参数组中选取目标超参数组，并根据目标超参数组与相应机器学习算子进行模型初始化，得到待训练的违规行为识别模型。
在一个实施例中，目标样本集可以是上述用于训练违规行为识别模型的训练样本集的子集，也可以是训练样本集本身，还可以是包括其他训练样本的样本集，在此不做具体限定。
在一个实施例中，测试样本集包括从测试图像中提取出的测试人脸图像与相应的测试违规行为识别结果。根据测试样本集对候选违规行为识别模型进行测试，能够得到包括准确率和/或召回率的测试结果，以便于根据测试结果选取相应候选违规行为识别模型识别效果较优的超参数组作为目标超参数组。
以机器学习算子为EfficientNet为例，由于本申请由终端运行已训练好的违规行为识别模型进行违规行为识别，基于终端的可用计算资源预配置每个超参数对应的取值范围，并按照上述流程基于预配置的取值范围确定最优的目标超参数组，以使得按照目标超参数组训练得到的违规行为识别模型，在不额外增加终端的数据处理压力的情况下，能够提高识别的准确性与效率。
上述实施例中，通过自适应学习选取最优的目标超参数组，以提高违规行为识别模型的准确性。这样，能够降低对终端的硬件资源要求，通过常规性能的终端即可快速而准确地实现违规行为识别，而无需通过性能要求较高的服务器采用复杂的循环神经网络或卷积神经网络，根据监控视频进行违规行为识别，且能够避免因终端与服务器之间的交互延时导致预警信息延时，从而导致原本可以及时规避的事故发生。
在一个实施例中，上述违规行为识别方法还包括：获取自身的定位信息；根据定位信息判断自身所处的车辆是否处于运行状态；当判定车辆处于运行状态时，执行步骤S202。
其中，定位信息具体可以是GPS(Global Positioning System，全球定位系统)信息。
具体地，终端实时获取自身的定位信息，并判断所获取到的定位信息是否存在变化。当判定自身的定位信息存在变化时，终端则判定自身所处的车辆处于运行状态，并在判定自身所处的车辆处于运行状态时，获取待识别的目标图像，并根据所获取到的目标图像执行上述一个或多个实施例中提供的违规行为识别流程。当判定自身的定位信息不存在变化时，终端则继续执行实时获取自身定位信息的步骤。
在一个实施例中，终端在预设时长或预设距离内检测到自身的定位信息发送持续变化时，判定自身所处的车辆处于运行状态。预设时长比如10秒，预设距离比如1米。这样，能够避免因定位误差导致错误触发违规行为识别流程的情况。
上述实施例中，根据定位信息判断车辆的运行状态，并在判定车辆处于运行状态时执行违规行为识别流程，以避免在车辆处于停运状态时错误触发预警信息的情况，能够提高预警的准确性。
图4为一个实施例中违规行为识别方法的原理图。如图4所示，终端获取待识别的目标图像，通过已训练好的人脸检测模型与违规行为识别模型，根据所获取到的目标图像进行违规行为识别，在判定相应用户存在违规行为时，触发违规行为预警，存储存在违规行为的目标图像，以实现违规行为存储，并根据存储的目标图像进行样本扩充。终端通过服务器进行违规行为样本采集，根据采集的违规行为样本重新进行模型训练，得到重新训练的违规行为识别模型，并根据重新训练的违规行为识别模型对终端本地的违规行为识别模型进行模型更新，以便于基于更新的违规行为识别模型对再次获取到的目标图像进行识别。可以理解，终端还可通过服务器对人脸检测模型进行重新训练。这样，终端通过人脸检测模型与违规行为识别模型，能够快速而准确地实现违规行为识别，而无需上传至服务器进行识别，且在判定存在违规行为时能够在本地及时触发预警信息，从而在保证预警准确性的情况下，能够提高预警的效率。
可以理解，终端将存在违规行为的目标图像与相应的违规行为识别结果关联存储，以便于为后续追责提供证据，并为重新训练模型提供样本。根据存在违规行为的目标图像重新训练违规行为识别模型，并进行模型更新，以使得用于识别违规行为的违规行为识别模型的精度越来越高。
如图5所示，在一个实施例中，提供了一种违规行为识别方法，该方法具体包括以下步骤：
S502，获取自身的定位信息。
S504，根据定位信息判断自身所处的车辆是否处于运行状态。
S506，当判定车辆处于运行状态时，获取待识别的目标图像；目标图像有多个。
S508，通过已训练好的人脸检测模型从目标图像中提取人脸图像。
S510，通过已训练好的违规行为识别模型对人脸图像进行识别，得到违规行为识别结果。
S512，根据违规行为识别结果对相应目标图像进行聚类得到聚类结果。
S514，根据聚类结果对相应用户进行违规行为判定。
S516，当判定用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练违规行为识别模型。
S518，当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
应该理解的是，虽然图2与图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2与图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种违规行为识别装置600，包括：获取模块602、识别模块604、预警模块606和训练模块608，其中：
获取模块602，用于获取待识别的目标图像；
识别模块604，用于通过已训练好的人脸检测模型从目标图像中提取人脸图像；
识别模块604，还用于通过已训练好的违规行为识别模型对人脸图像进行识别，得到违规行为识别结果；
预警模块606，用于当根据违规行为识别结果判定用户存在违规行为时，触发预警信息；
训练模块608，用于当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
在一个实施例中，已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；识别模块604，还用于将人脸图像输入违规行为检测模型进行检测，得到从人脸图像中检测出的目标物体；通过违规行为分类模型对目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
在一个实施例中，目标图像有多个；预警模块606，还用于对各目标图像对应的违规行为识别结果进行聚类得到聚类结果；根据聚类结果对相应用户进行违规行为判定；当判定用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练违规行为识别模型。
在一个实施例中，违规行为识别模型通过服务器训练得到；训练模块608，还用于通过服务器获取训练样本集；训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；通过服务器将样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
在一个实施例中，训练模块608，还用于通过服务器获取待确定的每个超参数对应的取值范围，并根据取值范围确定多个超参数组；通过服务器获取目标样本集与测试样本集，并按照每个超参数组根据目标样本集进行模型训练，得到相应的候选违规行为识别模型；通过服务器根据测试样本集对候选违规行为识别模型进行测试，根据测试结果从多个超参数组中选取目标超参数组，并根据目标超参数组初始化得到待训练的违规行为识别模型。
在一个实施例中，获取模块602，还用于获取自身的定位信息；根据定位信息判断自身所处的车辆是否处于运行状态；当判定车辆处于运行状态时，获取待识别的目标图像。
关于违规行为识别装置的具体限定可以参见上文中对于违规行为识别方法的限定，在此不再赘述。上述违规行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种违规行为识别方法。该计算机设备还可包括显示屏，显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待识别的目标图像；通过已训练好的人脸检测模型从目标图像中提取人脸图像；通过已训练好的违规行为识别模型对人脸图像进行识别，得到违规行为识别结果；当根据违规行为识别结果判定用户存在违规行为时，触发预警信息；当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
在一个实施例中，已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；处理器执行计算机程序时还实现以下步骤：将人脸图像输入违规行为检测模型进行检测，得到从人脸图像中检测出的目标物体；通过违规行为分类模型对目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
在一个实施例中，目标图像有多个；处理器执行计算机程序时还实现以下步骤：根据违规行为识别结果对相应目标图像进行聚类得到聚类结果；根据聚类结果对相应用户进行违规行为判定；当判定用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练违规行为识别模型。
在一个实施例中，违规行为识别模型通过服务器训练得到；处理器执行计算机程序时还实现以下步骤：通过服务器获取训练样本集；训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；通过服务器将样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过服务器获取待确定的每个超参数对应的取值范围，并根据取值范围确定多个超参数组；通过服务器获取目标样本集与测试样本集，并按照每个超参数组根据目标样本集进行模型训练，得到相应的候选违规行为识别模型；通过服务器根据测试样本集对候选违规行为识别模型进行测试，根据测试结果从多个超参数组中选取目标超参数组，并根据目标超参数组初始化得到待训练的违规行为识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取自身的定位信息；根据定位信息判断自身所处的车辆是否处于运行状态；当判定车辆处于运行状态时，获取待识别的目标图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别的目标图像；通过已训练好的人脸检测模型从目标图像中提取人脸图像；通过已训练好的违规行为识别模型对人脸图像进行识别，得到违规行为识别结果；当根据违规行为识别结果判定用户存在违规行为时，触发预警信息；当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
在一个实施例中，已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；计算机程序被处理器执行时还实现以下步骤：将人脸图像输入违规行为检测模型进行检测，得到从人脸图像中检测出的目标物体；通过违规行为分类模型对目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
在一个实施例中，目标图像有多个；计算机程序被处理器执行时还实现以下步骤：根据违规行为识别结果对相应目标图像进行聚类得到聚类结果；根据聚类结果对相应用户进行违规行为判定；当判定用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练违规行为识别模型。
在一个实施例中，违规行为识别模型通过服务器训练得到；计算机程序被处理器执行时还实现以下步骤：通过服务器获取训练样本集；训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；通过服务器将样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过服务器获取待确定的每个超参数对应的取值范围，并根据取值范围确定多个超参数组；通过服务器获取目标样本集与测试样本集，并按照每个超参数组根据目标样本集进行模型训练，得到相应的候选违规行为识别模型；通过服务器根据测试样本集对候选违规行为识别模型进行测试，根据测试结果从多个超参数组中选取目标超参数组，并根据目标超参数组初始化得到待训练的违规行为识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取自身的定位信息；根据定位信息判断自身所处的车辆是否处于运行状态；当判定车辆处于运行状态时，获取待识别的目标图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种违规行为识别方法，所述方法包括：
获取待识别的目标图像；
通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
2.根据权利要求1所述的方法，其特征在于，所述已训练好的违规行为识别模型包括：违规行为检测模型与违规行为分类模型；所述通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果，包括：
将所述人脸图像输入所述违规行为检测模型进行检测，得到从所述人脸图像中检测出的目标物体；
通过所述违规行为分类模型对所述目标物体进行分类，并根据分类结果确定相应目标图像所对应的违规行为识别结果。
3.根据权利要求1所述的方法，其特征在于，所述目标图像有多个；所述当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息，包括：
根据所述违规行为识别结果对相应目标图像进行聚类得到聚类结果；
根据所述聚类结果对相应用户进行违规行为判定；
当判定所述用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练所述违规行为识别模型。
4.根据权利要求1所述的方法，其特征在于，所述违规行为识别模型通过服务器训练得到；通过所述服务器训练所述违规行为识别模型的步骤，包括：
通过所述服务器获取训练样本集；所述训练样本集包括从样本图像中提取出的样本人脸图像与相应的样本违规行为识别结果；
通过所述服务器将所述样本人脸图像作为输入特征，将相应的样本违规行为识别结果作为期望的输出特征，对待训练的违规行为识别模型进行模型训练，得到已训练好的违规行为识别模型。
5.根据权利要求4所述的方法，其特征在于，所述待训练的违规行为识别模型的初始化步骤，包括：
通过所述服务器获取待确定的每个超参数对应的取值范围，并根据所述取值范围确定多个超参数组；
通过所述服务器获取目标样本集与测试样本集，并按照每个超参数组根据所述目标样本集进行模型训练，得到相应的候选违规行为识别模型；
通过所述服务器根据所述测试样本集对所述候选违规行为识别模型进行测试，根据测试结果从所述多个超参数组中选取目标超参数组，并根据所述目标超参数组初始化得到待训练的违规行为识别模型。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
获取自身的定位信息；
根据所述定位信息判断自身所处的车辆是否处于运行状态；
当判定所述车辆处于运行状态时，执行所述获取待识别的目标图像的步骤。
7.一种违规行为识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别的目标图像；
识别模块，用于通过已训练好的人脸检测模型从所述目标图像中提取人脸图像；
所述识别模块，还用于通过已训练好的违规行为识别模型对所述人脸图像进行识别，得到违规行为识别结果；
预警模块，用于当根据所述违规行为识别结果判定用户存在违规行为时，触发预警信息；
训练模块，用于当满足模型重新训练条件时，根据存在违规行为的目标图像重新训练所述违规行为识别模型，并通过重新训练的违规行为识别模型对再次获取到的目标图像进行识别。
8.根据权利要求7所述的装置，其特征在于，所述目标图像有多个；所述预警模块，还用于对各所述目标图像对应的违规行为识别结果进行聚类得到聚类结果；根据所述聚类结果对相应用户进行违规行为判定；当判定所述用户存在违规行为时，触发预警信息，并记录存在违规行为的目标图像与相应的违规行为识别结果；记录的目标图像与相应违规行为识别结果用于重新训练所述违规行为识别模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010055450.6A 2020-01-17 2020-01-17 违规行为识别方法、装置、计算机设备和存储介质 Pending CN113139403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010055450.6A CN113139403A (zh) 2020-01-17 2020-01-17 违规行为识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010055450.6A CN113139403A (zh) 2020-01-17 2020-01-17 违规行为识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113139403A true CN113139403A (zh) 2021-07-20

Family

ID=76808546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010055450.6A Pending CN113139403A (zh) 2020-01-17 2020-01-17 违规行为识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113139403A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673351A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种行为检测方法、设备以及存储介质
CN113947747A (zh) * 2021-09-02 2022-01-18 武汉未来幻影科技有限公司 一种车辆的监控图像的处理方法、装置以及设备
CN116092199A (zh) * 2023-04-11 2023-05-09 山东易视智能科技有限公司 一种员工工作状态识别方法及识别系统
CN117037502A (zh) * 2023-10-09 2023-11-10 中关村科学城城市大脑股份有限公司 车辆处理信息生成方法、装置、设备和计算机可读介质
CN117151959A (zh) * 2023-10-16 2023-12-01 广东紫慧旭光科技有限公司 一种用于城市管理的实时视频分析方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751663A (zh) * 2015-02-28 2015-07-01 北京壹卡行科技有限公司 驾驶员安全驾驶辅助系统和方法
CN107918764A (zh) * 2017-11-16 2018-04-17 百度在线网络技术（北京）有限公司 信息输出方法和装置
CN109523652A (zh) * 2018-09-29 2019-03-26 百度在线网络技术（北京）有限公司 基于驾驶行为的保险的处理方法、装置、设备及存储介质
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
DE102019107637A1 (de) * 2018-03-27 2019-10-02 GM Global Technology Operations LLC Belegungserfassung als Sicherheitsmerkmal für gemeinschaftlich genutzte autonome Fahrzeuge

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751663A (zh) * 2015-02-28 2015-07-01 北京壹卡行科技有限公司 驾驶员安全驾驶辅助系统和方法
CN107918764A (zh) * 2017-11-16 2018-04-17 百度在线网络技术（北京）有限公司 信息输出方法和装置
DE102019107637A1 (de) * 2018-03-27 2019-10-02 GM Global Technology Operations LLC Belegungserfassung als Sicherheitsmerkmal für gemeinschaftlich genutzte autonome Fahrzeuge
CN109523652A (zh) * 2018-09-29 2019-03-26 百度在线网络技术（北京）有限公司 基于驾驶行为的保险的处理方法、装置、设备及存储介质
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673351A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种行为检测方法、设备以及存储介质
CN113947747A (zh) * 2021-09-02 2022-01-18 武汉未来幻影科技有限公司 一种车辆的监控图像的处理方法、装置以及设备
CN113947747B (zh) * 2021-09-02 2022-08-26 武汉未来幻影科技有限公司 一种车辆的监控图像的处理方法、装置以及设备
CN116092199A (zh) * 2023-04-11 2023-05-09 山东易视智能科技有限公司 一种员工工作状态识别方法及识别系统
CN117037502A (zh) * 2023-10-09 2023-11-10 中关村科学城城市大脑股份有限公司 车辆处理信息生成方法、装置、设备和计算机可读介质
CN117037502B (zh) * 2023-10-09 2023-12-22 中关村科学城城市大脑股份有限公司 车辆处理信息生成方法、装置、设备和计算机可读介质
CN117151959A (zh) * 2023-10-16 2023-12-01 广东紫慧旭光科技有限公司 一种用于城市管理的实时视频分析方法、系统及存储介质
CN117151959B (zh) * 2023-10-16 2024-04-16 广东紫慧旭光科技有限公司 一种用于城市管理的实时视频分析方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN113139403A (zh) 违规行为识别方法、装置、计算机设备和存储介质
US20200250435A1 (en) Activity recognition method and system
US20190228211A1 (en) Au feature recognition method and device, and storage medium
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN110620905A (zh) 视频监控方法、装置、计算机设备和存储介质
CN110490902B (zh) 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN110781859B (zh) 图像标注方法、装置、计算机设备和存储介质
CN109740573B (zh) 视频分析方法、装置、设备及服务器
CN111126208B (zh) 行人归档方法、装置、计算机设备及存储介质
CN112905824A (zh) 目标车辆追踪方法、装置、计算机设备及存储介质
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
CN111539317A (zh) 车辆违规行驶检测方法、装置、计算机设备和存储介质
CN111539358A (zh) 工作状态确定方法、装置、计算机设备和存储介质
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
CN111581436B (zh) 目标识别方法、装置、计算机设备和存储介质
CN111241938A (zh) 基于图像校验的人脸识别方法、装置和计算机设备
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN114764895A (zh) 异常行为检测装置和方法
CN110516559B (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
CN110795980A (zh) 基于网络视频的逃犯识别方法、设备、存储介质及装置
CN111179343B (zh) 目标检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination