CN110516518A - 一种非机动车违法载人检测方法、装置及电子设备 - Google Patents

一种非机动车违法载人检测方法、装置及电子设备 Download PDF

Info

Publication number
CN110516518A
CN110516518A CN201810497089.5A CN201810497089A CN110516518A CN 110516518 A CN110516518 A CN 110516518A CN 201810497089 A CN201810497089 A CN 201810497089A CN 110516518 A CN110516518 A CN 110516518A
Authority
CN
China
Prior art keywords
motor vehicle
region
manned
detection
illegal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810497089.5A
Other languages
English (en)
Inventor
龙传书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810497089.5A priority Critical patent/CN110516518A/zh
Priority to PCT/CN2019/087648 priority patent/WO2019223655A1/zh
Publication of CN110516518A publication Critical patent/CN110516518A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供了一种非机动车违法载人检测方法、装置及电子设备。该非机动车违法载人检测方法包括:获得待检测的目标图像;对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。通过本方案,可以快速有效地检测非机动车是否违法载人。

Description

一种非机动车违法载人检测方法、装置及电子设备
技术领域
本申请涉及智能交通领域,特别涉及一种非机动车违法载人检测方法、装置及电子设备。
背景技术
为了避免挤公交难、挤地铁难、交通拥堵的问题,在短途出行时,人们更倾向于选择非机动车,如:自行车、电瓶车、轻便摩托车、三轮车等。
在道路交通中,由于缺少保护设备,使用非机动车的人们是道路交通参与者中的弱者,他们在参与交通活动时最容易受到伤害。而使用非机动车载人行为更容易使人们受到伤害,据资料统计,目前发生的许多非机动车严重事故都与载人有关。
为了协助监督非机动车违法载人行为,保护人们的出行安全,如何快速有效地检测非机动车是否违法载人,是一个亟待解决的问题。
发明内容
有鉴于此,本申请实施例提供一种非机动车违法载人检测方法、装置及电子设备,以快速有效地检测非机动车是否违法载人。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请实施例提供了一种非机动车违法载人检测方法,包括:
获得待检测的目标图像;
对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
可选地,所述对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的步骤,包括:
基于预设的区域标定信息,从所述待检测图中确定有效检测区域;
对所述有效检测区域进行非机动车检测,得到所述目标图像中的非机动车区域。从待检测图像中的有效区域(感兴趣区域)中提取非机动车区域,以减少后续的计算量以及提高精准度。
可选地,所述对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的步骤,包括:
基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域。
可选地,所述检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
对所述非机动车区域进行区域扩充处理,得到扩充后区域;
检测扩充后区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果。对扩充后的非机动车区域进行违法载人检测,以避免原始的非机动车区域未将全部人员区域包含在内
可选地,所述检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
可选地,所述基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
基于预先训练的载人检测模型,确定所述非机动车区域中的非机动车的违法载人置信度;
基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果。
可选地,所述基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果的步骤,包括:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,确定所述非机动区域所对应的检测结果为合法载人。
可选地,所述基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果的步骤,包括:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,判断所述非机动车区域中人的区域的数量是否大于1,如果是,确定所述非机动车区域所对应的检测结果为违法载人,否则,确定所述非机动车区域所对应的检测结果为合法载人。
可选地,所述检测所述非机动车区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果的步骤之前,所述方法还包括:
获得所述非机动车区域中非机动车的车型类别;
当所述车型类别为预设类别时,确定所述非机动车区域所对应的检测结果为合法载人;其中,所述预设类别为载人合法的类别;
当所述车型类别不为预设类别时,执行所述检测所述非机动车区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果的步骤。
可选地,本申请实施例所提供的非机动车违法载人检测装置还包括:
在所述目标图像中标注所述非机动车区域和所述非机动车区域所对应的检测结果。
第二方面,本申请实施例还提供了一种非机动车违法载人检测装置,包括:
图像获得单元,用于获得待检测的目标图像;
非机动车区域获得单元,用于对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
违法载人检测单元,用于检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
可选地,所述非机动车区域获得单元具体用于:
基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域。
可选地,所述违法载人检测单元具体用于:
基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
可选地,本申请实施例所提供的非机动车违法载人检测装置还包括:
标注单元,用于在所述目标图像中标注所述非机动车区域和所述非机动车区域所对应的检测结果。
第三方面,本申请实施例还提供了一种电子设备,包括:内部总线、存储器、处理器和通信接口;其中,所述处理器、所述通信接口、所述存储器通过所述内部总线完成相互间的通信;其中,所述存储器,用于存储非机动车违法载人检测方法对应的机器可行指令;
所述处理器,用于读取所述存储器上的所述机器可读指令,并执行所述指令以实现本申请实施例所提供的非机动车违法载人检测方法。
本申请实施例所提供的方法中,对所获得的目标图像进行非机动车检测,得到该目标图像中的非机动车区域;检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。可见,本方案先识别非机动车区域再识别非机动车区域中非机动车是否违法载人,使得违法载人的识别具有较好地针对性,因此,可以快速有效地检测非机动车是否违法载人。
附图说明
图1为本申请实施例所提供的一种非机动车违法载人检测方法的流程图;
图2(a)(b)(c)为标注有非机动车区域和非机动车区域所对应的检测结果的界面示意图;
图3为本申请实施例所提供的一种非机动车违法载人检测方法的另一流程图;
图4为本申请实施例所提供的一种非机动车违法载人检测装置的结构示意图;
图5为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了快速有效地检测非机动车是否违法载人,本申请实施例提供了一种非机动车违法载人检测方法、装置及电子设备。
下面首先对本申请实施例所提供的一种非机动车违法载人检测方法进行介绍。
需要说明的是,本申请实施例所提供的一种非机动车违法载人检测方法的执行主体可以为一种非机动车违法载人检测装置。在具体应用中,该非机动车违法载人检测装置可以运行于终端设备或服务器,这都是合理的。为了引用方便,本文后续将“非机动车违法载人检测装置”从名称上简化为“检测装置”进行引用。
另外,所谓的非机动车可以为自行车、电瓶车、轻便摩托车、三轮车等。
如图1所示,本申请实施例所提供的一种非机动车违法载人检测方法可以包括如下步骤:
S101,获得待检测的目标图像。
其中,由于非机动车违法载人检测为辅助道路监控的手段,因此,目标图像可以为道路上所布设的抓拍机所抓拍的图像,或者,道路上所布设的监控摄像头所采集的视频中的视频帧,当然并不局限于此。
S102,对该目标图像进行非机动车检测,得到该目标图像中的非机动车区域。
在获得目标图像后,检测装置可以直接对该目标图像进行非机动车检测,得到该目标图像中的非机动车区域;其中,该非机动车区域为包含非机动车信息的区域。并且,对于一幅目标图像而言,可以检测得到一个非机动车区域,也可以检测得到至少两个非机动车区域,对于每一非机动车区域均可以执行S103的步骤,从而得到每一非机动车区域所对应的检测结果。
可以理解的是,在具体应用中,由于目标图像为关于道路场景的图像,因此,目标图像通常会存在噪声干扰,并且,不同采集设备所采集图像可能有着截然不同的成像特性,如分辨率、尺寸大小等,这些均对检测过程存在一定的影响。因此,为了消除这些影响,该检测装置在获得目标图像后,可以对该目标图像进行图像预处理,然后对经过图像预处理的该目标图像进行非机动车检测。其中,该图像预处理可以包括去噪、直方图均衡化和尺寸归一化中的至少一种,当然并不局限于此。
另外,抓拍机或监控摄像头等采集设备的监控场景中,存在车辆运行的场景区域可以为固定区域,此时,采集设备所采集到图像中,非机动车违法载人检测过程所需的有价值部分为固定部分,举例而言:某一监控摄像头的监控场景包括城市道路以及城市道路两侧的绿化带,存在车辆运行的场景区域为城市道路,因此,该监控摄像头所采集的图像中关于城市道路部分为有价值部分,而关于绿化带部分为无价值部分,且关于城市道路部分在图像中的区域位置是固定的。对于图像中有价值部分为固定部分的情况,为了减小数据计算量以及提高检测准确率,所述对该目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的步骤,可以包括:
基于预设的区域标定信息,从该待检测图中确定有效检测区域;
对该有效检测区域进行非机动车检测,得到该目标图像中的非机动车区域。
其中,设置区别标定信息的方式可以包括如下方式之一:方式一,对于通过监控屏幕实时显示抓拍机或监控摄像头所采集图像的场景,可以通过在监控屏幕上人工划定区域的方式来设置区域标定信息;方式二,通过人工给定坐标信息的方式来设置区域标定信息;方式三,系统自动根据默认值来设置区域标定信息,等等。并且,在具体应用中,图像预处理和有效检测区域的检测过程可以结合使用,从而提高识别有效性。
需要强调的是,可以基于预先训练的非机动车检测模型,对目标图像或有效检测区域进行非机动车检测,得到该目标图像中的非机动车区域,当然并不局限于此。其中,非机动车检测模型的模型类型可以包括但不局限于:CNN(Convolutional Neural Network,卷积神经网络),RNN(Recurrent Neural Networks,循环神经网络)、DNN(Deep NeuralNetwork,深度神经网络),等等。
另外,在具体应用中,在训练非机动车检测模型时,可以将非机动车检测模型训练为:不但可以识别出非机动车区域,而且可以识别出非机动车区域中非机动车的车型类别。对于能够识别车型类别的情况,为了提高检测效率,在S102之后,S103之前,本申请实施例所提供的方法还可以包括:
获得该非机动车区域中非机动车的车型类别;
当该车型类别为预设类别时,确定该非机动车区域所对应的检测结果为合法载人;其中,该预设类别为载人合法的类别;
当该车型类别不为预设类别时,执行S103中所述检测所述非机动车区域中的非机动车是否违法载人,得到该非机动区域所对应的检测结果的步骤。
其中,由于在实际生活中,有棚三轮车载人是合法的,因此,预设类别可以为有棚三轮车,当然并不局限于此。
S103,检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。
在获得非机动车区域后,该检测装置可以直接检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。而考虑到通过S102检测得到的非机动车区域所包含的非机动车可能不完整,或者未能完整地把乘客包含在内,因此,该检测装置可以对该非机动车区域进行扩充处理,从而提高违法载人检测所对应的识别区域的完整性。基于上述需求,在一种具体实现方式中,所述检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果的步骤,可以包括:
对该非机动车区域进行区域扩充处理,得到扩充后区域;
检测扩充后区域中的非机动车是否违法载人,得到该非机动区域所对应的检测结果。
其中,对该非机动车区域进行区域扩充处理所需的扩充率可以根据经验值设定,例如:扩充率可以为10%、15%、20%、25%、30%、40%等等。
需要强调的是,可以基于预先训练的载人检测模型,检测非机动车区域或扩充后区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果,当然并不局限于此,例如:可以通过特定的人体识别算法来识别该非机动区域或扩充后区域中的人的区域的数量,基于所得到的数量,确定该非机动车区域所对应的检测结果。其中,载人检测模型的模型类型可以包括但不局限于:CNN(Convolutional Neural Network,卷积神经网络),RNN(Recurrent Neural Networks,循环神经网络)、DNN(Deep Neural Network,深度神经网络),SVM(Support Vector Machine)等等。其中,SVM指的是支持向量机,是一种判别方法,在机器学习领域,是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析。
另外,在得到非机动车区域所对应的检测结果后,可以在该目标图像中标注该非机动车区域和该非机动车区域所对应的检测结果,以直观地体现出检测结果。其中,具体的标注形式可以包括但不局限于标注框和文字相结合的形式,其中,标注框和文字相结合的形式参见图2(a)、图2(b)和图2(c)所给出的界面示例。
本申请实施例所提供的方法中,对所获得的目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。可见,本方案先识别非机动车区域再识别非机动车区域中非机动车是否违法载人,使得违法载人的识别具有较好地针对性,因此,可以快速有效地检测非机动车是否违法载人。
下面结合具体实施例,对本申请实施例所提供的一种非机动车违法载人检测方法进行详细介绍。
需要说明的是,本申请实施例所提供的一种非机动车违法载人检测方法的执行主体可以为一种非机动车违法载人检测装置。在具体应用中,该非机动车违法载人检测装置可以运行于终端设备或服务器,这都是合理的。为了引用方便,本文后续将“非机动车违法载人检测装置”从名称上简化为“检测装置”进行引用。
另外,所谓的非机动车可以为自行车、电瓶车、轻便摩托车、三轮车等。
如图3所示,本申请实施例所提供的一种非机动车违法载人检测方法可以包括如下步骤:
S201,获得待检测的目标图像。
其中,由于非机动车违法载人检测为辅助道路监控的手段,因此,目标图像可以为道路上所布设的抓拍机所抓拍的图像,或者,道路上所布设的监控摄像头所采集的视频中的视频帧,当然并不局限于此。
S202,基于预先训练的非机动车检测模型,对该目标图像进行非机动车检测,得到该目标图像中的非机动车区域。
在获得该目标图像后,该检测装置可以直接基于预先训练的非机动车检测模型,对该目标图像进行非机动车检测,得到该目标图像中的非机动车区域;其中,该非机动车区域为包含非机动车信息的区域。并且,对于一幅目标图像而言,可以检测得到一个非机动车区域,也可以检测得到至少两个非机动车区域,对于每一非机动车区域均可以执行S203的步骤,从而得到每一非机动车区域所对应的检测结果。
可以理解的是,在该检测装置可以在获得该目标图像后,可以对该目标图像进行图像预处理,然后对经过图像预处理的该目标图像进行非机动车检测,以消除噪声干扰以及不同采集设备所采集图像截然不同的成像特性对于检测过程的影响。其中,该图像预处理可以包括去噪、直方图均衡化和尺寸归一化中的至少一种,当然并不局限于此。另外,对于图像中有价值部分为固定部分的情况,所述基于预先训练的非机动车检测模型,对该目标图像进行非机动车检测,得到该目标图像中的非机动车区域的步骤,可以包括:
基于预设的区域标定信息,从该待检测图中确定有效检测区域;
基于预先训练的非机动车检测模型,对该有效检测区域进行非机动车检测,得到该目标图像中的非机动车区域。
其中,设置区别标定信息的方式可以包括如下方式之一:方式一,对于通过监控屏幕实时显示抓拍机或监控摄像头所采集图像的场景,可以通过在监控屏幕上人工划定区域的方式来设置区域标定信息;方式二,通过人工给定坐标信息的方式来设置区域标定信息;方式三,系统自动根据默认值来设置区域标定信息,等等。并且,在具体应用中,图像预处理和有效检测区域的检测过程可以结合使用,从而提高识别有效性。
需要强调的是,本申请所涉及的非机动车检测模型的模型类型可以包括但不局限于:CNN(Convolutional Neural Network,卷积神经网络),RNN(Recurrent NeuralNetworks,循环神经网络)、DNN(Deep Neural Network,深度神经网络),等等。具体的模型训练过程可以与现有技术中的模型训练过程相同,在此不做赘述。
可以理解的是,可以从闹市区和高速路口等场景监控录像中,提取得到训练非机动车检测模型所利用的图像样本,当然并不局限于此。并且,训练非机动车检测模型所利用的图像样本可以仅仅包括正样本,也可以同时包括正样本和负样本,其中,正样本可以为包含非机动车信息的图像,负样本可以为包含机动车信息的图像和/或不包含机动车和非机动车信息的图像。另外,在非机动车检测模型训练前,可以通过人工方式标定出图像样本中的非机动车区域,即通过矩形框将非机动车区域标出,进而,模型训练程序可以得到所标定出的非机动车区域的坐标信息,并基于坐标信息提取出非机动车区域然后进行模型训练。而由于本申请实施例的目的是检测非机动车是否违法载人,因此,在标定非机动车区域时,可以把驾驶人和乘客均框在非机动车区域中。另外,需要说明的是,在具体应用中,在训练非机动车检测模型时,可以将非机动车检测模型训练为:不但可以识别出非机动车区域,而且可以识别出非机动车区域中非机动车的车型类别。对于能够识别车型类别的情况,为了提高检测效率,在S202之后,S203之前,本申请实施例所提供的方法还可以包括:
获得该非机动车区域中非机动车的车型类别;
当该车型类别为预设类别时,确定该非机动车区域所对应的检测结果为合法载人;其中,该预设类别为载人合法的类别;
当该车型类别不为预设类别时,执行S203。
其中,由于在实际生活中,有棚三轮车载人是合法的,因此,预设类别可以为有棚三轮车,当然并不局限于此。
S203,基于预先训练的载人检测模型,检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。
在获得非机动车区域后,该检测装置可以直接基于预先训练的载人检测模型,检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。而考虑到通过S202检测得到的非机动车区域所包含的非机动车可能不完整,或者未能完整地把乘客包含在内,因此,该检测装置可以对该非机动车区域进行扩充处理,从而提高违法载人检测所对应的识别区域的完整性。基于上述需求,在一种具体实现方式中,所述基于预先训练的载人检测模型,检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果的步骤,可以包括:
对该非机动车区域进行区域扩充处理,得到扩充后区域;
基于预先训练的载人检测模型,检测扩充后区域中的非机动车是否违法载人,得到该非机动区域所对应的检测结果。
其中,对该非机动车区域进行区域扩充处理所需的扩充率可以根据经验值设定,例如:扩充率可以为10%、15%、20%、25%、30%、40%等等。
具体的,所述基于预先训练的载人检测模型,检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果的步骤,可以包括:
基于预先训练的载人检测模型,确定该非机动车区域中的非机动车的违法载人置信度;
基于该违法载人置信度,确定该非机动车区域所对应的检测结果。
其中,基于预先训练的载人检测模型,可以确定出该非机动车区域中的非机动车的违法载人置信度和合法载人置信度。其中,违法载人置信度和合法载人置信度的取值范围为[0,1],当然并不局限于此。
可选地,在一种具体实现方式中,所述基于该违法载人置信度,确定该非机动车区域所对应的检测结果的步骤,可以包括:
判断该违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定该非机动区域所对应的检测结果为违法载人;
当判断结果为否时,确定该非机动区域所对应的检测结果为合法载人。
其中,预设置信度阈值的值可以根据实际情况设定,举例而言:在违法载人置信度和合法载人置信度的取值范围为[0,1]时,预设置信度阈值可以为0.6、0.7、0.8、0.9等等。
可选地,在另一种具体实现方式中,所述基于所述违法载人置信度,确定该非机动车区域所对应的检测结果的步骤,可以包括:
判断该违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定该非机动区域所对应的检测结果为违法载人;
当判断结果为否时,判断该非机动车区域中人的区域的数量是否大于1,如果是,确定该非机动车区域所对应的检测结果为违法载人,否则,确定该非机动车区域所对应的检测结果为合法载人。
其中,可以通过现有技术中特定的人体识别算法识别出该非机动车区域中人的区域的数量。并且,可以理解的是,当判断该非机动车区域中人的区域的数量是否大于1时,表明除了驾驶员还包括其他人,因此,可以确定该非机动车区域所对应的检测结果为违法载人。
另外,需要强调的是,本申请所涉及的载人检测模型的模型类型可以包括但不局限于:CNN(Convolutional Neural Network,卷积神经网络),RNN(Recurrent NeuralNetworks,循环神经网络)、DNN(Deep Neural Network,深度神经网络)、SVM等等。具体的模型训练过程可以与现有技术中的模型训练过程相同,在此不做赘述。
并且,可以通过截图工具,截取上述针对非机动车检测模型的正样本所标定的非机动车区域,然后人工对非机动车区域是否载人进行分类,即给出违法载人置信度和合法载人置信度,基于分类完成的非机动车区域进行载人检测模型的训练。需要说明的是,为了提高容错性,可以将非机动车检测模型的负样本和非机动车检测模型所对应的误检样本作为该载人检测模型的样本,具体的,可以人工给出非机动车检测模型的负样本的违法载人置信度和合法载人置信度,以及人工给出非机动车检测模型所对应的误检样本的违法载人置信度和合法载人置信度,进而将非机动车检测模型的负样本和非机动车检测模型所对应的误检样本用于载人检测模型的训练。
可见,本方案先识别非机动车区域再识别非机动车区域中非机动车是否违法载人,使得违法载人的识别具有较好地针对性,因此,可以快速有效地检测非机动车是否违法载人。
相应于上述方法实施例,本申请实施例还还提供了一种非机动车违法载人检测装置。如图4所示,本申请实施例所提供的一种非机动车违法载人检测装置,可以包括:
图像获得单元410,用于获得待检测的目标图像;
非机动车区域获得单元420,用于对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
违法载人检测单元430,用于检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
本申请实施例所提供的装置,对所获得的目标图像进行非机动车检测,得到该目标图像中的非机动车区域;检测该非机动区域中的非机动车是否违法载人,得到该非机动车区域所对应的检测结果。可见,本方案先识别非机动车区域再识别非机动车区域中非机动车是否违法载人,使得违法载人的识别具有较好地针对性,因此,可以快速有效地检测非机动车是否违法载人。
可选地,所述非机动车区域获得单元420具体用于:
基于预设的区域标定信息,从所述待检测图中确定有效检测区域;
对所述有效检测区域进行非机动车检测,得到所述目标图像中的非机动车区域。
可选地,所述非机动车区域获得单元420具体用于:
基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域。
可选地,所述违法载人检测单元430具体用于:
对所述非机动车区域进行区域扩充处理,得到扩充后区域;
检测扩充后区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果。
可选地,所述违法载人检测单元430具体用于:
基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
可选地,所示违法载人检测单元430基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果,具体为:
基于预先训练的载人检测模型,确定所述非机动车区域中的非机动车的违法载人置信度;
基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果。
可选地,所示违法载人检测单元430基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果,具体为:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,确定所述非机动区域所对应的检测结果为合法载人。
可选地,所示违法载人检测单元430基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果,具体为:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,判断所述非机动车区域中人的区域的数量是否大于1,如果是,确定所述非机动车区域所对应的检测结果为违法载人,否则,确定所述非机动车区域所对应的检测结果为合法载人。
可选地,所述非机动车区域获得单元420具体用于基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的前提下,本申请实施例所提供的装置还可以包括:
车辆类型分析单元,用于获得所述非机动车区域中非机动车的车型类别;当所述车型类别为预设类别时,确定所述非机动车区域所对应的检测结果为合法载人;其中,所述预设类别为载人合法的类别;当所述车型类别不为预设类别时,触发所述违法载人检测单元430。
可选地,本申请实施例所提供的装置,还可以包括:
标注单元,用于在所述目标图像中标注所述非机动车区域和所述非机动车区域所对应的检测结果。
相应于上述方法实施例,本申请实施例还提供了一种电子设备,如图5所示,该电子设备包括:内部总线510、存储器(memory)520、处理器(processor)530和通信接口(Communications Interface)540;其中,所述处理器530、所述通信接口540、所述存储器520通过所述内部总线510完成相互间的通信;
其中,所述存储器520,用于存储非机动车违法载人检测方法对应的机器可行指令;
所述处理器530,用于读取所述存储器520上的所述机器可读指令,并执行所述指令以实现本申请所提供的一种非机动车违法载人检测方法。其中,一种非机动车违法载人检测方法,可以包括:
获得待检测的目标图像;
对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
本实施例中,关于非机动车违法载人检测方法的具体步骤的相关描述可以参见本申请所提供方法实施例中的描述内容,在此不做赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (15)

1.一种非机动车违法载人检测方法,其特征在于,包括:
获得待检测的目标图像;
对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的步骤,包括:
基于预设的区域标定信息,从所述待检测图中确定有效检测区域;
对所述有效检测区域进行非机动车检测,得到所述目标图像中的非机动车区域。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域的步骤,包括:
基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
对所述非机动车区域进行区域扩充处理,得到扩充后区域;
检测扩充后区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
6.根据权利要求5所述的方法,其特征在于,所述基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果的步骤,包括:
基于预先训练的载人检测模型,确定所述非机动车区域中的非机动车的违法载人置信度;
基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果。
7.根据权利要求6所述的方法,其特征在于,所述基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果的步骤,包括:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,确定所述非机动区域所对应的检测结果为合法载人。
8.根据权利要求6所述的方法,其特征在于,所述基于所述违法载人置信度,确定所述非机动车区域所对应的检测结果的步骤,包括:
判断所述违法载人置信度是否大于预设置信度阈值;
当判断结果为是时,确定所述非机动区域所对应的检测结果为违法载人;
当判断结果为否时,判断所述非机动车区域中人的区域的数量是否大于1,如果是,确定所述非机动车区域所对应的检测结果为违法载人,否则,确定所述非机动车区域所对应的检测结果为合法载人。
9.根据权利要求3所述的方法,其特征在于,所述检测所述非机动车区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果的步骤之前,所述方法还包括:
获得所述非机动车区域中非机动车的车型类别;
当所述车型类别为预设类别时,确定所述非机动车区域所对应的检测结果为合法载人;其中,所述预设类别为载人合法的类别;
当所述车型类别不为预设类别时,执行所述检测所述非机动车区域中的非机动车是否违法载人,得到所述非机动区域所对应的检测结果的步骤。
10.根据权利要求1-3任一项所述的方法,其特征在于,还包括:
在所述目标图像中标注所述非机动车区域和所述非机动车区域所对应的检测结果。
11.一种非机动车违法载人检测装置,其特征在于,包括:
图像获得单元,用于获得待检测的目标图像;
非机动车区域获得单元,用于对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域;其中,所述非机动车区域为包含非机动车信息的区域;
违法载人检测单元,用于检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
12.根据权利要求11所述的装置,其特征在于,所述非机动车区域获得单元具体用于:
基于预先训练的非机动车检测模型,对所述目标图像进行非机动车检测,得到所述目标图像中的非机动车区域。
13.根据权利要求11所述的装置,其特征在于,所述违法载人检测单元具体用于:
基于预先训练的载人检测模型,检测所述非机动区域中的非机动车是否违法载人,得到所述非机动车区域所对应的检测结果。
14.根据权利要求11-13任一项所述的装置,其特征在于,还包括:
标注单元,用于在所述目标图像中标注所述非机动车区域和所述非机动车区域所对应的检测结果。
15.一种电子设备,其特征在于,包括:内部总线、存储器、处理器和通信接口;其中,所述处理器、所述通信接口、所述存储器通过所述内部总线完成相互间的通信;其中,所述存储器,用于存储非机动车违法载人检测方法对应的机器可行指令;
所述处理器,用于读取所述存储器上的所述机器可读指令,并执行所述指令以实现权利要求1-10任一项所述的非机动车违法载人检测方法。
CN201810497089.5A 2018-05-22 2018-05-22 一种非机动车违法载人检测方法、装置及电子设备 Pending CN110516518A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810497089.5A CN110516518A (zh) 2018-05-22 2018-05-22 一种非机动车违法载人检测方法、装置及电子设备
PCT/CN2019/087648 WO2019223655A1 (zh) 2018-05-22 2019-05-20 非机动车载人的检测

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810497089.5A CN110516518A (zh) 2018-05-22 2018-05-22 一种非机动车违法载人检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN110516518A true CN110516518A (zh) 2019-11-29

Family

ID=68617125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810497089.5A Pending CN110516518A (zh) 2018-05-22 2018-05-22 一种非机动车违法载人检测方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN110516518A (zh)
WO (1) WO2019223655A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111523388A (zh) * 2020-03-24 2020-08-11 深圳英飞拓科技股份有限公司 非机动车与人关联的方法、装置及终端设备
CN111832519A (zh) * 2020-07-22 2020-10-27 福建易华录信息技术有限公司 一种两/三轮车的违法行为的识别管理方法和系统
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置
CN111914704A (zh) * 2020-07-20 2020-11-10 北京格灵深瞳信息技术有限公司 一种三轮车载人的识别方法、装置、电子设备及存储介质
CN111985295A (zh) * 2020-06-05 2020-11-24 深圳市金溢科技股份有限公司 一种电动自行车行为识别方法、系统、工控机及摄像头
CN112052812A (zh) * 2020-09-14 2020-12-08 贵州黔岸科技有限公司 一种车辆载人识别方法、系统、终端及介质
CN112395976A (zh) * 2020-11-17 2021-02-23 杭州海康威视系统技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质
CN114120250A (zh) * 2021-11-30 2022-03-01 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097108B (zh) * 2019-04-24 2021-03-02 佳都新太科技股份有限公司 非机动车的识别方法、装置、设备及存储介质
CN111275008B (zh) * 2020-02-24 2024-01-16 浙江大华技术股份有限公司 目标车辆异常的检测方法及装置、存储介质、电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942541A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于车载视觉的盲区内电动车自动检测方法
CN104200668A (zh) * 2014-07-28 2014-12-10 四川大学 一种基于图像分析的摩托车不戴头盔违章事件检测方法
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105760847A (zh) * 2016-03-01 2016-07-13 江苏大学 一种对摩托车驾驶员头盔佩戴情况的视觉检测方法
CN107545736A (zh) * 2017-08-30 2018-01-05 顾泰来 一种共享车辆公众监督管理系统
CN107944017A (zh) * 2017-12-11 2018-04-20 浙江捷尚视觉科技股份有限公司 一种视频中非机动车的检索方法
CN108021933A (zh) * 2017-11-23 2018-05-11 深圳市华尊科技股份有限公司 神经网络识别模型及识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093624B (zh) * 2013-01-09 2015-04-15 东南大学 一种信号交叉口非机动车违规过街行为自动判别方法
CN105488453B (zh) * 2015-11-30 2019-03-26 杭州全实鹰科技有限公司 一种基于图像处理的驾驶员未系安全带检测识别方法
CN107226024B (zh) * 2017-04-24 2019-06-21 惠州市凯越电子股份有限公司 一种高精度的车辆视距采集与处理系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942541A (zh) * 2014-04-11 2014-07-23 浙江大学 一种基于车载视觉的盲区内电动车自动检测方法
CN104200668A (zh) * 2014-07-28 2014-12-10 四川大学 一种基于图像分析的摩托车不戴头盔违章事件检测方法
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105760847A (zh) * 2016-03-01 2016-07-13 江苏大学 一种对摩托车驾驶员头盔佩戴情况的视觉检测方法
CN107545736A (zh) * 2017-08-30 2018-01-05 顾泰来 一种共享车辆公众监督管理系统
CN108021933A (zh) * 2017-11-23 2018-05-11 深圳市华尊科技股份有限公司 神经网络识别模型及识别方法
CN107944017A (zh) * 2017-12-11 2018-04-20 浙江捷尚视觉科技股份有限公司 一种视频中非机动车的检索方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111523388A (zh) * 2020-03-24 2020-08-11 深圳英飞拓科技股份有限公司 非机动车与人关联的方法、装置及终端设备
CN111985295A (zh) * 2020-06-05 2020-11-24 深圳市金溢科技股份有限公司 一种电动自行车行为识别方法、系统、工控机及摄像头
CN111898475A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 非机动车的状态估计方法及装置、存储介质、电子装置
CN111914704A (zh) * 2020-07-20 2020-11-10 北京格灵深瞳信息技术有限公司 一种三轮车载人的识别方法、装置、电子设备及存储介质
CN111914704B (zh) * 2020-07-20 2024-03-19 北京格灵深瞳信息技术有限公司 一种三轮车载人的识别方法、装置、电子设备及存储介质
CN111832519A (zh) * 2020-07-22 2020-10-27 福建易华录信息技术有限公司 一种两/三轮车的违法行为的识别管理方法和系统
CN112052812A (zh) * 2020-09-14 2020-12-08 贵州黔岸科技有限公司 一种车辆载人识别方法、系统、终端及介质
CN112395976A (zh) * 2020-11-17 2021-02-23 杭州海康威视系统技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质
CN114120250A (zh) * 2021-11-30 2022-03-01 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法
CN114120250B (zh) * 2021-11-30 2024-04-05 北京文安智能技术股份有限公司 一种基于视频的机动车辆违法载人检测方法

Also Published As

Publication number Publication date
WO2019223655A1 (zh) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110516518A (zh) 一种非机动车违法载人检测方法、装置及电子设备
CN109766755B (zh) 人脸识别方法及相关产品
CN105678267A (zh) 一种场景识别方法及装置
CN106372662A (zh) 安全帽佩戴的检测方法和装置、摄像头、服务器
CN109740424A (zh) 交通违规识别方法及相关产品
CN109671006A (zh) 交通事故处理方法、装置及存储介质
CN107305627A (zh) 一种车辆视频监控方法、服务器及系统
CN106355140B (zh) 车辆检测的方法及装置
CN105740855A (zh) 一种基于深度学习的前后车牌检测识别方法
CN110555347B (zh) 具有危险载货行为的车辆目标识别方法、装置及电子设备
CN107945573A (zh) 车辆停放检测系统
CN109993031A (zh) 一种畜力车目标违章行驶行为检测方法、装置及相机
CN108154472A (zh) 融合导航信息的泊车位视觉检测方法与系统
CN109145843A (zh) 一种卡口高清相机全车信息识别系统及方法
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测系统及方法
CN108229256A (zh) 一种道路施工检测方法及装置
CN110516691A (zh) 一种车辆尾气检测方法和装置
CN112052815A (zh) 一种行为检测方法、装置及电子设备
CN107424150A (zh) 一种基于卷积神经网络的道路破损检测方法及装置
CN109543493A (zh) 一种车道线的检测方法、装置及电子设备
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN107145819A (zh) 一种公交车拥挤度确定方法和装置
CN114248819B (zh) 基于深度学习的铁路侵限异物无人机检测方法、装置及系统
CN110147731A (zh) 车辆类型识别方法及相关产品
CN106205135B (zh) 一种违章掉头车辆行为的检测方法、装置及系统和一种球机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129