CN113553953B - 车辆抛物检测方法、装置、电子装置及可读存储介质 - Google Patents

车辆抛物检测方法、装置、电子装置及可读存储介质 Download PDF

Info

Publication number
CN113553953B
CN113553953B CN202110837539.2A CN202110837539A CN113553953B CN 113553953 B CN113553953 B CN 113553953B CN 202110837539 A CN202110837539 A CN 202110837539A CN 113553953 B CN113553953 B CN 113553953B
Authority
CN
China
Prior art keywords
vehicle
image
parabolic
hand
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110837539.2A
Other languages
English (en)
Other versions
CN113553953A (zh
Inventor
徐剑炯
陈思瑶
毛云青
王国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202110837539.2A priority Critical patent/CN113553953B/zh
Publication of CN113553953A publication Critical patent/CN113553953A/zh
Application granted granted Critical
Publication of CN113553953B publication Critical patent/CN113553953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提出一种车辆抛物检测方法，包括：获取待检测视频图像；对所述待检测视频图像进行车辆检测并截取车辆区域图像；对所述车辆区域图像进行手部检测获取手部区域图像；对所述手部区域图像进行运动目标检测获取运动目标图像；将所述运动目标图像输入抛物判别模型获取判别结果。该方法通过监控视频获取车窗外的待检测视频图像，将所述待检测视频图像依次经过车辆检测、手部检测、运动目标检测及抛物判别检测，判断所述待检测视频图像中是否存在车辆抛物的情况。特别的是，该方法在运动目标检测前加入了手部检测，在检测流程上进行了优化降低了误报率，还优化了抛物判别模型，以便于更加适应现实中不同抛物的尺寸，提高判别结果的准确率。

Description

车辆抛物检测方法、装置、电子装置及可读存储介质
技术领域
本申请涉及人工智能领域，尤其涉及一种车辆抛物检测方法、装置、电子装置及可读存储介质。
背景技术
随着汽车的快速普及，随之而来的各种驾车、乘车陋习也不断出现，例如车辆抛物就是一种不文明且有着巨大危害的行为。车辆抛物不仅会给路面增加垃圾进而导致环境污染，由于车辆抛物通常掉落在路面中心，还会给清洁工人增加工作的危险性，并且由于车速通常很快，扔出的物体也相应具有较快的速度，容易伤及行人或其他车辆，严重的甚至导致交通事故，威胁他人的生命和财产安全。
目前，现有的车辆抛物检测技术较少，更多的是采用人力去发现，但对于车辆抛物这种发生频率并不是特别高的事件，人工发现的成本较高且效率低下。
并且，现有的图像处理方法应用于车辆抛物检测时存在较多问题。一是运动目标检测中误报情况较多，二是在图像处理技术在对目标进行分类时，目标图像通常采用统一尺寸，对于小目标来说会增加识别噪音，对于大目标来说会丢失特征。
发明内容
第一方面，本申请实施例提供了一种车辆抛物检测方法，该方法通过监控视频获取车窗外的待检测视频图像，将所述待检测视频图像依次经过车辆检测、手部检测、运动目标检测及抛物判别检测，判断所述待检测视频图像中是否存在车辆抛物的情况。
具体的，该方法包括：
获取待检测视频图像；
对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
对所述手部区域图像进行运动目标检测获取运动目标图像；
将所述运动目标图像输入抛物判别模型获取判别结果。
具体的，对所述待检测视频图像进行车辆检测获取车辆位置框，放大所述车辆位置框获得车辆区域框，根据所述车辆区域框自所述待检测视频图像中截取车辆区域图像，其中所述车辆位置框标记所述待检测视频图像中出现的车辆位置，所述车辆区域框包括车辆及该车辆周边区域。
对所述车辆区域图像进行手部检测获取手部位置框，将在车辆区域图像检测到的手部位置框映射到待检测视频图像上，放大所述手部位置框获得手部区域框，根据所述手部区域框自待检测视频图像中截取手部区域图像，其中所述手部位置框标记所述车辆区域图像中出现的手部位置，所述手部区域框包括手部及该手部周边区域。
其中，所述抛物判别模型的训练方法包括：
获取目标图像，其中所述目标图像截取自标注有目标位置框的原始图像，根据所述目标位置框截取所述目标图像；
根据所述目标图像的内容对所述目标图像标注尺寸标签，根据所述尺寸标签调整所述目标图像的尺寸获得样本图像，其中所述尺寸标签包括小目标和大目标；
将所述样本图像分为训练数据和验证数据，其中所述训练数据数目大于所述验证数据数目；
将所述训练数据输入所述抛物判别模型进行训练，其中所述小目标数据依次经过至少一个残差模块和第一全连接层，所述大目标数据依次经过至少二个残差模块和第二全连接层，所述第一全连接层和所述第二全连接层分别连接第三全连接层，所述第三全连接层连接损失函数层；
将所述验证数据输入所述抛物判别模型进行预测，获取所述第三全连接层的预测结果；
迭代训练所述抛物判别模型，直到所述损失函数不再下降以及准确率不再上升，停止训练。
其中，所述目标图像包括：抛物图像、路面垃圾图像及负样本图像。
另外，若所述判别结果为存在车辆抛物，该方法可以根据所述车辆区域框、所述手部区域框及所述运动目标位置框获得车辆抛物图像，具体为：合并所述车辆区域框、所述手部区域框及所述运动目标区域框，获取三者的并集，也就是取这几个框的坐标最小的点作为左上角点，取这几个框坐标最大的点作为右下角的点，然后根据三者的并集获取车辆抛物图像。
并且，若所述判别结果为存在车辆抛物，该方法还可以对存在车辆抛物的所述车辆区域图像进行车牌检测，获取对应的车牌号码，具体为：
对存在车辆抛物的所述车辆区域图像进行车牌检测，获取车牌图像；
对所述车牌图像进行车牌识别，获取车牌号码。
特别的是，该方法可以对车载摄像头进行联网，通过车载摄像头监控安装所述车载摄像头车辆前方的其他车辆，并以安装所述车载摄像头的车辆位置信息作为发生车辆抛物地点。
最后可以将所述车辆抛物图像、所述车牌号码及所述车辆抛物地点上传到车辆抛物管理平台，以便于后续的管理和整治。
第二方面，本申请实施例基于相同构思，还提供了一种车辆抛物检测装置，该装置实现上述车辆抛物检测方法，该装置包括：
获取模块，用于获取待检测视频图像；
车辆检测模块：用于对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
手部检测模块：用于对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
运动目标检测模块：用于对所述手部区域图像进行运动目标检测获取运动目标图像；
抛物判别模块：用于将所述运动目标图像输入抛物判别模型获取判别结果。
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以如上任一项所述的一种车辆抛物检测方法。
第四方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括：程序或指令，当所述程序或指令在计算机上运行时，使得所述计算机执行如上任一项所述的一种车辆抛物检测方法。
第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括如上任一项所述的车辆抛物检测方法。
本申请实施例提出的一种车辆抛物检测方法、装置、电子装置及存储介质，该方法通过监控视频获取车辆外部的待检测视频图像，针对手伸出车辆抛物的情况，将所述待检测视频图像依次经过车辆检测、手部检测、运动目标检测及抛物判别检测，为了降低误报率，在进行抛物判别检测前，先进行手部检测，然后将手部位置框放大获取手部区域图像，再针对该手部区域图像进行运动目标检测，并且不是单纯地将所述运动目标认为是车辆抛物，而是对获得的运动目标图像进一步进行抛物判别检测，以最终判断待检测视频图像里的车辆是否存在车辆抛物。
值得一提的是，该方法不仅在检测流程上进行了优化，对抛物判别模型也进行了优化。该抛物判别模型对小目标数据和大目标数据分别统一尺寸，并针对小目标数据和大目标数据进行不同程度的卷积进行特征提取，其中小目标数据需要经过较少的卷积层，而大目标数据需要经过较多的卷积层，再进行后续的分类，能够提取更具有代表性的特征，从而提升分类效果，以便于该抛物检测模型更加适应现实中不同抛物的尺寸，提高判别结果的准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的车辆抛物检测方法的流程图；
图2是根据本申请实施例的车辆抛物检测流程图；
图3是根据本申请实施例的车辆抛物检测装置的结构框图；
图4是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施利一
本实施例提供了一种车辆抛物检测方法，具体而言，该方法通过监控视频获取车窗外的待检测视频图像，将所述待检测视频图像依次经过车辆检测、手部检测、运动目标检测及抛物判别检测，判断所述待检测视频图像中是否存在车辆抛物的情况。
参考图1和图2，图1是根据本申请实施例的车辆抛物检测方法的流程图，图2是根据本申请实施例的车辆抛物检测流程图。
如图1所示，该方法包括步骤S1-S5：
步骤S1：获取待检测视频图像；
步骤S2：对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
步骤S3：对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
步骤S4：对所述手部区域图像进行运动目标检测获取运动目标图像；
步骤S5：将所述运动目标图像输入抛物判别模型获取判别结果。
其中如图2所示，在步骤S2中，对待检测视频图像进行车辆检测是先获取车辆位置框，为了便于检测该车辆上是否有手伸出，再将车辆位置框放大得到车辆区域框，以包括车辆及该车辆周边区域，根据该车辆区域框从该待检测视频图像中裁剪得到车辆区域图像。在本实施例中，将待检测视频图像输入到开源的车辆监测模型进行车辆检测，获取车辆位置框，该车辆位置框包括左上角坐标(x0，y0)、宽w和高h，然后将车辆位置框的宽按照比例rw放大、高按照比例rh放大得到车辆区域框，放大后该车辆区域框包括左上角坐标宽为wrw，高为hrh，其中1<rw<1.5，1<rh<1.5。
同理的，在步骤S3中，对车辆区域图像进行手部检测也是先获取手部位置框，为了便于检测手部周围是否有运动目标，再将手部位置框放大得到手部区域框，以包括手部及该手部周边区域，根据该手部区域框从待检测图像中裁剪测到手部区域图像。在本实施例中，将车辆区域图像输入手部检测模型进行手部检测，获取手部位置框，然后按照上述车辆位置框的放大方法进行放大得到手部区域框。其中，该手部检测模型是通过收集训练集输入到开源的目标监测网络进行训练，反复迭代得到的手部检测模型，训练集来自于：对开源的手势识别数据集进行手部标注和部分车载摄像头拍摄的待检测视频图像进行手部标注。这样做的好处是，针对手伸出车辆外抛物的情况，用手部对判别情况进行过滤，降低误报的概率。
然后再对该手部区域图像进行运动目标检测，在本实施例步骤S4中，使用开源计算机视觉和机器学习软件库OpenCV中基于高斯混合模型的背景前景分割运动目标检测算法对该手部区域图像进行运动目标检测，获得运动目标位置框，然后根据该运动目标位置框截取运动目标图像。
最后，在步骤S5中，将运动目标图像输入到抛物判别模型中获取判别结果。该抛物判别模型需要训练后才能使用，具体的，本实施例中的抛物判别模型的训练方法包括：
获取目标图像，其中所述目标图像截取自标注有目标位置框的原始图像，根据所述目标位置框截取所述目标图像；
根据所述目标图像的内容对所述目标图像标注尺寸标签，根据所述尺寸标签调整所述目标图像的尺寸获得样本图像，其中所述尺寸标签包括小目标和大目标；
将所述样本图像分为训练数据和验证数据，其中所述训练数据数目大于所述验证数据数目；
将所述训练数据输入所述抛物判别模型进行训练，其中所述小目标数据依次经过至少一个残差模块和第一全连接层，所述大目标数据依次经过至少二个残差模块和第二全连接层，所述第一全连接层和所述第二全连接层分别连接第三全连接层，所述第三全连接层连接损失函数层；
将所述验证数据输入所述抛物判别模型进行预测，获取所述第三全连接层的预测结果；
迭代训练所述抛物判别模型，直到所述损失函数不再下降以及准确率不再上升，停止训练。
其中，目标图像包括：抛物图像、路面垃圾图像及负样本图像。
并且原始图像的来源有多种，例如：采集车载摄像头视频数据，获取车载摄像头待检测视频图像，对采集的车载摄像头待检测视频图像进行标注，标注抛物位置，根据标注的抛物位置对车载摄像头待检测视频图像进行裁剪，获取抛物图像，人工判断抛物图像是小目标抛物还是大目标抛物，将小目标抛物图像尺寸统一为Ws×Hs，标注类别标签为small_parabolic,将大目标抛物图像尺寸统一为Wb×Hb，标注类别标签为big_parabolic。
由于车载摄像头拍摄的待检测视频图像包含抛物的图像较少，采用手机对路面垃圾进行拍摄，获取路面垃圾数据集，标注路面垃圾的位置，根据标注的路面垃圾位置对车载摄像头待检测视频图像进行裁剪，获取路面垃圾图像，人工判断抛物图像是小目标抛物还是大目标抛物，例如烟头为小目标抛物，瓶子为大目标抛物，将小目标抛物图像尺寸统一为Ws×Hs，标注类别标签为small_parabolic,将大目标抛物图像尺寸统一为Wb×Hb，标注类别标签为big_parabolic。
并且将上述获取的车载摄像头待检测视频图像输入到开源计算机视觉和机器学习软件库OpenCV中采用基于高斯混合模型的背景前景分割运动目标检测算法进行运动目标检测，获取运动目标图像，对获取的运动目标人工判别是否为抛物目标，若不是抛物目标，则判断为负样本，在待检测视频图像将负样本进行裁剪，获得负样本图像，对负样本图像进行人工判断是小目标还是大目标，将小目标负样本图像尺寸统一为Ws×Hs，标注类别标签为small_background，将大目标负样本图像尺寸统一为Wb×Hb，标注类别标签为big_background。
将上述方法获得的样本图像按照一定比例划分分为训练数据和验证数据，其中训练数据数目大于所述验证数据数目。
然后将训练数据中的图像输入到抛物判别模型进行训练，其中抛物判别模型采用残差网络结构，将小目标数据经过n1个残差模块，再经过第一全连接层提取小目标特征，将大目标数据经过n1个残差模块操作后，再经过n2个残差模块操作，然后经过第二全连接层提取大目标特征。第一全连接层和第二全连接层分别连接第三全连接层，小目标数据或者大目标数据经过第三全连接层获得预测结果。其中，第三连接层中有多个神经元，神经元的个数代表可识别的类别数。并且第三连接层连接损失函数层，在本实施例中的损失函数采用SoftMax损失函数。
将验证数据中的图像输入到该网络进行预测，获取第三全连接层的预测结果，根据验证数据的实际情况和预测结果计算准确率和损失函数。
迭代训练该网络，直到损失函数不在下降，准确率不再上升，则停止训练，获取最终可使用的抛物判别模型。
另外，若所述判别结果为该待检测视频图像中存在车辆抛物，该方法可以根据车辆区域框、手部区域框及运动目标位置框获取车辆抛物图像，具体为：合并所述车辆区域框、所述手部区域框及所述运动目标区域框，获取恰好包括三者合集的外边框作为车辆抛物框，也就是说，车辆抛物框均包括车窗区域框、手部区域框及运动目标位置框，然后根据车辆抛物框从待检测图像中获取车辆抛物图像。
并且，若所述判别结果为该待检测视频图像中存在车辆抛物，该方法还可以对存在车辆抛物的所述车辆区域图像进行车牌检测，获取对应的车牌号码，具体为：
对存在车辆抛物的所述车辆区域图像进行车牌检测，获取车牌图像；
对所述车牌图像进行车牌识别，获取车牌号码。
特别的是，该方法可以对车载摄像头进行联网，通过车载摄像头监控安装所述车载摄像头车辆前方的其他车辆，并以安装所述车载摄像头的车辆位置信息作为发生车辆抛物地点。
最后可以将所述车辆抛物图像、所述车牌号码及所述车辆抛物地点上传到车辆抛物管理平台，以便于后续的管理和整治，完整的车辆抛物流程可以参考图2，图2是根据本申请实施例的车辆抛物检测流程图。
实施例二
基于相同构思，参考图3，本实施例还提供了一种车辆抛物检测装置，该装置实现上述车辆抛物检测方法，该装置包括：
获取模块，用于获取待检测视频图像；
车辆检测模块：用于对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
手部检测模块：用于对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
运动目标检测模块：用于对所述手部区域图像进行运动目标检测获取运动目标图像；
抛物判别模块：用于将所述运动目标图像输入抛物判别模型获取判别结果。
实施例三
本实施例还提供了一种电子装置，具体参考图4，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述实施例中任意一种车辆抛物检测方法的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性(Non-Volatile)存储器。在特定实施例中，存储器304包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器304(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种初始化数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中任意一种车辆抛物检测方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。例如，上述输入输出设备可以是显示屏、鼠标、键盘或其他设备。在本实施例中，输入设备用于输入采集得到的信息，输入的信息可以是数据、表格、图像、实时视频，输出的信息可以是通过业务系统展示的文本、图表以及告警信息等等。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
获取待检测视频图像；
对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
对所述手部区域图像进行运动目标检测获取运动目标图像；
将所述运动目标图像输入抛物判别模型获取判别结果。
另外，结合上述实施例中的任意一种车辆抛物检测方法，本申请实施例可一种计算机程序产品来实现。该计算机程序产品包括：程序或指令，当所述程序或指令在计算机上运行时，使得所述计算机执行实现上述实施例中的任意一种车辆抛物检测方法。
并且，结合上述实施例中的一种任意一种车辆抛物检测方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序；该计算机程序包括用于控制过程以执行过程的程序代码，该过程包括上述实施例中的任意一种车辆抛物检测方法。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (7)

1.车辆抛物检测方法，其特征在于，包括：
获取待检测视频图像；
对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
对所述手部区域图像进行运动目标检测获取运动目标图像；
将所述运动目标图像输入抛物判别模型获取判别结果；所述抛物判别模型的训练方法包括：
获取目标图像，其中所述目标图像截取自标注有目标位置框的原始图像，根据所述目标位置框截取所述目标图像，所述目标图像包括：抛物图像、路面垃圾图像及负样本图像；
根据所述目标图像的内容对所述目标图像标注尺寸标签，根据所述尺寸标签调整所述目标图像的尺寸获得样本图像，其中所述尺寸标签包括小目标和大目标；
将所述样本图像分为训练数据和验证数据，其中所述训练数据数目大于所述验证数据数目；
将所述训练数据输入所述抛物判别模型进行训练，其中所述小目标数据依次经过至少一个残差模块和第一全连接层，所述大目标数据依次经过至少二个残差模块和第二全连接层，所述第一全连接层和所述第二全连接层分别连接第三全连接层，所述第三全连接层连接损失函数层；
将所述验证数据输入所述抛物判别模型进行预测，获取所述第三全连接层的预测结果；
迭代训练所述抛物判别模型，直到所述损失函数不再下降以及准确率不再上升，停止训练。
2.根据权利要求1所述的车辆抛物检测方法，其特征在于，对所述待检测视频图像进行车辆检测获取车辆位置框，放大所述车辆位置框获得车辆区域框，根据所述车辆区域框自所述待检测视频图像中截取所述车辆区域图像，其中所述车辆位置框标记所述待检测视频图像中出现的车辆位置，所述车辆区域框包括车辆及该车辆周边区域。
3.根据权利要求1所述的车辆抛物检测方法，其特征在于，对所述车辆区域图像进行手部检测获取手部位置框，放大所述手部位置框获取手部区域框，根据所述手部区域框自所述待检测视频图像中截取所述手部区域图像，其中所述手部位置框标记所述车辆区域图像中出现的手部位置，所述手部区域框包括手部及该手部周边区域。
4.根据权利要求1所述的车辆抛物检测方法，其特征在于，通过车载摄像头监控安装有所述车载摄像头的车辆前方其他车辆，并以安装有所述车载摄像头的车辆位置作为发生车辆抛物地点。
5.车辆抛物检测装置，其特征在于，包括：
获取模块，用于获取待检测视频图像；
车辆检测模块：用于对所述待检测视频图像进行车辆检测获取车辆区域图像，其中所述车辆区域图像包括车辆及车辆周边区域；
手部检测模块：用于对所述车辆区域图像进行手部检测获取手部区域图像，其中所述手部区域图像包括手部及手部手边区域；
运动目标检测模块：用于对所述手部区域图像进行运动目标检测获取运动目标图像；
抛物判别模块：用于将所述运动目标图像输入抛物判别模型获取判别结果，所述抛物判别模型的训练方法包括：
获取目标图像，其中所述目标图像截取自标注有目标位置框的原始图像，根据所述目标位置框截取所述目标图像，所述目标图像包括：抛物图像、路面垃圾图像及负样本图像；
根据所述目标图像的内容对所述目标图像标注尺寸标签，根据所述尺寸标签调整所述目标图像的尺寸获得样本图像，其中所述尺寸标签包括小目标和大目标；
将所述样本图像分为训练数据和验证数据，其中所述训练数据数目大于所述验证数据数目；
将所述训练数据输入所述抛物判别模型进行训练，其中所述小目标数据依次经过至少一个残差模块和第一全连接层，所述大目标数据依次经过至少二个残差模块和第二全连接层，所述第一全连接层和所述第二全连接层分别连接第三全连接层，所述第三全连接层连接损失函数层；
将所述验证数据输入所述抛物判别模型进行预测，获取所述第三全连接层的预测结果；
迭代训练所述抛物判别模型，直到所述损失函数不再下降以及准确率不再上升，停止训练。
6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到4任一项所述的车辆抛物检测方法。
7.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至4任一项所述的车辆抛物检测方法。
CN202110837539.2A 2021-07-23 2021-07-23 车辆抛物检测方法、装置、电子装置及可读存储介质 Active CN113553953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837539.2A CN113553953B (zh) 2021-07-23 2021-07-23 车辆抛物检测方法、装置、电子装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837539.2A CN113553953B (zh) 2021-07-23 2021-07-23 车辆抛物检测方法、装置、电子装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN113553953A CN113553953A (zh) 2021-10-26
CN113553953B true CN113553953B (zh) 2024-02-06

Family

ID=78104267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837539.2A Active CN113553953B (zh) 2021-07-23 2021-07-23 车辆抛物检测方法、装置、电子装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN113553953B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850241A (zh) * 2021-11-30 2021-12-28 城云科技（中国）有限公司 车窗抛物检测方法、装置及计算机程序产品、电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434657A (zh) * 2020-11-20 2021-03-02 上海眼控科技股份有限公司 飘散运载物检测方法、设备、程序及计算机可读介质
WO2021120867A1 (zh) * 2019-12-19 2021-06-24 深圳云天励飞技术股份有限公司 高空抛物的监测方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120867A1 (zh) * 2019-12-19 2021-06-24 深圳云天励飞技术股份有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN112434657A (zh) * 2020-11-20 2021-03-02 上海眼控科技股份有限公司 飘散运载物检测方法、设备、程序及计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征图的车辆检测和分类;阮航;王立春;;计算机技术与发展(11);全文 *

Also Published As

Publication number Publication date
CN113553953A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Chen et al. Pothole detection using location-aware convolutional neural networks
CN109711264B (zh) 一种公交车道占道检测方法及装置
US20210216792A1 (en) System and method for instance-level lane detection for autonomous vehicle control
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN104361359A (zh) 基于图像检测的车辆识别方法
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
CN110516691A (zh) 一种车辆尾气检测方法和装置
CN113240623A (zh) 一种路面病害检测方法及装置
CN111753592A (zh) 交通标志识别方法、装置、计算机设备和存储介质
CN104239847A (zh) 行车警示方法及车用电子装置
CN109993032B (zh) 一种共享单车目标识别方法、装置及相机
CN113553953B (zh) 车辆抛物检测方法、装置、电子装置及可读存储介质
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
Buza et al. Unsupervised method for detection of high severity distresses on asphalt pavements
CN112307989A (zh) 路面物体识别方法、装置、计算机设备和存储介质
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
US20180268247A1 (en) System and method for detecting change using ontology based saliency
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN115171034A (zh) 道路异物检测方法、场景中异物检测方法及装置
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
Dragaš et al. Development and Implementation of Lane Departure Warning System on ADAS Alpha Board

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant