CN116994231A - 一种车内遗留物体的确定方法、装置及电子设备 - Google Patents

一种车内遗留物体的确定方法、装置及电子设备 Download PDF

Info

Publication number
CN116994231A
CN116994231A CN202310962840.5A CN202310962840A CN116994231A CN 116994231 A CN116994231 A CN 116994231A CN 202310962840 A CN202310962840 A CN 202310962840A CN 116994231 A CN116994231 A CN 116994231A
Authority
CN
China
Prior art keywords
vehicle
determining
target
recognition model
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310962840.5A
Other languages
English (en)
Inventor
魏献巍
李志刚
陈孝楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Cheliantianxia Information Technology Co ltd
Original Assignee
Wuxi Cheliantianxia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Cheliantianxia Information Technology Co ltd filed Critical Wuxi Cheliantianxia Information Technology Co ltd
Priority to CN202310962840.5A priority Critical patent/CN116994231A/zh
Publication of CN116994231A publication Critical patent/CN116994231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种车内遗留物体的确定方法、装置及电子设备，车内遗留物体的确定方法包括：将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征；将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征；将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征；基于融合特征，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。

Description

一种车内遗留物体的确定方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种车内遗留物体的确定方法、装置及电子设备。
背景技术
随着社会的发展和科技的进步，越来越多的车辆开始使用动驾驶技术，且目前车辆自动驾驶技术已经取得了长足的进步，车辆内部的智能化以及自动化设备也越来越多地得到了应用，但同时，由于车辆的封闭性以及车辆共享带来的使用不规范性等原因，车辆中出现遗留物体等的情况时有发生，甚至可能出现人员伤亡事故，因此，对于车辆内的遗留物体的识别显得尤为重要，然而，现在市面上传统的对于车辆内的遗留物体的识别通常是通过压力传感器的感知来判断，但是压力传感器对于某些物品或情况不敏感，难以做到全面有效的监测，且压力传感器受到温度和湿度等环境因素的影响，也可能影响其准确性和稳定性，需要进行更准确的校准和环境适应，进而导致压力传感器对于车内遗留物体的识别的准确率较低、识别效果较差且识别范围有限。
发明内容
有鉴于此，本申请的目的在于提供一种车内遗留物体的确定方法、装置及电子设备，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
本申请实施例提供了一种车内遗留物体的确定方法，所述车内遗留物体的确定方法包括：
将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征；
将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征；
将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征；
基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
进一步的，所述将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征，包括：
将下采样车内特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征；
根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
进一步的，所述基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体，包括：
根据融合特征和训练好的车内物体识别模型中的全连接层，确定所述融合特征对应的特征类别，其中，所述特征类别包括遗留物体和车内自带物体；
根据所述特征类别，确定目标车辆中是否存在目标遗留物体。
进一步的，所述在基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体之后，所述车内遗留物体的确定方法还包括：
若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
进一步的，通过以下方式确定训练好的车内物体识别模型：
将样本车辆的样本车内图像输入初始车内物体识别模型的下采样卷积层中，确定所述样本车内图像对应的样本下采样车内物体特征；
将所述样本下采样车内特征输入所述初始车内物体识别模型的上采样卷积层中，确定所述样本车内图像对应的样本上采样车内物体特征；
将所述样本下采样车内物体特征和所述样本上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定样本融合特征；
基于所述样本融合特征、所述初始车内物体识别模型中的全连接层以及预设反向传播算法，对所述初始车内物体识别模型进行融合特征训练，确定训练好的车内物体识别模型。
本申请实施例还提供了一种车内遗留物体的确定装置，所述车内遗留物体的确定装置包括：
第一确定模块，用于将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征；
第二确定模块，用于将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征；
第三确定模块，用于将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征；
判断模块，用于基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
进一步的，所述车内遗留物体的确定装置还包括报警模块；
所述报警模块，用于若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
进一步的，所述第二确定模块，具体用于：
将下采样车内特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征；
根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的车内遗留物体的确定方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的车内遗留物体的确定方法的步骤。
本申请实施例提供的车内遗留物体的确定方法、装置即电子设备，与现有技术中的车内遗留物体识别方法相比，本申请提供的实施例通过将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征，并将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征，然后将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征，并基于融合特征和训练好的车内物体识别模型中的全连接层，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种车内遗留物体的确定方法的流程图之一；
图2示出了本申请实施例所提供的一种车内遗留物体的确定方法的流程图之二；
图3示出了本申请实施例所提供的一种车内遗留物体的确定装置的结构框图之一；
图4示出了本申请实施例所提供的一种车内遗留物体的确定装置的结构框图之二；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
图中：
300-车内遗留物体的确定装置；310-第一确定模块；320-第二确定模块；330-第三确定模块；340-判断模块；350-报警模块；500-电子设备；510-处理器；520-存储器；530-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于图像处理技术领域。
经研究发现，随着社会的发展和科技的进步，越来越多的车辆开始使用动驾驶技术，且目前车辆自动驾驶技术已经取得了长足的进步，车辆内部的智能化以及自动化设备也越来越多地得到了应用，但同时，由于车辆的封闭性以及车辆共享带来的使用不规范性等原因，车辆中出现遗留物体等的情况时有发生，甚至可能出现人员伤亡事故，因此，对于车辆内的遗留物体的识别显得尤为重要，然而，现在市面上传统的对于车辆内的遗留物体的识别通常是通过压力传感器的感知来判断，但是压力传感器对于某些物品或情况不敏感，难以做到全面有效的监测，且压力传感器受到温度和湿度等环境因素的影响，也可能影响其准确性和稳定性，需要进行更准确的校准和环境适应，进而导致压力传感器对于车内遗留物体的识别的准确率较低、识别效果较差且识别范围有限。
且随着人工智能技术的不断发展，车辆落锁后车内遗留人、物的检测的应用场景也被广泛关注，针对这种需求，人工智能技术提供了一种有效解决方案。通过将传感器和相机等设备与计算机系统相结合，可以对车辆内物品、人员等进行实时、精准的监测，且这些传感器可以有效地检测车内是否存在人和物，进而触发相应的监控系统，从而保证车内的安全，但是当车内出现非常规形状的物品时，如纸张和衣服等轻质物体时，传感器的监测准确度会受到影响，会产生误报或漏报的情况。
基于此，本申请实施例提供了一种车内遗留物体的确定方法、装置及电子设备，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
请参阅图1，图1为本申请实施例所提供的一种车内遗留物体的确定方法的流程图之一。如图1中所示，本申请实施例提供的车内遗留物体的确定方法，车内遗留物体的确定方法包括以下步骤：
S101、将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征。
该步骤中，本申请提供的实施例中车内遗留物体的确定方法可以根据不同的应用场景适配不同的领域，如车辆自动驾驶、共享汽车以及出租车等领域。
这里，本申请提供的实施例使用多层训练好的车内物体识别模型(多层训练好卷积网络进行堆叠，构建主干网络)可以具体包括27层卷积网络层的，即通过27层卷积网络层进行特征提取，其中，将第3、5、7、15以及25层卷积网络层设置为下采样卷积层，对待检测的目标车辆的目标车内图像进行步长为2的下采样特征提取，使得特征图(目标车内图像)变小，确定目标车内图像对应的下采样车内物体特征。
可选的，通过以下子步骤确定训练好的车内物体识别模型：
子步骤1、将样本车辆的样本车内图像输入初始车内物体识别模型的下采样卷积层中，确定所述样本车内图像对应的样本下采样车内物体特征。
该步骤中，本申请提供的实施例通过以下方式获取样本车辆的样本车内图像：首先在不同时间、不同地点、不同车内的不同位置放置不同数量的手机、背包以及放置不同年龄段的“人”进行样本车辆的样本车内图像的采集，具体的，本申请提供的实施例在一天的早中晚三个时段、地面停车场和地下停车场两种地点以及不同车型(轿车、家用SUV以及商用MPV)的样本车辆内，分别放置4-5种不同的手机壳以及不同款式的背包，同时，邀请0-60不同年龄段的人进行样本车辆的样本车内图像的采集，采样车内物体需要放置在车内的不同位置处，人可以在车内以不同的姿势进行样本采集，在采集后，本申请提供的实施例使用四点标注法对手机进行标注，使用两点的矩形框标注法对人活其他不规则的车内样本物体就行标注。
子步骤2、将所述样本下采样车内特征输入所述初始车内物体识别模型的上采样卷积层中，确定所述样本车内图像对应的样本上采样车内物体特征。
子步骤3、将所述样本下采样车内物体特征和所述样本上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定样本融合特征。
子步骤4、基于所述样本融合特征、所述初始车内物体识别模型中的全连接层以及预设反向传播算法，对所述初始车内物体识别模型进行融合特征训练，确定训练好的车内物体识别模型。
该步骤中，使用预设反向传播算法对训练过程中的初始车内物体识别模型进行优化，同时引入如交叉验证等类似的优化算法，以便提高训练好的车内物体识别模型的准确性和鲁棒性。
S102、将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征。
该步骤中，假设本申请提供的实施例将第5、7、15以及25层卷积网络层使用双线性差值进行上采样(对下采样车内特征进行上采样)，同时在每次上采样完成后，再加入一层卷积层进行特征提取，确定目标车内图像对应的上采样车内物体特征。
可选的，所述步骤S102包括以下子步骤：
子步骤1021、将下采样车内特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征。
该步骤中，将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，对采样车内特征进行双线性的性插值像素扩充，确定目标车内图像对应的预测车内插值特征。
子步骤1022、根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
该步骤中，在下采样车内特征进行双线性的性插值像素扩充后，针对扩充后的下采样车内特征进行一维卷积层的特征提取，确定目标车内图像对应的上采样车内物体特征。
S103、将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征。
该步骤中，本申请提供的实施例中的特征对齐层用于将上采样车内物体特征与第3、5、7以及15层卷积网络层在通道维度上进行连接，并使用特征对齐层进行下采样车内物体特征和所述上采样车内物体特征连接后的再一次的特征提取，获得融合特征。
S104、基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
该步骤中，本申请提供实施例中的全连接层用于对训练好的车内物体识别模型中的输出通道进行整合，具体为确定人、手机以及背包三种类别的目标遗留物体否存在。
可选的，所述步骤S104包括以下子步骤：
子步骤1041、根据融合特征和训练好的车内物体识别模型中的全连接层，确定所述融合特征对应的特征类别，其中，所述特征类别包括遗留物体和车内自带物体。
该步骤中，本申请提供的实施例中的遗留物体可以但不限制于包括手机和背包，车内自带物体车内自带物体人。
这里，将融合特征输入卷积核尺寸为1的全连接层中，使得其通道数变为固定的7个通道，具体表示人、手机和背包三种特征类别。
子步骤1042、根据所述特征类别，确定目标车辆中是否存在目标遗留物体。
该步骤中，本申请提供的实施例还可以确定目标遗留物体的左上角横纵坐标值和右下角横纵坐标值。
本申请实施例提供的车内遗留物体的确定方法，与现有技术中的车内遗留物体的识别方法相比，本申请提供的实施通过将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征，并将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征，然后将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征，并基于融合特征和训练好的车内物体识别模型中的全连接层，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
本申请提供的实施例能够实时监测，而采用压力传感器检测需要等待遗留物品产生足够的重量才能进行监测，这样会有一定的时间延迟；且本申请提供的实施例能够对目标车辆的每一个角落进行全方位的覆盖，不管是在座位下面、后备箱里面以及地毯下面等地方，都能够检测到目标遗留物体，而压力传感器检测的范围较为有限。
请参阅图2，图2为本申请一实施例提供的一种车内遗留物体的确定方法的流程图之二。如图2中所示，本申请实施例提供的车内遗留物体的确定方法，包括以下步骤：
S201、将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征。
S202、将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征。
S203、将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征。
S204、基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
S205、若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
该步骤中，若目标车辆中存在目标遗留物体，则确定目标车辆通过车机系统或车内的声光设备对用户进行报警警告和提醒，进而提高了防范安全风险，有效的防止目标车内财物被盗或者出现安全事件，进而提高了驾驶者的体验感。
其中，S201至S203的描述可以参照S101至S103的描述，并且能达到相同的技术效果，对此不做赘述。
本申请实施例提供的车内遗留物体的确定方法，与现有技术中的车内遗留物体的识别方法相比，本申请提供的实施例通过将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征，并将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征，然后将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征，并基于融合特征和训练好的车内物体识别模型中的全连接层，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
本申请提供的实施例能够实时监测，而采用压力传感器检测需要等待遗留物品产生足够的重量才能进行监测，这样会有一定的时间延迟；且本申请提供的实施例能够对目标车辆的每一个角落进行全方位的覆盖，不管是在座位下面、后备箱里面以及地毯下面等地方，都能够检测到目标遗留物体，而压力传感器检测的范围较为有限。
请参阅图3、图4，图3为本申请实施例所提供的一种车内遗留物体的确定装置的结构框图之一，图4为本申请实施例所提供的一种车内遗留物体的确定装置的结构框图之二。如图3中所示，所述车内遗留物体的确定装置300包括：
第一确定模块310，用于将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征。
可选的，所述第一确定模块310通过以下方式确定训练好的车内物体识别模型：
将样本车辆的样本车内图像输入初始车内物体识别模型的下采样卷积层中，确定所述样本车内图像对应的样本下采样车内物体特征。
将所述样本下采样车内特征输入所述初始车内物体识别模型的上采样卷积层中，确定所述样本车内图像对应的样本上采样车内物体特征。
将所述样本下采样车内物体特征和所述样本上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定样本融合特征。
基于所述样本融合特征、所述初始车内物体识别模型中的全连接层以及预设反向传播算法，对所述初始车内物体识别模型进行融合特征训练，确定训练好的车内物体识别模型。
第二确定模块320，用于将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征。
可选的，第二确定模块320，具体用于：
将下采样车内特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征。
根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
第三确定模块330，用于将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征。
判断模块340，用于基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
可选的，所述判断模块340，具体用于：
根据融合特征和训练好的车内物体识别模型中的全连接层，确定所述融合特征对应的特征类别，其中，所述特征类别包括遗留物体和车内自带物体。
根据所述特征类别，确定目标车辆中是否存在目标遗留物体。
本申请实施例提供的车内遗留物体的确定装置300，与现有技术中的车内遗留物体的确定装置相比，本申请提供的实施例通过将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征，并将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征，然后将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征，并基于融合特征和训练好的车内物体识别模型中的全连接层，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
本申请提供的实施例能够实时监测，而采用压力传感器检测需要等待遗留物品产生足够的重量才能进行监测，这样会有一定的时间延迟；且本申请提供的实施例能够对目标车辆的每一个角落进行全方位的覆盖，不管是在座位下面、后备箱里面以及地毯下面等地方，都能够检测到目标遗留物体，而压力传感器检测的范围较为有限。
进一步的，如图4所示，所述车内遗留物体的确定装置300包括：
第一确定模块310，用于将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征。
第二确定模块320，用于将所述下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征。
第三确定模块330，用于将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征。
判断模块340，用于基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
报警模块350，用于若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
本申请实施例提供的车内遗留物体的确定装置300，与现有技术中的车内遗留物体的确定装置相比，本申请提供的实施例通过将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定目标车内图像对应的下采样车内物体特征，并将下采样车内特征输入训练好的车内物体识别模型的上采样卷积层中，确定目标车内图像对应的上采样车内物体特征，然后将下采样车内物体特征和上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征，并基于融合特征和训练好的车内物体识别模型中的全连接层，确定目标车辆中是否存在目标遗留物体，实现了对目标车辆内目标遗留物体的高效识别，提高了对目标遗留物体识别的准确率和识别效果，且能够准确定位目标遗留物体。
本申请提供的实施例能够实时监测，而采用压力传感器检测需要等待遗留物品产生足够的重量才能进行监测，这样会有一定的时间延迟；且本申请提供的实施例能够对目标车辆的每一个角落进行全方位的覆盖，不管是在座位下面、后备箱里面以及地毯下面等地方，都能够检测到目标遗留物体，而压力传感器检测的范围较为有限。
请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1以及图2所示方法实施例中的车内遗留物体的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的车内遗留物体的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车内遗留物体的确定方法，其特征在于，所述车内遗留物体的确定方法包括：
将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征；
将所述下采样车内物体特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征；
将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征；
基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
2.根据权利要求1所述的车内遗留物体的确定方法，其特征在于，所述将所述下采样车内物体特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征，包括：
将下采样车内物体特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征；
根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
3.根据权利要求1所述的车内遗留物体的确定方法，其特征在于，所述基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体，包括：
根据融合特征和训练好的车内物体识别模型中的全连接层，确定所述融合特征对应的特征类别，其中，所述特征类别包括遗留物体和车内自带物体；
根据所述特征类别，确定目标车辆中是否存在目标遗留物体。
4.根据权利要求1所述的车内遗留物体的确定方法，其特征在于，所述在基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体之后，所述车内遗留物体的确定方法还包括：
若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
5.根据权利要求1所述的车内遗留物体的确定方法，其特征在于，通过以下方式确定训练好的车内物体识别模型：
将样本车辆的样本车内图像输入初始车内物体识别模型的下采样卷积层中，确定所述样本车内图像对应的样本下采样车内物体特征；
将所述样本下采样车内物体特征输入所述初始车内物体识别模型的上采样卷积层中，确定所述样本车内图像对应的样本上采样车内物体特征；
将所述样本下采样车内物体特征和所述样本上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定样本融合特征；
基于所述样本融合特征、所述初始车内物体识别模型中的全连接层以及预设反向传播算法，对所述初始车内物体识别模型进行融合特征训练，确定训练好的车内物体识别模型。
6.一种车内遗留物体的确定装置，其特征在于，所述车内遗留物体的确定装置包括：
第一确定模块，用于将待检测的目标车辆的目标车内图像输入训练好的车内物体识别模型的下采样卷积层中，确定所述目标车内图像对应的下采样车内物体特征；
第二确定模块，用于将所述下采样车内物体特征输入训练好的车内物体识别模型的上采样卷积层中，确定所述目标车内图像对应的上采样车内物体特征；
第三确定模块，用于将所述下采样车内物体特征和所述上采样车内物体特征输入训练好的车内物体识别模型的特征对齐层进行特征融合，确定融合特征；
判断模块，用于基于所述融合特征和训练好的车内物体识别模型中的全连接层，确定所述目标车辆中是否存在目标遗留物体。
7.根据权利要求6所述的车内遗留物体的确定装置，其特征在于，所述车内遗留物体的确定装置还包括报警模块；
所述报警模块，用于若目标车辆中存在目标遗留物体，则确定所述目标车辆进行报警提醒。
8.根据权利要求6所述的车内遗留物体的确定装置，其特征在于，所述第二确定模块，具体用于：
将下采样车内特征先输入训练好的车内物体识别模型的上采样卷积层中进行线性插值，确定目标车内图像对应的预测车内插值特征；
根据所述上采样卷积层，对所述预测车内插值特征进行特征卷积提取，确定所述目标车内图像对应的上采样车内物体特征。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器运行时执行如上述权利要求1-5中任一所述的车内遗留物体的确定方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述权利要求1-5中任一所述的车内遗留物体的确定方法的步骤。
CN202310962840.5A 2023-08-01 2023-08-01 一种车内遗留物体的确定方法、装置及电子设备 Pending CN116994231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310962840.5A CN116994231A (zh) 2023-08-01 2023-08-01 一种车内遗留物体的确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310962840.5A CN116994231A (zh) 2023-08-01 2023-08-01 一种车内遗留物体的确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116994231A true CN116994231A (zh) 2023-11-03

Family

ID=88529629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310962840.5A Pending CN116994231A (zh) 2023-08-01 2023-08-01 一种车内遗留物体的确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116994231A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909093A (zh) * 2017-10-27 2018-04-13 浙江大华技术股份有限公司 一种物品检测的方法及设备
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN114022837A (zh) * 2021-10-12 2022-02-08 交控科技股份有限公司 车站遗留物品检测方法、装置、电子设备及存储介质
CN114821551A (zh) * 2022-04-27 2022-07-29 深圳元戎启行科技有限公司 遗留物检测以及模型训练方法、装置和存储介质
CN115471754A (zh) * 2022-08-08 2022-12-13 重庆邮电大学 一种基于多维多尺度U-net网络的遥感图像道路提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229455A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN107909093A (zh) * 2017-10-27 2018-04-13 浙江大华技术股份有限公司 一种物品检测的方法及设备
CN114022837A (zh) * 2021-10-12 2022-02-08 交控科技股份有限公司 车站遗留物品检测方法、装置、电子设备及存储介质
CN114821551A (zh) * 2022-04-27 2022-07-29 深圳元戎启行科技有限公司 遗留物检测以及模型训练方法、装置和存储介质
CN115471754A (zh) * 2022-08-08 2022-12-13 重庆邮电大学 一种基于多维多尺度U-net网络的遥感图像道路提取方法

Similar Documents

Publication Publication Date Title
Yu et al. Fine-grained abnormal driving behaviors detection and identification with smartphones
CN107813775B (zh) 一种共享无人驾驶汽车租用时车况验证方法
CN110610137B (zh) 检测车辆行驶状态的方法、装置以及电子设备、存储介质
CN111368696A (zh) 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统
CN108474866A (zh) 一种基于深度学习的井盖缺失检测系统及方法
CN104670155A (zh) 基于云端车联网的车辆防盗报警系统
CN111935319B (zh) 一种基于车辆终端系统的监控处理方法、系统及相关设备
CN112633255B (zh) 目标检测方法、装置及设备
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN113469099B (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN110733461B (zh) 一种基于车速和液压变化分析的防盗油检测系统及方法
CN112818839A (zh) 驾驶员违章行为识别方法、装置、设备及介质
CN113052071B (zh) 危化品运输车驾驶员分心行为快速检测方法及系统
Shahverdy et al. Driver behaviour detection using 1D convolutional neural networks
US20110054730A1 (en) System and process to record and transmit inspection information
CN114119717A (zh) 智能识别减速带方法、装置、设备及存储介质
CN116994231A (zh) 一种车内遗留物体的确定方法、装置及电子设备
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN108873097B (zh) 无人停车库中载车板停车时的安全检测方法及装置
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN112036380B (zh) 盗窃事件检测方法和装置
CN112794274B (zh) 一种油罐车底部装油口安全监控方法及系统
CN112380986B (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN114023028A (zh) 非机动车辆防盗预警方法、装置及存储介质
CN116152790B (zh) 一种安全带检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination