CN115158210B - 一种物体伸出车窗的监测方法、装置、设备及存储介质 - Google Patents

一种物体伸出车窗的监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115158210B
CN115158210B CN202210675243.XA CN202210675243A CN115158210B CN 115158210 B CN115158210 B CN 115158210B CN 202210675243 A CN202210675243 A CN 202210675243A CN 115158210 B CN115158210 B CN 115158210B
Authority
CN
China
Prior art keywords
vehicle
distance
window
vehicle window
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210675243.XA
Other languages
English (en)
Other versions
CN115158210A (zh
Inventor
阮童
梁伟强
刘俊峰
张莹
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinghe Zhilian Automobile Technology Co Ltd
Original Assignee
Xinghe Zhilian Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinghe Zhilian Automobile Technology Co Ltd filed Critical Xinghe Zhilian Automobile Technology Co Ltd
Priority to CN202210675243.XA priority Critical patent/CN115158210B/zh
Publication of CN115158210A publication Critical patent/CN115158210A/zh
Application granted granted Critical
Publication of CN115158210B publication Critical patent/CN115158210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物体伸出车窗的监测方法、装置、设备及存储介质，该方法包括：当监测到车辆任一车窗开启时，实时获取车窗对应的双目摄像头拍摄的车外图像数据；通过卷积神经网络对车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；当所述类别为人物或动物时，确定物体危险等级为一级危险等级；当所述类别为其他物体时，根据物体伸出车窗的距离、车辆时速和位置，确定物体危险等级；最后，根据物体危险等级进行相应的预警提示。此外，本方法若接收到倒车指令，则根据物体伸出车窗的距离重构倒车辅助系统的安全等级距离。本发明能够自动检测是否有物体伸出窗外，并及时提醒驾驶员，以避免安全事故的发生。

Description

一种物体伸出车窗的监测方法、装置、设备及存储介质
技术领域
本发明涉及车载装置技术领域，尤其涉及一种物体伸出车窗的监测方法、装置、设备及存储介质。
背景技术
随着车辆在国内普及，家庭乘车出行成为主要交通工具，车内除了成年人乘坐，还会有儿童、宠物等。若乘车用户、宠物、物品通过车窗、天窗伸出车外时，自车急刹、外车靠近或机械车位倒车，则都有可能对车内乘客、宠物、物品造成伤害。但是，现有的车辆行驶过程中，驾驶员主要通过后视镜查看是否有物体伸出窗外，这种方法不仅容易分散驾驶员的注意力，不利于行车安全，且驾驶员往往难以及时察觉到有物体伸出车窗外。
发明内容
本发明提供一种物体伸出车窗的监测方法、装置、设备及存储介质，能够自动检测是否有物体伸出窗外，并及时提醒驾驶员，以避免安全事故的发生。
本发明实施例提供了一种物体伸出车窗的监测方法，包括：
当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；
当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
根据所述物体危险等级进行相应的预警提示。
作为上述方案的改进，所述根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级，包括：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
作为上述方案的改进，所述方法还包括：
当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
作为上述方案的改进，所述根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离，具体为：
获取所述车辆的倒车辅助系统的安全等级距离，并计算所述安全等级距离与所述物体伸出车窗的距离的和值，将所述倒车辅助系统在所述车窗开启的一侧的安全等级距离调整为所述和值。
作为上述方案的改进，所述根据所述物体危险等级进行相应的预警提示，包括：
当所述物体危险等级为一级危险等级时，控制所述车窗开启位置对应的扬声器发出第一预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外，以及调用车内人员监控系统的影像数据进行播放；
当所述物体危险等级为二级危险等级时，控制所述车窗开启位置对应的扬声器发出第二预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；
当所述物体危险等级为三级危险等级时，控制所述车窗开启位置对应的扬声器发出第三预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；其中，所述第一预设频率大于所述第二预设频率，所述第二预设频率大于所述第三预设频率。
相应地，本发明另一实施例提供一种物体伸出车窗的监测装置，包括：
车外图像获取模块，用于当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
车外图像分类模块，用于通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
第一等级划分模块，用于当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级
相关数据获取模块，用于当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
第二等级划分模块，用于根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
危险预警提示模块，用于根据所述物体危险等级进行相应的预警提示。
作为上述方案的改进，所述第二等级划分模块，具体用于：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
作为上述方案的改进，所述装置还包括：
安全距离重构模块，用于当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
本发明另一实施例提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的物体伸出车窗的监测方法。
本发明另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项所述的物体伸出车窗的监测方法。
与现有技术相比，本发明实施例公开的物体伸出车窗的监测方法、装置、设备及存储介质，当监测到车辆任一车窗开启时，首先实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；其次，通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；然后，根据所述物体伸出车窗的距离、所述车辆的时速和位置，进一步确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；最后，根据所述物体危险等级进行相应的预警提示。本发明能够通过实时拍摄的车外图像数据和预先训练好的卷积神经网络自动检测是否有物体伸出车窗外，并综合伸出车窗的物体的类别、车辆位置、车辆时速和物体伸出的距离划分物体危险等级，以及时且有针对性地提醒驾驶员，从而避免安全事故的发生。
附图说明
图1是本发明实施例提供的一种物体伸出车窗的监测方法的流程示意图；
图2是本发明实施例提供的一种卷积神经网络的示意图；
图3是现有技术的一种车辆的倒车辅助系统的安全等级距离的示意图；
图4是本发明实施例提供的一种车辆的倒车辅助系统的安全等级距离的示意图；
图5是本发明实施例提供的一种物体伸出车窗的监测装置的结构示意图；
图6是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明一实施例提供的一种物体伸出车窗的监测方法的流程示意图。
本发明实施例提供的物体伸出车窗的监测方法，包括步骤：
S11、当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
S12、通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
S13、当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；
S14、当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
S15、根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
S16、根据所述物体危险等级进行相应的预警提示。
具体地，在步骤S11中，在车辆启动后，车机系统通过CAN总线，监测车辆四个车门的车窗以及天窗的开关状态。
需要说明，为了减少双目测距算法计算物体伸出车窗的距离和物体危险等级评定对车机系统计算能力的占用，可将步骤S12、步骤S13、步骤S14和步骤S15的运算过程放在云端执行。
需要说明的是，在步骤S12中，除了卷积神经网络以外，还可以采用任意一种分类模型。考虑到双目摄像头拍摄的图像数据可能存在多种失真类型和失真级别，对神经网络的稳定性有较高的要求，因此，本实施例中，采用卷积神经网络对双目摄像头拍摄的车外图像数据进行分类，以提高分类结果的准确性。
参见图2，具体地，所述卷积神经网络包括第一卷积层、第二卷积层、第一池化层、第二池化层、第一全连接层、第二全连接层和输出层；其中，所述第一卷积层、所述第一池化层、所述第二卷积层、所述第二池化层、所述第一全连接层、所述第二全连接层和所述输出层依次连接。所述第一全连接层具有64个神经元，所述第二全连接层具有16个神经元，所述输出层具有1个神经元。
具体地，所述卷积神经网络的损失函数为交叉熵损失函数。
进一步地，所述卷积神经网络的损失函数具体为：
其中，L为所有图像样本的损失函数值，Li为第i个图像样本的损失函数值，M为图像样本的类别总数，N为图像样本的总数，yic为第i个图像样本的符号函数，c为图像样本经卷积神经网络分类后的类别，若第i个图像样本经卷积神经网络分类后的类别等于第i个图像样本的真实类别，则yic等于1；若第i个图像样本经卷积神经网络分类后的类别不等于第i个图像样本的真实类别，则yic等于0；pic为第i个图像样本在第二全连接层输出的结果，用于表征第i个图像样本属于类别c的预测概率。
进一步地，所述卷积神经网络的分类训练过程具体为：
获取不同物体的图像数据；
对所述不同物体的图像数据进行预处理，得到待训练图像集；其中，所述待训练图像集包含多个待训练的图像样本和每个图像样本的分类标签；
通过所述待训练图像集对预先构建的卷积神经网络进行分类训练，得到训练好的卷积神经网络。
需要说明，对卷积神经网络进行分类训练的目的，是为了使所述卷积神经网络学习到不同物体的图像数据及其所属类别之间的关系，从而使得当输入图像数据至训练好的卷积神经网络时，所述卷积神经网络能够自动判别输入的图像数据所属的类别，如：所述图像数据中包含人物、动物或其他物体。可以理解，在本实施例中，所述分类标签包括：人物、动物、其他物体和无物体伸出。若卷积神经网络输出为无物体伸出，则不需要进行预警提示。此外，在本实施例中，若训练好的卷积神经网络检测到所述车外图像数据的特征与预先学习到的某一物体的特征的相似度大于70％，则将所述车外图像数据的分类标签划分为该物体对应的分类标签，如：车外图像数据与分类标签为人物的图像样本的特征相似度大于70％，则所述车外图像数据对应的类别为人物。此外，双目摄像头同一时刻拍摄的车外图像数据包含两张车外图像，可以采用其中一张车外图像判断是否有物体伸出以及伸出物体的类别，也可以综合两张车外图像的分类结果判断是否有物体伸出以及伸出物体的类别，在此不做具体限定。
值得说明的是，在实际的操作过程中，可在车辆左侧、右侧、顶部位置安装双目摄像头，以用于获取到车外图像数据。双目摄像头的具体摆放位置需要根据不同车型进行标定，标定参数包含：中心位置(横向坐标x，纵向坐标y)和5个畸变系数(2个径向畸变系数，2个切向畸变系数，1个棱向畸变系数)，双目摄像头拍摄的影像数据(即，车外图像数据)通过车机系统传输到云端，进行图像识别分析。双目测距算法实际操作步骤分为以下4个步骤：相机标定、双目校正、双目匹配、计算深度信息。双目测距算法是模拟人类视觉原理，使用计算机被动感知距离的方法，从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系和三角测量原理，计算出像素之间的偏移来获取物体的三维信息。本发明主要利用双目测距算法和双目摄像头拍摄的车外图像数据测算物体伸出车窗的距离值，双目测距算法的具体计算过程和双目摄像头的安装标定过程可参见其他相关文献，本发明不再过多赘述。
作为其中一个可选的实施例，在步骤S15中，所述根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级，包括：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
可以理解，所述第一预设距离大于所述第二预设距离，所述第一预设速度大于所述第二预设速度。
优选地，所述第一预设距离为20cm，所述第二预设距离为10cm，所述第一预设速度为10km/h，所述第二预设速度为5km/h。
作为其中一个可选地实施方式，所述方法还包括：
当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
优选地，所述方法还包括：当检测到所述分类结果为有物体伸出车窗且所述物体的类别为其他物体时，若接收到所述车辆的倒车指令，则根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
进一步地，所述根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离，具体为：
获取所述车辆的倒车辅助系统的安全等级距离，并计算所述安全等级距离与所述物体伸出车窗的距离的和值，将所述倒车辅助系统在所述车窗开启的一侧的安全等级距离调整为所述和值。
示例性地，参见图3，在现有的倒车辅助系统中，其会在车辆四周设定安全等级距离，如：Xcm，当车辆距离障碍物小于X时，则所述倒车辅助系统会自动控制车辆进行主动刹车。以儿童将手伸出车窗为例，在本实施例中，考虑到在倒车的过程中，若儿童将手伸出车窗，则仅靠倒车辅助系统预设的安全等级距离判断是否需要进行刹车，很有可能在儿童的手触碰/撞击到障碍物时，所述车辆都未能完成主动刹车，从而对儿童的身体造成伤害。因此，参见图4，在本实施例，若检测到某一侧的车窗开启，且计算到物体伸出车窗的距离为Y，则需要将所述倒车辅助系统在所述车窗开启的一侧的安全等级距离调整为X+Y，扩大倒车辅助系统的安全等级距离的范围，以精准控制刹车距离，避免延伸出车外的物体碰撞到障碍物，造成伤害。需要说明，为了保证倒车辅助系统的倒车影像效果的实效性，在实际操作过程中，需要每秒更新有物体伸出窗外的车窗位置和物体伸出车窗的距离至倒车辅助系统中，以提高倒车辅助系统进行刹车制动的准确性，进一步避免延伸出车外的物体碰撞到障碍物。
在一些更优的实施例中，在步骤S16中，所述根据所述物体危险等级进行相应的预警提示，包括：
当所述物体危险等级为一级危险等级时，控制所述车窗开启位置对应的扬声器发出第一预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外，以及调用车内人员监控系统的影像数据进行播放；
当所述物体危险等级为二级危险等级时，控制所述车窗开启位置对应的扬声器发出第二预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；
当所述物体危险等级为三级危险等级时，控制所述车窗开启位置对应的扬声器发出第三预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；其中，所述第一预设频率大于所述第二预设频率，所述第二预设频率大于所述第三预设频率。
值得说明的是，所述车窗开启位置对应的扬声器，即所述车窗开启位置所在的车门处的扬声器。在实际操作过程中，当所述物体危险等级为一级危险等级、二级危险等级或三级危险等级时，可以控制车窗开启的位置所对应的车内扬声器发出第一预设频率、第二预设频率或第三预设频率的提示音，以使驾驶员能够根据提示音发出的位置，确定有物体伸出车窗的位置，快速定位危险。此外，考虑到驾驶员在行驶过程中，若回头查看后排情况会影响行车安全，因此，当所述物体危险等级为一级危险等级时，车机系统将会调用车内人员监控系统(即：OMS影像系统)的影像数据进行播放，以使驾驶员能够查看车内后排物体伸出车窗的预警情况。
参见图5，是本发明实施例提供的一种物体伸出车窗的监测装置的结构示意图。
本发明实施例提供的物体伸出车窗的监测装置，包括：
车外图像获取模块21，用于当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
车外图像分类模块22，用于通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
第一等级划分模块23，用于当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；
相关数据获取模块24，用于当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
第二等级划分模块25，用于根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
危险预警提示模块26，用于根据所述物体危险等级进行相应的预警提示。
作为其中一个可选地实施方式，所述第二等级划分模块25，具体用于：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
作为上述方案的改进，所述装置还包括：
安全距离重构模块，用于当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
进一步地，在所述安全距离重构模块中，所述根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离，具体为：
获取所述车辆的倒车辅助系统的安全等级距离，并计算所述安全等级距离与所述物体伸出车窗的距离的和值，将所述倒车辅助系统在所述车窗开启的一侧的安全等级距离调整为所述和值。
作为其中一个可选的实施方式，所述危险预警提示模块26，具体用于：
当所述物体危险等级为一级危险等级时，控制所述车窗开启位置对应的扬声器发出第一预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外，以及调用车内人员监控系统的影像数据进行播放；
当所述物体危险等级为二级危险等级时，控制所述车窗开启位置对应的扬声器发出第二预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；
当所述物体危险等级为三级危险等级时，控制所述车窗开启位置对应的扬声器发出第三预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；其中，所述第一预设频率大于所述第二预设频率，所述第二预设频率大于所述第三预设频率。
需要说明的是，本实施例的物体伸出车窗的监测装置的各实施例的相关具体描述和有益效果可以参考上述的物体伸出车窗的监测方法的各实施例的相关具体描述和有益效果，在此不再赘述。
参见图6，是本发明一实施例提供的一种终端设备的结构示意图。
本发明实施例提供的一种终端设备，包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现如上述任一实施例所述的物体伸出车窗的监测方法。
所述处理器10执行所述计算机程序时实现上述物体伸出车窗的监测方法实施例中的步骤，例如图1所示的物体伸出车窗的监测方法的所有步骤。或者，所述处理器10执行所述计算机程序时实现上述物体伸出车窗的监测装置实施例中各模块/单元的功能，例如图5所示的物体伸出车窗的监测装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器10、存储器20。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器20可用于存储所述计算机程序和/或模块，所述处理器10通过运行或执行存储在所述存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述终端设备的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上方法实施例中任意一项所述的物体伸出车窗的监测方法。
综上，本发明实施例所提供的一种物体伸出车窗的监测方法、装置、终端设备及计算机可读存储介质，由于本发明当监测到车辆任一车窗开启时，首先实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；其次，通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别，从而能够自动判别是否有物体伸出车窗；当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；然后，根据所述物体伸出车窗的距离、所述车辆的时速和位置，进一步确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；最后，根据所述物体危险等级进行相应的预警提示。本发明综合考虑伸出车窗的物体的类别、车辆位置、车辆时速和物体伸出的距离划分物体危险等级，从而能够及时且有针对性地提醒驾驶员，以避免安全事故的发生。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种物体伸出车窗的监测方法，其特征在于，包括：
当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级；
当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
根据所述物体危险等级进行相应的预警提示。
2.如权利要求1所述的物体伸出车窗的监测方法，其特征在于，所述根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级，包括：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
3.如权利要求1所述的物体伸出车窗的监测方法，其特征在于，所述方法还包括：
当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
4.如权利要求3所述的物体伸出车窗的监测方法，其特征在于，所述根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离，具体为：
获取所述车辆的倒车辅助系统的安全等级距离，并计算所述安全等级距离与所述物体伸出车窗的距离的和值，将所述倒车辅助系统在所述车窗开启的一侧的安全等级距离调整为所述和值。
5.如权利要求1所述的物体伸出车窗的监测方法，其特征在于，所述根据所述物体危险等级进行相应的预警提示，包括：
当所述物体危险等级为一级危险等级时，控制所述车窗开启位置对应的扬声器发出第一预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外，以及调用车内人员监控系统的影像数据进行播放；
当所述物体危险等级为二级危险等级时，控制所述车窗开启位置对应的扬声器发出第二预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；
当所述物体危险等级为三级危险等级时，控制所述车窗开启位置对应的扬声器发出第三预设频率的提示音，并通过语音播报提示驾驶员当前有物体伸出窗外；其中，所述第一预设频率大于所述第二预设频率，所述第二预设频率大于所述第三预设频率。
6.一种物体伸出车窗的监测装置，其特征在于，包括：
车外图像获取模块，用于当监测到车辆任一车窗开启时，实时获取所述车窗对应的双目摄像头拍摄的车外图像数据；
车外图像分类模块，用于通过预先训练好的卷积神经网络对所述车外图像数据进行分类，并根据分类结果确定是否有物体伸出车窗以及伸出车窗的物体的类别；其中，所述卷积神经网络是基于不同物体的图像数据及其对应的分类标签进行分类训练得到的；
第一等级划分模块，用于当所述分类结果为有物体伸出车窗且所述类别为人物或动物时，确定物体危险等级为一级危险等级
相关数据获取模块，用于当所述分类结果为有物体伸出车窗且所述类别为其他物体时，通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并通过GPS定位系统获取所述车辆的时速和位置；
第二等级划分模块，用于根据所述物体伸出车窗的距离、所述车辆的时速和位置，确定所述物体危险等级为一级危险等级、二级危险等级或三级危险等级；
危险预警提示模块，用于根据所述物体危险等级进行相应的预警提示。
7.如权利要求6所述的物体伸出车窗的监测装置，其特征在于，所述第二等级划分模块，具体用于：
当所述物体伸出车窗的距离大于第一预设距离、所述车辆的时速大于第一预设速度或所述位置为高速路段区域时，确定所述物体危险等级为一级危险等级：
当所述物体伸出车窗的距离不大于所述第一预设距离、所述车辆的时速不大于所述第一预设速度且所述位置为常规路段区域或非道路区域时，判断所述物体伸出车窗的距离、所述车辆的时速和位置中的任意一项是否符合预设条件，若是，则确定所述物体危险等级为二级危险等级；若否，则确定所述物体危险等级为三级危险等级；其中，所述预设条件为所述物体伸出车窗的距离大于第二预设距离、所述车辆的时速大于第二预设速度或所述车辆的位置为常规路段区域。
8.如权利要求7所述的物体伸出车窗的监测装置，其特征在于，所述装置还包括：
安全距离重构模块，用于当检测到所述分类结果为有物体伸出车窗且所述物体的类别为人物或动物时，若接收到所述车辆的倒车指令，则通过双目测距算法和所述车外图像数据，计算物体伸出车窗的距离，并根据所述物体伸出车窗的距离和所述车窗开启的位置，重构所述车辆的倒车辅助系统的安全等级距离。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的物体伸出车窗的监测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的物体伸出车窗的监测方法。
CN202210675243.XA 2022-06-15 2022-06-15 一种物体伸出车窗的监测方法、装置、设备及存储介质 Active CN115158210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210675243.XA CN115158210B (zh) 2022-06-15 2022-06-15 一种物体伸出车窗的监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210675243.XA CN115158210B (zh) 2022-06-15 2022-06-15 一种物体伸出车窗的监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115158210A CN115158210A (zh) 2022-10-11
CN115158210B true CN115158210B (zh) 2023-08-25

Family

ID=83485158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210675243.XA Active CN115158210B (zh) 2022-06-15 2022-06-15 一种物体伸出车窗的监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115158210B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04188014A (ja) * 1990-11-22 1992-07-06 Mitsubishi Electric Corp 車間距離検出装置
JP2009234435A (ja) * 2008-03-27 2009-10-15 Xanavi Informatics Corp 車両用安全装置
CN204010231U (zh) * 2014-07-04 2014-12-10 北京汽车股份有限公司 一种防止车内乘员肢体外探的报警系统
CN108556733A (zh) * 2017-12-22 2018-09-21 北汽福田汽车股份有限公司 防止乘员伸出车窗口的防护装置、车窗以及具有其的车辆
CN111086449A (zh) * 2019-12-31 2020-05-01 安徽三联学院 一种公交车窗口肢体伸出预警装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201121819A (en) * 2009-12-28 2011-07-01 Hon Hai Prec Ind Co Ltd Prompting device and prompting method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04188014A (ja) * 1990-11-22 1992-07-06 Mitsubishi Electric Corp 車間距離検出装置
JP2009234435A (ja) * 2008-03-27 2009-10-15 Xanavi Informatics Corp 車両用安全装置
CN204010231U (zh) * 2014-07-04 2014-12-10 北京汽车股份有限公司 一种防止车内乘员肢体外探的报警系统
CN108556733A (zh) * 2017-12-22 2018-09-21 北汽福田汽车股份有限公司 防止乘员伸出车窗口的防护装置、车窗以及具有其的车辆
CN111086449A (zh) * 2019-12-31 2020-05-01 安徽三联学院 一种公交车窗口肢体伸出预警装置

Also Published As

Publication number Publication date
CN115158210A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
Xue et al. Rapid Driving Style Recognition in Car‐Following Using Machine Learning and Vehicle Trajectory Data
CN107972662B (zh) 一种基于深度学习的车辆前向碰撞预警方法
CN110866427A (zh) 一种车辆行为检测方法及装置
CN108372785A (zh) 一种基于图像识别的汽车非安全驾驶检测装置及检测方法
CN109740433B (zh) 一种车辆避让方法及车载终端
CN110901385B (zh) 一种基于驾驶员疲劳状态的主动限速方法
CN111775944B (zh) 辅助驾驶装置、方法及计算机可读存储介质
CN109409259A (zh) 驾驶监控方法、装置、设备及计算机可读介质
JP6365107B2 (ja) 事故情報算出装置、及びプログラム
CN110103954B (zh) 基于电控的汽车防追尾预警装置及方法
DE102022205744A1 (de) Ultraschallsystem und Verfahren zum Rekonfigurieren eines in einem Fahrzeug verwendeten Maschinenlernmodells
CN113104045B (zh) 车辆碰撞预警方法、装置、设备及存储介质
CN115158210B (zh) 一种物体伸出车窗的监测方法、装置、设备及存储介质
US11263837B2 (en) Automatic real-time detection of vehicular incidents
CN110053554B (zh) 辅助驾驶方法、辅助驾驶装置及车载无人机
DE102023110762A1 (de) System und Verfahren eines Fahrzeugs zum Bereitstellen einer Rückmeldung auf der Grundlage von Verhaltensweisen und Emotionen von Insassen
CN115099097A (zh) 一种基于感知的车辆损伤预测方法、系统、电子设备及车辆
DE102022205745A1 (de) Ultraschallsystem und -verfahren zur Klassifizierung von Hindernissen mittels eines Maschinenlernalgorithmus
CN114608556A (zh) 数据处理方法、装置、电子设备及存储介质
Reagan et al. Exploring relationships between observed activation rates and functional attributes of lane departure prevention
DE102019004075A1 (de) Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem
CN117746632B (zh) 一种基于智能网联的公交车驾驶风险评估预警系统及方法
CN117719524B (zh) 一种驾驶安全风险识别预警方法、装置、终端及存储介质
CN113673826B (zh) 基于驾驶人个体因素的行车风险评估方法及系统
CN116824539A (zh) 一种基于神经网络的交通事故处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant