CN113822219A - 车辆安全识别方法、装置、电子设备及存储介质 - Google Patents
车辆安全识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113822219A CN113822219A CN202111173014.XA CN202111173014A CN113822219A CN 113822219 A CN113822219 A CN 113822219A CN 202111173014 A CN202111173014 A CN 202111173014A CN 113822219 A CN113822219 A CN 113822219A
- Authority
- CN
- China
- Prior art keywords
- vehicle door
- vehicle
- image
- moving object
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种车辆安全识别方法、装置、电子设备及存储介质。该方法包括：接收车门开启请求，所述车门开启请求包括车门信息；接收车门开启请求，所述车门开启请求包括车门信息；依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。本申请实施例通过采集的第一待识别图像识别到车门附近有移动对象，则控制车门落锁，避免车门打开与移动对象相碰撞。
Description
技术领域
本申请涉及车辆安全驾驶技术领域，具体而言，涉及一种车辆安全识别方法、装置、电子设备及存储介质。
背景技术
当汽车停靠在路边，车里的人开启车门与侧后方行驶过来的移动对象(包括车辆或行人)发生碰撞的事故时有发生。
处于驾驶位和副驾驶位的人可以通过后视镜以及挡风玻璃查看车门周围是否有移动对象，但是处于后排座位的人却无法通过后视镜以及挡风玻璃查看。因此，为了避免此类事故的发生，现有技术中，会在停车后进行语音提醒。但在实际生活中，车里的人在下车时并不会按照语音提醒去查看后方是否有移动对象。再有，坐在车里的人看向外面会有盲区，其看不到盲区内是否有移动对象。从而，在打开车门时与向车门驶来的移动对象发生碰撞的情况仍然时常发生。
发明内容
本申请实施例的目的在于提供一种车辆安全识别方法、装置、电子设备及存储介质，用以降低车门开启时与向车门驶来的移动对象发生碰撞的概率。
第一方面，本申请实施例提供一种车辆安全识别方法，包括：接收车门开启请求，所述车门开启请求包括车门信息；依据所述车门信息获取至少两帧第一待识别图像所述第一待识别图像为所述车门信息对应的车门周围的图像；若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
本申请实施例利用车门周围的第一待识别图像判断车门周围是否有移动对象，并且判断移动对象是否在以车门为参考点的预定范围内，若有移动对象，且移动对象在预定范围内则控制车门落锁，避免车门打开与移动对象相碰撞。
在一实施例中，所述第一待识别图像包含至少一个移动对象，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：确定任一所述移动对象距所述当前车辆的距离小于预设的第一距离阈值。
本申请实施例中，若检测到车门周围有移动对象，并且移动对象与当前车辆的距离小于预设距离，则认为该移动对象位于车门附近，此时开启车门会与移动对象碰撞，因此控制车门处于锁定状态。
在一实施例中，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取所述第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；确定所述避险距离小于预设的第二距离阈值。
本申请实施例利用第一待识别图像判断移动对象的移动方向为朝着车门的移动，且移动对象与车门的距离小于第二距离阈值，则说明若开启车门会导致移动对象来不及躲避开启的车门，因此，控制车门处于锁定状态，以防止移动对象与开启的车门相撞。
在一实施例中，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取所述第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；依据所述至少两帧第一待识别图像，获取所述移动对象的移动速率；依据所述避险距离和所述移动速率确定到达时间；确定所述到达时间大于预设的避险时间。
本申请实施例通过第一待识别图像确定移动对象为朝着车门的方向移动，且根据移动速率和移动对象与车门的距离确定到达车门处的时间，如果该时间大于开启车门所需的时间，则说明移动对象未到达车门处，车门已开启，此时，移动对象继续移动会与车门碰撞，因此，控制车门处于锁定状态。
在一实施例中，所述方法还包括：根据所述至少两帧第一待识别图像确定所述移动对象到达所述当前车辆的预测时长；以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后控制所述车门解锁。
本申请实施例通过预测移动对象经过当前车辆所需的时间，并在到达该时间后控制车门解锁，使得车里的人员能够及时的开启车门。
在一实施例中，所述方法还包括：根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后，再次获取所述车门周围的至少两帧第二待识别图像；若所述第二待识别图像中不包含移动对象，或所述第二待识别图像中的移动对象位于以所述车门为参考点的预定范围外，则控制所述车门处于解锁状态。
本申请实施例通过计算移动对象达到车门的时间，并且在预测移动对象达到车门后再次采集第二待识别图像，当通过第二待识别图像判断车门周围没有移动对象或移动对象距离车门为参考点的预定范围外，则可解锁车门，从而使得车门能够在安全的情况下及时开启。
在一实施例中，所述方法还包括：获取第三待识别图像，所述第三待识别图像为采集当前车辆后方的图像；若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
本申请实施例通过对当前车辆后方的第三待识别图像进行采集，当根据第三待识别图像确定当前车辆后方有特种车辆时，提醒司机紧急避让，从而保证特种车辆优先通过。
在一实施例中，所述特种车辆包括救护车、消防车、警车和工程抢险车中的一种或组合。
在一实施例中，所述告警的方式包括声音告警或在显示器上文字告警。
第二方面，本申请实施例提供另一车辆安全识别方法，包括：获取第三待识别图像，其中，所述第三待识别图像为采集当前车辆后方的图像；若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
第三方面，本申请实施例提供一种车辆安全识别装置，包括：请求接收模块，用于接收车门开启请求，所述车门开启请求包括车门信息；第一图像获取模块，用于依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；控制模块，用于若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
第四方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面或第二方面的方法。
第五方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面或第二方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请提供的一种车辆安全识别方法流程示意图；
图2为本申请实施例提供的另一种车辆安全识别方法流程示意图；
图3为本申请实施例提供的车辆安全识别装置结构示意图；
图4为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
为了解决现有技术中，由于视线盲区或车里人员的疏忽，在开启车辆停在路边的车辆的车门时，与驶来的移动对象碰撞的问题。本申请实施例提供一种车辆安全识别方法，该方法通过采集至少两帧第一待识别图像，根据第一待识别图像判断车门周围移动对象，且移动对象在以车门为参考点的预定范围内，控制车门处于锁定状态，从而避免车门开启与移动对象碰撞。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
图1为本申请提供的一种车辆安全识别方法流程示意图，如图1所示，该方法对应的执行主体可以是车辆内的车载终端，具体可以是车载信息娱乐系统(In-VehicleInfotainment，IVI)，该方法包括：
步骤101：接收车门开启请求，所述车门开启请求包括车门信息。
其中，车门开启请求可以是在当前车辆内的人员拉动车门开关时，有车门开关向车载终端发送的请求。车门信息用于表征具体要开启的车门，当前车辆中每个车门都对应唯一一个车门信息。例如：对于四个车门的车辆，可以用“00”表示驾驶位的车门；用“01”表示副驾驶位的车门；用“10”表示驾驶位后面的车门；用“11”表示副驾驶位后面的车门。应当说明的是，本申请实施例不对车门信息的表示方法具体限定。
步骤102：依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像。
其中，在当前车辆上可以设置一个图像采集装置，也可以设置多个图像采集装置。当设置一个图像采集装置时，该图像采集装置设置的位置需要能够采集到所有车门(即被控制的车门)周围的图像信息。可以理解的是，车门周围是指车门那一侧的图像信息，包括车门前方的图像和车门后方的图像。车头的方向为车门的前方，车尾的方向为车门的后方。当设置多个图像采集装置时，可以分别在车辆两侧各设置一个，用于采集对应侧的图像。当然，还可以在每个车门处设置一个图像采集装置，本申请实施例对图像采集装置的具体安装位置不作具体限定。
为了能够准确的识别出是否有移动对象，本申请实施例获取至少两帧第一待识别图像，可以理解的是，第一待识别图像可以是连续多帧，也可以是不连续的多帧，即可以从一段视频图像中，按照预设帧数的间隔获取第一待识别图像。具体可以是获取图像采集装置采集的视频图像，并对视频图像进行分帧处理，获得多帧图像；按照预设帧数对所述多帧图像进行抽取，获得第一待识别图像。也可以是设定图像采集装置按照预设时间间隔进行第一待识别图像的采集，此处的多帧是指至少两帧。
步骤103：若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
通过对至少两帧第一待识别图像的分析，可以获得第一待识别图像中是否包含移动对象，以及移动对象是否位于以车门为参考点的预定范围内。如果第一待识别图像中包括移动对象，且移动对象在参考点的预定范围内，则说明若开启车门很有可能与移动对象发生碰撞，则控制车门处于锁定状态，不允许开启车门。
在上述实施例中，对于判断第一待识别图像中是否包含移动对象，以及判断移动对象是否位于以车门为参考点的预定范围内，可以采用第一对象识别模型对第一待识别图像进行识别。
其中，第一对象识别模型为预先构建并训练获得的，其可以是NanoDet目标检测模型，也可以是卷积神经网络模型，本申请实施例对具体的模型结构不作限定。
在上述实施例的基础上，第一对象识别模型可以通过如下方式训练获得：
第一步：获取多个训练样本；每个训练样本包括多帧第一训练图像以及该训练样本对应的标注。该标注用于表征该训练样本中是否有移动对象。
第二步：将多帧第一训练图像输入第一待训练模型中，第一待训练模型对多帧第一训练图像进行预测，输出第一训练预测结果；
第三步：根据第一训练预测结果和标注计算损失函数，并根据损失函数优化第一待训练模型的内部参数；然后再执行第二步，如此迭代训练，直至满足迭代训练的停止条件为止，获得训练好的第一对象识别模型。
其中，迭代训练的停止条件可以为以下任意一种：
迭代次数达到第一预设次数；
损失函数值小于第一预设值；
相邻两次损失函数值的变化率小于第二预设值。
第一对象识别模型对输入的第一待识别图像进行分析，并输出预测结果，该预测结果用于表征是否有移动对象，还可以同时表征移动对象是否位于以车门为参考点的预定范围内。其中，移动对象可以是行驶的车辆，包括汽车、电动车、自行车、滑板车等等，也可以是在路上行走的人、动物等。当预测结果只表征是否有移动对象时，还需要通过其他方法判断移动对象是否位于预定范围内。由于预定范围有多种情况，因此，需要根据不同的情况采用不同的方法进行判定，具体的判定方法在后面实施例中予以详细介绍。
应当说明的是，第一对象识别模型不仅可以识别出第一待识别图像中是否包含移动对象，还可以获知移动对象与当前车辆的距离。另外，该图像采集装置还可以是双目摄像机，通过双目摄像机采集获得的第一待识别图像中确定移动对象距离当前车辆的距离。还可以在当前车辆上设置距离传感器，通过距离传感器确定移动对象距离当前车辆的距离。
在上述实施例的基础上，所述第一待识别图像包含至少一个移动对象，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：
确定任一所述移动对象距所述车门的距离小于预设的第一距离阈值。
在具体的实施过程中，第一待识别图像中可以包含一个移动对象，也可以包含多个移动对象。当只包含一个移动对象时，对该移动对象进行分析即可；当包含多个移动对象时，可以对每个移动对象进行分析，即，分别确定每个移动对象与车门之间的距离，如果该距离小于预设的第一距离阈值，则说明该移动对象就在车门附近，不管移动对象的移动方向如何，此时开启车门都会造成与移动对象碰撞，因此控制车门落锁。应当说明的是，第一距离阈值可以是1米、1.5米等，还可以是其他数值，本申请实施例对此不作具体限定。
在另一实施例中，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：
依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；
若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取所述第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；
确定所述避险距离小于预设的第二距离阈值。
在具体的实施过程中，若第一待识别图像中包括移动对象，但是移动对象距离车门较远，或者移动对象虽然与车门的距离越来越近，但是该移动对象是在另一个车道上行驶，这种情况下，即便是移动对象与车门距离越来越近，也不可能与开启后的车门相撞。因此，可以根据至少两帧第一待识别图像确定移动对象的移动方向，移动方向可以为移动对象朝着以车门为中心，从车门完全关闭到车门完全开启围成的范围内。可以理解的是，可以通过机器学习模型对移动对象的移动方向进行识别。还可以根据移动对象在多帧第一待识别图像中所占像素点的位置确定移动对象的移动方向。当第一待识别图像中包括多个移动对象时，分别确定每个移动对象的移动方向，将移动方向不是以车门为中心，从车门完全关闭到车门完全开启围成的范围内的移动对象剔除。只针对剩下的移动对象进行后续距离的判断。
避险距离是指移动对象在第一帧第一待识别图像采集时与车门之间的距离。如果该避险距离小于预设的第二距离阈值，则说明移动对象正在朝着车门的方向移动，且移动对象距车门的距离不足以使移动对象在看到车门开启后躲避，因此，如果开启车门则会导致移动对象因来不及躲避而与车门相撞。应当说明的是，第二距离阈值可以是3米，也可以是5米，还可以是其他数值，本申请实施例对此不作具体限定。另外，第二距离阈值大于第一距离阈值。
本申请实施例通过判断车门后方是否有移动对象以及移动对象距当前车辆的距离来确定是否允许开启车门，从而，一方面避免了车门与移动对象碰撞，另一方面，保证了车内人员能够及时开启车门上下车，不需要长时间等待。
在另一实施例中，由于移动对象的移动速度有快有慢，因此，为了能够进一步提高对车门开启的控制的准确性，本申请实施例提供预定范围的另一种情形。具体如下：
根据至少两帧第一待识别图像确定移动对象的移动方向，移动方向可以包括移动对象朝着以车门为中心，从车门完全关闭到车门完全开启围成的范围内，还可以包括除上述情况外的其他方向。可以理解的是，可以通过机器学习模型对移动对象的移动方向进行识别。还可以根据移动对象在多帧第一待识别图像中所占像素点的位置确定移动对象的移动方向。当第一待识别图像中包括多个移动对象时，分别确定每个移动对象的移动方向，将移动方向不是以车门为中心，从车门完全关闭到车门完全开启围成的范围内的移动对象剔除。只针对剩下的移动对象进行后续距离的判断。
避险距离是指移动对象在第一帧第一待识别图像采集时与车门之间的距离。因此，对于相同的避险距离，速度快的移动对象相较于速度慢的移动对象来说，其到达车门处的时间要更少，留给移动对象躲避的时间更短。由于在道路上行驶的移动对象的速度不同，为了能够更准确的控制车门的状态，可以根据至少两帧第一待识别图像确定移动对象的移动速率，应当说明的是，移动速率可以根据至少两帧第一待识别图像中移动对象所移动的距离，以及时间间隔确定。在获得移动速率后，根据避险时间和移动速率可以计算获得移动对象移动到车门处的到达时间。如果到达时间大于避险时间，则说明车门开启后移动对象还未经过车门，若移动对象继续行驶，则会与开启的车门相撞。
在实际应用中，若剩下的移动对象有多个，则分别计算每个移动对象到达车门的到达时间，将最大的到达时间与避险时间进行比较。
可以理解的是，避险时间是指车门开启所需要的时间，且该避险时间可以根据实际车门开启的时间确定。
在上述实施例的基础上，所述在控制所述车门信息对应的车门处于锁定状态之后，所述方法还包括：
根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；
以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后控制所述车门解锁。
在具体的实施过程中，可以通过如下方法计算获得预测时长：
第一步：根据第一待识别图像，确定移动对象与当前车辆之间的距离。
第二步：根据两帧第一待识别图像中移动对象与当前车辆之间的距离差，以及时间差确定移动对象的行驶速度。
第三步：根据移动对象与当前车辆之间的距离与行驶速度可以计算出移动对象到达当前车辆的预测时长。
图像采集时间点可以是第一帧第一待识别图像对应的时间，车载终端在判断得知在经过预测时长后移动对象已经经过该车门，车载终端此时控制该车门解锁，从而能够让车内人员及时打开车门。可以理解的是，车载终端还可以通过声音提示车内人员车门已解锁，也可以通过车载屏幕文字提示车内人员车门已解锁。从而使得车内人员能够在第一时间获知车门处于解锁状态。
本申请实施例通过预测移动对象经过当前车辆所需的时间，并在到达该时间后控制车门解锁，使得车里的人员能够及时的开启车门。
在另一实施例中，在控制车门信息对应的车门处于锁定状态后，还可以根据至少两帧第一待识别图像确定移动对象到达车门的预测时长，并且以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后，再次获取所述车门周围的至少两帧第二待识别图像，并判断第二待识别图像中不包含移动对象，或包含的移动对象，但是移动对象位于以车门为参考点的预定范围之外，则控制车门解锁。相应的，若判断新的第一待识别图像中移动对象位于以车门为参考点的预定范围之内，则继续控制车门处于锁定状态。
警车、消防车、救护车、工程救险车在执行紧急任务时，在确保安全的前提下，不受行驶路线、行驶方向、行驶速度和信号灯的限制，其他车辆和行人应当让行。但在实际生活中，经常会遇到救护车、警车、消防车等特种车辆被堵在路上的情况，从而导致这些特种车辆无法及时到达救护现场，严重的会导致生命财产受到危害。为了解决这一技术问题，本申请实施例提供另一种车辆安全识别方法，即通过采集当前车辆后方的图像，并利用第二对象识别模型对该图像进行分析，从而获得当前车辆后方是否有特种车辆的预测结果，当当前车辆后方有特种车辆时，发出告警，以告知司机紧急避让。
图2为本申请实施例提供的另一种车辆安全识别方法流程示意图，如图2所示，该方法包括：
步骤201：获取第三待识别图像，所述第三待识别图像为采集当前车辆后方的图像。
其中，第三待识别图像可以为设置在当前车辆上的图像采集装置采集获得的图像。并且，该图像采集装置可以与车载终端进行通信，当图像采集装置采集到第三待识别图像后，将第三待识别图像发送给车载终端。可以理解的是，图像采集装置可以实时向车载终端发送该第三待识别图像，也可以每隔一段时间上传一次，本申请实施例对此不作具体限定。
步骤202：若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
其中，对第三待识别图像进行分析，判断第三待识别图像中是否包含特征车辆。其中，可以采用特种车辆识别模型对第三待识别图像进行分析。该特种车辆识别模型可以是NanoDet目标检测模型，也可以是卷积神经网络模型，本申请实施例对具体的模型结构不作限定，只要是能够对图像进行目标检测的均可使用。
将第三待识别图像输入特种车辆识别模型中，特种车辆识别模型输出预测结果，该预测结果用于表征在第二待识别图像中是否有特种车辆，因此，预测结果可以是包含特种车辆或不包含特种车辆。
应当说明的是，特种车辆为预先设定的车辆，即除了上述所列的车辆类型外，还可以是工程抢险车以及其他类型的车辆，本申请实施例对特种车辆的具体类型不作限定。告警的方式可以是通过声音告警，也可以在车载的显示器上文字告警。
本申请实施例通过对当前车辆后方的第三待识别图像进行采集，并对该第二待识别图像进行分析，当确定当前车辆后方有特种车辆时，提醒司机紧急避让，从而保证特种车辆优先通过。
在上述实施例的基础上，对特种车辆识别模型进行训练的方法如下：
第一步：获取训练样本集；训练样本集包括多张第二训练图像以及每张第二训练图像对应的标注。该标注用于表征该第二训练图像中是否包含特种车辆。可以理解的是，训练样本集中包含特种车辆的第二训练图像的数量与不包含特种车辆的第二训练图像的数量比例可以是1:1，也可以是7:3，还可以是8:2。另外，由于本申请实施例中将救护车、消防车、警车等作为特种车辆，那么，对于包含特种车辆的第二训练图像中，需要包括救护车的第二训练图像、消防车的第二训练图像和警车的第二训练图像，并且上述三种车辆的第二训练图像的数量可以相等或近似相等。
第二步：将第二训练图像输入第二待训练模型中，第二待训练模型对第二训练图像进行预测，输出第二训练预测结果；
第三步：根据第二训练预测结果和标注计算损失函数，并根据损失函数优化待训练模型的内部参数；然后再执行第二步，如此迭代训练，直至满足迭代训练的停止条件为止，获得训练好的特种车辆识别模型。
其中，迭代训练的停止条件可以为以下任意一种：
迭代次数达到第二预设次数；
损失函数值小于第三预设值；
相邻两次损失函数值的变化率小于第四预设值。
图3为本申请实施例提供的车辆安全识别装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：请求接收模块301、第一图像获取模块302和控制模块303，其中：
请求接收模块301用于依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；第一图像获取模块302用于依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；控制模块303用于若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
在上述实施例的基础上，所述第一待识别图像包含至少一个移动对象，控制模块303具体用于：
确定任一所述移动对象距所述车门的距离小于预设的第一距离阈值。
在上述实施例的基础上，控制模块303具体用于：
依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；
若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取所述第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；
确定所述避险距离小于预设的第二距离阈值。
在上述实施例的基础上，控制模块303具体用于：
依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；
若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取所述第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；
依据所述至少两帧第一待识别图像，获取所述移动对象的移动速率；
依据所述避险距离和所述移动速率确定到达时间；
确定所述到达时间大于预设的避险时间。
在上述实施例的基础上，该装置还包括第一解锁模块，用于：
根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；
以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后控制所述车门解锁。
在上述实施例的基础上，该装置还包括第二解锁模块，用于：
根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；
以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后，再次获取所述车门周围的至少两帧第二待识别图像；
若所述第二待识别图像中不包含移动对象，或所述第二待识别图像中的移动对象位于以所述车门为参考点的预定范围外，则控制所述车门处于解锁状态。
在上述实施例的基础上，该装置还包括避让模块，用于：
获取第三待识别图像；其中，所述第三待识别图像为采集当前车辆后方的图像；
若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
在上述实施例的基础上，所述特种车辆包括救护车、消防车、警车和工程抢险车中的一种或组合。
在上述实施例的基础上，该所述告警的方式包括声音告警或在显示器上文字告警。
图4为本申请实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：接收车门开启请求，所述车门开启请求包括车门信息；接收车门开启请求，所述车门开启请求包括车门信息；依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
处理器401可以是一种集成电路芯片，具有信号处理能力。上述处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：接收车门开启请求，所述车门开启请求包括车门信息；接收车门开启请求，所述车门开启请求包括车门信息；依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收车门开启请求，所述车门开启请求包括车门信息；接收车门开启请求，所述车门开启请求包括车门信息；依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (14)
1.一种车辆安全识别方法，其特征在于，包括：
接收车门开启请求，所述车门开启请求包括车门信息；
依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；
若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
2.根据权利要求1所述的方法，其特征在于，所述第一待识别图像包含至少一个移动对象，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：
确定任一所述移动对象距所述车门的距离小于预设的第一距离阈值。
3.根据权利要求1所述的方法，其特征在于，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：
依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；
若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；
确定所述避险距离小于预设的第二距离阈值。
4.根据权利要求1所述的方法，其特征在于，确定所述移动对象位于以所述车门为参考点的预定范围内，包括：
依据所述至少两帧第一待识别图像，获取所述移动对象的移动方向；
若所述移动方向指向以所述车门为中心，从所述车门完全关闭至所述车门完全开启围成的范围内，获取第一帧第一待识别图像中的所述移动对象距所述车门的避险距离；
依据所述至少两帧第一待识别图像，获取所述移动对象的移动速率；
依据所述避险距离和所述移动速率确定到达时间；
确定所述到达时间大于预设的避险时间。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；
以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后控制所述车门解锁。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述至少两帧第一待识别图像确定所述移动对象到达所述车门的预测时长；
以第一帧第一待识别图像对应的采集时间点开始计时，在所述预测时长之后，再次获取所述车门周围的至少两帧第二待识别图像；
若所述第二待识别图像中不包含移动对象，或所述第二待识别图像中的移动对象位于以所述车门为参考点的预定范围外，则控制所述车门处于解锁状态。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第三待识别图像；其中，所述第三待识别图像为采集当前车辆后方的图像；
若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
8.根据权利要求7所述的方法，其特征在于，所述特种车辆包括救护车、消防车、警车和工程抢险车中的一种或组合。
9.根据权利要求7或8所述的方法，其特征在于，所述告警的方式包括声音告警或在显示器上文字告警。
10.一种车辆安全识别方法，其特征在于，包括：
获取第三待识别图像，其中，所述第三待识别图像为采集当前车辆后方的图像；
若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
11.一种车辆安全识别装置，其特征在于，包括：
请求接收模块，用于接收车门开启请求，所述车门开启请求包括车门信息；
第一图像获取模块，用于依据所述车门信息获取至少两帧第一待识别图像，所述第一待识别图像为所述车门信息对应的车门周围的图像；
控制模块，用于若所述第一待识别图像包含移动对象、且所述移动对象位于以所述车门为参考点的预定范围内，则响应所述车门开启请求，控制所述车门处于锁定状态。
12.一种车辆安全识别装置，其特征在于，包括：
第二图像获取模块，用于获取第三待识别图像，其中，所述第三待识别图像为采集当前车辆后方的图像；
告警模块，用于若所述第三待识别图像包括特种车辆，则发出告警；其中，所述特种车辆为预先设定的需要为其紧急避让的类型的车辆。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-10任一项所述的方法。
14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173014.XA CN113822219A (zh) | 2021-10-08 | 2021-10-08 | 车辆安全识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173014.XA CN113822219A (zh) | 2021-10-08 | 2021-10-08 | 车辆安全识别方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822219A true CN113822219A (zh) | 2021-12-21 |
Family
ID=78919919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111173014.XA Pending CN113822219A (zh) | 2021-10-08 | 2021-10-08 | 车辆安全识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822219A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107284355A (zh) * | 2017-06-16 | 2017-10-24 | 长安大学 | 一种安全车门开启处理方法及系统 |
| CN107503623A (zh) * | 2017-08-31 | 2017-12-22 | 北京汽车股份有限公司 | 车门的控制方法、控制系统和车辆 |
| CN107650792A (zh) * | 2017-10-09 | 2018-02-02 | 北京汽车股份有限公司 | 车辆开门提醒方法、系统及具有其的车辆 |
| CN109740433A (zh) * | 2018-11-29 | 2019-05-10 | 深圳市元征科技股份有限公司 | 一种车辆避让方法及车载终端 |
| CN111038381A (zh) * | 2019-12-23 | 2020-04-21 | 天津布尔科技有限公司 | 一种基于视觉的防止开车门碰撞的主动预警装置 |
-
2021
- 2021-10-08 CN CN202111173014.XA patent/CN113822219A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107284355A (zh) * | 2017-06-16 | 2017-10-24 | 长安大学 | 一种安全车门开启处理方法及系统 |
| CN107503623A (zh) * | 2017-08-31 | 2017-12-22 | 北京汽车股份有限公司 | 车门的控制方法、控制系统和车辆 |
| CN107650792A (zh) * | 2017-10-09 | 2018-02-02 | 北京汽车股份有限公司 | 车辆开门提醒方法、系统及具有其的车辆 |
| CN109740433A (zh) * | 2018-11-29 | 2019-05-10 | 深圳市元征科技股份有限公司 | 一种车辆避让方法及车载终端 |
| CN111038381A (zh) * | 2019-12-23 | 2020-04-21 | 天津布尔科技有限公司 | 一种基于视觉的防止开车门碰撞的主动预警装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10332401B2 (en) | Running vehicle alerting system and method | |
| CN109466488B (zh) | 一种车辆碰撞自动救援报警系统 | |
| CN107077795B (zh) | 用于探测车辆周围环境中出现的行驶障碍的辅助系统 | |
| CN111267728A (zh) | 车辆车门安全监控方法、系统、设备及存储介质 | |
| CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
| CN110770084A (zh) | 一种车辆监控系统及车辆监控方法 | |
| CN108615383B (zh) | 基于车间通信的汽车交通路口辅助通行系统及其控制方法 | |
| CN104859651A (zh) | 一种提高停车开门安全性的危险探测与预防方法 | |
| CN107399290A (zh) | 安全驾驶辅助系统及其控制方法 | |
| CN106080609A (zh) | 一种基于adas模块的安全驾驶的方法和系统 | |
| CN112832615A (zh) | 辅助乘员下车的安全开门方法、装置、设备及存储介质 | |
| KR20180060937A (ko) | 차량용 도어 제어 장치 및 방법 | |
| US20200160076A1 (en) | Evaluation system, evaluation method, and storage medium | |
| CN107415820A (zh) | 一种基于全景影像的开门安全系统 | |
| CN110901526A (zh) | 后排乘客下车的安全预警系统 | |
| CN218287576U (zh) | 车辆的开门预警系统及具有其的车辆 | |
| CN113022441A (zh) | 一种车辆盲区的检测方法、装置、电子设备及存储介质 | |
| CN115384540A (zh) | 一种车载型安全驾驶检测装置 | |
| CN113561983A (zh) | 一种车辆内人员智能安保检测系统及其检测方法 | |
| CN113239827A (zh) | 基于深度学习的智能防撞方法、系统、设备及存储介质 | |
| CN113822219A (zh) | 车辆安全识别方法、装置、电子设备及存储介质 | |
| CN108944676A (zh) | 一种基于图像处理的落车开门提醒装置及提醒方法 | |
| CN115366796A (zh) | 车门防撞系统、车门防撞方法、计算机程序产品和车辆 | |
| CN115131749A (zh) | 图像处理装置、图像处理方法以及计算机可读取存储介质 | |
| Kim et al. | Development of passenger safety system based on the moving object detection and test result on the real vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |