CN112172663A - 一种基于开车门的危险报警方法及相关设备 - Google Patents

一种基于开车门的危险报警方法及相关设备 Download PDF

Info

Publication number
CN112172663A
CN112172663A CN201910600589.1A CN201910600589A CN112172663A CN 112172663 A CN112172663 A CN 112172663A CN 201910600589 A CN201910600589 A CN 201910600589A CN 112172663 A CN112172663 A CN 112172663A
Authority
CN
China
Prior art keywords
alarm
target object
area
determining
door opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910600589.1A
Other languages
English (en)
Inventor
苏明哲
王银荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai OFilm Smart Car Technology Co Ltd
Original Assignee
Shanghai OFilm Smart Car Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai OFilm Smart Car Technology Co Ltd filed Critical Shanghai OFilm Smart Car Technology Co Ltd
Priority to CN201910600589.1A priority Critical patent/CN112172663A/zh
Publication of CN112172663A publication Critical patent/CN112172663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Abstract

本申请公开了一种基于开车门的危险报警方法及相关设备，包括：当检测到车辆的车门开启信号时，首先获取车辆的电子外后视镜采集到的成像图像；接着对成像图像进行目标检测，确定电子外后视镜的视角范围内的目标物体、以及目标物体的状态信息，状态信息包括行驶速度和位置信息；然后根据行驶速度，确定车辆相对目标物体的开门报警区域；最后根据位置信息，确定目标物体是否处于开门报警区域，并当目标物体处于开门报警区域时，按照预设的报警方式进行报警。采用本申请，可以有效防止开车门时车门和下车人员与其他物体发生碰撞，从而避免安全事故的发生。

Description

一种基于开车门的危险报警方法及相关设备
技术领域
本申请涉及汽车电子技术领域，尤其涉及一种基于开车门的危险报警方法及相关设备。
背景技术
随着车辆的普及，交通事故也发生率随着提高。其中，不当的车门打开行为是导致车门与其他物体(如自行车、电动车和行人)发生碰撞主要原因之一。为了防止不当的车门打开行为，车辆中专门为此设置了开门报警系统。目前，开门报警系统主要是基于雷达，也有少部分是基于摄像头。一方面，基于雷达的开门报警系统往往只能探测出移动物体的距离及速度，而无法区分移动物体的类型，不仅将导致报警策略过于频繁和谨慎、用户体验差，而且无法给用户有效的提醒信息。另一方面，基于特定摄像机的开门报警系统，可以通过一定的相机内参数、外参数调节获得移动物体的距离及速度等信息，可以克服雷达系统无法识别危险目标物体的类型从而导致报警策略无法取得良好的用户体验的问题，然而这样的开门报警系统仅能应用在理论验证中，无法作为实际产品进行应用，并且在车辆的生命周期中相机的内参数及外参数会发生变化，甚至是较大变化，这将引起相机模型的严重失真，从而导致造成测距功能的失效。
发明内容
本申请提供了一种基于开车门的危险报警方法及相关设备。可以有效防止开车门时车门和下车人员与其他物体发生碰撞，从而避免安全事故的发生。
本申请实施例第一方面提供了一种基于开车门的危险报警方法，包括：当检测到车辆的车门开启信号时，获取所述车辆的电子外后视镜采集到的成像图像；接着根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息；然后根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域；最后根据所述位置信息，确定所述目标物体是否处于所述开门报警区域；并当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警。通过电子外后视镜采集的成像图像来确定是否有造成安全隐患的目标物体以及该目标物体是否会导致安全事故，相比于基于雷达探测和特定摄像机的方法，可以降低开车门安全报警的成本、提高开车门安全报警的准确定
其中，所述根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域包括：当所述行驶速度为零时，将预设的绝对报警区域确定为所述开门报警区域，所述绝对报警区域为所述车辆周围与所述行驶速度无关的预设危险区域；当所述行驶速度不为零时，根据所述行驶速度和预设的报警时间确定所述开门报警区域。其中，根据目标物体的行驶速度来实时更新报警区域，可以进一步提高危险报警的准确性和安全预防效果。
其中，所述报警时间包括报警缓冲时间和报警响应时间中的至少一项；
所述根据所述行驶速度和预设的报警时间确定所述开门报警区域包括：首先根据所述行驶速度和所述报警缓冲时间，确定报警缓冲区域；和/或根据所述行驶速度和所述报警响应时间，确定报警响应区域；然后根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域。通过报警缓冲区域和报警响应区域，可以为相关人员提供足够的避险时间，从而避免安全事故的发生。
其中，所述根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域包括：确定所述目标物体进入所述视角范围的方式；当所述目标物体横向进入所述视角范围时，将所述绝对报警区域确定为所述开门报警区域；当所述目标物体纵向进入所述视角范围时，将所述绝对报警区域、所述报警缓冲区域和所述报警响应区域所组成的组合区域作为所述开门报警区域。通过对静止物体和移动物体进行区别对待，可以提高危险报警的准确性。
其中，所述成像图像包括第一成像图像和M帧第二成像图像，所述M为不小于1的整数；
所述根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息包括：按照预设的目标检测算法对所述第一成像图像进行目标检测，确定所述目标物、以及所述目标物体的位置信息；根据所述M帧第二成像图像，确定所述目标物体的行驶速度。其中，每帧第二成像图像均包含该目标物体，通过M帧第二成像图像来确定目标物体在连续的多个时间点上的位置可以确保所得到的行驶速度的准确性。
其中，所述根据所述M帧第二成像图像，确定所述行驶速度包括：根据所述M帧第二成像图像，确定所述目标物体的运动轨迹；根据所述运动轨迹，确定所述行驶速度。其中，M帧第二成像图像中包括出目标物体外的多个物体，通过运动轨迹，可以进一步提高所确定的行驶速度的准确性。
其中，所述根据所述M帧第二成像图像，确定所述目标物体的运动轨迹包括：根据所述M帧第二成像图像，确定至少一个物体对应的至少一条运动轨迹；；对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像的图像采集时间上的位置进行预测，得到位置预测信息；将所述位置信息与所述位置预测信息进行匹配；将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。通过电子外后视镜采集的多帧或全部的成像图像来联合分析目标物体的运动轨迹，可以达到追踪目标物体的目的，从而提高所确定的运动轨迹的准确性。
其中，所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标；
所述根据所述位置信息，确定所述目标物体是否位于所述开门报警区域包括：对所述第一成像图像进行距离标定得到距离查询表，所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系，所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离；将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配；从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离；根据查找到的实际距离，确定所述目标物体是否位于所述开门报警区域。通过建立距离查询表可以提高确定目标物体与车辆之间的实际距离的效率、从而提高报警的及时性。
其中，所述状态信息包括物体类别；
所述当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警包括：当所述目标物体处于所述开门报警区域时，按照所述报警方式呈现报警信息，所述报警信息包括所述物体类别，所述报警方式包括语音播报和图像显示中的至少一种。通过将目标物体的物体类别告知驾驶员，可以帮助驾驶员采取更有效的措施来避免与目标物体发生摩擦和碰撞，进一步提高开车门的安全性。
相应地，本申请实施例第二方面提供了一种基于开车门的危险报警装置，包括：
获取模块，用于当检测到车辆的车门开启信号时，获取所述车辆的电子外后视镜采集到的成像图像；
检测模块，用于根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息；
确定模块，用于根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域；
报警模块，用于根据所述位置信息，确定所述目标物体是否处于所述开门报警区域；
所述报警模块，用于当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警。
其中，所述确定模块还用于：
当所述行驶速度为零时，将预设的绝对报警区域确定为所述开门报警区域，所述绝对报警区域为所述车辆周围与所述行驶速度无关的预设危险区域；
当所述行驶速度不为零时，根据所述行驶速度和预设的报警时间确定所述开门报警区域。。
其中，所述报警时间包括报警缓冲时间和报警响应时间中的至少一项；
所述确定模块还用于：
根据所述行驶速度和所述报警缓冲时间，确定报警缓冲区域；和/或根据所述行驶速度和所述报警响应时间，确定报警响应区域
根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域。
其中，所述确定模块还用于：
确定所述目标物体进入所述视角范围的方式；
当所述目标物体横向进入所述视角范围时，将所述绝对报警区域确定为所述开门报警区域；
当所述目标物体纵向进入所述视角范围时，将所述绝对报警区域、所述报警缓冲区域和所述报警响应区域所组成的组合区域作为所述开门报警区域。
其中，所述成像图像包括第一成像图像和M帧第二成像图像，所述M为不小于1的整数；
所述检测模块还用于：
按照预设的目标检测算法对所述第一成像图像进行目标检测，确定所述目标物、以及所述目标物体的位置信息；
根据所述M帧第二成像图像，确定所述目标物体的行驶速度。
其中，所述检测模块还用于：
根据所述M帧第二成像图像，确定所述目标物体的运动轨迹；
根据所述运动轨迹，确定所述行驶速度。
其中，所述检测模块还用于：
根据所述M帧第二成像图像，确定至少一个物体对应的至少一条运动轨迹；
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像的图像采集时间上的位置进行预测，得到位置预测信息；
将所述位置信息与所述位置预测信息进行匹配；
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
其中，所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标；
所述确定模块还用于：
对所述第一成像图像进行距离标定得到距离查询表，所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系，所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离；
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配；
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离；
根据查找到的实际距离，确定所述目标物体是否位于所述开门报警区域。
其中，所述状态信息包括物体类别；
所述报警模块还用于：
当所述目标物体处于所述开门报警区域时，按照所述报警方式呈现报警信息，所述报警信息包括所述物体类别，所述报警方式包括语音播报和图像显示中的至少一种。
相应地，本申请实施例提供了一种电子设备，包括：处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行本申请实施例第一方面公开的基于开车门的危险报警方法。
相应地，本申请实施例提供了一种存储介质，其中，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例第一方面公开的基于开车门的危险报警方法。
相应地，本申请实施例提供了一种车辆，其中，所述车辆包括基于开车门的危险报警设备，所述基于开车门的危险报警设备用于执行本申请实施例第一方面公开的基于开车门的危险报警方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于开车门的危险报警方法的流程示意图；
图2是本申请实施例提供的一种电子外后视镜的结构示意图；
图3是本申请实施例提供的一种目标检测结果的示意图；
图4是本申请实施例提供的一种图像像素的示意图；
图5是本申请实施例提供的一种运动轨迹的确定方法的流程示意图；
图6是本申请实施例提供的一种运动轨迹的示意图；
图7是本申请实施例提供的一种基于开车门的危险报警区域的示意图；
图8是本申请实施例提供的一种横/纵向距离的示意图；
图9是本申请实施例提供的一种成像图像的距离标定的示意图；
图10是本申请实施例提供的一种电子外后视镜的视野范围的示意图；
图11是本申请实施例提供的另一种成像图像的距离标定的示意图；
图12是本申请实施例提供的另一种基于开车门的危险报警方法的示意图；
图13是本申请实施例提供的另一种开门报警区域的示意图；
图14是本申请实施例提供的一种目标物体纵向进入报警区域的示意图；
图15是本申请实施例提供的一种目标物体横向进入报警区域的示意图；
图16是本申请实施例提供的一种基于开车门的危险报警装置的结构示意图；
图17是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1是本申请实施例提供的一种基于开车门的危险报警方法的流程示意图。如图所示，本申请实施例中的方法包括：
S101，当检测到车辆的车门开启信号时，获取车辆的电子外后视镜采集到的成像图像。
具体实现中，如图2所示，电子外后视镜为安装在车辆左右两侧外的电子化的后视镜。与普通的平面镜、球面镜和双曲率镜面等材质的后视镜不同，电子外后视镜可以为车载规格的摄像头，可以采集对应视野范围内的现实世界的成像图像。在车辆内部可以设置显示设备用以显示电子外后视镜采集到的成像图像以方便驾驶员查看。其中，一旦车辆启动，电子外后视镜就开始工作，即开始采集成像图像，从而得到连续的视频图像。视频图像中包括N帧成像图像，N通常为数值较大的整数，其中，成像图像可以是指电子外后视镜从开始工作到当前时间所采集到的每一帧成像图像。
需要说明的是，由于车辆的左右两侧的电子外后视镜的造型相同、且安装位置完全对称，因此本申请实施例所提供的方法同时适用于左右两侧的电子外后视镜。
S102，根据所述成像图像，确定电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息。
具体实现中，成像图像包括当前时间采集的一帧第一成像图像以及当前时间之前采集的M帧第二成像图像。在本步骤，一方面，可以但不限于采用帧间作差法、背景消除法、光流法和深度学习算法(如YOLOv2算法)对第一成像图像进行检测，确定第一成像图向中是否包含目标物体，其中，目标物体可以是指其他车辆，也可以是指道路上的路障和其他障碍物，还可以是指行人。如图3所示，若包含目标物体，则确定每个目标物体所在的区域，并将该区域中的预设位置(如左下顶点)的第一图像像素的像素坐标确定为目标物体的位置信息，其中，为了便于确定位置信息，可以将目标物体所在的区域用2维矩形框或3维立体框框出，从而可以将2维矩形框或3维立体框的一个顶点(如左下顶点)的像素坐标、或其中一条边(如下底边)的中心点的像素坐标、或3维立体框的下底面的中心点的像素坐标作为目标物体的位置信息。其中，如图4所示，每帧成像图像可以看作是由许多具有明确的位置和色彩值的小方块组成的，而这些小方块的颜色和位置就决定该图像所呈现出来的样子，其中，每个小方块就是一个图像像素，图像像素的像素坐标可以为该像素所在的行数和列数，如(m,n)表示第m行和第n列的图像像素。
另一方面，可以首先根据M帧第二成像图像，确定目标物体的运动轨迹。其中，M为大于1的整数。如图5所示，主要包括以下几个步骤：
(1)根据M帧第二成像图像，确定至少一个物体对应的至少一条运行轨迹，其中，如图6所示，可以根据M帧第二成像图像，将前后不同帧的同一物体的位置信息进行数据关联，相当于对M帧第二成像图像中的每个物体进行追踪，得到至少一条运动轨迹。
(2)对目标物体与至少一条运动轨迹中的每条运动轨迹进行关联。其中，可以但不限于根据卡尔曼算法对每条运动轨迹对应的物体在图像采集时间上的位置进行预测，得到位置预测信息；然后构建损失矩阵，并利用匈牙利算法将目标物体的位置信息与每条运动轨迹的位置预测信息进行匹配。
(3)首先，当目标物体的位置信息与位置预测信息相匹配，即目标物体与该位置预测信息所属的运动轨迹关联成功时，说明目标物体与该运动轨迹对应的物体为同一物体，因此可以将与位置信息相匹配的位置预测信息所属的运动轨迹确定为目标物体的运动轨迹。在目标物体与该运动轨迹关联成功后，可以根据目标物体的位置信息对与之关联的运动轨迹进行更新。其次，在第一成像图像中可以检测到多个目标物体，因此可能存在某一个或几个目标物体的位置信息与所述至少一条运动轨迹中任意一条对应的位置预测信息均不匹配，即目标物体无法与任意一条运动轨迹关联成功的情况，则此时可以为所述某一个或几个目标物体中的每个目标物体建立一条新的运动轨迹，并将某一个或几个目标物体的所在的位置作为对应的新的运动轨迹的起点，比如：某辆卡车是在第一成像图像对应的图像采集时间上进入电子外后视镜的视野范围的，即该卡车相对于所述的至少一个物体来说是一个新的物体，则可以针对该卡车建立新的运动轨迹，并将该卡车当前所在的位置作为新的运动轨迹的起点。第三方面，还可能存在所述的至少一条运动轨迹中的一条或几条运动轨迹无法与从第一成像图像中检测出来的任意一个目标物体关联成功的情况，此时，也需要对这一条或几条运动轨迹进行更新，其中，若某条运动轨迹已经连续N次未关联到目标物体，即在连续采集的N帧成像图像中均未关联到目标物体，则将该条运动轨迹删除，其中，N可以1、2、3、4等任意整数。例如：在电子外后视镜采集到的第1-100帧成像图像，持续跟踪到了某辆卡车，并得到该卡车的运动轨迹，但在随后采集的第100-105帧图像中，均未检测到与该运动轨迹相关联匹配的目标物体，即未跟踪到该卡车，则可以确定该卡车已经不在电子外后视镜的视野范围，比如该卡车在上一个路口进行了左拐弯，已经不与本车辆行驶在同一条道路了。因此，可以将该卡车的运动轨迹清空。
然后，根据运动轨迹，确定目标物体的行驶速度。其中，该行驶速度可以但不限于为目标物体的平均行驶速度。因此。可以先根据电子外后视镜的图像采集频率、以及根据运动轨迹来确定从第m帧图像到第n帧图像目标物体的行驶距离，m和n为大于1的整数；再根据图像采集频率和行驶距离确定行驶速度。
S103，根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域。
具体实现中，可以首先确定目标物体的行驶速度是否为零，即确定目标物体是否处于静止状态。若是，则将预设的绝对报警区域确定为开门报警区域。其中，绝对报警区域为车辆周围与目标物体的行驶速度无关的预设危险区域，即无论目标物体的行驶速度为多少，只要目标物体进入绝对报警区域，都需立即进行危险报警。例如，如图7所示，车辆左侧的绝对报警区域可以是为线A、线B、线H以及线G所围成的区域(右侧的绝对报警区域与之对称)。线A平行于车辆的前缘，并位于车辆电子后视镜可视范围的最近处。线B平行于车辆的后缘，并位于车门的后缘处。线H平行于车辆的中心线，并位于车辆车身左侧最外缘的左边，与左侧最外缘横向距离相距s1米(m)。线G平行于车辆的中心线，并位于车辆车身(不包括外后视镜)左侧的最外缘。其中，s1的实际数值可以由驾驶员自行设置。
S104，根据所述位置信息，确定所述目标物体是否位于所述开门报警区域。
具体实现中，根据目标物体的位置信息确定目标物体是否位于开门报警区域具体包括以下几个步骤：
首先，如图3所示，在现实世界中相互平行的车道线在成像图像中相交与远处的一个点，因此需要对第一成像图像作现实世界的距离标定，其中，包括横向距离的标定和纵向距离的标定，如图8所示，横向距离是指车辆1的车身最外缘(不包括后视镜)与车辆2的车身最外缘(不包括后视镜)之间的距离，纵向距离是指车辆1前部位于第九十五百分位眼椭圆的中心与车辆2最前端之间的距离。按照纵向距离和横向距离对第一成像图像进行距离标定，得到如图9所示的标定结果，其中，l0、l1、l2、l3、h0、h1、h2和h3为标定线，l0、l1、l2和l3可以看作平行的车道线，也可以看作平行于自身车辆的中心线，并分别距离车身左侧最外缘0米(m)、0.5m、3m和6m，即与车辆的横向距离分别为0m、0.5m、3m和6m。h1、h2、h3可看作平行于车辆后缘，并分别距离车辆后缘3.0m、10.0m和30.0m处，即与车辆的纵向距离分别为0m、0.5m、3m和6m。左下角的灰色区域为车身所在区域，O点为现实世界中平行的车道线在图像中相交的点，P点为电子外后视镜的安装点。此外，h0为电子外后视镜视野区域距离后视镜最近处，如图10所示，H1为电子外后视镜的安装高度，θ为电子外后视镜的视角，则电子外后视镜视野区域与后视镜之间的最小距离H2为
Figure BDA0002119150060000101
其中，tan为正切函数。此外，由(1)式可知电子外后视镜的视野范围越大H2越小。
需要说明的是，除了l0、l1、l2、l3、h0、h1、h2和h3之外，还可以标定更多的li(i＝0,1,2,...,n)和hi(i＝0,1，2,...,n)。例如，可以每间隔1m的横向距离/纵向距离标定一条li和hi。
接着，可以但不限于将li和hi的交点处的图像像素作为第二图像像素，并根据第二图像像素的像素坐标以及l0、l1、…和li、以及h0、h1、…和hi在现实世界中的实际距离，建立距离查询表，该距离查询表中包括像素坐标与实际距离之间的关系，其中，像素坐标对应的实际距离为现实世界中该像素坐标对应的图像像素对应的位置与车辆之间的距离，包括横向距离和纵向距离。例如，如图11所示，图像像素1、2和3的像素坐标分别为(m1,n1)、(m2,n2)和(m3,n3)，其中，l0、l1、l2、l3和l4分别距离车身左侧最外缘0m、0.5m、3m、6m和1.5m以及h1、h2、h3和h4分别距离车辆后缘3.0m、10.0m、30.0m和1.5m。因此，可以得到如表1所示的距离查询表，其中，像素坐标(m1,n1)对应的实际距离为(0,30)，其中，0为横向距离，30为纵向距离。像素坐标(m2,n2)和(m3,n3)对应的实际距离分别为(0.5,10)和(1.5,1.5)。
表1.距离查询表
像素坐标 实际距离
(m1,n1) (0,30)
(m2,n2) (0.5,10)
(m3,n3) (1.5,1.5)
然后，先将目标物体的位置信息，也就是目标物体所在区域中预设位置的第一图像像素的第一像素坐标与距离查询表中的每个第二像素坐标进行匹配，其中，可以但不限于计算两个像素坐标之间的距离，将距离最小的第二像素坐标确定为与第一像素坐标相匹配的第二像素坐标。
最后，从所述距离查询表中查找与第一像素坐标相匹配的第二像素坐标对应的实际距离，并根据查找到的实际距离，确定目标物体是否位于报警区域。
例如：确定与第一像素坐标相匹配的第二像素坐标为(m,n)，则可以从距离查询表中查找到(m,n)对应的实际距离为(0.8,0.1)，即目标物体与车辆的横为0.8m、纵向距离为0.1m，假设第一成像图像来自车辆的左侧电子外后视镜，则如图7所示，因为车辆的左侧开门报警区域的边界线H与车辆的横向距离为1.2m、以及线B与车辆的纵向0.2，0.8<1.2、0.1<0.2，所以可以确定目标物体已进入左侧开门报警区域。
S105，当所述目标物体位于所述开门报警区域时，按照预设的报警方式进行报警。
具体实现中，预设的报警方式可以包括语音播报和图像显示中的至少一种，还可以包括闪烁灯、鸣笛等等，其中，可以同时使用两种或两种以上的报警方式进行报警。例如，可以在车辆外部设置闪烁灯，并在目标物体进入开门报警区域时启动闪烁灯，以提醒其他车辆的驾驶员避让，同时在车辆内部的显示界面上显示危险报警信息，以提示本车辆的车内人员在打开车门和下车时注意安全。
在本申请实施例中，当检测到车辆的车门开启信号时，首先获取车辆的电子外后视镜采集到的成像图像；接着对成像图像进行目标检测，确定电子外后视镜的视角范围内的目标物体、以及目标物体的状态信息，状态信息包括行驶速度和位置信息；然后根据行驶速度，确定车辆相对标物体的开门报警区域；最后根据位置信息，确定目标物体是否处于开门报警区域，并当目标物体处于开门报警区域时，按照预设的报警方式进行报警。可以有效防止开车门时车门和车下车人员与其他物体发生碰撞，从而避免安全事故的发生。
请参考图12，图12是本申请实施例提供的另一种基于开车门的危险报警的方法的流程示意图。如图所示，本申请实施例中的方法包括：
S1201，获取车辆的电子外后视镜采集到的成像图像。本步骤与上一实施例中的S101相同，本步骤不再赘述。
S1202，根据所述成像图像，确定电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息。本步骤与上一实施例中的S102相同，本步骤不再赘述。
S1203，确定所述行驶速度是否为零。若是，则将预设的绝对报警区域作为开门报警区域。否则执行S1203。
S1204，根据所述行驶速度和预设的报警时间，确定开门报警区域。
具体实现中，报警时间可以包括报警响应时间和报警缓冲时间中的至少一项。首先，可以根据行驶速度和报警响应时间，确定车辆周围的一块报警响应区域、以及根据行驶速度和报警缓冲时间，确定报警缓冲区域。其中，可以以如图7所示的绝对报警区域为基础，向车辆的后缘扩展新的区域作为报警缓冲区域和/或报警响应区域，并且扩展幅度由行驶速度和报警响应时间/报警缓冲时间来确定。例如，如图13所示，可以将线B、线C、线H和线G所围成的区域作为报警缓冲区域，其中，线C与线B之间的距离可以等于目标物体的行驶速度与报警缓冲时间的乘积。可以将线D、线C、线H和线G所围成的区域作为报警响应区域，其中，线D与线B之间的距离可以等于目标物体的行驶速度与报警响应时间的乘积。在实际中，报警缓冲时间和报警响应时间可以由车主自行设置。也可以由系统根据检测到的目标物体的行驶速度实时确定。
然后，根据预设的绝对报警区域、报警缓冲区域以及报警响应区域中的至少一项确定开门报警区域。其中，可以先确定目标物体进入车辆的电子外后视镜的视角范围的方式，其中，可以包括如图14所示横向进入和如图15所示纵向进入两种方式，再根据所确定的方式和上述三种区域确定开门报警区域。具体包括以下两种情况：
(1)如图13所示，当目标物体纵向进入电子外后视镜的视角范围时，可以将由绝对报警区域、报警缓冲区域以及报警响应区域所组成的组合区域作为车辆的开门报警区域。
(2)当目标物体横向进入电子外后视镜的视角范围时，此时只要目标物体不进入绝对报警区域，目标物体将不会与车门和从车门处下车的人员碰撞。例如，如果目标车物体任何部位均未处于图13中的绝对报警区域，且横向通过图13中的报警缓冲区域或报警响应区域时，目标物体不会对本车辆的开门操作造成威胁，则不应发出开车门危险报警。因此，此时可以将绝对报警区域作为车辆的开门报警区域。
上述内容中，在目标物体处于报警响应区域进行报警的情况下，报警响应区域的作用在于：给予目标物体的操控者和本车辆的车内人员避险反应时间。例如，电瓶车的车主前方有车辆时及时刹车、减速，或者本车辆的车内人员在收到报警信号后及时关闭车门。而报警缓冲区域则用于进一步确保目标物体(如电瓶车和自行车)有足够的时间和距离来进行安全刹车和减速。例如，电瓶车的车主一旦发现前方车辆的报警灯闪烁，即本电瓶车已经进入该车辆的报警缓冲区，则立即开始减速。
S1205，根据所述位置信息，确定所述目标物体是否位于所述开门报警区域。本步骤与上一实施例中的S104相同，本步骤不再赘述。
S1206，当所述目标物体位于所述开门报警区域时，按照预设的报警方式进行报警。
具体实现中，预设的报警方式可以包括语义播报和图像显示中的至少一种，还可以包括闪烁灯、鸣笛等等，其中，可以同时使用两种或两种以上的报警方式进行报警。
可选的，从成像图像中检测出目标物体的状态信息还可以包括物体类别，其中，物体类别可以但不限于包括行人、障碍物(有危害的例如石块，无危害的例如塑料袋等)、电瓶车、自行车、小汽车(car)、卡车(truck)。因此，可以按照预设的报警方式呈现报警信息，其中，报警信息中包括物体类别。例如，当行人进入右侧的开门报警区域时，可以语音播报“请注意，右侧有行人已进入右侧开门报警区域！”，还可以在车载显示设备上显示报警信息“Warming，Right：Pedestrian”。又如，可以在目标物体为行人时，控制报警闪烁灯的颜色为黄色，以及在目标物体为电瓶车时，控制报警闪烁灯的颜色为蓝色。
在本申请实施例中，当检测到车辆的车门开启信号时，首先获取车辆的电子外后视镜采集到的成像图像；接着对成像图像进行目标检测，确定电子外后视镜的视角范围内的目标物体、以及目标物体的状态信息，状态信息包括行驶速度、位置信息以及行驶方向；然后根据行驶速度和行驶方向，确定车辆相对标物体的开门报警区域；最后根据位置信息，确定目标物体是否处于开门报警区域，并当目标物体处于开门报警区域时，按照预设的报警方式进行报警。通过目标物体的多维运动状态信息实时更新车辆的开门报警区域，可以有效提高危险报警的准确性，从而提高为危险规避的有效性。
请参考图16，图16是本申请实施例提供的一种基于开车门的危险报警装置的结构示意图。如图所示，本申请实施例中的装置包括：
获取模块1601，用于当检测到车辆的车门开启信号时，获取车辆的电子外后视镜采集到的成像图像。
具体实现中，如图2所示，电子外后视镜为安装在车辆左右两侧外的电子化的后视镜。与普通的平面镜、球面镜和双曲率镜面等材质的后视镜不同，电子外后视镜可以为车载规格的摄像头，可以采集对应视野范围内的现实世界的成像图像。在车辆内部可以设置显示设备用以显示电子外后视镜采集到的成像图像以方便驾驶员查看。其中，一旦车辆启动，电子外后视镜就开始工作，即开始采集成像图像，从而得到连续的视频图像。视频图像中包括N帧成像图像，N通常为数值较大的整数，其中，成像图像可以是指电子外后视镜从开始工作到当前时间所采集到的每一帧成像图像。
检测模块1602，用于根据所述成像图像，确定电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息。
具体实现中，成像图像包括当前时间采集的一帧第一成像图像以及当前时间之前采集的M帧第二成像图像。在本步骤，一方面，可以但不限于采用帧间作差法、背景消除法、光流法和深度学习算法(如YOLOv2算法)对第一成像图像进行检测，确定第一成像图向中是否包含目标物体，其中，目标物体可以是指其他车辆，也可以是指道路上的路障和其他障碍物，还可以是指行人。如图3所示，若包含目标物体，则确定每个目标物体所在的区域，并将该区域中的预设位置(如左下顶点)的第一图像像素的像素坐标确定为目标物体的位置信息，其中，为了便于确定位置信息，可以将目标物体所在的区域用2维矩形框或3维立体框框出，从而可以将2维矩形框或3维立体框的一个顶点(如左下顶点)的像素坐标、或其中一条边(如下底边)的中心点的像素坐标、或3维立体框的下底面的中心点的像素坐标作为目标物体的位置信息。其中，如图4所示，每帧成像图像可以看作是由许多具有明确的位置和色彩值的小方块组成的，而这些小方块的颜色和位置就决定该图像所呈现出来的样子，其中，每个小方块就是一个图像像素，图像像素的像素坐标可以为该像素所在的行数和列数，如(m,n)表示第m行和第n列的图像像素。
另一方面，可以首先根据M帧第二成像图像，确定目标物体的运动轨迹。其中，M为大于1的整数。如图5所示，主要包括以下几个步骤：
(1)根据M帧第二成像图像，确定至少一个物体对应的至少一条运行轨迹，其中，如图6所示，可以根据M帧第二成像图像，将前后不同帧的同一物体的位置信息进行数据关联，相当于对M帧第二成像图像中的每个物体进行追踪，得到至少一条运动轨迹。
(2)对目标物体与至少一条运动轨迹中的每条运动轨迹进行关联。其中，可以但不限于根据卡尔曼算法对每条运动轨迹对应的物体在图像采集时间上的位置进行预测，得到位置预测信息；然后构建损失矩阵，并利用匈牙利算法将目标物体的位置信息与每条运动轨迹的位置预测信息进行匹配。
(3)首先，当目标物体的位置信息与位置预测信息相匹配，即目标物体与该位置预测信息所属的运动轨迹关联成功时，说明目标物体与该运动轨迹对应的物体为同一物体，因此可以将与位置信息相匹配的位置预测信息所属的运动轨迹确定为目标物体的运动轨迹。在目标物体与该运动轨迹关联成功后，可以根据目标物体的位置信息对与之关联的运动轨迹进行更新。其次，在第一成像图像中可以检测到多个目标物体，因此可能存在某一个或几个目标物体的位置信息与所述至少一条运动轨迹中任意一条对应的位置预测信息均不匹配，即目标物体无法与任意一条运动轨迹关联成功的情况，则此时可以为所述某一个或几个目标物体中的每个目标物体建立一条新的运动轨迹，并将某一个或几个目标物体的所在的位置作为对应的新的运动轨迹的起点，比如：某辆卡车是在第一成像图像对应的图像采集时间上进入电子外后视镜的视野范围的，即该卡车相对于所述的至少一个物体来说是一个新的物体，则可以针对该卡车建立新的运动轨迹，并将该卡车当前所在的位置作为新的运动轨迹的起点。第三方面，还可能存在所述的至少一条运动轨迹中的一条或几条运动轨迹无法与从第一成像图像中检测出来的任意一个目标物体关联成功的情况，此时，也需要对这一条或几条运动轨迹进行更新，其中，若某条运动轨迹已经连续N次未关联到目标物体，即在连续采集的N帧成像图像中均未关联到目标物体，则将该条运动轨迹删除，其中，N可以1、2、3、4等任意整数。
然后，根据运动轨迹，确定目标物体的行驶速度。其中，该行驶速度可以但不限于为目标物体的平均行驶速度。因此。可以先根据电子外后视镜的图像采集频率、以及根据运动轨迹来确定从第m帧图像到第n帧图像目标物体的行驶距离，m和n为大于1的整数；再根据图像采集频率和行驶距离确定行驶速度。
确定模块1603，用于根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域。
具体实现中，可以首先确定目标物体的行驶速度是否为零，即确定目标物体是否处于静止状态。若是，则将预设的绝对报警区域确定为开门报警区域。其中，绝对报警区域为车辆周围与行驶速度无关的预设危险区域。例如，如图7所示，车辆左侧的绝对报警区域可以是为线A、线B、线H以及线G所围成的区域(右侧的绝对报警区域与之对称)。线A平行于车辆的前缘，并位于车辆电子后视镜可视范围的最近处。线B平行于车辆的后缘，并位于车门的后缘处。线H平行于车辆的中心线，并位于车辆车身左侧最外缘的左边，与左侧最外缘横向距离相距s1 m。线G平行于车辆的中心线，并位于车辆车身(不包括外后视镜)左侧的最外缘。其中，s1的实际数值可以由驾驶员自行设置。
报警模块1604，用于根据所述位置信息，确定所述目标物体是否位于所述开门报警区域。
具体实现中，根据目标物体的位置信息确定目标物体是否位于开门报警区域具体包括以下几个步骤：
首先，如图3所示，在现实世界中相互平行的车道线在成像图像中相交与远处的一个点，因此需要对第一成像图像作现实世界的距离标定，其中，包括横向距离的标定和纵向距离的标定，如图8所示，横向距离是指车辆1的车身最外缘(不包括后视镜)与车辆2的车身最外缘(不包括后视镜)之间的距离，纵向距离是指车辆1前部位于第九十五百分位眼椭圆的中心与车辆2最前端之间的距离。按照纵向距离和横向距离对第一成像图像进行距离标定，得到如图9所示的标定结果，其中，l0、l1、l2、l3、h0、h1、h2和h3为标定线，l0、l1、l2和l3可以看作平行的车道线，也可以看作平行于自身车辆的中心线，并分别距离车身左侧最外缘0米(m)、0.5m、3m和6m，即与车辆的横向距离分别为0m、0.5m、3m和6m。h1、h2、h3可看作平行于车辆后缘，并分别距离车辆后缘3.0m、10.0m和30.0m处，即与车辆的纵向距离分别为0m、0.5m、3m和6m。左下角的灰色区域为车身所在区域，O点为现实世界中平行的车道线在图像中相交的点，P点为电子外后视镜的安装点。此外，h0为电子外后视镜视野区域距离后视镜最近处，如图10所示，H1为电子外后视镜的安装高度，θ为电子外后视镜的视角，则电子外后视镜视野区域与后视镜之间的最小距离H2为，H2的计算公式如式(1)所示。此外，由(1)式可知电子外后视镜的视野范围越大H2越小。
接着，可以但不限于将li和hi的交点处的图像像素作为第二图像像素，并根据第二图像像素的像素坐标以及l0、l1、…和li、以及h0、h1、…和hi在现实世界中的实际距离，建立距离查询表，该距离查询表中包括像素坐标与实际距离之间的关系，其中，像素坐标对应的实际距离为现实世界中该像素坐标对应的图像像素对应的位置与车辆之间的距离，包括横向距离和纵向距离。
然后，先将目标物体的位置信息，也就是目标物体所在区域中预设位置的第一图像像素的第一像素坐标与距离查询表中的每个第二像素坐标进行匹配，其中，可以但不限于计算两个像素坐标之间的距离，将距离最小的第二像素坐标确定为与第一像素坐标相匹配的第二像素坐标。
最后，从所述距离查询表中查找与第一像素坐标相匹配的第二像素坐标对应的实际距离，并根据查找到的实际距离，确定目标物体是否位于报警区域。
报警模块1604，还用于当所述目标物体位于所述开门报警区域时，按照预设的报警方式进行报警。
具体实现中，预设的报警方式可以包括语音播报和图像显示中的至少一种，还可以包括闪烁灯、鸣笛等等，其中，可以同时使用两种或两种以上的报警方式进行报警。例如，可以在车辆外部设置闪烁灯，并在目标物体进入开门报警区域时启动闪烁灯，以提醒其他车辆的驾驶员避让，同时在车辆内部的显示界面上显示危险报警信息，以提示本车辆的车内人员在打开车门和下车时注意安全。
可选的，确定模块1603还用于根据所述行驶速度和预设的报警时间，确定开门报警区域。
具体实现中，报警时间可以包括报警响应时间和报警缓冲时间中的至少一项。首先，可以根据行驶速度和报警响应时间，确定车辆周围的一块报警响应区域、以及根据行驶速度和报警缓冲时间，确定报警缓冲区域。其中，可以以如图7所示的绝对报警区域为基础，向车辆的后缘扩展新的区域作为报警缓冲区域和/或报警响应区域，并且扩展幅度由行驶速度和报警响应时间/报警缓冲时间来确定。例如，如图13所示，可以将线B、线C、线H和线G所围成的区域作为报警缓冲区域，其中，线C与线B之间的距离可以等于目标物体的行驶速度与报警缓冲时间的乘积。可以将线D、线C、线H和线G所围成的区域作为报警响应区域，其中，线D与线B之间的距离可以等于目标物体的行驶速度与报警响应时间的乘积。在实际中，报警缓冲时间和报警响应时间可以由车主自行设置。也可以由系统根据检测到的目标物体的行驶速度实时确定。
然后，根据预设的绝对报警区域、报警缓冲区域以及报警响应区域中的至少一项确定开门报警区域。其中，可以先确定目标物体进入车辆的电子外后视镜的视角范围的方式，其中，可以包括如图14所示横向进入和如图15所示纵向进入两种方式，再根据所确定的方式和上述三种区域确定开门报警区域。具体包括以下两种情况：
(1)如图13所示，当目标物体纵向进入电子外后视镜的视角范围时，可以将由绝对报警区域、报警缓冲区域以及报警响应区域所组成的组合区域作为车辆的开门报警区域。
(2)当目标物体横向进入电子外后视镜的视角范围时，此时只要目标物体不进入绝对报警区域，目标物体将不会与车门和从车门处下车的人员碰撞。例如，如果目标车物体任何部位均未处于图13中的绝对报警区域，且横向通过图13中的报警缓冲区域或报警响应区域时，目标物体不会对本车辆的开门操作造成威胁，则不应发出开车门危险报警。因此，此时可以将绝对报警区域作为车辆的开门报警区域。
可选的，从成像图像中检测出目标物体的状态信息还可以包括物体类别，。报警模块104。还用于可以按照预设的报警方式呈现报警信息，其中，报警信息中包括物体类别
在本申请实施例中，当检测到车辆的车门开启信号时，首先获取车辆的电子外后视镜采集到的成像图像；接着对成像图像进行目标检测，确定电子外后视镜的视角范围内的目标物体、以及目标物体的状态信息，状态信息包括行驶速度、位置信息以及行驶方向；然后根据行驶速度和行驶方向，确定车辆相对标物体的开门报警区域；最后根据位置信息，确定目标物体是否处于开门报警区域，并当目标物体处于开门报警区域时，按照预设的报警方式进行报警。通过目标物体的多维运动状态信息实时更新车辆的开门报警区域，可以有效提高危险报警的准确性，从而提高为危险规避的有效性。
请参考图17，图17是本申请实施例提供的一种电子设备的结构示意图。如图所示，该电子设备可以包括：至少一个处理器1701，例如CPU，至少一个通信接口1702，至少一个存储器1703，至少一个总线1704。其中，总线1704用于实现这些组件之间的连接通信。其中，本申请实施例中电子设备的通信接口1702是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他节点设备进行信令或数据的通信。存储器1703可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1703可选的还可以是至少一个位于远离前述处理器1701的存储装置。存储器1703中存储一组程序代码，且处理器1701用于调用存储器中存储的程序代码，用于执行以下操作：
当检测到车辆的车门开启信号时，获取所述车辆的电子外后视镜采集到的成像图像；
根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息；
根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域；
根据所述位置信息，确定所述目标物体是否处于所述开门报警区域；
当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警。
其中，处理器1701还用于执行如下操作步骤：
当所述行驶速度为零时，将预设的绝对报警区域确定为所述开门报警区域，所述绝对报警区域为所述车辆周围与所述行驶速度无关的预设危险区域；
当所述行驶速度不为零时，根据所述行驶速度和预设的报警时间确定所述开门报警区域。。
其中，所述报警时间包括报警缓冲时间和报警响应时间中的至少一项；
处理器1701还用于执行如下操作步骤：
根据所述行驶速度和所述报警缓冲时间，确定报警缓冲区域；和/或根据所述行驶速度和所述报警响应时间，确定报警响应区域
根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域。
其中，处理器1701还用于执行如下操作步骤：
确定所述目标物体进入所述视角范围的方式；
当所述目标物体横向进入所述视角范围时，将所述绝对报警区域确定为所述开门报警区域；
当所述目标物体纵向进入所述视角范围时，将所述绝对报警区域、所述报警缓冲区域和所述报警响应区域所组成的组合区域作为所述开门报警区域。
其中，所述成像图像包括第一成像图像和M帧第二成像图像，所述M为不小于1的整数；
处理器1701还用于执行如下操作步骤：
按照预设的目标检测算法对所述第一成像图像进行目标检测，确定所述目标物、以及所述目标物体的位置信息；
根据所述M帧第二成像图像，确定所述目标物体的行驶速度。
其中，处理器1701还用于执行如下操作步骤：
根据所述M帧第二成像图像，确定所述目标物体的运动轨迹；
根据所述运动轨迹，确定所述行驶速度。
其中，处理器1701还用于执行如下操作步骤：
根据所述M帧第二成像图像，确定至少一个物体对应的至少一条运动轨迹；
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像的图像采集时间上的位置进行预测，得到位置预测信息；
将所述位置信息与所述位置预测信息进行匹配；
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
其中，所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标；
处理器1701还用于执行如下操作步骤：
对所述第一成像图像进行距离标定得到距离查询表，所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系，所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离；
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配；
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离；
根据查找到的实际距离，确定所述目标物体是否位于所述开门报警区域。
其中，所述状态信息包括物体类别；
处理器1701还用于执行如下操作步骤：
当所述目标物体处于所述开门报警区域时，按照所述报警方式呈现报警信息，所述报警信息包括所述物体类别，所述报警方式包括语音播报和图像显示中的至少一种。
进一步的，处理器还可以与存储器和通信接口相配合，执行上述申请实施例中上述开车门危险报警装置所执行的操作。
需要说明的是，本申请实施例同时也提供了一种存储介质，该存储介质用于存储应用程序，该应用程序用于在运行时执行图1和图12所示的一种基于开车门的危险报警方法中的操作。
需要说明的是，本申请实施例同时也提供了一种应用程序，该应用程序用于在运行时执行图1和图12所示的一种基于开车门的危险报警方法中的操作。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种基于开车门的危险报警方法，其特征在于，所述方法包括：
当检测到车辆的车门开启信号时，获取所述车辆的电子外后视镜采集到的成像图像；
根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息；
根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域；
根据所述位置信息，确定所述目标物体是否处于所述开门报警区域；
当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警。
2.如权利要求1所述的方法，其特征在于，所述根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域包括：
当所述行驶速度为零时，将预设的绝对报警区域确定为所述开门报警区域，所述绝对报警区域为所述车辆周围与所述行驶速度无关的预设危险区域；
当所述行驶速度不为零时，根据所述行驶速度和预设的报警时间确定所述开门报警区域。
3.如权利要求2所述的方法，其特征在于，所述报警时间包括报警缓冲时间和报警响应时间中的至少一项；
所述根据所述行驶速度和预设的报警时间，确定所述开门报警区域包括：
根据所述行驶速度和所述报警缓冲时间，确定报警缓冲区域；和/或，根据所述行驶速度和所述报警响应时间，确定报警响应区域；
根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域。
4.如权利要求3所述的方法，其特征在于，所述根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域包括：
确定所述目标物体进入所述视角范围的方式；
当所述目标物体横向进入所述视角范围时，将所述绝对报警区域确定为所述开门报警区域；
当所述目标物体纵向进入所述视角范围时，将所述绝对报警区域、所述报警缓冲区域和所述报警响应区域所组成的组合区域作为所述开门报警区域。
5.如权利要求1所述的方法，其特征在于，所述成像图像包括第一成像图像和M帧第二成像图像，所述M为不小于1的整数；
所述根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息包括：
按照预设的目标检测算法对所述第一成像图像进行目标检测，确定所述目标物、以及所述目标物体的位置信息；
根据所述M帧第二成像图像，确定所述目标物体的行驶速度。
6.如权利要求5所述的方法，其特征在于，所述根据所述M帧第二成像图像，确定所述目标物体的行驶速度包括：
根据所述M帧第二成像图像，确定所述目标物体的运动轨迹；
根据所述运动轨迹，确定所述行驶速度。
7.如权利要求6所述的方法，其特征在于，所述根据所述M帧第二成像图像，确定所述目标物体的运动轨迹包括：
根据所述M帧第二成像图像，确定至少一个物体对应的至少一条运动轨迹；
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像的图像采集时间上的位置进行预测，得到位置预测信息；
将所述位置信息与所述位置预测信息进行匹配；
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
8.如权利要求5所述的方法，其特征在于，所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标；
所述方法还包括：
对所述第一成像图像进行距离标定得到距离查询表，所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系，所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离；
所述根据所述位置信息，确定所述目标物体是否位于所述开门报警区域包括：
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配；
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离；
根据查找到的实际距离，确定所述目标物体是否位于所述开门报警区域。
9.如权利要求1-8任一项所述的方法，其特征在于，所述状态信息包括物体类别；
所述当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警包括：
当所述目标物体处于所述开门报警区域时，按照所述报警方式呈现报警信息，所述报警信息包括所述物体类别，所述报警方式包括语音播报和图像显示中的至少一种。
10.一种基于开车门的危险报警装置，其特征在于，所述装置包括：
获取模块，用于当检测到车辆的车门开启信号时，获取所述车辆的电子外后视镜采集到的成像图像；
检测模块，用于根据所述成像图像，确定所述电子外后视镜的视角范围内的目标物体、以及所述目标物体的状态信息，所述状态信息包括行驶速度和位置信息；
确定模块，用于根据所述行驶速度，确定所述车辆相对所述目标物体的开门报警区域；
报警模块，用于根据所述位置信息，确定所述目标物体是否处于所述开门报警区域；
所述报警模块，用于当所述目标物体处于所述开门报警区域时，按照预设的报警方式进行报警。
11.如权利要求10所述的装置，其特征在于，所述确定模块还用于：
当所述行驶速度为零时，将预设的绝对报警区域确定为所述开门报警区域，所述绝对报警区域为所述车辆周围与所述行驶速度无关的预设危险区域；
当所述行驶速度不为零时，根据所述行驶速度和预设的报警时间确定所述开门报警区域。
12.如权利要求11所述的装置，其特征在于，所述报警时间包括报警缓冲时间和报警响应时间中的至少一项；
所述确定模块还用于：
根据所述行驶速度和所述报警缓冲时间，确定报警缓冲区域；和/或，根据所述行驶速度和所述报警响应时间，确定报警响应区域；
根据所述绝对报警区域、所述报警缓冲区域和所述报警响应区域中的至少一项，确定所述开门报警区域。
13.如权利要求12所述的装置，其特征在于，所述确定模块还用于：
确定所述目标物体进入所述视角范围的方式；
当所述目标物体横向进入所述视角范围时，将所述绝对报警区域确定为所述开门报警区域；
当所述目标物体纵向进入所述视角范围时，将所述绝对报警区域、所述报警缓冲区域和所述报警响应区域所组成的组合区域作为所述开门报警区域。
14.如权利要求10所述的装置，其特征在于，所述成像图像包括第一成像图像和M帧第二成像图像，所述M为不小于1的整数；
所述检测模块还用于：
按照预设的目标检测算法对所述第一成像图像进行目标检测，确定所述目标物、以及所述目标物体的位置信息；
根据所述M帧第二成像图像，确定所述目标物体的行驶速度。
15.如权利要求14所述的装置，其特征在于，所述检测模块还用于：
根据所述M帧第二成像图像，确定所述目标物体的运动轨迹；
根据所述运动轨迹，确定所述行驶速度。
16.如权利要求15所述的装置，其特征在于，所述检测模块还用于：
根据所述M帧第二成像图像，确定至少一个物体对应的至少一条运动轨迹；
对所述至少一条运动轨迹中每条运动轨迹对应的物体在所述第一成像图像的图像采集时间上的位置进行预测，得到位置预测信息；
将所述位置信息与所述位置预测信息进行匹配；
将与所述位置信息相匹配的位置预测信息所属的运动轨迹确定为所述目标物体的运动轨迹。
17.如权利要求14所述的装置，其特征在于，所述位置信息为所述目标物体所在区域中的预设位置的图像像素的第一像素坐标；
所述确定模块还用于：
对所述第一成像图像进行距离标定得到距离查询表，所述距离查询表包括所述第一成像图像中的多个第二图像像素的第二像素坐标与实际距离的对应关系，所述实际距离为现实世界中所述车辆与所述第二图像像素对应的位置之间的距离；
将所述第一像素坐标与所述多个第二图像像素中的每个第二图像像素的第二像素坐标进行匹配；
从所述距离查询表中查找与所述第一像素坐标相匹配的第二像素坐标所对应的实际距离；
根据查找到的实际距离，确定所述目标物体是否位于所述开门报警区域。
18.如权利要求10-17任一项所述的装置，其特征在于，所述状态信息包括物体类别；
所述报警模块还用于：
当所述目标物体处于所述开门报警区域时，按照所述报警方式呈现报警信息，所述报警信息包括所述物体类别，所述报警方式包括语音播报和图像显示中的至少一种。
19.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-9任一项所述的方法。
21.一种车辆，其特征在于，所述车辆包括基于开车门的危险报警设备，所述基于开车门的危险报警设备用于执行如权利要求1-9任一项所述的方法。
CN201910600589.1A 2019-07-04 2019-07-04 一种基于开车门的危险报警方法及相关设备 Pending CN112172663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910600589.1A CN112172663A (zh) 2019-07-04 2019-07-04 一种基于开车门的危险报警方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600589.1A CN112172663A (zh) 2019-07-04 2019-07-04 一种基于开车门的危险报警方法及相关设备

Publications (1)

Publication Number Publication Date
CN112172663A true CN112172663A (zh) 2021-01-05

Family

ID=73915419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600589.1A Pending CN112172663A (zh) 2019-07-04 2019-07-04 一种基于开车门的危险报警方法及相关设备

Country Status (1)

Country Link
CN (1) CN112172663A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113232585A (zh) * 2021-05-07 2021-08-10 广州小鹏汽车科技有限公司 车辆开门防碰撞方法、装置、车辆及存储介质
CN113682259A (zh) * 2021-09-22 2021-11-23 海南大学 一种车用开门预警防撞系统及控制方法
CN113777618A (zh) * 2021-09-13 2021-12-10 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113820698A (zh) * 2021-09-13 2021-12-21 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN114274876A (zh) * 2021-11-30 2022-04-05 岚图汽车科技有限公司 一种后视镜控制方法及相关设备
CN114464010A (zh) * 2021-12-20 2022-05-10 北京罗克维尔斯科技有限公司 车辆开门预警方法、装置、电子设备、车辆和存储介质
CN114670771A (zh) * 2022-05-10 2022-06-28 严婧瑜 车辆开门预警方法、车辆和存储介质
CN115631553A (zh) * 2022-10-11 2023-01-20 中国第一汽车股份有限公司 车辆开锁的方法、车辆开锁的装置及车辆
CN116704776A (zh) * 2023-06-27 2023-09-05 镁佳(北京)科技有限公司 车辆开门预警方法、装置、计算机设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113232585A (zh) * 2021-05-07 2021-08-10 广州小鹏汽车科技有限公司 车辆开门防碰撞方法、装置、车辆及存储介质
CN113232585B (zh) * 2021-05-07 2023-02-10 广州小鹏汽车科技有限公司 车辆开门防碰撞方法、装置、车辆及存储介质
CN113777618A (zh) * 2021-09-13 2021-12-10 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113820698A (zh) * 2021-09-13 2021-12-21 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113777618B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113820698B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113682259A (zh) * 2021-09-22 2021-11-23 海南大学 一种车用开门预警防撞系统及控制方法
CN114274876A (zh) * 2021-11-30 2022-04-05 岚图汽车科技有限公司 一种后视镜控制方法及相关设备
CN114274876B (zh) * 2021-11-30 2023-07-25 岚图汽车科技有限公司 一种后视镜控制方法及相关设备
CN114464010B (zh) * 2021-12-20 2023-04-21 北京罗克维尔斯科技有限公司 车辆开门预警方法、装置、电子设备、车辆和存储介质
CN114464010A (zh) * 2021-12-20 2022-05-10 北京罗克维尔斯科技有限公司 车辆开门预警方法、装置、电子设备、车辆和存储介质
CN114670771A (zh) * 2022-05-10 2022-06-28 严婧瑜 车辆开门预警方法、车辆和存储介质
CN115631553A (zh) * 2022-10-11 2023-01-20 中国第一汽车股份有限公司 车辆开锁的方法、车辆开锁的装置及车辆
CN116704776A (zh) * 2023-06-27 2023-09-05 镁佳(北京)科技有限公司 车辆开门预警方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
US20210357665A1 (en) Safety system for a vehicle to detect and warn of a potential collision
WO2021004077A1 (zh) 一种检测车辆的盲区的方法及装置
CN110430401B (zh) 车辆盲区预警方法、预警装置、mec平台和存储介质
US10423847B2 (en) Predicting vehicle movements based on driver body language
CN107341454B (zh) 一种场景中障碍物的检测方法及装置、电子设备
CN106611512B (zh) 前车起步的处理方法、装置和系统
CN109572555B (zh) 一种应用于无人车的遮挡信息显示方法和系统
US9524643B2 (en) Orientation sensitive traffic collision warning system
US20160109571A1 (en) System and method for providing target threat assessment in a collision avoidance system on a vehicle
CN105620489A (zh) 驾驶辅助系统及车辆实时预警提醒方法
JP5712119B2 (ja) 車両用歩行者報知装置
JP5898001B2 (ja) 車両周辺監視装置
CN113442917B (zh) 用于宿主机动车辆的警告系统
CN113593301B (zh) 车辆加塞的预判断方法、车辆及计算机可读存储介质
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
CN112249007A (zh) 一种车辆危险报警方法及相关设备
CN113022441A (zh) 一种车辆盲区的检测方法、装置、电子设备及存储介质
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
CN114537447A (zh) 安全通行方法、装置、电子设备和存储介质
CN107264526A (zh) 一种横向车辆预警方法、系统、存储介质及终端设备
KR102084946B1 (ko) 차량의 이동 경로에 위치한 객체의 통과 높이에 따른 경보 알림 생성 장치 및 방법
CN114290991B (zh) 一种盲区监测方法、装置、存储介质和边缘云平台
US20220036099A1 (en) Moving body obstruction detection device, moving body obstruction detection system, moving body obstruction detection method, and storage medium
JP3165729U (ja) ビデオレーダー運転補助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105

WD01 Invention patent application deemed withdrawn after publication