CN114360056A - 开门预警方法、装置、设备及存储介质 - Google Patents

开门预警方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114360056A
CN114360056A CN202111567575.8A CN202111567575A CN114360056A CN 114360056 A CN114360056 A CN 114360056A CN 202111567575 A CN202111567575 A CN 202111567575A CN 114360056 A CN114360056 A CN 114360056A
Authority
CN
China
Prior art keywords
target object
door opening
early warning
preset
motion state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111567575.8A
Other languages
English (en)
Inventor
李莹盈
肖遥
陈娟
胡娟
林苏华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Liuzhou Motor Co Ltd
Original Assignee
Dongfeng Liuzhou Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Liuzhou Motor Co Ltd filed Critical Dongfeng Liuzhou Motor Co Ltd
Priority to CN202111567575.8A priority Critical patent/CN114360056A/zh
Publication of CN114360056A publication Critical patent/CN114360056A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种开门预警方法、装置、设备及存储介质，属于汽车技术领域。本发明通过获取摄像头拍摄的图像数据；将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；获取所述目标物体的移动速度和运动状态；将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；根据所述目标物体的距离进行开门预警，通过对图像数据进行特征提取和分类，识别到图像中的目标物体，并对目标物体的行为进行预测，快速对车辆周围的物体进行检测和预测，进而提前预测开门碰撞危险，进一步提高开门预警的准确性和有效性。

Description

开门预警方法、装置、设备及存储介质
技术领域
本发明涉及汽车技术领域，尤其涉及一种开门预警方法、装置、设备及存储介质。
背景技术
当驾乘人员在车辆停车时，如果开启车辆车门，车辆侧后方来车存在与车门或者下车人碰撞风险情况，因此需要对驾乘人员进行开门风险预警。
现有的开门预警方法仅能采集车辆周围的行车信息用以判断此时开车门的安全性，无法采集行人或其他障碍物的图像及信息，不能对不同种类的目标进行识别检测和预测行为。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种开门预警方法、装置、设备及存储介质，旨在解决现有技术开门预警不准确的技术问题。
为实现上述目的，本发明提供了一种开门预警方法，所述方法包括以下步骤:
获取摄像头拍摄的图像数据；
将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；
获取所述目标物体的移动速度和运动状态；
将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；
通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；
根据所述距离进行开门预警。
可选地，所述将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体，包括：
将所述图像数据输入至预设图像识别模型的ResNet网络进行深度特征提取，得到深度特征图；
通过FPN算法对所述深度特征图进行融合，得到第一特征信息；
将所述第一特征信息输入至预设图像识别模型的RPN网络进行处理，得到候选区域；
将所述候选区域输入至预设图像识别模型的池化层以及全连接层得到第二特征信息；
将所述第二特征信息输入至预设图像识别模型的关联网络构建关联特征，得到关联特征信息；
将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息；
将所述目标特征信息进行分类回归，得到目标物体。
可选地，所述第二特征信息包括：位置特征和外观特征；
所述将所述第二特征信息输入至关联网络构建关联特征，得到关联特征信息，包括：
获取预设权重参数以及关联网络数目；
通过所述预设权重参数、所述关联网络数目以及所述位置特征计算得到位置特征权重；
通过所述预设权重参数、所述关联网络数目以及所述外观特征权重计算得到外观特征权重；
根据所述位置特征权重以及所述外观特征权重计算关联特征权重；
根据所述关联特征权重得到关联特征信息。
可选地，所述将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息，包括：
根据所述关联网络数目以及将所述关联特征信息，得到目标关联特征信息；
将所述目标关联特征信息与所述第一特征信息进行融合，得到目标特征信息。
可选地，所述将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态，包括：
将所述运动状态输入至预设行为预测模型，得到所述目标物体与道路线的位置信息；
根据所述位置信息将所述移动速度分解为水平速度和垂直速度；
根据所述水平速度和垂直速度计算得到目标物体的方向角；
通过所述方向角得到目标物体的预测速度和预测运动状态。
可选地，所述将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态之前，还包括：
采集运动物体的轨迹特征样本，所述轨迹特征样本包括预设数量的特征向量序列和对应的状态值；
获取隐马尔可夫模型的初始训练参数；
通过非监督学习算法、前向-后向算法以及初始训练参数对所述预设数量的特征向量序列和对应的状态值进行训练，得到模型参数；
根据所述模型参数得到预设行为预测模型。
可选地，所述根据所述目标物体的距离进行开门预警，包括：
测量车门的展开距离，将所述车门的展开距离作为安全距离；
在所述距离小于所述安全距离时，进行预警，并显示所述目标物体到达车门的时间。
此外，为实现上述目的，本发明还提出一种开门预警装置，所述开门预警装置包括：
获取模块，用于获取摄像头拍摄的图像数据；
提取模块，用于将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；
所述获取模块，还用于获取所述目标物体的移动速度和运动状态；
输入模块，用于将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；
计算模块，用于通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；
预警模块，用于根据所述距离进行开门预警。
此外，为实现上述目的，本发明还提出一种开门预警设备，所述开门预警设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的开门预警程序，所述开门预警程序配置为实现如上文所述的开门预警方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有开门预警程序，所述开门预警程序被处理器执行时实现如上文所述的开门预警方法的步骤。
本发明通过获取摄像头拍摄的图像数据；将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；获取所述目标物体的移动速度和运动状态；将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；根据所述目标物体的距离进行开门预警，通过对图像数据进行特征提取和分类，识别到图像中的目标物体，并对目标物体的行为进行预测，快速对车辆周围的物体进行检测和预测，进而提前预测开门碰撞危险，进一步提高开门预警的准确性和有效性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的开门预警设备的结构示意图；
图2为本发明开门预警方法第一实施例的流程示意图；
图3为本发明开门预警方法第二实施例的流程示意图；
图4为本发明开门预警方法第三实施例的流程示意图；
图5为本发明开门预警方法三实施例中方向角计算示意图；
图6为本发明开门预警方法整体流程示意图；
图7为本发明开门预警装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的开门预警设备结构示意图。
如图1所示，该开门预警设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对开门预警设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及开门预警程序。
在图1所示的开门预警设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明开门预警设备中的处理器1001、存储器1005可以设置在开门预警设备中，所述开门预警设备通过处理器1001调用存储器1005中存储的开门预警程序，并执行本发明实施例提供的开门预警方法。
本发明实施例提供了一种开门预警方法，参照图2，图2为本发明开门预警方法第一实施例的流程示意图。
本实施例中，所述开门预警方法包括以下步骤：
步骤S10：获取摄像头拍摄的图像数据。
需要说明的是，本实施例的执行主体为可进行开门预警的控制器，还可为其它可实现相同或者相似功能的设备，本实施例对此不作限制。图像数据为车辆周围的环境数据，可通过安装在车辆车门两边的摄像头感知车辆周围的环境进行拍摄，通过在车辆两侧车门装配红外摄像头，保证在任何光线和天气下都能够拍摄到清楚的车辆周围的环境图像数据。
在具体实施中，通过红外摄像头可得到需要识别的图像数据，通过对图像数据中的物体进行检测识别得到移动的物体。
步骤S20：将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体。
应理解的是，预设图像识别模型为识别图像数据中的物体的模型，通过对图像数据中的物体进行识别和分类，目标物体为移动的对车辆造成障碍和危险的物体，例如行走的行人、骑行的人、非机动车以及行驶的车辆其中的一种或者多种。通过对输入预设图像识别模型的图像数据进行特征提取，得到物体的特征并将特征整合和分类，得到移动的目标物体。
步骤S30：获取所述目标物体的移动速度和运动状态。
在本实施例中，移动速度为物体在移动过程中的速度，若目标物体为行人，则可通过车辆的摄像头在一定时间间隔内拍摄的若干图像数据中的行人行走的速度进行检测，运动状态可为直行、向左变道、向右变道等。若目标物体为骑电动车的人，则可检测电动车的速度以及电动车的行驶状态。
步骤S40：将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态。
在具体实施中，预设行为预测模型为对目标物体进行行为预测的模型，通过预设行为预测模型可判断目标物体是否即将对车辆开门造成干涉。预测速度为通过预设行为预测模型进行预测得到的目标物体的预测移动速度，预测运动状态为通过预设行为预测模型进行预测得到的目标物体的预测运动状态，例如行人的移动速度为0.5m/s，运动状态为直行，则通过红外摄像头每1s拍摄一张图像数据，通过对10s的图像数据中的行人的速度以及运动状态通过预设行为预测模型进行行为预测，得到行人的预测速度为0.8m/s，预测运动状态为由直行转为向右转弯。
步骤S50：通过所述预测速度和所述预测运动状态计算与所述目标物体的距离。
需要说明的是，与目标物体的距离为车辆距离目标物体的距离。通过预设图像识别模型可对识别到的目标物体提取图像边界框特征，通过目标物体的大小对目标物体进行框体标注，通过检测目标物体的边界框中离车辆最近的一条边距离车辆的距离作为目标物体与车辆的距离。
步骤S60：根据所述距离进行开门预警。
在本实施例中，通过将测量的目标物体与车辆的距离与安全距离进行比较，根据比较的结果进行开门预警，安全距离为测量车辆的车门完全打开时的展开距离，当目标物体与车辆的距离小于安全距离时，通过车辆上安装的警报显示器的控制器控制警报显示器进行报警，并根据目标物体的预测速度和与车辆的距离计算达到车辆的时间进行倒计时。当目标物体与车辆的距离大于安全距离时，不进行开门预警，可正常开启车门，有效避免车辆车门开启时周围的物体对开启车门造成干涉的问题。
本实施例通过获取摄像头拍摄的图像数据；将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；获取所述目标物体的移动速度和运动状态；将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；根据所述目标物体的距离进行开门预警，通过对图像数据进行特征提取和分类，识别到图像中的目标物体，并对目标物体的行为进行预测，快速对车辆周围的物体进行检测和预测，进而提前预测开门碰撞危险，进一步提高开门预警的准确性和有效性。
参考图3，图3为本发明开门预警方法第二实施例的流程示意图。
基于上述第一实施例，本实施例开门预警方法所述步骤S20，具体包括：
步骤S201：将所述图像数据输入至预设图像识别模型的ResNet网络进行深度特征提取，得到深度特征图。
应理解的是，ResNet网络为(Deep residual network，网络深度残差网络)，通过Faster R-CNN算法中的预设图像识别模型对图像数据进行特征提取和分类，得到对应的不同种类的目标物体。通过预设图像识别模型中的ResNet网络中的卷积层进行深度特征提取，提取图片的深度特征，得到提取特征后的图像数据的深度特征图。其中，提取的图片深度特征可包括图像中物体的位置特征，外观特征等。
步骤S202：通过FPN算法对所述深度特征图进行融合，得到第一特征信息。
在本实施例中，第一特征信息为把不同的深度特征图进行融合，得到的融合特征图。
在具体实施中，通过ResNet网络中的卷积层对图像数据进行卷积，得到不同卷积块卷积的深度特征图，通过FPN算法(Feature Pyramid Network，特征金字塔网络)将不同卷积块输出的深度特征图进行融合，得到第一特征信息。
步骤S203：将所述第一特征信息输入至预设图像识别模型的RPN网络进行处理，得到候选区域。
应理解的是，RPN网络为(RegionProposal Networ，区域生成网络)，通过将融合后的特征图输入至RPN网络，通过第一特征信息中的特征图得到图像位置的候选窗口，通过候选窗口生成候选区域。候选区域指的是将图像划分若干个检测框，通过RPN网络输出生成的检测框以及检测框中包含物体的概率。
可通过RPN网络将特征图上的物体进行识别，得到对应的物体的相关信息。
步骤S204：将所述候选区域输入至预设图像识别模型的池化层以及全连接层得到第二特征信息。
在具体实施中，第二特征信息为将候选区域中的各个特征信息进行整合的特征信息。
需要说明的是，当得到候选区域后，可将候选区域输入至预设图像识别模型的池化层进行池化，将候选区域池化到特定大小，并将池化后的候选区域输入至预设图像识别模型中的全连接层进行特征整合以及分类，得到不同种类的目标物体的对应的特征信息。
步骤S205：将所述第二特征信息输入至预设图像识别模型的关联网络构建关联特征，得到关联特征信息。
应理解的是，构建关联特征指的是将可能属于同一物体的特征进行关联，便于根据物体的关联信息进行拼接整合，得到完整的目标物体。关联特征信息指的是第二特征信息中的物体的位置特征和外观特征进行关联得到的特征。在构建关联特征时，可先确定关联网络的数目，并通过二元交叉熵函数对第二特征信息中的位置特征和外观特征进行关联特征构建，得到关联特征。
进一步地，所述步骤S205，具体包括：获取预设权重参数以及关联网络数目；通过所述预设权重参数、所述关联网络数目以及所述位置特征计算得到位置特征权重；通过所述预设权重参数、所述关联网络数目以及所述外观特征权重计算得到外观特征权重；根据所述位置特征权重以及所述外观特征权重计算关联特征权重；根据所述关联特征权重得到关联特征信息。
需要说明的是，由于第二特征信息为位置特征和外观特征，预设权重参数为根据位置特征和外观特征的特征值通过二元交叉熵函数训练得到的权重参数。关联网络数目为Nr，预设权重参数为
Figure BDA0003423161270000091
位置权重的计算过程如下：
Figure BDA0003423161270000092
式中，
Figure BDA0003423161270000093
为位置特征权重，WG为预设权重参数，
Figure BDA0003423161270000094
为第m个位置特征，
Figure BDA0003423161270000095
为第n个位置特征，εG为根据
Figure BDA0003423161270000096
和
Figure BDA0003423161270000097
之间的距离的绝对值取倒数。通过式1计算可得到位置特征权重
Figure BDA0003423161270000098
外观特征权重的计算过程如下：
Figure BDA0003423161270000099
式中，
Figure BDA00034231612700000910
为外观特征权重，WK和WQ为预设权重参数，
Figure BDA00034231612700000911
为第m个对象的外观特征，
Figure BDA00034231612700000912
为第n个对象的外观特征，dot为向量的点积运算方法，
Figure BDA00034231612700000913
为根据原始输入的外观特征映射到子空间度量其匹配程度，映射后的特征维度，通过式2计算可得到外观特征权重
Figure BDA00034231612700000914
当得到了位置特征权重和外观特征权重后，可通过位置特征权重和外观特征权重进行计算，得到关联特征权重，计算过程如下：
Figure BDA00034231612700000915
式中，ωmn为关联特征权重，
Figure BDA00034231612700000916
为位置特征权重，
Figure BDA00034231612700000917
为外观特征权重，
Figure BDA00034231612700000918
为第n个对象周围的k个位置特征权重，
Figure BDA00034231612700000919
为第n个对象周围的k个外观特征权重，通过
Figure BDA00034231612700000920
对第n个对象周围的位置特征和外观特征进行求和，并得到第n个对象的位置特征和外观特征的占比，得到关联特征权重。
当计算得到关联特征权重后，可根据关联特征权重和预设权重参数进行计算得到关联特征信息，计算过程如下：
Figure BDA0003423161270000101
式中，fR(n)为关联特征信息，ωmn为关联特征权重，WV为预设权重参数中的降维参数，
Figure BDA0003423161270000102
为第m个对象的外观特征。
步骤S206：将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息。
在具体实施中，目标特征信息为将关联特征信息与第一特征信息进行合并后的特征信息。当得到关联特征信息后，根据关联网络数目Nr对得到的每一层网络的关联特征进行聚合并将第一特征信息与关联特征信息进行合并，如式5所示，得到目标特征信息。
Figure BDA0003423161270000103
式中，等式左边为目标特征信息，等式右边为根据第一特征信息和关联特征信息进行融合。
在本实施例中，当得到每一层关联网络的关联特征信息后，可根据关联特征网络的数目以及对应的关联特征信息进行合并，得到合并的目标关联特征信息，并将合并的特征信息与深度提取后的第一特征信息进行融合，得到目标特征信息。
Figure BDA0003423161270000104
为根据关联网络数目以及关联特征信息进行聚合，得到的目标关联特征信息，并将关联特征信息与第一特征信息进行合并，得到目标特征信息。
步骤S207：将所述目标特征信息进行分类回归，得到目标物体。
当得到目标特征信息后，可通过关联特征信息以及候选区域对图像数据中的特征进行分类回归，生成一组特定于类的边界框回归信息。得到对应的不同种类的目标物体，例如根据行人的头部信息、手部信息以及腿部信息进行分类回归，得到完整的图像数据中的行人的目标物体。
本实施例通过将所述图像数据输入至预设图像识别模型的ResNet网络进行深度特征提取，得到深度特征图；通过FPN算法对所述深度特征图进行融合，得到第一特征信息；将所述第一特征信息输入至预设图像识别模型的RPN网络进行处理，得到候选区域；将所述候选区域输入至预设图像识别模型的池化层以及全连接层得到第二特征信息；将所述第二特征信息输入至预设图像识别模型的关联网络构建关联特征，得到关联特征信息；将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息；将所述目标特征信息进行分类回归，得到目标物体，通过Faster R-CNN目标检测算法将图像数据输入至预设图像特征提取模型进行特征提取以及分类，引入RPN网络代替了选择性搜索算法，直接提取目标在图像上可能存在的区域，通过RPN网络生成检测框，提高Faster R-CNN生成候选区域的效率。
参考图4，图4为本发明开门预警方法第三实施例的流程示意图。
基于上述第一实施例，本实施例开门预警方法所述步骤S40，具体包括：
步骤S401:将所述运动状态输入至预设行为预测模型，得到所述目标物体与道路线的位置信息。
需要说明的是，预设行为预测模型为训练好的隐马尔可夫模型(Hidden MarkovModel，HMM)，通过训练好的隐马尔可夫模型对目标物体的行为进行预测，可得到准确的目标物体的预测行为，从而对目标物体进行判断。
则对隐马尔可夫模型进行训练，包括：采集运动物体的轨迹特征样本，所述轨迹特征样本包括预设数量的特征向量序列和对应的状态值；获取隐马尔可夫模型的初始训练参数；通过非监督学习算法、前向-后向算法以及初始训练参数对所述预设数量的特征向量序列和对应的状态值进行训练，得到模型参数；根据所述模型参数得到预设行为预测模型。
在具体实施中，可通过随机采样的运动物体的轨迹特征样本给出HMM的初始训练参数，初始训练参数可由工作人员自行设置，轨迹特征样本中包括有L条特征向量序列及其对应的状态值，n表示反复计算次数，初始n＝l，通过非监督学习算法、前向-后向算法以及初始训练参数对l个特征向量序列
Figure BDA0003423161270000111
进行模型参数训练，初始l＝1，1≤l≤L，得到模型参数λ，通过模型参数λ计算前向变量αt(Si)和后向变量βt(Si)以及继续保持Si事件的概率
Figure BDA0003423161270000112
和由Si转换为Sj的概率
Figure BDA0003423161270000113
接着，将t设置为l，得到第一组三维状态概率向量，其中，三维状态指的是直行、向左变道和向右变道三个维度，计算概率判断下一状态，然后将t设置值改为12，20，50等，得到一系列不同的状态概率向量。取最大概率得到轨迹下一时刻的预测状态量，并根据预测状态量得到训练好的隐马尔可夫模型。
需要说明的是，通过车辆上安装的传感器可测得车辆周围目标物体的移动速度以及运动状态。将目标物体的运动状态以及移动速度输入至隐马尔可夫模型进行计算，得到目标物体与道路线的位置信息。
通过摄像头拍摄的图像数据，可获得目标物体的轨迹序列基于时间的分布数据，从而获得目标物体分别沿着道路线以及垂直与道路线的位置、速度大小、行驶方向以及方向角等。
步骤S402:根据所述位置信息将所述移动速度分解为水平速度和垂直速度。
在具体实施中，水平速度为沿着车道线方向的速度，垂直速度为垂直于道路线的速度，设目标物体的速度为Vi，则沿着车道线方向的速度分解为Viy，垂直于车道线方向的速度分解为Vix。
步骤S403:根据所述水平速度和垂直速度计算得到目标物体的方向角。
需要说明的是，如图5所示，图5为方向角计算示意图，其中，x轴表示垂直速度，y轴表示水平速度，Vi为目标物体的移动速度，Viy为目标物体的水平速度，Vix为目标物体的垂直速度，αi为目标物体的方向角。设定沿道路方向行驶的方向角为[0°，180°]，方向角αi＝arctan(Vix,Viy)。
步骤S404:通过所述方向角得到目标物体的预测速度和预测运动状态。
应理解的是，当得到目标物体运动的方向角后，当方向角在(0，π/6)时，认为目标物体下一移动状态为右变道，当方向角离π/6越远，右变道概率越大，当方向角在(π/6，π/3)时，认为目标物体下一移动状态为直行，当方向角在(π/3，π)时，认为目标物体下一移动状态为左变道，当方向角偏离π/3越远，左变道概率越大。则可根据方向角得到目标物体的预测运动状态，通过摄像头在一定时间间隔内拍摄的图像数据统计目标物体的移动速度，可对目标物体的下一时刻的速度进行预测，得到目标物体的预测速度。
在具体实施中，当得到目标物体的预测速度后，通过传感器测量目标物体与车辆的距离，可计算得到目标物体以预测速度移动到车辆的时间，并在车门内的显示屏上显示目标物体移动到达车门附近的倒计时，提醒驾驶员注意，提高开门预警的可靠性。
如图6所示，图6为本发明开门预警方法的整体流程示意图。摄像头通过感知拍摄图像数据，并将图像数据输入至训练好的隐马尔可夫行为预测模型进行行为预测，并将图像数据输入至基于融合FPN与关联网络的Faster R-CNN目标检测模型进行目标物体检测，通过对图像数据中的目标物体进行分类以及标注目标边界框，计算目标边界框中最近的边界框距离车辆的距离，对目标物体的行为轨迹进行预测，计算目标物体的预测速度，通过目标物体距离车辆的距离以及速度计算到达车身附近的时间，当目标物体距离车辆的距离小于安全距离时，进行开门预警并且显示目标物体到达车门附近的倒计时。当目标物体与车辆的距离大于等于安全距离时，可继续对车辆周围的图像信息进行拍摄并实时计算。
本实施例通过将所述运动状态输入至预设行为预测模型，得到所述目标物体与道路线的位置信息；根据所述位置信息将所述移动速度分解为水平速度和垂直速度；根据所述水平速度和垂直速度计算得到目标物体的方向角；通过所述方向角得到目标物体的预测速度和预测运动状态，可准确的预测移动的目标物体的行为信息，实时更新目标物体的行为信息，便于根据目标物体进行车辆开门预警。
参照图7，图7为本发明开门预警装置第一实施例的结构框图。
如图7所示，本发明实施例提出的开门预警装置包括：
获取模块10，用于获取摄像头拍摄的图像数据。
提取模块20，用于将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体。
所述获取模块10，还用于获取所述目标物体的移动速度和运动状态。
输入模块30，用于将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态。
计算模块40，用于通过所述预测速度和所述预测运动状态计算与所述目标物体的距离。
预警模块50，用于根据所述距离进行开门预警。
本实施例通过获取摄像头拍摄的图像数据；将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；获取所述目标物体的移动速度和运动状态；将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；根据所述目标物体的距离进行开门预警，通过对图像数据进行特征提取和分类，识别到图像中的目标物体，并对目标物体的行为进行预测，快速对车辆周围的物体进行检测和预测，进而提前预测开门碰撞危险，进一步提高开门预警的准确性和有效性。
在一实施例中，所述提取模块20，还用于将所述图像数据输入至预设图像识别模型的ResNet网络进行深度特征提取，得到深度特征图；通过FPN算法对所述深度特征图进行融合，得到第一特征信息；将所述第一特征信息输入至预设图像识别模型的RPN网络进行处理，得到候选区域；将所述候选区域输入至预设图像识别模型的池化层以及全连接层得到第二特征信息；将所述第二特征信息输入至预设图像识别模型的关联网络构建关联特征，得到关联特征信息；将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息；将所述目标特征信息进行分类回归，得到目标物体。
在一实施例中，所述提取模块20，还用于获取预设权重参数以及关联网络数目；通过所述预设权重参数、所述关联网络数目以及所述位置特征计算得到位置特征权重；通过所述预设权重参数、所述关联网络数目以及所述外观特征权重计算得到外观特征权重；根据所述位置特征权重以及所述外观特征权重计算关联特征权重；根据所述关联特征权重得到关联特征信息。
在一实施例中，所述提取模块20，还用于根据所述关联网络数目以及将所述关联特征信息，得到目标关联特征信息；将所述目标关联特征信息与所述第一特征信息进行融合，得到目标特征信息。
在一实施例中，所述输入模块30，还用于将所述运动状态输入至预设行为预测模型，得到所述目标物体与道路线的位置信息；根据所述位置信息将所述移动速度分解为水平速度和垂直速度；根据所述水平速度和垂直速度计算得到目标物体的方向角；通过所述方向角得到目标物体的预测速度和预测运动状态。
在一实施例中，所述输入模块30，还用于采集运动物体的轨迹特征样本，所述轨迹特征样本包括预设数量的特征向量序列和对应的状态值；获取隐马尔可夫模型的初始训练参数；通过非监督学习算法、前向-后向算法以及初始训练参数对所述预设数量的特征向量序列和对应的状态值进行训练，得到模型参数；根据所述模型参数得到预设行为预测模型。
在一实施例中，所述预警模块50，还用于测量车门的展开距离，将所述车门的展开距离作为安全距离；在所述距离小于所述安全距离时，进行预警，并显示所述目标物体到达车门的时间。
此外，为实现上述目的，本发明还提出一种开门预警设备，所述开门预警设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的开门预警程序，所述开门预警设备程序配置为实现如上文所述的开门预警方法的步骤。
由于本开门预警设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有开门预警程序，所述开门预警程序被处理器执行时实现如上文所述的开门预警方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的开门预警方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种开门预警方法，其特征在于，所述开门预警方法包括：
获取摄像头拍摄的图像数据；
将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；
获取所述目标物体的移动速度和运动状态；
将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；
通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；
根据所述距离进行开门预警。
2.如权利要求1所述的开门预警方法，其特征在于，所述将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体，包括：
将所述图像数据输入至预设图像识别模型的ResNet网络进行深度特征提取，得到深度特征图；
通过FPN算法对所述深度特征图进行融合，得到第一特征信息；
将所述第一特征信息输入至预设图像识别模型的RPN网络进行处理，得到候选区域；
将所述候选区域输入至预设图像识别模型的池化层以及全连接层得到第二特征信息；
将所述第二特征信息输入至预设图像识别模型的关联网络构建关联特征，得到关联特征信息；
将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息；
将所述目标特征信息进行分类回归，得到目标物体。
3.如权利要求2所述的开门预警方法，其特征在于，所述第二特征信息包括：位置特征和外观特征；
所述将所述第二特征信息输入至关联网络构建关联特征，得到关联特征信息，包括：
获取预设权重参数以及关联网络数目；
通过所述预设权重参数、所述关联网络数目以及所述位置特征计算得到位置特征权重；
通过所述预设权重参数、所述关联网络数目以及所述外观特征权重计算得到外观特征权重；
根据所述位置特征权重以及所述外观特征权重计算关联特征权重；
根据所述关联特征权重得到关联特征信息。
4.如权利要求3所述的开门预警方法，其特征在于，所述将所述关联特征信息以及所述第一特征信息进行融合，得到目标特征信息，包括：
根据所述关联网络数目以及将所述关联特征信息，得到目标关联特征信息；
将所述目标关联特征信息与所述第一特征信息进行融合，得到目标特征信息。
5.如权利要求1所述的开门预警方法，其特征在于，所述将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态，包括：
将所述运动状态输入至预设行为预测模型，得到所述目标物体与道路线的位置信息；
根据所述位置信息将所述移动速度分解为水平速度和垂直速度；
根据所述水平速度和垂直速度计算得到目标物体的方向角；
通过所述方向角得到目标物体的预测速度和预测运动状态。
6.如权利要求5所述的开门预警方法，其特征在于，所述将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态之前，还包括：
采集运动物体的轨迹特征样本，所述轨迹特征样本包括预设数量的特征向量序列和对应的状态值；
获取隐马尔可夫模型的初始训练参数；
通过非监督学习算法、前向-后向算法以及初始训练参数对所述预设数量的特征向量序列和对应的状态值进行训练，得到模型参数；
根据所述模型参数得到预设行为预测模型。
7.如权利要求1至6中任一项所述的开门预警方法，其特征在于，所述根据所述距离进行开门预警，包括：
测量车门的展开距离，将所述车门的展开距离作为安全距离；
在所述距离小于所述安全距离时，进行预警，并显示所述目标物体到达车门的时间。
8.一种开门预警装置，其特征在于，所述开门预警装置包括：
获取模块，用于获取摄像头拍摄的图像数据；
提取模块，用于将所述图像数据输入至预设图像识别模型进行特征提取以及分类，得到目标物体；
所述获取模块，还用于获取所述目标物体的移动速度和运动状态；
输入模块，用于将所述移动速度和运动状态输入至预设行为预测模型，得到目标物体的预测速度和预测运动状态；
计算模块，用于通过所述预测速度和所述预测运动状态计算与所述目标物体的距离；
预警模块，用于根据所述距离进行开门预警。
9.一种开门预警设备，其特征在于，所述开门预警设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的开门预警程序，所述开门预警程序配置为实现如权利要求1至7中任一项所述的开门预警方法。
10.一种存储介质，其特征在于，所述存储介质上存储有开门预警程序，所述开门预警程序被处理器执行时实现如权利要求1至7中任一项所述的开门预警方法。
CN202111567575.8A 2021-12-21 2021-12-21 开门预警方法、装置、设备及存储介质 Pending CN114360056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111567575.8A CN114360056A (zh) 2021-12-21 2021-12-21 开门预警方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111567575.8A CN114360056A (zh) 2021-12-21 2021-12-21 开门预警方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114360056A true CN114360056A (zh) 2022-04-15

Family

ID=81102118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111567575.8A Pending CN114360056A (zh) 2021-12-21 2021-12-21 开门预警方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114360056A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704776A (zh) * 2023-06-27 2023-09-05 镁佳(北京)科技有限公司 车辆开门预警方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704776A (zh) * 2023-06-27 2023-09-05 镁佳(北京)科技有限公司 车辆开门预警方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Chavez-Garcia et al. Multiple sensor fusion and classification for moving object detection and tracking
US8620032B2 (en) System and method for traffic signal detection
US10878288B2 (en) Database construction system for machine-learning
US9607228B2 (en) Parts based object tracking method and apparatus
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
US20140219505A1 (en) Pedestrian behavior predicting device and pedestrian behavior predicting method
CN107368890A (zh) 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN110632610A (zh) 使用高斯混合模型进行自主车辆定位
JP4730137B2 (ja) 移動体安全性評価方法および移動体安全性評価装置
CN111491093B (zh) 一种摄像头视场角的调整方法和装置
US11508157B2 (en) Device and method of objective identification and driving assistance device
CN112078571B (zh) 自动泊车方法、设备、存储介质及装置
JP2012037980A (ja) 移動物予測装置及びプログラム
CN110967018B (zh) 停车场定位方法、装置、电子设备及计算机可读介质
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
Habermann et al. Road junction detection from 3d point clouds
US20120155711A1 (en) Apparatus and method for analyzing video
CN114360056A (zh) 开门预警方法、装置、设备及存储介质
CN114898319A (zh) 基于多传感器决策级信息融合的车型识别方法及系统
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
US20210383213A1 (en) Prediction device, prediction method, computer program product, and vehicle control system
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
CN114945961B (zh) 变道预测回归模型训练方法、变道预测方法和装置
CN114445787A (zh) 非机动车重识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination