CN109472251B - 一种物体碰撞预测方法及装置 - Google Patents

Abstract

本申请提供一种碰撞检测的方法和装置，可以利用摄像单元拍摄的图像预测是否会与前方的待检测对象发生碰撞。在当前的碰撞预测方法中，需要先根据摄像单元拍摄的图像判断待检测对象的类型，从而需要消耗大量的算力。在本申请所提供的碰撞预测的方法中，可以根据不同时刻所拍摄的图像中的待检测对象与装置所在的车辆在图像中的距离，判断待检测对象和装置所在的车辆的距离的变化趋势，并预测待检测对象和装置所在的车辆是否会发生碰撞。该方法可以增加碰撞预测的效率，并减少了进行碰撞预测的能耗。

Description

一种物体碰撞预测方法及装置

技术领域

本申请涉及图像检测领域，特别涉及一种利用摄像单元拍摄的图像进行物体碰撞预测的方法和装置。

背景技术

在智能驾驶辅助系统中，摄像单元承担着非常重要的感知任务，例如获取环境信息，以作为车辆中的计算设备进行障碍物类型识别、距离和速度估计的依据。当计算设备根据摄像单元所拍摄的图像获得前方待检测对象的距离以及速度后，可以进一步将待检测对象的速度与本车的速度进行比较，判断计算设备所在的车辆是否会和待检测对象是否会发生碰撞，并在判断两者可能会发生碰撞的情况下，根据与待检测对象的距离预测两者何时会发生碰撞。

当前对于计算设备所在的车辆与待检测对象的距离的估计，通常是先根据摄像单元拍摄的图像等信息，判断待检测对象的类型，例如判断待检测对象是行人、自行车、摩托车或者某一型号的汽车，并根据该类型在计算设备所保存的数据库中的资料获得该类型的真实尺寸。计算设备进一步根据待检测对象的类型的真实尺寸以及待检测对象在摄像单元拍摄的图像的大小，得到待检测对象与计算设备所在的车辆的实际距离。通过对比不同时刻待检测对象与计算设备所在车辆的距离，当两者的距离在逐渐接近时，预测两者可能会发生碰撞；当两车的距离在逐渐扩大时，预测两者不会发生碰撞。

通过上述方法进行碰撞预测时，需要先根据摄像单元拍摄的图像判断待检测对象的类型，再根据待检测对象的类型从预存的数据库中获得其真实大小，并根据待检测对象的真实大小以及在图像上的大小的比例得到待检测对象与计算设备所在的车辆的距离，再根据该距离变化的趋势判断是否可能会发生碰撞。采用这种做法，不仅需要消耗大量的算力进行待检测对象的类型检测，还需要一定的存储空间来保存数据库。

发明内容

本申请的实施例提供了一种利用摄像单元拍摄的图像进行物体碰撞预测的方法和装置，可以解决现有技术进行物体碰撞预测需要消耗大量算力的问题。

第一方面，本申请提供一种物体碰撞预测方法，该方法应用于计算设备，该计算设备位于包括摄像单元的物体，该方法包括：分别在第一时刻和第二时刻控制摄像单元摄取第一图像和第二图像，该第一图像和第二图像包括待检测对象以及物体，且第二时刻在第一时刻之后；测量第一图像中物体与待检测对象的第一距离以及第二图像中物体与待检测对象的第二距离；根据第一距离和第二距离的大小，预测物体和待检测对象是否会发生碰撞，即当第二距离小于第一距离时，预测物体会和待检测对象发生碰撞；当第二距离大于等于第一距离时，预测物体不会和待检测对象发生碰撞。

通过采用上述做法，可以根据不同时刻所拍摄的图像中的待检测对象与物体在图像中的距离，判断待检测对象和物体的距离的变化趋势，从而预测待检测对象和物体是否会发生碰撞。与现有技术相比，不需要消耗大量的算力对待检测对象进行类型检测，从而增加了物体进行碰撞预测的效率，并减少了物体进行碰撞预测的能耗。

对于上述第一方面，一种可能的实现方式是，当第二距离小于第一距离时，该方法还包括：根据第二距离和第一距离的差值以及第二时刻和第一时刻的差值，得到待检测对象和物体的相对速度；根据相对速度和第二距离，预测物体与待检测对象发生碰撞的时间。通过采用上述做法，可以在预测物体可能会和待检测对象发生碰撞的情况下，进一步计算待检测对象和物体在图像中的相对速度，并根据该相对速度预测发生碰撞的时间，可以使得预测的结果更加具体，便于物体或者物体的控制者采取措施规避碰撞。

对于上述第一方面，另一种可能的实现方式是，第一时刻和第二时刻尽可能的接近，特别是第一时刻和第二时刻分别对应摄像单元所摄取的图像的前后帧。这使得计算出的待检测对象和物体的相对速度更接近于二者在第二时刻这一瞬间的相对速度，从而令预测发生碰撞的时间更加精确。

对于上述第一方面，另一种可能的实现方式是，根据第一距离和第二距离的大小，预测物体和待检测对象是否会发生碰撞，包括：计算物体在第二图像和第一图像中的位置差；根据第二距离和位置差的和与第一距离的大小，预测物体和待检测对象是否会发生碰撞。通过这种做法，可以当物体在第二时刻因为颠簸或者加减速导致其俯仰角发生变化时，对得到的第二距离进行修正，从而使得预测的结果更加精确。

对于上述第一方面，另一种可能的实现形式是，测量第一图像中物体与待检测对象的第一距离以及第二图像中物体与待检测对象的第二距离，包括：获取第一图像和第二图像中待检测对象的二维边框；测量第一图像中物体与待检测对象的二维边框的第一距离以及第二图像中物体与待检测对象的二维边框的第二距离。上述做法将待检测对象的二维边框与物体的距离作为待检测对象与物体的距离，使得结果更加准确。

对于上述第一方面，另一种可能的实现方式是，当待检测对象的二维边框的下沿的每个像素点与物体的距离不相同时，以待检测对象的二维边框的下沿所包含的像素点与物体的最近距离作为物体与待检测对象的二维边框在图像中的距离。通过采用上述做法，可以准确的测量待检测对象的二维边框与物体在图像中的距离，增加预测结果的可靠性。

对于上述第一方面，另一种可能的实现方式是，该物体是车辆，而车辆与待检测对象位于同一车道内。本申请中所指代的物体可以是车辆、轮船、机器人等需要进行碰撞预测的物体。而在本实现方式中，将该物体限定为车辆，且它与待检测对象位于同一车道内，这样才有必要预测该物体和待检测对象是否有碰撞的可能性。

对于上述第一方面，另一种可能的实现方式是，识别第一图像和第二图像中的车道线，其中，车道线包括第一车道线和第二车道线，第一车道线和第二车道线为相邻的车道线，车辆和待检测对象均位于第一车道线和第二车道线之间；根据第一图像中待检测对象和第一车道线的距离与待检测对象的二维边框的大小的比值以及第二图像中待检测对象和第一车道线的距离与待检测对象的二维边框的大小的比值，计算待检测对象在图像中的横向速度；根据第二图像中待检测对象和第一车道线之间的距离与待检测对象的二维边框大小的比值以及待检测对象的横向速度，预测待检测对象离开当前车道的时间。通过采用上述做法，可以根据待检测对象的横向速度判断其离开当前车道的时间，而当待检测对象离开当前车道的时间小于之前预测的待检测对象与物体发生碰撞的时间，二者实际上是不会发生碰撞的，从而使预测结果更加精确。

第二方面，本申请提供一种计算设备，该计算设备位于包括摄像单元的物体上，该计算设备包括：控制模块，用于分别在第一时刻和第二时刻控制摄像单元摄取第一图像和第二图像，其中，第一图像和第二图像包括待检测对象和该物体，第二时刻在第一时刻之后；处理模块，用于测量第一图像中物体与待检测对象的第一距离以及第二图像中物体与待检测对象的第二距离；预测模块，根据第一距离和第二距离的大小，预测物体和待检测对象是否会发生碰撞，即当第二距离小于第一距离时，预测物体会和待检测对象发生碰撞；当第二距离大于等于第一距离时，预测物体不会和待检测对象发生碰撞。

对于上述第二方面，一种可能的实现方式是，预测模块还用于，当第二距离小于第一距离时，根据第二距离和第一距离的差值以及第二时刻和第一时刻的差值，得到待检测对象和物体的相对速度；根据相对速度和第二距离，预测物体和待检测对象发生碰撞的时间。

对于上述第二方面，另一种可能的实现方式是，当预测模块预测物体和待检测对象是否会发生碰撞时，预测模块具体用于：计算物体在第二图像和第一图像中的位置差，根据第二距离和位置差的和与第一距离的大小，预测物体和待检测对象是否会发生碰撞。

对于上述第二方面，另一种可能的实现方式是，当处理模块测量第一图像中物体与待检测对象的第一距离以及第二图像中物体与待检测对象的第二距离时，处理模块具体用于：获取第一图像和第二图像中待检测对象的二维边框；测量第一图像中物体与待检测对象的二维边框的第一距离以及第二图像中物体与待检测对象的二维边框的第二距离。

对于上述第二方面，另一种可能的实现方式是，该物体是车辆，该车辆与待检测对象位于同一车道内。

对于上述第二方面，另一种可能的实现方式是，处理模块还用于，识别第一图像和第二图像中的车道线，其中，车道线包括第一车道线和第二车道线，第一车道线和第二车道线为相邻的车道线，车辆和待检测对象位于第一车道线和第二车道线之间；预测模块还用于：根据第一图像中待检测对象和第一车道线的距离与待检测对象的大小的比值以及第二图像中待检测对象和第一车道线的距离与待检测对象的大小的比值，计算待检测对象的横向速度；根据第二图像中待检测对象和第一车道线之间的距离与待检测对象的大小的比值以及待检测对象的横向速度，预测待检测对象离开当前车道的时间。

第三方面，本申请提供一种计算设备，该计算设备包括处理器和存储器，该存储器存储程序代码，该处理器用于调用存储器中的程序代码执行如本申请第一方面所提供的碰撞预测的方法。

附图说明

图1A是本申请的实施例提供的一种可能的系统架构的示意图。

图1B是本申请的实施例提供的另一种可能的系统架构的示意图。

图2是本申请的一个实施例的流程示意图。

图3是摄像单元所拍摄的一种可能的图像的示意图。

图4是摄像单元所拍摄的另一种可能的图像的示意图。

图5是本申请的另一个实施例的流程示意图。

图6是本申请的实施例提供的计算设备的功能结构的示意图。

图7是本申请的实施例提供的计算设备的结构的示意图。

具体实施方式

在当前利用摄像单元所拍摄的图像预测是否会和前方待检测对象发生碰撞的方案中，需要先识别待检测对象的类型。这就需要计算设备建立并维护一个庞大的样本特征数据库，保证该数据库拥有待检测对象所有可能的类型的数据。再根据该数据库，对摄像头拍摄的图像进行图像匹配，以进行待检测对象的识别，具体可以识别待检测对象的类型等。当识别出待检测对象的类型后，例如识别待检测对象是一辆A型号的汽车，通过对比A型号的汽车在数据库中所记载的实际大小与待检测对象在摄像单元拍摄的图像中的大小，可以判断出待检测对象与计算设备所在的车辆的距离。再比较不同时刻待检测对象与计算设备所在的车辆的距离，根据两者距离变化的趋势，预测两者是否会发生碰撞。

采用这种做法，需要建立一个庞大的样本特征数据库，并利用深度学习等算法对待检测对象的类型进行识别，因此需要消耗大量的计算资源和存储空间，并造成较大的时延。同时，对于数据库中没有保存资料的物体将难以准确识别其类型，从而对后续的距离计算造成误差，甚至可能会无法得出距离。

在本申请所提供的碰撞预测技术方案中，在摄像单元所拍摄的图像中建立坐标系，识别待检测对象的边框，得到待检测对象的边框与计算单元所在的车辆之间的距离，其中，该距离是以图像中的像素为单位。通过比较不同时刻待检测对象的边框与计算单元所在的车辆在图像中的距离，判断二者距离的变化趋势，从而预测二者是否会发生碰撞。

进一步的，在可能发生碰撞的情况下，计算设备还可以根据不同时刻待检测对象的边框与计算设备所在的车辆在图像中的距离的变化以及时间差，来计算二者在图像中的相对速度，并根据二者在图像中的距离，实时预测碰撞发生的时间。通过这种方法，可以在不需要识别待检测对象的类型以及计算其与计算设备所在的车辆的实际距离的情况下，预测两者是否会发生碰撞以及在可能发生碰撞的情况下，预测二者发生碰撞的时间。由于不需要对待检测对象进行类型的识别，因此可以节省算力以及样本特征数据库所占用的存储空间。

图1A是本申请实施例提供的一种可能的系统架构的示意图。如图1A所示，车辆100中包括摄像单元102和计算设备104。其中，摄像单元102用于采集图像，可以是单目摄像单元，也可以是双目摄像单元。在实际应用中，摄像单元102可以为以下中的任一项：行车记录仪、摄像头、摄像装置、相机或者其他具有摄像功能的设备。摄像单元102具体可部署在以下设备的一个或者多个中：车辆100、计算设备104或者其他设备(例如手机、电脑等)。这里图示以摄像单元102部署在车辆100中为例，并不构成限定。

计算设备104用于获取摄像单元102所拍摄的图像，并识别该图像中的待检测对象，以及在该图像中用二维边框标识所识别出的待检测对象。计算设备104还可以用于识别图像中的其他环境信息，例如识别图像中的车道线。计算设备104还用于将待检测对象的二维边框的下沿到车辆100的车头部位的距离，作为待检测对象与车辆100之间在图像中的距离，该距离以像素为单位，即用待检测对象与车辆100在图像中间隔多少像素来表示它们在图像中的距离。通过检测不同时刻待检测对象与车辆100之间在图像中的距离，通过分析该距离的变化趋势，预测待检测对象与车辆100是否会发生碰撞。

在实际应用中，计算设备104可部署在车辆100上使用，也可单独部署(具体在如下图1B实例中详述)，本发明不做限定。这里图示以计算设备104部署在车辆100中为例示出。该计算设备包括但不限于以下中的任一项：手机、平板电脑(table personal computer)、个人数字助理(personal digital assistant，PDA)、移动上网装置(mobile internetdevice，MID)、可穿戴式设备(wearable device)、车载设备以及其他支持和网络通信的设备等。需要说明的是，本发明适用的场景包括但不限于自动驾驶领域、障碍物检测领域以及其他任何需要进行对象检测的场景。

在实际应用中，车辆100可包括但不限于卡车、货车、火车、小轿车、摩托车、越野车、农用车、或者其他交通工具或设备。需要指出的是，为了方便描述，本申请以车辆100为主体来对本申请的技术方案进行说明，但在本申请的部分实施例中，也可以将摄像单元102和计算设备104安装在别的需要进行碰撞预测的物体上来实现本申请所提供的技术方案，例如，可以将摄像单元102和计算设备104安装在轮船或者机器人上，以预测这些物体是否会与前方的待检测对象发生碰撞。

本发明实施例中，车辆100、摄像单元102以及计算设备104中的任意两个设备可采用有线通信技术或者无线通信技术实现设备间的网络通信。其中，该有线通信技术可以是指两个设备之间通过网线或光纤等方式通信。该无线通信技术包括但不限于全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(generalpacket radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long termevolution，LTE)、无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)、全球导航卫星系统(globalnavigation satellite system，GNSS)、调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)以及红外技术(infrared，IR)等等。

请参见图1B，是本申请的实施例提供的另一种可能的系统架构的示意图。该系统架构中包括摄像单元102以及计算设备104。其中，

摄像单元102部署在本地的终端设备106中，该终端设备包括但不限于车辆、手机、平板电脑(table personal computer)、个人数字助理(personal digital assistant，PDA)、移动上网装置(mobile internet device，MID)、可穿戴式设备(wearable device)以及其他支持和网络通信的设备。

计算设备104部署在云端网络侧，例如图示部署在云端服务器中。计算设备104通过网络与部署摄像单元102的终端设备相互通信，以获取摄像单元102采集的图像，进而实现图像中待检测对象的碰撞检测。在计算设备完成待检测对象的碰撞检测后，可获得待检测对象与车辆发生碰撞的判断结果。可选地，计算设备可通过网络将该待检测对象的判断结果发送给终端设备，便于终端设备获知该待检测对象的判断结果。关于本发明实施例中未描述或未示出的内容，可具体参见前述图1A所述实施例中的相关阐述，这里不再赘述。

图2是本申请的一个实施例的流程示意图。如图2所示，本申请所提供的碰撞预测方法包括以下步骤：

S201：计算设备104获得摄像单元102所拍摄的两个图像，并在两个图像上建立统一的坐标系。

其中，坐标系以像素的大小作为长度单位，并可以以任意点为原点，本申请不对此进行限定。计算设备104控制摄像单元102每隔预设时间即拍摄一次图像，并记录图像拍摄的时间。计算设备104所获得的两个图像可以是摄像单元102相邻的两个拍摄时间对应的图像，也可以是预设间隔的拍摄时间所对应的图像。为了方便描述，将拍摄时间早的拍摄时间作为第一时刻，将拍摄时间晚的拍摄时间作为第二时刻。

图3是摄像单元102所拍摄的一种可能的图像的示意图。如图所示，以该图像左上角的像素点作为原点，在该图像上建立了以u轴为横轴和以v轴为纵轴的坐标系，该坐标系以图像中的像素为长度单位，即以物体之间所间隔的像素数作为物体在图像中的距离，为描述方便，下文称之为像素距离。该图像包括车辆100的车头部位、待检测对象以及车道线信息等。其中，待检测对象可以是汽车，也可以是自行车、行人等，本申请以待检测对象为汽车进行说明，但不对待检测对象的类型进行限定。

S202：通过计算机视觉检测技术，分别从两个图像中提取待检测对象的二维边框。

其中，获取待检测对象的二维边框，既可以采用传统的图像边缘检测等视觉算法，也可以采用深度学习等算法。其中，图像边缘检测是指，通过检测每个像素和其邻域的状态，以决定该像素是否位于一个物体的边界上，从而提取位于物体边界上的像素点的集合确定物体的边框。图像边缘检测通常具有以下步骤：第一，图像滤波，传统的边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能，需要指出的是，大多数滤波器在降低噪声的同时也造成了了边缘强度的损失，因此，在增强边缘和降低噪声之间需要一个折衷的选择。第二，图像增强，增强边缘的基础是确定图像各点邻域强度的变化值，增强算法可以将邻域强度值有显著变化的点突显出来，边缘增强一般是通过计算梯度的幅值来完成的。第三，图像检测，在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定哪些点是边缘点，最简单的边缘检测判断是依据梯度幅值。第四，图像定位，如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计。

深度学习领域具有多种算法用于识别待检测对象的边框，包括但不限于以下中的任一项或多项的组合：卷积神经网络(convolutional neural networks，CNN)、基于区域的卷积神经网络(region-based convolutional neural networks，RCNN)、一瞥神经网络(you only look once，YOLO)、基于单个深层神经网络的对象检测(single shot multiboxdetector，SSD)、深度前馈神经网络(deep feed forward，DFF)以及递归神经网络(recurrent network，RNN)，本申请不对此进行限定。

S203：分别测量第一时刻车辆100的车头部位与待检测对象的二维边框在坐标系下的距离以及第二时刻车辆100的车头部位与待检测对象的二维边框在坐标系下的像素距离。

由于当车辆100的车头部位与待检测对象的尾部发生接触时，即算作二者发生了碰撞，因此将车辆100的车头部位和待检测对象的二维边框的下沿在坐标系下的像素距离作为二者在图像中的距离。

将第一时刻对应的图像中的车辆100的车头部位的v坐标值为a0。对于待检测对象的二维边框的下沿的v坐标值，当如图3所示的待检测对象的二维边框的下沿与u轴平行时，则该待检测对象的二维边框的下沿的每个像素点的v坐标值均相同，因此将该坐标值作为第一时刻待检测对象的二维边框下沿的v坐标值a1。

图4是摄像单元102所拍摄的另一种可能的图像的示意图。如图4所示，当待检测对象的二维边框的下沿不与u轴平行时，则待检测对象的二维边框下沿的每个像素点的v坐标值均不同。此时应选择v坐标值最大的像素点，该像素点距离车辆100的车头部位也最近，将该像素点的v坐标值作为第一时刻待检测对象的二维边框下沿的v坐标值a1。

当得到第一时刻车辆100的车头部位与待检测对象的二维边框的下沿的v坐标值以后，计算第一时刻t1二者的像素距离s1＝a0-a1。

同理，根据上述方法获得第二时刻车辆100的车头部位的v坐标值a2与待检测对象的二维边框下沿的v坐标值a3，计算第二时刻t2二者的像素距离s2＝a2-a3。

需要指出的是，对于车辆100与待检测对象在图像中的距离，本申请采用的是车辆100的车头部位与待检测对象的二维边框的下沿之间的距离。而实际上可以有多种方法来表示车辆100与待检测对象在图像中的距离，本申请不对此进行限定。

S204：根据车辆100与待检测对象的二维边框下沿在第一时刻和第二时刻的像素距离，预测二者是否可能碰撞。

当车辆100与待检测对象的二维边框下沿在第一时刻的像素距离s1小于等于第二时刻的像素距离s2时，说明二者的距离在扩大或者保持不变，则计算装置104预测二者不会发生碰撞，流程结束。

当车辆100与待检测对象的二维边框下沿在第一时刻的像素距离s1大于第二时刻的像素距离s2时，说明二者的距离在缩小，则计算装置104预测二者可能会发生碰撞，继续执行步骤S205。

S205：根据第一时刻和第二时刻待检测对象的二维边框下沿与车辆100的距离计算二者在坐标系下的相对速度。

根据第一时刻待检测对象的二维边框下沿与车辆100的距离s1、第二时刻待检测对象的二维边框下沿与车辆100的距离s2以及第一时刻和第二时刻的时间差(t2-t1)，可以计算得到二者在第一时刻和第二时刻之间的相对速度v1＝(s2-s1)/(t2-t1)，其中，t1和t2分别指的是第一时刻和第二时刻的时间。

可选的，当第一时刻和第二时刻之间的间隔足够小时，特别当第一时刻和第二时刻分别是摄像单元102拍摄的前后帧图像时，采用上述方法计算得到的相对速度v1更接近于二者在第二时刻这一瞬间的相对速度，则该相对速度v1可以更准确的用于后续预测车辆100与待检测对象可能发生碰撞的时间。

S206：根据第二时刻待检测对象的二维边框下沿与车辆100的距离s2以及二者的相对速度v1，预测车辆100与待检测对象可能发生碰撞的时间。

计算设备104可以根据第二时刻待检测对象的二维边框下沿与车辆的距离s2以及二者的相对速度v1，计算车辆100与待检测对象可能发生碰撞的时间t＝∣s2/v1∣，即距离s2除以相对速度v1的结果的绝对值，该时间表示如果车辆100和待检测对象均保持当前的速度，则二者发生碰撞的时间。结合步骤S205，当第一时刻和第二时刻之间的间隔足够小时，相对速度v1更接近于二者在第二时刻这一瞬间的相对速度，则预测二者在当前速度下发生碰撞的时间更精确。并且，如果接下来车辆100和待检测对象的速度发生变化，二者的相对速度相应地发生变化，计算装置104也可以根据当前待检测对象的二维边框下沿与车辆100的像素距离以及二者在该瞬间的相对速度，计算新的条件下二者发生碰撞的时间。

可选的，当计算设备104所预测的车辆100和待检测对象可能发生碰撞的时间小于设定的阈值时，计算设备104可以根据设定的程序执行一定的操作。例如当设定的阈值为3秒时，如果计算设备104预测如果保持当前的车速，车辆100将在2秒内与待检测对象发生碰撞，则计算设备104可以控制车辆在驾驶条件允许的情况下进行减速，或者鸣笛提醒前方的待检测对象注意，或者提醒车辆100的驾驶员介入驾驶控制，本申请不对此进行限定。

可选的，由于车辆100在行驶时可能会因为颠簸或者加减速等导致车辆100的俯仰角发生变化，可能会导致采用上述计算的结果产生偏差。为了使计算更加准确，在进行S204等步骤中计算车辆100与待检测对象的二维边框下沿在第二时刻和第一时刻的像素距离差值之前，可以根据第一时刻对应的数据先对第二时刻对应数据进行修正。

具体来说，由于摄像单元102是位于车辆100上的，理论上第一时刻车辆100的车头部位的v坐标值a0和第二时刻车辆100的车头部位的v坐标值a2是相同的。当a0和a2不相同时，如果以第一时刻对应的数据作为标准，则说明车辆100在第二时刻因为颠簸或者加减速等导致车辆的俯仰角产生变化。当第二时刻车辆100的车头上仰时，摄像单元102所拍摄的待检测对象的二维边框下沿与车辆100的距离会比车头保持水平时的距离更大，因此需要给第二时刻待检测对象的二维边框下沿的v坐标值a3增加一个正值的补偿量δ，也即给第二时刻待检测对象的二维边框下沿与车辆100的距离s2减小一个正值的补偿量；而当第二时刻车辆100的车头下俯时，摄像单元102所拍摄的待检测对象的二维边框下沿与车辆100的距离会比车头保持水平时的距离更小，因此需要给第二时刻待检测对象的二维边框下沿的v坐标值a3增加一个负值的补偿量，也即给第二时刻待检测对象的二维边框下沿与车辆100的距离s2减小一个负值的补偿量，并以该修改后的第二时刻的距离进行后续的计算。

可选的，可以将车辆100的车头部位在第二时刻的v坐标值a2与车辆100的车头部位在第一时刻的v坐标值a0作为补偿量δ，即δ＝a2-a0。当第二时刻车辆100的车头上仰时，车头部位的v坐标值a2大于a0，则补偿量δ为正值；当第二时刻车辆100的车头下俯时，车头部位的v坐标值a2小于a0，则补偿量δ为负值。本申请可以利用上述算法对第二时刻待检测对象的二维边框下沿与车辆100的距离s2进行修正，从而使计算结果更加精确。需要指出的是，对于第二时刻待检测对象的二维边框下沿与车辆100的距离s2的修正不限于上述方法，本申请不对此进行限定。

上述对于本申请的实施例的说明是以车辆100为主体进行的，需要指出的是，本申请的实施例所提供的技术方案不仅可以应用于车辆智能驾驶领域，还可以应用于机器人、船舶等领域作为碰撞预测的一种技术方案，本申请不对应用场景进行限定。

图5是本申请的另一个实施例的流程示意图。

在图2所示的流程示意图中，本申请给出了预测车辆100与前方的待检测对象是否会发生碰撞以及发生碰撞的时间的方案。而如果待检测对象正在变换车道，且变换车道所用的时间小于计算设备所预测的车辆100与待检测对象发生碰撞所需的时间，则即使车辆100与待检测对象都保持当前的速度，两者也不会发生碰撞。如图5所示，本实施例包括如下步骤：

S501：计算设备104获得摄像单元102所拍摄的两个图像，并在两个图像上建立统一的坐标系。

S502：通过计算机视觉检测技术，分别从两个图像中提取待检测对象的二维边框和车道线信息。

运用步骤S202中详细说明的计算机视觉检测技术，在两个图像中提取待检测对象的二维边框以及待检测对象以及车辆100所在的车道的车道线信息，其中，待检测对象位于第一车道线和第二车道线之间。既可以以第一车道线指代待检测对象左边的车道线，第二车道线指代待检测对象右边的车道线；也可以以第一车道线指代待检测对象右边的车道线，第二车道指代待检测对象左边的车道线，本申请不对此进行限定。

S503：计算第一时刻和第二时刻待检测对象的二维边框与第一车道线之间的距离与二维边框下沿长度的比值r1和r2。

由于距离摄像单元102越远的物体在摄像单元102所拍摄的图像中的大小会显得越小，因此当待检测对象与车辆100距离的不同时，图像中的待检测对象的二维边框大小以及待检测对象的二维边框与车道线之间的距离都会发生变化。为了解决这一问题，本申请利用待检测对象的二维边框和第一车道线之间的距离与待检测对象二维边框下沿的长度的比值r1进行计算，可以消除因为待检测对象和摄像单元102的距离不同而导致待检测对象在图像中的大小发生变化所对于计算结果产生的影响。类似的，还可以选择待检测对象的二维边框和第一车道线之间的距离与待检测对象二维边框的其他尺寸的比值进行计算，本申请不对此进行限定。

由于需要当待检测对象完全离开其所在的车道才能视为待检测对象已完成变道，因此在本实施例中，应选择待检测对象的二维边框中与第一车道线距离最远的像素点，将该像素点与第一车道线之间的距离视为待检测对象的二维边框与第一车道线的距离。具体来说，当待检测对象向左变道时，将左车道线作为第一车道线，而将待检测对象的二维边框的右沿与第一车道线之间的距离作为待检测对象的二维边框与第一车道线之间的距离；而当待检测对象向右变道时，将右车道线作为第二车道线，而将待检测对象的二维边框的左沿与第一车道线之间的距离作为待检测对象的二维边框与第一车道线之间的距离。

类似的，获取第二时刻待检测对象的二维边框与第一车道线之间的距离，并计算第二时刻待检测对象的二维边框与第一车道线之间的距离与二维边框下沿长度的比值r2。

S504：根据第一时刻和第二时刻待检测对象的二维边框与第一车道线之间的距离与二维边框下沿长度的比值的变化，计算待检测对象的横向速度v2。

根据第一时刻待检测对象的二维边框与第一车道线之间的距离与二维边框下沿长度的比值r1、第二时刻待检测对象的二维边框与第一车道线之间的距离与二维边框下沿长度的比值r2以及第二时刻和第一时刻的时间差(t2-t1)，可以得到待检测对象的横向速度v2＝(r2-r1)/(t2-t1)。

可选的，当第一时刻和第二时刻之间的间隔足够小时，特别当第一时刻和第二时刻分别是摄像单元102拍摄的前后帧图像时，采用上述方法计算得到的待检测对象的横向速度v2更接近于待检测对象在第二时刻这一瞬间的横向速度，则该横向速度v2可以更准确的用于后续预测待检测对象完成变道的时间。

S505：根据第二时刻待检测对象的二维边框和第一车道线之间的距离与待检测对象的二维边框下沿长度的比值以及待检测对象的横向速度，预测待检测对象何时完成变道。

由于本实施例定义的待检测对象的二维边框与第一车道线之间的距离为待检测对象的二维边框距第一车道线最远的像素点到第一车道线之间的距离，因此，根据该距离以及待检测对象的横向速度，可以得到待检测对象完全离开该车道的时间。结合步骤S206中所预测的车辆100与待检测对象发生碰撞的时间，如果待检测对象完全离开车道的时间小于车辆100与待检测对象发生碰撞的时间，则可以预测当待检测对象和车辆100均保持当前的速度时，二者不会发生碰撞。

图6是本申请的实施例提供的用于碰撞预测的计算设备的功能结构的示意图，其中，计算设备位于包括摄像单元的物体上。如图6所述，计算设备600包括控制模块610、处理模块620以及预测模块630，其中：

控制模块610，用于分别在第一时刻和第二时刻摄取第一图像和第二图像，其中，第一图像和第二图像包括待检测对象和该物体，第二时刻在第一时刻之后；

处理模块620，用于并测量第一图像中物体与待检测对象的第一距离以及第二图像中物体与待检测对象的第二距离；

预测模块630，根据第一距离和第二距离的大小，预测物体和待检测对象是否会发生碰撞，即当第二距离小于第一距离时，预测物体会和待检测对象发生碰撞；当第二距离大于等于第一距离时，预测物体不会和待检测对象发生碰撞。

上述计算设备600还用于执行如图2和图5所示的碰撞预测的其他步骤。具体来说，控制模块610用于执行步骤S201和S501中的控制摄像单元拍摄图像操作，处理模块620用于执行步骤S201和S501中的建立坐标系操作以及步骤S202、S203、S502和S503，预测模块630用于执行步骤S204、S205、S206、S504和S505，此处不再赘述。

图7为依据本申请的实施例提供的用于碰撞预测的计算设备700的结构示意图。本实施例中的计算设备700可以是上述各实施例中的存储系统的其中一种具体实现方式。

如图7所示，该计算设备700包括处理器701，处理器701与存储器705连接。处理器701可以为现场可编程门阵列(英文全称：Field Programmable Gate Array，缩写：FPGA)，或数字信号处理器(英文全称：Digital Signal Processor，缩写：DSP)等计算逻辑或以上任意计算逻辑的组合。处理器701也可以为单核处理器或多核处理器。

存储器705可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器或者本领域熟知的任何其它形式的存储介质，存储器可以用于存储程序指令，该程序指令被处理器701执行时，处理器701执行上述实施例中的所述的方法。

连接线709用于在通信装置的各部件之间传递信息，连接线709可以使用有线的连接方式或采用无线的连接方式，本申请并不对此进行限定。连接709还连接有网络接口704。

网络接口704使用例如但不限于电缆或电绞线一类的连接装置，来实现与其他设备或网络711之间的通信，网络接口704还可以通过无线的形式与网络711互连。

本申请实施例的一些特征可以由处理器701执行存储器705中的程序指令或者软件代码来完成/支持。存储器705上在加载的软件组件可以从功能或者逻辑上进行概括，例如，图6所示的控制模块、处理模块和预测模块。

在本申请的一个实施例中，当存储器705加载程序指令后，处理器701执行存储器中的上述功能/逻辑模块相关的事务。

此外，图7仅仅是一个计算设备700的例子，计算设备700可能包含相比于图7展示的更多或者更少的组件，或者有不同的组件配置方式。同时，图7中展示的各种组件可以用硬件、软件或者硬件与软件的结合方式实施。例如，存储器和处理器可以在一个模块中实现，存储器中的指令可以是预先写入存储器的，也可以是后续处理器在执行的过程中加载的。

Claims (12)

1.一种物体碰撞预测方法，其特征在于，所述方法应用于计算设备，所述计算设备位于包括摄像单元的物体上，所述方法包括：

分别在第一时刻和第二时刻控制所述摄像单元摄取第一图像和第二图像，所述第一图像和第二图像包括待检测对象及所述物体，所述第二时刻在所述第一时刻之后；

测量所述第一图像中所述物体与所述待检测对象的第一距离以及所述第二图像中所述物体与所述待检测对象的第二距离；

根据所述第一距离和所述第二距离的大小，预测所述物体和所述待检测对象是否会发生碰撞；

其中，所述物体为车辆，所述车辆和所述待检测对象位于同一车道内，所述方法还包括：

识别所述第一图像和所述第二图像中的车道线，其中，所述车道线包括第一车道线和第二车道线，所述第一车道线和所述第二车道线为相邻的车道线，所述车辆和所述待检测对象位于所述第一车道线和所述第二车道线之间；

根据所述第一图像中所述待检测对象和所述第一车道线的距离与所述待检测对象的大小的比值以及所述第二图像中所述待检测对象和所述第一车道线的距离与所述待检测对象的大小的比值，计算所述待检测对象的横向速度；

根据所述第二图像中待检测对象和所述第一车道线之间的距离与所述待检测对象的大小的比值以及所述待检测对象的横向速度，预测所述待检测对象离开当前车道的时间。

2.根据权利要求1所述的方法，其特征在于，当所述第二距离小于所述第一距离时，所述方法还包括：

根据所述第二距离和所述第一距离的差值以及所述第二时刻和所述第一时刻的差值，得到所述待检测对象和所述物体的相对速度；

根据所述相对速度和所述第二距离，预测所述物体与所述待检测对象发生碰撞的时间。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一距离和所述第二距离的大小，预测所述物体和所述待检测对象是否会发生碰撞，包括：

计算所述物体在所述第二图像和所述第一图像中的位置差；

根据所述第二距离和所述位置差的和与所述第一距离的大小，预测所述物体和所述待检测对象是否会发生碰撞。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一距离和所述第二距离的大小，预测所述物体和所述待检测对象是否会发生碰撞，包括：

计算所述物体在所述第二图像和所述第一图像中的位置差；

根据所述第二距离和所述位置差的和与所述第一距离的大小，预测所述物体和所述待检测对象是否会发生碰撞。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述测量所述第一图像中所述物体与所述待检测对象的第一距离以及所述第二图像中所述物体与所述待检测对象的第二距离，包括：

获取所述第一图像和第二图像中所述待检测对象的二维边框；

测量所述第一图像中所述物体与所述待检测对象的二维边框的所述第一距离以及所述第二图像中所述物体与所述待检测对象的二维边框的所述第二距离。

6.根据权利要求5所述的方法，其特征在于，当所述待检测对象的二维边框的下沿的每个像素点与所述物体的距离不相同时，以所述待检测对象的二维边框的下沿所包含的像素点与所述物体的最近距离作为所述物体与所述待检测对象的二维边框在所述图像中的距离。

7.一种计算设备，其特征在于，所述计算设备位于包括摄像单元的物体上，所述计算设备包括：

控制模块，用于分别在第一时刻和第二时刻控制所述摄像单元摄取第一图像和第二图像，所述第一图像和第二图像包括待检测对象及所述物体，所述第二时刻在所述第一时刻之后；

处理模块，用于测量所述第一图像中所述物体与所述待检测对象的第一距离以及所述第二图像中所述物体与所述待检测对象的第二距离；

预测模块，根据所述第一距离和所述第二距离的大小，预测所述物体和所述待检测对象是否会发生碰撞；

其中，所述物体为车辆，所述车辆和所述待检测对象位于同一车道内，所述处理模块还用于，识别所述第一图像和所述第二图像中的车道线，其中，所述车道线包括第一车道线和第二车道线，所述第一车道线和所述第二车道线为相邻的车道线，所述车辆和所述待检测对象位于所述第一车道线和第二车道线之间；

所述预测模块还用于：根据所述第一图像中所述待检测对象和所述第一车道线的距离与所述待检测对象的大小的比值以及所述第二图像中所述待检测对象和所述第一车道线的距离与所述待检测对象的大小的比值，计算所述待检测对象的横向速度；

根据所述第二图像中待检测对象和所述第一车道线之间的距离与所述待检测对象的大小的比值以及所述待检测对象的横向速度，预测所述待检测对象离开当前车道的时间。

8.根据权利要求7所述的计算设备，其特征在于，

所述预测模块还用于：当所述第二距离小于所述第一距离时，根据所述第二距离和所述第一距离的差值以及所述第二时刻和所述第一时刻的差值，得到所述待检测对象和所述物体的相对速度；

根据所述相对速度和所述第二距离，预测所述物体与所述待检测对象发生碰撞的时间。

9.根据权利要求8所述的计算设备，其特征在于，当所述预测模块预测所述物体和所述待检测对象是否会发生碰撞时，所述预测模块具体用于：

计算所述物体在所述第二图像和所述第一图像中的位置差；

根据所述第二距离和所述位置差的和与所述第一距离的大小，预测所述物体和所述待检测对象是否会发生碰撞。

10.根据权利要求9所述的计算设备，其特征在于，当所述预测模块预测所述物体和所述待检测对象是否会发生碰撞时，所述预测模块具体用于：

计算所述物体在所述第二图像和所述第一图像中的位置差；

根据所述第二距离和所述位置差的和与所述第一距离的大小，预测所述物体和所述待检测对象是否会发生碰撞。

11.根据权利要求7-10任一项所述的计算设备，其特征在于，当所述处理模块测量所述第一图像中所述物体与所述待检测对象的第一距离以及所述第二图像中所述物体与所述待检测对象的第二距离时，所述处理模块具体用于：

获取所述第一图像和第二图像中所述待检测对象的二维边框；

测量所述第一图像中所述物体与所述待检测对象的二维边框的所述第一距离以及所述第二图像中所述物体与所述待检测对象的二维边框的所述第二距离。

12.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器存储程序代码，所述处理器用于调用所述存储器中的程序代码执行如权利要求1-6任一项所述的物体碰撞预测的方法。

Images