CN110929639A - 用于确定图像中障碍物位置的方法、装置、设备和介质 - Google Patents

Abstract

本申请实施例公开了一种用于确定图像中障碍物位置的方法、装置、设备和介质，可用于自动驾驶，涉及图像处理技术领域，其中，该方法包括：获取当前拍摄的行车环境图像；确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标；利用预设位置预测算法确定被遮挡部位的预测坐标；基于预测坐标和初始坐标，确定目标障碍物在行车环境图像中的当前位置。本申请实施例可以提高行车环境图像中障碍物定位的准确性。

Description

用于确定图像中障碍物位置的方法、装置、设备和介质

技术领域

本申请实施例涉及计算机技术，具体涉及图像处理技术领域，尤其涉及一种用于确定图像中障碍物位置的方法、装置、设备和介质，可用于自动驾驶。

背景技术

在车联网应用场景中，对行车环境中的障碍物进行准确的检测与定位，可以辅助车辆系统获取更多的环境信息。

然而，行车环境中的障碍物必不可免的会存在被遮挡的情况。例如，利用部署在道路上的相机拍摄行车环境中的静止障碍物，当该静止障碍物被其他物体遮挡时，基于拍摄的行车环境图像检测到的障碍物位置的准确性会降低，导致该静止障碍物在多帧行车环境图像上的检测位置出现跳变的情况。进而，在可视化的检测结果显示界面上，用于表征障碍物位置的检测框出现连续抖动的现象，影响基于障碍物检测位置进行障碍物跟踪的效果，或者影响多相机障碍物融合的效果。

发明内容

本申请实施例公开一种用于确定图像中障碍物位置的方法、装置、设备和介质，以提高行车环境图像中障碍物的定位准确性。

第一方面，本申请实施例公开了一种用于确定图像中障碍物位置的方法，包括：

获取当前拍摄的行车环境图像；

确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标；

利用预设位置预测算法确定所述被遮挡部位的预测坐标；

基于所述预测坐标和所述初始坐标，确定所述目标障碍物在所述行车环境图像中的当前位置。

上述申请中的一个实施例具有如下优点或有益效果：通过根据目标障碍物的遮挡属性，在检测与定位过程中灵活切换行车环境图像中目标障碍物各部位的坐标确定算法，利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，提高了行车环境图像中障碍物的定位准确性。

可选的，确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标，包括：

利用预先训练的检测模型，确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标。

上述申请中的一个实施例具有如下优点或有益效果：检测模型作为一种多任务检测模型，提高了所需的各检测结果的输出效率。

可选的，所述方法还包括：

获取对训练集中每一帧图像上障碍物信息的标注结果，其中，所述障碍物信息包括障碍物的位置、障碍物是否被遮挡、以及障碍物的被遮挡部位；

利用所述标注结果和所述训练集，基于神经网络结构训练得到所述检测模型；

其中，所述神经网络结构包括卷积层、池化层和全连接层。

可选的，在所述检测模型的训练过程中，模型损失函数中包括障碍物的定位损失、障碍物的识别分类损失和障碍物各部位的遮挡分类损失，其中，所述障碍物的定位损失与所述障碍物各部位的遮挡情况相关。

上述申请中的一个实施例具有如下优点或有益效果：通过将障碍物各部位的遮挡分类损失加以考虑，提高了模型训练的准确性。

可选的，在所述利用预设位置预测算法确定所述被遮挡部位的预测坐标之前，所述方法还包括：

统计对应于所述被遮挡部位的已存储历史坐标的数量；

根据统计数量与预设数量阈值的关系，确定所述预设位置预测算法；

其中，所述被遮挡部位的已存储历史坐标是在历史检测与定位过程中，所述被遮挡部位在未被遮挡状态下的初始坐标。

可选的，如果所述统计数量小于所述预设数量阈值，则所述利用预设位置预测算法确定所述被遮挡部位的预测坐标，包括：

利用卡尔曼滤波算法确定所述被遮挡部位的预测坐标。

可选的，如果所述统计数量大于或等于所述预设数量阈值，则所述利用预设位置预测算法确定所述被遮挡部位的预测坐标，包括：

将对应于所述被遮挡部位的已存储历史坐标进行均值计算，将得到的坐标均值作为所述被遮挡部位的预测坐标。

可选的，在所述利用预设位置预测算法确定所述被遮挡部位的预测坐标之前，所述方法还包括：

利用所述未被遮挡部位的初始坐标，和对应于所述未被遮挡部位的已存储历史坐标，计算对应于每个未被遮挡部位的坐标均值和坐标方差；

如果所述坐标均值和所述坐标方差分别小于对应的设定阈值，则确定所述目标障碍物为静止状态；

其中，所述未被遮挡部位的已存储历史坐标是在历史检测与定位过程中，所述未被遮挡部位在未被遮挡状态下的初始坐标。

上述申请中的一个实施例具有如下优点或有益效果：通过坐标均值和坐标方差计算，判断坐标变化的波动性，确定目标障碍物是否为静止状态，确保了对目标障碍物的定位准确性。

第二方面，本申请实施例还公开了一种用于确定图像中障碍物位置的装置，包括：

图像获取模块，用于获取当前拍摄的行车环境图像；

被遮挡部位和坐标确定模块，用于确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标；

坐标预测模块，用于利用预设位置预测算法确定所述被遮挡部位的预测坐标；

障碍物位置确定模块，用于基于所述预测坐标和所述初始坐标，确定所述目标障碍物在所述行车环境图像中的当前位置。

第三方面，本申请实施例还公开了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例任一所述的用于确定图像中障碍物位置的方法。

第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请实施例任一所述的用于确定图像中障碍物位置的方法。

根据本申请实施例的技术方案，通过根据目标障碍物的遮挡属性，灵活切换行车环境图像中目标障碍物各部位的坐标确定算法，利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，解决了现有方案中当障碍物被遮挡时，障碍物的位置检测准确性较低的问题，提高了行车环境图像中障碍物的定位准确性，进而避免了连续多帧图像上障碍物位置显示的跳变现象，可以得到稳定的定位输出，保证了与障碍物检测与定位相关的下游业务，例如障碍物跟踪和多相机障碍物融合等，可以得到稳定、理想的处理结果。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例公开的一种用于确定图像中障碍物位置的方法的流程图；

图2是根据本申请实施例公开的一种检测模型的检测流程示意图；

图3是根据本申请实施例公开的另一种用于确定图像中障碍物位置的方法的流程图；

图4是根据本申请实施例公开的一种用于确定图像中障碍物位置的装置的结构示意图；

图5是根据本申请实施例公开的一种电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请实施例公开的一种用于确定图像中障碍物位置的方法的流程图，本实施例可以适用于在车联网通信、自动驾驶等业务中，对行车环境中的障碍物进行检测与定位，以准确地确定障碍物位置的情况，优选可以是对静止障碍物的定位。本实施例公开的方法可以由用于确定图像中障碍物位置的装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的具有计算能力的设备上，例如路侧计算设备、或者车载计算设备等。

如图1所示，本实施例公开的用于确定图像中障碍物位置的方法可以包括：

S101、获取当前拍摄的行车环境图像。

在本实施例中，行车环境图像可以是由安装在路侧的相机进行采集，然后发送至路侧计算设备执行图像处理，最后将处理结果发送至车辆；行车环境图像也可以是由车载相机进行采集，然后发送至车载计算设备进行处理，本实施例对此不作具体限定。根据障碍物检测与定位的需求，行车环境图像的采集与处理可以是实时进行，也可以是周期性进行。

S102、确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标。

当获取到当前拍摄的行车环境图像后，可以利用现有的任意可用的障碍物检测算法对行车环境图像中的目标障碍物进行识别，如果识别出目标障碍物，则继续确定目标障碍物被遮挡的部位，其中，目标障碍物是指行车过程中对安全驾驶存在影响或者具有环境信息指导作用的任意物体，例如锥桶、交通指示牌、车辆、行人等，并且在设定时间内目标障碍物与路侧相机、或者目标障碍物与车辆保持相对静止的状态，该设定时间的长度可以根据对目标障碍物的检测与定位需求以及定位精度等因素进行适应性设置。当然，目标障碍物也可以是处于绝对静止状态的任意物体。

进一步的，还可以利用能够准确确定障碍物在图像中位置的定位算法，确定用于表征目标障碍物在行车环境图像中的位置的多个初始坐标。其中，如果目标障碍物当前未被遮挡，则多个初始坐标均对应于目标障碍物的未被遮挡部位，如果目标障碍物被遮挡，则多个初始坐标中可以同时包括对应于目标障碍物的被遮挡部位和未被遮挡部位的坐标。在本实施例中，如果目标障碍物未被遮挡，得到的多个初始坐标即可以准确表征目标障碍物在行车环境图像中的位置，可以直接用于位置输出；如果目标障碍物被遮挡，为了保证定位准确性，后续需要利用预设位置预测算法对被遮挡部位的初始坐标进行替换或更新。

可选的，可以利用预先训练的检测模型，确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标，即该检测模型属于多任务检测模块，可以同时用于确定目标障碍物的被遮挡部位和目标障碍物的初始坐标，在保证结果准确性的基础上提高所需的各检测结果的输出效率。示例性的，利用预先训练的检测模型，对行车环境图像中的目标障碍物进行识别，当目标障碍物被识别出来后，可以利用形状规则的检测框标识目标障碍物在图像中的位置，该检测框可以利用预设数量的角点坐标进行表示，例如利用四个角点坐标来表示，具体为左上角点(x1，y1)、左下角点(x1，y2)、右上角点(x2，y1)、右下角点(x2，y2)，目标障碍物的被遮挡部位可以利用上述预设数量的角点坐标中的部分坐标来表示，例如目标障碍物的被遮挡部位用左下角点(x1，y2)表示，剩余的三个角点对应于未被遮挡部位。

S103、利用预设位置预测算法确定被遮挡部位的预测坐标。

预设位置预测算法是本实施例中针对目标障碍物被遮挡时，为保证定位准确性而采用的位置预测算法。该预设位置预测算法的实现思想在于：基于在目标障碍物的历史检测与定位过程中，目标障碍物完全没有被遮挡或者部分被遮挡时所保存的目标障碍物的未遮挡部位的坐标，预测目标障碍物当前被遮挡部位的坐标，历史检测与定位过程可以是指上一时刻的检测阶段或者上一检测周期等已执行结束的检测阶段。可选的，预设位置预测算法可以包括卡尔曼滤波算法，或者对应于目标障碍物当前被遮挡部位的已存储历史坐标的均值计算。

以卡尔曼滤波算法为例，假设相机每秒拍摄5帧行车环境图像，在第1帧和第2帧中目标障碍物均没有被遮挡，而在第3帧中目标障碍物的右下角被遮挡，则可以利用卡尔曼滤波算法确定目标障碍物的右下角在第3帧图像中的预测坐标，具体的，可以将当前时刻之前的历史时刻，例如上一秒，拍摄的行车环境图像中目标障碍物未被遮挡时，目标障碍物各个部位的初始坐标作为卡尔曼滤波算法中的位置初始化参数，并设置目标障碍物的速度和加速度参数为0，还可以将预测噪声与观测噪声之间的比值设置为1:1000，所需参数设置完成后，对目标障碍物当前被遮挡部位的坐标进行预测，其中，相关参数的具体取值本实施不作具体限定，可以根据实际进行调整。由于在设定时间内，目标障碍物处于相对静止的状态，利用目标障碍物在未被遮挡状态下的位置坐标作为初始化值进行当前被遮挡状态下的位置预测，表示当前更加相信预测值而非观测值。

S104、基于预测坐标和初始坐标，确定目标障碍物在行车环境图像中的当前位置。

其中，对于目标障碍物的未被遮挡部位，也可以通过基于当前得到的初始坐标和已存储历史坐标，按照部位与坐标的对应关系，进行均值计算，将得到的坐标均值作为当前未遮挡部位的初始坐标，以参与目标障碍物的定位。未被遮挡部位的已存储历史坐标是在历史检测与定位过程中，未被遮挡部位在未被遮挡状态下的初始坐标。

在本实施例中，预先训练的检测模型可以作为障碍物检测与定位的一种初始化算法，由于在设定时间内，目标障碍物处于相对静止状态，利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，相比于利用单一检测方式直接确定存在遮挡的目标障碍物的位置，可以提高定位的准确性。如果存在定位输出的需求，则可以将最终确定的目标障碍物的当前位置进行输出，例如在显示屏幕上输出包围目标障碍物的矩形检测框等。

在上述技术方案的基础上，可选的，本实施例公开的方法还包括对检测模型的训练，具体可以包括：

获取对训练集中每一帧图像上障碍物信息的标注结果，其中，障碍物信息包括障碍物的位置、障碍物是否被遮挡、以及障碍物的被遮挡部位，在保证标注准确性的基础上，可以采用人工标注，也可以采用自动化标注，通常采用人工标注；

利用标注结果和训练集，基于神经网络结构训练得到检测模型，即该检测模型可以同时输出目标障碍物的遮挡属性、各个部位的遮挡属性以及各部位的初始坐标；

其中，神经网络结构至少包括卷积层、池化层和全连接层，示例性的，该神经网络结构至少可以包括特征金字塔网络(Feature Pyramid Networks，FPN)和预设数量的全连接层，全连接层的数量可以根据输出进行适应性确定。

进一步的，在检测模型的训练过程中，模型损失函数中包括障碍物的定位损失、障碍物的识别分类损失和障碍物各部位的遮挡分类损失，其中，障碍物的定位损失与障碍物各部位的遮挡情况相关。通过将障碍物各部位的遮挡分类损失加以考虑，提高了模型训练的准确性。

在模型训练过程中，损失函数采用如下形式：

L＝a·L_location+b·L_{classification}+(1-a-b)·L_occlusion

其中，L_location表示障碍物的定位损失，L_{classification}表示障碍物的识别分类损失，L_occlusion表示障碍物各部位的遮挡分类损失，例如，如果用检测框四个角点表示障碍物的位置，则L_occlusion可以表示这四个角点是否被遮挡的分类损失。a、b的取值可以根据模型训练需求，在模型训练过程中进行适应性调整。具体的，L_{classification}可以使用交叉熵损失计算障碍物的输出类别与真实类别之间的损失；L_occlusion可以是针对障碍物各部位的输出遮挡类别与真实遮挡类别之间交叉熵的和；L_location的具体计算过程如下：

L_location＝d₁·(x1_predict/x1_true-1)²+d₂·(y1_predict/y1_true-1)²+d₃·(x2_predict/x2_true-1)²+d₄·(y2_predict/y2_true-1)²+……，

其中，(x1，y1)，(x2，y2)……，分别用于表示障碍物在图像中的位置，如果障碍物在图像中的位置使用检测框表示，也可以直接使用该检测框的左上角和右下角的角点坐标来表示障碍物的位置。xi_predict或者yi_predict表示检测模型的预测值，xi_true或者yi_true表示真实值，该真实值通常为人工标注的结果；根据障碍物的遮挡情况，d_i取不同的小于或等于1的值，以表示由于遮挡而导致的位置检测的误差性，i＝1，2，3……。

以利用检测框的四个角点表示障碍物的位置为例，如果左上角点(x1，y1)被遮挡，左上角点的真实值由于是人工标注的，也不是很准确，则d₁、d₂可以设置为0.8；同理，右下角点(x2，y2)被遮挡，右下角点的真实值也不是很准确，则d₃、d₄可以设置为0.8。当存在多个角点同时被遮挡时，可以根据遮挡对于各个部位坐标的影响，将d_i设置为合理的值。不同遮挡情况下的d_i取值，可以是通过基于遮挡对坐标准确性的影响进行规律统计而确定。

图2作为示例，示出了一种适用于本实施例的检测模型的检测流程示意图，具体以利用检测框的四个角点表示障碍物的位置为例，不应该理解为本实施例的具体限定。如图2所示，行车环境图像输入检测模型中，经历卷积层和池化层的处理后，得到特征图；利用特征金字塔网络(图中未示出)得到候选区域，将候选区域与特征图输入池化层进行特征提取，最后通过全连接层进行结果分类，并输出所需结果，包括目标障碍物的遮挡属性、各个角点的遮挡属性、以及各个角点的初始坐标。

本实施例通过根据目标障碍物的遮挡属性，灵活切换行车环境图像中目标障碍物各部位的坐标确定算法，利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，解决了现有方案中当障碍物被遮挡时，障碍物的位置检测准确性较低的问题，提高了行车环境图像中障碍物的定位准确性，进而避免了连续多帧图像上障碍物位置显示的跳变现象，可以得到稳定的定位输出，保证了与障碍物检测与定位相关的下游业务，例如障碍物跟踪和多相机障碍物融合等，可以得到稳定、理想的处理结果。并且，本实施例技术方案通过在目标障碍物检测与定位过程中将检测模型和位置预测算法进行结合利用，可以达到对检测模型的在线纠正的效果。

图3是根据本申请实施例公开的另一种用于确定图像中障碍物位置的方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图3所示，该方法可以包括：

S201、获取当前拍摄的行车环境图像。

S202、确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标。

S203、统计对应于被遮挡部位的已存储历史坐标的数量。

其中，被遮挡部位的已存储历史坐标是在历史检测与定位过程中，该被遮挡部位在未被遮挡状态下的初始坐标。在本实施例中，在任一检测与定位过程中，如果确定目标障碍物未被遮挡，目标障碍物各部位的初始坐标均会被存储，例如按照部位与坐标的对应关系，存储至未遮挡候选位置集合中；如果确定目标障碍物被遮挡，则未被遮挡部位的初始坐标也会被存储，例如同样存储至未遮挡候选位置集合中，以便下一时刻或者下一检测周期对当前存储的初始坐标进行利用。

在目标障碍物与路侧相机、或者目标障碍物与车辆保持相对静止状态的设定时间内，对应于目标障碍物各部位的已存储历史坐标具有一定的时效性，例如，各部位的已存储历史坐标的数量达到存储阈值时，便会进行清除，然后重新计数存储的坐标数量。

S204、根据统计数量与预设数量阈值的关系，确定预设位置预测算法。

其中，该预设数量阈值可以根据利用存储的历史坐标预测遮挡部位的当前坐标，所对应的障碍物定位精度的统计规律而确定，例如，可以设置为5。

S205、如果统计数量小于预设数量阈值，则利用卡尔曼滤波算法确定被遮挡部位的预测坐标。

S206、如果统计数量大于或等于预设数量阈值，则将对应于被遮挡部位的已存储历史坐标进行均值计算，将得到的坐标均值作为被遮挡部位的预测坐标。

如果统计数量大于或等于预设数量阈值，说明利用已存储历史坐标的均值作为被遮挡部位的预测坐标，可以满足当前障碍物定位的精度要求。由于本实施例中目标障碍物与路侧相机、或者目标障碍物与车辆保持相对静止状态，相当于目标障碍物虽然被遮挡，但其位置并没有发生变化，而对应于当前被遮挡部位的已存储历史坐标均是在该部位未被遮挡时预先存储的初始坐标，因此，可以用于准确表示当前被遮挡部位。

S207、基于预测坐标和初始坐标，确定目标障碍物在行车环境图像中的当前位置。

可选的，在利用预设位置预测算法确定被遮挡部位的预测坐标之前，即在执行操作S205或者操作S206之前，本实施例公开的方法还包括：

利用未被遮挡部位的初始坐标，和对应于未被遮挡部位的已存储历史坐标，计算对应于每个未被遮挡部位的坐标均值和坐标方差；

如果坐标均值和坐标方差分别小于对应的设定阈值，则确定目标障碍物为静止状态。

其中，未被遮挡部位的已存储历史坐标是在历史检测与定位过程中，未被遮挡部位在未被遮挡状态下的初始坐标，即在任一检测与定位过程中，无论目标障碍物是处于未被遮挡还是被遮挡状态，对应于未被遮挡部位的初始坐标均会进行保存，以便后续使用。坐标均值和坐标方差各自对应的阈值可以根据实际进行设置，本实施例不作具体限定。通过在利用预设位置预测算法确定被遮挡部位的预测坐标之前，进行坐标均值和坐标方差计算，判断坐标变化的波动性，可以确定目标障碍物是否为静止状态。如果确定目标障碍物处于静止状态，则继续执行后续操作，利用本实施例方案确定出的目标障碍物位置具有较高准确性；如果确定目标障碍物处于运动状态，则本实施例方案的后续操作不具有适用性，当前方案终止执行。

本实施例通过在目标障碍物的被遮挡状态下，根据被遮挡部位的已存储历史坐标的数量，灵活切换位置预测算法以对被遮挡部位的坐标进行预测，进而利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，解决了现有方案中当障碍物被遮挡时，障碍物的位置检测准确性较低的问题，提高了行车环境图像中障碍物的定位准确性。

图4是根据本申请实施例公开的一种用于确定图像中障碍物位置的装置的结构示意图，本实施例可以适用于在车联网通信、自动驾驶等业务中，对行车环境中的障碍物进行检测与定位，以准确地确定障碍物位置的情况。该装置可以采用软件和/或硬件的方式实现，并可集成在任意的具有计算能力的设备上，例如路侧计算设备、或者车载计算设备等。

如图4所示，本实施例公开的用于确定图像中障碍物位置的装置300可以包括图像获取模块301、被遮挡部位和坐标确定模块302、坐标预测模块303和障碍物位置确定模块304，其中：

图像获取模块301，用于获取当前拍摄的行车环境图像；

被遮挡部位和坐标确定模块302，用于确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标；

坐标预测模块303，用于利用预设位置预测算法确定被遮挡部位的预测坐标；

障碍物位置确定模块304，用于基于预测坐标和初始坐标，确定目标障碍物在行车环境图像中的当前位置。

可选的，被遮挡部位和坐标确定模块302具体用于：

利用预先训练的检测模型，确定行车环境图像中目标障碍物的被遮挡部位，以及确定目标障碍物的未被遮挡部位的初始坐标。

可选的，本实施例公开的装置还包括：

标注结果获取模块，用于获取对训练集中每一帧图像上障碍物信息的标注结果，其中，障碍物信息包括障碍物的位置、障碍物是否被遮挡、以及障碍物的被遮挡部位；

检测模型训练模块，用于利用标注结果和训练集，基于神经网络结构训练得到检测模型；

其中，神经网络结构包括卷积层、池化层和全连接层。

可选的，在检测模型的训练过程中，模型损失函数中包括障碍物的定位损失、障碍物的识别分类损失和障碍物各部位的遮挡分类损失，其中，障碍物的定位损失与障碍物各部位的遮挡情况相关。

可选的，本实施例公开的装置还包括：

坐标数量统计模块，用于在坐标预测模块303执行利用预设位置预测算法确定被遮挡部位的预测坐标的操作之前，统计对应于被遮挡部位的已存储历史坐标的数量，其中，被遮挡部位的已存储历史坐标是在历史检测与定位过程中，被遮挡部位在未被遮挡状态下的初始坐标；

预设位置预测算法确定模块，用于根据统计数量与预设数量阈值的关系，确定预设位置预测算法。

可选的，坐标预测模块303，用于如果统计数量小于预设数量阈值，则利用卡尔曼滤波算法确定被遮挡部位的预测坐标。

可选的，坐标预测模块303，用于如果统计数量大于或等于预设数量阈值，则将对应于被遮挡部位的已存储历史坐标进行均值计算，将得到的坐标均值作为被遮挡部位的预测坐标。

可选的，本实施例公开的装置还包括：

坐标均值和方差计算模块，用于在坐标预测模块303执行利用预设位置预测算法确定被遮挡部位的预测坐标的操作之前，利用未被遮挡部位的初始坐标，和对应于未被遮挡部位的已存储历史坐标，计算对应于每个未被遮挡部位的坐标均值和坐标方差；

障碍物状态确定模块，用于如果坐标均值和坐标方差分别小于对应的设定阈值，则确定目标障碍物为静止状态；

其中，未被遮挡部位的已存储历史坐标是在历史检测与定位过程中，未被遮挡部位在未被遮挡状态下的初始坐标。

本申请实施例所公开的用于确定图像中障碍物位置的装置300可执行本申请实施例所公开的任意的用于确定图像中障碍物位置的方法，具备执行方法相应的功能模块和有益效果。本实施方式中未详尽描述的内容可以参考本申请任意方法实施方式中的描述。

根据本申请的实施例，本申请还公开了一种电子设备和一种可读存储介质。

如图5所示，图5是用于实现本申请实施例中用于确定图像中障碍物位置的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。

如图5所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统。图5中以一个处理器401为例。

存储器402即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的用于确定图像中障碍物位置的方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的用于确定图像中障碍物位置的方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中用于确定图像中障碍物位置的方法对应的程序指令/模块，例如，附图4所示的图像获取模块301、被遮挡部位和坐标确定模块302、坐标预测模块303和障碍物位置确定模块304。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中用于确定图像中障碍物位置的方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于实现本实施例中用于确定图像中障碍物位置的方法的电子设备的使用，所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至用于实现本申请实施例中用于确定图像中障碍物位置的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于实现本申请实施例中用于确定图像中障碍物位置的方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与用于实现本申请实施例中用于确定图像中障碍物位置的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(Light Emitting Diode，LED)；触觉反馈装置例如，振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序，也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统，例如，作为数据服务器，或者实施在包括中间件部件的计算系统，例如，应用服务器，或者实施在包括前端部件的计算系统，例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信，例如通信网络，来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例通过根据目标障碍物的遮挡属性，灵活切换行车环境图像中目标障碍物各部位的坐标确定算法，利用遮挡部位当前的预测坐标和未遮挡部位的初始坐标共同确定目标障碍物在当前行车驾驶环境图像上的位置，解决了现有方案中当障碍物被遮挡时，障碍物的定位准确性较低的问题，提高了行车环境图像中障碍物的定位准确性，进而避免了连续多帧图像上障碍物位置显示的跳变现象，保证了与障碍物检测与定位相关的下游业务，例如障碍物跟踪和多相机障碍物融合等，可以得到稳定、理想的处理结果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种用于确定图像中障碍物位置的方法，其特征在于，包括：

获取当前拍摄的行车环境图像；

确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标；

利用预设位置预测算法确定所述被遮挡部位的预测坐标；

基于所述预测坐标和所述初始坐标，确定所述目标障碍物在所述行车环境图像中的当前位置。

2.根据权利要求1所述的方法，其特征在于，确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标，包括：

利用预先训练的检测模型，确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取对训练集中每一帧图像上障碍物信息的标注结果，其中，所述障碍物信息包括障碍物的位置、障碍物是否被遮挡、以及障碍物的被遮挡部位；

利用所述标注结果和所述训练集，基于神经网络结构训练得到所述检测模型；

其中，所述神经网络结构包括卷积层、池化层和全连接层。

4.根据权利要求3所述的方法，其特征在于，在所述检测模型的训练过程中，模型损失函数中包括障碍物的定位损失、障碍物的识别分类损失和障碍物各部位的遮挡分类损失，其中，所述障碍物的定位损失与所述障碍物各部位的遮挡情况相关。

5.根据权利要求1所述的方法，其特征在于，在所述利用预设位置预测算法确定所述被遮挡部位的预测坐标之前，所述方法还包括：

统计对应于所述被遮挡部位的已存储历史坐标的数量；

根据统计数量与预设数量阈值的关系，确定所述预设位置预测算法；

其中，所述被遮挡部位的已存储历史坐标是在历史检测与定位过程中，所述被遮挡部位在未被遮挡状态下的初始坐标。

6.根据权利要求5所述的方法，其特征在于，如果所述统计数量小于所述预设数量阈值，则所述利用预设位置预测算法确定所述被遮挡部位的预测坐标，包括：

利用卡尔曼滤波算法确定所述被遮挡部位的预测坐标。

7.根据权利要求5所述的方法，其特征在于，如果所述统计数量大于或等于所述预设数量阈值，则所述利用预设位置预测算法确定所述被遮挡部位的预测坐标，包括：

将对应于所述被遮挡部位的已存储历史坐标进行均值计算，将得到的坐标均值作为所述被遮挡部位的预测坐标。

8.根据权利要求1所述的方法，其特征在于，在所述利用预设位置预测算法确定所述被遮挡部位的预测坐标之前，所述方法还包括：

利用所述未被遮挡部位的初始坐标，和对应于所述未被遮挡部位的已存储历史坐标，计算对应于每个未被遮挡部位的坐标均值和坐标方差；

如果所述坐标均值和所述坐标方差分别小于对应的设定阈值，则确定所述目标障碍物为静止状态；

其中，所述未被遮挡部位的已存储历史坐标是在历史检测与定位过程中，所述未被遮挡部位在未被遮挡状态下的初始坐标。

9.一种用于确定图像中障碍物位置的装置，其特征在于，包括：

图像获取模块，用于获取当前拍摄的行车环境图像；

被遮挡部位和坐标确定模块，用于确定所述行车环境图像中目标障碍物的被遮挡部位，以及确定所述目标障碍物的未被遮挡部位的初始坐标；

坐标预测模块，用于利用预设位置预测算法确定所述被遮挡部位的预测坐标；

障碍物位置确定模块，用于基于所述预测坐标和所述初始坐标，确定所述目标障碍物在所述行车环境图像中的当前位置。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的用于确定图像中障碍物位置的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的用于确定图像中障碍物位置的方法。

Images