CN111578839B - 障碍物坐标处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了障碍物坐标处理方法、装置、电子设备及可读存储介质，涉及自动驾驶及智能交通领域。具体实现方案为：获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标；发送所述障碍物的世界坐标。该方法能极大减小耗时，进而保证障碍物坐标获取的实时性。

Description

障碍物坐标处理方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种障碍物坐标处理方法、装置、电子设备及可读存储介质，可用于自动驾驶及智能交通。

背景技术

路侧感知技术在自动驾驶领域中发挥着重要作用。路侧感知技术通过设置在道路两侧的路侧传感器采集障碍物的信息，并将障碍物的信息发送给自动驾驶车辆、云平台等，以用于进行自动驾驶控制。路侧传感器可以包括摄像头。为了通过摄像头获取超视距的道路交通信息，摄像头通常被安装在路灯杆或红绿灯杆上。摄像头位置越高，摄像头所捕获的图像的视场越大，信息量越大，路侧感知能力越强。但是，摄像头安装在路灯杆或红绿灯杆上等较高位置时，由于风吹或重型车辆经过可能会引起摄像头的抖动，摄像头的抖动引起摄像头的位置变化，而确定障碍物的实际三维位置时使用预先标定好的摄像头的外参进行，当抖动引起摄像头的位置变化时，会导致摄像头的外参失效，再利用该外参确定障碍物的实际三维位置时会出现位置不准确。因此，需要解决摄像头抖动时确定障碍物位置的问题。

现有技术中，可以通过电子防抖方式解决摄像头抖动。具体的，不需要对路侧传感器的硬件进行改动，基于抖动时的图像，使用特定的算法，生成抖动时的图像对应的不抖动时的图像，再基于不抖动时的图像，使用预先标定的摄像头的外参，确定障碍物的实际三维位置，从而使得基于不抖动时的图像所确定的障碍物的位置准确。

但是，现有技术的方法的耗时较长，影响障碍物位置信息获取的实时性。

发明内容

本申请实施例提供了一种用于纠正障碍物抖动偏差的障碍物坐标处理方法、装置、电子设备及可读存储介质。

根据第一方面，提供了一种障碍物坐标处理方法，该方法包括：

获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；

根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标；

发送所述障碍物的世界坐标。

根据第二方面，提供了一种障碍物坐标处理装置，该装置包括：

处理模块，用于获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；以及，

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；以及，

根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标；

发送模块，用于发送所述障碍物的世界坐标。

根据第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。

根据第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。该电子设备例如可以是路侧单元。在一些实施例中，路侧单元也可以称为路侧设备。

根据本申请的技术解决了摄像头防抖方法的耗时较长导致影响障碍物位置信息获取的实时性的问题，路侧单元在获取到摄像头抖动时采集的目标图像后，基于障碍物在目标图像中的像素坐标以及目标图像相对于模板图像的平移量可以得到障碍物在模板图像中的像素坐标，由于模板图像是在摄像头不抖动时采集的图像，因此，基于目标图像相对于模板图像的平移量所得到的障碍物在模板图像中的像素坐标为障碍物消除了抖动偏差的真实像素坐标，进而可以根据该真实像素坐标得到障碍物的真实世界坐标，上述过程中仅基于图像之间的平移量以及坐标信息即可计算得出消除了抖动偏差的真实坐标，而无需生成新的图像，因此，在保证获取的世界坐标正确的前提下极大减小耗时，进而保证障碍物坐标获取的实时性。另外，本实施例基于摄像头抖动在图像上体现为平移这一特征，利用二维图像之间的平移量即可计算出障碍物的真实世界坐标，而无需计算复杂的三维旋转和缩放等，因此使得确定坐标的速度达到极大提升。进一步的，利用图像之间的平移和障碍物的像素坐标得到的真实世界坐标的精度高，从而使得路侧感知的鲁棒性有极大提升。更进一步的，无需增加额外的传感器来确定坐标，因此不会造成路侧传感器或路侧单元成本的增加。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的位置信息处理方法适用的一种示例性的场景示意图；

图2为本申请实施例提供的位置信息处理方法适用的另一种示例性的场景示意图；

图3为本申请实施例提供的位置信息处理方法的流程示意图；

图4为本申请实施例提供的障碍物坐标处理方法的流程示意图；

图5为第一区域和第二区域的示例图；

图6为障碍物像素偏移的原理示例图；

图7为本申请实施例提供的障碍物坐标处理装置的模块结构图；

图8是根据本申请实施例的障碍物坐标处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在解决路侧传感器的摄像头抖动问题时，现有技术中可以使用电子防抖的方式。具体的，不需要对路侧传感器的硬件进行改动，基于抖动时的图像，使用特定的算法，生成抖动时的图像对应的不抖动的图像，再基于不抖动时的图像，使用预先标定的摄像头的外参，确定障碍物的实际三维位置，从而使得基于不抖动时的图像所确定的障碍物的位置准确。在该方法中，是利用抖动时的图像生成对应的不抖动时的图像，即生成新的图像，由于生成新的图像所耗费的时间较长，因此，现有技术的方法会导致获取障碍物位置的时间较长。而在自动驾驶场景中，对于障碍物位置获取的实时性要求高，自动驾驶车辆需要根据障碍物的实时位置进行正确的驾驶控制操作，因此，现有技术的方案由于耗时较长，会影响障碍物位置信息获取的实时性。

考虑到现有的摄像头防抖方法的耗时较长导致影响障碍物位置信息获取的实时性的问题，本申请实施例利用抖动时图像与不抖动的模板图像之间的偏移信息，可以得到抖动时图像中的障碍物在模板图像中的正确的位置信息，而不需要生成任何新的图像，从而在保证获取的位置信息正确的前提下极大减小耗时，进而保证障碍物位置信息获取的实时性。

图1为本申请实施例提供的位置信息处理方法适用的一种示例性的场景示意图，如图1所示，该方法可以应用于自动驾驶场景中，在自动驾驶场景中，涉及路侧传感器、路侧单元以及自动驾驶车辆。路侧传感器设置在道路两旁的路灯、电线杆等较高位置，路侧传感器包括摄像头，能够实时采集摄像头视野范围内的包含车辆、建筑物、路面设施等障碍物的图像，并将图像发送给路侧单元。路侧单元可以安装在距离路侧传感器较近的位置，例如距离安装路侧传感器500米以内的位置。路侧单元接收到图像之后，利用本申请实施例的方法，在摄像头抖动时确定出图像中各障碍物的实际三维位置，并将图像中各障碍物的实际三维位置发送给自动驾驶车辆，自动驾驶车辆再基于各障碍物的实际三维位置以及自身的实际三维位置进行自动驾驶控制。

图2为本申请实施例提供的位置信息处理方法适用的另一种示例性的场景示意图，如图2所示，该方法可以应用于自动驾驶场景中，在该场景中，涉及路侧传感器、路侧单元以及云平台。路侧传感器与路侧单元的设置位置以及交互、处理过程与上述图1所示例的场景中相同。另外，在该场景中，路侧单元将图像中各障碍物的实际三维位置发送给云平台。云平台接收到障碍物的实际三维位置后，可以进行路况分析，或者向通信的自动驾驶车辆提供控制信息等。

再一种场景中，路侧单元还可以同时将所得到的障碍物的实际三维位置发送给自动驾驶车辆以及云平台，并分别由云平台和自动驾驶车辆使用实际三维位置进行前述的处理，此处不再赘述。

图3为本申请实施例提供的位置信息处理方法的流程示意图，该方法的执行主体为上述的路侧单元，如图3所示，该方法包括：

S301、获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物。

可选的，路侧传感器可以按照预设的周期控制摄像头采集视野范围内的目标图像，并实时将采集到的图像发送给路侧单元，路侧单元相应的可以获取到目标图像。

可选的，本申请实施例所描述的障碍物，可以指车辆，也可以指建筑物、路面设施等，例如道路两旁的楼宇、路障、栏杆、树木等。

S302、根据上述障碍物在上述目标图像中的像素坐标以及上述目标图像相对于预设的模板图像的平移量，确定上述障碍物在上述模板图像中的像素坐标，该模板图像为所述摄像头不抖动时采集的图像。

可选的，路侧传感器发送给路侧单元的图像可能是抖动时采集的图像，也可能是不抖动时采集的图像。路侧单元可以对路侧传感器发送的图像进行识别，当识别出图像存在抖动时，使用本申请实施例的方法分别对接收到的每一帧抖动时的目标图像进行处理，以得到每帧抖动时图像的实际世界坐标。

示例性的，路侧传感器可以首先确定目标图像与预设的模板图像是否存在平移量，若是，则确定图像存在抖动，并使用本申请实施例的方法进行处理，若否，则说明图像不存在抖动，则路侧单元可以使用现有的处理方式得到图像的实际世界坐标，本申请不再赘述。

本申请实施例中，预设的模板图像(以下均称为模板图像)是摄像头在不抖动时所采集的图像。在基于路侧感知的场景中，路侧传感器固定设置在路灯、电线杆等设施上，因此，摄像头视野范围内的物体是相对固定的。例如，摄像朝向十字路口的某个方向，则该方向上摄像头视野范围内的建筑物、树木等的位置均相对固定。因此，在不抖动的情况下，这些障碍物在路侧传感器所采集的图像中的位置相对固定。

基于上述，路侧传感器可以预先选择并保存一帧路侧传感器不抖动时所采集的图像作为上述的模板图像，示例性的，在标定摄像头的离线外参时，选择并保存一帧不抖动时的图像作为模板图像。应理解，模板图像可以按照特定的周期或者事件触发方式进行更新。例如，当重新标定摄像头外参时重新选择并保存一帧不抖动时的图像作为模板图像。

当摄像头不抖动时，摄像头固定朝向一个方向，因此，摄像头实时采集的图像与模板图像之间不存在平移量，例如，某棵树木在模板图像中左上方的某个位置，则在实时采集的图像中，该树木的位置与在模板图像中相同。而当摄像头抖动时，摄像头采集图像时所朝向的方向与采集模板图像时朝向的方向会出现偏差，从而使得实时采集的图像相对于模板图像产生平移，例如，某棵树木在模板图像中左上方的某个位置，则在摄像头抖动实时采集的图像中，该树木的位置与在模板图像中产生了平移。路侧单元可以通过特定的方式确定目标图像相对于模板图像的平移量，具体过程将在下述实施例中详细说明。

值得说明的是，摄像头的抖动实际上为6自由度抖动，而抖动在图像上的变化，可以体现为上述的平移量，因此，本申请实施例利用这一特征，基于上述的平移量确定障碍物的真实坐标。

对于摄像头抖动时所采集的目标图像中的每个障碍物，可以基于上述的目标图像相对于模板图像的平移量以及障碍物在目标图像中的像素坐标确定出障碍物在模板图像中的像素坐标。由于模板图像是不抖动的图像，因此，上述所确定出的障碍物在模板图像中的像素坐标为障碍物真实的像素坐标。

S303、根据上述障碍物在上述模板图像中的像素坐标，确定上述障碍物的世界坐标。

障碍物的世界坐标是指障碍物在世界坐标系下的坐标，在自动驾驶控制等处理中，需要使用障碍物的世界坐标。

可选的，路侧单元可以基于摄像头的外参，对障碍物在模板图像中的像素坐标进行坐标转换，得到障碍物的世界坐标。其中，路侧单元所使用的摄像头的外参，为摄像头采集模板图像时所标定的外参。

S304、发送上述障碍物的世界坐标。

可选的，基于实际的场景需要，路侧单元可以将障碍物的世界坐标发送给需要使用障碍物物世界坐标的设备。例如，在上述图1所示例的场景中，路侧单元可以将障碍物的世界坐标发送给自动驾驶车辆，在上述图2所示例的场景中，路侧单元可以将障碍物的世界坐标发送给云平台，或者，在另外的一些场景下，路侧单元可以将障碍物的世界坐标同时发送给自动驾驶车辆和云平台。

本实施例中，路侧单元在获取到摄像头抖动时采集的目标图像后，基于障碍物在目标图像中的像素坐标以及目标图像相对于模板图像的平移量可以得到障碍物在模板图像中的像素坐标，由于模板图像是在摄像头不抖动时采集的图像，因此，基于目标图像相对于模板图像的平移量所得到的障碍物在模板图像中的像素坐标为障碍物消除了抖动偏差的真实像素坐标，进而可以根据该真实像素坐标得到障碍物的真实世界坐标，上述过程中仅基于图像之间的平移量以及坐标信息即可计算得出消除了抖动偏差的真实坐标，而无需生成新的图像，因此，在保证获取的世界坐标正确的前提下极大减小耗时，进而保证障碍物坐标获取的实时性。另外，本实施例基于摄像头抖动在图像上体现为平移这一特征，利用二维图像之间的平移量即可计算出障碍物的真实世界坐标，而无需计算复杂的三维旋转和缩放等，因此使得确定坐标的速度达到极大提升。进一步的，利用图像之间的平移和障碍物的像素坐标得到的真实世界坐标的精度高，从而使得路侧感知的鲁棒性有极大提升。更进一步的，无需增加额外的传感器来确定坐标，因此不会造成路侧传感器或路侧单元成本的增加。

图4为本申请实施例提供的障碍物坐标处理方法的流程示意图，如图4所示，上述步骤S302的一种可选方式包括：

S401、根据上述障碍物在上述目标图像中的像素坐标以及上述目标图像相对于预设的模板图像的平移量，确定上述障碍物的平移量。

针对目标图像中的每个障碍物，均可以基于其在目标图像中的像素坐标以及目标图像相对于模板图像的平移量，得到障碍物的平移量，而并非所有障碍物均使用相同的平移量。

S402、根据上述障碍物的平移量以及上述障碍物在上述目标图像中的像素坐标，得到上述障碍物在上述模板图像中的像素坐标。

可选的，可以将障碍物的平移量与障碍物在目标图像中的像素坐标相加，得到障碍物在模板图像中的像素坐标。

其中，障碍物的平移量可能为正值，也可能为负值。示例性的，假设目标图像和模板图像的左上角的像素坐标为(0,0)，则对于水平方向来说，障碍物如果向左移动，则平移量为负值，如果向右移动，则平移量为正值。

在实际场景中，与摄像头距离不同的障碍物，在摄像头抖动时所引起的像素的平移量并不相同。例如，距离相机越远的障碍物，在摄像头抖动时在图像上的像素的平移量越小。因此，本实施例中，基于各障碍物在目标图像中的像素坐标以及目标图像相对于模板图像的平移量，可以分别得到各障碍物的平移量，进而可以基于平移量得到障碍物各自的真实像素坐标，从而保证各障碍物的像素坐标的准确性。

作为一种可选的实施方式，上述的目标图像相对于模板图像的平移量可以包括两个平移量，分别为第一平移量和第二平移量。其中，第一平移量为上述目标图像中第一区域相对于上述模板图像中第一区域的平移量，上述第二平移量为上述目标图像中第二区域相对于上述模板图像中第二区域的平移量，上述第一区域和上述第二区域不同。

相应的，在上述步骤S401确定障碍物的平移量时，可以根据障碍物在目标图像中的像素坐标以及目标图像相对于模板图像的上述第一平移量和上述第二平移量，确定障碍物的平移量。

上述第一区域和第二区域指图像中的两个不同区域，可选的，第一区域和第二区域不重叠。

图5为第一区域和第二区域的示例图，如图5所示，假设模板图像和目标图像的分辨率为1920*1080，则可以选择图像左上角的100*100大小的区域为第一区域，并选择图像右下角的100*100大小的区域为第二区域。相应的，第一平移量可以指目标图像中左上角的100*100大小的区域相对于模板图像中左上角的100*100大小的区域的平移量，第二平移量可以指目标图像中右下角的100*100大小的区域相对于模板图像中右下角的100*100大小的区域的平移量。

上述第一区域和第二区域可以称为图像中的感兴趣区域。具体实施过程中，第一区域和第二区域的位置可以根据需要进行灵活设置，本申请对此不作具体限定。

上述第一平移量和第二平移量分别表示了图像中两个不同区域的平移量，利用该两个平移量来表征目标图像与模板图像的平移量，能够使得平移量信息更加准确，因此，基于该第一平移量和第二平移量以及障碍物在目标图像中的像素坐标所确定的障碍物的平移量也增加准确。

以下说明路侧单元根据障碍物在目标图像中的像素坐标以及目标图像相对于模板图像的上述第一平移量和上述第二平移量，确定障碍物的平移量的可选方式。

作为一种可选方式，可以根据障碍物在目标图像中的像素坐标、上述第一平移量和上述第二平移量，进行垂直方向插值处理，得到上述障碍物的平移量。

以水平方向为x轴，垂直方向为y轴，则上述进行垂直方向插值处理是指进行y方向的插值处理。

本申请实施例中，插值处理是利用已知的图像之间的平移量计算出未知的障碍物的平移量。该已知的图像之间的平移量包括上述第一平移量和第二平移量。

如前文所述，与摄像头距离不同的障碍物，在摄像头抖动时所引起的像素的平移量并不相同。例如，距离相机越远的障碍物，在摄像头抖动时在图像上的像素的平移量越小。具体的，障碍物在y方向上值越小，即距离图像越远，则偏移的像素越少，相反，障碍物在y方向上值越大，即距离图像越近，则偏移的像素越多。

图6为障碍物像素偏移的原理示例图，如图6所示，X表示摄像头不抖动时和抖动时摄像头中心点的偏移量，Z表示物体平面与摄像头成像平面之间的距离，a和b分别表示摄像头不抖动时和抖动时物体在成像平面的位置与摄像头中心点的距离，则物体抖动时相对于不抖动时在成像平面上的平移量为b减去a的差值，计算公式为下述公式(1)。

基于上述的原理以及上述的障碍物在y方向上的像素偏移特点，可以根据障碍物在目标图像中的像素坐标、上述第一平移量和上述第二平移量，进行y方向上的插值处理，从而可以使得插值处理所得到的障碍物的平移量相比于基于其他方向的处理结果更加准确。

本申请实施例中所涉及的平移量，包括水平方向的平移量和垂直方向的平移量。本申请实施例中也将水平方向的平移量称为x方向的平移量，将垂直方向的平移量称为y方向的平移量。

在上述根据障碍物在目标图像中的像素坐标、上述第一平移量和上述第二平移量，进行y方向上的插值处理，得到障碍物的平移量时，具体可以按照下述的过程执行。

具体的，基于上述障碍物在上述目标图像中的像素坐标在垂直方向的值、上述第一平移量在水平方向的值、以及上述第二平移量在水平方向的值进行插值处理，得到上述障碍物在水平方向的平移量。

假设第一区域中的参考像素的像素坐标为(x1，y1)，第二区域中的参考像素的像素坐标为(x2，y2)，上述第一平移量在水平方向上的值为△x1，第一平移量在垂直方向上的值为△y1，第二平移量在水平方向上的值为△x2，第一平移量在垂直方向上的值为△y2，同时，假设某障碍物A在目标图像中的像素坐标为(x，y)，则障碍物A在水平方向上的平移量，即平移量的x值△x可以通过如下公式(2)计算得出。

其中，上述的参考像素例如可以是中心像素，例如，第一区域的参考像素可以是第一区域的中心像素。

并且，基于上述障碍物在上述目标图像中的像素坐标在垂直方向的值、上述第一平移量垂直方向的值、以及上述第二平移量在垂直方向的值进行插值处理，得到上述障碍物在垂直方向的平移量。

继续使用上述的假设，则障碍物A在垂直方向上的平移量，即平移量的y值△y可以通过如下公式(3)计算得出。

在上述公式(2)和公式(3)中，均基于障碍物在上述目标图像中的像素坐标在垂直方向的值，以及第一区域和第二区域的参考像素在垂直方向的值，即在y方向上进行插值处理。

本申请实施例中，利用y方向插值，分别得到障碍物在水平方向上的平移量以及在垂直方向上的平移量，从而使得路侧单元可以基于水平方向的平移量和垂直方向的平移量准确计算出障碍物在模板图像中的真实像素坐标。

作为另一种可选方式，也可以根据障碍物在目标图像中的像素坐标、上述第一平移量和上述第二平移量，进行水平方向插值处理，得到上述障碍物的平移量。具体执行过程与上述在垂直方式插值处理的一致，此处不再赘述。

以上实施例说明了基于目标图像相对于模板图像的第一平移量和第二平移量确定障碍物的平移量的过程。在上述实施例之前，路侧单元可以首先确定上述第一平移量和第二平移量。

可选的，路侧单元可以确定上述目标图像中第一区域相对于上述模板图像中第一区域的平移量，并将上述目标图像中第一区域相对于上述模板图像中第一区域的平移量作为上述第一平移量。并且，确定上述目标图像中第二区域相对于上述模板图像中第二区域的平移量，将上述目标图像中第二区域相对于上述模板图像中第二区域的平移量作为上述第二平移量。

路侧单元分别确定第一区域对应的平移量以及第二区域对应的平移量，从而得到第一平移量和第二平移量，并基于该第一平移量和第二平移量确定障碍物的平移量，进而得到障碍物的真实像素坐标，因此，通过确定第一区域对应的平移量以及第二区域对应的平移量，可以使得路侧单元准确获取到障碍物的真实像素坐标。

作为一种可选的实施方式，路侧单元可以基于傅里叶变换处理，得到上述第一区域对应的平移量以及第二区域对应的平移量。

具体的，基于傅里叶变换处理，确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量。基于傅里叶变换处理，确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量。

傅里叶变换能够将图像从空间域转换为频率域，因此，基于傅里叶变换可以分别得到目标图像和模板图像对应的频域信息，进而，通过目标图像和模板图像的第一区域在频域信息上的差异，可以得到第一区域对应的平移量，以及，通过目标图像和模板图像的第二区域在频域信息上的差异，可以得到第二区域对应的平移量。

利用上述的傅里叶变化处理得到第一区域对应的平移量以及第二区域对应的平移量，可以使得计算的效率高、速度快。

在上述各实施例中，路侧单元利用障碍物在目标图像中的像素坐标确定障碍物在模板图像中的真实像素坐标，在此之前，路侧单元可以首先对目标图像进行障碍物检测，得到障碍物在目标图像中的像素坐标。

可选的，对图像的障碍物检测例如可以使用基于深度学习的障碍物检测方法，本申请对于障碍物检测的具体方式不作限定。

在具体实施过程中，对图像的障碍物检测可以由路侧单元中独立的处理模块来完成，因此，路侧单元使用障碍物在目标图像中的像素坐标时，可以快速获取到该像素坐标，从而使得处理速度得到进一步的提升。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序信息相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本申请实施例提供的障碍物坐标处理装置的模块结构图，如图7所示，该装置包括：

处理模块701，用于获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；以及，根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；以及，根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标。

发送模块702，用于发送所述障碍物的世界坐标。

作为一种可选的实施方式，处理模块701具体用于：

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物的平移量；根据所述障碍物的平移量以及所述障碍物在所述目标图像中的像素坐标，得到所述障碍物在所述模板图像中的像素坐标。

作为一种可选的实施方式，处理模块701具体用于：

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的第一平移量和第二平移量，确定所述障碍物的平移量。

其中，所述第一平移量为所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，所述第二平移量为所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，所述第一区域和所述第二区域不同。

作为一种可选的实施方式，处理模块701具体用于：

根据所述障碍物在所述目标图像中的像素坐标、所述第一平移量和所述第二平移量，进行垂直方向插值处理，得到所述障碍物的平移量。

作为一种可选的实施方式，处理模块701具体用于：

基于所述障碍物在所述目标图像中的像素坐标在垂直方向的值、所述第一平移量在水平方向的值、以及所述第二平移量在水平方向的值进行插值处理，得到所述障碍物在水平方向的平移量；基于所述障碍物在所述目标图像中的像素坐标在垂直方向的值、所述第一平移量垂直方向的值、以及所述第二平移量在垂直方向的值进行插值处理，得到所述障碍物在垂直方向的平移量。

作为一种可选的实施方式，处理模块701还用于：

确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，将所述目标图像中第一区域相对于所述模板图像中第一区域的平移量作为所述第一平移量；确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，将所述目标图像中第二区域相对于所述模板图像中第二区域的平移量作为所述第二平移量。

作为一种可选的实施方式，处理模块701具体用于：

基于傅里叶变换处理，确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量。

作为一种可选的实施方式，处理模块701具体用于：

基于傅里叶变换处理，确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量。

作为一种可选的实施方式，处理模块701还用于：

对所述目标图像进行障碍物检测，得到所述障碍物在所述目标图像中的像素坐标。

作为一种可选的实施方式，处理模块701具体用于：

使用所述摄像头的外参，对所述障碍物在所述模板图像中的像素坐标进行坐标转换，得到所述障碍物的世界坐标。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。该电子设备例如可以是前述所说的路侧单元。

如图8所示，是根据本申请实施例的障碍物坐标处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的障碍物坐标处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的障碍物坐标处理的方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的障碍物坐标处理的方法对应的程序指令/模块(例如，附图7所示的处理模块701和发送模块702)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的障碍物坐标处理的方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物坐标处理的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至障碍物坐标处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

障碍物坐标处理的方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与障碍物坐标处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种障碍物坐标处理方法，其特征在于，包括：

获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物的平移量；

根据所述障碍物的平移量以及所述障碍物在所述目标图像中的像素坐标，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；

根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标；

发送所述障碍物的世界坐标；

所述根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物的平移量，包括：

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的第一平移量和第二平移量，确定所述障碍物的平移量；

所述第一平移量为所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，所述第二平移量为所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，所述第一区域和所述第二区域不同。

2.根据权利要求1所述的方法，其特征在于，所述根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的第一平移量和第二平移量，确定所述障碍物的平移量，包括：

根据所述障碍物在所述目标图像中的像素坐标、所述第一平移量和所述第二平移量，进行垂直方向插值处理，得到所述障碍物的平移量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述障碍物在所述目标图像中的像素坐标、所述第一平移量和所述第二平移量，进行垂直方向插值处理，得到所述障碍物的平移量，包括：

基于所述障碍物在所述目标图像中的像素坐标在垂直方向的值、所述第一平移量在水平方向的值、以及所述第二平移量在水平方向的值进行插值处理，得到所述障碍物在水平方向的平移量；

基于所述障碍物在所述目标图像中的像素坐标在垂直方向的值、所述第一平移量垂直方向的值、以及所述第二平移量在垂直方向的值进行插值处理，得到所述障碍物在垂直方向的平移量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的第一平移量和第二平移量，确定所述障碍物的平移量之前，还包括：

确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，将所述目标图像中第一区域相对于所述模板图像中第一区域的平移量作为所述第一平移量；

确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，将所述目标图像中第二区域相对于所述模板图像中第二区域的平移量作为所述第二平移量。

5.根据权利要求4所述的方法，其特征在于，所述确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，包括：

基于傅里叶变换处理，确定所述目标图像中第一区域相对于所述模板图像中第一区域的平移量。

6.根据权利要求5所述的方法，其特征在于，所述确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，包括：

基于傅里叶变换处理，确定所述目标图像中第二区域相对于所述模板图像中第二区域的平移量。

7.根据权利要求1-3、5-6任一项所述的方法，其特征在于，所述根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的平移量，确定所述障碍物的平移量之前，还包括：

对所述目标图像进行障碍物检测，得到所述障碍物在所述目标图像中的像素坐标。

8.根据权利要求7所述的方法，其特征在于，所述根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标，包括：

使用所述摄像头的外参，对所述障碍物在所述模板图像中的像素坐标进行坐标转换，得到所述障碍物的世界坐标。

9.一种障碍物坐标处理装置，其特征在于，包括：

处理模块，用于获取路侧传感器的摄像头抖动时采集的目标图像，所述目标图像中包括至少一个障碍物；以及，

根据所述障碍物在所述目标图像中的像素坐标以及所述目标图像相对于预设的模板图像的第一平移量和第二平移量，确定所述障碍物的平移量；根据所述障碍物的平移量以及所述障碍物在所述目标图像中的像素坐标，确定所述障碍物在所述模板图像中的像素坐标，所述模板图像为所述摄像头不抖动时采集的图像；其中，所述第一平移量为所述目标图像中第一区域相对于所述模板图像中第一区域的平移量，所述第二平移量为所述目标图像中第二区域相对于所述模板图像中第二区域的平移量，所述第一区域和所述第二区域不同；

根据所述障碍物在所述模板图像中的像素坐标，确定所述障碍物的世界坐标；

发送模块，用于发送所述障碍物的世界坐标。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

Images