CN114119576A - 图像处理方法、装置、电子设备及交通工具 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备及交通工具，方法包括：获得第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，以使所述第一交通工具的驾驶过程能够参考所述第一视野图像。

Description

图像处理方法、装置、电子设备及交通工具

技术领域

本申请涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及交通工具。

背景技术

在多种场景中，存在多个交通工具在同一范围内驾驶的情况。例如，多车道的道路上，两个车辆行驶到人行道，等待行人通过。

因此，存在交通工具之间互相造成对方视野盲区的情况。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置、电子设备及交通工具，如下：

一种图像处理方法，包括：

获得第一交通工具驾驶过程中的第一视野图像；

基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；

根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

至少根据所述目标视野图像，对所述目标图像区域进行处理，以使所述第一交通工具的驾驶过程能够参考所述第一视野图像。

上述方法，优选的，根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像，包括：

根据所述目标图像区域在所述第一视野图像中的相对位置，在所述第二交通工具的多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关；

获得所述目标采集装置所采集到的图像，以得到目标视野图像。

上述方法，优选的，所述第二交通工具的多个图像采集装置包括：与所述第一交通工具之间的距离小于或等于距离阈值的图像采集装置；所述图像采集装置为配置超带宽定位结构的装置；

其中，所述目标采集装置通过以下方式确定：

利用基于超带宽的定位方式，获得所述第二交通工具的多个图像采集装置的位置信息；

至少根据所述位置信息，在所述多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的位置信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。

上述方法，优选的，至少根据所述位置信息，在所述多个图像采集装置中，确定至少一个目标采集装置，包括：

根据所述位置信息，获得所述多个图像采集装置中的至少一个初始采集装置发送的姿态信息；所述姿态信息至少表征所述初始采集装置的图像采集方向；所述初始采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

根据所述姿态信息，在所述至少一个初始采集装置中，确定至少一个目标采集装置，所述目标采集装置的姿态信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相对应。

上述方法，优选的，根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像，包括：

获得至少一个第二交通工具的第二视野图像；所述第二交通工具与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

在所述第二视野图像中，获得对应于至少一个目标采集装置的目标视野图像，所述目标采集装置为所述第二交通工具上设置的图像采集装置，且所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。

上述方法，优选的，获得至少一个第二交通工具的第二视野图像，包括：

利用基于超带宽的定位方式，获得所述第一交通工具的至少一个近邻交通工具的位置信息；

根据所述近邻交通工具的位置信息，在所述近邻交通工具中，确定至少一个第二交通工具；

获得所述第二交通工具传输的第二视野图像。

上述方法，优选的，至少根据所述目标视野图像，对所述目标图像区域进行处理，包括：

将所述目标视野图像和所述第一视野图像进行融合，以使得所述目标图像区域被填充有至少部分所述目标视野图像的图像区域。

一种图像处理装置，包括：

第一获得单元，用于获得第一交通工具驾驶过程中的第一视野图像；

区域确定单元，用于基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；

目标获得单元，用于根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

区域处理单元，用于至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

一种电子设备，包括：

存储器，用于存储应用程序和所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现：获得第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

一种交通工具，所述交通工具作为第一交通工具，至少包括：

图像采集装置，用于采集图像；

图像显示装置；

处理器，用于获得所述第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，并通过所述图像显示装置输出所得到的第一视野图像，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

从上述技术方案可以看出，本申请公开的一种图像处理方法、装置及电子设备中，在获得第一交通工具驾驶过程中的第一视野图像之后，可以基于该第一视野图像确定对应于第一视野图像中第一交通工具的视野盲区的目标图像区域，之后根据目标图像区域获得第二交通工具的目标采集装置所采集到的目标视野图像，而这里的目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关，因此，在根据目标视野图像对目标图像区域进行处理之后，所得到的第一视野图像能够提供给第一交通工具在驾驶过程中作为驾驶参考。可见，本申请中通过其他交通工具上对应于本交通工具的视野盲区的图像来对本交通工具的视野图像进行处理，从而使得本交通工具的视野图像中的视野盲区被完善，由此提供给本交通工具参考，从而改善对交通工具的驾驶体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种图像处理方法的流程图；

图2为汽车通过摄像头采集视野图像的示例图；

图3为汽车的摄像头被遮挡产生盲区的示例图；

图4为汽车通过其他车辆的摄像头采集视野图像的示例图；

图5为本申请实施例一提供的一种图像处理方法的部分流程图；

图6为汽车通过其他车辆的摄像头采集视野图像的另一示例图；

图7为本申请实施例一提供的一种图像处理方法的另一部分流程图；

图8为本申请实施例二提供的一种图像处理装置的结构示意图；

图9为本申请实施例三提供的一种电子设备的结构示意图；

图10为本申请实施例四提供的一种交通工具的结构示意图；

图11为本申请适用于汽车驾驶过程中处理视野盲区的流程图；

图12为本申请适用于汽车驾驶过程中处理视野盲区的示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1所示，为本申请实施例一提供的一种图像处理方法的实现流程图，该方法可以适用于能够进行图像处理的电子设备中，该电子设备可以配置在交通工具中，如平衡车、汽车或轮船等能自动驾驶或被用户驾驶的交通工具。本实施例中的技术方案主要用于获得视野盲区被完善的视野图像以提供给交通工具参考，改善对交通工具的驾驶体验。

具体的，本实施例中的方法可以包含如下步骤：

步骤101：获得第一交通工具驾驶过程中的第一视野图像。

其中，第一交通工具上可以设置有多个图像采集装置，图像采集装置可以为采集RGB图像的RGB摄像头，也可以为采集红外图像的红外摄像头，也可以为采集雷达图像的激光雷达等传感器，从而实现对第一交通工具周边视野图像的采集。其中，每个图像采集装置具有各自的图像采集方向，且每个图像采集装置的图像采集方向是不同的，第一交通工具上的图像采集装置围绕第一交通工具的本体设置，由此，通过图像采集装置可以采集到相对于第一交通工具任一视野角度上的视野图像，由于每个图像采集装置在第一交通工具上的设置位置和设置姿态不同，使得每个图像采集装置所采集到的视野图像的视野角度不同，基于此，各个图像采集装置所采集到的视野图像可以通过拼接、去重叠等方式得到第一交通工具在驾驶过程中的全景视野图像，记为第一视野图像。该第一视野图像基于图像采集装置的类型，可以为RGB视野图像，也可以为红外视野图像，也可以为雷达视野图像，等等。

例如，如图2中所示，在汽车a车体的前方、后方、左侧和右侧四个个位置分别设置有一个RGB摄像头(或激光雷达等传感器)，用以采集汽车a周边各个角度的视野图像，再将这些角度上的视野图像进行拼接和去重，得到该汽车a的全景视野图像。

需要说明的是，第一交通工具的驾驶过程可以包含有第一交通工具被驾驶到道路上正在行进的过程，也包含有第一交通工具被驾驶到道路上暂停在道路上的过程。例如，汽车a驾驶在道路上，或者，汽车a驾驶到路口暂停等待红绿灯。

步骤102：基于第一视野图像，确定至少一个目标图像区域。

其中，目标图像区域对应于第一视野图像中第一交通工具的视野盲区。在第一交通工具驾驶过程中，可能存在被第二交通工具遮挡的情况。基于此，在第一交通工具的第一视野图像中存在被第二交通工具遮挡而无法获得视野图像的视野盲区。

具体的，本实施例中可以通过对第一视野图像进行图像识别等处理，就可以识别处第一视野图像中所存在的视野盲区，并确定这些视野盲区所对应的目标图像区域，此时的目标图像区域实际上为遮挡第一交通工具的第二交通工具在第一视野图像中的图像区域。

例如，如图3中所示，汽车b在汽车a的左侧，汽车c在汽车a的右侧，由于汽车b和汽车c的遮挡，导致汽车a的全景视野图像中存在多处盲区，分别对应于汽车b的图像区域x1和汽车c的图像区域x2，基于此，本实施例中对汽车a的全景视野图像进行识别，以确定出这两个视野盲区对应的盲区图像区域x1和x2。

需要说明的是，在第一视野图像中所包含的各部分图像区域与其所属图像采集装置在第一交通工具上的相对位置相对应。例如，汽车a左侧被汽车b全部遮挡，汽车a的左前和左后被汽车b部分遮挡，汽车a右侧被汽车c全部遮挡，汽车a的右前和右后被汽车c部分遮挡，相应的，汽车a的全景视野图像中包含两个盲区图像区域x1和x2，而盲区图像区域x1被汽车a左侧的摄像头采集，盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2被汽车a右侧的摄像头采集，盲区图像区域x2对应于汽车a右侧、右前和右后。

步骤103：根据目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像。

其中，至少目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关。

需要说明的是，目标采集装置为遮挡第一交通工具的第二交通工具上所设置的图像采集装置，目标采集装置与第一交通工具之间的相对位置可以理解为：第二交通工具上所设置的目标采集装置相对于第一交通工具的相对位置。而目标图像区域在第一视野图像中的相对位置可以理解为：目标图像区域对应的视野盲区相对于第一交通工具的相对位置。也就是说，本实施例中按照目标图像区域在第一交通工具中的相对位置，获得第二交通工具上相对于第一交通工具处于同样相对位置上的目标采集装置所采集到的目标视野图像，由此使得所采集到的目标视野图像的图像内容与目标图像区域的图像内容是相关联的。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，相应的，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，基于此，使用汽车b上处于汽车a左侧的摄像头采集目标视野图像，使用汽车c上处于汽车a右侧的摄像头采集目标视野图像，如图4中所示。

步骤104：至少根据目标视野图像，对目标图像区域进行处理，以使得第一交通工具的驾驶过程能够参考第一视野图像。

其中，本实施例中可以对目标图像区域按照目标视野图像中的图像内容进行处理，从而使得所得到的第一视野图像中对应于视野盲区的图像区域能够被完善。

具体的，本实施例中可以将目标视野图像和第一视野图像进行融合，以使得目标图像区域被填充有至少部分目标视野图像的图像区域，由此所得到的第一视野图像中对应于第一交通工具的视野盲区的图像区域被补全，也就不再有被第二交通工具遮挡的图像区域。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，使用处于汽车a左侧的汽车b上的摄像头采集目标视野图像，使用处于汽车a右侧的汽车c上的摄像头采集目标视野图像，之后，使用这些目标视野图像对汽车a的全景视野图像进行图像融合，从而将汽车a的全景视野图像中被汽车b和汽车c遮挡所产生的盲区图像区域进行补全，使得汽车a的全景视野图像能够提供给汽车a的驾驶过程，如自动驾驶过程中的障碍物监测或用户驾驶过程中的人为障碍判断等。

从上述技术方案可以看出，本申请实施例一提供的一种图像处理方法中，在获得第一交通工具驾驶过程中的第一视野图像之后，可以基于该第一视野图像确定对应于第一视野图像中第一交通工具的视野盲区的目标图像区域，之后根据目标图像区域获得第二交通工具的目标采集装置所采集到的目标视野图像，而这里的目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关，因此，在根据目标视野图像对目标图像区域进行处理之后，所得到的第一视野图像能够提供给第一交通工具在驾驶过程中作为驾驶参考。可见，本申请实施例中通过其他交通工具上对应于本交通工具的视野盲区的图像来对本交通工具的视野图像进行处理，从而得到视野盲区被完善的视野图像，由此提供给本交通工具参考，从而改善对交通工具的驾驶体验。

在一种实现方式中，步骤103中在根据目标图像区域获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像时，可以通过以下方式实现，如图5中所示：

步骤501：根据目标图像区域在第一视野图像中的相对位置，在第二交通工具的多个图像采集装置中，确定至少一个目标采集装置。

其中，目标采集装置除了与第一交通工具的相对位置与目标图像区域在第一视野图像中的相对位置相关，目标采集装置的图像采集方向也与目标图像区域在第一视野图像中的相对位置相关。

基于此，本实施例中在第二交通工具的多个图像采集装置中，确定图像采集方向也与目标图像区域在第一视野图像中的相对位置相关的目标采集装置。

步骤502：获得目标采集图像所采集的图像，以得到目标视野图像。

其中，目标采集装置所采集到的图像即为目标视野图像。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，使用处于汽车a左侧的汽车b上的且采集方向与左侧、左前和左后相关的摄像头采集目标视野图像，使用处于汽车a右侧的汽车c上的且采集方向与右侧、右前和右后相关的摄像头采集目标视野图像，即使用汽车b上前方、后方和左侧的摄像头采集目标视野图像并使用汽车c上前方、后方和右侧的摄像头采集目标视野图像，如图6中所示，之后，使用这些目标视野图像对汽车a的全景视野图像进行图像融合，从而将汽车a的全景视野图像中被汽车b和汽车c遮挡所产生的盲区图像区域进行补全，使得汽车a的全景视野图像能够提供给汽车a的驾驶过程，如自动驾驶过程中的障碍物监测或用户驾驶过程中的人为障碍判断等。

具体实现中，第二交通工具的多个图像采集装置包含：第二交通工具上与第一交通工具之间的距离小于或等于距离阈值的图像采集装置，而图像采集装置为配置超带宽UWB(Ultra Wide Band)定位结构的装置。也就是说，第二交通工具上的图像采集装置为支持UWB功能的装置，由此，在第一交通工具上能够基于UWB定位方式与第二交通工具上的图像采集装置建立通信并获得到图像采集装置所采集到的图像。

基于此，本实施例中第二交通工具上的目标采集装置可以通过以下方式确定：

首先，利用基于UWB的定位方式，获得第二交通工具上的多个图像采集装置的位置信息。具体的，在第一交通工具上的UWB定位结构发送正弦载波，以扫描到周边与第一交通工具距离小于或等于距离阈值的图像采集装置，在这些图像采集装置中，确定处于第二交通工具上的图像采集装置，而去掉其他交通工具或物体上的UWB设备；之后，通过第一交通工具上的UWB定位结构对扫描到的这些第二交通工具上的图像采集装置进行定位，以得到第二交通工具上的多个图像采集装置的位置信息。例如，在汽车a上利用UWB定位结构对周边的具有UWB定位功能的设备进行定位，由此得到处于汽车b和汽车c上的具有UWB定位功能的摄像头的位置信息。这里的位置信息可以用经纬度坐标表示，或者用以第一交通工具为坐标原点的坐标表示。

之后，至少根据第二交通工具上的图像采集装置的位置信息，在这些图像采集装置中确定至少一个目标采集装置，而这些目标采集装置的位置信息使得目标采集装置的图像采集方向与目标图像区域在第一视野图像中的相对位置相关。

在一些实施例中，第二交通工具上的图像采集装置的图像采集方向基于其各自的位置信息预设且固定，基于此，本实施例中解析每个图像采集装置的位置信息，可以确定各个图像采集装置的图像采集方向，从而将图像采集方向与目标图像区域在第一视野图像中的相对位置相关的图像采集装置确定为目标采集装置。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，之后，在汽车a上通过基于UWB的定位方式定位汽车b和汽车c上的每个摄像头的所在位置，再基于这些摄像头的固定采集方向来确定汽车b上与汽车a的左侧、左前和左后相对应的目标摄像头，如汽车b上位于左侧、前方和后方的摄像头，并确定汽车c上与汽车a的右侧、右前和右后相对应的目标摄像头，如汽车c上位于右侧、右前和右后的摄像头，即确定目标摄像头，再使用这些摄像头采集目标视野图像，之后，使用这些目标视野图像对汽车a的全景视野图像进行图像融合，从而将汽车a的全景视野图像中被汽车b和汽车c遮挡所产生的盲区图像区域进行补全，使得汽车a的全景视野图像能够提供给汽车a的驾驶过程，如自动驾驶过程中的行人等障碍物监测或用户驾驶过程中的人为障碍判断等。

在另一些实施例中，第二交通工具上的图像采集装置的图像采集方向并不固定，而是可以被调整的。基于此，本实施例中可以根据每个图像采集装置的位置信息，获得多个图像采集装置中的至少一个初始采集装置发送的姿态信息，这些姿态信息至少表征初始采集装置的图像采集方向，由此，本实施例中首先在第二交通工具上确定与第一交通工具的相对位置与目标图像区域在第一视野图像中的相对位置相关的初始采集装置，再通过基于UWB的通信方式接收这些初始采集装置所发送来的各自的姿态信息；之后，就可以根据这些姿态信息，在之前所获得的初始采集装置中确定至少一个目标采集装置，而目标采集装置的姿态信息使得这些目标采集装置的图像采集方向与目标图像区域在第一视野图像中的相关位置相对应。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，之后，在汽车a上通过基于UWB的定位方式定位汽车b和汽车c上的每个摄像头的所在位置，在这些摄像头中先找到处于汽车a左侧、左前和左后的汽车b上的初始摄像头并找到处于汽车a右侧、右前和右后的汽车c上的初始摄像头，再接收这些初始摄像头通过UWB所传输来的姿态信息，再按照这些姿态信息所表征的摄像头朝向即图像采集方向，在汽车b上找到朝向对应于汽车a左侧、左前和左后的目标摄像头并在汽车c上找到朝向汽车a右侧、右前和右后的目标摄像头，再使用这些摄像头采集目标视野图像，之后，使用这些目标视野图像对汽车a的全景视野图像进行图像融合，从而将汽车a的全景视野图像中被汽车b和汽车c遮挡所产生的盲区图像区域进行补全，使得汽车a的全景视野图像能够提供给汽车a的驾驶过程，如自动驾驶过程中的障碍物监测或用户驾驶过程中的人为障碍判断等。

在另一种实现方式中，步骤103中在根据目标图像区域获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像时，可以通过以下方式实现，如图7中所示：

步骤701：获得至少一个第二交通工具的第二视野图像。

其中，第二交通工具与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关。

也就是说，本实施例中对与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关的第二交通工具进行定位，从而获得这些第二交通工具的第二视野图像。

具体的，本实施例中可以利用基于UWB的定位方式，获得第一交通工具的至少一个近邻交通工具的位置信息。例如，在第一交通工具上的UWB定位结构发送正弦载波，以扫描到周边与第一交通工具距离小于或等于距离阈值的近邻交通工具，进而通过基于UWB的通信方式获得这些近邻交通工具发送的位置信息，实现近邻交通工具的定位；之后，根据这些近邻交通工具的位置信息，在近邻交通工具中，确定与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关的交通工具为第二交通工具，进而获得这些第二交通工具通过基于UWB的通信方式所传输的第二视野图像。其中，第二视野图像为第二交通工具上的全景视野图像，其具体的获得方式可以参考前文中第一交通工具的第一视野图像的获得方式。

例如，汽车a左侧被汽车b遮挡，汽车a右侧被汽车c遮挡，汽车a的全景视野图像中包含的盲区图像区域x1对应于汽车a的左侧、左前和左后，盲区图像区域x2对应于汽车a的右侧、右前和右后，之后，在汽车a上通过基于UWB的定位方式定位汽车a周边的汽车b、汽车c和汽车d，再接收这些汽车b、汽车c和汽车d所发送的位置信息，然后确定处于汽车a左侧的汽车b和处于汽车a右侧的汽车c均为第二交通工具，进而通过UWB接收汽车b和汽车c所传输来的全景视野图像。

步骤802：在第二视野图像中，获得对应于至少一个目标采集装置的目标视野图像。

其中，目标采集装置为第二交通工具上设置的图像采集装置，且目标采集装置的图像采集方向与目标图像区域在所述第一视野图像中的相对位置相关。具体的，本实施例中可以根据第二交通工具上各个图像采集装置的位置信息(还可以结合姿态信息)，确定图像采集方向与目标图像区域在第一视野图像中的相对位置相关的目标采集装置，具体的实现方式可以参考前文中的相应内容。之后，在第二视野图像中按照这些目标采集装置进行抠图，所抠出的图像为这些目标采集装置所采集的图像区域，由此得到第二视野图像中目标采集装置对应的目标视野图像。

例如，在汽车a上通过基于UWB的定位方式定位汽车b和汽车c上的每个摄像头的所在位置，还可以接收每个摄像头发送的姿态，在这些摄像头中找到汽车b上找到朝向汽车a左侧、左前和左后的目标摄像头并在汽车c上找到朝向汽车a右侧、右前和右后的目标摄像头，由此，在汽车b的全景视野图像中抠出朝向汽车a左侧、左前和左后的目标摄像头对应的视野图像，在汽车c的全景视野图像中抠出朝向汽车a右侧、右前和右后的目标摄像头对应的视野图像。之后，使用这些目标视野图像对汽车a的全景视野图像进行图像融合，从而将汽车a的全景视野图像中被汽车b和汽车c遮挡所产生的盲区图像区域进行补全，使得汽车a的全景视野图像能够提供给汽车a的驾驶过程，如自动驾驶过程中的障碍物监测或用户驾驶过程中的人为障碍判断等。

参考图8，为本申请实施例二提供的一种图像处理装置的结构示意图，该装置可以配置在能够进行图像处理的电子设备中，该电子设备可以配置在交通工具中，如平衡车、汽车或轮船等能自动驾驶或被用户驾驶的交通工具。本实施例中的技术方案主要用于获得视野盲区被完善的视野图像以提供给交通工具参考，改善对交通工具的驾驶体验。

具体的，本实施例中的装置可以包含如下单元：

第一获得单元801，用于获得第一交通工具驾驶过程中的第一视野图像；

区域确定单元802，用于基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；

目标获得单元803，用于根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

区域处理单元804，用于至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

从上述技术方案可以看出，本申请实施例二提供的一种图像处理装置中，在获得第一交通工具驾驶过程中的第一视野图像之后，可以基于该第一视野图像确定对应于第一视野图像中第一交通工具的视野盲区的目标图像区域，之后根据目标图像区域获得第二交通工具的目标采集装置所采集到的目标视野图像，而这里的目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关，因此，在根据目标视野图像对目标图像区域进行处理之后，所得到的第一视野图像能够提供给第一交通工具在驾驶过程中作为驾驶参考。可见，本申请实施例中通过其他交通工具上对应于本交通工具的视野盲区的图像来对本交通工具的视野图像进行处理，从而使得本交通工具的视野图像中的视野盲区被完善，由此提供给本交通工具参考，从而改善对交通工具的驾驶体验。

在一种实现方式中，目标获得单元803具体用于：根据所述目标图像区域在所述第一视野图像中的相对位置，在所述第二交通工具的多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关；获得所述目标采集装置所采集到的图像，以得到目标视野图像。

可选的，所述第二交通工具的多个图像采集装置包括：与所述第一交通工具之间的距离小于或等于距离阈值的图像采集装置；所述图像采集装置为配置超带宽定位结构的装置；

其中，目标获得单元803在确定目标采集装置时，通过以下方式确定：利用基于超带宽的定位方式，获得所述第二交通工具的多个图像采集装置的位置信息；至少根据所述位置信息，在所述多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的位置信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。例如，首先，根据所述位置信息，获得所述多个图像采集装置中的至少一个初始采集装置发送的姿态信息；所述姿态信息至少表征所述初始采集装置的图像采集方向；所述初始采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；再根据所述姿态信息，在所述至少一个初始采集装置中，确定至少一个目标采集装置，所述目标采集装置的姿态信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相对应。

在一种实现方式中，目标获得单元803具体用于：获得至少一个第二交通工具的第二视野图像；所述第二交通工具与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；在所述第二视野图像中，获得对应于至少一个目标采集装置的目标视野图像，所述目标采集装置为所述第二交通工具上设置的图像采集装置，且所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。

可选的，目标获得单元803在获得至少一个第二交通工具的第二视野图像时，具体用于：利用基于超带宽的定位方式，获得所述第一交通工具的至少一个近邻交通工具的位置信息；根据所述近邻交通工具的位置信息，在所述近邻交通工具中，确定至少一个第二交通工具；获得所述第二交通工具传输的第二视野图像。

在一种实现方式中，区域处理单元804具体用于：将所述目标视野图像和所述第一视野图像进行融合，以使得所述目标图像区域被填充有至少部分所述目标视野图像的图像区域。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

参考图9，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行图像处理的电子设备，该电子设备可以配置在交通工具中，如平衡车、汽车或轮船等能自动驾驶或被用户驾驶的交通工具。本实施例中的技术方案主要用于获得视野盲区被完善的视野图像以提供给交通工具参考，改善对交通工具的驾驶体验。

具体的，本实施例中的电子设备可以包含如下结构：

存储器901，用于存储应用程序和所述应用程序运行所产生的数据；

处理器902，用于执行所述应用程序，以实现：获得第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

从上述技术方案可以看出，本申请实施例三提供的一种电子设备中，在获得第一交通工具驾驶过程中的第一视野图像之后，可以基于该第一视野图像确定对应于第一视野图像中第一交通工具的视野盲区的目标图像区域，之后根据目标图像区域获得第二交通工具的目标采集装置所采集到的目标视野图像，而这里的目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关，因此，在根据目标视野图像对目标图像区域进行处理之后，所得到的第一视野图像能够提供给第一交通工具在驾驶过程中作为驾驶参考。可见，本申请实施例中通过其他交通工具上对应于本交通工具的视野盲区的图像来对本交通工具的视野图像进行处理，从而使得本交通工具的视野图像中的视野盲区被完善，由此提供给本交通工具参考，从而改善对交通工具的驾驶体验。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

参考图10，为本申请实施例四提供的一种交通工具的结构示意图，该交通工具作为第一交通工具除了包含发动机和运动装置(车轮或螺旋桨)等结构，还可以包含有如下结构：

多个图像采集装置1001，如摄像头等，分别设置在第一交通工具的外围，以便于采集第一交通工具各个角度上的视野图像；

图像显示装置1002，如显示屏等，用于输出图像；

处理器1003，用于根据图像采集装置1001所采集到的视野图像，获得所述第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，并通过所述图像显示装置1002输出所得到的第一视野图像，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

从上述技术方案可以看出，本申请实施例四提供的一种交通工具中，在获得第一交通工具驾驶过程中的第一视野图像之后，可以基于该第一视野图像确定对应于第一视野图像中第一交通工具的视野盲区的目标图像区域，之后根据目标图像区域获得第二交通工具的目标采集装置所采集到的目标视野图像，而这里的目标采集装置与第一交通工具之间的相对位置与目标图像区域在第一视野图像中的相对位置相关，因此，在根据目标视野图像对目标图像区域进行处理之后，所得到的第一视野图像能够提供给第一交通工具在驾驶过程中作为驾驶参考。可见，本申请实施例中通过其他交通工具上对应于本交通工具的视野盲区的图像来对本交通工具的视野图像进行处理，从而使得本交通工具的视野图像中的视野盲区被完善，由此提供给本交通工具参考，从而改善对交通工具的驾驶体验。

以驾驶在道路上的车辆为例，以下对本申请的技术方案进行详细说明：

首先，在车辆中利用UWB定位技术，实现多摄像头(或激光雷达等传感器)之间的精确定位，利用定位信息如位置或姿态等，来实现多摄像头(或激光雷达等传感器)的影像融合，以解决车辆之间的遮挡问题。

基于以上核心技术内容，结合图11所示的流程图和图12所示的示例图，以下为具体实现的技术方案：

1、道路上的本车以及遮挡车上安装支持UWB的摄像头；

2、利用UWB定位技术，本车可以实现邻近车载摄像头的定位；

3、获得邻近摄像头的图像和姿态，融合邻近摄像头照片到本车的视野，合成本车的实时全景路况信息，即：本车摄像头探测到左前方有车辆遮挡视线，则调用左前方车辆的摄像头，由此，使用左前方车辆的摄像头采集到的图像对本车左前方被遮挡的图像进行填充。

基于此，本申请的技术方案中利用精确的摄像头定位和姿态信息，将遮挡车辆的视野图像融合到本车的盲区视野，以便于检测视野中是否存在行人，从而可以探测到因左前方车辆遮挡导致的行人过马路的预警危险。综上，本申请中可以利用邻近区域内多车辆的传感器(摄像头、激光雷达等)实现数据共享，合成邻近区域的全景路况，以解决盲区检测的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，包括：

获得第一交通工具驾驶过程中的第一视野图像；

基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；

根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

至少根据所述目标视野图像，对所述目标图像区域进行处理，以使所述第一交通工具的驾驶过程能够参考所述第一视野图像。

2.根据权利要求1所述的方法，根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像，包括：

根据所述目标图像区域在所述第一视野图像中的相对位置，在所述第二交通工具的多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关；

获得所述目标采集装置所采集到的图像，以得到目标视野图像。

3.根据权利要求2所述的方法，所述第二交通工具的多个图像采集装置包括：与所述第一交通工具之间的距离小于或等于距离阈值的图像采集装置；所述图像采集装置为配置超带宽定位结构的装置；

其中，所述目标采集装置通过以下方式确定：

利用基于超带宽的定位方式，获得所述第二交通工具的多个图像采集装置的位置信息；

至少根据所述位置信息，在所述多个图像采集装置中，确定至少一个目标采集装置，所述目标采集装置的位置信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。

4.根据权利要求3所述的方法，至少根据所述位置信息，在所述多个图像采集装置中，确定至少一个目标采集装置，包括：

根据所述位置信息，获得所述多个图像采集装置中的至少一个初始采集装置发送的姿态信息；所述姿态信息至少表征所述初始采集装置的图像采集方向；所述初始采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

根据所述姿态信息，在所述至少一个初始采集装置中，确定至少一个目标采集装置，所述目标采集装置的姿态信息使得所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相对应。

5.根据权利要求1所述的方法，根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像，包括：

获得至少一个第二交通工具的第二视野图像；所述第二交通工具与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

在所述第二视野图像中，获得对应于至少一个目标采集装置的目标视野图像，所述目标采集装置为所述第二交通工具上设置的图像采集装置，且所述目标采集装置的图像采集方向与所述目标图像区域在所述第一视野图像中的相对位置相关。

6.根据权利要求5所述的方法，获得至少一个第二交通工具的第二视野图像，包括：

利用基于超带宽的定位方式，获得所述第一交通工具的至少一个近邻交通工具的位置信息；

根据所述近邻交通工具的位置信息，在所述近邻交通工具中，确定至少一个第二交通工具；

获得所述第二交通工具传输的第二视野图像。

7.根据权利要求1、2或5所述的方法，至少根据所述目标视野图像，对所述目标图像区域进行处理，包括：

将所述目标视野图像和所述第一视野图像进行融合，以使得所述目标图像区域被填充有至少部分所述目标视野图像的图像区域。

8.一种图像处理装置，包括：

第一获得单元，用于获得第一交通工具驾驶过程中的第一视野图像；

区域确定单元，用于基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；

目标获得单元，用于根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；

区域处理单元，用于至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

9.一种电子设备，包括：

存储器，用于存储应用程序和所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现：获得第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

10.一种交通工具，所述交通工具作为第一交通工具，至少包括：

图像采集装置，用于采集图像；

图像显示装置；

处理器，用于获得所述第一交通工具驾驶过程中的第一视野图像；基于所述第一视野图像，确定至少一个目标图像区域，所述目标图像区域对应于所述第一视野图像中所述第一交通工具的视野盲区；根据所述目标图像区域，获得至少一个第二交通工具的目标采集装置所采集到的目标视野图像；其中，至少所述目标采集装置与所述第一交通工具之间的相对位置与所述目标图像区域在所述第一视野图像中的相对位置相关；至少根据所述目标视野图像，对所述目标图像区域进行处理，并通过所述图像显示装置输出所得到的第一视野图像，以使得所述第一交通工具的驾驶过程能够参考所述第一视野图像。

Images