CN111291680A - 障碍物的关联处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种障碍物的关联处理方法、装置及设备，涉及智能驾驶技术领域，尤其涉及障碍物感知技术领域。本申请公开的技术方案包括：根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系；上述过程中，通过对冲突障碍物的特征信息进行更新，并根据更新后的冲突障碍物的特征信息再次进行关联处理，可以解决障碍物关联冲突的问题。

Description

障碍物的关联处理方法、装置及设备

技术领域

本申请涉及智能驾驶技术领域，尤其涉及一种障碍物的关联处理方法、装置及设备。

背景技术

智能驾驶车辆的视觉感知系统中，为了扩大对车辆周围的障碍物的感知范围，通常会在车辆的不同位置安装相机。有些场景中，多个相机可能会拍摄到同一障碍物，因此，需要对多个相机拍摄到的障碍物进行关联处理，以确定多个相机拍摄到的是否为同一障碍物，进而根据障碍物关联处理结果得到环境中的真实障碍物的信息，从而对车辆的行车控制提供指导。

现有技术中，在对多个相机拍摄到的障碍物进行关联处理时，采用两两关联的方式，即，对于任意两个相机，将其中一个相机拍摄到的障碍物与另一个相机拍摄到的障碍物进行匹配，确定两个相机拍摄到的是否为同一障碍物，若是同一障碍物，则将这两个相机拍摄到的障碍物关联起来。

然而，当车辆安装有三个或者三个以上的相机时，采用上述两两关联的方式进行关联后，有可能会产生冲突，例如：同一相机拍摄到的不同障碍物被关联在一起。

发明内容

本申请提供一种障碍物的关联处理方法、装置及设备，用以解决关联冲突的问题。

第一方面，本申请提供一种障碍物的关联处理方法，包括：

根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物；根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物；更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

该方案中，通过对冲突障碍物的特征信息进行更新，并根据更新后的冲突障碍物的特征信息再次进行关联处理，可以解决障碍物关联冲突的问题。

一种可能的实现方式中，一个障碍物的特征信息包括从多个连续图像帧中提取到的障碍物特征；所述更新所述冲突障碍物的特征信息，包括：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。

该实现方式中，通过删除一些图像帧中提取到的障碍物特征，仅保留部分图像帧中提取到的特征信息，这样可以一定程度上避免障碍物的特征信息出现偏差，从而解决障碍物关联冲突的问题。

一种可能的实现方式中，所述将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征，包括：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。

该实现方式中，通过将历史图像帧的特征信息删除，仅保留最新图像帧的特征信息，能够一定程度上避免障碍物的特征信息出现偏差。另外，由于保留的是最新图像帧的特征信息，使得在进行第二关联处理时采用的特征信息为最新的特征信息，从时效角度考虑，能够提高关联结果的准确性。

一种可能的实现方式中，所述根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系之后，还包括：

若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，则重复执行下述步骤，直至重复执行的次数大于或者等于预设值，或者直至根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中不存在冲突障碍物，所述下述步骤为：

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

该实现方式中，通过进行多次关联处理的迭代，可以完全消除关联冲突的问题。

一种可能的实现方式中，若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则所述方法还包括：

根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

该实现方式中，在迭代最大次数之后，通过采用贪心策略对冲突障碍物进行合并处理，能够消除关联冲突的问题。

一种可能的实现方式中，所述根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系，包括：

根据所述多个障碍物中的非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并，并记录所述非冲突障碍物之间的合并关系；其中，所述非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物；

根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新所述多个障碍物之间的关联关系。

该实现方式中，通过在第二次以及后续的关联处理过程中，通过考虑非冲突障碍物之间的合并关系，能够进一步避免关联冲突的产生。

一种可能的实现方式中，所述根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，包括：

针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。

第二方面，本申请提供一种障碍物的关联处理装置，包括：

获取模块，用于根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物；

确定模块，用于根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物；

更新模块，用于更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，一个障碍物的特征信息包括从多个连续图像帧中提取到的障碍物特征；所述更新模块具体用于：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。

一种可能的实现方式中，所述更新模块具体用于：将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。

一种可能的实现方式中，所述更新模块还用于：

若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，则重复执行下述步骤，直至重复执行的次数大于或者等于预设值，或者直至根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中不存在冲突障碍物，所述下述步骤为：

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则所述更新模块还用于：

根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；

根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

一种可能的实现方式中，所述更新模块具体用于：

根据所述多个障碍物中的非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并，并记录所述非冲突障碍物之间的合并关系；其中，所述非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物；

根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，所述获取模块具体用于：

针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。

第三方面，本申请提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

本申请提供的障碍物的关联处理方法、装置及设备，该方法包括：根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系；上述过程中，通过对冲突障碍物的特征信息进行更新，并根据更新后的冲突障碍物的特征信息再次进行关联处理，可以解决障碍物关联冲突的问题。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例的一种可能的应用场景的示意图；

图2为现有的障碍物关联处理过程的示意图；

图3为本申请一个实施例提供的障碍物的关联处理方法的流程示意图；

图4为本申请另一个实施例提供的障碍物的关联处理方法的流程示意图；

图5A为本申请一个实施例提供的拍摄数据的示意图；

图5B为本申请一个实施例提供的障碍物关联处理过程的示意图；

图6为本申请一个实施例提供的障碍物的关联处理装置的结构示意图；

图7为本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1为本申请实施例的一种可能的应用场景的示意图。如图1所示，该应用场景为智能驾驶场景。为了扩大对智能驾驶车辆周围的障碍物的感知范围，通常会在车辆的不同位置安装相机。参见图1，可以在车辆10的前侧、左侧、右侧、后侧等分别安装一个或者多个相机20。每个相机20负责对车身周围一定区域范围内的障碍物进行拍摄，得到障碍物拍摄数据。每个相机的拍摄范围取决于该相机的安装角度、安装位置及视场角等参数。

实际应用中，为了保证车辆对障碍物的感知不存在盲区，多个相机的拍摄范围可能会存在交集，使得多个相机可能会拍摄到同一障碍物。例如：车身右侧的障碍物有可能被安装在车身右侧的三个相机均拍摄到。这样，根据这三个相机对该障碍物的拍摄结果可以精确、完整的描述出该障碍物运动状态(位置、速度等)，有助于车辆做出精确决策，防止碰撞等高危风险的发生。

能够理解，在车身右侧的三个相机均拍摄到障碍物的情况下，并不说明车身右侧存在三个障碍物，实际情况有可能是三个相机拍摄到的为同一障碍物。因此，为了获知到环境中的真实障碍物的信息，在得到多个相机的拍摄数据后，需要对多个相机拍摄到的障碍物进行关联处理。如图1所示，将多个相机的拍摄数据输入至障碍物的关联处理装置中，由障碍物的关联处理装置对多个相机的拍摄数据进行关联处理，以确定出哪些相机拍摄到的为同一障碍物，哪些相机拍摄到的为不同的障碍物，从而得到环境中的真实障碍物的信息，以对车辆的行车控制提供指导。

本实施例中，车辆安装的每个相机与障碍物的关联处理装置通信连接，每个相机将拍摄数据实时传输给障碍物的关联处理装置。其中，拍摄数据可以为相机拍摄到的原始数据，例如图像数据或者视频数据等；拍摄数据还可以是相机对原始数据进行处理后得到的数据，例如，拍摄数据可以为用于指示被拍摄到的障碍物的特征信息的数据。关联处理装置可以为软件和/或硬件形式。本实施例的关联处理装置可以设置在智能驾驶车辆的车载设备中，还可以设置在智能驾驶车辆之外的电子设备中。

现有技术中，在对多个相机拍摄到的障碍物进行关联处理时，采用两两关联的方式，即，对于任意两个相机，将其中一个相机拍摄到的障碍物与另一个相机拍摄到的障碍物进行匹配，确定两个相机拍摄到的是否为同一障碍物，若是同一障碍物，则将这两个相机拍摄到的障碍物关联起来。为了便于后续实施例的理解，下面结合一个举例详细说明障碍物的关联处理过程。

图2为现有的障碍物关联处理过程的示意图。假设车辆安装有3个相机，分别为相机A、相机B和相机C。3个相机的拍摄数据如图2所示，相机A拍摄到障碍物1，相机B拍摄到障碍物2和障碍物3，相机C拍摄到障碍物4。根据3个相机的拍摄数据，对3个相机中的任意两个相机拍摄到的障碍物进行关联处理，确定出障碍物之间的关联关系。其中，本实施例中，两个障碍物之间的关联关系用于指示两个障碍物被识别为相同的障碍物。

示例性的，对相机A和相机B进行关联处理时，假设将相机A拍摄到的障碍物1和相机B拍摄到的障碍物2识别为同一障碍物，则建立相机A拍摄到的障碍物1与相机B拍摄到的障碍物2之间的关联关系；类似的，对相机A和相机C进行关联处理时，建立相机A拍摄到的障碍物1与相机C拍摄到的障碍物4之间的关联关系；对相机B和相机C进行关联处理时，建立相机B拍摄到的障碍物3与相机C拍摄到的障碍物4之间的关联关系。

经过上述两两关联处理之后，得到的障碍物之间的关联关系如下：障碍物3<—>障碍物4<—>障碍物1<—>障碍物2。其中，符号<—>表示具有关联关系。可见，上述关联关系指示了障碍物1、障碍物2、障碍物3和障碍物4为同一障碍物。而实际上，障碍物2和障碍物3被相机B同时拍摄到，障碍物2与障碍物3不可能为同一障碍物，因此，上述关联过程产生了关联冲突。其中，障碍物1、障碍物2、障碍物3和障碍物4可以称为冲突障碍物。

根据图2所示的关联处理过程，在对三个或者三个以上的相机拍摄的障碍物进行关联处理时，由于两两关联处理时可能会存在关联错误，导致最终的关联结果可能存在冲突。本实施例中的关联冲突是指：同一相机拍摄到的不同障碍物被识别为相同的障碍物(换句话说，同一相机拍摄到的不同障碍物之间建立有关联关系)。

为了解决上述的关联冲突问题，本申请实施例提供一种障碍物的关联处理方法。在现有的关联处理过程的基础上，当产生关联冲突时，通过对冲突障碍物的特征信息进行更新，并根据更新后的冲突障碍物的特征信息更新多个障碍物之间的关联关系，从而解决关联冲突的问题。

下面结合几个具体的实施例对本申请的技术方案进行详细描述。下面几个实施例可以相互结合，对于相同或者相似的内容在某些实施例中可能不再重复描述。

图3为本申请一个实施例提供的障碍物的关联处理方法的流程示意图，如图3所示，本实施例的方法包括：

S301：根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物。

本实施例适用于对三个或者三个以上的相机拍摄到的障碍物进行关联处理。本实施例的相机可以做广义理解。相机可以为任意具有拍摄功能的设备或者装置，包括但不限于：鱼眼相机、广角相机等。

示例性的，获取多个相机的拍摄数据，相机的拍摄数据可以为图像数据或者视频数据。一个相机拍摄得到一个或者多个障碍物。针对每个障碍物，可以从该相机的拍摄数据中对该障碍物进行特征提取，得到该障碍物的特征信息。

本实施例的障碍物的特征信息是指用于对不同障碍物进行匹配以识别是否为相同障碍物的信息。本实施例对于获取障碍物的特征信息的方法不作限定，可以采用现有的图像处理或者视频处理方法。

本实施例的障碍物应做广义理解，障碍物包括但不限于：主车周围的行人、自行车、电动车、其他非机动车或机动车等。

根据多个相机拍摄到的多个障碍物的特征信息，确定多个障碍物之间的关联关系，可以采用现有的如图2所示的两两关联处理过程。示例性的，针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。本实施例中，建立两个相机拍摄到的障碍物之间的关联关系是指将两个相机拍摄到的障碍物识别为相同的障碍物。

S302：根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物。

S303：更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

本实施例与现有的关联处理的不同之处在于，在进行两两关联得到多个障碍物之间的关联关系之后，根据该关联关系，确定出冲突障碍物，并继续执行后续的S303。

其中，冲突障碍物是指会导致产生冲突的关联关系所对应的障碍物。换句话说，冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物，例如图2中将同一相机拍摄到的不同障碍物识别为相同的障碍物。结合图2，障碍物1、障碍物2、障碍物3和障碍物4之间的关联关系会使得相机B拍摄的障碍物2和障碍物3被关联在一起，因此，障碍物1、障碍物2、障碍物3和障碍物4可以被称为冲突障碍物。

本实施例中，在确定出冲突障碍物之后，可以更新冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息对多个障碍物之间的关联关系进行更新。其中，对多个障碍物之间的关联关系进行更新的过程与S201中的两两关联处理过程类似。例如：通过不同相机拍摄的障碍物的特征信息之间的相似度来确定是否建立障碍物之间的关联关系，此处不再赘述。

能够理解，由于在进行关联处理时是根据不同障碍物的特征信息之间的相似度来确定是否建立关联关系，因此，出现关联冲突的本质原因是冲突障碍物的特征信息出现了偏差。例如，图2所示的举例中，当障碍物1的特征信息出现偏差时，可能会导致障碍物1的特征信息与障碍物4的特征信息比较相近，同时障碍物1的特征信息与障碍物2的特征信息也比较接近，因此导致了冲突的出现。因此，本实施例中，通过对冲突障碍物的特征信息进行更新，可以一定程度上避免冲突障碍物的特征信息出现偏差，从而可以解决关联冲突的问题。

其中，对冲突障碍物的特征信息进行更新，可以是对每个冲突障碍物的特征信息均进行更新，还可以是仅针对部分冲突障碍物的特征信息进行更新。当对多个冲突障碍物的特征信息进行更新时，多个冲突障碍物的特征信息的更新方法可以相同也可以不同，本实施例对此不作限定。

一种可能的实施方式中，每个相机的拍摄数据包括该相机拍摄的多个连续图像帧，相应的，一个障碍物的特征信息包括从所述多个连续图像帧中提取到的障碍物特征。这样，在对冲突障碍物的特征信息进行更新时，可以删除一些图像帧中的障碍物特征，即，将冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。能够理解，通过删除一些图像帧中提取到的障碍物特征，仅保留部分图像帧中提取到的特征信息，这样可以一定程度上避免障碍物的特征信息出现偏差。

另一种可能的实施方式中，在对冲突障碍物的特征信息进行更新时，可以是将冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。通过将历史图像帧的特征信息删除，仅保留最新图像帧的特征信息，能够一定程度上避免障碍物的特征信息出现偏差。另外，由于保留的是最新图像帧的特征信息，使得在进行第二关联处理时采用的特征信息为最新的特征信息，从时效角度考虑，能够提高关联结果的准确性。

可选的，S302中还可以根据多个障碍物之间的关联关系，在多个障碍物中确定出非冲突障碍物。其中，非冲突障碍物是指不会导致产生冲突的关联关系所对应的障碍物。应理解，非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物。例如：在图2所示举例的基础上，假设还包括相机D和相机E，相机D拍摄到障碍物5，相机E拍摄到障碍物6。在进行两两关联处理时，相机A、相机B、相机C拍摄到的障碍物与相机D拍摄到的障碍物5均未建立关联关系；相机A、相机B、相机C拍摄到的障碍物与相机E拍摄到的障碍物6均未建立关联关系；相机D拍摄到的障碍物5与相机E拍摄到的障碍物6建立了关联关系。由于障碍物5和障碍物6之间的关联关系不会导致产生冲突，因此，可以将障碍物5和障碍物6称为非冲突障碍物。

本实施例中，在确定出冲突障碍物和非冲突障碍物之后，可以根据非冲突障碍物之间的关联关系，对非冲突障碍物进行合并。例如，将具有关联关系的非冲突障碍物打上同一标签。进一步的，针对冲突障碍物和合并后的非冲突障碍物进行再次关联处理，得到多个障碍物之间的关联关系。

可选的，本实施例中，若S303对多个障碍物之间的关联关系进行更新后，根据更新后的关联关系确定出多个障碍物中依然存在冲突障碍物，则可以重复执行本实施例的S302和S303。能够理解，通过进行多次关联处理的迭代，可以完全消除关联冲突的问题。

本实施例提供的障碍物的关联处理方法，包括：根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系；本实施例中，通过对冲突障碍物的特征信息进行更新，并根据更新后的冲突障碍物的特征信息再次进行关联处理，可以解决障碍物关联冲突的问题。

图4为本申请另一个实施例提供的障碍物的关联处理方法的流程示意图。如图4所示，本实施例的方法包括：

S401：根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物。

S402：根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物。

S403：更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

本实施例中，S401-S403的具体实施过程与图3所示实施例类似，此处不再赘述。

为了进一步避免关联冲突问题，本实施例S403中，根据更新后的冲突障碍物的特征信息对多个障碍物之间的关联关系进行更新时，还可以将非冲突障碍物之间的合并关系考虑进去。示例性的，可以根据非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并(例如，将具有关联关系的非冲突障碍物打上同一标签，将其标识为相同的障碍物)，并记录所述非冲突障碍物之间的合并关系。进而根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新多个障碍物之间的关联关系。

例如，在进行非冲突障碍物合并时，假设将相机A拍摄的障碍物1与相机B拍摄的障碍物2进行了合并，则在S403的关联处理过程中，考虑该合并关系，由于相机A拍摄的障碍物1已与相机B拍摄的障碍物2合并过，则不再建立相机A拍摄的障碍物1与相机B拍摄的其他障碍物(例如障碍物3)之间的关联关系。能够理解，本实施例中在第二次以及后续的关联处理过程中，通过考虑非冲突障碍物之间的合并关系，能够进一步避免关联冲突的产生。

S404：若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且，S403的重复执行次数小于预设阈值，则重复执行步骤S403。

本实施例中为了完全消除关联冲突的问题，可以重复执行S403。为了提高关联处理的效率，还可以为S403设置最大重复执行的次数(也可以称为最大迭代次数)，在未达到最大重复执行次数时，可以重复执行S403，当达到最大重复执行次数后，若还存在冲突障碍物，则可以执行S405。

S405：若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

下面结合举例说明。例如：图2所示的示例中，冲突障碍物有4个，分别为相机A拍摄到的障碍物1、相机B拍摄到的障碍物2和障碍物3、相机C拍摄到的障碍物4。假设相机A拍摄的障碍物1与相机B拍摄的障碍物2之间的相似度为90；相机B拍摄的障碍物3与相机C拍摄的障碍物4之间的相似度为80；相机A拍摄的障碍物1与相机C拍摄的障碍物4之间的相似度为95。

按照上述的相似度由高到低的顺序，确定不同相机拍摄的冲突障碍物之间的合并先后顺序。例如，每次贪心的选择相似度最高且不会产生冲突的两个障碍物进行合并。上述举例中，由于障碍物1与障碍物4之间的相似度最高，因此先将障碍物1和障碍物4合并。然后，在剩下的关联关系中由于障碍物1与障碍物2之间的相似度最高，再将障碍物1与障碍物2合并。剩下的关联关系中，若将障碍物3和障碍物4进行合并，则会产生冲突，因此，不合并障碍物3和障碍物4。至此，上述举例的关联处理结果为：障碍物1、障碍物2、障碍物4为同一障碍物，障碍物3为另一障碍物。

下面结合图5A和图5B以一个具体的实例对障碍物关联处理过程进行描述。图5A为本申请一个实施例提供的拍摄数据的示意图，图5B为本申请一个实施例提供的障碍物关联处理过程的示意图。假设车辆安装有5个相机，分别为：相机A、相机B、相机C、相机D和相机E。5个相机的拍摄数据如图5A所示，相机A拍摄到障碍物1，相机B拍摄到障碍物2和障碍物3，相机C拍摄到障碍物4，相机D拍摄到障碍物5，相机E拍摄到障碍物6。

参见图5B，根据从图5A所示的拍摄数据中获取的各障碍物的特征信息，对待关联处理的障碍物(障碍物1至障碍物6)进行关联处理，得到障碍物之间的关联关系为：障碍物1<—>障碍物2、障碍物1<—>障碍物4、障碍物3<—>障碍物4、障碍物5<—>障碍物6。根据上述关联关系确定出冲突障碍物为：障碍物1、障碍物2、障碍物3和障碍物4，非冲突障碍物为：障碍物5和障碍物6。对冲突障碍物的特征信息进行更新(具体更新方式可以参见前述实施例)，对非冲突障碍物进行合并，得到新的待关联处理的障碍物集合。由于已对冲突障碍物的特征信息进行更新，针对新的待关联处理的障碍物集合，可以采用前述的关联处理方法进行多次迭代，直至迭代次数大于或者等于最大迭代次数。通过多次迭代过程，可以全部或者部分消除关联冲突问题。若到达最大迭代次数之后，还存在冲突障碍物，则可以采用贪心策略对冲突障碍物进行合并处理(具体可以参见S405的详细描述，此处不再赘述)。经过图5B所示的关联处理过程，可以全部消除关联冲突问题。

图6为本申请一个实施例提供的障碍物的关联处理装置的结构示意图。本实施例的装置可以为软件和/或硬件的形式。如图6所示，本实施例提供的障碍物的关联处理装置600，可以包括：获取模块601、确定模块602和更新模块603。

其中，获取模块601，用于根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物；

确定模块602，用于根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物；

更新模块603，用于更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，一个障碍物的特征信息包括从多个连续图像帧中提取到的障碍物特征；所述更新模块603具体用于：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。

一种可能的实现方式中，所述更新模块603具体用于：将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。

一种可能的实现方式中，所述更新模块603还用于：

若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，则重复执行下述步骤，直至重复执行的次数大于或者等于预设值，或者直至根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中不存在冲突障碍物，所述下述步骤包括：

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则所述更新模块603还用于：

根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；

根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

一种可能的实现方式中，所述更新模块603具体用于：

根据所述多个障碍物中的非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并，并记录所述非冲突障碍物之间的合并关系；其中，所述非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物；

根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新所述多个障碍物之间的关联关系。

一种可能的实现方式中，所述获取模块601具体用于：

针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。

本实施例提供的障碍物的关联处理装置，可用于执行上述任一方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的障碍物的关联处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的障碍物的关联处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的障碍物的关联处理方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的障碍物的关联处理方法对应的程序指令/模块(例如，附图6所示的获取模块601、确定模块602、更新模块603)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器或者终端设备的各种功能应用以及数据处理，即实现上述方法实施例中的障碍物的关联处理方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种障碍物的关联处理方法，其特征在于，包括：

根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物；

根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物；

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

2.根据权利要求1所述的方法，其特征在于，一个障碍物的特征信息包括从多个连续图像帧中提取到的障碍物特征；

所述更新所述冲突障碍物的特征信息，包括：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征，包括：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。

4.根据权利要求1所述的方法，其特征在于，所述根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系之后，还包括：

若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，则重复执行下述步骤，直至重复执行的次数大于或者等于预设值，或者直至根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中不存在冲突障碍物，所述下述步骤为：

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

5.根据权利要求4所述的方法，其特征在于，若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则所述方法还包括：

根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；

根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系，包括：

根据所述多个障碍物中的非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并，并记录所述非冲突障碍物之间的合并关系；其中，所述非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物；

根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新所述多个障碍物之间的关联关系。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，包括：

针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。

8.一种障碍物的关联处理装置，其特征在于，包括：

获取模块，用于根据多个相机拍摄得到的多个障碍物的特征信息，确定所述多个障碍物之间的关联关系，一个相机拍摄得到至少一个障碍物，具有关联关系的两个障碍物被识别为相同的障碍物；

确定模块，用于根据所述多个障碍物之间的关联关系，在所述多个障碍物中确定冲突障碍物，所述冲突障碍物之间的关联关系用于将不同的障碍物识别为相同的障碍物；

更新模块，用于更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

9.根据权利要求8所述的装置，其特征在于，一个障碍物的特征信息包括从多个连续图像帧中提取到的障碍物特征；所述更新模块具体用于：

将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的部分图像帧提取到的障碍物特征。

10.根据权利要求9所述的装置，其特征在于，所述更新模块具体用于：将所述冲突障碍物的特征信息更新为从所述多个连续图像帧中的最新图像帧提取到的障碍物特征。

11.根据权利要求8所述的装置，其特征在于，所述更新模块还用于：

若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，则重复执行下述步骤，直至重复执行的次数大于或者等于预设值，或者直至根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中不存在冲突障碍物，所述下述步骤为：

更新所述冲突障碍物的特征信息，并根据更新后的冲突障碍物的特征信息更新所述多个障碍物之间的关联关系。

12.根据权利要求11所述的装置，其特征在于，若根据更新后的所述多个障碍物之间的关联关系确定所述多个障碍物中存在冲突障碍物，并且所述重复执行的次数大于或者等于预设值，则所述更新模块还用于：

根据所述冲突障碍物的特征信息之间的相似度，确定不同相机拍摄的冲突障碍物之间的合并先后顺序；

根据所述合并先后顺序，对具有关联关系的冲突障碍物进行合并。

13.根据权利要求8至12任一项所述的装置，其特征在于，所述更新模块具体用于：

根据所述多个障碍物中的非冲突障碍物之间的关联关系，将具有关联关系的非冲突障碍物进行合并，并记录所述非冲突障碍物之间的合并关系；其中，所述非冲突障碍物为所述多个障碍物中除所述冲突障碍物之外的障碍物；

根据所述非冲突障碍物之间的合并关系，以及更新后的冲突障碍物的特征信息，更新所述多个障碍物之间的关联关系。

14.根据权利要求8至12任一项所述的装置，其特征在于，所述获取模块具体用于：

针对所述多个相机中的任意两个相机，获取其中一个相机拍摄到的障碍物的特征信息与另一个相机拍摄到的障碍物的特征信息之间的相似度，若所述相似度大于或者等于预设阈值，则建立所述两个相机拍摄到的障碍物之间的关联关系。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至7中任一项所述的方法。

Images