CN115782919A - 信息感知方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种信息感知方法、装置及电子设备，涉及人工智能领域，具体涉及自动驾驶技术领域。具体实现方案为：对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；其中，所述第二信息用于进行所述车辆的行驶决策。

Description

信息感知方法、装置及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及自动驾驶技术领域，具体涉及一种信息感知方法、装置及电子设备。

背景技术

在自动驾驶场景中，通常需要通过传感器采集车辆周边的障碍物数据，并进行信息感知，以辅助车辆进行自动驾驶。

信息感知输出的障碍物信息可以包括障碍物的类别，如类别分为行人、机动车和非机动车、未知等，且障碍物信息的输出方式通常是针对障碍物进行单独报出。

发明内容

本公开提供了一种信息感知方法、装置及电子设备。

根据本公开的第一方面，提供了一种信息感知方法，包括：

对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；

基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；

其中，所述第二信息用于进行所述车辆的行驶决策。

根据本公开的第二方面，提供了一种信息感知装置，包括：

感知处理模块，用于对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；

聚合处理模块，用于基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；

其中，所述第二信息用于进行所述车辆的行驶决策。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现第一方面中的任一项方法。

根据本公开的第六方面，提供了一种自动驾驶车辆，包括如第三方面所述的电子设备。

根据本公开的技术解决了自动驾驶场景下信息感知的准确性比较低的问题，提高了信息感知的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的信息感知方法的流程示意图；

图2是本实施例中自动驾驶车辆进行行驶决策的处理过程示意图；

图3是根据本公开第二实施例的信息感知装置的结构示意图；

图4是用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

如图1所示，本公开提供一种信息感知方法，包括如下步骤：

步骤S101：对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容。

其中，M为大于1的整数。

本实施例中，信息感知方法涉及人工智能技术领域，尤其涉及自动驾驶技术领域，其可以广泛应用于自动驾驶场景下。本公开实施例的信息感知方法，可以由本公开实施例的信息感知装置执行。本公开实施例的信息感知装置可以配置在任意电子设备中，以执行本公开实施例的信息感知方法。该电子设备可以部署在自动驾驶车辆中，可以为自动驾驶车辆进行信息感知，以使得自动驾驶车辆基于感知处理得到的信息进行行驶决策。

车辆可以为自动驾驶车辆，在车辆行驶场景下，可以启动传感器来采集车辆周边的障碍物内容，得到信息帧，该信息帧可以为传感器直接采集得到的传感器数据，也可以是对传感器数据进行数据处理得到的数据。其中，传感器可以包括相机传感器、激光传感器和雷达传感器等。

信息帧指的是同一时刻采集到的信息集合，其可以为图像帧，也可以为融合帧，即融合了图像和点云信息的帧，这里不做具体限定。信息帧可以用于表征车辆行驶场景下该车辆周边的障碍物内容，比如，信息帧可以包括车辆周边障碍物的图像内容和点云信息。

车辆采集的信息帧具有时序概念，数量可以包括至少一个，其可以按照采集时间的先后顺序排列。

信息感知装置可以采用现有或信息的感知处理算法对车辆采集的信息帧分别进行感知处理，得到车辆对应的M个第一障碍物一一对应的M个第一信息。比如，信息感知装置可以采用视觉模型、点云模型和雷达模型等，对车辆采集的信息帧进行感知处理。

车辆对应的M个第一障碍物可以为车辆行驶场景下该车辆周边的障碍物，可以通过对车辆采集的一个信息帧进行感知处理，得到M个第一障碍物一一对应的M个第一信息，即一个信息帧中包括M个第一障碍物的内容，也可以通过对车辆采集的多个信息帧分别进行感知处理，得到M个第一障碍物一一对应的M个第一信息，即多个信息帧中包括M个第一障碍物的内容。

第一信息可以用于表征第一障碍物的相关信息，如第一信息可以包括第一障碍物的标识、类别、位置、速度、朝向等。障碍物的类别可以指示障碍物为行人、机动车、非机动车或未知等，非机动车可以为自动车或摩托车等。

步骤S102：基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物。

其中，N为正整数。

相关技术中，通常是在感知得到障碍物信息的情况下，针对单个障碍物信息进行输出，以供自动驾驶车辆的下游模块如程控式数字控制(Programmed Numerical Control，PNC)模块进行行驶决策。然而，对于一些障碍物如人、非机动车等，由于其体积相对比较小，在数据采集时，观测视角中可能会存在遮挡或重叠等，导致信息感知的结果经常会发生跳变，难以单独准确报出。

比如，在人骑非机动车的场景中，信息感知模块基于前一信息帧进行感知处理得到位置A处的障碍物为非机动车，其报出结果为位置A处为非机动车，由于观测视角中可能存在遮挡或重叠，信息感知模块基于后一信息帧进行感知处理得到位置A处的障碍物为行人，其报出结果为位置A处为行人，可知信息感知的结果发生了跳变，信息感知准确性比较低，这对于自动驾驶车辆的行驶决策非常不利，导致自动驾驶的安全性比较低。

本实施例在此基础上，通过基于感知处理得到的障碍物信息对车辆周边的障碍物进行聚合处理，以得到至少两个障碍物组成的聚合场景，这样可以提高对车辆周边障碍物的整体感知理解，提高信息感知的准确性，从而提高自动驾驶车辆的信息感知能力。

具体的，可以预先设置一些聚合场景，得到预设聚合场景。可以根据障碍物之间的交互情况，将多个障碍物组合成预设聚合场景。在一可选实施方式中，可以将行人、非机动车等这种体积较小的交通参与者(即障碍物)组合成预设聚合场景。比如，预先定义聚合场景：人骑非机动车，人在非机动车周边，以及停放的自行车群。

在另一可选实施方式中，也可以根据行人和机动车的交互情况，将行人和机动车组合成预设聚合场景。比如，预先定义聚合场景：人在机动车周边。

每一预设聚合场景中可以包括至少两个障碍物，这至少两个障碍物之间可以对应一种关联关系，关联关系用于表征聚合场景下关联的这至少两个障碍物之间的相互关系，如位置关系、速度关系等，即可以指在目标位置关系和目标速度关系的情况下，障碍物之间存在关联的关系。相应的，在预设有N种聚合场景的情况下，预设聚合场景下可以对应有N种关联关系，一种聚合场景与一种关联关系可以一一对应。

比如，预先定义的聚合场景为人骑非机动车，其对应的关联关系可以包括：人和非机动车的中心点距离在特定距离阈值范围内(目标位置关系)，人和非机动车的速度均大于0，且速度差小于速度阈值(目标速度关系)。

预先定义的聚合场景为人在非机动车周边，其对应的关联关系可以包括：人和非机动车的中心点距离在特定距离阈值范围内(目标位置关系)，人和非机动车的速度均等于0(目标速度关系)。

预先定义的聚合场景为人在机动车周边，其对应的关联关系可以包括：人和机动车的中心点距离在特定距离阈值范围内(目标位置关系)，机动车的速度等于0，且人的速度在特定速度内(目标速度关系)。

预先定义的聚合场景为停放的自行车群，其对应的关联关系可以包括：车群内所有自行车间最近的距离在特定距离阈值范围内(目标位置关系)，且所有非机动的速度等于0(目标速度关系)。

需要说明的是，针对人骑非机动车、人在非机动车周边和人在机动车周边的聚合场景，其内可以包括至少一个类别为行人的障碍物，如多人骑车，每个人与非机动车或机动车之间的目标位置关系和目标速度关系均可以相同。另外，针对人骑非机动车和人在非机动车周边的聚合场景，这两种聚合场景可以相互转换，如当人和非机动车的速度均等于0时，人和非机动车可以聚合为人在非机动车周边，而当人和非机动车的速度均大于0时，人和非机动车可以聚合为人骑非机动车。

目标聚合场景可以为预设聚合场景中的聚合场景，其可以包括M个第一障碍物中相互关联的至少两个障碍物，也就是说，若M个第一障碍物存在相互关联的至少两个障碍物，则可以将这至少两个障碍物聚合成目标聚合场景。目标聚合场景的数量可以为一个、两个甚至是多个，且类别可以相同，也可以不同，这里不进行具体限定。比如，得到的目标聚合场景的数量为两个，两个目标聚合场景的类别是相同的，均是人骑非机动车，则表示该车辆周边存在两个不同的人骑非机动车的聚合场景。

第二信息可以包括目标聚合场景的聚合标识、聚合场景类别(如人骑非机动车)、聚合区域信息(如3维3D的多边形区域polygon)、速度、朝向、以及其内包含的障碍物标识等。其中，速度和朝向可以指的是目标聚合场景的聚合属性，其可以根据其内单独的障碍物的速度和朝向确定，如速度可以为其内单独的障碍物的速度的均值。

在一可选实施方式中，可以按照第一障碍物的标识，进行不同信息帧的相同障碍物关联，并按照第一障碍物的位置和速度，将M个第一障碍物中满足上述N种关联关系中任一关联关系的不同障碍物进行关联，并聚合成目标聚合场景，基于障碍物所满足的关联关系以及第一信息，可以确定目标聚合场景的第二信息。比如，M个第一障碍物包括行人和非机动车，按照位置和速度，行人和非机动车的位置满足人骑非机动车的目标位置关系，速度满足人骑非机动车的目标速度关系，则确定这两个障碍物满足关联关系，将其关联聚合成目标聚合场景。

在另一可选实施方式中，车辆采集的信息帧的数量为至少两帧，这至少两帧信息帧可以包括M个第一障碍物的内容。针对每一信息帧，在基于对信息帧感知处理得到的第一障碍物(第一障碍物的数量并不一定是M个)的第一信息，确定得到的所述第一障碍物中存在满足目标关联关系的至少两个障碍物的情况下，将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景。这样，可以简化场景聚合的流程，提高自动驾驶车辆行驶决策的及时性。

其中，所述第二信息用于进行所述车辆的行驶决策。

在一可选实施方式中，信息感知装置可以配置在自动驾驶车辆的感知模块中，图2是本实施例中自动驾驶车辆进行行驶决策的处理过程示意图，如图2所示，自动驾驶车辆可以结合多个模块来进行行驶决策，包括传感器、车端感知模块和程控式数字控制(Programmed Numerical Control，PNC)模块。

其中，车端感知模块不仅可以包括视觉模型、点云模型和雷达模型，这些模型可以对车辆采集的信息帧进行感知处理，得到障碍物信息(即执行步骤S101，得到第一信息)，感知模块还可以包括融合模型，其可以称之为聚合场景算法，该融合模型可以部署在本实施例的信息感知装置中，用于基于障碍物信息，对车辆周边的障碍物进行聚合处理，得到聚合场景的相关信息(即执行步骤S102，得到第二信息)。相应的，该融合模型可以输出所感知的信息(可以包括第二信息)给下游模块如PNC模块。

相应的，PNC模块可以基于融合模型输出的信息(包括第二信息)进行车辆的行驶决策。在一可选实施方式中，如图2所示，PNC模块可以包括预测模块、规划模块和决策模块，比如，PNC模块可以基于融合模型输出的信息，采用预测模块、规划模块和决策模块，来进行行驶决策。又比如，PNC模块可以对融合模型输出的信息进行训练学习，以学习是否针对异常的聚合场景进行处理，处理可以包括减速、绕行等，以提高行驶安全性。

本实施例中，通过在感知得到障碍物信息的基础上，基于障碍物信息和预设聚合场景下障碍物的N种关联关系，对障碍物进行聚合处理，以得到聚合场景以及其聚合信息，这样可以提高对车辆周边障碍物的整体感知理解，提高信息感知的准确性，从而提高自动驾驶车辆的信息感知能力。

比如，针对多个障碍物组成的复杂场景，相关技术中，其需要分别针对至少两个障碍物进行行驶决策，而本实施例中，通过将存在关联的障碍物聚合成一个整体场景，通过对车辆周边障碍物的整体感知理解，可以减少影响车辆行驶决策的交互障碍物，提高车辆行驶决策的准确性。

可选的，所述车辆采集的信息帧的数量为至少两帧，至少两帧所述信息帧包括所述M个第一障碍物的内容，所述步骤S102具体包括：

针对每一信息帧，在基于对所述信息帧感知处理得到的第一障碍物的第一信息，确定得到的所述第一障碍物中存在满足目标关联关系的至少两个障碍物的情况下，将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景，所述目标关联关系为所述N种关联关系中的任一关联关系；

基于所述至少两个障碍物的第一信息和所述目标关联关系，确定所述目标聚合场景的聚合属性信息和聚合区域信息，所述第二信息包括所述聚合属性信息和所述聚合区域信息。

本实施方式中，可以针对每一信息帧，按照对该信息帧感知得到的第一障碍物的位置和速度，将该信息帧对应的第一障碍物中满足N种关联关系中任一关联关系(即目标关联关系)的障碍物进行关联，并聚合成目标聚合场景。

比如，一信息帧中包括行人、非机动车和机动车的内容，其中，一行人和一非机动车满足人骑非机动车的目标关联关系，另一行人和一机动车满足人在机动车周边的目标关联关系，则可以分别将其聚合，得到不同的目标聚合场景。

之后，可以基于障碍物所满足的目标关联关系以及第一信息，可以确定目标聚合场景的聚合属性信息和聚合区域信息。其中，聚合属性信息可以包括目标聚合场景的聚合标识、聚合场景类别(如人骑非机动车)、速度、朝向、以及其内包含的障碍物标识等。聚合区域信息可以包括3Dpolygon等。

比如，所满足的目标关联关系为人骑非机动车的关联关系，则目标聚合场景的聚合场景类别指示聚合场景为人骑非机动车。目标聚合场景的聚合标识可以自定义生成，目标聚合场景对应的速度、朝向和其内包含的障碍物标识可以基于第一信息确定，如将关联的障碍物的速度均值确定为目标聚合场景对应的速度，障碍物的朝向确定为目标聚合场景对应的朝向。

本实施方式中，通过针对每一信息帧，进行单帧的场景聚合，这样可以简化场景聚合的流程，提高自动驾驶车辆行驶决策的及时性。

可选的，所述步骤S102还包括：

基于所述聚合区域信息，对基于所述至少两帧所述信息帧聚合成的目标聚合场景进行时序聚合，得到所述目标聚合场景下障碍物的轨迹信息；

其中，所述第二信息还包括所述轨迹信息。

本实施方式中，可以基于聚合区域信息确定不同信息帧对应的目标聚合场景的3Dpolygon的交集，并可以根据目标聚合场景的3D polygon的交集，或者还可以结合目标聚合场景的朝向等，对基于至少两帧信息帧聚合成的目标聚合场景进行时序聚合，得到目标聚合场景下障碍物的轨迹信息。其中，时序聚合指的是将不同时序的信息帧对应的目标聚合场景进行关联。

比如，至少两帧信息帧包括时序相邻的信息帧1、信息帧2和信息帧3，信息帧1中目标聚合场景为人骑非机动车，其3D polygon为区域1，信息帧2中目标聚合场景为人骑非机动车，其3D polygon为区域2，信息帧3中目标聚合场景为人在非机动车周边，其3D polygon为区域3，三帧中目标聚合场景的朝向均是向前。区域1与区域2交集面积比较大(如大于一特定阈值)，朝向相同，此时，可以将信息帧1、信息帧2中的这两个目标聚合场景进行关联，得到人骑非机动车的轨迹信息。

进一步的，由于不同的聚合场景可以相互转化，如人骑非机动车可以转换为人在非机动车周边(当速度变化为0时可以转换)，或人在非机动车周边转换为人骑非机动车(当速度变化至大于0时)，此时，可以基于聚合区域信息和聚合属性信息(目标聚合场景中障碍物的标识)，对基于至少两帧所述信息帧聚合成的目标聚合场景进行时序聚合。若不同目标聚合场景中障碍物的标识相同，且目标聚合场景的3D polygon的交集和朝向等也符合条件，则也可以将不同的聚合场景进行时序聚合，形成更详细的轨迹。

比如，区域2与区域3交集面积比较大，朝向相同，且障碍物的标识相同，此时，可以将信息帧3中目标聚合场景与前序信息帧的目标聚合场景进行关联，补充其轨迹信息。这样，可以提高轨迹信息的确定准确性。

本实施方式中，通过根据目标聚合场景的3D polygon的交集和朝向等，对基于至少两帧信息帧聚合成的目标聚合场景进行时序聚合，得到目标聚合场景下障碍物的轨迹信息，这样可以进一步提高对车辆周边障碍物的整体感知理解，可以提高车辆行驶决策的准确性。

可选的，所述步骤S102还包括：

在对第一信息帧感知处理得到的第一障碍物中包括第一目标障碍物的情况下，若所述第一目标障碍物的位置位于所述聚合区域信息表示的区域范围内，且所述第一目标障碍物的类别属于所述目标聚合场景的场景关注类别，将所述第一目标障碍物聚合到所述目标聚合场景下；

基于所述第一目标障碍物的第一信息，更新所述聚合属性信息；

其中，所述第一目标障碍物为对第二信息帧进行感知处理未感知到的障碍物，所述第二信息帧为至少两个信息帧中时序位于所述第一信息帧之前的信息帧。

本实施方式中，针对每一信息帧如第一信息帧，当针对该信息帧感知到新的障碍物即第一目标障碍物时，可以判定该新的障碍物是由于观测视角的遮挡、重叠等导致，还是由于其观测视角内本身进入了新的障碍物。

若第一目标障碍物的位置位于聚合区域信息表示的区域范围内，且第一目标障碍物的类别属于目标聚合场景的场景关注类别，则可以判定该新的障碍物是由于观测视角的遮挡、重叠等导致，可以将第一目标障碍物聚合到目标聚合场景下。其中，第一目标障碍物的位置可以为该障碍物的3D中心位置。

其中，场景关注类别为目标聚合场景中所关注的障碍物类别，目标聚合场景不同，场景关注类别也可以不同，比如，针对人骑非机动车的聚合场景，场景关注类别可以为行人，针对停放的自行车群，场景关注类别为非机动车。

比如，包括信息帧1和信息帧2，基于信息帧1感知到障碍物1和障碍物2，其聚合的场景为人骑非机动车，基于信息帧2感知到障碍物3，此时，基于信息帧2感知到了新的障碍物3，其3D中心位置位于人骑非机动车场景下的3D polygon，且该障碍物的类别为行人，属于目标聚合场景(即人骑非机动车)中所关注的障碍物类别(人骑非机动车下所关注的障碍物类别为行人)，则将障碍物3聚合到人骑非机动车的目标聚合场景下，表示是多人骑同一非机动车的目标聚合场景。

之后，基于第一目标障碍物的第一信息，更新聚合属性信息，如更新速度，以及新增其内单独的障碍物标识等。

本实施方式中，通过针对每一信息帧，当针对该信息帧感知到新的障碍物即第一目标障碍物时，若第一目标障碍物的位置位于聚合区域信息表示的区域范围内，且第一目标障碍物的类别属于目标聚合场景的场景关注类别，则将第一目标障碍物聚合到目标聚合场景下。这样，可以优化观测视角的遮挡/重叠等而导致的单独障碍物的标识id跳变问题，进一步提高信息感知的准确性。

可选的，所述第一信息包括第一障碍物的速度和位置，所述将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景之前，还包括以下至少一项：

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第一预设阈值，第一类别的障碍物和第二类别的障碍物的速度均大于零，且速度差小于或等于第二预设阈值，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；此时，该目标关联关系指示为聚合场景为人骑非机动车。

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第三预设阈值，第一类别的障碍物和第二类别的障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；此时，该目标关联关系指示为聚合场景为人在非机动车周边。

在得到的第一障碍物中包括第一类别的障碍物和第三类别的障碍物的情况下，若第一类别的障碍物与第三类别的障碍物之间的距离小于或等于第四预设阈值，第一类别的障碍物的速度在预设速度范围内，且第三类别的障碍物的速度为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；此时，该目标关联关系指示为聚合场景为人在机动车周边。

在得到的第一障碍物中包括第二类别的至少两个障碍物的情况下，若第二类别的至少两个障碍物中每相邻的两个障碍物之间的距离均小于或等于第五预设阈值，且第二类别的至少两个障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；此时，该目标关联关系指示为聚合场景为停放的自行车群。

其中，第一类别指示障碍物为行人，第二类别指示障碍物为非机动车，第三类别指示障碍物为机动车。

本实施方式中，第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值和预设速度范围均可以根据实际情况进行设置，这里不进行具体限定。如此，可以实现不同障碍物的关联，以聚合成场景。

可选的，所述步骤S102之后，还包括：

在对所述车辆采集的信息帧进行感知处理得到的第二目标障碍物的信息与所述第二信息不匹配的情况下，输出异常信息；

其中，所述第二目标障碍物为所述目标聚合场景中的障碍物，所述异常信息用于指示所述目标聚合场景中关于所述第二目标障碍物的异常情况，所述异常信息用于进行所述车辆的行驶决策。

本实施方式中，在步骤S102之后，可以获取车辆实时采集的当前信息帧，在对车辆实时采集的当前信息帧进行感知处理得到第二目标障碍物(即基于前序信息帧聚合得到的目标聚合场景中障碍物)的信息的情况下，可以进行第二目标障碍物的信息与第二信息的匹配，具体可以匹配第二目标障碍物的属性信息如速度、位置和朝向，与目标聚合场景的速度、3Dpolygon和朝向是否一致，若三者中任一者匹配不一致，则确定第二目标障碍物的信息与第二信息不匹配。

其中，速度匹配时，若速度差在预设范围内，则确定确定速度匹配，朝向匹配时，若两者相同，则确定朝向匹配，位置匹配，若位置在3Dpolygon内，则确定位置匹配。

当第二目标障碍物的信息与第二信息不匹配时，可以输出异常信息。异常信息可以指示目标聚合场景关于第二目标障碍物的异常情况，其可以包括：异常的目标聚合场景的相关信息，其内具体异常的障碍物信息，以及异常原因。其中，异常原因可以包括位置不匹配、位置不匹配、速度不匹配等。

其中，所述异常信息用于进行所述车辆的行驶决策。

在一可选实施方式中，自动驾驶车辆在获取到异常信息的情况下，可以进行相应的行驶决策，如减速、绕行、停车等。比如，在一场景中，异常信息指示人在机动车周边的聚合场景异常，异常的障碍物为机动车，异常原因是速度不匹配，其机动车的速度急剧增大，此时，自动驾驶车辆可以基于该异常信息进行减速的行驶决策，以保证安全驾驶。

本实施方式中，通过对多个障碍物组合成的复杂场景的整体感知理解，判断并报出聚合场景中单独障碍物的异常，供下游模块的行驶决策，如此，可以进一步提高信息感知的准确性，提高自动驾驶车辆的信息感知能力。

第二实施例

如图3所示，本公开提供一种信息感知装置300，包括：

感知处理模块301，用于对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；

聚合处理模块302，用于基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；

其中，所述第二信息用于进行所述车辆的行驶决策。

可选的，所述车辆采集的信息帧的数量为至少两帧，至少两帧所述信息帧包括所述M个第一障碍物的内容，所述聚合处理模块302包括：

第一聚合单元，用于针对每一信息帧，在基于对所述信息帧感知处理得到的第一障碍物的第一信息，确定得到的所述第一障碍物中存在满足目标关联关系的至少两个障碍物的情况下，将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景，所述目标关联关系为所述N种关联关系中的任一关联关系；

确定单元，用于基于所述至少两个障碍物的第一信息和所述目标关联关系，确定所述目标聚合场景的聚合属性信息和聚合区域信息，所述第二信息包括所述聚合属性信息和所述聚合区域信息。

可选的，所述聚合处理模块302还包括：

第二聚合单元，用于基于所述聚合区域信息，对基于所述至少两帧所述信息帧聚合成的目标聚合场景进行时序聚合，得到所述目标聚合场景下障碍物的轨迹信息；

其中，所述第二信息还包括所述轨迹信息。

可选的，所述聚合处理模块302还包括：

第三聚合单元，用于在对第一信息帧感知处理得到的第一障碍物中包括第一目标障碍物的情况下，若所述第一目标障碍物的位置位于所述聚合区域信息表示的区域范围内，且所述第一目标障碍物的类别属于所述目标聚合场景的场景关注类别，将所述第一目标障碍物聚合到所述目标聚合场景下；

更新单元，用于基于所述第一目标障碍物的第一信息，更新所述聚合属性信息；

其中，所述第一目标障碍物为对第二信息帧进行感知处理未感知到的障碍物，所述第二信息帧为至少两个信息帧中时序位于所述第一信息帧之前的信息帧。

可选的，所述第一信息包括第一障碍物的速度和位置，所述装置还包括确定模块，所述确定模块具体用于：

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第一预设阈值，第一类别的障碍物和第二类别的障碍物的速度均大于零，且速度差小于或等于第二预设阈值，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第三预设阈值，第一类别的障碍物和第二类别的障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第三类别的障碍物的情况下，若第一类别的障碍物与第三类别的障碍物之间的距离小于或等于第四预设阈值，第一类别的障碍物的速度在预设速度范围内，且第三类别的障碍物的速度为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第二类别的至少两个障碍物的情况下，若第二类别的至少两个障碍物中每相邻的两个障碍物之间的距离均小于或等于第五预设阈值，且第二类别的至少两个障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

其中，第一类别指示障碍物为行人，第二类别指示障碍物为非机动车，第三类别指示障碍物为机动车。

可选的，还包括：

输出模块，用于在对所述车辆采集的信息帧进行感知处理得到的第二目标障碍物的信息与所述第二信息不匹配的情况下，输出异常信息；

其中，所述第二目标障碍物为所述目标聚合场景中的障碍物，所述异常信息用于指示所述目标聚合场景中关于所述第二目标障碍物的异常情况，所述异常信息用于进行所述车辆的行驶决策。

本公开提供的信息感知装置300能够实现信息感知方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图4示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如信息感知方法。例如，在一些实施例中，信息感知方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的信息感知方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息感知方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种信息感知方法，包括：

对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；

基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；

其中，所述第二信息用于进行所述车辆的行驶决策。

2.根据权利要求1所述的方法，其中，所述车辆采集的信息帧的数量为至少两帧，至少两帧所述信息帧包括所述M个第一障碍物的内容，所述基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，包括：

针对每一信息帧，在基于对所述信息帧感知处理得到的第一障碍物的第一信息，确定得到的所述第一障碍物中存在满足目标关联关系的至少两个障碍物的情况下，将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景，所述目标关联关系为所述N种关联关系中的任一关联关系；

基于所述至少两个障碍物的第一信息和所述目标关联关系，确定所述目标聚合场景的聚合属性信息和聚合区域信息，所述第二信息包括所述聚合属性信息和所述聚合区域信息。

3.根据权利要求2所述的方法，其中，所述基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，还包括：

基于所述聚合区域信息，对基于所述至少两帧所述信息帧聚合成的目标聚合场景进行时序聚合，得到所述目标聚合场景下障碍物的轨迹信息；

其中，所述第二信息还包括所述轨迹信息。

4.根据权利要求2或3所述的方法，其中，所述基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，还包括：

在对第一信息帧感知处理得到的第一障碍物中包括第一目标障碍物的情况下，若所述第一目标障碍物的位置位于所述聚合区域信息表示的区域范围内，且所述第一目标障碍物的类别属于所述目标聚合场景的场景关注类别，将所述第一目标障碍物聚合到所述目标聚合场景下；

基于所述第一目标障碍物的第一信息，更新所述聚合属性信息；

其中，所述第一目标障碍物为对第二信息帧进行感知处理未感知到的障碍物，所述第二信息帧为至少两个信息帧中时序位于所述第一信息帧之前的信息帧。

5.根据权利要求2所述的方法，其中，所述第一信息包括第一障碍物的速度和位置，所述将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景之前，还包括以下至少一项：

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第一预设阈值，第一类别的障碍物和第二类别的障碍物的速度均大于零，且速度差小于或等于第二预设阈值，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第三预设阈值，第一类别的障碍物和第二类别的障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第三类别的障碍物的情况下，若第一类别的障碍物与第三类别的障碍物之间的距离小于或等于第四预设阈值，第一类别的障碍物的速度在预设速度范围内，且第三类别的障碍物的速度为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第二类别的至少两个障碍物的情况下，若第二类别的至少两个障碍物中每相邻的两个障碍物之间的距离均小于或等于第五预设阈值，且第二类别的至少两个障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

其中，第一类别指示障碍物为行人，第二类别指示障碍物为非机动车，第三类别指示障碍物为机动车。

6.根据权利要求1所述的方法，所述基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息之后，还包括：

在对所述车辆采集的信息帧进行感知处理得到的第二目标障碍物的信息与所述第二信息不匹配的情况下，输出异常信息；

其中，所述第二目标障碍物为所述目标聚合场景中的障碍物，所述异常信息用于指示所述目标聚合场景中关于所述第二目标障碍物的异常情况，所述异常信息用于进行所述车辆的行驶决策。

7.一种信息感知装置，包括：

感知处理模块，用于对车辆采集的信息帧进行感知处理，得到所述车辆对应的M个第一障碍物一一对应的M个第一信息，所述信息帧用于表征所述车辆行驶场景下所述车辆周边的障碍物内容，M为大于1的整数；

聚合处理模块，用于基于所述M个第一信息和预设聚合场景下障碍物的N种关联关系，对所述M个第一障碍物进行聚合处理，得到目标聚合场景的第二信息，所述目标聚合场景包括所述M个第一障碍物中相互关联的至少两个障碍物，N为正整数；

其中，所述第二信息用于进行所述车辆的行驶决策。

8.根据权利要求7所述的装置，其中，所述车辆采集的信息帧的数量为至少两帧，至少两帧所述信息帧包括所述M个第一障碍物的内容，所述聚合处理模块包括：

第一聚合单元，用于针对每一信息帧，在基于对所述信息帧感知处理得到的第一障碍物的第一信息，确定得到的所述第一障碍物中存在满足目标关联关系的至少两个障碍物的情况下，将满足所述目标关联关系的至少两个障碍物聚合成目标聚合场景，所述目标关联关系为所述N种关联关系中的任一关联关系；

确定单元，用于基于所述至少两个障碍物的第一信息和所述目标关联关系，确定所述目标聚合场景的聚合属性信息和聚合区域信息，所述第二信息包括所述聚合属性信息和所述聚合区域信息。

9.根据权利要求8所述的装置，其中，所述聚合处理模块还包括：

第二聚合单元，用于基于所述聚合区域信息，对基于所述至少两帧所述信息帧聚合成的目标聚合场景进行时序聚合，得到所述目标聚合场景下障碍物的轨迹信息；

其中，所述第二信息还包括所述轨迹信息。

10.根据权利要求8或9所述的装置，其中，所述聚合处理模块还包括：

第三聚合单元，用于在对第一信息帧感知处理得到的第一障碍物中包括第一目标障碍物的情况下，若所述第一目标障碍物的位置位于所述聚合区域信息表示的区域范围内，且所述第一目标障碍物的类别属于所述目标聚合场景的场景关注类别，将所述第一目标障碍物聚合到所述目标聚合场景下；

更新单元，用于基于所述第一目标障碍物的第一信息，更新所述聚合属性信息；

其中，所述第一目标障碍物为对第二信息帧进行感知处理未感知到的障碍物，所述第二信息帧为至少两个信息帧中时序位于所述第一信息帧之前的信息帧。

11.根据权利要求8所述的装置，其中，所述第一信息包括第一障碍物的速度和位置，所述装置还包括确定模块，所述确定模块具体用于：

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第一预设阈值，第一类别的障碍物和第二类别的障碍物的速度均大于零，且速度差小于或等于第二预设阈值，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第二类别的障碍物的情况下，若第一类别的障碍物与第二类别的障碍物之间的距离小于或等于第三预设阈值，第一类别的障碍物和第二类别的障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第一类别的障碍物和第三类别的障碍物的情况下，若第一类别的障碍物与第三类别的障碍物之间的距离小于或等于第四预设阈值，第一类别的障碍物的速度在预设速度范围内，且第三类别的障碍物的速度为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

在得到的第一障碍物中包括第二类别的至少两个障碍物的情况下，若第二类别的至少两个障碍物中每相邻的两个障碍物之间的距离均小于或等于第五预设阈值，且第二类别的至少两个障碍物的速度均为零，则确定得到的第一障碍物中存在满足目标关联关系的至少两个障碍物；

其中，第一类别指示障碍物为行人，第二类别指示障碍物为非机动车，第三类别指示障碍物为机动车。

12.根据权利要求7所述的装置，还包括：

输出模块，用于在对所述车辆采集的信息帧进行感知处理得到的第二目标障碍物的信息与所述第二信息不匹配的情况下，输出异常信息；

其中，所述第二目标障碍物为所述目标聚合场景中的障碍物，所述异常信息用于指示所述目标聚合场景中关于所述第二目标障碍物的异常情况，所述异常信息用于进行所述车辆的行驶决策。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

16.一种自动驾驶车辆，包括如权利要求13所述的电子设备。

Images