CN113920735A - 一种信息融合方法、装置、电子设备及存储介质 - Google Patents
一种信息融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113920735A CN113920735A CN202111225866.9A CN202111225866A CN113920735A CN 113920735 A CN113920735 A CN 113920735A CN 202111225866 A CN202111225866 A CN 202111225866A CN 113920735 A CN113920735 A CN 113920735A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- information
- obstacles
- redundant
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种信息融合方法、装置、电子设备及存储介质。该方法包括:分别接收车端和路侧端发送的障碍物信息;其中,障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例的技术方案,可以减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
Description
技术领域
本发明实施例涉及信息处理技术领域,尤其涉及一种信息融合方法、装置、电子设备及存储介质。
背景技术
车路协同系统基于无线通信、传感探测等技术获取车辆和道路信息,通过车路通信进行交互和共享,实现车辆和基础设施之间智能协同与配合,达到优化利用系统资源的目标,而对车端信息和路侧信息之间进行信息融合成为必不可少的步骤。
目前,同一障碍物在车端和路侧端采集到的信息可能存在偏差,为避免融合信息过程中,将一个障碍物的车端信息和路侧信息误确定为是不同障碍物的信息,或者出现相同位置出现有叠加的障碍物的情况,需去除冗余障碍物信息;现有技术中,将障碍物列表中的每一个障碍物分别作为选中障碍物,依次将选中障碍物信息与全部的剩余各障碍物信息进行比较,以确定出冗余障碍物信息。但是,当检测到的障碍物较多时,采用现有技术的信息融合方式工作量较大,确定冗余障碍物的效率低,实施过程较复杂。
发明内容
本发明实施例提供了一种信息融合方法、装置、电子设备及存储介质,以实现减少信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
第一方面,本发明实施例提供了一种信息融合方法,包括:
分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;
基于各障碍物的所述位置信息,将各所述障碍物投影至由至少两个单元格组成的预设网格中;
分别针对各所述单元格内的障碍物进行相互比较,确定出各所述单元格中的冗余障碍物,并基于所述预设网格中除去所述冗余障碍物之外的障碍物的障碍物信息生成融合信息。
第二方面,本发明实施例还提供了一种信息融合装置,该装置包括:
接收障碍物信息模块,用于分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;
投影障碍物模块,用于基于各障碍物的所述位置信息,将各所述障碍物投影至由至少两个单元格组成的预设网格中;
确定冗余障碍物模块,用于分别针对各所述单元格内的障碍物进行相互比较,确定出各所述单元格中的冗余障碍物,并基于所述预设网格中除去所述冗余障碍物之外的障碍物的障碍物信息生成融合信息。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的信息融合方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例所提供的信息融合方法。
本发明实施例所提供的一种信息融合方法,分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;通过分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,以确定出全部障碍物中存在的冗余障碍物;避免了通过在全部障碍物中分别进行两两比较的方式确定,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
此外,本发明所提供的一种信息融合装置、电子设备及存储介质与上述方法对应,具有同样的有益效果。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种信息融合方法的流程图;
图2为本发明实施例提供的一种障碍物投影至预设网格的示意图;
图3为本发明实施例提供的另一种信息融合方法的流程图;
图4为本发明实施例提供的另一种障碍物投影至预设网格的示意图;
图5为本发明实施例提供的一种感知融合过程整体流程图;
图6为本发明实施例提供的一种感知融合算法的流程图;
图7为本发明实施例提供的一种信息融合装置的结构图;
图8为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图1为本发明实施例提供的一种信息融合方法的流程图。该方法可以由信息融合装置来执行,该装置可以通过软件和/或硬件来实现,可配置于终端和/或服务器中来实现本发明实施例中的信息融合方法。
如图1所示,本实施例的方法具体可包括:
S101、分别接收车端和路侧端发送的障碍物信息。
在本发明实施例中,将需要确定自身周围的障碍物的车辆称为自车,将与自车距离在预设距离内的相邻的车辆称为邻车。自车、邻车和路侧设备之间可进行数据通信,以将车端和路侧端部署的感知设备采集到的障碍物信息进行信息交互。
具体的,感知设备包括车载激光雷达、毫米波雷达、超声波雷达和图像采集器等设备;障碍物包括车辆、行人、骑行者或其他交通参与者以及交通事件标志、道路标识等;障碍物信息包括障碍物的类型、运行速度、位置、尺寸和加速度等信息。
在具体实施中,自车中部署的车端服务器分别接收车端和路侧端发送的障碍物信息。其中,障碍物信息包括障碍物的位置信息;需要说明的是,当自车未检测到障碍物信息时,可仅接收邻车端和路侧端发送的障碍物信息。
可选的,分别接收车端和路侧端发送的障碍物信息,包括:基于接口调用的方式,接收自车端发送的障碍物信息;基于车用无线通信方式,接收邻车端和路侧端发送的障碍物信息。具体的,自车的车端服务器可通过调用通讯接口获取自车上部署的感知设备采集到的障碍物信息,障碍物信息格式为RSM格式。自车的车端服务器还可通过蓝牙和无线局域网的方式接收路侧端发送的障碍物信息,也可通过车用无线通信技术(vehicle to X,V2X)接收路侧端发送的障碍物信息。
S102、基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中。
具体的,基于接收到的路侧端和车端发送的障碍物的位置信息,确定出各障碍物的位置关系,将各障碍物的位置关系投影至预设网格中,该预设网格由至少两个单元格组成。示例性的,预设网格可为4×4矩阵单元格,可将预设网格的中心点设定为自车的位置,基于各障碍物与自车的位置关系,将各障碍物投影至预设网格中。
图2为本发明实施例提供的一种障碍物投影至预设网格的示意图;如图2所示,可基于接收到的障碍物的尺寸信息,生成对应的包围框表示各障碍物。具体的,包围框的形状可为矩形、圆形或障碍物的轮廓形状,对此本发明实施例不做限定。示例性的,可基于障碍物尺寸信息中确定出障碍物的长和宽,基于长和宽生成用于反映障碍物形状、当前运行方向的矩形包围框。
基于各障碍物的位置关系,确定对应的包围框在预设网格中的位置。需要说明的是,路侧端和车端发送的障碍物的位置信息需为在同一个坐标系下的位置信息,便于准确地确定出各障碍物之间的位置关系。示例性的,可将接收到的车端发送的障碍物的位置信息和路侧端发送的障碍物的位置信息均转换至世界坐标系。
进一步的,基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中,包括:将自车所在坐标系确定为标准坐标系,确定各障碍物在标准坐标系下的标准位置信息;基于各障碍物的标准位置信息,将各障碍物投影至至少两个单元格组成的预设网络中。具体的,若接收到自车端检测到的障碍物信息,可将自车所在坐标系确定为标准坐标系,将路侧端和邻车端发送的障碍物的位置信息转换至标准坐标系下,生成对应的标准位置信息,基于标准位置信息确定各障碍物之间的位置关系,将各障碍物投影至预设网格中。
S103、分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。
在具体实施中,可将单元格中包含的各障碍物进行比较,分别确定出各单元格的冗余障碍物,剔除掉各单元格中的冗余障碍物后,基于剩余障碍物的障碍物信息生成融合信息。
具体的,可遍历各个单元格,依次确定出冗余障碍物;也可对两个或两个以上的单元格同时进行比较,分别确定出两个或两个以上的单元格的冗余障碍物,从而使确定预设网格中的冗余障碍物的过程更高效、省时。
可选的,可通过基于非极大化抑制算法,确定出各单元格中的冗余障碍物。具体的,基于非极大化抑制算法,确定出各单元格中的冗余障碍物,包括:将各单元格中的障碍物分别设为选中障碍物,依次计算选中障碍物分别与单元格中除去选中障碍物之外的障碍物之间的交并比值,确定交并比值是否大于预设比值;如果是,则将选中障碍物和当前比较障碍物中置信度最小的障碍物确定为冗余障碍物。
进一步的,可按照单元格中各障碍物的置信度从大到小的顺序,依次确定选中障碍物。首先将置信度最大的障碍物确定为选中障碍物,分别计算选中障碍物与单元格中的其它障碍物的交并比值,当交并比值大于预设比值时,可将当前比较障碍物直接确定为冗余障碍物。示例性的,交并比值的取值范围为[0-1],可设定预设比值为0.7,当交并比值大于0.7时,说明在选中障碍物和当前比较障碍物之间存在冗余障碍物。本领域技术人员可根据实际应用情况设定预设比值,本发明实施例对此不作限定。
本发明实施例所提供的一种信息融合方法,分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;通过分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
实施例二
图3为本发明实施例提供的另一种信息融合方法的流程图。本实施例以上述各技术方案为基础进行优化。可选的,障碍物信息包括车端障碍物信息和路侧端障碍物信息,在分别接收车端和路侧端发送的障碍物信息之后,还包括:确定车端障碍物信息的第一时间戳和路侧端障碍物信息的第二时间戳;确定第一时间戳和第二时间戳的时间差值是否大于预设时间阈值;如果是,则剔除车端障碍物信息和路侧端障碍物信息。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图3所示,本实施例的方法具体可包括:
S201、分别接收车端和路侧端发送的障碍物信息。
可选的,障碍物信息包括车端障碍物信息和路侧端障碍物信息,为保证当前接收到的障碍物信息为同一时刻下路侧端和车端采集到的障碍物信息,在分别接收车端和路侧端发送的障碍物信息之后,还包括:确定车端障碍物信息的第一时间戳和路侧端障碍物信息的第二时间戳;确定第一时间戳和第二时间戳的时间差值是否大于预设时间阈值;如果是,则剔除车端障碍物信息和路侧端障碍物信息。
具体的,考虑到车端和路侧端对信息传输、处理过程需要的时间不同,可将当前允许的路侧端和车端传输、处理过程产生的最大时间差确定为预设时间阈值,当第一时间戳和第二时间戳的时间差值小于或等于预设时间阈值时,说明车端障碍物信息和路侧端障碍物信息为同时刻采集到的信息,可通过采集到的车端障碍物信息和路侧端障碍物信息确定融合信息。当第一时间戳和第二时间戳的时间差值大于预设时间阈值,则说明当前产生的时间差由路侧端和车端采集时间不同导致的,则需提出车端障碍物信息和路侧端障碍物信息,需要重新采集,直到获取到的车端障碍物信息和路侧端障碍物信息的时间戳之间的时间差小于或等于预设时间阈值。示例性的,可将预设时间阈值设定为200毫秒。
S202、基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中。
S203、分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物。
S204、剔除各单元格中的冗余障碍物,按照预设规则合并单元格并更新预设网格。
在本发明实施例中,对于已经确定出的冗余障碍物,可直接剔除。为防止比较过程中避免遗漏掉在两个单元格之间的障碍物,可扩大比较区域再次确定是否存在冗余障碍物,以提高确定过程的准确性。
具体的,可按照预设规则合并单元格,并基于合并后的单元格更新预设网格。示例性的,预设规则可为将当前单元格和与当前单元格相邻的单元格进行合并,相邻单元格可为上相邻、下相邻、左相邻和右相邻中的至少一种单元格。
图4为本发明实施例提供的另一种障碍物投影至预设网格的示意图,如图4所示,可将选中的当前单元格的右侧相邻单元格、下一行同列单元格、以及下一行右侧行单元格作为新的合并后的单元格,并根据合并后的单元格更新预设网格。
S205、分别针对合并后的单元格内的障碍物进行相互比较,确定出各合并后的单元格中的冗余障碍物,基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。
具体的,对于合并后的各单元格均通过障碍物比较进行二次融合,确定出各合并后的单元格中的冗余障碍物,可再次将冗余障碍物剔除,基于剔除冗余障碍物之后的障碍物信息生成融合信息。
本发明实施例能够避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息;确保获取同时刻车端和路侧端采集到的障碍物信息进行比较,并通过二次融合的方式提高确定冗余障碍物的准确性。
实施例三
上文中对于信息融合方法对应的实施例进行了详细描述,为了使本领域技术人员进一步清楚本方法的技术方案,下文中给出具体的应用场景。
本发明实施例可应用于后车在运行过程中前方的障碍物被前车遮挡,后车可以根据前车的感知信息进行预警计算的场景;也可应用于车端检测到的障碍物点云较为稀疏,通过路侧设备进行感知融合以确定完整的障碍物点云的场景。
图5为本发明实施例提供的一种感知融合过程整体流程图;如图5所示,感知融合过程包括以下步骤:
1、服务器通过Vbox通信模块与各邻车端和路侧端进行通信,接收来自车端和路侧端的RSM(Response Service Message,响应服务)消息或者SSM(Sync Status Messaging,同步状态)消息,对接收到的消息进行解码操作,通过接口调用的方式获取自车感知消息,均添加至RSM消息队列中。
2、可预先设定定时器,用于定时读取RSM消息队列中的消息,示例性的,可设定每100毫秒读取依次消息。
3、判断从路侧端和车端得到的消息是否为同一时间段内的消息,以确保二者反映出同一时刻的障碍物信息,确保融合结果的准确性。
4、根据获取消息中的各障碍物的经纬度,计算出障碍物在世界坐标系下的的中心点坐标,将障碍物投影至世界坐标系中。
5、可对各障碍物按照置信度从大到小的顺序进行排序,对两个障碍物求其障碍物包围框角点坐标,基于包围框的角点坐标和非极大化抑制算法,确定出各单元格中的冗余障碍物。
图6为本发明实施例提供的一种感知融合算法的流程图;如图6所示,感知融合算法包括以下步骤:
1、消息的接收:自车消息通过接口调用的方式;邻车和路侧端的消息通过车用无线通信技术传输;可通过定时器设定获取消息的时间间隔为100毫秒,每隔100毫秒定时调用自车消息接口获取自车消息,同时读取消息队列里的消息。
2、对于自车未感知到障碍物,则可仅融合路侧端和邻车端的障碍物的感知信息;若自车检测到感知信息,需确保感知频率达到10hz,并可通过感知信息确定出障碍物的长宽高,中心点经纬度以及障碍物类别和置信度信息。
3.数据预处理
(1)时间同步
将车端和路侧端的消息通过secMark字段进行过滤,将空的障碍物信息从消息列表中剔除。通过secMark字段确定消息的时间戳,若车端消息和路侧端消息的时间戳的差值大于200毫秒则将其消息剔除。若小于200毫秒时,保存该消息。
(2)空间同步
通过RSM消息的refPos字段、pos字段和障碍物经纬度偏差计算障碍物的绝对经纬度坐标,将经纬度坐标根据refPos字段转化为以自车坐标系下的以米为单位的绝对坐标。基于绝对坐标将各障碍物投影至鸟瞰图中,并将各单元格对应的障碍物的信息分别写入至障碍物列表中。
(3)多源融合
判断用于存储邻车和路侧端的感知消息的消息队列是否为空,若消息队列为空或者消息时间太久远而导致丢弃,则不需处理路侧和邻车的消息,直接处理自车的信息即可。当没有自车的融合消息,即接口调用返回-1时,则融合邻车和路侧的消息。若既没有邻车和路侧消息,也没有自车消息,则最后融合后的消息的交通参与者个数为0。
可对各障碍物按照置信度从大到小的顺序进行排序,按照排序每次选两个障碍物求其障碍物包围框角点坐标,基于包围框的角点坐标和非极大化抑制算法,确定出各单元格中的冗余障碍物。具体的,依次取两个障碍物包围框求其之间的IOU值,若IOU值大于阈值,则舍弃置信度较小的包围框,保留较大包围框,实现预设网格中各单元格中的障碍物的第一次融合。示例性的,阈值可设定为0.1。
基于融合后的列表进行第二次融合,更改二次融合的单元格,可扩展为当前不为空的单元格、右侧相邻单元格、下一行同列单元格、以及下一行右侧行相邻单元格,重新执行上述步骤,将障碍物列表中最终剩余的障碍物的消息转化为RSM消息进行传输。
本发明实施例能够避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息;确保获取同时刻车端和路侧端采集到的障碍物信息进行比较,并通过二次融合的方式提高确定冗余障碍物的准确性。
实施例四
图7为本发明实施例提供的一种信息融合装置的结构图,该装置用于执行上述任意实施例所提供的信息融合方法。该装置与上述各实施例的信息融合方法属于同一个发明构思,在信息融合装置的实施例中未详尽描述的细节内容,可以参考上述信息融合方法的实施例。该装置具体可包括:
接收障碍物信息模块10,用于分别接收车端和路侧端发送的障碍物信息;其中,障碍物信息包括障碍物的位置信息;
投影障碍物模块11,用于基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;
确定冗余障碍物模块12,用于分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。
在本发明实施例中任一可选技术方案的基础上,可选地,该装置还包括:
剔除冗余障碍物模块,用于剔除各单元格中的冗余障碍物,按照预设规则合并单元格并更新预设网格;分别针对合并后的单元格内的障碍物进行相互比较,确定出各合并后的单元格中的冗余障碍物。
在本发明实施例中任一可选技术方案的基础上,可选地,确定冗余障碍物模块12,包括:
确定冗余障碍物单元,用于基于非极大化抑制算法,确定出各单元格中的冗余障碍物。
在本发明实施例中任一可选技术方案的基础上,可选地,确定冗余障碍物单元包括:
确定交并比值单元,用于将各单元格中的障碍物分别设为选中障碍物,依次计算选中障碍物分别与单元格中除去选中障碍物之外的障碍物之间的交并比值,确定交并比值是否大于预设比值;如果是,则将选中障碍物和当前比较障碍物中置信度最小的障碍物确定为冗余障碍物。
在本发明实施例中任一可选技术方案的基础上,可选地,投影障碍物模块11,包括:
确定标准坐标系单元,用于将自车所在坐标系确定为标准坐标系,确定各障碍物在标准坐标系下的标准位置信息;基于各障碍物的标准位置信息,将各障碍物投影至至少两个单元格组成的预设网络中。
在本发明实施例中任一可选技术方案的基础上,可选地,障碍物信息包括车端障碍物信息和路侧端障碍物信息,该装置还包括:
确定时间戳模块,用于在分别接收车端和路侧端发送的障碍物信息之后,确定车端障碍物信息的第一时间戳和路侧端障碍物信息的第二时间戳;确定第一时间戳和第二时间戳的时间差值是否大于预设时间阈值;如果是,则剔除车端障碍物信息和路侧端障碍物信息。
在本发明实施例中任一可选技术方案的基础上,可选地,接收障碍物信息模块10,包括:
接口调用单元,用于基于接口调用的方式,接收自车端发送的障碍物信息;基于车用无线通信方式,接收邻车端和路侧端发送的障碍物信息。
本发明实施例所提供的一种信息融合装置,能够实现如下方法:分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;通过分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
值得注意的是,上述信息融合装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例五
图8为本发明实施例提供的一种电子设备的结构图。图8示出了适于用来实现本发明实施例实施方式的示例性电子设备20的框图。显示的电子设备20仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,电子设备20以通用计算设备的形式表现。电子设备20的组件可以包括但不限于:一个或者多个处理器或者处理单元201,系统存储器202,连接不同系统组件(包括系统存储器202和处理单元201)的总线203。
总线203表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备20典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备20访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器202可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)204和/或高速缓存存储器205。电子设备20可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统206可以用于读写不可移动的、非易失性磁介质。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线203相连。存储器202可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块207的程序/实用工具208,可以存储在例如存储器202中,这样的程序模块207包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块207通常执行本发明所描述的实施例中的功能和/或方法。
电子设备20也可以与一个或多个外部设备209(例如键盘、指向设备、显示器210等)通信,还可与一个或者多个使得用户能与该电子设备20交互的设备通信,和/或与使得该电子设备20能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口211进行。并且,电子设备20还可以通过网络适配器212与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器212通过总线203与电子设备20的其它模块通信。应当明白,可以结合电子设备20使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元201通过运行存储在系统存储器202中的程序,从而执行各种功能应用以及数据处理。
本发明所提供的一种电子设备,能够实现如下方法:分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;通过分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
实施例六
本发明实施例提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种信息融合方法,该方法包括:
分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;基于各障碍物的位置信息,将各障碍物投影至由至少两个单元格组成的预设网格中;通过分别针对各单元格内的障碍物进行相互比较,确定出各单元格中的冗余障碍物,避免了将各个障碍物分别与障碍物列表中的其它障碍物进行比较,大大减少了确定冗余障碍物过程的工作量,并基于预设网格中除去冗余障碍物之外的障碍物的障碍物信息生成融合信息。本发明实施例减少了信息融合过程的工作量,能够快速、有效地去除冗余障碍物,保证融合信息的准确性和有效性。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的信息融合方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种信息融合方法,其特征在于,包括:
分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;
基于各障碍物的所述位置信息,将各所述障碍物投影至由至少两个单元格组成的预设网格中;
分别针对各所述单元格内的障碍物进行相互比较,确定出各所述单元格中的冗余障碍物,并基于所述预设网格中除去所述冗余障碍物之外的障碍物的障碍物信息生成融合信息。
2.根据权利要求1所述的方法,其特征在于,在所述确定出各所述单元格中的冗余障碍物之后,还包括:
剔除各所述单元格中的所述冗余障碍物,按照预设规则合并所述单元格并更新所述预设网格;
分别针对合并后的单元格内的障碍物进行相互比较,确定出各合并后的单元格中的冗余障碍物。
3.根据权利要求1所述的方法,其特征在于,所述确定出各所述单元格中的冗余障碍物,包括:
基于非极大化抑制算法,确定出各所述单元格中的冗余障碍物。
4.根据权利要求3所述的方法,其特征在于,所述基于非极大化抑制算法,确定出各所述单元格中的冗余障碍物,包括:
将各所述单元格中的障碍物分别设为选中障碍物,依次计算所述选中障碍物分别与所述单元格中除去所述选中障碍物之外的障碍物之间的交并比值,确定所述交并比值是否大于预设比值;
如果是,则将所述选中障碍物和当前比较障碍物中置信度最小的障碍物确定为所述冗余障碍物。
5.根据权利要求1所述的方法,其特征在于,所述基于各障碍物的所述位置信息,将各所述障碍物投影至由至少两个单元格组成的预设网格中,包括:
将自车所在坐标系确定为标准坐标系,确定各所述障碍物在所述标准坐标系下的标准位置信息;
基于各所述障碍物的标准位置信息,将各所述障碍物投影至至少两个单元格组成的所述预设网络中。
6.根据权利要求1所述的方法,其特征在于,所述障碍物信息包括车端障碍物信息和路侧端障碍物信息,在所述分别接收车端和路侧端发送的障碍物信息之后,还包括:
确定车端障碍物信息的第一时间戳和路侧端障碍物信息的第二时间戳;
确定所述第一时间戳和所述第二时间戳的时间差值是否大于预设时间阈值;
如果是,则剔除所述车端障碍物信息和所述路侧端障碍物信息。
7.根据权利要求1所述的方法,其特征在于,所述分别接收车端和路侧端发送的障碍物信息,包括:
基于接口调用的方式,接收自车端发送的障碍物信息;
基于车用无线通信方式,接收邻车端和路侧端发送的障碍物信息。
8.一种信息融合装置,其特征在于,包括:
接收障碍物信息模块,用于分别接收车端和路侧端发送的障碍物信息;其中,所述障碍物信息包括障碍物的位置信息;
投影障碍物模块,用于基于各障碍物的所述位置信息,将各所述障碍物投影至由至少两个单元格组成的预设网格中;
确定冗余障碍物模块,用于分别针对各所述单元格内的障碍物进行相互比较,确定出各所述单元格中的冗余障碍物,并基于所述预设网格中除去所述冗余障碍物之外的障碍物的障碍物信息生成融合信息。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的信息融合方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的信息融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225866.9A CN113920735B (zh) | 2021-10-21 | 2021-10-21 | 一种信息融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225866.9A CN113920735B (zh) | 2021-10-21 | 2021-10-21 | 一种信息融合方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113920735A true CN113920735A (zh) | 2022-01-11 |
CN113920735B CN113920735B (zh) | 2022-11-15 |
Family
ID=79242080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111225866.9A Active CN113920735B (zh) | 2021-10-21 | 2021-10-21 | 一种信息融合方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113920735B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584949A (zh) * | 2022-03-02 | 2022-06-03 | 阿波罗智能技术(北京)有限公司 | 车路协同确定障碍物属性值的方法、设备及自动驾驶车辆 |
CN114627442A (zh) * | 2022-01-30 | 2022-06-14 | 清华大学 | 基于后融合的车路协同三维目标检测方法及系统 |
CN115657684A (zh) * | 2022-12-08 | 2023-01-31 | 禾多科技(北京)有限公司 | 车辆路径信息生成方法、装置、设备和计算机可读介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101305695B1 (ko) * | 2012-08-06 | 2013-09-09 | 현대자동차주식회사 | 장애물 인식을 위한 분류기의 생성방법 |
CN104636763A (zh) * | 2014-12-01 | 2015-05-20 | 北京工业大学 | 一种基于无人驾驶车的道路与障碍物检测方法 |
US20180170327A1 (en) * | 2016-12-21 | 2018-06-21 | Hyundai Motor Company | Vehicle and method for controlling the same |
JP2018138404A (ja) * | 2017-02-24 | 2018-09-06 | マツダ株式会社 | 車両運転支援システム及び方法 |
CN109814112A (zh) * | 2019-01-15 | 2019-05-28 | 北京百度网讯科技有限公司 | 一种超声波雷达与激光雷达信息融合方法和系统 |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
US20190205666A1 (en) * | 2017-12-29 | 2019-07-04 | Automotive Research & Testing Center | Method for evaluating credibility of obstacle detection |
CN112277933A (zh) * | 2020-10-26 | 2021-01-29 | 广州小鹏自动驾驶科技有限公司 | 一种数据处理的方法和装置 |
CN112581612A (zh) * | 2020-11-17 | 2021-03-30 | 上汽大众汽车有限公司 | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 |
WO2021135901A1 (zh) * | 2019-12-31 | 2021-07-08 | 速感科技(北京)有限公司 | 封闭空间的地图处理方法、装置和可移动设备 |
CN113379805A (zh) * | 2021-08-12 | 2021-09-10 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种交通节点的多信息资源融合处理方法 |
-
2021
- 2021-10-21 CN CN202111225866.9A patent/CN113920735B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101305695B1 (ko) * | 2012-08-06 | 2013-09-09 | 현대자동차주식회사 | 장애물 인식을 위한 분류기의 생성방법 |
CN104636763A (zh) * | 2014-12-01 | 2015-05-20 | 北京工业大学 | 一种基于无人驾驶车的道路与障碍物检测方法 |
US20180170327A1 (en) * | 2016-12-21 | 2018-06-21 | Hyundai Motor Company | Vehicle and method for controlling the same |
JP2018138404A (ja) * | 2017-02-24 | 2018-09-06 | マツダ株式会社 | 車両運転支援システム及び方法 |
US20190205666A1 (en) * | 2017-12-29 | 2019-07-04 | Automotive Research & Testing Center | Method for evaluating credibility of obstacle detection |
CN109829386A (zh) * | 2019-01-04 | 2019-05-31 | 清华大学 | 基于多源信息融合的智能车辆可通行区域检测方法 |
CN109814112A (zh) * | 2019-01-15 | 2019-05-28 | 北京百度网讯科技有限公司 | 一种超声波雷达与激光雷达信息融合方法和系统 |
WO2021135901A1 (zh) * | 2019-12-31 | 2021-07-08 | 速感科技(北京)有限公司 | 封闭空间的地图处理方法、装置和可移动设备 |
CN112277933A (zh) * | 2020-10-26 | 2021-01-29 | 广州小鹏自动驾驶科技有限公司 | 一种数据处理的方法和装置 |
CN112581612A (zh) * | 2020-11-17 | 2021-03-30 | 上汽大众汽车有限公司 | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 |
CN113379805A (zh) * | 2021-08-12 | 2021-09-10 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种交通节点的多信息资源融合处理方法 |
Non-Patent Citations (2)
Title |
---|
岳元琛等: "基于改进栅格图的道路和障碍物检测算法研究", 《计算机与数字工程》 * |
张袅娜等: "基于激光雷达和摄像机融合的智能车障碍物识别方法", 《科学技术与工程》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114627442A (zh) * | 2022-01-30 | 2022-06-14 | 清华大学 | 基于后融合的车路协同三维目标检测方法及系统 |
CN114584949A (zh) * | 2022-03-02 | 2022-06-03 | 阿波罗智能技术(北京)有限公司 | 车路协同确定障碍物属性值的方法、设备及自动驾驶车辆 |
CN115657684A (zh) * | 2022-12-08 | 2023-01-31 | 禾多科技(北京)有限公司 | 车辆路径信息生成方法、装置、设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113920735B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113920735B (zh) | 一种信息融合方法、装置、电子设备及存储介质 | |
US11550623B2 (en) | Distributed system task management using a simulated clock | |
CN110910673B (zh) | 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端 | |
CN109635861B (zh) | 一种数据融合方法、装置、电子设备及存储介质 | |
CN113537362A (zh) | 一种基于车路协同的感知融合方法、装置、设备及介质 | |
CN111477030B (zh) | 车辆协同避险方法、车端平台、云端平台及存储介质 | |
CN113066289B (zh) | 驾驶辅助处理方法、装置、计算机可读介质及电子设备 | |
US11397610B2 (en) | Architecture for simulation clock-based simulation of distributed systems | |
CN111339996B (zh) | 静态障碍物的检测方法、装置、设备及存储介质 | |
CN114301938B (zh) | 车路协同车辆事件确定方法、相关装置及计算机程序产品 | |
US20200209861A1 (en) | Distributed system execution using a serial timeline | |
CN113011323A (zh) | 通行状态的获取方法、相关装置、路侧设备及云控平台 | |
CN114399916A (zh) | 一种数字孪生智慧城市交通的虚拟红绿灯控制提醒方法 | |
US20220092233A1 (en) | Architecture for configurable distributed system simulation timing | |
CN113722342A (zh) | 高精地图要素变更检测方法、装置、设备及自动驾驶车辆 | |
CN114116946A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114550116A (zh) | 一种对象识别方法和装置 | |
CN114333312A (zh) | 一种道路交通环境信息的展示方法、装置以及电子设备 | |
US11417114B2 (en) | Method and apparatus for processing information | |
CN117128979A (zh) | 一种多传感器融合方法、装置、电子设备及存储介质 | |
CN108401003B (zh) | 雷达数据的同步方法、装置、设备和计算机存储介质 | |
CN115061386B (zh) | 智能驾驶的自动化仿真测试系统及相关设备 | |
CN110440788B (zh) | 跨越单线道路的导航提示方法、服务器及计算机可读介质 | |
CN115112132A (zh) | 感知地图生成方法、装置及计算机可读存储介质 | |
US20220092232A1 (en) | Architecture for distributed system simulation with realistic timing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |