CN111275087A - 数据处理方法、装置、电子设备和机动车 - Google Patents
数据处理方法、装置、电子设备和机动车 Download PDFInfo
- Publication number
- CN111275087A CN111275087A CN202010046005.3A CN202010046005A CN111275087A CN 111275087 A CN111275087 A CN 111275087A CN 202010046005 A CN202010046005 A CN 202010046005A CN 111275087 A CN111275087 A CN 111275087A
- Authority
- CN
- China
- Prior art keywords
- hypothesis
- hypotheses
- target
- detection period
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供一种数据处理方法、装置、电子设备和机动车,该方法可包括:基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,该至少一个假设中的每个假设对应该多个传感器的一次量测数据,每个假设表示一次量测数据下的该检测对象的目标位置;在上一检测周期获取的历史假设中,确定与该至少一个假设均无派生关系的第一假设;将该历史假设中的该第一假设删除;在剩余的各个假设中确定目标假设,并输出该目标假设对应的目标位置。以此可以改善现有技术中在利用多假设跟踪算法进行数据处理时因联合概率树的更新而导致数据量过大的问题。
Description
技术领域
本申请涉及传感器数据处理技术领域,具体而言,涉及一种数据处理方法、装置、电子设备和机动车。
背景技术
目前,单一传感器检测目标物是无法满足自动驾驶要求的,车辆上通常需要安装多个传感器进行检测。但是,当一个检测对象同时落入多个不同传感器的检测区间时,就会面临多传感器的数据关联问题。数据关联的作用是将各传感器的量测数据与真实目标的位置、航迹进行关联匹配,从而实现多目标的准确跟踪和目标航迹的更新、维持。
在处理类似多传感器融合等较为复杂的数据关联处理方案的时候,现有技术会采用多假设(multi-hypothsis)思想进行数据关联与融合,会通过多假设跟踪算法(MultipleHypotheses Tracking,MHT)对当前时刻以前的所有确认量测数据集合进行研究。在多假设跟踪方法中,会将对目标的量测数据作为输入,然后通过优化算法进行数据关联,以形成最终的轨迹。
通常情况下,在采用多假设跟踪算法(MHT)的过程中会计算联合概率,并建立联合概率树的数据结构,但是,在自动驾驶这样需要进行动态检测的场景下,联合概率树会以实时更新的方式出现数据量呈几何级数增长的情况,较大的数据量会给自动驾驶场景下的计算造成困难。
发明内容
本申请实施例的目的在于提供一种数据处理方法、装置、电子设备和机动车,用以改善现有技术中在利用多假设跟踪算法进行数据处理时因联合概率树的更新而导致数据量过大的问题。
第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置;
在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设;
将所述历史假设中的所述第一假设删除;
在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
在上述方法中,在进行数据维护时,仅需关注包括当前检测周期在内的相邻检测周期的数据即可,在对当前检测周期的各个假设进行数据维护更新时,依靠上一检测周期中的历史假设与当前检测周期所生成的至少一个假设之间的关系就可以对数据进行更新维护。以此能够在保障关联假设的准确性的前提下,有效降低多假设跟踪算法的数据处理量,降低多假设关联的复杂度。在需要进行输出时,无需对整个联合概率树进行完整遍历就可以快速从剩余的各个假设中确定出目标假设,并输出目标假设对应的目标位置,从而快速对车辆移动场景下的多传感器的量测数据进行响应,有利于自动驾驶场景下的快速检测。
在可选的实施方式中,所述方法还包括:
在上一检测周期获取的历史假设中,确定与所述至少一个假设中的第二假设存在派生关系的第三假设,所述第二假设为所述至少一个假设中任一假设;
根据派生出所述第二假设的第三假设的当前处理权值,配置所述第二假设的处理权值。
通过上述实现方式,基于上一检测周期中与当前检测周期所生成的各个假设存在派生关系的假设进行权值配置,有利于在检测周期的更新过程中,基于处理权值快速对各个假设进行筛选,有利于快速确定出目标假设,迅速进行输出响应。
在可选的实施方式中,所述将所述历史假设中的所述第一假设删除,包括:
获取所述历史假设中的所述第一假设的当前处理权值;
对所述第一假设的当前处理权值进行更新;
根据当前的所有假设的处理权值排序结果,将所述第一假设删除。
通过上述实现方式,在第一假设的处理权值被更新过后再进行删除,有利于研发人员进行数据统计。
在可选的实施方式中,所述上一检测周期为初始检测周期时,在所述基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设之前,所述方法还包括:
对所述初始检测周期中的每个假设赋予所述初始检测周期下的当前处理权值。
通过上述实现方式,可以更快的对各个假设进行处理,有利于基于处理权值对各个检测周期的各个假设进行维护。
在可选的实施方式中,所述在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置,包括:
根据剩余的各个假设的处理权值排序结果,确定目标假设,并输出所述目标假设对应的目标位置。
通过上述实现方式可以快速确定出目标假设以及目标假设对应的目标位置。
在可选的实施方式中,在初始检测周期之前,所述方法还包括:
对所述多个传感器中的每个传感器进行标定;
在每个传感器完成标定后,对所述多个传感器进行联合标定。
通过上述实现方式有利于确定各个传感器的相对位置以及各传感器对应的检测对象之间的相对位置。
在可选的实施方式中,所述方法还包括:对所述目标位置中的指定的障碍物位置进行标记。
通过上述实现方式,有利于对车内人员进行驾驶提示,降低安全隐患。
第二方面,本申请实施例提供一种数据处理装置,所述装置包括:
生成模块,用于基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置;
确定模块,用于在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设;
更新模块,用于将所述历史假设中的所述第一假设删除;
所述确定模块,还用于在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
通过上述装置可以执行前述第一方面提供的方法,能够降低多假设处理方式下的数据维护难度,在需要进行数据输出时,无需对所有检测周期下的所有假设进行完全遍历,有利于提升数据处理效率。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括:
存储器;
处理器;
所述存储器上存储有所述处理器可执行的计算机程序,所述计算机程序被所述处理器执行时执行前述第一方面提供的方法。
第四方面,本申请实施例提供一种机动车,所述机动车包括前述第三方面提供的电子设备以及多个传感器。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为一种基于多假设思想的数据处理过程示意图。
图2为本申请实施例提供的一种机动车的结构示意图。
图3为本申请实施例提供的一种电子设备的结构框图。
图4为本申请实施例提供的一种数据处理方法的流程图。
图5为本申请实施例提供的一个实例中对于多假设的数据处理示意图。
图6为与图5所示实例对应的关于多假设的数据处理示意图。
图7为本申请实施例提供的另一个实例中对于多假设的数据处理示意图。
图8为与图7所示实例对应的对于多假设的数据处理示意图。
图9为本申请实施例提供的一种数据处理装置的功能模块框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
发明人经过研究发现,在利用多假设跟踪算法(Multiple HypothesesTracking,MHT)对传感器数据进行数据关联、数据融合时,会计算联合概率,并建立图1所示的联合概率树的结构。其中,每个联合概率对应图1中的一个假设,图1中的每个假设对应一种多传感器的检测结果。
图1中示出了对于多个传感器在经历四个检测周期的数据融合后的联合概率树结构。如图1所示,t1时刻还未接收到任何传感器的数据或还未开始进行计算,在t2时刻对应的这个检测周期,根据多个传感器的量测数据生成了P1、P2、P3三个假设。在t3时刻对应的检测周期接收到新的量测数据时,基于已经生成的P1、P2、P3这三个假设以及新的量测数据,继续生成了P4、P5、P6、P7、P8、P9、P10这七个假设,此时存储的联合概率树中有十个假设。随着传感器数据的不断更新,在t4时刻对应的检测周期继续生成了P11、P12、P13、P14这四个假设,在t5时刻对应的检测周期继续生成了P15、P16这两个假设,此时存储的联合概率树中存在十六个假设,需要对十六个假设进行维护。若在此时进行输出,需要对所有检测周期下的十六个假设进行遍历,从而根据遍历结果确定一个假设作为最优假设,以得到一次检测结果。
发明人经过研究发现,随着多个传感器的实时数据采集,检测周期的不断增长,持续对联合概率树进行数据更新、维护后,联合概率树的数据量会呈几何级增长,不仅数据维护困难,且根据数据量大的联合概率树遍历输出最终结果的耗时很长,不利于车辆自动驾驶场景下的实时动态检测。
有鉴于此,本申请提出了以下实施例以改善上述缺陷。
请参阅图2,图2为本申请实施例提供的一种机动车的示意图。
如图2所示,该机动车上安装了多个传感器,多个传感器作为环境感知设备,可以在车辆行驶过程中各自采集量测数据。在该机动车的两侧安装有一种激光雷达A,在该机动车的前端安装有毫米波雷达C以及另一种激光雷达B,在该机动车的前端还安装有图像采集装置D,在该机动车的后端安装有毫米波雷达C。其中,图2中的虚线区域可以表示各个传感器的检测区域(仅作为示意)。
受传感器种类、传感器的安装位置的影响,同一个车外目标有可能落入不同传感器的检测区域,从而使得同一车外目标在不同传感器下有各自的量测数据,再结合到传感器的数据采集方式、测量精度等影响,多个传感器对于同一个真实目标的描述方式不同,在车辆移动过程中,各个传感器的量测数据可能是关于真实的车外新目标的,也有可能是关于虚假目标的,还有可能是在历史量测数据中已有目标的累计误差下得到的。当机动车面临多样的检测目标的情况时和/或同一目标落入不同传感器的检测区域的情况时,各个传感器的量测数据需要进行关联、融合,在采用多假设跟踪算法进行数据关联、融合时,考虑了新接收到的每个量测数据可能来自于新目标、虚假目标或已有目标,所以会根据每次量测数据建立多个候选假设,在经历多个检测周期后从多个候选假设中确定一个最终假设作为输出,以实现对多目标的检测、跟踪,为机动车的驾驶行为决策提供参考依据。例如,进行多传感器数据融合后得到的结果,可以用于障碍物检测,也可以用于构建用于反映车辆外部环境的地图,还可以用于进行路径规划。
为了对各个传感器的量测数据进行处理,请参阅图3,本申请实施例还提供一种电子设备100,该电子设备100具有运算处理能力,可以接收多个传感器的量测数据,实现数据关联、数据融合。该电子设备100可以作为机动车的内部设备,安装在机动车上,该电子设备100也可以作为机动车的外部设备,与机动车进行数据交互。
如图3所示,该电子设备100可包括存储器101、处理器102、显示单元103、通信单元104,存储器101、处理器102、显示单元103、通信单元104之间直接或间接连接,以此实现数据交互。
其中,存储器101作为一种存储介质,可以用于存储多个传感器的量测数据,存储器101可以是但不限于:随机存取存储器(Random Access Memory,RAM),只读存储器(ReadOnly Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等,存储器101中存储有处理器102可以执行的计算机程序,当计算机程序被处理器102执行时执行本申请实施例提供的方法。存储器101还可以用于存储相邻两个检测周期的多个假设分别对应的多个检测结果。
处理器102具有运算处理能力,可以是一种集成电路芯片,可以是中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等通用处理器,还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立硬件组件搭建的处理器。处理器102可以执行本申请实施例提供的数据处理方法,本申请实施例中由电子设备100所执行的方法可应用于处理器102,或由处理器102实现。处理器102及其他可能的组件对于存储器101的访问可以在存储控制器的控制下进行。
显示单元103可用于显示文字、图像数据给用户进行参考,显示的内容可以是处理器102的一些中间处理结果,例如可以显示单个传感器的量测数据对应的目标检测结果,还可以显示目标假设对应的多传感器量测数据下的目标检测结果,也可以用于基于处理器102的处理结果显示构建出的环境地图等。显示单元103可以是液晶显示屏或触控显示屏。
通信单元104可以包括通信芯片、通信总线、通信接口等,电子设备100可通过通信芯片与外部设备进行数据交互,当电子设备100是机动车外部的设备时,可通过通信芯片接收机动车发送的各个传感器的量测数据,并向该机动车发送处理器102的处理结果。当电子设备100安装于机动车上时,电子设备100可通过通信总线、通信接口直接获取各个传感器的量测结果。
可以理解的是,图3所示的结构仅作为示意,在具体实施时,电子设备100可以有更多或更少的组件,或具有与图3所不同的配置,例如在一些实施例中,电子设备100的显示单元103可以省略,由机动车上安装的显示器代替电子设备100的显示单元103。在一些实施例中,电子设备100还可以包括扬声器,用于在接收到输出指令时,根据处理器102的处理结果输出一些语音提示消息。
请参阅图4,图4为本申请实施例提供的一种数据处理方法的流程图,该方法可以由前述的电子设备100或机动车执行。
如图4所示,该方法包括步骤S11-S14。
S11:基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置。
S12:在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设。
S13:将所述历史假设中的所述第一假设删除。
S14:在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
其中,多个传感器为同一机动车上安装的多个传感器,多个传感器包括但不限于毫米波雷达、16线激光雷达、4线激光雷达、摄像头中的至少两个传感器,其中,安装于不同位置的同类型传感器可以视作两个传感器。
在一个实例中,在每个检测周期,机动车上的多个传感器分别将对于检测对象的量测数据发送给电子设备,由于各个传感器之间的差异(例如检测精度、检测区域的差异),各个传感器的检测对象可能相同,也可能不同,检测对象的种类与数量与实际的传感器检测环境有关。检测周期的具体确定方式可以在生成假设之前根据各个传感器的采集频率确定。
电子设备在获取到多个传感器在当前检测周期中采集的检测对象的量测数据时,根据该次量测数据生成至少一个假设,该至少一个假设可以作为基于当前检测周期的量测数据派生出的新增假设。每个假设表示一次量测数据下的检测对象的目标位置。
每个假设所针对的检测对象可以有一个或多个,例如,一个假设对应的检测对象可以是人、垃圾桶、电线杆、外部车辆等障碍物,也可以是车道线、指示牌文字等标记物,具体的检测对象会根据实际的移动场景变化而改变。
每个假设所表示的目标位置可以包括障碍物所在的方向、障碍物与当前机动车之间的相对距离等。
为了便于对上述S11-S14的方案进行理解,将以图1所示的几个检测周期及每个检测周期生成的假设作为对比例进行说明。
请参阅图5,图5示出了在一个实例中采用上述S11-S14的方案对多个传感器的量测数据进行处理所得到的多假设示意图,在图5对应的实例中,检测周期、多个传感器的量测数据条件均与图1所示实例相同,t2时刻对应的检测周期记为第一检测周期(对应t1至t2这一时段),t3时刻对应的检测周期记为第二检测周期,t4时刻对应的检测周期记为第三检测周期,t5时刻对应的检测周期记为第四检测周期。
关于S11,在第三检测周期作为当前检测周期时,生成的至少一个假设包括P11、P12、P13、P14。
关于S12,在当前检测周期的上一检测周期(第二检测周期)获取的历史假设中,确定出的与该至少一个假设(P11、P12、P13、P14)均无派生关系的第一假设包括两类假设:过期假设(P1、P2、P3)和中断假设(P5、P7、P9、P10)。
在确定出第一假设后,执行S13,将历史假设中的第一假设(包括过期假设和中断假设)P1、P2、P3、P5、P7、P9、P10删除,得到当前检测周期对应的剩余的各个假设:P4、P6、P8、P11、P12、P13、P14。目标假设对应的目标位置将基于这些剩余的假设确定,无需对所有检测周期的所有假设进行遍历,降低了对于多假设的处理量。
在第三检测周期的基础上获取到多个传感器的新的量测数据后,可以跳转执行S11的步骤,以第四检测周期作为当前检测周期,生成的至少一个假设包括P15、P16,基于该至少一个假设(P15、P16)从上一检测周期(第三检测周期)的历史假设中确定的第一假设包括过期假设(P4、P6、P8)和中断假设(P11、P14)。将此时的第一假设P4、P6、P8、P11、P14删除后,得到的剩余的各个假设包括:P12、P13、P15、P16。在接收到输出请求时,目标假设对应的目标位置可以基于这些剩余的假设(P12、P13、P15、P16)确定,无需对所有检测周期的所有假设进行遍历,降低了对于多假设的处理量,一方面是可以降低相较于所有检测周期的数据处理总量,另一方面是有机会降低相较于单个历史检测周期的数据处理量。
在经过上述方法对于各个检测周期的假设进行处理后,各个检测周期分别对应的剩余的假设结果如图6所示。在图6中,原本以图1所示的联合概率树结构存储的各个假设,转变为扁平化的数据关联结构下的假设,随着检测周期的不断增长更新,无需再向图1所示的方案那样基于整个联合概率树的数据关联关系对整个联合概率树进行数据维护、数据遍历。
在基于本申请实施例提供的上述方法进行数据维护时,仅需关注包括当前检测周期在内的相邻检测周期的数据即可,在对当前检测周期的各个假设进行数据维护更新时,仅依靠上一检测周期中的历史假设与当前检测周期所生成的至少一个假设之间的关系就可以对数据进行更新维护,可以在保障关联假设的准确性的前提下,有效降低多假设跟踪算法的数据处理量,降低多假设关联的复杂度,降低算法处理难度。在需要进行输出时,根据剩余的各个假设就可以快速确定出目标假设,并得到相应的检测对象的目标位置,不再需要遍历可靠度较低的第一假设,有利于快速根据多个传感器的量测数据进行响应,能够较好的应用于自动驾驶场景。此外,通过上述方法,在需要进行输出时,可以降低过期数据、无效数据对于实时计算所带来的误差累计干扰,实现了鲁棒性较强的多传感器融合检测。
其中,在本申请实施例中,在生成每个假设时,可以基于关联概率值和检测的单射对应条件形成假设,每个假设可对应一种关于多检测对象的多传感器检测结果,每个假设可以表现为各个检测对象的位置。
在可选的实施方式中,为了更快的对各个假设进行处理,可以在每个检测周期生成假设时对生成的假设配置处理权值,并随着检测周期的不断更新,为各个假设的处理权值进行更新,从而基于处理权值对各个假设进行维护。因此,在“上一检测周期”为初始检测周期时,在执行上述S11之前,上述数据处理方法还可以包括步骤S10。
S10:对所述初始检测周期中的每个假设赋予所述初始检测周期下的当前处理权值。
为了便于理解,仍基于前述图5或图6所示的各个假设(P1-P16)、各个检测周期(第一检测周期至第四检测周期)进行说明,第一检测周期可以作为初始检测周期,对于初始检测周期下生成的各个假设(P1、P2、P3),可以配置该初始检测周期下的当前处理权值,初始检测周期下的处理权值可以记为初始权值,例如,初始权值可以为0或其他值。
作为一种可选的实施方式,在“上一检测周期”的历史假设具备处理权值的情况下,在执行S11之后,上述数据处理方法还可以包括步骤S21-S22。
S21:在上一检测周期获取的历史假设中,确定与所述至少一个假设中的第二假设存在派生关系的第三假设,所述第二假设为所述至少一个假设中任一假设。
可选地,在确定出与所述至少一个假设中的第二假设存在派生关系的第三假设后,还可以基于该第三假设的历史处理权值对该第三假设的处理权值进行更新。例如,可以在第三假设的历史处理权值的基础上,以第一权值作为增幅对将第三假设的当前处理权值进行更新。
S22:根据派生出所述第二假设的第三假设的当前处理权值,配置所述第二假设的处理权值。
其中,可以根据派生出所述第二假设的第三假设的当前处理权值,在第三假设的当前处理权值的基础上,以第二权值作为增幅对第二假设的处理权值进行配置。
其中,第二权值的数值大于第一权值。作为一种实现方式,第二权值可以是第一权值的两倍。即,若上一检测周期中第三假设的当前处理权值为x(x可以是0或其他任意值),则当前检测周期中该第三假设的处理权值可以被更新为x+a,当前检测周期中第二假设的处理权值被配置为(x+a)+2a。可以理解的是,第二权值也可以理解为x+(3a),即可以直接根据第三假设的历史处理权值对第二假设的处理权值进行配置。
在一个实例中,如图7所示,初始检测周期中的各个假设(P1、P2、P3)的处理权值为0,在第二检测周期作为当前检测周期时,P4、P5、P6、P7、P8、P9、P10这7个假设中的任一假设都可以作为第二假设,与这些第二假设存在派生关系的第三假设为P1、P2、P3,根据P1、P2、P3在第一检测周期的处理权值0对当前检测周期中生成的至少一个假设中的每个第二假设进行权值配置,第二假设的处理权值被配置为6,且第三假设的处理权值被更新为2。
通过上述实现方式,可以基于上一检测周期中与当前检测周期所生成的各个假设存在派生关系的假设进行权值配置,从而有利于在检测周期的更新过程中,基于处理权值快速对各个假设进行筛选,有利于快速确定出目标假设,迅速对多个传感器的量测数据进行响应。
作为一种实现方式,在“上一检测周期”的历史假设具备处理权值的情况下,上述S13可以包括S131-S133。
S131:获取所述历史假设中的所述第一假设的当前处理权值。
S132:对所述第一假设的当前处理权值进行更新。
S133:根据当前的所有假设的处理权值排序结果,将所述第一假设删除。
请参阅图7和图8,第一假设可以包括过期假设和中断假设。
过期假设是指:不属于由当前检测周期的相邻检测周期(上一检测周期)直接生成的假设。例如,对于t4时刻对应的第三检测周期而言,P1、P2、P3虽然可以被保留在第二检测周期中,但由于并非第二检测周期直接生成的假设,因此P1、P2、P3作为过期假设。对于过期假设,可以保留原有的处理权值,例如在第三检测周期时,确定出第一假设中的过期假设时,可以将过期假设的原有处理权值作为当前处理权值。
中断假设是指:属于当前检测周期的相邻检测周期(上一检测周期)直接生成的假设,但与当前检测周期生成的至少一个假设中的任意假设均无派生关系的假设。例如,对于t4时刻对应的第三检测周期而言,P5、P7、P9、P10虽然是由第二检测周期直接生成的假设,但是与第三检测周期中生成的P11、P12、P13、P14中任一个假设均没有派生关系,因此,P5、P7、P9、P10作为中断假设。
作为一种实现方式,对于中断假设,可以以历史假设中这些中断假设的当前处理权值为基础,以第三权值对中断假设的处理权值进行配置,从而完成对于第一假设在当前检测周期下的权值更新。
例如,若这些第一假设中的中断假设和过期假设在上一检测周期的处理权值为y,则第一假设中的中断假设在当前检测周期中的处理权值可以被更新为y-5a,第一假设中的过期假设在当前检测周期中的处理权值可以保持为y。在图7中,以第三检测周期作为当前检测周期时,上一检测周期中第一假设的处理权值是2或6,在经过权值更新后,第一假设中的部分假设的处理权值可以继续保持为2,另一部分假设的处理权值被更新为-4(即,6-5*2)。
当完成包含当前检测周期直接生成的至少一个假设的权值配置,以及对上一检测周期的所有假设在当前检测周期下的权值更新过程后,可以根据当前的所有假设的处理权值排序结果,将处理权值排序结果中权值最大的两类假设保留,将权值最大的两类假设以外的所有假设删除(包括第一假设)。
通过上述实现方式,基于不同的权值更新方式对先对第一假设进行权值更新,再基于权值更新后的权值排序结果对第一假设进行删除,有利于在后续进行统计分析时,得知整个传感器数据处理过程中,哪些假设所占的比例较高,可以为制定假设生成策略的工作人员提供参考数据,从而帮助研发人员对生成假设的算法进行优化。
在可选的实施方式中,上述S14可以包括:根据剩余的各个假设的处理权值排序结果,确定目标假设,并输出所述目标假设对应的目标位置。
请继续参阅图8,在第三检测周期作为当前检测周期时,当第一假设被删除后,且当前检测周期内剩余的各个假设具备处理权值的情况下,在第三检测周期中剩余的各个假设为P4、P6、P8、P11、P12、P13、P14,权值排序结果显示处理权值最大为10,其次为6。此时若需要输出,可以基于当前的权值排序结果,从处理权值最大的各个假设P11、P12、P13、P14中选取任一个假设作为目标假设,以此确定出的目标假设是联合概率值最大的假设,可以作为单帧最可能假设,但是无需通过联合概率树那样对所有检测周期的所有假设进行遍历后筛选出最优的末端节点,降低了数据维护困难,提升数据处理效率,有利于快速进行检测响应。
同理,在第四检测周期作为当前检测周期时,第四检测周期中剩余的各个假设为P12、P13、P15、P16,权值排序结果显示处理权值最大为14,其次为10。此时若需要输出,目标假设可以是处理权值最大的假设P15、P16中的任一个假设。
通过上述实现方式,由于将传统的联合概率树结构转变为各个检测周期下多假设的扁平型存储结构,在扁平型的结构处理方式下,仅需维护处理权值最大的两类假设,并将其余假设删除(包括已经过时的过期假设和无后续关联的中断假设)即可。在接收到输出请求时,根据扁平型结构下各个假设的处理权值排序结果就可以确定出处理权值最大的假设作为目标假设,从而输出该目标假设对应的检测对象的目标位置。在处理权值最大的假设不唯一的情况下,可以从多个处理权值最大的假设中选择任一假设作为实时检测场景下的目标假设。这样确定出目标假设及检测对象的目标位置,由于是实时检测场景下的数据处理,即使是仅维护权值最大的两类假设并从中确定权值最大的假设,后续的多周期检测也可以对这样确定出的目标假设进行验证、修正,从而在无需过多复杂处理步骤的情况下保障检测准确性。
需要说明的是,若为了限制联合概率树增长过快的情况,直接在t3时刻限制P1、P2、P3这三个原有假设的假设扩展数量(每个检测周期只允许保留原有假设)的方式,通过限制原有假设的假设扩展数量的处理方式虽然可以降低实时计算过程中的维护复杂度,但是会对障碍物的实时检测准确性造成一定损失。而通过本申请实施例提供的上述方法,可以基于多假设思想实现单帧目标数据的聚类与合并,进行数据融合并输出,通过将传统的联合概率树结构转换为扁平化的结构,并在每个检测周期对各个假设进行权值配置,通过权值排序结果反映各个假设的新旧程度,对历史假设中的第一假设进行删除,并在剩下的各个假设中选择处理权值最大的假设作为目标假设进行输出,既可以降低实时计算过程中的数据维护复杂度,又可以避免对于障碍物实时检测过程的准确性造成过多影响。
可选地,在初始检测周期之前,上述数据处理方法还可以包括初始化阶段,在初始化阶段的数据处理方法还可以包括:对所述多个传感器中的每个传感器进行标定;在每个传感器完成标定后,对所述多个传感器进行联合标定。
其中,对于同一机动车上的多个传感器,在对多个传感器中的每个传感器进行单独标定后,可以利用单个传感器(例如单个摄像头、单个毫米波雷达、单个激光雷达)对障碍物、车道线等进行检测、识别和跟踪。以摄像头为例,对于单个摄像头的标定可以采用棋盘格标定的方式实现,对于各个传感器的具体标定方式不应理解为对本申请的限制。
通过单个传感器的量测数据可以反映部分检测对象的目标位置,例如在一个检测对象仅被一个传感器的检测区域覆盖时,可以确定该检测对象在当前时刻下的位置,但是即使该检测对象在某些时刻仅落入单个传感器的检测区域,随着机动车的移动,该检测对象也有可能逐渐落入多个传感器的检测区域,这时仍然需要进行多传感器的数据关联与融合。
在完成对于单个传感器的标定后,为了让各个传感器的量测数据对应的检测对象能够以统一的描述方式展示,需要对多个传感器进行联合标定。
联合标定的过程可以包括时间同步和空间同步。
时间同步是指,获取多个传感器在相同采集时刻下的量测数据。通过时间同步可以确定出上述S11-S14中各个检测周期的时长。时间同步的具体实现方式可以是软件同步,也可以是硬件同步。软件同步是指,从已有的采集数据中筛选出采集时刻相同的数据,可以通过采集数据的时间戳进行筛选;硬件同步设置,通过设置各个传感器的采集频率,使得各个传感器在采集数据的时候按照相同的采集频率进行数据采集,从而使得得到的量测数据是相同时刻下的数据。
空间同步是指,将各个传感器的数据统一到同一参考坐标系下。当各个传感器的数据被统一到同一参考坐标系时,可以得知各个传感器的相对位置,以及各个传感器分别对应的检测对象之间的相对位置。在未经过多传感器的数据关联与融合前,同一时刻下的同一检测对象可能因为传感器差异而被显示在同一参考坐标系的不同位置,而在通过多传感器的数据关联与融合后,同一时刻下的同一检测对象在参考坐标系中的位置唯一,不同时刻下的该检测对象的位置可能会随着实际车辆移动环境的变化而变化。
可选地,在通过上述S11-S14输出检测对象的目标位置后,若检测对象被判断为指定类型的障碍物,数据处理方法还可以包括:对所述目标位置中的指定的障碍物位置进行标记。
其中,指定的障碍物可以是人、车辆等。标记方式包括但不限于轮廓标记、数字标记、颜色标记等。
通过上述实现方式,可以在车辆移动过程中对指定的障碍物位置进行标记,不仅有利于自动驾驶场景下的路径规划,也有利于让车内人员了解车外的障碍物情况,在从自动驾驶模式切换为手动驾驶模式时,有利于让驾驶员根据标记内容进行驾驶,降低安全隐患。
基于同一发明构思,请参阅图9,本申请实施例还提供一种数据处理装置200,该数据处理装置200可以存储在前述电子设备100的存储器101中。
如图9所示,该数据处理装置200包括:生成模块201、确定模块202、更新模块203。
生成模块201,用于基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置。
确定模块202,用于在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设。
更新模块203,用于将所述历史假设中的所述第一假设删除。
所述确定模块202,还用于在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
通过上述装置可以执行前述的数据处理方法,降低了多假设处理方式下的数据处理量,能够降低多假设处理方式下的数据维护难度,在需要进行数据输出时,无需对所有检测周期下的所有假设进行完全遍历,有利于提升数据处理效率。在需要进行输出时,能够快速根据多传感器的量测数据进行响应。
可选地,确定模块202还可以用于在上一检测周期获取的历史假设中,确定与所述至少一个假设中的第二假设存在派生关系的第三假设,所述第二假设为所述至少一个假设中任一假设;更新模块203还可用于根据派生出所述第二假设的第三假设的当前处理权值,配置所述第二假设的处理权值。
可选地,更新模块203还可用于获取所述历史假设中的所述第一假设的当前处理权值;对所述第一假设的当前处理权值进行更新;根据当前的所有假设的处理权值排序结果,将所述第一假设删除。
可选地,在上一检测周期为初始检测周期时,上述生成模块201还可以用于对所述初始检测周期中的每个假设赋予所述初始检测周期下的当前处理权值。
可选地,上述确定模块202还可用于根据剩余的各个假设的处理权值排序结果,确定目标假设,并输出所述目标假设对应的目标位置。
可选地,上述装置还可以包括初始化模块,初始化模块用于对所述多个传感器中的每个传感器进行标定;在每个传感器完成标定后,对所述多个传感器进行联合标定。
可选地,上述装置还可以包括标记模块,标记模块可用于对所述目标位置中的指定的障碍物位置进行标记。
关于本申请实施例提供的数据传输装置的其他细节,请进一步参考前述关于数据处理方法的相关描述,在此不再赘述。
基于同一发明构思,本申请实施例中还提供一种存储介质,该存储介质上存储有计算机程序,当计算机程序被处理器执行时执行前述的数据处理方法。该处理器可以是个人计算机,服务器,或者网络设备等设备的处理器,用以执行本申请各个实施例中的方法的全部或部分步骤。
存储介质可以包括:U盘、移动硬盘、存储器、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所讨论的相互之间的连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到不同地方。本领域技术人员可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置;
在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设;
将所述历史假设中的所述第一假设删除;
在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在上一检测周期获取的历史假设中,确定与所述至少一个假设中的第二假设存在派生关系的第三假设,所述第二假设为所述至少一个假设中任一假设;
根据派生出所述第二假设的第三假设的当前处理权值,配置所述第二假设的处理权值。
3.根据权利要求1所述的方法,其特征在于,所述将所述历史假设中的所述第一假设删除,包括:
获取所述历史假设中的所述第一假设的当前处理权值;
对所述第一假设的当前处理权值进行更新;
根据当前的所有假设的处理权值排序结果,将所述第一假设删除。
4.根据权利要求1所述的方法,其特征在于,所述上一检测周期为初始检测周期时,在所述基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设之前,所述方法还包括:
对所述初始检测周期中的每个假设赋予所述初始检测周期下的当前处理权值。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置,包括:
根据剩余的各个假设的处理权值排序结果,确定目标假设,并输出所述目标假设对应的目标位置。
6.根据权利要求1所述的方法,其特征在于,在初始检测周期之前,所述方法还包括:
对所述多个传感器中的每个传感器进行标定;
在每个传感器完成标定后,对所述多个传感器进行联合标定。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:对所述目标位置中的指定的障碍物位置进行标记。
8.一种数据处理装置,其特征在于,所述装置包括:
生成模块,用于基于多假设跟踪算法,为当前检测周期中多个传感器采集的检测对象的量测数据生成至少一个假设,所述至少一个假设中的每个假设对应所述多个传感器的一次量测数据,每个假设表示一次量测数据下的所述检测对象的目标位置;
确定模块,用于在上一检测周期获取的历史假设中,确定与所述至少一个假设均无派生关系的第一假设;
更新模块,用于将所述历史假设中的所述第一假设删除;
所述确定模块,还用于在剩余的各个假设中确定目标假设,并输出所述目标假设对应的目标位置。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器;
处理器;
所述存储器上存储有所述处理器可执行的计算机程序,所述计算机程序被所述处理器执行时执行权利要求1-7任一项所述的方法。
10.一种机动车,其特征在于,所述机动车包括权利要求9所述的电子设备以及多个传感器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010046005.3A CN111275087A (zh) | 2020-01-15 | 2020-01-15 | 数据处理方法、装置、电子设备和机动车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010046005.3A CN111275087A (zh) | 2020-01-15 | 2020-01-15 | 数据处理方法、装置、电子设备和机动车 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111275087A true CN111275087A (zh) | 2020-06-12 |
Family
ID=71003210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010046005.3A Pending CN111275087A (zh) | 2020-01-15 | 2020-01-15 | 数据处理方法、装置、电子设备和机动车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275087A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113391270A (zh) * | 2021-06-11 | 2021-09-14 | 森思泰克河北科技有限公司 | 多雷达点云融合的虚假目标抑制方法、装置及终端设备 |
CN113589252A (zh) * | 2021-08-03 | 2021-11-02 | 东风汽车集团股份有限公司 | 一种基于mht算法的多雷达传感器多目标跟踪方法 |
CN115214694A (zh) * | 2021-09-13 | 2022-10-21 | 广州汽车集团股份有限公司 | 摄像头标定触发控制方法、车载控制器和智能驾驶系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5379044A (en) * | 1993-12-23 | 1995-01-03 | Hughes Aircraft Company | Efficient multi-target tracking method |
US5414643A (en) * | 1993-06-14 | 1995-05-09 | Hughes Aircraft Company | Method and apparatus for continuous time representation of multiple hypothesis tracking data |
CN104794345A (zh) * | 2015-04-21 | 2015-07-22 | 四川大学 | 航迹跟踪中扁平型多假设关联处理方法 |
CN107193012A (zh) * | 2017-05-05 | 2017-09-22 | 江苏大学 | 基于imm‑mht算法的智能车激光雷达机动多目标跟踪方法 |
CN109508000A (zh) * | 2018-12-16 | 2019-03-22 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 异构多传感器多目标跟踪方法 |
-
2020
- 2020-01-15 CN CN202010046005.3A patent/CN111275087A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414643A (en) * | 1993-06-14 | 1995-05-09 | Hughes Aircraft Company | Method and apparatus for continuous time representation of multiple hypothesis tracking data |
US5379044A (en) * | 1993-12-23 | 1995-01-03 | Hughes Aircraft Company | Efficient multi-target tracking method |
CN104794345A (zh) * | 2015-04-21 | 2015-07-22 | 四川大学 | 航迹跟踪中扁平型多假设关联处理方法 |
CN107193012A (zh) * | 2017-05-05 | 2017-09-22 | 江苏大学 | 基于imm‑mht算法的智能车激光雷达机动多目标跟踪方法 |
CN109508000A (zh) * | 2018-12-16 | 2019-03-22 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 异构多传感器多目标跟踪方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113391270A (zh) * | 2021-06-11 | 2021-09-14 | 森思泰克河北科技有限公司 | 多雷达点云融合的虚假目标抑制方法、装置及终端设备 |
CN113589252A (zh) * | 2021-08-03 | 2021-11-02 | 东风汽车集团股份有限公司 | 一种基于mht算法的多雷达传感器多目标跟踪方法 |
CN115214694A (zh) * | 2021-09-13 | 2022-10-21 | 广州汽车集团股份有限公司 | 摄像头标定触发控制方法、车载控制器和智能驾驶系统 |
CN115214694B (zh) * | 2021-09-13 | 2023-09-08 | 广州汽车集团股份有限公司 | 摄像头标定触发控制方法、车载控制器和智能驾驶系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109212530B (zh) | 用于确定障碍物速度的方法和装置 | |
CN111275087A (zh) | 数据处理方法、装置、电子设备和机动车 | |
US8311695B2 (en) | Construction of evidence grid from multiple sensor measurements | |
CN112100298B (zh) | 一种建图方法、装置、计算机可读存储介质及机器人 | |
JPH07225275A (ja) | 車両用距離データ処理装置 | |
CN108292138B (zh) | 随机地图知悉式立体视觉传感器模型 | |
JP2020537140A (ja) | 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法 | |
CN112766113B (zh) | 一种路口检测方法、装置、设备及存储介质 | |
CN112949782A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN111177295A (zh) | 建图重影消除方法、装置、计算机可读存储介质及机器人 | |
US20220215197A1 (en) | Data processing method and apparatus, chip system, and medium | |
CN113959457A (zh) | 一种自动驾驶车辆的定位方法、装置、车辆和介质 | |
CN110136186B (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
CN112630787A (zh) | 定位方法、装置、电子设备及可读存储介质 | |
CN111476830A (zh) | 点云数据处理方法、机器人、电子设备和可读存储介质 | |
CN116222397A (zh) | 车辆信息检测方法和系统、存储介质和电子装置 | |
CN113781569B (zh) | 一种回环检测方法和装置 | |
CN113203424B (zh) | 多传感器的数据融合方法、装置及相关设备 | |
CN113269260B (zh) | 一种智能驾驶车辆多传感器目标融合及跟踪方法及系统 | |
CN115546597A (zh) | 一种传感器融合方法、装置、设备及存储介质 | |
CN114119465A (zh) | 一种点云数据处理方法及装置 | |
CN109788431B (zh) | 一种基于相邻节点组的蓝牙定位方法、装置、设备和系统 | |
CN113076830A (zh) | 环境通行区域检测方法、装置、车载终端及存储介质 | |
CN110609561A (zh) | 一种行人跟踪方法、装置、计算机可读存储介质及机器人 | |
CN110412613A (zh) | 基于激光的测量方法、移动装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |