CN113033527A - 一种场景识别方法、装置、存储介质及无人设备 - Google Patents
一种场景识别方法、装置、存储介质及无人设备 Download PDFInfo
- Publication number
- CN113033527A CN113033527A CN202110581442.XA CN202110581442A CN113033527A CN 113033527 A CN113033527 A CN 113033527A CN 202110581442 A CN202110581442 A CN 202110581442A CN 113033527 A CN113033527 A CN 113033527A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- scene
- motion
- attention
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本说明书公开了一种场景识别方法、装置、存储介质及无人设备。根据所获取到的目标设备周围的各障碍物的运动特征,通过确定每个障碍物与各障碍物的交互权重,确定出目标设备所在场景整体的场景特征,并根据该场景特征识别目标设备所在的场景的场景类型,为后续根据场景类型确定目标设备的行为决策以及规划参考轨迹提供基础。
Description
技术领域
本说明书涉及无人驾驶领域,尤其涉及一种场景识别方法、装置、存储介质及无人设备。
背景技术
目前,在对无人设备进行控制时,通常会为无人设备规划出未来一段时间内的参考轨迹,以指导无人设备跟踪参考轨迹运动。
参考轨迹的规划依赖于为无人设备所作出的行为决策。以无人设备为无人车为例,如图1所示,当为无人车A所作出的行为决策为由车道二换道至车道三时,根据该行为决策中所包含的决策参数,即当前车道、换道车道以及并道速度,可以为无人车A规划出对应的参考轨迹。
而行为决策的确定则依赖于无人设备自身和周边的各种运动数据。仍然以无人车为例,在确定无人车的行为决策时,不仅需要考虑无人车的目的地、为了达到目的地需要进入的车道,以及无人车自身的运动状态(诸如位置、速度),并且为了对障碍物进行躲避,还要考虑无人车周边各障碍物的运动状态等等。具体的,通常会根据上述信息为无人车分别做出相对于每个障碍物的个体决策,再综合无人车的各个体决策为无人车确定出综合的行为决策。
而为无人车所做出的每个个体决策则依赖于场景的构建,即基于预先设定的规则,确定出无人车所在周边属于何种具有实际意义的场景,在图1中,车E可以分别与无人车A和车D构成两个会车场景,而无人车A与车D,以及车B与车C则分别为两个跟车场景。此时,对于无人车A来说,对于车E所坐车的个体决策是基于车E所处的两会车场景之上的,而对于车D所做出的个体决策则是基于车D所处的跟车场景之上,例如需要以多少的跟车速度,保持与车D之间的多少跟车距离跟随车D行驶。
但当无人设备所处的周边环境复杂时,难以根据预先设定的规则准确划分出具有实际意义的场景。其次,当单个障碍物同时处于不同的场景中时,对于处于不同场景的同一障碍物可能会作出并不相同甚至相互矛盾的个体决策,从而难以确定出无人设备的行为决策。此外,以若干相互独立的场景来对无人设备所处环境进行描述的方式,难免丧失构成各独立的场景的障碍物之间的交互数据,从而影响所作出的行为决策的准确性。
可以看出,如何识别无人设备所在场景是一个亟待解决的问题。
发明内容
本说明书提供一种场景识别方法、装置、存储介质及无人设备,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种场景识别方法,包括:
获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征;
根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征;
根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
可选地,所述场景识别模型包括:编码端、注意力网络以及解码端。
可选地,获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征,具体包括:
获取障碍物在第一预设时段内每一时刻的轨迹点,并针对每个时刻,根据障碍物在该时刻的运动状态确定障碍物在该时刻的基础运动特征,其中,所述运动状态包括障碍物在该时刻的速度、位置中的至少一个;
将障碍物在各时刻的基础运动特征输入预先训练的场景识别模型的编码端,通过所述编码端提取障碍物在第一预设时段内的运动特征。
可选地,确定该障碍物与各障碍物的交互权重,具体包括:
确定所述注意力网络中所包含的各注意力子网;
针对每个注意力子网,将所述编码端输出的各障碍物的交互运动特征输入该注意力子网,根据该注意力子网的第一注意力参数,为各障碍物确定出第一注意力特征;根据该注意力子网的第二注意力参数,为各障碍物确定出第二注意力特征;
针对每个障碍物,根据该障碍物的第一注意力特征,和各障碍物的第二注意力特征,确定出该障碍物与各障碍物的交互权重;
根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征,具体包括:
根据各障碍物的运动特征,以及该注意力子网为该障碍物确定出的与各障碍物的交互权重,确定出该障碍物在该注意力子网下的子交互运动特征;
根据该障碍物在各注意力子网下的子交互运动特征,确定该障碍物的交互运动特征。
可选地,所述解码端包括:特征融合层和分类层;
根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征,具体包括:
将所述注意力层输出的各障碍物的交互运动特征输入解码层的特征融合层,通过所述特征融合层,确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型,具体包括:
将所述解码层的特征融合层输出的场景特征输入解码层的分类层,通过所述分类层,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
可选地,预先确定各场景类型,具体包括:
获取历史上的样本数据,其中,所述样本数据包括目标设备周围各样本障碍物在第二预设时段内的样本运动轨迹;
针对每个样本数据,采用预设的编码方式,对该样本数据进行编码,并获得编码后该样本数据的综合运动特征;
采用预设的聚类算法,根据各样本数据的综合运动特征,对各样本数据进行聚类,并将所获得的各样本类别作为场景类型。
可选地,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型之后,所述方法还包括:
获取所确定出的目标设备所在的场景的场景类型对应的参考数据;
根据所述参考数据,为所述目标设备规划参考轨迹。
可选地,预先训练场景识别模型,具体包括:
确定样本数据,并将所述样本数据的场景类型作为该样本数据中所包含的目标设备所在场景的标注场景类型,其中,所述样本数据包括目标设备周围的样本障碍物在历史上的样本运动轨迹;
针对样本数据中所包含的每个样本障碍物,通过场景识别模型,根据该样本障碍物的样本运动轨迹确定该样本障碍物的运动特征;
根据该样本数据中所包含的各样本障碍物的运动特征,通过所述场景识别模型,针对每个样本障碍物,确定该样本障碍物与各样本障碍物的交互权重,并根据该样本障碍物与各样本障碍物的交互权重以及该样本障碍物自身的运动特征,确定该样本障碍物的交互运动特征;
根据各样本障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在场景的场景类型,作为目标设备所在场景的预测场景类型;
以目标设备所在场景的预测场景类型和标注场景类型之间的差异最小为目标,调整所述场景识别模型中的参数。
本说明书提供了一种场景识别装置,包括:
特征确定模块,用于获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征;
交互权重模块,用于根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征;
场景交互模块,用于根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
场景识别模块,用于根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述场景识别方法。
本说明书提供了一种无人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述场景识别方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
根据所获取到的目标设备周围的各障碍物的运动特征,通过确定每个障碍物与各障碍物的交互权重,确定出目标设备所在场景整体的场景特征,并根据该场景特征识别目标设备所在的场景的场景类型,为后续根据场景类型确定目标设备的行为决策以及规划参考轨迹提供基础。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书提供的一种场景的示意图;
图2为本说明书中一种场景识别方法的流程示意图;
图3为本说明书提供的一种场景识别模型的结构示意图;
图4A为本说明书提供的一种基础运动特征确定方式的示意图;
图4B为本说明书提供的另一种基础运动特征确定方式的示意图;
图5A为本说明书提供的一种注意力特征确定方式的示意图;
图5B为本说明书提供的一种交互运动特征确定方式的示意图;
图6为本说明书提供的一种场景识别装置的示意图;
图7为本说明书提供的无人设备的结构示意图。
具体实施方式
基于以上论述可以看出,现有的场景识别方法中包括两部分,其中第一步为将无人设备周边环境划分为具有确切意义的独立场景,第二步则是对每个独立场景进行识别。
在本说明实施例中摒弃了将无人设备周围环境划分为若干独立场景并分别识别场景的方式,而是根据无人设备周围的障碍物的运动轨迹确定出障碍物的运动特征,并通过确定每个障碍物与各障碍物的交互权重,确定出无人设备所在场景整体的场景特征,并根据该场景特征识别无人设备所在场景所属的场景类型。
本说明书实施例中所述目标设备为无人设备,所述无人设备可以包括无人车、无人机以及无人船。简洁起见,本说明书以下部分以无人设备为无人车为例对本说明书所提供的场景识别方法进行说明。
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图2为本说明书中一种场景识别方法的流程示意图,具体包括以下步骤:
S200:获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征。
本说明书所提供的场景识别方法,可以由无人车自身执行,也可以由能够与无人车进行信息传输,或对无人车进行控制的电子设备执行,例如,笔记本电脑、手机、服务器等,本说明书对此不不作限制。为方便描述,本说明书以无人车为执行主体,示例性地对本说明书提供的场景识别方法进行说明。
本说明书中所述的无人车可包括自动驾驶的车辆以及具有辅助驾驶功能的车辆。无人车可以是应用于配送领域的配送车。而当本说明书中无人设备为无人机或无人船时,所述无人机或无人船可以应用于配送领域。更进一步,所述无人车、无人机以及无人船可以应用于即时配送领域。
在对无人车进行场景识别时,通常所考虑的障碍物为无人车所处的位置周围的障碍物,例如距离无人车20米的障碍物,当然,可以将任何距离范围视作无人车的周围。障碍物的选择具有多种现有方法,本说明书对此不作限定。
鉴于各障碍物位于无人车的周围,因此可以通过搭载在无人车上的传感设备采集各障碍物的运动轨迹,反过来说,可以将无人车所搭载的传感设备所采集信息到的障碍物作为本说明书中所述的无人车周围的障碍物。此外,还可以通过搭载在其他位置的传感设备对各障碍物的运动轨迹进行采集,再由对应的终端设备或服务器将该运动轨迹发送给无人车。
根据障碍物是否会主动运动,可以将障碍物分为静态障碍物和动态障碍物,其中,静态障碍物通常情况下不会主动发生运动,所处的位置不随时间变化而变化,例如电线杆、路灯等,而动态障碍物则指可以主动运动的障碍物,例如车辆、行人等,动态障碍物的位置会随着时间改变而改变。
本领域技术人员可以理解的,参与交通的动态障碍物之间会由于一方的运动而对另一方的运动产生影响,此外,基础设施(信号灯、花坛等)也会对参与交通的动态障碍物的运动产生影响,这些影响会导致动态障碍物的运动发生可观测的结果,例如绕行、让行、停车等。在无人驾驶技术领域动态障碍物之间的交互信息也是动态障碍物运动特征的重要组成部分。
本说明书中所述障碍物可以包括动态障碍物和静态障碍物,而考虑到静态障碍物自身无法主动运动,也无法与其他障碍物产生交互,因此,本说明书所述障碍物也可以仅包括动态障碍物。示例性的,本说明书以下部分以障碍物即动态障碍物为例进行说明。
本说明书中所述的运动轨迹,可以为障碍物在历史上的第一预设时段内的运动轨迹,所述第一预设时段可以为所预设的历史上任一时段,所述运动轨迹可以不仅仅包括各障碍物以何种轨迹行驶,还可以包括各障碍物何时以何种状态行驶至何处。更进一步的,所述运动轨迹可以并非光滑曲线,而是若干有顺序的在第一预设时段内各时刻的轨迹点的连线,在此情形下,所述运动轨迹可以包括:第一预设时段内的各轨迹点、对应的障碍物途径各轨迹点的时刻,以及途径各轨迹点时对应的障碍物的运动状态(例如速度、加速度等)。示例性的,本说明书以下部分以各障碍物的运动轨迹由轨迹点构成为例进行说明。
可以根据障碍物在第一预设时段内每一时刻的轨迹点和行驶状态确定障碍物在第一预设时段内的运动特征。本说明书一实施例中,针对每个障碍物,可以根据该障碍物在第一预设时段内每一时刻的运动状态确定该障碍物在每一时刻的基础运动特征,并根据障碍物在各时刻的基础运动特征,确定障碍物在第一预设时段内的运动特征,其中,所述运动状态可以为障碍物在该时刻的速度、位置中的至少一个。
示例性的,本说明书提供以下三种方式确定障碍物第一预设时段中某一时刻的基础运动特征,所述基础运动特征可以包括速度编码、距离编码和方位编码中的任一或组合。具体的,可以预先设定有若干速度区间、若干距离区间以及若干方位区间,每个区间对应有预先设定的编码,根据障碍物在该时刻行驶速度所落入的速度区间,可以确定出该障碍物在该时刻的速度编码,根据障碍物在该时刻与无人车之间的距离所落入的速度区间,可以确定出该障碍物在该时刻的距离编码,根据障碍物在该时刻相对于无人车的方位所落入的方位区间,可以确定出该障碍物在该时刻的方位编码。
本说明书实施例并不限定如何设定所述速度区间、距离区间以及方位区间,也不对各区间所对应的编码数值进行限定。而仅示例性的,所述速度区间可以为 40km/h以下、40km/h-70km/h、70km/h-100km/h以及100km/h以上四个速度区间,每个速度区间分别对应速度编码0、1、2、3,当该障碍物在该时刻的速度为50km/h时,该障碍物在该时刻的速度编码为1。如图4A所示,可以将与无人车A之间的距离小于R1、R1-R2以及R2-R3分别为划分为三个距离区间,每个距离区间分别对应距离编码0、1、2,当然,此时可以视作与无人车之间的距离超过R3的障碍物不视作本说明书中所述的障碍物。此外,如图4B所示,还可以根据相对于无人车的方位将无人车周围的区域划分为八个方位区间:前方、后方、左侧、右侧、左前方、右前方、左后方以及右后方,每个方位区间分别对应有一位编码位,当障碍物位于无人车某一方位区间时,该方位区间对应的编码位可以为1,例如,当障碍物相对于无人车的方位为后方时,该障碍物的方位编码可以为(0,1,0,0,0,0,0,0)。当然,以上各区间以及各编码的设定仅为示例,本说明书实施例并不对各区间及各编码的具体设定方式进行限定。
本说明书一实施例中,可以在确定障碍物的基础运动特征之前,预先将无人车以及各障碍物的坐标转换为其在道路坐标系下的坐标,以使各障碍物的方位编码更准确地描述障碍物相对于无人车的行驶方位。
根据上述任一方式或任意方式的组合确定出障碍物在第一预设时段内的每个时刻的基础运动特征后,可以将障碍物在各时刻的基础运动特征输入预先训练的场景识别模型的编码端,通过所述编码端采用任一现有的方式提取障碍物在第一预设时段的运动特征,例如可以采用池化等方式根据障碍物在各时刻的基础运动特征提取出障碍物在第一预设时段的运动特征。
本说明书实施例提供一种如图3所示的场景识别模型,包括编码端、注意力网络,以及解码端。如图3所示,在确定出障碍物的基础运动特征之后,可以将所述基础运动特征输入场景识别模型的编码端,并通过所述编码端以任一现有方式确定出障碍物的运动特征。
本说明书一实施例中,还可以根据所确定出的各障碍物的运动特征确定综合运动特征,例如,可以拼接各障碍物的运动特征并将拼接后的运动特征作为综合运动特征。
S202:根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征。
可以理解的,运动特征中包含了障碍物带有时间尺度的运动信息,例如障碍物的运动趋势,而各障碍物的运动特征,则可以反映出各障碍物之间的交互。因此,可以将各障碍物的运动特征输入预先训练的场景识别模型,并通过场景识别模型确定障碍物之间的交互权重,所述交互权重用来反映两障碍物之间交互的紧密程度,本说明书一实施例中,障碍物之间的交互权重即为障碍物之间的注意力强度,交互权重越高,则注意力强度越高。从运动趋势的角度来看,对于一个障碍物来说,另一障碍物对该障碍物的交互权重越大,则该障碍物对于该另一障碍物所投入的注意力也就越大,该障碍物自身的运动趋势受该另一障碍物的运动的影响也就越大。
对于第一障碍物和第二障碍物这一对障碍物来说,在本说明书一实施例中,可以认为第二障碍物对第一障碍物的交互权重即为第一障碍物对第二障碍物的交互权重,也就是说二者之间的相互影响是相等的,此时,可以确定各障碍物两两之间的交互权重。
在本说明书另一实施例中,第一障碍物和第二障碍物这一对障碍物之间的交互权重还可以并不相等。举例而言,当两车一前一后行驶在同一车道上时,后车需要对前车投入较大注意力,才能跟随前车并控制车速保证与前车之间的距离从而避免追尾,而对于前车来说对于后车所投入的注意力则较小,反应在交互权重上,则可以认为对于后车来说前车的交互权重较大,而对于前车来说后车的交互权重则较小。此时,可以分别为第一障碍物确定第二障碍物相对于第一障碍物的交互权重,并为第二障碍物确定第一障碍物相对于第二障碍物的交互权重。
仅示例性的,本说明书实施例以下以一对障碍物之间的交互权重还可以并不相等为例进行说明,即对于第一障碍物来说,仅第二障碍物对于第一障碍物的交互权重为第一障碍物与第二障碍物的交互权重,而对于第二障碍物来说,仅第一障碍物对于第二障碍物的交互权重为第二障碍物与第一障碍物的交互权重。本说明书实施例中,第一障碍物对第二障碍物的交互权重用于表征第一障碍物对第二障碍物的注意力强度。
本说明书一实施例中,场景识别模型可以包括注意力网络,所述注意力网络的输入可以为编码器所输出的运动特征,并根据各障碍物的运动特征为障碍物确定出对各障碍物的交互权重。本说明书实施例中,可以采用任一现有的注意力模型作为本说明书中的注意力网络,例如编-解码(Encoder-Decoder)模型、自注意力(Self-Attention)模型等等,仅示例性的,本说明书以下部分以所述注意力网络为自注意力模型为例进行说明。
接着,在确定出每个障碍物与各障碍物之间的交互权重之后,所述注意力网络还可以根据交互权重确定该障碍物的交互运动特征,用于表征在考虑障碍物之间交互的情况下障碍物的运动特征。具体的,针对每个障碍物,可以直接以该障碍物与各障碍物的交互权重对各障碍物的运动特征加权,并根据加权后的各障碍物的运动特征确定该障碍物的交互运动特征。本说明书中并不限制是否为某一障碍物确定该障碍物与自身之间的交互权重,以下仅示例性的,每个障碍物所确定出的交互权重中包括该障碍物与自身的交互权重。
S204:根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征。
S206:根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
可以看出,障碍物的交互运动特征中反映了障碍物在时间和空间上的运动交互,因此,目标设备周围的各障碍物的交互运动特征,则反映了目标设备所在的场景中各障碍物的交互特征,本说明书一实施例中,可以根据各障碍物的交互运动特征确定出目标设备所在的场景的场景特征。
本说明书一实施例中,场景识别模型还可以包括解码端,其中,解码端可以包括特征融合层和分类层,所述特征融合层的输入为注意力子网的输入,通过特征融合层融合各障碍物的交互运动特征,并将所提取出的场景特征输出给分类层。
接着,根据所获得的场景特征,所述分类层可以从预先设定的各场景类型中选择出目标设备所对应的场景类型。本说明书一实施例中,所述分类层可以为用于根据场景特征识别目标设备所处场景的场景类型的分类器,通过所述分类器,根据所述场景特征可以确定出目标设备所处的场景的场景类型为预先设定的各场景类型的置信度,并从预先设定的场景类型中选择出目标设备所对应的场景类型为该场景类型的置信度最高的场景类型作为目标设备对应的场景类型。
需要说明的是,针对每个预先设定的场景类型,该场景类型对应有用以指导障碍物规划参考轨迹的参考数据。本领域技术人员可以理解的,当目标设备所处的场景的场景类型已知时,则在为目标设备确定行为决策、规划参考轨迹时,可以参考该场景类型中其他场景中所包含的先验知识。所述先验知识可以为该场景类型中其他场景中所包含的目标设备和障碍物的历史轨迹,还可以为预先为该场景类型中其他场景所标注的决策信息,本说明书对此不作限制。
此后,可以根据所述参考数据,确定在目标设备所对应的场景类型之下,目标设备所应采取的行为决策,进而规划出目标设备的参考轨迹,以指示目标设备在所确定出的场景类型下合规、安全以及高效地行驶。举例而言,在图1这一场景下,无人车A所在车道二与车道三是同向车道,并且车B与车C之间是存在着无人车A的换道空间的,才能为无人车A确定出由车道二换道至车道三这一行为决策,而若车B与车C与无人车A的行驶方向相反,则无人车A与车B和车C是会车场景,根据参考数据显然不会为无人车A做出换道至车道三的行为决策。
本说明书一实施例中,可以在确定出目标设备所对应的场景类型之后,针对每个障碍物,可以根据在该场景类型下的参考数据确定出目标设备针对该障碍物的个体决策,并根据所确定出的目标设备针对各障碍物的个体决策确定出目标设备的行为决策。当然,在确定出目标设备所对应的场景类型之后,还可以通过其他方法确定出目标设备的行为决策,并规划出目标设备的参考轨迹。对于如何确定行为决策以及如何规划参考轨迹本说明书不作限制。
基于如图2所示的场景识别方法,本说明书实施例中根据所获取到的目标设备周围的各障碍物的运动特征,通过确定每个障碍物与各障碍物的交互权重,确定出目标设备所在场景整体的场景特征,并根据该场景特征识别目标设备所在的场景的场景类型,为后续根据场景类型确定目标设备的行为决策以及规划参考轨迹提供基础。
本说明书中可以预先采用任一现有的方式确定出各场景类型,例如可以基于经验设定出各场景类型。仅示例性的,本说明书实施例提供一种通过聚类的方式确定样本类型方式。具体的,可以预先获取历史上的样本数据,其中,所述样本数据包括目标设备周围各样本障碍物在第二预设时段内的样本运动轨迹,采用预设的聚类算法,对历史上的各样本数据进行聚类,并将所获得的各样本类别作为场景类型,其中,所述聚类算法可以为任一现有的聚类算法,例如K均值(K-Means)算法、均值漂移聚类(mean shift clustering)算法等。本说明书一实施例中,并不对场景类型进行预设,而是将无监督的聚类算法所聚类得到的每一样本类别设定为一场景类型,当然,也可以满足预设条件的样本类别设定为一场景类型,本说明书对此不作限制。此外,本说明书中所述第二预设时段与第一预设时段的时段长度可以相同也可以不同。
本说明书一实施例中,在获取到样本数据之后,采用预设的编码方式对各样本数据进行编码,并获得编码后样本数据的综合运动特征,所述综合运动特征表征对应样本数据中所包含的各障碍物在第二预设时段内各时刻的运动特征。所述编码方式可以被预设为任一现有的编码方式,本说明书对此并不限制,本说明书实施例中,针对每个样本数据,针对该样本数据在第二预设时段内的每一时刻,针对该时刻的每个障碍物,可以采用上述任一确定障碍物的基础运动特征的方式确定该样本数据中该障碍物在该时刻的样本特征,并将该样本数据中所包含的各时刻各障碍物所确定出的样本特征作为该样本数据的综合运动特征。
本说明书一实施例中,如图3所示,场景识别模型中的注意力网络可以包括若干注意力子网,用于根据障碍物的运动特征确定出障碍物的交互运动特征。针对每个障碍物,可以为该障碍物确定出在每个注意力子网下的子交互运动特征,并根据该障碍物在各注意力子网下的子交互运动特征,确定该障碍物的交互运动特征。
具体的,针对每个注意力子网来说,可以根据该注意力子网的第一注意力参数,为各障碍物确定出第一注意力特征,并根据该注意力子网的第二注意力参数,为各障碍物确定出第二注意力特征,而在确定出各障碍物在该注意力子网下的第一注意力特征和第二注意力特征后,针对每个障碍物,则可以根据该障碍物的第一注意力特征,和各障碍物的第二注意力特征,确定出该障碍物与各障碍物的交互权重,从而根据所确定出该障碍物与各障碍物的交互权重以及各障碍物的运动特征确定出该障碍物在该注意力子网下的子交互运动特征。
其中,本说明书一实施例中,针对每个注意力子网来说,该注意力子网的第一注意力参数可以为第一注意力矩阵,该注意力子网的第二注意力参数则为第二注意力矩阵。
图5A以第一注意力子网为例,示出了一种注意力子网确定障碍物的注意力特征的方式,具体的,可以根据该障碍物的运动特征以及该注意力子网的第一注意力参数确定出该障碍物在该注意力子网下的第一注意力特征,并根据该障碍物的运动特征以及该注意力子网的第二注意力参数确定出该障碍物在该注意力子网下的第二注意力特征。此外,所述注意力子网还可以包括第三注意力参数,可以理解的,还可以根据该障碍物的运动特征以及该注意力子网的第三注意力参数确定出该障碍物在该注意力子网下的第三注意力特征。图5A中示出了一种分别为障碍物A、障碍物B以及障碍物C确定第一注意力特征(A1-C1)、第二注意力特征(A2-C2)和第三注意力特征(A3-C3)的方式。
注意力子网在确定出各障碍物的各注意力特征之后,则可以确定出每个障碍物在该注意力子网下的子交互运动特征。图5B以为障碍物A确定在第一注意力子网下的子交互运动特征为例,对如何确定障碍物的子交互运动特征进行了说明。具体的,可以根据该障碍物的第一注意力特征以及各障碍物的第二注意力特征确定出各障碍物相对于该障碍物的交互权重,在图5B中,示例性示出了根据障碍物A的第一注意力特征A1、障碍物A的第二注意力特征A2确定障碍物A确定相对于自身的交互权重A-A交互权重,同理,也可以根据障碍物A的第一注意力特征A1与障碍物B的第二注意力特征B2确定出障碍物A对障碍物B的交互权重A-B交互权重,或根据障碍物A的第一注意力特征A1与障碍物C的第二注意力特征C2确定出障碍物A对障碍物C的交互权重A-C交互权重。当然,也可以采用与上述相同的方法,根据障碍物B的第一注意力特征B1确定出障碍物B对障碍物A以及对障碍物C的交互权重,以及根据障碍物C的第一注意力特征C1确定出障碍物C对障碍物A以及对障碍物B的交互权重。
随后,可以对各障碍物对于该障碍物的交互权重进行数据处理,例如可以除以固定数值并归一化,本说明书并不限制所述数据处理的方式,并根据处理后的各障碍物对于该障碍物的交互权重,以及各障碍物自身的运动特征确定该障碍物的子交互运动特征。当针对每个障碍物确定出障碍物的第三注意力特征的情况下,还可以根据处理后的各障碍物对于该障碍物的交互权重,以及各障碍物的第三注意力特征确定该障碍物的子交互运动特征。如图5B所示,以采用交互权重对第三注意力特征进行加权的方式为例,示出了一种确定子交互运动特征的方式,其中,以为障碍物A确定子交互运动特征为例,根据障碍物A相对于自身的交互权重A-A交互权重以及障碍物A的第三注意力特征A3可以确定出A-A加权注意力特征,当然,也可以以数据处理后的A-A交互权重对障碍物A的第三注意力特征A3加权,从而得到A-A加权注意力特征。同理,也可以采用A-B交互权重对障碍物B的第三注意力特征B3加权,从而得到加权后的A-B加权注意力特征,以及采用A-C交互权重对障碍物C的第三注意力特征C3加权,从而得到加权后的A-C加权注意力特征。
此后,可以采用任一现有方式根据加权注意力特征确定出障碍物的子交互运动特征。仍然确定障碍物A的子交互运动特征为例,可以根据A-A加权注意力特征、A-B加权注意力特征以及A-C加权注意力特征确定障碍物A在第一注意力子网下的子交互运动特征Z1,例如池化或直接拼接等等。
以上说明了如何为障碍物确定在单个注意力子网下的子交互运动特征,本说明书实施例中,在确定出障碍物在各注意力子网下的子交互运动特征之后,可以根据障碍物在各注意力子网下的子交互运动特征确定出该障碍物的交互运动特征。具体的,针对每个障碍物来说,可以直接地将该障碍物的各子交互运动特征进行拼接作为该障碍物的交互运动特征,还可以将拼接后的各子交互运动特征采用某一预先设定的权重矩阵进行加权,作为该障碍物的交互运动特征,本说明书对此不作限制。
以上仅以图5A和图5B所示出这一结构的注意力网络为例对如何确定障碍物的交互运动特征进行说明,可以看出,确定障碍物的交互运动特征的过程即为确定障碍物之间运动关联性的过程,因此可以采用任一能够描述障碍物之间运动关联性的注意力网络作为本说明书中所述的注意力网络,本说明书对此不作限制。
类似的,也可以直接地将各障碍物的交互运动特征进行拼接作为目标设备的场景特征,或将拼接后的各障碍物的交互运动特征采用某一预先设定的权重矩阵进行加权,作为目标设备的场景特征,本说明书对此不作限制。
在采用场景识别模型识别无人车对应的场景类型之前,可以预先训练所述场景识别模型,以提高所述场景识别模型所输出的识别结果的识别精度。本说明书提供的一种场景识别模型的训练方法包括:
S600:确定样本数据,并将所述样本数据的场景类型作为该样本数据中所包含的目标设备所在场景的标注场景类型,其中,所述样本数据包括目标设备周围的样本障碍物在历史上的样本运动轨迹。
通常来讲,样本运动轨迹为预先收集的各障碍物在历史上的真实轨迹,具体的,可以预先在现实环境中布置传感设备,选取所采集到的障碍物,作为样本障碍物,并所采集到的样本障碍物的真实轨迹,作为各样本障碍物对应的样本运动轨迹。需要说明的是,本说明书实施例中各障碍物的样本运动轨迹为在相同的时段内的真实轨迹。
本说明书实施例中,所获取到的每个样本数据对应有该样本数据的标注,所述标注中包含该样本数据中所包含的目标设备所在场景的场景类型,本说明书实施例中,针对每个样本数据,将所述标注中所包含的场景类型作为该样本数据中包含的目标设备所在场景的标注场景类型。其中,本说明书对所述标注场景类型的标注方式不作限制。
S602:针对样本数据中所包含的每个样本障碍物,通过场景识别模型,根据该样本障碍物的样本运动轨迹确定该样本障碍物的运动特征。
S604:根据该样本数据中所包含的各样本障碍物的运动特征,通过所述场景识别模型,针对每个样本障碍物,确定该样本障碍物与各样本障碍物的交互权重,并根据该样本障碍物与各样本障碍物的交互权重以及该样本障碍物自身的运动特征,确定该样本障碍物的交互运动特征。
S606:根据各样本障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征。
S608:根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在场景的场景类型,作为目标设备所在场景的预测场景类型。
S610:以目标设备所在场景的预测场景类型和标注场景类型之间的差异最小为目标,调整所述场景识别模型中的参数。
以上为本说明书的一个或多个实施例提供的场景识别方法,基于同样的思路,本说明书还提供了相应的场景识别装置,如图6所示。
图6为本说明书提供的一种场景识别装置示意图,该装置包括:特征确定模块、交互权重模块、场景交互模块以及场景识别模块,其中:
特征确定模块,用于获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征;
交互权重模块,用于根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征;
场景交互模块,用于根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
场景识别模块,用于根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
可选地,所述场景识别模型包括:编码端、注意力网络以及解码端。
可选地,所述特征确定模块具体用于,获取障碍物在第一预设时段内每一时刻的轨迹点,并针对每个时刻,根据障碍物在该时刻的运动状态确定障碍物在该时刻的基础运动特征,其中,所述运动状态包括障碍物在该时刻的速度、位置中的至少一个;将障碍物在各时刻的基础运动特征输入预先训练的场景识别模型的编码端,通过所述编码端提取障碍物在第一预设时段内的运动特征。
可选地,所述交互权重模块具体用于,确定所述注意力网络中所包含的各注意力子网;针对每个注意力子网,将所述编码端输出的各障碍物的交互运动特征输入该注意力子网,根据该注意力子网的第一注意力参数,为各障碍物确定出第一注意力特征;根据该注意力子网的第二注意力参数,为各障碍物确定出第二注意力特征;针对每个障碍物,根据该障碍物的第一注意力特征,和各障碍物的第二注意力特征,确定出该障碍物与各障碍物的交互权重;根据各障碍物的运动特征,以及该注意力子网为该障碍物确定出的与各障碍物的交互权重,确定出该障碍物在该注意力子网下的子交互运动特征;根据该障碍物在各注意力子网下的子交互运动特征,确定该障碍物的交互运动特征。
可选地,所述解码端包括:特征融合层和分类层;所述场景交互模块具体用于,将所述注意力层输出的各障碍物的交互运动特征输入解码层的特征融合层,通过所述特征融合层,确定所述目标设备所在的场景的场景特征;所述场景识别模块具体用于,将所述解码层的特征融合层输出的场景特征输入解码层的分类层,通过所述分类层,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
可选地,所述特征确定模块具体用于,获取历史上的样本数据,其中,所述样本数据包括目标设备周围各样本障碍物在第二预设时段内的样运动轨迹;针对每个样本数据,采用预设的编码方式,对该样本数据进行编码,并获得编码后该样本数据的综合运动特征;采用预设的聚类算法,根据各样本数据的综合运动特征,对各样本数据进行聚类,并将所获得的各样本类别作为场景类型。
可选地,所述场景识别模块具体用于,获取所确定出的目标设备所在的场景的场景类型对应的参考数据;根据所述参考数据,为所述目标设备规划参考轨迹。
可选地,所述特征确定模块具体用于,确定样本数据,并将所述样本数据的场景类型作为该样本数据中所包含的目标设备所在场景的标注场景类型,其中,所述样本数据包括目标设备周围的样本障碍物在历史上的样本运动轨迹;针对样本数据中所包含的每个样本障碍物,通过场景识别模型,根据该样本障碍物的样本运动轨迹确定该样本障碍物的运动特征;根据该样本数据中所包含的各样本障碍物的运动特征,通过所述场景识别模型,针对每个样本障碍物,确定该样本障碍物与各样本障碍物的交互权重,并根据该样本障碍物与各样本障碍物的交互权重以及该样本障碍物自身的运动特征,确定该样本障碍物的交互运动特征;根据各样本障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在场景的场景类型,作为目标设备所在场景的预测场景类型;以目标设备所在场景的预测场景类型和标注场景类型之间的差异最小为目标,调整所述场景识别模型中的参数。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述的场景识别方法。
本说明书还提供了图7所示的无人设备的结构示意图。如图7所示,在硬件层面,该无人设备包括处理器、内部总线、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述场景识别方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (11)
1.一种场景识别方法,其特征在于,包括:
获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征;
根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征;
根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
2.如权利要求1所述的方法,其特征在于,所述场景识别模型包括:编码端、注意力网络以及解码端。
3.如权利要求2所述的方法,其特征在于,获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征,具体包括:
获取障碍物在第一预设时段内每一时刻的轨迹点,并针对每个时刻,根据障碍物在该时刻的运动状态确定障碍物在该时刻的基础运动特征,其中,所述运动状态包括障碍物在该时刻的速度、位置中的至少一个;
将障碍物在各时刻的基础运动特征输入预先训练的场景识别模型的编码端,通过所述编码端提取障碍物在第一预设时段内的运动特征。
4.如权利要求2所述的方法,其特征在于,确定该障碍物与各障碍物的交互权重,具体包括:
确定所述注意力网络中所包含的各注意力子网;
针对每个注意力子网,将所述编码端输出的各障碍物的交互运动特征输入该注意力子网,根据该注意力子网的第一注意力参数,为各障碍物确定出第一注意力特征;根据该注意力子网的第二注意力参数,为各障碍物确定出第二注意力特征;
针对每个障碍物,根据该障碍物的第一注意力特征,和各障碍物的第二注意力特征,确定出该障碍物与各障碍物的交互权重;
根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征,具体包括:
根据各障碍物的运动特征,以及该注意力子网为该障碍物确定出的与各障碍物的交互权重,确定出该障碍物在该注意力子网下的子交互运动特征;
根据该障碍物在各注意力子网下的子交互运动特征,确定该障碍物的交互运动特征。
5.如权利要求2所述的方法,其特征在于,所述解码端包括:特征融合层和分类层;
根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征,具体包括:
将所述注意力层输出的各障碍物的交互运动特征输入解码层的特征融合层,通过所述特征融合层,确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型,具体包括:
将所述解码层的特征融合层输出的场景特征输入解码层的分类层,通过所述分类层,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
6.如权利要求1所述的方法,其特征在于,预先确定各场景类型,具体包括:
获取历史上的样本数据,其中,所述样本数据包括目标设备周围各样本障碍物在第二预设时段内的样本运动轨迹;
针对每个样本数据,采用预设的编码方式,对该样本数据进行编码,并获得编码后该样本数据的综合运动特征;
采用预设的聚类算法,根据各样本数据的综合运动特征,对各样本数据进行聚类,并将所获得的各样本类别作为场景类型。
7.如权利要求1所述的方法,其特征在于,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型之后,所述方法还包括:
获取所确定出的目标设备所在的场景的场景类型对应的参考数据;
根据所述参考数据,为所述目标设备规划参考轨迹。
8.如权利要求1所述的方法,其特征在于,预先训练场景识别模型,具体包括:
确定样本数据,并将所述样本数据的场景类型作为该样本数据中所包含的目标设备所在场景的标注场景类型,其中,所述样本数据包括目标设备周围的样本障碍物在历史上的样本运动轨迹;
针对样本数据中所包含的每个样本障碍物,通过场景识别模型,根据该样本障碍物的样本运动轨迹确定该样本障碍物的运动特征;
根据该样本数据中所包含的各样本障碍物的运动特征,通过所述场景识别模型,针对每个样本障碍物,确定该样本障碍物与各样本障碍物的交互权重,并根据该样本障碍物与各样本障碍物的交互权重以及该样本障碍物自身的运动特征,确定该样本障碍物的交互运动特征;
根据各样本障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在场景的场景类型,作为目标设备所在场景的预测场景类型;
以目标设备所在场景的预测场景类型和标注场景类型之间的差异最小为目标,调整所述场景识别模型中的参数。
9.一种场景识别装置,其特征在于,所述装置具体包括:
特征确定模块,用于获取目标设备周围的障碍物的运动轨迹,通过预先训练的场景识别模型,根据所述运动轨迹确定障碍物的运动特征;
交互权重模块,用于根据各障碍物的运动特征,通过所述场景识别模型,针对每个障碍物,确定该障碍物与各障碍物的交互权重,并根据各障碍物的运动特征,以及该障碍物与各障碍物的交互权重确定该障碍物的交互运动特征;
场景交互模块,用于根据各障碍物的交互运动特征,通过所述场景识别模型确定所述目标设备所在的场景的场景特征;
场景识别模块,用于根据所述场景特征,通过所述场景识别模型,从预先设定的各场景类型中选择出目标设备所在的场景的场景类型。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。
11.一种无人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110581442.XA CN113033527A (zh) | 2021-05-27 | 2021-05-27 | 一种场景识别方法、装置、存储介质及无人设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110581442.XA CN113033527A (zh) | 2021-05-27 | 2021-05-27 | 一种场景识别方法、装置、存储介质及无人设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113033527A true CN113033527A (zh) | 2021-06-25 |
Family
ID=76455806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110581442.XA Pending CN113033527A (zh) | 2021-05-27 | 2021-05-27 | 一种场景识别方法、装置、存储介质及无人设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033527A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673601A (zh) * | 2021-08-23 | 2021-11-19 | 北京三快在线科技有限公司 | 一种行为识别方法、装置、存储介质及电子设备 |
CN114550121A (zh) * | 2022-02-28 | 2022-05-27 | 重庆长安汽车股份有限公司 | 一种基于聚类的自动驾驶换道场景分类方法及识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805152A (zh) * | 2017-05-05 | 2018-11-13 | 上海荆虹电子科技有限公司 | 一种场景分类方法及装置 |
CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
CN111599183A (zh) * | 2020-07-22 | 2020-08-28 | 中汽院汽车技术有限公司 | 一种自动驾驶场景分类识别系统及方法 |
CN111626097A (zh) * | 2020-04-09 | 2020-09-04 | 吉利汽车研究院(宁波)有限公司 | 一种障碍物未来轨迹的预测方法、装置、电子设备及存储介质 |
CN111666714A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 自动驾驶仿真场景识别的方法及装置 |
CN112348293A (zh) * | 2021-01-07 | 2021-02-09 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
-
2021
- 2021-05-27 CN CN202110581442.XA patent/CN113033527A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805152A (zh) * | 2017-05-05 | 2018-11-13 | 上海荆虹电子科技有限公司 | 一种场景分类方法及装置 |
CN111626097A (zh) * | 2020-04-09 | 2020-09-04 | 吉利汽车研究院(宁波)有限公司 | 一种障碍物未来轨迹的预测方法、装置、电子设备及存储介质 |
CN111190427A (zh) * | 2020-04-10 | 2020-05-22 | 北京三快在线科技有限公司 | 一种轨迹规划的方法及装置 |
CN111666714A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 自动驾驶仿真场景识别的方法及装置 |
CN111599183A (zh) * | 2020-07-22 | 2020-08-28 | 中汽院汽车技术有限公司 | 一种自动驾驶场景分类识别系统及方法 |
CN112348293A (zh) * | 2021-01-07 | 2021-02-09 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673601A (zh) * | 2021-08-23 | 2021-11-19 | 北京三快在线科技有限公司 | 一种行为识别方法、装置、存储介质及电子设备 |
CN113673601B (zh) * | 2021-08-23 | 2023-02-03 | 北京三快在线科技有限公司 | 一种行为识别方法、装置、存储介质及电子设备 |
CN114550121A (zh) * | 2022-02-28 | 2022-05-27 | 重庆长安汽车股份有限公司 | 一种基于聚类的自动驾驶换道场景分类方法及识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10642268B2 (en) | Method and apparatus for generating automatic driving strategy | |
CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
CN112364997B (zh) | 一种障碍物的轨迹预测方法及装置 | |
CN110674723B (zh) | 一种确定无人驾驶车辆行驶轨迹的方法及装置 | |
CN112015847B (zh) | 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 | |
CN111208838B (zh) | 一种无人驾驶设备的控制方法及装置 | |
CN111238523B (zh) | 一种运动轨迹的预测方法及装置 | |
CN111114543B (zh) | 一种轨迹预测方法及装置 | |
CN111076739B (zh) | 一种路径规划的方法及装置 | |
CN110262486B (zh) | 一种无人驾驶设备运动控制方法及装置 | |
CN110488821B (zh) | 一种确定无人车运动策略的方法及装置 | |
CN113110526B (zh) | 一种模型训练的方法、无人驾驶设备的控制方法及装置 | |
CN113341941B (zh) | 一种无人驾驶设备的控制方法及装置 | |
CN113968243B (zh) | 一种障碍物轨迹预测方法、装置、设备及存储介质 | |
CN113033527A (zh) | 一种场景识别方法、装置、存储介质及无人设备 | |
CN111912423A (zh) | 一种预测障碍物轨迹以及模型训练的方法及装置 | |
CN112677993A (zh) | 一种模型训练的方法及装置 | |
CN111126362A (zh) | 一种预测障碍物轨迹的方法及装置 | |
CN114332808A (zh) | 一种预测转向意图的方法及装置 | |
CN112649012A (zh) | 一种轨迹规划方法、设备、介质及无人设备 | |
CN113074748A (zh) | 一种无人驾驶设备的路径规划方法及装置 | |
CN110895406B (zh) | 一种基于干扰物轨迹规划的无人设备的测试方法及装置 | |
CN112987754B (zh) | 一种无人设备的控制方法、装置、存储介质及电子设备 | |
CN113945222B (zh) | 道路信息的识别方法、装置、电子设备、车辆及介质 | |
CN112859883B (zh) | 一种无人驾驶设备的控制方法及控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |