CN115129886A - 驾驶场景的识别方法、装置及车辆 - Google Patents

驾驶场景的识别方法、装置及车辆 Download PDF

Info

Publication number
CN115129886A
CN115129886A CN202210654300.6A CN202210654300A CN115129886A CN 115129886 A CN115129886 A CN 115129886A CN 202210654300 A CN202210654300 A CN 202210654300A CN 115129886 A CN115129886 A CN 115129886A
Authority
CN
China
Prior art keywords
target
vector
vehicle
information
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210654300.6A
Other languages
English (en)
Inventor
汤崇远
尹荣彬
陈博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202210654300.6A priority Critical patent/CN115129886A/zh
Publication of CN115129886A publication Critical patent/CN115129886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶场景的识别方法、装置及车辆。其中,该方法包括:获取目标车辆的车辆数据;对车辆数据进行处理,得到车辆数据的目标信息,其中,目标信息用于表征车辆数据中包含的实体信息和关系信息;利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,其中,目标知识图谱用于表征不同实体之间的关联关系。本发明解决了相关技术中自动驾驶车辆进行场景识别时准确率较低的技术问题。

Description

驾驶场景的识别方法、装置及车辆
技术领域
本发明涉及智能汽车领域,具体而言,涉及一种驾驶场景的识别方法、装置及车辆。
背景技术
在自动驾驶过程中,车辆常常需要对当前场景进行识别,来做出适当的驾驶决策,这样可以有效提高自动驾驶系统的性能。相关技术中通常采用有监督分类算法,对周围环境图像等信息做分类判断,但是,这种分类方法场景数量有限且固定,无法涵盖自动驾驶过程中所遇到的各种场景,导致场景识别的准确度不高。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种驾驶场景的识别方法、装置及车辆,以至少解决相关技术中自动驾驶车辆进行场景识别时准确率较低的技术问题。
根据本发明实施例的一个方面,提供了一种驾驶场景的识别方法,包括:获取目标车辆的车辆数据;对车辆数据进行处理,得到车辆数据的目标信息,其中,目标信息用于表征车辆数据中包含的实体信息和关系信息;利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,其中,目标知识图谱用于表征不同实体之间的关联关系。
可选地,对车辆数据进行处理,得到车辆数据的目标信息,包括:对车辆数据的特征信息进行提取,得到车辆数据对应的类别和位置;基于车辆数据对应的类别和位置,确定目标信息,其中,车辆数据对应的类别和位置转换为对应的实体信息和关系信息。
可选地,利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,包括:确定实体信息对应的第一实体向量和关系信息对应的关系向量;基于第一实体向量和关系向量,构建第二实体向量;利用目标知识图谱对第一实体向量和关系向量进行处理,得到目标实体向量,其中,目标实体向量与第二实体向量的距离小于预设阈值;基于目标实体向量对应的目标实体信息,确定目标驾驶场景信息。
可选地,基于第一实体向量和关系向量,构建第二实体向量,包括:获取第一实体向量和关系向量之和,得到第二实体向量。
可选地,车辆数据包括:目标车辆上安装的摄像头采集到的图像数据、目标车辆上安装的雷达采集到的点云数据、目标车辆的行驶数据、以及目标车辆所处环境的环境数据。
可选地,该方法还包括:利用第一知识图谱对数据集进行处理,得到样本向量,其中,第一知识图谱的数据集包含多个车辆的车辆数据,样本向量包括:第一样本实体向量、样本关系向量和第二样本实体向量;利用第二知识图谱对第一样本实体向量和样本关系向量进行处理,得到目标样本实体向量;基于第二样本实体向量和目标样本实体向量,构建第二知识图谱的损失函数;基于损失函数对第二知识图谱的网络参数进行调整,得到目标知识图谱。
可选地,样本向量包括正样本向量和负样本向量,其中,利用第一知识图谱对数据集进行处理,得到样本向量,包括:利用第一知识图谱对数据集进行处理,得到正样本向量;对正样本向量中的第一样本实体向量或第二样本实体向量进行替换,生成负样本向量。
根据本发明实施例的另一方面,还提供了一种驾驶场景的识别装置,包括:获取模块,用于获取目标车辆的车辆数据;处理模块,用于对目标车辆的车辆数据进行处理,得到车辆数据的目标信息,其中,目标信息用于表征车辆数据中包含的实体信息和关系信息;识别模块,用于利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,其中,目标知识图谱用于表征不同实体之间的关联关系。
根据本发明实施例的另一方面,还提供了一种车辆,包括:上述发明实施例中任意一项的驾驶场景的识别装置。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述发明实施例中任意一项的驾驶场景的识别方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述发明实施例中任意一项的驾驶场景的识别方法。
在本发明实施例中,在某一场景下,自动驾驶系统进行场景识别,通过目标车辆上配备的多个装置获取目标车辆的车辆数据,并根据车辆数据的类型选择不同的特征提取方法,并将提取出的类别和位置转换为实体信息和关系信息,作为目标信息输入目标知识图谱,该目标知识图谱是针对车辆驾驶场景识别功能训练好的知识图谱,该目标知识图谱对目标信息进行识别后,输出对应的车辆场景信息。容易注意到的是,该驾驶场景识别方法对目标车辆的车辆数据进行处理时,通过将数据处理为目标信息的结构,即目标信息由实体信息和关系信息构成,使其具有更一致的数据布局,这样更适合优化,可以使不同类型的车辆数据输入同一个场景推理分析模块,该场景推理分析模块为训练好的目标知识图谱,可以识别目标信息并输出对应的车辆驾驶场景,从而有效提升了场景识别的效率和准确度,进而解决了相关技术中自动驾驶车辆进行场景识别时准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种驾驶场景方法的示意图;
图2是根据本发明实施例的一种可选的车辆驾驶场景识别的流程图;
图3是根据本发明实施例的一种可选的车辆数据的特征信息的示意图;
图4是根据本发明实施例的一种可选的知识图谱的三元组向量的示意图;
图5是根据本发明实施例的一种可选的车辆驾驶场景的数据集的关系图;
图6是根据本发明实施例的一种可选的知识图谱针对车辆驾驶场景数据进行模型训练的流程图;
图7是根据本发明实施例的一种驾驶场景的识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种驾驶场景的识别方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种驾驶场景方法的示意图,如图1所示,该方法包括如下步骤:
步骤S102,获取目标车辆的车辆数据;
步骤S104,对车辆数据进行处理,得到车辆数据的目标信息,其中,目标信息用于表征车辆数据中包含的实体信息和关系信息;
步骤S106,利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,其中,目标知识图谱用于表征不同实体之间的关联关系。
需要说明的是,知识图谱作为一种结构化的知识形式,是人工智能的热门研究方向之一。知识图谱是将知识表示为智能系统,以获得解决复杂任务的能力,知识通常用(H,R,T)三元组形式来描述,其中,H(head)是头实体,R(relation)是连接关系,T(tail)是尾实体。实体是真实世界的对象和抽象概念,关系表示实体之间的语义联系,例如,三元组(姚明,出生于,中国),“姚明”为头实体,“中国”为尾实体,“出生于”是连接头实体和尾实体的关系。由此可见,知识图谱自带语义,蕴含逻辑含义和规则,知识图谱中的结点对应现实世界中的实体或者概念,每条边或属性也对应现实中的一种关联。因此,结合车辆行驶场景下的关系逻辑,通过知识图谱作为场景推理的核心,可以推理分析出当前场景下隐藏着的难以轻易发现的信息。
其中,目标车辆可以是自动驾驶车辆,自动驾驶车辆在行驶过程中利用车辆配备的多个装置,可采集到该驾驶场景不同类型的车辆数据,车辆数据包括:通过车载摄像头获取车辆行驶场景图像数据、通过车载雷达获得车辆前障碍物的点云数据、通过车载传感器获取车辆行驶的状态数据和环境数据。目标车辆的车辆数据经过处理后,以三元组结构存储,实体信息可以是头实体,关系信息可以是连接关系,目标信息可以由头实体和连接关系两部分信息组成。目标知识图谱可以是针对车辆驾驶场景识别功能训练好的知识图谱,可以对输入的目标信息进行识别,输出车辆驾驶场景信息。目标驾驶场景可以是该采集车辆数据时刻对应的驾驶场景。需要说明的是,当车辆装置能识别的信息越多时或知识图谱包含的知识越多时,能够识别得到的缺失的驾驶场景信息也就越多。这样就能够为车辆驾驶提供更丰富的驾驶场景信息,让自动驾驶或驾驶员的辅助驾驶的决策更加安全。
在一种可选的实施例中,图2是根据本发明实施例的一种可选的车辆驾驶场景识别的流程图,如图2所示,在某一用户驾驶场景下,自动驾驶系统进行场景识别,通过目标车辆配备的多个装置获取目标车辆在驾驶场景下的车辆数据,获取到车辆数据后,进行车辆数据处理,根据数据类型,选择不同的特征提取方式,例如,对于图像数据,可以将其输入训练好的目标识别神经网络,以识别出其中包含的目标种类和位置,对于雷达数据,可以将其输入训练好的3D点云目标神经网络,以识别其中的目标种类和位置。将提取出的种类保存为实体信息,位置保存为关系信息。将实体信息和关系信息作为目标信息输入经过训练的目标知识图谱,进行场景推理分析,最终输出对应的车辆场景信息。
在本发明实施例中,在某一场景下,自动驾驶系统进行场景识别,通过目标车辆上配备的多个装置获取目标车辆的车辆数据,并根据车辆数据的类型选择不同的特征提取方法,并将提取出的类别和位置转换为实体信息和关系信息,作为目标信息输入目标知识图谱,该目标知识图谱是针对车辆驾驶场景识别功能训练好的知识图谱,该目标知识图谱对目标信息进行识别后,输出对应的车辆场景信息。容易注意到的是,该驾驶场景识别方法对目标车辆的车辆数据进行处理时,通过将数据处理为目标信息的结构,即目标信息由实体信息和关系信息构成,使其具有更一致的数据布局,这样更适合优化,可以使不同类型的车辆数据输入同一个场景推理分析模块,该场景推理分析模块为训练好的目标知识图谱,可以识别目标信息并输出对应的车辆驾驶场景,从而有效提升了场景识别的效率和准确度,进而解决了相关技术中自动驾驶车辆进行场景识别时准确率较低的技术问题。
可选地,根据上述发明实施例,对车辆数据进行处理,得到车辆数据的目标信息,包括:对车辆数据的特征信息进行提取,得到车辆数据对应的类别和位置;基于车辆数据对应的类别和位置,确定目标信息,其中,车辆数据对应的类别和位置转换为对应的实体信息和关系信息。
其中,对车辆数据的特征信息进行提取所用的提取方式,是基于车辆数据的类型,并以相同的数据布局存储有效信息,并用三元组(头实体,关系,尾实体)结构表示,类别可以是头实体,位置可以是连接关系,目标信息可以是表示包含头实体和连接关系的信息。
在一种可选的实施例中,图3是根据本发明实施例的一种可选的车辆数据的特征信息的示意图,在同一场景下,车载摄像头采集到图像数据、雷达获取点云数据、基于车载传感器获取车辆行驶状态数据和环境数据。进行特性信息进行提取时,对于车载摄像头采集到图像数据需要将其输入训练好的目标识别神经网络,识别出其中的包含的目标类别和位置。对于雷达获取点云数据,将其输入与训练好的3D点云目标神经网络,识别其中的目标类别和位置。对于行驶数据,包含车速、方向盘角度等。对于环境数据包含时间、光线、天气等。对这些目标类别和位置转换为实体:关系的结构存储,确定目标信息,例如,车辆:位置/车速……,指示信息:限速/指示灯/路口位置……,行人:位置/速度/方向……。
需要说明的是,神经网络是一种模仿动物神经网络为行为特征,进行分布式并行信息处理的算法模型,可以根据用户的需求,以调整内部大量节点之间互相连接的关系的方式,对神经网络进行训练,实现输入数据后可以准确且高效输出预测结果的技术效果,因此神经网络在特征识别和分类方面有非常广泛的应用。
例如,在下雨的情景下,车载摄像头采集到行人撑伞的图像数据,将该图像数据输入训练好的目标神经网络,提取出目标类别为行人、位置为撑伞,则实体信息为行人,关系信息为撑伞的结构,即目标信息为行人:撑伞。
可选地,根据上述发明实施例,利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,包括:确定实体信息对应的第一实体向量和关系信息对应的关系向量;基于第一实体向量和关系向量,构建第二实体向量;利用目标知识图谱对第一实体向量和关系向量进行处理,得到目标实体向量,其中,目标实体向量与第二实体向量的距离小于预设阈值;基于目标实体向量对应的目标实体信息,确定目标驾驶场景信息。
需要说明的是,本发明实施例采用经典知识图谱表示学习模型:TransE模型。TransE模型将研究对象的语义信息三元组表示为稠密低维实值向量,采用向量形式可以方便我们进行之后的各种计算和推理。图4是根据本发明实施例的一种可选的知识图谱的三元组向量的示意图,如图4所示,TransE模型将(head,relation,tail)三元组编码为低维分布式向量,head如图4中向量h所示,relation如图4中向量r所示,tail如图4向量t所示,关系向量r可以看做从头实体向量h到尾实体向量t的翻译,通过不断调整向量h、向量r和向量t的大小和方向,使h+r=t。
其中,第一实体向量可以是通过目标知识图谱查询到头实体信息对应的向量h。第二向量可以是通过目标知识图谱查询到关系信息对应的向量r。第二实体向量可以是通过计算h+r得到的尾向量T,即h+r=T。目标实体向量可以是通过目标知识图谱查询到与T距离最小的向量t。预设阈值可以是设定的T与t之间的差值阈值f。目标驾驶场景信息可以是向量t表示的实体信息。
在一种可选的实施例中,将目标信息输入训练好的目标知识图谱后,利用知识图谱TransE模型查询到与实体信息对应的向量h作为第一实体向量,查询到与关系信息对应的向量r作为关系向量。进行向量计算h+r得到尾实体向量T,即h+r=T。利用目标知识图谱查询与尾实体向量T差距最小的尾实体向量t。若尾实体向量T和t的差值小于差值阈值f,则输出尾实体t所表示的实体,即为识别得到的驾驶场景信息。
例如,下雨或暴晒天气行人会撑伞。根据下雨的属性,如果光线较暗,即可推理出当前天气为下雨。如果当前天气信息缺失,则可通过摄像头识别到行人撑伞,根据目标知识图谱知识查询行人和撑伞的对应向量,计算其向量之和,并查询和向量对应实体,得到这条三元组知识(行人,撑伞,下雨),便可以输出当前行驶在雨天场景下的结论。
可选地,根据上述发明实施例,基于第一实体向量和关系向量,构建第二实体向量,包括:获取第一实体向量和关系向量之和,得到第二实体向量。
其中,求两个向量和的运算叫做向量的加法,将需要相加的依次向量首尾相连,向量和的结果为第一个向量的起点指向最后一个向量的终点。
例如,求头实体向量h和关系向量r的和,将h和r首尾相连,结果为向量h的起点指向向量r的终点,得到第二实体向量即尾向量T。
可选地,根据上述发明实施例,车辆数据包括:目标车辆上安装的摄像头采集到的图像数据、目标车辆上安装的雷达采集到的点云数据、目标车辆的行驶数据、以及目标车辆所处环境的环境数据。
在一种可选的实施例中,如图3所示,车载摄像头采集到的图像数据,为当前道路情况,即车辆位置、路口位置、车道线、行人数量及动作等。车载雷达采集到的点云数据,可以判定车辆行驶前方障碍物及其距离和方向。目标车辆的行驶数据可以是车速、方向盘角度等,可以判断当前是为变道操作、匀速行驶或加速度行驶。目标车辆的环境数据有多个传感器采集时间、光线、天气等,可以判断当前时间、地点、天气状况。
可选地,根据上述发明实施例,该方法还包括:利用第一知识图谱对数据集进行处理,得到样本向量,其中,第一知识图谱的数据集包含多个车辆的车辆数据,样本向量包括:第一样本实体向量、样本关系向量和第二样本实体向量;利用第二知识图谱对第一样本实体向量和样本关系向量进行处理,得到目标样本实体向量;基于第二样本实体向量和目标样本实体向量,构建第二知识图谱的损失函数;基于损失函数对第二知识图谱的网络参数进行调整,得到目标知识图谱。
其中,第一知识图谱可以是通用型知识图谱,涵盖内容包罗万象。图5是根据本发明实施例的一种可选的车辆驾驶场景的数据集的关系图,如图5所示,数据集可以是通用知识图谱筛选符合驾驶场景的数据和驾驶场景识别专业技术人员补充的驾驶场景数据,包含车辆、道路、天气、指示信息、当前车辆和行人及其相互之间的关系,例如,E:车辆包含车速、行驶方向、距离……,E:道路包含车道线、隔离带位置、路面状态……,E:天气包含温度、阴/晴/雨/雪、光线……,E:指示信息包含限速、红绿灯、出口、禁止信息……,E:当前车辆包含车速、行驶方向、位置……,E:行人包括位置、速度、行走方向、雨伞……,道路和当前车辆、车辆、行人之间都为关系R:路况,天气和当前车辆、车辆、行人之间都为关系R:包含,指示信息和当前车辆、车辆、行人之间都为关系R:指示,车辆和当前车辆、行人之间都为关系R:相邻。第二知识图谱可以是包含该数据集的知识图谱。图6是根据本发明实施例的一种可选的知识图谱针对车辆驾驶场景数据进行模型训练的流程图,如图6所示,驾驶领域数据输入后,将驾驶领域数据清晰地用三元组(头实体,关系,尾实体)结构存储。第一样本实体向量可以是样本中头实体对应的向量h,样本关系向量可以是样本中关系对应的向量r,第二样本实体向量可以是样本中尾实体对应的向量t。目标样本实体向量可以是通过第二知识图谱构建的和向量。损失函数可以是用于训练阶段的函数模型,用于对第二知识图谱进行差异调整,以便得到的更准确、快速的目标知识图谱。
在一种可选的实施例中,筛选通用型的知识图谱中数据集符合驾驶场景的数据和驾驶场景识别专业技术人员补充的驾驶场景数据。第二知识图谱可以是以筛选出的数据作为训练数据所训练得到的知识图谱。对训练数据中的三元组数据进行编码,得到三元组数据的向量,作为正样本三元组(h,r,t)。随机替换头实体或尾实体,作为负样本三元组(h',r',t')。利用第二知识图谱,计算第一样本实体向量和样本关系向量之和,得到目标样本实体向量。上述方法可以根据第二样本实体向量和目标样本实体向量建立损失函数,如下所示:
Figure BDA0003688693600000081
其中,(h,r,t)表示正样本的三元组;(h',r',t')表示负样本三元组;γ:表示正样本和负样本之间的间距,一个常数;[x]+:表示max(0,x),即输出0和x两者中的最大值。上述损失函数计算通过第二知识图谱计算的输出向量和真实实体向量的差值,对第二知识图谱进行差异调整。对第二知识图谱反复训练,根据损失函数多次迭代更新第二知识图谱的参数,以便得到的更准确、快速的目标知识图谱。
可选地,根据上述发明实施例,样本向量包括正样本向量和负样本向量,其中,利用第一知识图谱对数据集进行处理,得到样本向量,包括:利用第一知识图谱对数据集进行处理,得到正样本向量;对正样本向量中的第一样本实体向量或第二样本实体向量进行替换,生成负样本向量。
需要说明的是,由于经过专业人员挑选的数据都是正确的正样本数据,模型训练训练需要正负样本数量均衡。因此本方法采用随机替换头实体或尾实体的方法生成负样本,但不可同时替换头实体和尾实体。
在一种可选的实施例中,对数据集中每条三元组编码为一个低维分布式向量,并对于每个向量的每个维度在(-6/√k,6/√k)内随机初始化,k为低维向量的维数,得到头实体向量h,关系向量r和尾实体向量t,作为正样本三元组(h,r,t)。随机替换头实体向量或尾实体向量,但不可同时替换头实体和尾实体,将替换后的三元组作为负样本三元组(h',r',t')。将样本向量中的头实体向量和关系向量作为TransE神经网络模型的输入层,尾实体向量作为神经网络的输出层。
实施例2
根据本发明实施例,还提供了一种驾驶场景的识别装置,该装置可以执行上述实施例中的电机控制方法,具体实现方式和优选应用场景与上述实施例相同,在此不做赘述。
图7是根据本发明实施例的一种驾驶场景的识别装置的示意图,如图7所示,该装置包括:
获取模块72,用于获取目标车辆的车辆数据;
处理模块74,用于对目标车辆的车辆数据进行处理,得到车辆数据的目标信息,其中,目标信息用于表征车辆数据中包含的实体信息和关系信息;
识别模块76,用于利用目标知识图谱对目标信息进行识别,得到目标车辆的目标驾驶场景信息,其中,目标知识图谱用于表征不同实体之间的关联关系。
其中,上述获取模块、处理模块和识别模块均被包含入目标车辆系统中,通过目标车辆中配备的控制系统进行模块的功能实现和数据处理。获取模块可以是目标车辆可以采集场景数据的设备,例如,车载摄像头获取车辆行驶场景图像数据、车载雷达获得车辆前障碍物的点云数据、车辆行驶状态数据和车辆行驶环境数据。处理模块可以是能对特征信息进行提取和分类的数据处理通道,用于提取出车辆数据中的目标种类和位置,并保存为三元组结构,作为目标信息,对于数据的处理便于输入目标知识图谱进行识别。识别模块可以是训练好的目标知识图谱,目标知识图谱可以根据输入的目标信息,输出识别的车辆场景信息,实现场景识别的技术效果。
在一种可选的实施例中,在自动驾驶系统进行场景识别时,获取模块分别通过车载摄像头获取车辆行驶场景图像数据、通过车载雷达获得车辆前障碍物的点云数据、获取车辆行驶状态数据和车辆行驶环境数据。处理模块获取到目标车辆的车辆数据后,根据数据类型,选择不同的特征提取方式,例如,对于图像数据,可以将其输入训练好的目标识别神经网络,以识别出其中包含的目标种类和位置,对于雷达数据,可以将其输入训练好的3D点云目标神经网络,以识别其中的目标种类和位置。将提取出的种类保存为实体信息,位置保存为关系信息。识别模块为针对车辆驾驶场景识别功能训练好的知识图谱,获取到实体信息和关系信息后,通过该知识图谱进行识别,最终输出对应的车辆场景信息,由上述模块共同协作实现车辆驾驶场景识别的技术效果。
可选地,根据上述发明实施例,处理模块包括:特征提取单元,用于对车辆数据的特征信息进行提取,得到车辆数据对应的类别和位置;信息处理单元,用于基于车辆数据对应的类别和位置,确定目标信息,其中,车辆数据对应的类别和位置转换为对应的实体信息和关系信息。
可选地,根据上述发明实施例,识别模块包括:第一向量查询单元,用于确定实体信息对应的第一实体向量和关系信息对应的关系向量;向量构建单元,用于基于第一实体向量和关系向量,构建第二实体向量;第二向量查询单元,还用于利用目标知识图谱对第一实体向量和关系向量进行处理,得到目标实体向量,其中,目标实体向量与第二实体向量的距离小于预设阈值;场景确定单元,用于基于目标实体向量对应的目标实体信息,确定目标驾驶场景信息。
可选地,根据上述发明实施例,向量构建单元还用于获取第一实体向量和关系向量之和,得到第二实体向量。
可选地,根据上述发明实施例,车辆数据包括:目标车辆上安装的摄像头采集到的图像数据、目标车辆上安装的雷达采集到的点云数据、目标车辆的行驶数据、以及目标车辆所处环境的环境数据。
可选地,根据上述发明实施例,该装置还包括:样本处理模块,用于利用第一知识图谱对数据集进行处理,得到样本向量,其中,第一知识图谱的数据集包含多个车辆的车辆数据,样本向量包括:第一样本实体向量、样本关系向量和第二样本实体向量;知识图谱训练模块,用于利用第二知识图谱对第一样本实体向量和样本关系向量进行处理,得到目标样本实体向量;用于基于第二样本实体向量和目标样本实体向量,构建第二知识图谱的损失函数;参数调整模块,用于基于损失函数对第二知识图谱的网络参数进行调整,得到目标知识图谱。
可选地,根据上述发明实施例,样本处理模块包括:初始化单元,用于利用第一知识图谱对数据集进行处理,得到正样本向量;向量构建单元,用于对正样本向量中的第一样本实体向量或第二样本实体向量进行替换,生成负样本向量。
实施例3
根据本发明实施例的另一方面,还提供了一种车辆,包括:上述发明实施例中任意一项的驾驶场景的识别装置。
实施例4
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述发明实施例中任意一项的驾驶场景的识别方法。
实施例5
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述发明实施例中任意一项的驾驶场景的识别方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种驾驶场景的识别方法,其特征在于,包括:
获取目标车辆的车辆数据;
对所述车辆数据进行处理,得到所述车辆数据的目标信息,其中,所述目标信息用于表征所述车辆数据中包含的实体信息和关系信息;
利用目标知识图谱对所述目标信息进行识别,得到所述目标车辆的目标驾驶场景信息,其中,所述目标知识图谱用于表征不同实体之间的关联关系。
2.根据权利要求1所述的方法,其特征在于,对所述车辆数据进行处理,得到所述车辆数据的目标信息,包括:
对所述车辆数据的特征信息进行提取,得到所述车辆数据对应的类别和位置;
基于所述车辆数据对应的类别和位置,确定所述目标信息,其中,所述车辆数据对应的类别和位置转换为对应的实体信息和关系信息。
3.根据权利要求1所述的方法,其特征在于,利用所述目标知识图谱对所述目标信息进行识别,得到所述目标车辆的目标驾驶场景信息,包括:
确定所述实体信息对应的第一实体向量和所述关系信息对应的关系向量;
基于所述第一实体向量和所述关系向量,构建第二实体向量;
利用所述目标知识图谱对所述第一实体向量和所述关系向量进行处理,得到目标实体向量,其中,所述目标实体向量与所述第二实体向量的距离小于预设阈值;
基于所述目标实体向量对应的目标实体信息,确定所述目标驾驶场景信息。
4.根据权利要求3所述的方法,其特征在于,基于所述第一实体向量和所述关系向量,构建第二实体向量,包括:
获取所述第一实体向量和所述关系向量之和,得到所述第二实体向量。
5.根据权利要求1所述的方法,其特征在于,所述车辆数据包括:所述目标车辆上安装的摄像头采集到的图像数据、所述目标车辆上安装的雷达采集到的点云数据、所述目标车辆的行驶数据、以及所述目标车辆所处环境的环境数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用第一知识图谱对数据集进行处理,得到样本向量,其中,所述第一知识图谱的数据集包含多个车辆的车辆数据,所述样本向量包括:第一样本实体向量、样本关系向量和第二样本实体向量;
利用第二知识图谱对所述第一样本实体向量和所述样本关系向量进行处理,得到目标样本实体向量;
基于所述第二样本实体向量和所述目标样本实体向量,构建所述第二知识图谱的损失函数;
基于所述损失函数对所述第二知识图谱的网络参数进行调整,得到所述目标知识图谱。
7.根据权利要求6所述的方法,其特征在于,所述样本向量包括正样本向量和负样本向量,其中,利用第一知识图谱对数据集进行处理,得到样本向量,包括:
利用所述第一知识图谱对所述数据集进行处理,得到所述正样本向量;
对所述正样本向量中的第一样本实体向量或所述第二样本实体向量进行替换,生成所述负样本向量。
8.一种驾驶场景的识别装置,其特征在于,包括:
获取模块,用于获取目标车辆的车辆数据;
处理模块,用于对所述目标车辆的车辆数据进行处理,得到所述车辆数据的目标信息,其中,所述目标信息用于表征所述车辆数据中包含的实体信息和关系信息;
识别模块,用于利用目标知识图谱对所述目标信息进行识别,得到所述目标车辆的目标驾驶场景信息,其中,所述目标知识图谱用于表征不同实体之间的关联关系。
9.一种车辆,其特征在于,包括:权利要求8所述的驾驶场景的识别装置。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的驾驶场景的识别方法。
CN202210654300.6A 2022-06-10 2022-06-10 驾驶场景的识别方法、装置及车辆 Pending CN115129886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210654300.6A CN115129886A (zh) 2022-06-10 2022-06-10 驾驶场景的识别方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210654300.6A CN115129886A (zh) 2022-06-10 2022-06-10 驾驶场景的识别方法、装置及车辆

Publications (1)

Publication Number Publication Date
CN115129886A true CN115129886A (zh) 2022-09-30

Family

ID=83377990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210654300.6A Pending CN115129886A (zh) 2022-06-10 2022-06-10 驾驶场景的识别方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN115129886A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150090A (zh) * 2023-10-30 2023-12-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 自动驾驶数据的属性图模型建立和数据管理方法、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150090A (zh) * 2023-10-30 2023-12-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 自动驾驶数据的属性图模型建立和数据管理方法、装置

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
Behley et al. Laser-based segment classification using a mixture of bag-of-words
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
CN110942000A (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN113392725B (zh) 基于视频数据的行人过街意图识别方法
CN117157678A (zh) 用于基于图的全景分割的方法和系统
CN112861755B (zh) 一种目标多类别实时分割方法及系统
CN110188687B (zh) 汽车的地形识别方法、系统、设备及存储介质
Tumen et al. Recognition of road type and quality for advanced driver assistance systems with deep learning
CN110991377B (zh) 一种基于单目视觉神经网络的汽车安全辅助系统前方目标识别方法
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
CN117593685B (zh) 真值数据的构建方法和装置、存储介质
CN115129886A (zh) 驾驶场景的识别方法、装置及车辆
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Juyal et al. Object Classification Using A rtificial I ntelligence Technique sin Autonomous Vehicles
JP5407723B2 (ja) 認識装置、認識方法及びプログラム
Ye et al. Neural network‐based semantic segmentation model for robot perception of driverless vision
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
Acun et al. D3NET (divide and detect drivable area net): deep learning based drivable area detection and its embedded application
Rafi et al. Performance analysis of deep learning YOLO models for South Asian regional vehicle recognition
CN110738113B (zh) 一种基于邻近尺度特征滤除与转移的物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination