CN111583716A - 一种车辆避障方法、装置、电子设备及存储介质 - Google Patents

一种车辆避障方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111583716A
CN111583716A CN202010358292.1A CN202010358292A CN111583716A CN 111583716 A CN111583716 A CN 111583716A CN 202010358292 A CN202010358292 A CN 202010358292A CN 111583716 A CN111583716 A CN 111583716A
Authority
CN
China
Prior art keywords
motion information
pixel
model
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010358292.1A
Other languages
English (en)
Other versions
CN111583716B (zh
Inventor
段翔宇
傅湘国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Geely Automobile Research Institute Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010358292.1A priority Critical patent/CN111583716B/zh
Publication of CN111583716A publication Critical patent/CN111583716A/zh
Application granted granted Critical
Publication of CN111583716B publication Critical patent/CN111583716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车辆避障方法、装置、电子设备及存储介质，所述方法包括：获取连续的多帧图像；基于连续的多帧图像确定出图像中目标对象的运动信息，提取车辆当前的位姿信息；基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；根据像素集中每个像素的运动信息对当前的位姿信息进行修正；基于修正后的位姿信息和目标对象的运动信息对每个像素的运动信息进行更新，得到每个像素更新后的运动信息；基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；基于危险像素的运动信息指示车辆进行避障反应。本申请结合目标对象和像素的运动信息可以得到更有效的避障指示，也可以提高自车的安全性。

Description

一种车辆避障方法、装置、电子设备及存储介质
技术领域
本申请涉及车辆技术领域，尤其涉及一种车辆避障方法、装置、电子设备及存储介质。
背景技术
近年来，自动驾驶行业蓬勃发展，而机器视觉为自动驾驶车辆提供了环境感知功能，起到了重要作用。环境感知一般包括对环境中规则的目标的识别检测，包括车辆检测、行人检测等等。在识别检测的基础上进行被检测目标的位置估计与运动估计，用以进行碰撞预警、自动刹车等避障功能。
现有技术中仅仅通过对容易识别的目标对象进行识别分类后，对该目标对象进行与车辆之间的距离确定，进而通过该距离决定是否需要对目标对象进行避障反应，然而，现实中，对车辆进行预警的过程中，仅仅考虑目标对象对车辆的影响是远远不够，且得到的结果也是不准确的。
发明内容
本申请实施例提供了一种车辆避障方法、装置、电子设备及存储介质，用于得到更准确的运动信息，从而提高得到的避障指示的有效性，以及提高自车的安全性。
一方面，本申请实施例提供了一种车辆避障方法，该方法包括：
获取连续的多帧图像；
基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；
基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；
根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；
基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；
基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；
基于危险像素的运动信息指示车辆进行避障反应。
另一方面提供了一种车辆避障装置，该装置包括：
图像获取模块，用于获取连续的多帧图像；
第一确定模块，用于基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；
第二确定模块，用于基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；
修正模块，用于根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；
更新模块，用于基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；
第三确定模块，用于基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；
指示模块，用于基于危险像素的运动信息指示车辆进行避障反应。
另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的车辆避障方法。
另一方面提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的车辆避障方法。
本申请实施例提供的车辆避障方法、装置、电子设备及存储介质，具有如下技术效果：
获取连续的多帧图像；基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；基于危险像素的运动信息指示车辆进行避障反应。本申请结合目标对象和像素的运动信息可以得到更有效的避障指示，也可以提供自车的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种车辆避障方法的流程示意图；
图3是本申请实施例提供的一种目标对象的运动信息和车辆当前的位姿信息确定方法的流程示意图；
图4是本申请实施例提供的一种运动信息确定模型的结构示意图；
图5是本申请实施例提供的一种确定每个像素更新后的运动信息的流程示意图；
图6是本申请实施例提供的一种运动信息确定模型的结构示意图；
图7是本申请实施例提供的一种确定每个像素更新后的运动信息的流程示意图；
图8是本申请实施例提供的一种车辆避障装置的结构示意图；
图9是本申请实施例提供的一种车辆避障方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该示意图包括车辆101和服务器102，其中，该车辆101可以是无人驾驶车辆，即自动驾驶车辆，还可以是半自动驾驶车辆。
一种可选的实施方式中，服务器102可以是一个大型的公共的服务器平台或者服务器集群，该服务器平台或者服务器集群可以为所有的自动驾驶车辆提供避障服务，该种实施方式中，车辆可以通过设置在车辆上的相机获取连续的多帧图像，随后将多帧图像传输给服务器平台或者服务器集群，利用其从多帧图像上得到当前图像对应的像素集中每个像素更新后的运动信息，进而从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆发出避障指示，来指导车辆进行避障反应。该种方式中，在车辆上可以仅仅设置基础配置的服务器，复杂的运算可以用公共的服务器平台或者服务器集群承担，因此，可以在提供高服务器的同时降低车价，是的车辆在市场中更有竞争。
另一种可选的实施方式中，该服务器102可以是设置在车辆101中的车载服务器，每一个车载服务器可以单独为所在的车辆提供避障服务。具体的，该车载服务器可以通过设置在车辆上的摄像头获取连续的多帧图像，使得车载服务器可以利用该连续的多帧图像得到当前图像对应的像素集中每个像素更新后的运动信息，进而从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆的避障装置发出避障指示，来指导避障装置根据避障指示进行车辆的避障反应。其中，车载服务器与该车载服务器可以是有线连接的，该车载服务器与避障装置还可以是有线连接的。该种方式中，由于复杂的运算是由车辆上的车载服务器承担的，因此，车辆需要配置符合条件的硬件和软件设备。虽然，车价相对于第一种情况来说有所增加，但是由于不需要和公共的服务器平台进行交互，减少了交互时间，使得车辆可以更快的得到结果，且服务器和车辆一对一，避免了传输出错的可能性，仅为更使得服务质量有所提升。
另一种可选的实施方式中，该服务器102可以包括设置在车辆101中的车载服务器和大型的公共的服务器平台(服务器集群)。在此种实施方式中，车载服务器通过设置在车辆上的摄像头获取连续的多帧图像后，可以给服务器平台传输该多帧图像。服务器平台可以基于该多帧图像得到当前图像对应的像素集中每个像素更新后的运动信息，随后将每个像素更新后的运动信息发送至车载服务器，车载服务器从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆的避障装置发出避障指示，来指导避障装置根据避障指示进行车辆的避障反应。其中，车载服务器与该车载服务器可以是有线连接的，该车载服务器与避障装置还可以是有线连接的。
以下介绍本申请一种车辆避障方法的具体实施例，图2是本申请实施例提供的一种车辆避障方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：
S201：获取连续的多帧图像。
本申请实施例中，可选的，只要车辆启动行驶，设置在车辆上的摄像头可以对车辆前方进行不间断的摄像，并实时地将摄像得到的视频传输至服务器，以使得服务器可以根据预先的设置从视频中确定出待处理的连续的多帧图像。可选的，该多帧图像中必须包括最近时间点对应的图像，该最近时间点对应的图像可以被称为当前图像。
可选的，只要车辆启动行驶，设置在车辆上的相机可以对车辆前方进行不间断的拍照，并实时地将拍照得到的连续的多帧图像传输至服务器，以使得服务器得到待处理的连续的多帧图像。可选的，该多帧图像中必须包括最近时间点对应的图像，该最近时间点对应的图像可以被称为当前图像。
举个例子，连续的多帧图像包括P9，P8，P7，P6，P5，P4，P3，P2，P1和P0，每0.1秒可以获取1帧，本申请可以将P0当做多帧图像中的当前图像，而由于其他图像的拍摄时间在当前图像之前，可以被称为历史图像。由于相机或者摄像头是将视频或者图像实时传输至服务器的，因此，整个系统可以将传输时间忽略。
S203：基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息。
图像中可以包括目标对象和非目标对象。本申请实施例中，目标对象可以被定义为图像中那些容易被识别检测进而可以分类出来的。具体的的方式中，目标对象可以通过深度学习网络进行建模检测，比如，车辆，行人等。
而非目标对象对象也就是图像中比较难被识别检测进而分类的。这是因为非目标对象由于种类繁多，形态多样复杂，无法直接由深度学习网络进行建模检测，比如，停车杆(完好的，断裂的)，道路的凹陷，深沟，临时堆放的垃圾等等。
图3是本申请实施例提供的一种目标对象的运动信息和车辆当前的位姿信息确定方法的流程示意图，具体包括：
S2031：服务器通过多帧图像中的单帧图像进行目标对象的检测，得到目标对象，通过多帧图像对目标对象进行关联追踪，得到目标对象的运动信息。
服务器可以基于连续的多帧图像确定出图像中目标对象的运动信息可以表示为服务器可以通过多帧图像中的单帧图像进行目标对象的检测，得到目标对象，比如某个行人或者某辆车。此外，服务器还可以通过多帧图像对目标对象进行关联追踪，得到目标对象的运动信息。
具体的，服务器进行目标对象的检测，得到目标对象后，可以得到单帧图像中该目标对象在图像中的位置信息，并通过映射得到该目标对象在现实世界中的位置信息。随后，服务器可以将多帧图像对应的多个现实世界中的位置信息进行关联追踪，确定该目标对象与车辆的距离，并确定目标对象与车辆的相对速度，进而确定目标对象与车辆的碰撞时间。由此，本申请实施例中，目标对象的运动信息可以包括目标对象与车辆的距离，目标对象与车辆的相对速度和目标对象与车辆的碰撞时间。
S2033：服务器从图像中得到一些关键特征点以及得到该关键特征点的运动信息。
服务器可以对连续的多帧图像进行删选，从图像中得到一些关键特征点以及得到该关键特征点的运动信息。其中，每一帧图像得到的关键特征点是同样的，举个例子，服务器在P9，P8，P7，P6，P5，P4，P3，P2，P1和P0得到的关键特征点都是如下的五个特征点：行人甲帽子上的某个点，道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点，前方车辆上左后车灯的某个点和红绿灯牌上的某个点。可选的，关键特征点可以是特征像素点。服务器可以是基于ORB、SIFT等特征描述子生成的原理得到关键特征点，还可以基于深度学习训练所得的模型提取出关键特征点。
其中，关键特征点的运动信息可以包括关键特征点与车辆的距离，关键特征点与车辆的相对速度和关键特征点与车辆的碰撞时间。
S2035：服务器对关键特征点的运动信息进行处理，得到车辆当前的位姿信息。
具体的，由于上文中提及，特征关键点在每一帧图像中都有出现，因此，服务器对每一帧出现的关键特征点的运动信息进行关联追踪，得到关键特征点的空间位置变化，进而确定车辆当前的位姿信息。也就是将关键特征点作为参照物，通过参照物的变化反推出车辆的位置和姿态信息的变化，进而确定车辆当前的位姿信息。
另一种可选的实施方式中，服务器可以通过目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息，进而通过对该静态关键特征点的运动信息进行处理，得到车辆当前的位姿信息。
如上文中的例子，目标对象可以是行人和/或车辆，行人和车辆大概率是动态的。关键特征点可以是行人甲帽子上的某个点，道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点，前方车辆上左后车灯的某个点和红绿灯牌上的某个点。当服务器要选择车辆的参照物时，动态关键特征点在反推出车辆的位置和姿态信息的变化会由于自身的运动造成反推的结果产生误差，因此，最好是选择静态关键特征点，进而得到静态关键特征点的运动信息。因此，服务器可以基于目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息，比如，服务器选择的静态关键特征点可以是道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点和红绿灯牌上的某个点。
本申请实施例中通过关键特征点的运动信息确定车辆当前的位姿信息的原因是：车辆的行驶行为(比如拐弯和急刹车)和道路信息(比如道路坑洼，上坡或者下坡)都可以对车辆的位姿信息造成影响，然而，如果直接通过行驶行为和道路信息是不可以直接得到车辆当前的位置信息的，但是服务器能通过关键特征点的运动信息来确定车辆当前的位姿信息。
S205：基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息。
每个图像都是有M*N个像素组成的，服务器可以确定出当前图像中包含的所有像素中每个像素的运动信息，其中每个像素的运动信息包括每个像素与车辆的距离，每个像素与车辆的相对速度和每个像素与车辆的碰撞时间。
上文中的目标对象的运动信息是以一个整体去考虑目标对象的，而像素的运动信息不仅可以包括目标对象的像素的运动信息，还包括非目标对象的运动信息，以及其他对象的运动信息(其他对象是除目标对象和非目标对象之外的对象)，服务器以更颗粒的思维来处理图像，可以覆盖所有的影响因素，考虑更全面细致。
S207：根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。
服务器可以根据像素中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。
本申请综合考虑每个像素的运动信息可能对当前的位姿信息产生影响，进而对其进行修正，以使得到的修正后的位置信息更精确，为后期的处理提供更好的铺垫。
S209：基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。
服务器可以基于更精确的的修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。
如此，通过不断更新后变的更精确的要素对要修正的要素进行修正，层层递进，最终使得最后的结果更精确。即使得每个像素更新后的运动信息更精确。
下面基于机器学习对上述步骤S203-S209进行阐述。机器学习(Machi ne Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
图4是申请实施例提供的一种运动信息确定模型的结构示意图，该结构包含6个子模型：像素运动信息确定子模型、特征点提取子模型、目标运动信息确定子模型、位姿确定子模型、位姿修正子模型和像素运动信息修正子模型。
其中，像素运动信息确定子模型的输出端与位姿修正子模型的输入端连接，位姿确定子模型的输出端与位姿修正子模型的输入端连接，特征点提取子模型的输出端与位姿确定子模型的输入端连接，位姿修正子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与像素运动信息修正子模型的输入端连接。也就是说，位姿修正子模型的输入端的输入数据是由像素运动信息确定子模型的输出端的输出数据和位姿确定子模型的输出端的输出数据决定的；像素运动信息修正子模型的输入端的输入数据是由位姿修正子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据决定的。
基于上述图4的模型结构示意图，图5提供了一种确定每个像素更新后的运动信息的流程示意图，包括：
S501：将连续的多帧图像输入已经训练好的运动信息确定模型。
S502：利用运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到目标对象的运动信息。
S503：利用运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及关键特征点的运动信息。
服务器可以通过语义分割骨架网络提取特征。
S504：利用运动信息确定模型中的位姿确定子模型对关键特征点的运动信息进行处理，得到车辆当前的位姿信息。
S505：利用运动信息确定模型中的像素运动信息确定子模型对当前图像进行处理，得到像素集中每个像素的运动信息。
S506：利用运动信息确定模型中的位姿修正子模型和像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。
将像素集中每个像素的运动信息和当前的位姿信息输入该位姿修正子模型，得到修正后的位姿信息。
S507：利用运动信息确定模型中的像素运动信息更新子模型、修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。
将修正后的位姿信息、目标对象的运动信息和每个像素的运动信息输入像素运动信息更新子模型，得到每个像素更新后的运动信息。
S508：输出所述每个像素更新后的运动信息。
图6是申请实施例提供的一种运动信息确定模型的结构示意图，该结构包含6个子模型：像素运动信息确定子模型、特征点提取子模型、目标运动信息确定子模型、位姿确定子模型、位姿修正子模型和像素运动信息修正子模型。
其中，像素运动信息确定子模型的输出端与位姿修正子模型的输入端连接，位姿确定子模型的输出端与位姿修正子模型的输入端连接，特征点提取子模型的输出端与位姿确定子模型的输入端连接，位姿修正子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与位姿确定子模型的输入端连接。也就是说，位姿修正子模型的输入端的输入数据是由像素运动信息确定子模型的输出端的输出数据和位姿确定子模型的输出端的输出数据决定的；像素运动信息修正子模型的输入端的输入数据是由位姿修正子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据决定的；位姿确定子模型的输入端的输入数据是由特征点提取子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据确定的。
基于上述图6的模型结构示意图，图7提供了一种确定每个像素更新后的运动信息的流程示意图，包括：
S701：将连续的多帧图像输入已经训练好的运动信息确定模型；
S702：利用运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到目标对象的运动信息；
S703：利用运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及关键特征点的运动信息；
S704：通过目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息；
S705：利用运动信息确定模型中的位姿确定子模型对静态关键特征点的运动信息进行处理，得到车辆当前的位姿信息；
S706：利用运动信息确定模型中的像素运动信息确定子模型对当前图像进行处理，得到像素集中每个像素的运动信息；
S707：利用运动信息确定模型中的位姿修正子模型和像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；
S708：利用运动信息确定模型中的像素运动信息更新子模型、修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；
S709：输出所述每个像素更新后的运动信息。
一种可选的实施方式中，上述的运动信息确定模型是基于深度学习模型得到的，训练该运动信息确定模型可以通过无监督的方法、有监督的方法或者半监督的方法训练得到的。可选的，可以通过像素运动信息确定模型设置损失函数，基于图像序列优化损失函数来训练模型。
S211：基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素。
该车辆的驾驶空间信息是由车辆的运动趋势确定的，其中，运动趋势可以包括高度、宽度、线速度和角速度。每个像素的空间信息包括每个像素的空间信息包括所述每个像素在空间中的位置，该空间中的位置是像素基于自动驾驶车辆为坐标系的原点确定的。
一种可选的实施方式中，上述的每个像素的运动信息和每个像素更新后的运动信息中还包括空间信息，也就是说，每个像素最终得到的空间信息可以是直接由上文的运动信息确定模型输出的。
服务器可以根据基于获取的车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素。举个例子，如果某个像素位于车辆的正前方，且该像素在现实空间中的高度小于车辆的高度，就可以被认定为危险像素。
S213：基于危险像素的运动信息指示车辆进行避障反应。
该危险像素的运动信息包括危险像素与车辆的碰撞时间，危险像素与车辆的距离和危险像素与车辆的相对速度。
一种可选的基于所述危险像素的运动信息指示车辆进行避障反应的实施方式中，若危险像素与车辆的碰撞时间小于预警时间阈值，指示车辆进行避障反应；避障反应包括停止行车，减速行车、偏移行车或者换道行车。
相较于现有技术中仅仅通过对容易识别的目标对象进行识别分类后，对该目标对象进行与车辆之间的距离确定，进而通过该距离决定是否需要对目标对象进行避障反应，本申请没有局限于考虑目标对象，还考虑到除目标对象之外的其他的对象还能对车辆自身的位姿状态产生影响，从而影响到车辆与危险像素(包括目标对象或者非目标对象包含的)之间的碰撞时间。综上，本申请综合自动驾驶车辆上路可能遇见的所有因素，最终得到的避障指示将更精确，也将提供更好的避障服务，同时也可以提高自车的安全性。。
本申请实施例还提供了一种车辆避障装置，图8是本申请实施例提供的一种车辆避障装置的结构示意图，如图8所示，该装置包括：
图像获取模块801，用于获取连续的多帧图像；
第一确定模块802，用于基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；
第二确定模块803，用于基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；
修正模块804，用于根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；
更新模块805，用于基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；
第三确定模块806，用于基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；
指示模块807，用于基于危险像素的运动信息指示车辆进行避障反应。
在一种可选的实施方式中，
指示模块807，用于若所述危险像素与所述车辆的碰撞时间小于预警时间阈值，指示所述车辆进行避障反应；所述避障反应包括停止行车，减速行车、偏移行车或者换道行车。
在一种可选的实施方式中，
第一确定模块802，用于将所述连续的多帧图像输入已经训练好的运动信息确定模型；
利用所述运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到所述目标对象的运动信息；
利用所述运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及所述关键特征点的运动信息；
利用所述运动信息确定模型中的位姿确定子模型对所述关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。
在一种可选的实施方式中，
第一确定模块802，用于通过所述目标对象的运动信息从所述关键特征点的运动信息中删选出静态关键特征点的运动信息；
利用所述运动信息确定模型中的位姿确定子模型对所述静态关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。
在一种可选的实施方式中，
第二确定模块803，用于利用所述运动信息确定模型中的像素运动信息确定子模型对所述当前图像进行处理，得到所述像素集中每个像素的运动信息。
在一种可选的实施方式中，
修正模块804，用于利用所述运动信息确定模型中的位姿修正子模型和所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到所述修正后的位姿信息。
在一种可选的实施方式中，
更新模块805，用于利用所述运动信息确定模型中的像素运动信息更新子模型、所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息。
本申请实施例中的装置与方法实施例基于同样地申请构思。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图9是本申请实施例提供的一种车辆避障方法的服务器的硬件结构框图。如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OS XTM，UnixTM,Linux，FreeBSD等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种车辆避障方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述车辆避障方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的车辆避障方法、设备或存储介质的实施例可见，本申请中获取连续的多帧图像；基于连续的多帧图像确定出图像中目标对象的运动信息，提取车辆当前的位姿信息；基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；根据像素集中每个像素的运动信息对当前的位姿信息进行修正；基于修正后的位姿信息和目标对象的运动信息对每个像素的运动信息进行更新，得到每个像素更新后的运动信息；基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；基于危险像素的运动信息指示车辆进行避障反应。本申请结合目标对象和像素的运动信息可以得到更有效的避障指示，也可以提高自车的安全性。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种车辆避障方法，其特征在于，所述方法包括：
获取连续的多帧图像；
基于所述连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；
基于所述连续的多帧图像中的当前图像确定出所述当前图像对应的像素集中每个像素的运动信息；
根据所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到修正后的位姿信息；
基于所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息；
基于所述车辆的驾驶空间信息和所述每个像素的空间信息从所述像素集中确定出危险像素；
基于所述危险像素的运动信息指示所述车辆进行避障反应。
2.根据权利要求1所述的方法，其特征在于，所述危险像素的运动信息包括所述危险像素与所述车辆的碰撞时间；
所述基于所述危险像素的运动信息指示车辆进行避障反应，包括：
若所述危险像素与所述车辆的碰撞时间小于预警时间阈值，指示所述车辆进行避障反应；
所述避障反应包括停止行车，减速行车、偏移行车或者换道行车。
3.根据权利要求2所述的方法，其特征在于，所述危险像素的运动信息还包括所述危险像素与所述车辆的距离和所述危险像素与所述车辆的相对速度。
4.根据权利要求1所述的方法，其特征在于，所述基于所述连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息，包括：
将所述连续的多帧图像输入已经训练好的运动信息确定模型；
利用所述运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到所述目标对象的运动信息；
利用所述运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及所述关键特征点的运动信息；
利用所述运动信息确定模型中的位姿确定子模型对所述关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。
5.根据权利要求4所述的方法，其特征在于，所述利用所述运动信息确定模型中的位姿确定子模型对所述关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息，包括：
通过所述目标对象的运动信息从所述关键特征点的运动信息中删选出静态关键特征点的运动信息；
利用所述运动信息确定模型中的位姿确定子模型对所述静态关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述连续的多帧图像中的当前图像确定出所述当前图像对应的像素集中每个像素的运动信息，包括：
利用所述运动信息确定模型中的像素运动信息确定子模型对所述当前图像进行处理，得到所述像素集中每个像素的运动信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到修正后的位姿信息，包括：
利用所述运动信息确定模型中的位姿修正子模型和所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到所述修正后的位姿信息。
8.根据权利要求7所述的方法，其特征在于，所述基于所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息，包括：
利用所述运动信息确定模型中的像素运动信息更新子模型、所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息。
9.根据权利要求8所述的方法，其特征在于，
所述像素运动信息确定子模型的输出端与所述位姿修正子模型的输入端连接；
所述位姿确定子模型的输出端与所述位姿修正子模型的输入端连接；
所述特征点提取子模型的输出端与所述位姿确定子模型的输入端连接；
所述位姿修正子模型的输出端与所述像素运动信息修正子模型的输入端连接；
所述目标运动信息确定子模型的输出端与所述像素运动信息修正子模型的输入端连接；
所述目标运动信息确定子模型的输出端与所述位姿确定子模型的输入端连接；
所述位姿修正子模型的输入端的输入数据是由所述像素运动信息确定子模型的输出端的输出数据和所述位姿确定子模型的输出端的输出数据决定的；所述像素运动信息修正子模型的输入端的输入数据是由所述位姿修正子模型的输出端的输出数据和所述目标运动信息确定子模型的输出端的输出数据决定的；所述位姿确定子模型的输入端的输入数据是由所述特征点提取子模型的输出端的输出数据和所述目标运动信息确定子模型的输出端的输出数据确定的。
10.根据权利要求1所述的方法，其特征在于，所述车辆的驾驶空间信息是由车辆的运动趋势确定的；所述运动趋势包括高度、宽度、线速度和角速度；所述每个像素的空间信息包括所述每个像素在空间中的位置。
11.一种车辆避障装置，其特征在于，所述装置包括：
图像获取模块，用于获取连续的多帧图像；
第一确定模块，用于基于所述连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；
第二确定模块，用于基于所述连续的多帧图像中的当前图像确定出所述当前图像对应的像素集中每个像素的运动信息；
修正模块，用于根据所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到修正后的位姿信息；
更新模块，用于基于所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息；
第三确定模块，用于基于所述车辆的驾驶空间信息和所述每个像素的空间信息从所述像素集中确定出危险像素；
指示模块，用于基于所述危险像素的运动信息指示所述车辆进行避障反应。
12.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-9任一所述的车辆避障方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-9任一所述的车辆避障方法。
CN202010358292.1A 2020-04-29 2020-04-29 一种车辆避障方法、装置、电子设备及存储介质 Active CN111583716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358292.1A CN111583716B (zh) 2020-04-29 2020-04-29 一种车辆避障方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358292.1A CN111583716B (zh) 2020-04-29 2020-04-29 一种车辆避障方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111583716A true CN111583716A (zh) 2020-08-25
CN111583716B CN111583716B (zh) 2022-06-14

Family

ID=72125001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358292.1A Active CN111583716B (zh) 2020-04-29 2020-04-29 一种车辆避障方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111583716B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111998853A (zh) * 2020-08-27 2020-11-27 西安达升科技股份有限公司 一种agv视觉导航方法及系统
CN112967228A (zh) * 2021-02-02 2021-06-15 中国科学院上海微系统与信息技术研究所 目标光流信息的确定方法、装置、电子设备及存储介质
WO2022205104A1 (zh) * 2021-03-31 2022-10-06 浙江吉利控股集团有限公司 一种车辆预警方法、系统、装置、设备及存储介质
CN115565371A (zh) * 2022-09-21 2023-01-03 北京汇通天下物联科技有限公司 应急停车检测方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038407A (ja) * 2003-07-01 2005-02-10 Nissan Motor Co Ltd 車両用外界認識装置
CN102084408A (zh) * 2008-09-05 2011-06-01 丰田自动车株式会社 物体检测装置
CN110083157A (zh) * 2019-04-28 2019-08-02 深兰科技（上海）有限公司 一种避障方法及装置
CN210139859U (zh) * 2019-06-28 2020-03-13 威马智慧出行科技（上海）有限公司 汽车碰撞预警系统、导航系统及汽车

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038407A (ja) * 2003-07-01 2005-02-10 Nissan Motor Co Ltd 車両用外界認識装置
CN102084408A (zh) * 2008-09-05 2011-06-01 丰田自动车株式会社 物体检测装置
CN110083157A (zh) * 2019-04-28 2019-08-02 深兰科技（上海）有限公司 一种避障方法及装置
CN210139859U (zh) * 2019-06-28 2020-03-13 威马智慧出行科技（上海）有限公司 汽车碰撞预警系统、导航系统及汽车

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111998853A (zh) * 2020-08-27 2020-11-27 西安达升科技股份有限公司 一种agv视觉导航方法及系统
CN112967228A (zh) * 2021-02-02 2021-06-15 中国科学院上海微系统与信息技术研究所 目标光流信息的确定方法、装置、电子设备及存储介质
CN112967228B (zh) * 2021-02-02 2024-04-26 中国科学院上海微系统与信息技术研究所 目标光流信息的确定方法、装置、电子设备及存储介质
WO2022205104A1 (zh) * 2021-03-31 2022-10-06 浙江吉利控股集团有限公司 一种车辆预警方法、系统、装置、设备及存储介质
CN115565371A (zh) * 2022-09-21 2023-01-03 北京汇通天下物联科技有限公司 应急停车检测方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111583716B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111583716B (zh) 一种车辆避障方法、装置、电子设备及存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
EP2897081B1 (en) Learning system, in-vehicle device, and server
CN111860155A (zh) 一种车道线的检测方法及相关设备
US20130080359A1 (en) Assisting vehicle guidance over terrain
CN113343461A (zh) 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
JP7511750B2 (ja) 自車両の自動運転及び支援運転における環境特徴の連続適応型検出コンピュータ実装方法
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
CN112084835A (zh) 基于航拍数据和遥测数据生成地图特征
CN115716476A (zh) 自动驾驶变道方法、装置、电子设备及存储介质
US11100372B2 (en) Training deep neural networks with synthetic images
CN113674317B (zh) 一种高位视频的车辆跟踪方法及装置
CN115083199A (zh) 一种车位信息确定方法及其相关设备
CN110053554B (zh) 辅助驾驶方法、辅助驾驶装置及车载无人机
CN116630888A (zh) 无人机监测方法、无人机监测装置、电子设备及存储介质
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
US20210383213A1 (en) Prediction device, prediction method, computer program product, and vehicle control system
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
CN115129886A (zh) 驾驶场景的识别方法、装置及车辆
CN116415619A (zh) 基于图神经网络对交通场景数据提取特征的方法
CN109035764B (zh) 道路通行方法、相关装置及计算机可读存储设备
CN117612069B (zh) 真值数据的构建方法和装置、存储介质
CN114056425B (zh) 车辆转向控制方法、装置、车辆及存储介质
JP7298171B2 (ja) 画像圧縮装置および画像の圧縮方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant