CN109871020A - 车载自动驾驶系统、方法、设备及存储介质 - Google Patents

车载自动驾驶系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN109871020A
CN109871020A CN201910204511.8A CN201910204511A CN109871020A CN 109871020 A CN109871020 A CN 109871020A CN 201910204511 A CN201910204511 A CN 201910204511A CN 109871020 A CN109871020 A CN 109871020A
Authority
CN
China
Prior art keywords
vehicle
object set
module
video data
view video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910204511.8A
Other languages
English (en)
Other versions
CN109871020B (zh
Inventor
丁华杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Shanghai Co Ltd
Original Assignee
Aiways Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Co Ltd filed Critical Aiways Automobile Co Ltd
Priority to CN201910204511.8A priority Critical patent/CN109871020B/zh
Publication of CN109871020A publication Critical patent/CN109871020A/zh
Application granted granted Critical
Publication of CN109871020B publication Critical patent/CN109871020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车载自动驾驶系统、方法、设备及存储介质,车载自动驾驶系统包括第一接收模块,用于接收第一视角视频数据;视频采集模块,用于采集车辆的第二视角视频数据;第一识别模块,用于在第一视角视频数据中识别多个对象,形成第一对象集;第二识别模块,用于在第二视角视频数据中识别多个对象,形成第二对象集;匹配模块,用于将第一对象集和第二对象集进行匹配获得第一对象集和第二对象集的交集;位置确定模块,确定以第一对象集为全集,交集的补集中各对象与本车的相对位置;以及路径规划模块,用于根据第一对象集及第二对象集中各对象与本车的相对位置进行路径规划。本发明提供的系统及方法实现可靠的自动驾驶。

Description

车载自动驾驶系统、方法、设备及存储介质
技术领域
本发明涉及车辆联网信息共享领域,具体地说,涉及车载自动驾驶系 统、方法、设备及存储介质。
背景技术
目前机动车道路上的自动驾驶车辆智能化程度越来越高,由于传统的 传感器安装位置主要分布在车身周围,一般车辆仅能感知到水平面周围有 限的目标和障碍物,在诸如拥堵、事故等很多交通场景下,车辆无法有效 地得到更多的信息进行自动驾驶路径规划。
发明内容
针对现有技术中的问题,本发明的目的在于提供一种车载自动驾驶系 统、方法、设备及存储介质,提高自动驾驶的可用性和可靠性。
本发明的实施例提供一种车载自动驾驶系统,设置于车辆,所述车载 自动驾驶系统包括:
第一接收模块,用于接收第一视角视频数据,所述第一视角为朝向路 面的俯视视角;
视频采集模块,用于采集所述车辆的第二视角视频数据,所述第二视 角的视角方向平行于路面;
第一识别模块,用于在所述第一视角视频数据中识别多个对象,形成 第一对象集;
第二识别模块,用于在所述第二视角视频数据中识别多个对象,形成 第二对象集,所述第二对象集中各对象至少关联该对象与本车的相对位置;
匹配模块,用于将第一对象集和第二对象集进行匹配获得第一对象集 和第二对象集的交集;
位置确定模块,根据所述交集中各对象与该对象与本车的相对位置, 及所述第一对象集中各对象之间的相对位置,确定以所述第一对象集为全 集,所述交集的补集中各对象与本车的相对位置;以及
路径规划模块,用于根据所述第一对象集及所述第二对象集中各对象 与本车的相对位置,进行路径规划。
可选地,所述第一识别模块还包括:
第一特征识别模块,用于识别第一对象集中的多个对象的第一特征;
所述第二识别模块还包括:
第二特征识别模块,用于识别第二对象集中的多个对象的第二特征;
其中,所述匹配模块用于将所述第一特征和第二特征进行匹配,当所 述第一特征和所述第二特征匹配时,将该对象加入所述第一对象集和第二 对象集的交集。
可选地,还包括:
车辆识别模块,用于自所述第一对象集及所述第二对象集的多个对象 中识别车辆;
第一判断模块,用于判断以所述第一对象集为全集,所述交集的补集 的多个对象中,位于本车行驶方向上的车辆数量是否大于第一预定阈值;
所述路径规划模块还用于当所述第一判断模块判断为是时,使本车进 入避让模式。
可选地,还包括:
第二判断模块,用于判断所述第一对象集及所述第二对象集的多个对 象中,位于本车行驶方向上的车辆之间的间距是否大于第二预定阈值;
所述路径规划模块还用于当所述第二判断模块判断为是时,使本车进 入避让模式。
可选地,行人识别模块,用于自所述第一对象集的多个对象中识别行 人;
第三判断模块,用于判断以所述第一对象集为全集,所述交集的补集 的多个对象中,位于本车行驶方向上是否存在行人;
所述路径规划模块还用于当所述第三判断模块判断为是时,使本车进 入避让模式。
可选地,所述避让模式包括减速避让及转向避让中的任一种或多种。
可选地,还包括:
转道判断模块,用于当车辆转道时,在所述第一对象集的多个对象中, 将位于本车待转车道上,且在本车行驶方向上的多个车辆作为待计算车辆;
转道确定模块,用于根据所述第一视角视频数据确定多个待计算车辆 之间的距离,当相邻待计算车辆之间的距离大于预定距离阈值时,将该相 邻待计算车辆之间的位置作为转道位置;
转道参数模块,根据所确定的转道位置,确定本车的转道角度及转道 加速度。
可选地,还包括:
车队车辆识别模块,用于根据预存车队车辆的特征,自多个车辆中识 别车队车辆;
所述路径规划模块还用于根据车队车辆的行驶状态进行路径规划。
可选地,第一视角视频数据由无人机或固定悬挂摄像头。
根据本发明的有一个方面,还提供一种自动驾驶控制系统,包括:
如上所述的车载自动驾驶系统;以及
第一视角采集模块,用于采集所述第一视角视频数据,并广播至所述 第一视角采集模块预定距离内的车载自动驾驶系统。
可选地,所述第一视角采集模块为无人机或固定悬挂摄像头采集。
根据本发明的又一个方面,还提供一种自动驾驶方法,采用如上所述 的车载自动驾驶系统,所述自动驾驶方法包括:
S110:接收第一视角视频数据,所述第一视角为朝向路面的俯视视 角;
S120:采集所述车辆的第二视角视频数据,所述第二视角的视角方 向平行于路面;
S130:在所述第一视角视频数据中识别多个对象,形成第一对象集;
S140:在所述第二视角视频数据中识别多个对象,形成第二对象集, 所述第二对象集中各对象至少关联该对象与本车的相对位置;
S150:将第一对象集和第二对象集进行匹配获得第一对象集和第二 对象集的交集;
S160:所述交集中各对象与该对象与本车的相对位置,及所述第一 对象集中各对象之间的相对位置,确定以所述第一对象集为全集,所述交 集的补集中各对象与本车的相对位置;以及
S170:根据所述第一对象集及所述第二对象集中各对象与本车的相 对位置,进行路径规划。
根据本发明的又一方面,还提供一种自动驾驶车载设备,包括:处理 器;存储器,其中存储有所述处理器的可执行指令;其中,所述处理器配 置为经由执行所述可执行指令来执行如上所述的自动驾驶方法的步骤。
根据本发明的又一方面,还提供一种计算机可读存储介质,用于存储 程序,所述程序被执行时实现如上所述的自动驾驶方法的步骤。
本发明的车载自动驾驶系统、方法、设备及存储介质能够结合朝向路 面的俯视视角的第一视角视频数据,扩展车辆可以获知的其周围对象的信 息,并可根据所扩展的信息来进行路径规划,以此提高自动驾驶的可用性 和可靠性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的 其它特征、目的和优点将会变得更明显。
图1是本发明的车载自动驾驶系统的模块示意图。
图2是本发明实施例的自动驾驶控制系统的示意图。
图3是本发明一具体实施例的第一视角视频数据的示意图。
图4是本发明一具体实施例的第二视角视频数据的示意图。
图5是本发明一具体实施例的第一视角视频数据的示意图。
图6是本发明一具体实施例的第二视角视频数据的示意图。
图7是本发明一具体实施例的第一视角视频数据的示意图。
图8是本发明实施例的自动驾驶方法的流程图。
图9是本发明的车载防碰撞设备的结构示意图。以及
图10是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能 够以多种形式实施,且不应被理解为限于在此阐述的实施方式。相反,提 供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面 地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结 构,因而将省略对它们的重复描述。
图1是本发明的车载自动驾驶系统的模块示意图。图2是本发明实施 例的自动驾驶控制系统的示意图。图3是本发明一具体实施例的第一视角 视频数据的示意图。图4是本发明一具体实施例的第二视角视频数据的示 意图。图5是本发明一具体实施例的第一视角视频数据的示意图。图6 是本发明一具体实施例的第二视角视频数据的示意图。图7是本发明一具 体实施例的第一视角视频数据的示意图。
如图1所示,本发明的实施例提供一种车载自动驾驶系统1,设置于 车辆,车载自动驾驶系统1包括第一接收模块101、视频采集模块102、 第一识别模块103、第二识别模块104、匹配模块105、位置确定模块106 及路径规划模块107。
第一接收模块101用于接收第一视角视频数据,所述第一视角为朝 向路面的俯视视角。其中,第一视角视频数据由无人机(如图2的无人机 30)或固定悬挂摄像头采集。固定悬挂摄像头例如可以是用于进行违法监 控的悬挂摄像头或者其它悬挂摄像头。所述的第一视角仅仅限定是大致俯 视视角,并非限定为垂直于路面(如图2的路面40)的俯视视角。第一 视角视频数据所采集的范围随无人机或固定悬挂摄像头的摄像头的朝向 及该摄像头的转动而变化。无人机或固定悬挂摄像头可在采集第一视角视 频数据对第一视角视频数据进行预处理。第一接收模块101例如可以通 过V2X(意为vehicle to everything,即车对外界的信息交换)链路与采 集第一视角视频数据的设备相通信。
视频采集模块102用于采集所述车辆的第二视角视频数据,所述第 二视角的视角方向平行于路面。具体而言,视频采集模块102可以设置 在车辆的前侧、后侧、左侧、右侧中的任一侧或多侧,以对车辆平行于路 面的方向上进行视频采集。可选地,车辆上还可以设置有诸如激光雷达等 传感器,以辅助视频采集模块102对车辆周围的其它车辆或其它对象进 行识别和位置确定。
第一识别模块103用于在所述第一视角视频数据中识别多个对象, 形成第一对象集。对象例如可以是车辆、障碍物、行人、非机动车辆等。 该些对象的图形特征例如可以预存在第一识别模块中,以根据该些图形特 征在第一视角视频数据中识别出多个对象。例如,在图3所示的实施例中, 第一对象集可以包括车辆20、车辆21至车辆28。
第二识别模块104用于在所述第二视角视频数据中识别多个对象, 形成第二对象集,所述第二对象集中各对象至少关联该对象与本车的相对 位置。同样地,对象例如可以是车辆、障碍物、行人、非机动车辆等。该 些对象的图形特征例如可以预存在第二识别模块中,以根据该些图形特征 在第二视角视频数据中识别出多个对象。例如,在车辆20的第二视角视 频数据中,图4所示的实施例中,第二对象集可以包括车辆22、车辆25 至车辆27。且各车辆可以通过第二视频数据(及传感器的辅助数据)计 算获得车辆22、车辆25至车辆27相对于本车20的相对位置。所述的 相对位置例如可以包括距离、方位及坐标中的一项或多项。
匹配模块105用于将第一对象集和第二对象集进行匹配获得第一对 象集和第二对象集的交集。具体而言,例如,在图3和图4所示的实施例 中,第一对象集和第二对象集的交集为车辆22、车辆25及车辆27。
位置确定模块106根据所述交集中各对象与该对象与本车的相对位 置,及所述第一对象集中各对象之间的相对位置,确定以所述第一对象集 为全集,所述交集的补集中各对象与本车的相对位置。具体而言,匹配模 块105确定了交集为车辆22、车辆25及车辆27后,对于第一对象集, 相当于获知了其中车辆22、车辆25及车辆27与本车20的相对位置,根据第一视角视频数据,可以计算获得第一视角视频数据中各对象之间的 相对位置,通过位置转换,即可获知第一对象集中,交集的补集中各对象 (车辆20、车辆21、车辆23、车辆24、车辆26及车辆28)与本车之 间20的相对位置。根据该相对位置,还可以确定第一视角视频数据中是 否具有本车。
路径规划模块107用于根据所述第一对象集及所述第二对象集中各 对象与本车的相对位置,进行路径规划。
具体而言,在一个具体实施例中,所述第一识别模块103还包括第 一特征识别模块114。第一特征识别模块114用于识别第一对象集中的多 个对象的第一特征。所述第二识别模块104还包括第二特征识别模块115。 第二特征识别模块115用于识别第二对象集中的多个对象的第二特征。 该第一特征和该第二特征例如可以是车牌信息、车辆颜色、几何信息等等。 在该实施例中,所述匹配模块105用于将所述第一特征和第二特征进行 匹配,当所述第一特征和所述第二特征匹配时,将该对象加入所述第一对 象集和第二对象集的交集。例如,在图3和图4的实施例中,当在图3 到了车辆22的车牌作为第一特征,在图3到了车辆22的车牌作为第二 特征,匹配模块105确定该第一特征和该第二特征匹配,则将车辆22加 入所述第一对象集和第二对象集的交集。由此,即可实现第一对象集中的 对象和第二对象集中的对象的匹配。在一些变化例中,匹配模块105也 可采用扩展卡尔曼滤波等方式,实现第一对象集和第二对象集的匹配,在 此不予赘述。
在一个具体实施例中,车载自动驾驶系统1还包括车辆识别模块108、 第一判断模块109。
车辆识别模块108用于自所述第一对象集及所述第二对象集的多个 对象中识别车辆。第一判断模块109用于判断以所述第一对象集为全集, 所述交集的补集的多个对象中,位于本车行驶方向上的车辆数量是否大于 第一预定阈值。所述路径规划模块107还用于当所述第一判断模块判断 为是时,使本车进入避让模式。
例如,在图3和图4的实施例中,车辆识别模块108在第一对象集 和第二对象集中识别车辆20至车辆28。第一判断模块109判断仅在第一 对象集中出现的车辆(车辆20、车辆21、车辆23、车辆24、车辆26及 车辆28)位于本车行驶方向(图3中箭头所示方向)上的车辆数量(车 辆21、车辆24及车辆26共3辆)是否大于第一预定阈值(例如设定为 2辆)。则第一判断模块109判断为是,所述路径规划模块107,使本车 20进入避让模式。具体而言,在本实施例及后序描述的实施例中,所述 避让模式包括减速避让及转向避让中的任一种或多种。由此,上述实施例 可以解决,在本车行驶方向上由于视线受阻,无法获知前方有较大的碰撞 风险的问题,实现安全避让。
在上述实施例的一个变化例中,车载自动驾驶系统1还包括第二判断 模块110。第二判断模块110用于判断所述第一对象集及所述第二对象集 的多个对象中,位于本车行驶方向上的车辆之间的间距是否大于第二预定 阈值。所述路径规划模块107还用于当所述第二判断模块判断为是时, 使本车进入避让模式。例如,在图3和图4的实施例中,第二判断模块 110判断所述第一对象集及所述第二对象集的多个对象中,位于本车行驶 方向(图3中箭头所示方向)上的车辆之间的间距(例如车辆25和车辆 24之间的距离、车辆21和车辆22之间的距离、车辆26和车辆27之间 距离中的一项或多项间距)是否大于第二预定阈值(例如设置为3米)。 当第二判断模块110确定前方车辆密集时,路径规划模块107使本车进 入避让模式。由此,上述实施例可以辅助解决,在本车行驶方向上由于视 线受阻,无法获知前方有较大的碰撞风险的问题,实现安全避让。
在一个具体实施例中,车载自动驾驶系统1还包括行人识别模块111、 第三判断模块112。行人识别模块111用于自所述第一对象集的多个对象 中识别行人(例如通过预存的行人特征进行行人识别)。第三判断模块 112用于判断以所述第一对象集为全集,所述交集的补集的多个对象中, 位于本车行驶方向上是否存在行人。所述路径规划模块107还用于当所 述第三判断模块112判断为是时,使本车进入避让模式。具体而言,如 图5及图6所示的实施例,被建筑物51遮挡的行人52可能不会在第二 视角视频数据中出现,因此,通过第一视角视频数据的识别,可以将被建 筑物或其它车辆遮挡的行人信息告知本车,进而本车可以根据所获得的信 息,进入避让模式。避让模式例如还可以包括预警信号。
在一个具体实施例中,车载自动驾驶系统1还包括车队车辆识别模块 113。车队车辆识别模块113用于根据预存车队车辆的特征,自多个车辆 中识别车队车辆。所述路径规划模块107还用于根据车队车辆的行驶状 态进行路径规划。具体可以参见图7,通过车载自动驾驶系统1,可以根 据预存的车队车辆的特征(例如车牌信息),识别车队车辆20至20B,根据车队车辆20至20B的行驶情况(例如是否由其它车辆进入车队之间) 来提前规划路径。
在一个具体实施例中,车载自动驾驶系统1还包括转道判断模块、转 道确定模块及转道参数模块。转道判断模块用于当车辆转道时,在所述第 一对象集的多个对象中,将位于本车待转车道上,且在本车行驶方向上的 多个车辆作为待计算车辆。转道确定模块用于根据所述第一视角视频数据 确定多个待计算车辆之间的距离,当相邻待计算车辆之间的距离大于预定 距离阈值时,将该相邻待计算车辆之间的位置作为转道位置。转道参数模块用于根据所确定的转道位置,确定本车的转道角度及转道加速度。例如, 在图5所示的实施例中,当车辆20需要向右侧转道时,仅根据第二视角 视频数据,车辆20可能无法获知车辆25的信息(例如车辆21为大卡车 时),由此,可以根据第一视角视频数据同时获知待转车道上的车辆21、 车辆24、车辆25(待计算车辆)的车长,及他们之间的距离。当车辆24 和车辆21之间的距离大于预定距离阈值,而车辆24和车辆25之间的距 离大于预定距离阈值,则车辆20可以在车辆24和车辆25之间进入待转 车道,此时,车辆20的车头到车辆24及车辆25之间的间隔中点的距离 为L,则车辆20的转道角度为A=arcsinS/L,其中,S为道路的宽度。车辆20的加速度a可以根据如下公式计算:
其中,W是本车的车长,Z是车辆之间的安全距离,V1是本车的初 速度,V2是车辆25的速度,D为车辆25的车头至车辆24及车辆25之 间的间隔中点的距离。
下面将描述本发明提供一种第一识别模块和第二识别模块的具体实 现。第一识别模块和第二识别模块采用模型建立、卡尔曼滤波算法及目标 跟踪算法来实现。
本发明中建立非机动模型和机动模型。其中,非机动模型用于描述匀 速直线运动,机动模型用于描述其余运动。
非机动模型的系统模型可以按如下公式来表示:
X(k+1)=ΦX(k)+GW(k)
其中
E[W(k)]=0;E[W(k)WT(j)]=Qδkj
非机动模型的测量模型可以按如下公式来表示:
Z(k)=HX(k)+V(k);
其中
其中,V(k)为零均值,协方差阵为R白噪声,V(k)与W(k)为随机噪声, 互不相关。X(k)为k时刻运动目标的状态量(本发明中目标为前方运动车 辆或其它对象),其中x(k)代表x轴向位移,y(k)代表y轴向位移, Vx,Vy分别表示x轴和y轴向速度,Φ为运动模型状态转移矩阵,G为系 统噪声的转移矩阵,W为系统噪声,噪声期望为E[W(k)],H为运动目标观 测方程转移矩阵,V为观测噪声,Z为运动目标观测量,Q为相关性矩阵, T为离散化的单位采样时间,δ的函数形式为:当k=j时,δ=1;其他δ =0。
机动模型的系统模型可以按如下公式来表示:
Xm(k+1)=ΦmXm(k)+Gm*Wm(k);
其中
E[Wm(k)]=0,
观测模型与机动模型的相同,只是H矩阵为Hm,
其中,X(k)运动目标的状态量,其中x(k)代表x轴向位移,y(k)代 表y轴向位移,Vx,Vy分别表示x轴和y轴向速度,ax和ay表示x轴和y 轴向加速度;Φ为运动模型状态转移矩阵,G为系统噪声的转移矩阵,W 为系统噪声,噪声期望为E[W(k)],H为运动目标观测方程转移矩阵,V为 观测噪声,Z为运动目标观测量,Q为相关性矩阵,T为离散化的单位采 样时间,δ的函数形式为:当k=j时,δ=1;其他δ=0。
作为一般的卡尔曼滤波算法其序贯算法可以描述如下:
P(k/k-1)=ΦP(k-1)/k-1)ΦT+GQ(k-1)GT
K(k)=P(k/k-1)HT[HP(k/k-1)HT+R]-1
P(k/k)=P(k/k-1)-K(k)HP(k/k-1)
起始估计值为:
起始估计的估计误差为;
起始估计的估计误差协方差矩阵为;
是协方差矩阵,σ表示噪声方差,,服从正态分布,u为速度方 向控制变量,其他与前述各模型的符号含义相同。
目标跟踪算法采用两种模型,即非机动模型和机动模型,无机动时滤 波器工作于正常模式(低阶模型),用一机动检测器监视机动,一旦检测到 机动,模型中立即增加一个状态变量,用机动模型跟踪直至下一次判决而 退回到正常的非机动模型,
由于采用机动的目标跟踪算法,因此涉及到的一个关键环节就是机动 检测问题。滤波器开始工作于正常模式,其输出的新息序列为v(k),令
μ(k)=αμ(k-1)+δ(k);
δ(k)=vT(k)S-1(k)v(k)
其中,S(k)是v(k)的协方差矩阵。
取△=(1-α)-1作为检测机动的有效窗口长度,机动检测的方法为:
如果μ(k)≥Th,
则认为目标在k-△-1开始有一恒定的加速度加入,这时目标模型应由 低阶模型转向高阶模型。
由高阶机动模型退回低阶非机动模型的检测方法是检测加速度估计 值是否有统计显著性意义。令
其中是加速度分量的估计值,是协方差矩阵的对应块, 如果
μa(k)<Ta
则加速度估计无显著性意义,滤波器退出机动模型。
前面提到了起始状态的初始化,下面讲一下当检测到机动时,滤波器 的初始化问题。
当在第K次检测到机动时,滤波器假定在k-△-1开始有一恒定的加速 度,在窗内的状态估计应修正如下:
首先,加速度在k-△的估计为
是对测量的预测值,
在k-△的位置估计为:
在k-△的速度估计为:
协方差矩阵修正为:
以上仅仅是示意性地描述本发明的多个实施例,本发明并非以此为限。
通过上述实施方式,一方面,增强了自动驾驶车辆在复杂路况下行驶 的安全性,有效降低车辆与周围障碍物发生碰撞的风险;另一方面,可以 实现拥堵预警和规划,前方有事故或拥堵的辛苦下,预测车辆行驶时间, 提前进行路径躲避规划,提升自动驾驶行驶效率;再一方面,可以提升车 辆编队的协同能力,可应用在例如消防车编队等特种车辆任务实施中。
根据本发明的有一个方面,还提供一种自动驾驶控制系统。如图2 所示,自动驾驶控制系统包括如图1所示的车载自动驾驶系统(设置在车 辆21、车辆22、车辆23上)及第一视角采集模块30。第一视角采集模 块30用于采集所述第一视角视频数据,并广播至所述第一视角采集模块 30预定距离内的车载自动驾驶系统。所述第一视角采集模块30例如可以是为无人机或固定悬挂摄像头。
本发明的自动驾驶控制系统能够结合朝向路面的俯视视角的第一视 角视频数据,扩展车辆可以获知的其周围对象的信息,并可根据所扩展的 信息来进行路径规划,以此提高自动驾驶的可用性和可靠性。
下面参见图8,图8是本发明的实施例的自动驾驶方法的流程图。本 发明提供的自动驾驶方法,采用如上所述车载自动驾驶系统。所述自动驾 驶方法包括:
S110:接收第一视角视频数据,所述第一视角为朝向路面的俯视视 角;
S120:采集所述车辆的第二视角视频数据,所述第二视角的视角方 向平行于路面;
S130:在所述第一视角视频数据中识别多个对象,形成第一对象集;
S140:在所述第二视角视频数据中识别多个对象,形成第二对象集, 所述第二对象集中各对象至少关联该对象与本车的相对位置;
S150:将第一对象集和第二对象集进行匹配获得第一对象集和第二 对象集的交集;
S160:所述交集中各对象与该对象与本车的相对位置,及所述第一 对象集中各对象之间的相对位置,确定以所述第一对象集为全集,所述交 集的补集中各对象与本车的相对位置;以及
S170:根据所述第一对象集及所述第二对象集中各对象与本车的相 对位置,进行路径规划。
本发明的自动驾驶方法能够结合朝向路面的俯视视角的第一视角视 频数据,扩展车辆可以获知的其周围对象的信息,并可根据所扩展的信息 来进行路径规划,以此提高自动驾驶的可用性和可靠性。
本发明实施例还提供一种自动驾驶车载设备,包括处理器。存储器, 其中存储有处理器的可执行指令。其中,处理器配置为经由执行可执行指 令来执行的自动驾驶方法的步骤。
如上,本发明的自动驾驶车载设备能够结合朝向路面的俯视视角的第 一视角视频数据,扩展车辆可以获知的其周围对象的信息,并可根据所扩 展的信息来进行路径规划,以此提高自动驾驶的可用性和可靠性。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系 统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式, 即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等), 或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“平 台”。
图9是本发明的自动驾驶车载设备的结构示意图。下面参照图9来描 述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600 仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单 元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中,存储单元存储有程序代码,程序代码可以被处理单元610执 行,使得处理单元610执行本说明书上述电子处方流转处理方法部分中 描述的根据本发明各种示例性实施方式的步骤。例如,处理单元610可 以分别执行如图8中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机 存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一 步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程 序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一 个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个 或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元 总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用 多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设 备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备 600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它 计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这 种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广 域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以 通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未 示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限 于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系 统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质,用于存储程序,程序 被执行时实现的自动驾驶方法的步骤。在一些可能的实施方式中,本发明 的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序 产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述电 子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步 骤。
如上所示,本发明的计算机可读存储介质中的程序被执行时能够结合 朝向路面的俯视视角的第一视角视频数据,扩展车辆可以获知的其周围对 象的信息,并可根据所扩展的信息来进行路径规划,以此提高自动驾驶的 可用性和可靠性。图10是本发明的计算机可读存储介质的结构示意图。 参考图10所示,描述了根据本发明的实施方式的用于实现上述方法的程 序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程 序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序 产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的 有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合 使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是 可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、 磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的 组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或 多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者 上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的 数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种 形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存 储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、 传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用 的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明 操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似 的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在 用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部 分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在 涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包 括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可 以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明的车载自动驾驶系统、方法、设备及存储介质能够结合朝向路 面的俯视视角的第一视角视频数据,扩展车辆可以获知的其周围对象的信 息,并可根据所扩展的信息来进行路径规划,以此提高自动驾驶的可用性 和可靠性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说 明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术 领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若 干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (14)

1.一种车载自动驾驶系统,设置于车辆,其特征在于,所述车载自动驾驶系统包括:
第一接收模块,用于接收第一视角视频数据,所述第一视角为朝向路面的俯视视角;
视频采集模块,用于采集所述车辆的第二视角视频数据,所述第二视角的视角方向平行于路面;
第一识别模块,用于在所述第一视角视频数据中识别多个对象,形成第一对象集;
第二识别模块,用于在所述第二视角视频数据中识别多个对象,形成第二对象集,所述第二对象集中各对象至少关联该对象与本车的相对位置;
匹配模块,用于将第一对象集和第二对象集进行匹配获得第一对象集和第二对象集的交集;
位置确定模块,根据所述交集中各对象与该对象与本车的相对位置,及所述第一对象集中各对象之间的相对位置,确定以所述第一对象集为全集,所述交集的补集中各对象与本车的相对位置;以及
路径规划模块,用于根据所述第一对象集及所述第二对象集中各对象与本车的相对位置,进行路径规划。
2.如权利要求1所述的车载自动驾驶系统,其特征在于,
所述第一识别模块还包括:
第一特征识别模块,用于识别第一对象集中的多个对象的第一特征;
所述第二识别模块还包括:
第二特征识别模块,用于识别第二对象集中的多个对象的第二特征;
其中,所述匹配模块用于将所述第一特征和第二特征进行匹配,当所述第一特征和所述第二特征匹配时,将该对象加入所述第一对象集和第二对象集的交集。
3.如权利要求2所述的车载自动驾驶系统,其特征在于,还包括:
车辆识别模块,用于自所述第一对象集及所述第二对象集的多个对象中识别车辆;
第一判断模块,用于判断以所述第一对象集为全集,所述交集的补集的多个对象中,位于本车行驶方向上的车辆数量是否大于第一预定阈值;
所述路径规划模块还用于当所述第一判断模块判断为是时,使本车进入避让模式。
4.如权利要求3所述的车载自动驾驶系统,其特征在于,还包括:
第二判断模块,用于判断所述第一对象集及所述第二对象集的多个对象中,位于本车行驶方向上的车辆之间的间距是否大于第二预定阈值;
所述路径规划模块还用于当所述第二判断模块判断为是时,使本车进入避让模式。
5.如权利要求2所述的车载自动驾驶系统,其特征在于,
行人识别模块,用于自所述第一对象集的多个对象中识别行人;
第三判断模块,用于判断以所述第一对象集为全集,所述交集的补集的多个对象中,位于本车行驶方向上是否存在行人;
所述路径规划模块还用于当所述第三判断模块判断为是时,使本车进入避让模式。
6.如权利要求3至5任一项所述的车载自动驾驶系统,其特征在于,所述避让模式包括减速避让及转向避让中的任一种或多种。
7.如权利要求3所述的车载自动驾驶系统,其特征在于,还包括:
转道判断模块,用于当车辆转道时,在所述第一对象集的多个对象中,将位于本车待转车道上,且在本车行驶方向上的多个车辆作为待计算车辆;
转道确定模块,用于根据所述第一视角视频数据确定多个待计算车辆之间的距离,当相邻待计算车辆之间的距离大于预定距离阈值时,将该相邻待计算车辆之间的位置作为转道位置;
转道参数模块,用于根据所确定的转道位置,确定本车的转道角度及转道加速度。
8.如权利要求3所述的车载自动驾驶系统,其特征在于,还包括:
车队车辆识别模块,用于根据预存车队车辆的特征,自多个车辆中识别车队车辆;
所述路径规划模块还用于根据车队车辆的行驶状态进行路径规划。
9.如权利要求1至5、7、8任一项所述的车载自动驾驶系统,其特征在于,所述第一视角视频数据由无人机或固定悬挂摄像头采集。
10.一种自动驾驶控制系统,其特征在于,包括:
如权利要求1至9任一项所述的车载自动驾驶系统;以及
第一视角采集模块,用于采集所述第一视角视频数据,并广播至所述第一视角采集模块预定距离内的车载自动驾驶系统。
11.如权利要求10所述的自动驾驶控制系统,其特征在于,所述第一视角采集模块为无人机或固定悬挂摄像头。
12.一种自动驾驶方法,采用如权利要求1至9中任意一项所述的车载自动驾驶系统,其特征在于,所述自动驾驶方法包括:
S110:接收第一视角视频数据,所述第一视角为朝向路面的俯视视角;
S120:采集所述车辆的第二视角视频数据,所述第二视角的视角方向平行于路面;
S130:在所述第一视角视频数据中识别多个对象,形成第一对象集;
S140:在所述第二视角视频数据中识别多个对象,形成第二对象集,所述第二对象集中各对象至少关联该对象与本车的相对位置;
S150:将第一对象集和第二对象集进行匹配获得第一对象集和第二对象集的交集;
S160:所述交集中各对象与该对象与本车的相对位置,及所述第一对象集中各对象之间的相对位置,确定以所述第一对象集为全集,所述交集的补集中各对象与本车的相对位置;以及
S170:根据所述第一对象集及所述第二对象集中各对象与本车的相对位置,进行路径规划。
13.一种自动驾驶车载设备,其特征在于,包括:
处理器;
存储器,其中存储有所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求12所述的自动驾驶方法的步骤。
14.一种计算机可读存储介质,用于存储程序,其特征在于,所述程序被执行时实现权利要求12所述的自动驾驶方法的步骤。
CN201910204511.8A 2019-03-18 2019-03-18 车载自动驾驶系统、方法、设备及存储介质 Active CN109871020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910204511.8A CN109871020B (zh) 2019-03-18 2019-03-18 车载自动驾驶系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910204511.8A CN109871020B (zh) 2019-03-18 2019-03-18 车载自动驾驶系统、方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109871020A true CN109871020A (zh) 2019-06-11
CN109871020B CN109871020B (zh) 2022-06-17

Family

ID=66920683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910204511.8A Active CN109871020B (zh) 2019-03-18 2019-03-18 车载自动驾驶系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109871020B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111169479A (zh) * 2020-01-14 2020-05-19 中国第一汽车股份有限公司 一种巡航控制方法、装置、系统、车辆及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330539A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
CN102395009A (zh) * 2011-06-29 2012-03-28 广东好帮手电子科技股份有限公司 具有行人识别功能的车载红外夜视系统
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
CN105700547A (zh) * 2016-01-16 2016-06-22 深圳先进技术研究院 一种基于导航飞艇的空中立体视频街景系统及实现方法
CN106200626A (zh) * 2016-08-26 2016-12-07 上海瑞言信息科技有限公司 自然驾驶数据采集系统及其安全算法
CN107240299A (zh) * 2017-07-20 2017-10-10 北京纵目安驰智能科技有限公司 自主驾驶车辆对移动物体识别以及车辆避障的方法
US20170320433A1 (en) * 2016-05-06 2017-11-09 GM Global Technology Operations LLC Vehicle guidance system
CN109029442A (zh) * 2018-06-07 2018-12-18 武汉理工大学 基于多视角匹配的定位装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330539A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
CN102395009A (zh) * 2011-06-29 2012-03-28 广东好帮手电子科技股份有限公司 具有行人识别功能的车载红外夜视系统
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN104699102A (zh) * 2015-02-06 2015-06-10 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
CN105700547A (zh) * 2016-01-16 2016-06-22 深圳先进技术研究院 一种基于导航飞艇的空中立体视频街景系统及实现方法
US20170320433A1 (en) * 2016-05-06 2017-11-09 GM Global Technology Operations LLC Vehicle guidance system
CN106200626A (zh) * 2016-08-26 2016-12-07 上海瑞言信息科技有限公司 自然驾驶数据采集系统及其安全算法
CN107240299A (zh) * 2017-07-20 2017-10-10 北京纵目安驰智能科技有限公司 自主驾驶车辆对移动物体识别以及车辆避障的方法
CN109029442A (zh) * 2018-06-07 2018-12-18 武汉理工大学 基于多视角匹配的定位装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111169479A (zh) * 2020-01-14 2020-05-19 中国第一汽车股份有限公司 一种巡航控制方法、装置、系统、车辆及存储介质

Also Published As

Publication number Publication date
CN109871020B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
US12055945B2 (en) Systems and methods for controlling an autonomous vehicle with occluded sensor zones
CN109927719B (zh) 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN109817021A (zh) 一种激光雷达路侧盲区交通参与者避让方法和装置
CN102806912B (zh) 用于连接的自主车辆和手动车辆的快速碰撞检测技术
CN109789777B (zh) 非预期脉冲变化碰撞检测器
EP3643574B1 (en) Parking control method and parking control device
RU2736960C1 (ru) Способ управления парковкой и устройство управления парковкой
US9569962B2 (en) Method for identifying a vehicle detected by a sensor device
EP3693231A1 (en) Parking control method and parking control device
CN109633688A (zh) 一种激光雷达障碍物识别方法和装置
KR20200044196A (ko) 주차 제어 장치, 주차 제어 방법 및 주차 제어 시스템
CN107571866B (zh) 用于分析传感器数据的方法
CN107933548A (zh) 一种自动泊车的车位识别方法及系统
CN109353337B (zh) 一种智能车换道阶段碰撞概率安全预测方法
CN109300324A (zh) 一种无人驾驶汽车的环境信息获取方法及装置
CN106164998A (zh) 路径预测装置
CN112606838B (zh) 一种车辆变道防碰撞控制方法及装置
US20180050694A1 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US11634118B2 (en) Parking control method and parking control apparatus
Kim et al. Probabilistic threat assessment with environment description and rule-based multi-traffic prediction for integrated risk management system
EP3693230B1 (en) Parking control method and parking control device
CN109901194A (zh) 防碰撞的车载系统、方法、设备及存储介质
KR102544637B1 (ko) 방범용 cctv를 이용한 도로상황 예측정보 제공장치 및 방법
CN111108343A (zh) 信息处理装置、可移动装置、信息处理方法、可移动装置控制方法以及程序
US11772603B2 (en) Passenger authentication and entry for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200922

Address after: 201821 J871 room 6, 1288 Yecheng Road, Jiading District, Shanghai.

Applicant after: AIWAYS AUTO (SHANGHAI) Co.,Ltd.

Address before: 334000 Jiangxi Province, Shangrao city Shangrao Economic & Technological Development Zone West Park Avenue

Applicant before: AIWAYS AUTOMOBILE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PD01 Discharge of preservation of patent
PD01 Discharge of preservation of patent

Date of cancellation: 20240108

Granted publication date: 20220617

PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20240428

Granted publication date: 20220617