CN117775024A - 一种自动驾驶方法、装置、设备及介质 - Google Patents
一种自动驾驶方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117775024A CN117775024A CN202311811305.6A CN202311811305A CN117775024A CN 117775024 A CN117775024 A CN 117775024A CN 202311811305 A CN202311811305 A CN 202311811305A CN 117775024 A CN117775024 A CN 117775024A
- Authority
- CN
- China
- Prior art keywords
- road information
- image
- information
- automatic driving
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000010365 information processing Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100480851 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TDA4 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种自动驾驶方法、装置、设备及介质，及车辆自动驾驶技术领域，应用于行车域控制器，包括：获取泊车域控制器从目标图像中提取到的第一道路信息；目标图像为泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；基于信息获取顺序确定相应的信息处理规则，基于信息处理规则并利用第一道路信息、第二道路信息和基于前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。本申请能够消除毫米波雷达和前视智能摄像头的盲区范围，提高车辆行驶安全性。
Description
技术领域
本发明涉及车辆自动驾驶技术领域，特别涉及一种自动驾驶方法、装置、设备及介质。
背景技术
NOA(Navigation on Autopilot，自动导航辅助驾驶)/NGP(Next GenerationPlatform，高速自主导航驾驶技术)功能通常基于周边传感器探测到的环境输入，车辆可以根据驾驶员对于路径的优化和选择，实现从A点到B点的特定区域内的全自动驾驶辅助功能(比如自动的上下匝道，自动变道，自动识别限速标和大曲率弯道做降速)，但是受限于传感器的特性，传感器会存在盲区以及输出的横向距离和自车车道位置不稳定等问题，会导致在国内复杂的道路驾驶场景中，如车辆紧急加塞，或者突然近距离变道等危险情形可能不会被系统识别到而引发交通事故。
例如，当前应对相邻车道的车辆突然近距离切入到自车前视摄像头或者周围四个角毫米波雷达的盲区范围内，从而导致自动驾驶感知系统没有识别到目标切入或者是识别较晚的问题，自车还是按照原有的规划控制策略正常加速或者对于切入的目标识别较晚，最终造成可能导致碰撞事故的场景。
综上，如何消除盲区范围以提高车辆行驶安全性是当前亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种自动驾驶方法、装置、设备及介质，能够消除盲区范围以提高车辆行驶安全性，其具体方案如下：
第一方面，本申请公开了一种自动驾驶方法，应用于行车域控制器，包括：
获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；
获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；
基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
可选的，所述获取泊车域控制器从目标图像中提取到的第一道路信息，包括：
获取泊车域控制器经过以太网物理通道和中央网关发送的从目标图像中提取到的第一道路信息；
相应的，获取前视智能摄像头发送的前视图像，包括：
获取前视智能摄像头经过所述以太网物理通道和所述中央网关发送的前视图像。
可选的，所述获取泊车域控制器从目标图像中提取到的第一道路信息，包括：
获取泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，并将所述临时图像投影至虚拟柱面坐标系下得到平面的柱状图，以及将所述柱状图重构为所述目标图像后，从所述目标图像中提取所述第一道路信息。
可选的，所述三维的临时图像为所述泊车域控制器将所述原始图像中的所有图像点投影至对应的鱼眼摄像头坐标系以得到三维的鱼眼图像，并根据对应的所述鱼眼摄像头的内外参确定每个所述图像点在世界坐标系的位置坐标，然后将所述世界坐标系的所述位置坐标投影至虚拟柱面相机坐标系以得到的图像。
可选的，所述泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，包括：
所述泊车域控制器基于预设公式将所述原始图像中的所有图像点投影至虚拟柱面相机坐标系以得到三维的临时图像；
其中，所述预设公式为：
其中，fx、fy为虚拟柱面相机在x轴和y轴方向的相机抖动；cx和cy为鱼眼摄像头在x轴和y轴方向的相机抖动；1为所述虚拟柱面相机和所述鱼眼摄像头在z轴方向的相机抖动；(u,v)为所述原始图像中的所述图像点；(xc,yc,zc)为(u,v)在所述临时图像中的点。
可选的，所述基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶，包括：
若同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第一信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第一信息处理规则为先处理所述第二道路信息，然后对所述前视图像进行处理以得到所述第三道路信息，并处理所述第三道路信息和所述第一道路信息；
可选的，所述基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶，包括：
若非同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第二信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第二信息处理规则为基于所述第一道路信息、所述第二道路信息和所述前视图像的信息获取顺序，对所述第一道路信息、所述第二道路信息和所述前视图像进行依序处理。
第二方面，本申请公开了一种自动驾驶装置，应用于行车域控制器，包括：
第一信息获取模块，用于获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；
第二信息获取模块，用于获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；
变道控制模块，用于基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的自动驾驶方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的自动驾驶方法。
可见，本申请获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。由此可见，本申请将用于鱼眼摄像头的拍摄内容从泊车域控制器分享至行车域控制器，行车域控制器确定自动驾驶策略以进行自动驾驶的依据中增加了鱼眼摄像头的拍摄内容，鱼眼摄像头、毫米波雷达和前视智能摄像头的融合消除了盲区范围，能够及时了解车辆周围环境，提高车辆行驶安全性；另外，基于状图投影方法去切向畸变的过程，使得鱼眼摄像头拍摄的内容更加清晰，有利于提高检测准确度，进一步确保自动驾驶的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种自动驾驶方法流程图；
图2为本申请公开的一种摄像头及雷达安装位置示意图；
图3为本申请公开的一种柱状图示意图；
图4为本申请公开的一种基于柱状图的图像转换示意图；
图5为本申请公开的一种具体的基于柱状图的图像转换的公式示意图
图6为本申请公开的一种自动驾驶系统架构示意图；
图7为本申请公开的一种具体的自动驾驶方法流程图；
图8为本申请公开的一种基于毫米波雷达与前视智能摄像头的区域探测示意图；
图9为本申请公开的一种基于毫米波雷达、前视智能摄像头和鱼眼摄像头的区域探测示意图；
图10为本申请公开的一种具体车辆超车示意图；
图11为本申请公开的另一种具体的车辆超车示意图；
图12为本申请公开的一种自动驾驶装置结构示意图；
图13为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
NOA/NGP功能通常基于周边传感器探测到的环境输入，车辆可以根据驾驶员对于路径的优化和选择，实现从A点到B点的特定区域内的全自动驾驶辅助功能(比如自动的上下匝道，自动变道，自动识别限速标和大曲率弯道做降速)，但是受限于传感器的特性，传感器会存在盲区以及输出的横向距离和自车车道位置不稳定等问题，会导致在国内复杂的道路驾驶场景中，如车辆紧急加塞，或者突然近距离变道等危险情形可能不会被系统识别到而引发交通事故。
例如，当前应对相邻车道的车辆突然近距离切入到自车前视摄像头或者周围四个角毫米波雷达的盲区范围内，从而导致自动驾驶感知系统没有识别到目标切入或者是识别较晚的问题，自车还是按照原有的规划控制策略正常加速或者对于切入的目标识别较晚，最终造成可能导致碰撞事故的场景
为此，本申请实施例提出一种自动驾驶方案，能够消除盲区范围以提高车辆行驶安全性。
本申请实施例公开了一种自动驾驶方法，参见图1所示，应用于行车域控制器，该方法包括：
步骤S11：获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像。
本实施例中，所述目标图像为所述泊车域控制器通过鱼眼摄像头基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像
参见图2所示，为一种摄像头及雷达安装位置示意图。现有方法中，整个车辆系统架构是用一颗Smart Camera(其中包含感知和规划控制模块芯片的智能摄像头)加四颗角毫米波雷达实现自动驾驶行车为L2+等级的自动驾驶辅助功能，用另外一个连着4颗鱼眼摄像头加12路USS超声波雷达的TDA4芯片的泊车域控制器实现自动驾驶等级为L2的泊车功能。需要说明的是：市面上基本上所有的行车和泊车的系统功能方案都是按照行车域跟泊车域功能是解耦的，从整车功能层面来看，造成了一些针对环境输入信息的资源浪费以及整体功能的冗余度不够(行车不会用到泊车给过来的道路信息，泊车也不会用到行车给过来的道路信息)。本申请在行车原有的功能框架下中加入四颗鱼眼摄像头针对周边环境进行近乎360°内无死角的搜索50m范围内的目标物，将目标物通过以太网物理接口SOME/IP(Scalabe service-Oriented MiddlewarE over IP protocol)的传输协议输出给到SmartCamera做NOA(Navigate on autopilot，借助于高精地图提供的地图信息，自动完成高速高架场景下的自动变道以及自动上下匝道的功能)功能自动变道的冗余策略。丰富了功能应用的场景，总体上提高了行车安全。SOME/IP为以太网osi(Open System Interconnection，开放式系统互联)系统架构下的应用层传输协议；
需要指出的是，还可以采用其它安装方式在不同位置安装。
需要指出的是，引入鱼眼摄像头的目的在于：鱼眼的FOV(Field of Vision，视场角)开角比较大，大于180°(水平最大可以到195°，垂直可达175°)，所以检测目标障碍物几乎不存在盲区，在合理的多任务视觉部分的深度学习算法支持下，可以达到20米的检测距离，和角毫米波雷达在行车功能实现部分互为补偿，目前在研行车泊车单独用两个盒子各自实现行车和泊车的功能，在研项目中的鱼眼相机为300万像素，感知的目标物最远可以覆盖到50m左右的距离(随着像素的提升覆盖的距离可以更长)，且有非常广阔的视场角完全可以覆盖NOA场景中经常遇到的四线三道的中车辆来回穿插的场景。
本实施例中，所述获取泊车域控制器从目标图像中提取到的第一道路信息，包括：获取泊车域控制器经过以太网物理通道和中央网关发送的从目标图像中提取到的第一道路信息。
本实施例中，图像端产生的主要畸变有两种分别为径向畸变和切向畸变，但是对于鱼眼相机来说主要产生的是切向畸变，切向畸变主要采用柱状模型的方式进行处理，柱状模型主要特点是处理后的图像像素点分布质量会非常均匀，细节的真实度较高，应用范围较广。
本实施例中，所述泊车域控制器从所述目标图像中提取第一道路信息的过程，包括：所述泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，并将所述临时图像投影至虚拟柱面坐标系下得到平面的柱状图，以及将所述柱状图重构为所述目标图像，并从所述目标图像中提取所述第一道路信息。
需要指出的是，参见图3所示，为一种柱状图示意图；图中，横轴表示像素值的范围，纵轴表示像素数量或频率，柱状图中高峰表示图像中像素值较多的区域，低谷表示像素值较少的区域。柱状图还可以用于图像增强和分割等图像处理任务，通过调整像素值分布来改善图像质量或提取感兴趣的图像区域。从而提取出相应的元素(如上柱状图中的车，车位线，路沿，交通标识等)。
本实施例中，所述泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，包括：所述泊车域控制器将所述原始图像中的所有图像点投影至对应的鱼眼摄像头坐标系以得到三维的鱼眼图像，并根据对应的所述鱼眼摄像头的内外参确定每个所述图像点在世界坐标系的位置坐标，然后将所述世界坐标系的所述位置坐标投影至虚拟柱面相机坐标系以得到三维的临时图像。
需要指出的是，参见图4所示，为一种基于柱状图的图像转换示意图；图中，以原始图像的图像点(u，v)为基础点从2D到3D逆投影到相机坐标系，然后根据相机内外参，重构出世界坐标系下的图像点的位置(xc,yc,zc)，然后三维坐标系下的投影变换到柱状图对应的相机图像中，对柱状图对应的相机图像进行从3D到2D的投影变换后得到矫正后的基础点为(u’，v’)的图像，该图像通过重构的方式恢复出的原始图像对应的目标图像。此过程中去除了切向畸变。
需要指出的是，进行图像的变换时，临时图像的分辨率为鸟瞰图的分辨率，临时图像的主点为鸟瞰图分辨率的中心。
本实施例中，所述泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，包括：
所述泊车域控制器基于预设公式将所述原始图像中的所有图像点投影至虚拟柱面相机坐标系以得到三维的临时图像；
其中，所述预设公式为：
其中，fx、fy为虚拟柱面相机在x轴和y轴方向的相机抖动；cx和cy为鱼眼摄像头在x轴和y轴方向的相机抖动；所述虚拟柱面相机和所述鱼眼摄像头在z轴方向的相机抖动为1；(u,v)为所述原始图像中的所述图像点；(xc,yc,zc)为(u,v)在所述临时图像中的点。
需要指出的是，zc＝1。
需要指出的是，更加具体的公式如下所示：
xc＝zc tanφ；
上述公式具体参见图5所示，图5为一种具体的基于柱状图的图像转换的公式示意图；其中，(u,v)表示针孔相机平面主点(像素坐标系下)，fx、fy、cx和cy分别标识制造安装过程中的固定误差，也称为偏斜参数，该点乘以圆柱坐标系下得半径距离可以将对应的投影到柱面坐标。ρ主要是进行多项式的近似关系，柱面相机2D到3D空间得过程是不确定的，这时候用ρ标识，对于给定得柱面图2D位置(u,v)在给定ρ得条件下，由上述公式可以计算柱面坐标系下的3D相机坐标(xc,yc,zc)。
步骤S12：获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像。
本实施例中，泊车域控制器与行车域控制器之间通过中央网关传输信息，且泊车域控制器与中央网关之间和行车域控制器与中央网关之间都是通过以太网100base-T1的物理通道通过标准的SOME/IP传输协议传输信息的。100base-T1为以太网osi系统架构下的物理层接口协议。
本实施例中，获取前视智能摄像头发送的前视图像，包括：获取前视智能摄像头经过所述以太网物理通道和所述中央网关发送的前视图像。
需要指出的是，参见图6所示，为一种自动驾驶系统架构示意图；图中，第一，鱼眼摄像头通过串行器将原始的raw data数据(摄像头拍到的原始数据)经由ISP(ImageSignal Processor，影像处理器)图像信号处理模块输出为YUV格式图像数据后传输到域控的图像处理模块(用到了Ser和Des，Ser将多路摄像头处理后的图像数据需要合并成一路输出，Des将多路摄像头输出过来的图像数据需要分成多路输入给域控制器处理)其中，鱼眼摄像头将图像传输至泊车域控制器时，Ser和Des之间为LVDS(Low Voltage DifferentialSignaling，低压差分信号传输)图像传输协议；第二，域控端通过解串器将YUV图像数据处理后通过视觉算法进行解析，通过俯视图从图中提取出相应的特征元素(也即根据柱状图方法去除畸变后提取特征元素)；其中，特征元素包括车道线和障碍物等，所述障碍物包括机动车，非机动车，人和其他障碍物等；第三，泊车域控制器通过以太网100base-T1的物理通道通过标准的SOME/IP的传输协议，按照定义好的SOME/IP协议矩阵将鱼眼摄像头感知到的特征元素(包含人，车，非机动车，车道线，其他障碍物等)先传到中央网关；第四，前视智能摄像头也通过100base-T1物理通道以SOME/IP传输协议接收通过网关中转之后的这部分信号，同时结合角雷达(毫米波雷达)给过来的道路信息，做相邻车道自动驾驶的策略判断，以便进行自动驾驶；其中，角雷达发送数据至行车域控制器是通过Private Can(私can标准传输协议)，其中，can为Controller Area Network，控制器局部网。
需要指出的是，鱼眼摄像头都是拍摄连续帧，以确定道路信息，因此上述用到了串行器和解串器。
步骤S13：基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
可见，本申请获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。由此可见，本申请将用于鱼眼摄像头的拍摄内容从泊车域控制器分享至行车域控制器，行车域控制器确定自动驾驶策略以进行自动驾驶的依据中增加了鱼眼摄像头的拍摄内容，鱼眼摄像头、毫米波雷达和前视智能摄像头的融合消除了盲区范围，能够及时了解车辆周围环境，提高车辆行驶安全性；另外，基于状图投影方法去切向畸变的过程，使得鱼眼摄像头拍摄的内容更加清晰，有利于提高检测准确度，进一步确保自动驾驶的安全。
本申请实施例公开了一种具体的自动驾驶方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图7所示，具体包括：
步骤S21：获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像。
步骤S22：获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像。
步骤S23：若同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第一信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第一信息处理规则为先处理所述第二道路信息，然后对所述前视图像进行处理以得到所述第三道路信息，并处理所述第三道路信息和所述第一道路信息。
步骤S24：若非同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第二信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第二信息处理规则为基于所述第一道路信息、所述第二道路信息和所述前视图像的信息获取顺序，对所述第一道路信息、所述第二道路信息和所述前视图像进行依序处理。
本实施例中，根据获取时间的不同，所述第一道路信息、所述第二道路信息和所述前视图像的顺序也是不同的，同时获取时，毫米波雷达的第二道路信息优先处理，鱼眼摄像头的第二道路信息最后处理，获取时间不同时依据获取顺序处理。
需要指出的是，当获取所述第二道路信息和所述前视图像后，却在预设时间内未获取第一道路信息，则直接基于所述前视图像得到所述第三道路信息，并基于所述第二道路信息和所述第三道路信息确定自动驾驶策略以进行自动驾驶。因为鱼眼摄像机是辅助的作用，重点还是在于所述第二道路信息和所述第三道路信息，因此未获取第一道路信息时，也可进行自动驾驶。
需要指出的是，当获取了第一道路信息，却没有获取所述第二道路信息和所述前视图像时，不会发生自动驾驶。
可见，本申请获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；若同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第一信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第一信息处理规则为先处理所述第二道路信息，然后对所述前视图像进行处理以得到所述第三道路信息，并处理所述第三道路信息和所述第一道路信息；若非同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第二信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第二信息处理规则为基于所述第一道路信息、所述第二道路信息和所述前视图像的信息获取顺序，对所述第一道路信息、所述第二道路信息和所述前视图像进行依序处理。由此可见，本申请由此可见，本申请将用于鱼眼摄像头的拍摄内容从泊车域控制器分享至行车域控制器，行车域控制器确定自动驾驶策略以进行自动驾驶的依据中增加了鱼眼摄像头的拍摄内容，鱼眼摄像头、四个毫米波雷达和前视智能摄像头的融合消除了盲区范围，能够及时了解车辆周围环境，提高车辆行驶安全性；另外，基于状图投影方法去切向畸变的过程，使得鱼眼摄像头拍摄的内容更加清晰，有利于提高检测准确度，进一步确保自动驾驶的安全；另外，本申请规定了同时获取和非同时获取的处理顺序，使得本方案更具有时序性。
在一种具体实施例中，车道线如下表所示：
表一
在一种具体实施例中，目标物也即障碍物的输出内容如下表所示：
表二
在一种具体实施例中，参见图8所示，为一种基于毫米波雷达与前视智能摄像头的区域探测示意图；如果按照传统传感器配置搭配的NOA功能，一方面由于毫米波雷达与摄像头探测的区域有限，所以系统的总归探测是有大量盲区存在的，另外一方面由于毫米波雷达本身也存在较大的检测盲区导致整个系统的NOA功能鲁棒性较差，一旦相邻车道发生极端近距离的穿插，可能会造成系统无法识别到，还是按照原来无车的场景规划控制自车行驶，从而引发碰撞事故。
具体参见图9所示，一种基于毫米波雷达、前视智能摄像头和鱼眼摄像头的区域探测示意图；除了安装支架导致的部分遮挡区域造成的仿真实车上的鱼眼摄像头的盲区(颜色最深部分)，其他区域是仿真鱼眼摄像头能够探测的区域(如图中的前后左右四个类扇形区域)，从图中可以看初，单用毫米波雷达，车辆的盲区范围还是存在，但是加入了鱼眼摄像头之后，可以覆盖车身周边360°，纵向20m，横向14m范围内无死角的区域探测。
具体参见图10所示，为一种具体车辆超车示意图；参见图11所示，为另一种具体的车辆超车示意图；图10中，展示了近距离超越普通轿车时，通过结合鱼眼摄像头(3M)传递的道路信息，在超车过程中经过周边轿车时，车辆的FreeSpace(可通行区域)发生了明显的变化，排除掉了轿车所在位置；图11中，展示了近距离超越又长又高的卡车时，通过结合鱼眼摄像头(3M)传递的道路信息，在超车过程中经过卡车时，车辆的FreeSpace同样发生了明显的变化，排除掉了卡车所在位置。
相应的，本申请实施例还公开了一种自动驾驶装置，应用于行车域控制器，参见图12所示，该装置包括：
第一信息获取模块11，用于获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；
第二信息获取模块12，用于获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；
变道控制模块13，用于基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
其中，关于上述各个模块更加具体的工作过程可以参数前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。由此可见，本申请将用于鱼眼摄像头的拍摄内容从泊车域控制器分享至行车域控制器，行车域控制器确定自动驾驶策略以进行自动驾驶的依据中增加了鱼眼摄像头的拍摄内容，鱼眼摄像头、毫米波雷达和前视智能摄像头的融合消除了盲区范围，能够及时了解车辆周围环境，提高车辆行驶安全性；另外，基于状图投影方法去切向畸变的过程，使得鱼眼摄像头拍摄的内容更加清晰，有利于提高检测准确度，进一步确保自动驾驶的安全。
进一步的，本申请实施例还提供了一种电子设备。图13是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图13为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、显示屏23、输入输出接口24、通信接口25、电源26和通信总线27。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的自动驾驶方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源26用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括计算机程序221，存储方式可以是短暂存储或者永久存储。其中，计算机程序221除了包括能够用于完成前述任一实施例公开的由电子设备20执行的自动驾驶方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的自动驾驶方法。
关于该方法的具体步骤可以参数前述实施例中公开的相应内容，在此不再进行赘述。
本申请书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种自动驾驶方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种自动驾驶方法，其特征在于，应用于行车域控制器，包括：
获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；
获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；
基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
2.根据权利要求1所述的自动驾驶方法，其特征在于，所述获取泊车域控制器从目标图像中提取到的第一道路信息，包括：
获取泊车域控制器经过以太网物理通道和中央网关发送的从目标图像中提取到的第一道路信息；
相应的，获取前视智能摄像头发送的前视图像，包括：
获取前视智能摄像头经过所述以太网物理通道和所述中央网关发送的前视图像。
3.根据权利要求1所述的自动驾驶方法，其特征在于，所述获取泊车域控制器从目标图像中提取到的第一道路信息，包括：
获取泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，并将所述临时图像投影至虚拟柱面坐标系下得到平面的柱状图，以及将所述柱状图重构为所述目标图像后，从所述目标图像中提取所述第一道路信息。
4.根据权利要求3所述的自动驾驶方法，其特征在于，所述三维的临时图像为所述泊车域控制器将所述原始图像中的所有图像点投影至对应的鱼眼摄像头坐标系以得到三维的鱼眼图像，并根据对应的所述鱼眼摄像头的内外参确定每个所述图像点在世界坐标系的位置坐标，然后将所述世界坐标系的所述位置坐标投影至虚拟柱面相机坐标系以得到的图像。
5.根据权利要求4所述的自动驾驶方法，其特征在于，所述泊车域控制器将所述原始图像中的所有所述图像点投影至虚拟柱面相机坐标系以得到三维的临时图像，包括：
所述泊车域控制器基于预设公式将所述原始图像中的所有图像点投影至虚拟柱面相机坐标系以得到三维的临时图像；
其中，所述预设公式为：
其中，fx、fy为虚拟柱面相机在x轴和y轴方向的相机抖动；cx和cy为鱼眼摄像头在x轴和y轴方向的相机抖动；1为所述虚拟柱面相机和所述鱼眼摄像头在z轴方向的相机抖动；(u,v)为所述原始图像中的所述图像点；(xc,yc,zc)为(u,v)在所述临时图像中的点。
6.根据权利要求1至5任一项所述的自动驾驶方法，其特征在于，所述基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶，包括：
若同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第一信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第一信息处理规则为先处理所述第二道路信息，然后对所述前视图像进行处理以得到所述第三道路信息，并处理所述第三道路信息和所述第一道路信息。
7.根据权利要求1至5任一项所述的自动驾驶方法，其特征在于，所述基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶，包括：
若非同时得到所述第一道路信息、所述第二道路信息和所述前视图像，则基于第二信息处理规则对所述第一道路信息、所述第二道路信息和所述前视图像进行处理确定自动驾驶策略以进行自动驾驶；所述第二信息处理规则为基于所述第一道路信息、所述第二道路信息和所述前视图像的信息获取顺序，对所述第一道路信息、所述第二道路信息和所述前视图像进行依序处理。
8.一种自动驾驶装置，其特征在于，应用于行车域控制器，包括：
第一信息获取模块，用于获取泊车域控制器从目标图像中提取到的第一道路信息；所述目标图像为所述泊车域控制器基于柱状图投影方法对采集到的原始图像进行去畸变处理后得到的图像；
第二信息获取模块，用于获取毫米波雷达发送的第二道路信息以及前视智能摄像头发送的前视图像；
变道控制模块，用于基于信息获取顺序确定相应的信息处理规则，基于所述信息处理规则并利用所述第一道路信息、所述第二道路信息和基于所述前视图像得到的第三道路信息确定自动驾驶策略以进行自动驾驶；其中，道路信息包括障碍物和/或车道线。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的自动驾驶方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的自动驾驶方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811305.6A CN117775024A (zh) | 2023-12-26 | 2023-12-26 | 一种自动驾驶方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811305.6A CN117775024A (zh) | 2023-12-26 | 2023-12-26 | 一种自动驾驶方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117775024A true CN117775024A (zh) | 2024-03-29 |
Family
ID=90399613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311811305.6A Pending CN117775024A (zh) | 2023-12-26 | 2023-12-26 | 一种自动驾驶方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117775024A (zh) |
-
2023
- 2023-12-26 CN CN202311811305.6A patent/CN117775024A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10628690B2 (en) | Systems and methods for automated detection of trailer properties | |
| WO2021259344A1 (zh) | 车辆检测方法、装置、车辆和存储介质 | |
| US8630806B1 (en) | Image processing for vehicle control | |
| US9734719B2 (en) | Method and apparatus for guiding a vehicle in the surroundings of an object | |
| CN111595357B (zh) | 可视化界面的显示方法、装置、电子设备和存储介质 | |
| JP2019096314A (ja) | 車両位置推定装置、駐車場、および車両制御装置 | |
| DE112019001657T5 (de) | Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper | |
| DE112018004507T5 (de) | Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm | |
| JP2019040459A (ja) | 自動運転装置 | |
| JP2022517940A (ja) | ポットホール検出システム | |
| WO2020188928A1 (ja) | データ通信に基づいて意思決定を行うシステム | |
| CN112389419B (zh) | 识别停车位的方法和停车辅助系统 | |
| CN111178122A (zh) | 道路场景中三维车道的检测及平面表示 | |
| US20190180117A1 (en) | Roadside object recognition apparatus | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| JP6683245B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム | |
| JP2022139524A (ja) | 運転支援装置及び記録媒体 | |
| Behringer et al. | Results on visual road recognition for road vehicle guidance | |
| CN117775024A (zh) | 一种自动驾驶方法、装置、设备及介质 | |
| JP7340579B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
| JP7414782B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
| DE112017003859T5 (de) | Kommunikationseinheit und Kommunikationssystem | |
| DE112020001581T5 (de) | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm | |
| JP2020109561A (ja) | 車両の制御装置 | |
| CN113665573B (zh) | 无保护左转工况下车辆行驶方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |