CN114332821A - 决策信息获取方法、装置、终端及存储介质 - Google Patents
决策信息获取方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN114332821A CN114332821A CN202111666627.7A CN202111666627A CN114332821A CN 114332821 A CN114332821 A CN 114332821A CN 202111666627 A CN202111666627 A CN 202111666627A CN 114332821 A CN114332821 A CN 114332821A
- Authority
- CN
- China
- Prior art keywords
- lane
- lane line
- information
- area
- decision information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种决策信息获取方法、装置、终端及存储介质,属于自动驾驶领域。方法包括:获取当前车辆在行驶过程中拍摄的道路图像;在道路图像中,确定第一目标区域和车道线信息,第一目标区域为道路图像中的不可行驶区域,车道线信息用于指示道路图像中的各车道线;基于车道线信息和第一目标区域,确定决策信息。上述方案,通过从当前车辆行驶过程中拍摄的道路图像中,确定第一目标区域和车道线信息,能够确定道路上的车道线在道路图像中的位置,还能够基于车道线和不可行驶区域,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。
Description
技术领域
本申请涉及自动驾驶领域,特别涉及一种决策信息获取方法、装置、终端及存储介质。
背景技术
随着无人驾驶技术的发展,无人驾驶汽车已能够处理大多数的交通场景。然而,在当前车辆自动驾驶的过程中,当前车辆与车道上的障碍物的博弈是无处不在的。因此,对障碍物进行检测和预测以控制当前车辆安全的行驶,是非常重要的研究方向。
目前,在对障碍物进行检测时,通常是将障碍物简化为一个矩形框(boundingbox)。这种检测方法忽略了障碍物的实际形状,会导致检测结果不准确,出现漏检的情况,进而影响对当前车辆的控制决策,无法控制当前车辆有效的躲避障碍物。
发明内容
本申请实施例提供了一种决策信息获取方法、装置、终端及存储介质,能够基于车道线和不可行驶区域,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。所述技术方案如下:
一方面,提供了一种决策信息获取方法,所述方法包括:
获取当前车辆在行驶过程中拍摄的道路图像;
在所述道路图像中,确定第一目标区域和车道线信息,所述第一目标区域为所述道路图像中的不可行驶区域,所述车道线信息用于指示所述道路图像中的各车道线;
基于所述车道线信息和所述第一目标区域,确定决策信息,所述决策信息用于指示如何控制所述当前车辆,以使所述当前车辆避开所述第一目标区域。
在一些实施例中,所述基于所述车道线信息和所述第一目标区域,确定所述决策信息,包括:
从所述车道线信息中,获取第一车道线和第二车道线,所述第一车道线为所述当前车辆所在车道左侧的车道线,所述第二车道线为所述当前车辆所在车道右侧的车道线;
基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息。
在一些实施例中,所述基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息,包括:
基于所述第一车道线,确定第一车道区域,所述第一车道区域为以所述第一车道线为中心的矩形区域;
基于所述第二车道线,确定第二车道区域,所述第二车道区域为以所述第二车道线为中心的矩形区域;
根据所述第一车道区域和所述第二车道区域中的至少一个与所述第一目标区域之间的位置关系,确定第一决策信息,所述第一决策信息用于指示检测到有车辆汇入当前车道,控制所述当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。
在一些实施例中,所述基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息,包括:
基于所述第一车道线和所述第二车道线,确定车道中心线,所述车道中心线为所述当前车辆所在车道的中心线;
根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,所述第二决策信息用于指示当前车道存在障碍物,控制所述当前车辆降低速度或者切换车道。
在一些实施例中,所述根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,包括:
在所述第一车道线或所述第二车道线部分缺失的情况下,基于所述车道中心线与所述第一目标区域的边界之间相对距离的变化趋势,确定所述障碍物的障碍物类型,所述障碍物类型包括静态障碍物和动态障碍物;
在所述障碍物类型为静态障碍物的情况下,确定所述第二决策信息。
在一些实施例中,所述方法还包括:
在所述障碍物类型为动态障碍物的情况下,确定第三决策信息,所述第三决策信息用于指示当前处于缓慢行驶状态,控制所述当前车辆保持当前车道行驶。
在一些实施例中,所述方法还包括:
在未获取到所述车道线信息的情况下,确定第四决策信息,所述第四决策信息用于提示驾驶人员控制所述当前车辆。
在一些实施例中,所述方法还包括:
以所述当前车辆所在的位置为原点,构建道路坐标系;
基于所述道路坐标系,在所述道路图像中确定各车道线的位置,得到所述车道线信息。
在一些实施例中,所述方法还包括:
基于区域检测模型对所述道路图像进行检测,得到所述道路图像对应的图像布尔矩阵,所述图像布尔矩阵中的元素用于表示所述道路图像中对应像素的布尔值,所述区域检测模型用于检测输入图像中的可行驶区域;
将所述图像布尔矩阵中取值为0的像素对应的图像区域,确定为所述第一目标区域。
在一些实施例中,所述方法还包括:
获取样本图像以及所述样本图像的标注信息,所述标注信息用于指示所述样本图像中的可行驶区域和不可行驶区域;
以所述标注信息为监督信息,基于所述样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
另一方面,提供了一种决策信息获取装置,所述装置包括:
第一获取模块,用于获取当前车辆在行驶过程中拍摄的道路图像;
感知模块,用于在所述道路图像中,确定第一目标区域和车道线信息,所述第一目标区域为所述道路图像中的不可行驶区域,所述车道线信息用于指示所述道路图像中的各车道线;
决策模块,用于基于所述车道线信息和所述第一目标区域,确定决策信息,所述决策信息用于指示如何控制所述当前车辆,意识所述当前车辆避开所述第一目标区域。
在一些实施例中,
所述决策模块,包括:
获取单元,用于从所述车道线信息中,获取第一车道线和第二车道线,所述第一车道线为所述当前车辆所在车道左侧的车道线,所述第二车道线为所述当前车辆所在车道右侧的车道线;
决策单元,用于基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息。
在一些实施例中,所述决策单元,用于基于所述第一车道线,确定第一车道区域,所述第一车道区域为以所述第一车道线为中心的矩形区域;基于所述第二车道线,确定第二车道区域,所述第二车道区域为以所述第二车道线为中心的矩形区域;根据所述第一车道区域和所述第二车道区域中的至少一个与所述第一目标区域之间的位置关系,确定第一决策信息,所述第一决策信息用于指示检测到有车辆汇入当前车道,控制所述当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。
在一些实施例中,所述决策单元,用于基于所述第一车道线和所述第二车道线,确定车道中心线,所述车道中心线为所述当前车辆所在车道的中心线;根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,所述第二决策信息用于指示当前车道存在障碍物,控制所述当前车辆降低速度或者切换车道。
在一些实施例中,所述决策单元,用于在所述第一车道线或所述第二车道线部分缺失的情况下,基于所述车道中心线与所述第一目标区域的边界之间相对距离的变化趋势,确定所述障碍物的障碍物类型,所述障碍物类型包括静态障碍物和动态障碍物;在所述障碍物类型为静态障碍物的情况下,确定所述第二决策信息。
在一些实施例中,所述决策单元,还用于在所述障碍物类型为动态障碍物的情况下,确定第三决策信息,所述第三决策信息用于指示当前处于缓慢行驶状态,控制所述当前车辆保持当前车道行驶。
在一些实施例中,所述决策模块,还用于在未获取到所述车道线信息的情况下,确定第四决策信息,所述第四决策信息用于提示驾驶人员控制所述当前车辆。
在一些实施例中,所述感知模块,还用于以所述当前车辆所在的位置为原点,构建道路坐标系;基于所述道路坐标系,在所述道路图像中确定各车道线的位置,得到所述车道线信息。
在一些实施例中,所述感知模块,还用于基于区域检测模型对所述道路图像进行检测,得到所述道路图像对应的图像布尔矩阵,所述图像布尔矩阵中的元素用于表示所述道路图像中对应像素的布尔值,所述区域检测模型用于检测输入图像中的可行驶区域;将所述图像布尔矩阵中取值为0的像素对应的图像区域,确定为所述第一目标区域。
在一些实施例中,所述装置还包括:
第二获取模块,用于获取样本图像以及所述样本图像的标注信息,所述标注信息用于指示所述样本图像中的可行驶区域和不可行驶区域;
训练模块,用于以所述标注信息为监督信息,基于所述样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的决策信息获取方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一段计算机程序,所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中的决策信息获取方法。
另一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该终端执行上述各个方面的各种可选实现方式中提供的决策信息获取方法。
本申请实施例提供的技术方案,通过从当前车辆行驶过程中拍摄的道路图像中,确定第一目标区域和车道线信息,能够确定道路上的车道线在道路图像中的位置,还能够确定道路上的障碍物在道路图像中对应的不可行驶区域,进而能够基于车道线和不可行驶区域,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的自动驾驶系统的结构框图;
图2是根据本申请实施例提供的一种决策信息获取方法的流程图;
图3是根据本申请实施例提供的另一种决策信息获取方法的流程图;
图4是根据本申请实施例提供的一种道路坐标系的示意图;
图5是根据本申请实施例提供的另一种决策信息获取方法的流程图;
图6是根据本申请实施例提供的一种决策信息获取装置的框图;
图7是根据本申请实施例提供的另一种决策信息获取装置的框图;
图8是根据本申请实施例提供的一种终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
在本申请的具体实施方式中,涉及到样本图像、测试图像和道路图像等相关的数据,当本申请实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以下介绍本申请实施例涉及的术语:
RepVGG:Making VGG-style ConvNets Great Again(RepVGG:让VGG网络再次变成最优秀的网络,是一篇学术论文),由于训练时间和推理时间体系结构的结构是通过一种结构再参数化技术实现的,因此模型被命名为RepVGG。其中,VGG网络是牛津大学计算机视觉组(Visual Geometry Group)和谷歌深度思维(Google DeepMind)公司的研究员一起研发出了新的深度卷积神经网络。
U-Net:Convolutional Networks for Biomedical Image Segmentation(U-Net:生物医学图像分割的卷积网络,是一篇学术论文),U-Net是比较早的使用全卷积网络进行语义分割的算法之一,论文中使用包含压缩路径和扩展路径的对称U形结构在当时非常具有创新性,且一定程度上影响了后面若干个分割网络的设计,该网络的名字也是取自其U形形状。
ERFNet:Efficient Residual Factorized ConvNet for Real-Time SemanticSegmentation(ERFNet:用于实时语义分割的有效残差分解卷积神经网络,是一篇学术论文),ERFNet属于比较早的实时的语义分割网络。
PSPNet(Pyramid Scene Parsing Network,金字塔场景解析网络),核心模块是金字塔池化模块(pyramid pooling module),它能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。
图1是根据本申请实施例提供的自动驾驶系统100的结构框图。该自动驾驶系统部署在无人驾驶车辆中,本申请实施例中的当前车辆即为部署有该自动驾驶系统的无人驾驶车辆。该自动价值系统包括相机101、控制器102以及终端103等。其中相机101用于感知当前车辆周围的环境、控制器102用于控制当前车辆,终端103用于预测其他车辆的行驶轨迹以及规划当前车辆的行驶策略。
终端103通过无线网络或有线网络与相机101以及控制器102相连。终端103用于对相机101等数据采集模块采集到的数据进行处理,然后基于处理结果生成控制信号,由控制器102基于该控制信号控制车辆。该终端103可以为车载终端,也可以为基于数据接口挂载的外置终端,本申请实施例对此不进行限制。本申请实施例提供的决策信息获取方法,可以由自动驾驶系统执行,也可以由该终端103执行。
在一些实施例中,上述相机101包括双目相机、三目相机以及多目相机,用于在当前车辆行驶过程中采集图像。需要说明的是,终端103能够基于无人驾驶车辆在行驶过程中采集到的数据,确定当前车辆的车辆信息以及道路上其他车辆的车辆信息。
图2是根据本申请实施例提供的一种决策信息获取方法的流程图,如图2所示,在本申请实施例中以由车载终端执行为例进行说明。该决策信息获取方法包括以下步骤:
201、获取当前车辆在行驶过程中拍摄的道路图像。
在本申请实施例中,该车载终端为图1所示的终端103,该终端103部署在当前车辆上。当前车辆在行驶过程中,能够通过拍摄设备来拍摄道路图像,如该拍摄设备为图1中的相机101。该道路图像包括当前车辆前方、车辆侧方的信息,还可以包括车辆后方的信息。
202、在道路图像中,确定第一目标区域和车道线信息,该第一目标区域为道路图像中的不可行驶区域,该车道线信息用于指示道路图像中的各车道线。
在本申请实施例中,车载终端能够对道路图像进行图像分割,在该道路图像中分割出第一目标区域和第二目标区域,也即将该道路图像中的不可行驶区域确定为第一目标区域,将该道路图像中的可行驶区域确定为第二目标区域。终端能够对道路图像进行识别,识别该道路图像中的车道线,从而在道路图像中确定各个车道线的位置。
203、基于车道线信息和第一目标区域,确定决策信息。
在本申请实施例中,车载终端在道路图像中确定第一目标区域之后,能够根据车道线信息判断当前车辆是否会经过该不可行驶区域,进而根据判断结果,确定决策信息,该决策信息用于指示如何控制当前车辆,如减速或者切换车道等,以使当前车辆避开第一目标区域。
本申请实施例提供的技术方案,通过从当前车辆行驶过程中拍摄的道路图像中,确定第一目标区域和车道线信息,能够确定道路上的车道线在道路图像中的位置,还能够确定道路上的障碍物在道路图像中对应的不可行驶区域,进而能够基于车道线和不可行驶区域,,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。
上述图2示例性的示出了本申请实施例提供的决策信息获取方法的主要流程,下面基于一种应用场景,进一步的介绍该决策信息获取方法。图3是根据本申请实施例提供的另一种决策信息获取方法的流程图,如图3所示,在本申请实施例中以由车载终端执行为例进行说明。该决策信息获取方法包括以下步骤:
301、获取样本图像以及样本图像的标注信息,标注信息用于指示样本图像中的可行驶区域和不可行驶区域。
在本申请实施例中,车载终端能够获取样本数据集,该样本数据集包括多个已标注的样本图像,该样本数据集中包括的样本图像为涉及多种行驶场景的道路图像,如白天场景、夜晚场景、雨天场景、堵车场景以及不堵车场景等。车载终端获取的样本图像为样本数据集中的任一样本图像,该样本图像的标注信息能够指示该样本图像中哪些位置属于可行驶区域以及哪些位置属于不可行驶区域。其中,可行驶区域是指车辆能够正常行驶的区域,如路面;不可行驶区域是指车辆不能行驶的区域,如天空、路边的草坪以及被其他车辆遮挡的路面等均是样本图像中的不可行驶区域。需要说明的是,对于车道线以及车道上的文字所在的区域,由于不影响车辆行驶,因此也属于可行驶区域,样本图像中除可行驶区域以外的区域,均属于不可行驶区域。
302、以标注信息为监督信息,基于样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
在本申请实施例中,车载终端能够采用有监督学习的方式来训练区域检测模型。在训练过程中,以样本图像的标注信息为监督信息,对本轮迭代的区域检测模型进行训练。其中,若第i轮迭代为首轮迭代,则该第i轮迭代的区域检测模型为初始模型;若该第i轮迭代不为首轮迭代,则该第i轮迭代的区域检测模型为第i-1轮迭代完成后调整了模型参数的区域检测模型。该区域检测模型用于检测输入图像中的可行驶区域。由于输入图像中除可行驶区域以外的区域均为不可行驶区域,则区域检测模型也可以用于检测输入图像中的不可行驶区域。
需要说明的是,本申请实施例对区域检测模型的结构不进行限制。该区域检测模型可以为RepVGG模型,该区域检测模型还可以为U-Net、ERFNet以及PSPNet等分割模型。
例如,区域检测模型使用的神经网络是以RepVGG为骨架的编解码网络,该区域检测模型基于该神经网络对输入的样本图像进行语义分割,然后输出对应样本图像中每个像素的布尔值矩阵,布尔值矩阵的元素表示对应的像素点是否是可行驶区域,进而再基于该布尔值矩阵与标注信息之间的差异,调整该区域检测模型的参数。
需要说明的是,在区域检测模型训练完毕之后,车载终端还能够基于评估数据集对该区域检测模型进行测试,以检测该区域检测模型的性能是否达到预期,对于模型表现不佳的场景,如雨天场景、烈日场景、堵车场景以及不堵车场景等,增加对应场景的样本图像的数量,然后对该区域检测模型进行进一步的训练。其中,该评估数据集包括多个已标注的测试图像。
需要说明的是,本申请实施例以区域检测模型由车载终端训练和测试得到为例进行说明,在一些实施例中,该区域检测模型由服务器训练和测试得到,车载终端能够从服务器获取已训练和测试完毕的区域检测模型,然后车载终端基于该区域检测模型,实现本申请实施例提供的决策信息获取方法。
303、获取当前车辆在行驶过程中拍摄的道路图像。
在本申请实施例中,当前车辆在行驶过程中,能够实时拍摄道路图像。车载终端能够获取拍摄到的道路图像,该道路图像为任一道路图像,然后车载终端将该道路图像输入上述区域检测模型,以确定道路图像中的不可行驶区域和可行驶区域。
304、基于区域检测模型,在道路图像中确定第一目标区域,该第一目标区域为道路图像中的不可行驶区域。
在本申请实施例中,该区域检测模型能够将道路图像分割为第一目标区域和第二目标区域,该第一目标区域为道路图像中当前车辆的不可行驶区域,如天空、路边的草坪以及其他车辆所在位置的路面;该第二目标区域为道路图像中当前车辆的可行驶区域,如没有障碍物的路面,该障碍物为妨碍车辆通过的物体。
在一些实施例中,车载终端在道路图像中确定第一目标区域的步骤,包括:车载终端基于区域检测模型对道路图像进行检测,得到该道路图像对应的图像布尔矩阵,该道路图像的图像布尔矩阵中的元素用于表示该道路图像中对应像素的布尔值,该图像布尔矩阵的行数与该道路图像中竖直方向上的像素数相同,该图像布尔矩阵的列数与该道路图像中水平方向上的像素数相同,也即该图像布尔矩阵中的元素与该道路图像中的像素一一对应。在得到图像布尔矩阵之后,车载终端将图像布尔矩阵中取值为0的像素对应的图像区域,确定为第一目标区域。也即,道路图像的第一目标区域中的像素在图像布尔矩阵中对应的布尔值为0,道路图像的第二目标区域中的像素在图像布尔矩阵中对应的布尔值为1。通过将道路图像输入区域检测模型,由该区域检测模型对该道路图像进行语义分割,输出图像布尔矩阵,使得车载终端能够基于该图像布尔矩阵快速的确定道路图像中各像素所在的区域是否为不可行驶区域,提高了处理效率。
305、在道路图像中确定车道线信息,车道线信息用于指示道路图像中的各车道线。
在本申请实施例中,车载终端能够采用建立坐标系的方式,在道路图像中确定车道线的位置。车载终端在道路图像中确定车道线信息的步骤包括:车载终端以当前车辆所在的位置为原点,构建道路坐标系,然后车载终端基于该道路坐标系,在道路图像中确定各车道线的位置。通过构建道路坐标系,使得车载终端能够通过函数来表示道路图像中的每一条车道线,准确率较高。
例如,图4是根据本申请实施例提供的一种道路坐标系的示意图。参见图4所示,该道路图像包括三个车道和四条车道线,当前车辆在中间车道行驶,左侧车道的左侧和右侧车道的右侧均为花坛,花坛所在的区域为不可行驶区域,道路图像包括天空,该天空所在的区域为不可行驶区域。车载终端在该道路图像中构建道路坐标系,该道路坐标系的原点为当前车辆所在的位置。该道路坐标系的横轴为Y轴,该道路坐标系的纵轴为X轴,任一车道线均能够通过x和y之间的函数来表示。
在一些实施例中,车载终端能够基于图像识别模型对该道路图像进行识别,得到该道路图像中各车道线的位置信息,然后将各车道线的位置信息,确定为该道路图像的车道线信息。其中,图像识别模型用于对输入图像进行识别,输出车道线信息,本申请实施例对该图像识别模型不进行限制。
需要说明的是,当前车辆在车载终端的控制下根据车道线信息实现自动驾驶,若未检测到车道线,则车载终端无法安全的控制车辆,此时,需要提示驾驶人员接管车辆,以免发生安全事故。因此,车载终端在未获取到车道线信息的情况下,确定第四决策信息,该第四决策信息用于提示驾驶人员控制当前车辆。通过基于第四决策信息提示驾驶人人员控制当前车辆,能够提高自动驾驶的安全系数。
306、基于车道线信息和第一目标区域,确定决策信息。
在本申请实施例中,道路图像中的第一目标区域可以包括静态障碍物,如路边花坛、电线杆以及移动式红绿灯等静止不动的障碍物;还可以包括动态障碍物,如正在行驶的其他车辆或者行人等运动中的障碍物。其中,检测静态障碍物可以称为占道检测,检测动态障碍物可以称为汇入检测,或者变道切入检测。车载终端能够结合车道线与第一目标区域,来判断是否有障碍物影响当前车辆的行驶,进而确定决策信息。
在一些实施例中,车载终端基于当前车辆所在车道的两条车道线和第一目标区域,来确定决策信息。车载终端能够从车道线信息中,获取第一车道线和第二车道线,该第一车道线为当前车辆所在车道左侧的车道线,第二车道线为当前车辆所在车道右侧的车道线。然后车载终端基于第一车道线、第二车道线以及第一目标区域,确定决策信息。通过获取当前车道对应的车道线,能够降低判断是否有障碍物影响当前车辆行驶时的计算量,且判断逻辑更符合实际驾驶场景,能够提高决策信息的准确性。
在一些实施例中,车载终端能够判断相邻车道是否有车辆将要进行变道切入,即从相邻车道变道至当前车辆所在的车道。车载终端基于第一车道线、第二车道线以及第一目标区域,确定决策信息的步骤,包括:车载终端基于第一车道线,确定第一车道区域,该第一车道区域为以第一车道线为中心的矩形区域。车载终端基于第二车道线,确定第二车道区域,该第二车道区域为以第二车道线为中心的矩形区域,其中该矩形区域的宽不大于车道的宽,该矩形区域的长根据实际情况设置,本申请实施例对此不进行限制。车载终端根据第一车道区域和第二车道区域中的至少一个与第一目标区域之间的位置关系,确定第一决策信息。其中,该第一决策信息用于指示检测到有车辆汇入当前车道,控制当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。如车载终端在第一车道区域与第一目标区域有重合的情况下,控制当前车辆降低速度或向右避让。或者,如车载终端在第二车道区域与第一目标区域有重合的情况下,控制当前车辆降低速度或向左避让。或者,如车载终端在第一车道区域和第二车道区域均与第一目标区域有重合的情况下,控制当前车辆降低速度或切换车安东。通过判断第一目标区域是否与第一车道区域和第二车道区域中的至少一个有重合,能够判断第一车道线和第二车道线是否有至少一个被遮挡,或者有至少一个将要被遮挡,从而判断是否有车辆将要从相邻车道进行变道切入,进而在确定有车辆将要从相邻车道进行变道切入时,确定第一决策信息,使得该第一决策信息能够控制当前车辆应对变道切入这一情况。
例如,当前车辆在中间车道,第一车道区域为以第一车道线为中心的矩形区域,该矩形区域的长为20米,宽为1米,该矩形区域的长边与第一车道线平行。若有车辆从左侧车道变道切入至中间车道,该车辆必然会经过第一车道线,由于该车辆所在的路面会被确定为第一目标区域,则第一目标区域和第一车道区域会有重合,且在变道切入的过程中,重合面积由小变大再变小,表示车辆开始变道切入、正在通过车道线以及完成变道切入。则车载终端在第一车道区域和第二车道区域中的至少一个与第一目标区域有重合的情况下,基于重合面积的变化情况,确定第一决策信息,进而控制当前车辆降低速度或者向左右避让。
在一些实施例中,车载终端能够判断当前车辆所在的车道是否有障碍物。车载终端基于第一车道线、第二车道线以及第一目标区域,确定决策信息的步骤,包括:车载终端基于第一车道线和第二车道线,确定车道中心线,该车道中心线为当前车辆所在车道的中心线。然后,车载终端根据车道中心线与第一目标区域的边界之间的位置关系,确定第二决策信息。其中,该第二决策信息用于指示当前车道存在障碍物,控制当前车辆降低速度或者切换车道。如车载终端在车道中心线与第一目标区域的边界之间的距离小于目标距离的情况下,确定当前车道存在障碍物,控制当前车辆切换车道或者降低速度。其中,该目标距离为横向距离,该目标距离小于车道宽度的一半。通过判断车道中心线与第一目标区域的边界之间的距离,能够确定当前车辆所在的车道上是否有妨碍当前车辆行驶的障碍物,进而确定第二决策信息,从而能够在确定车道上存在有障碍物时,控制当前车辆切换车道以进行躲避。
需要说明的是,在第一车道线或第二车道线部分缺失的情况下,可能是由于前方堵车或者跟车行驶造成的,若车载终端提示驾驶人员接管车辆,则属于误报,影响驾驶人员的驾驶体验。此时,车载终端能够能够获取车道中心线与该该第一目标区域的边界之间相对距离的变化信息,基于该变化信息来确定是否存在障碍物,该变化信息用于指示该车道中心线与第一目标区域的边界之间的相对距离,在拍摄该道路图像之前的目标时长内的变化趋势,该目标时长可以为3秒,5秒以及1分钟等,本申请实施例对此不进行限制。车载终端能够基于车道中心线与第一目标区域的边界之间相对距离的变化趋势,确定障碍物的障碍物类型,该障碍物类型包括静态障碍物和动态障碍物。若车道中心线与第一目标区域的边界之间相对距离的变化趋势为相对距离越来越小,车载终端确定当前车辆所在的车道上具有静态障碍物,也即车载终端在障碍物类型为静态障碍物的情况下,确定第二决策信息,该第二决策信息用于指示当前车道具有静态障碍物,控制当前车辆切换车道;车道中心线与第一目标区域的边界之间相对距离的变化趋势为越来越大、忽大忽小或者基本趋平,车载终端确定当前车辆所在的车道上具有动态障碍物,也即则车载终端在障碍物类型为动态障碍物的情况下,基于该动态障碍物的行驶状况,确定第三决策信息,该第三决策信息用于指示当前车道具有动态障碍物,当前处于缓慢行驶状态,控制当前车辆保持当前车道行驶,执行加速、减速以及切换车道中的一种。需要说明的是,本申请实施例对车载终端获取该第一目标区域的变化信息的方式不进行限定。
例如,若当前车辆行驶在中间车道上,在当前车辆前方100米的位置有一辆侧翻的卡车,该卡车占据了2/3的中间车道和1/3的左侧车道。车载终端在确定中间车道的车道中心线之后,确定该车道中心线与第一目标区域的边界之间的距离为负值,即车道中心线穿过该第一目标区域,并且车载终端基于不可行驶区域在5秒内的变化情况,确定该第一目标区域中的障碍物为静态障碍物,则车载终端确定用于控制该当前车辆切换到右侧车道的第二决策信息。若当前车辆行驶在中间车道上,在当前车辆前方100米的位置有一辆侧翻的卡车,该卡车占据了1/3的中间车道和2/3的右侧车道,车道宽度为3.6米。车载终端在确定中间车道的车道中心线之后,确定该车道中心线与第一目标区域的边界之间的距离为0.6米,小于车道宽度的一半,并且车载终端基于不可行驶区域在5秒内的变化情况,确定该第一目标区域中的障碍物为静态障碍物,则车载终端确定用于控制该当前车辆切换到左侧车道的第二决策信息。若当前车辆行驶在中间车道上,在当前车辆前方50米的位置有一辆正常行驶的卡车,车载终端在确定中间车道的车道中心线之后,确定该车道中心线与第一目标区域的边界之间的距离为负值,即车道中心线穿过该第一目标区域,并且车载终端基于不可行驶区域在5秒内的变化情况,确定该第一目标区域中的障碍物为动态障碍物,则车载终端基于该动态障碍物的行驶状况,确定用于控制当前车辆执行加速、减速以及切换车道中的一种的第二决策信息。
需要说明的是,为了使上述步骤301至步骤306所描述的方案更容易理解,参见图5所示,图5是根据本申请实施例提供的另一种决策信息获取方法的流程图。该流程包括以下步骤:501、获取样本数据,该样本数据为已标注数据。502、模型训练。503、模型评估和迭代。504、汇入和占道检测。505、确定决策信息。
需要说明的是,上述实施例示例性的示出了车载能够基于第一车道线、第二车道线、车道中心线与第一目标区域之间的位置关系,来控制当前车辆,在实际应用过程中,车载终端还能够在第一目标区域的基础上,结合雷达识别障碍物、相对速度检测、意图预测以及变化趋势统计等技术手段来综合判断实际道路情况,规划当前车辆的行驶路径,进而根据该行驶路径来控制当前车辆。
本申请实施例提供的技术方案,通过从当前车辆行驶过程中拍摄的道路图像中,确定第一目标区域和车道线信息,能够确定道路上的车道线在道路图像中的位置,还能够确定道路上的障碍物在道路图像中对应的不可行驶区域,进而能够基于车道线和不可行驶区域,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。另外,通过基于道路图像识别可行驶区域和不可行驶区域,提高了对极端情况的召回,相较于传统障碍物检测方法只能识别数据库中存在的物体,而无法识别未知物体的缺陷,本申请实施例提供的可行驶区域检测,能够提高对路面识别的效果。另外,在本申请方案的基础上,结合经典的汇入检测方法,能够显著提高汇入检测,也即变道切入检测的准确率。
图6是根据本申请实施例提供的一种决策信息获取装置的框图。该装置用于执行上述决策信息获取方法中的步骤,参见图6,装置包括:第一获取模块601、感知模块602以及决策模块603。
第一获取模块601,用于获取当前车辆在行驶过程中拍摄的道路图像;
感知模块602,用于在该道路图像中,确定第一目标区域和车道线信息,该第一目标区域为该道路图像中的不可行驶区域,该车道线信息用于指示该道路图像中的各车道线;
决策模块603,用于基于该车道线信息和该第一目标区域,确定决策信息,该决策信息用于指示如何控制该当前车辆,意识该当前车辆避开该第一目标区域。
在一些实施例中,图7是根据本申请实施例提供的另一种决策信息获取装置的框图,参见图7所示,该决策模块603,包括:
获取单元6031,用于从该车道线信息中,获取第一车道线和第二车道线,该第一车道线为该当前车辆所在车道左侧的车道线,该第二车道线为该当前车辆所在车道右侧的车道线;
决策单元6032,用于基于该第一车道线、该第二车道线以及该第一目标区域,确定决策信息。
在一些实施例中,该决策单元6032,用于基于该第一车道线,确定第一车道区域,该第一车道区域为以该第一车道线为中心的矩形区域;基于该第二车道线,确定第二车道区域,该第二车道区域为以该第二车道线为中心的矩形区域;根据该第一车道区域和该第二车道区域中的至少一个与该第一目标区域之间的位置关系,确定第一决策信息,该第一决策信息用于指示检测到有车辆汇入当前车道,控制该当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。
在一些实施例中,该决策单元6032,用于基于该第一车道线和该第二车道线,确定车道中心线,该车道中心线为该当前车辆所在车道的中心线;根据该车道中心线与该第一目标区域的边界之间的位置关系,确定第二决策信息,该第二决策信息用于指示当前车道存在障碍物,控制该当前车辆降低速度或者切换车道。
在一些实施例中,该决策单元6032,用于在该第一车道线或该第二车道线部分缺失的情况下,基于该车道中心线与该第一目标区域的边界之间相对距离的变化趋势,确定该障碍物的障碍物类型,该障碍物类型包括静态障碍物和动态障碍物;在该障碍物类型为静态障碍物的情况下,确定该第二决策信息。
在一些实施例中,该决策单元6032,还用于在该障碍物类型为动态障碍物的情况下,确定第三决策信息,该第三决策信息用于指示当前处于缓慢行驶状态,控制该当前车辆保持当前车道行驶。
在一些实施例中,该决策模块603,还用于在未获取到该车道线信息的情况下,确定第四决策信息,该第四决策信息用于提示驾驶人员控制该当前车辆。
在一些实施例中,该感知模块602,还用于以该当前车辆所在的位置为原点,构建道路坐标系;基于该道路坐标系,在该道路图像中确定各车道线的位置,得到该车道线信息。
在一些实施例中,该感知模块602,还用于基于区域检测模型对该道路图像进行检测,得到该道路图像对应的图像布尔矩阵,该图像布尔矩阵中的元素用于表示该道路图像中对应像素的布尔值,该区域检测模型用于检测输入图像中的可行驶区域;将该图像布尔矩阵中取值为0的像素对应的图像区域,确定为该第一目标区域。
在一些实施例中,参见图7所示,该装置还包括:
第二获取模块604,用于获取样本图像以及该样本图像的标注信息,该标注信息用于指示该样本图像中的可行驶区域和不可行驶区域;
训练模块605,用于以该标注信息为监督信息,基于该样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
本申请实施例提供的技术方案,通过从当前车辆行驶过程中拍摄的道路图像中,确定第一目标区域和车道线信息,能够确定道路上的车道线在道路图像中的位置,还能够确定道路上的障碍物在道路图像中对应的不可行驶区域,进而能够基于车道线和不可行驶区域,来确定当前车辆周围的行驶环境,进而确定决策信息,从而根据决策信息来控制当前车辆有效的躲避道路上的障碍物,提高车辆的控制效率。
需要说明的是:上述实施例提供的决策信息获取装置在进行车辆控制时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的决策信息获取装置与决策信息获取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是根据本申请实施例提供的一种终端800的结构框图。该终端800可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器801所执行以实现本申请中方法实施例提供的决策信息获取方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置在终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在另一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时,由处理器801根据用户对显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制显示屏805的显示亮度。具体地,当环境光强度较高时,调高显示屏805的显示亮度;当环境光强度较低时,调低显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一段计算机程序,该至少一段计算机程序由终端的处理器加载并执行以实现上述实施例的决策信息获取方法中终端所执行的操作。例如,所述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该终端执行上述各种可选实现方式中提供的决策信息获取方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (23)
1.一种决策信息获取方法,其特征在于,所述方法包括:
获取当前车辆在行驶过程中拍摄的道路图像;
在所述道路图像中,确定第一目标区域和车道线信息,所述第一目标区域为所述道路图像中的不可行驶区域,所述车道线信息用于指示所述道路图像中的各车道线;
基于所述车道线信息和所述第一目标区域,确定决策信息,所述决策信息用于指示如何控制所述当前车辆,以使所述当前车辆避开所述第一目标区域。
2.根据权利要求1所述的方法,其特征在于,所述基于所述车道线信息和所述第一目标区域,确定所述决策信息,包括:
从所述车道线信息中,获取第一车道线和第二车道线,所述第一车道线为所述当前车辆所在车道左侧的车道线,所述第二车道线为所述当前车辆所在车道右侧的车道线;
基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息,包括:
基于所述第一车道线,确定第一车道区域,所述第一车道区域为以所述第一车道线为中心的矩形区域;
基于所述第二车道线,确定第二车道区域,所述第二车道区域为以所述第二车道线为中心的矩形区域;
根据所述第一车道区域和所述第二车道区域中的至少一个与所述第一目标区域之间的位置关系,确定第一决策信息,所述第一决策信息用于指示检测到有车辆汇入当前车道,控制所述当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息,包括:
基于所述第一车道线和所述第二车道线,确定车道中心线,所述车道中心线为所述当前车辆所在车道的中心线;
根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,所述第二决策信息用于指示当前车道存在障碍物,控制所述当前车辆降低速度或者切换车道。
5.根据权利要求4所述的方法,其特征在于,所述根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,包括:
在所述第一车道线或所述第二车道线部分缺失的情况下,基于所述车道中心线与所述第一目标区域的边界之间相对距离的变化趋势,确定所述障碍物的障碍物类型,所述障碍物类型包括静态障碍物和动态障碍物;
在所述障碍物类型为静态障碍物的情况下,确定所述第二决策信息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述障碍物类型为动态障碍物的情况下,确定第三决策信息,所述第三决策信息用于指示当前处于缓慢行驶状态,控制所述当前车辆保持当前车道行驶。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
在未获取到所述车道线信息的情况下,确定第四决策信息,所述第四决策信息用于提示驾驶人员控制所述当前车辆。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
以所述当前车辆所在的位置为原点,构建道路坐标系;
基于所述道路坐标系,在所述道路图像中确定各车道线的位置,得到所述车道线信息。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
基于区域检测模型对所述道路图像进行检测,得到所述道路图像对应的图像布尔矩阵,所述图像布尔矩阵中的元素用于表示所述道路图像中对应像素的布尔值,所述区域检测模型用于检测输入图像中的可行驶区域;
将所述图像布尔矩阵中取值为0的像素对应的图像区域,确定为所述第一目标区域。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
获取样本图像以及所述样本图像的标注信息,所述标注信息用于指示所述样本图像中的可行驶区域和不可行驶区域;
以所述标注信息为监督信息,基于所述样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
11.一种决策信息获取装置,其特征在于,所述装置包括:
第一获取模块,用于获取当前车辆在行驶过程中拍摄的道路图像;
感知模块,用于在所述道路图像中,确定第一目标区域和车道线信息,所述第一目标区域为所述道路图像中的不可行驶区域,所述车道线信息用于指示所述道路图像中的各车道线;
决策模块,用于基于所述车道线信息和所述第一目标区域,确定决策信息,所述决策信息用于指示如何控制所述当前车辆,意识所述当前车辆避开所述第一目标区域。
12.根据权利要求11所述的装置,其特征在于,所述决策模块,包括:
获取单元,用于从所述车道线信息中,获取第一车道线和第二车道线,所述第一车道线为所述当前车辆所在车道左侧的车道线,所述第二车道线为所述当前车辆所在车道右侧的车道线;
决策单元,用于基于所述第一车道线、所述第二车道线以及所述第一目标区域,确定所述决策信息。
13.根据权利要求12所述的装置,其特征在于,所述决策单元,用于基于所述第一车道线,确定第一车道区域,所述第一车道区域为以所述第一车道线为中心的矩形区域;基于所述第二车道线,确定第二车道区域,所述第二车道区域为以所述第二车道线为中心的矩形区域;根据所述第一车道区域和所述第二车道区域中的至少一个与所述第一目标区域之间的位置关系,确定第一决策信息,所述第一决策信息用于指示检测到有车辆汇入当前车道,控制所述当前车辆执行降低速度、切换车道以及向左右避让中的至少一种。
14.根据权利要求12所述的装置,其特征在于,所述决策单元,用于基于所述第一车道线和所述第二车道线,确定车道中心线,所述车道中心线为所述当前车辆所在车道的中心线;根据所述车道中心线与所述第一目标区域的边界之间的位置关系,确定第二决策信息,所述第二决策信息用于指示当前车道存在障碍物,控制所述当前车辆降低速度或者切换车道。
15.根据权利要求14所述的装置,其特征在于,所述决策单元,用于在所述第一车道线或所述第二车道线部分缺失的情况下,基于所述车道中心线与所述第一目标区域的边界之间相对距离的变化趋势,确定所述障碍物的障碍物类型,所述障碍物类型包括静态障碍物和动态障碍物;在所述障碍物类型为静态障碍物的情况下,确定所述第二决策信息。
16.根据权利要求15所述的装置,其特征在于,所述决策单元,还用于在所述障碍物类型为动态障碍物的情况下,确定第三决策信息,所述第三决策信息用于指示当前处于缓慢行驶状态,控制所述当前车辆保持当前车道行驶。
17.根据权利要求11-16任一项所述的装置,其特征在于,所述决策模块,还用于在未获取到所述车道线信息的情况下,确定第四决策信息,所述第四决策信息用于提示驾驶人员控制所述当前车辆。
18.根据权利要求1-6任一项所述的装置,其特征在于,所述感知模块,还用于以所述当前车辆所在的位置为原点,构建道路坐标系;基于所述道路坐标系,在所述道路图像中确定各车道线的位置,得到所述车道线信息。
19.根据权利要求1-6任一项所述的装置,其特征在于,所述感知模块,还用于基于区域检测模型对所述道路图像进行检测,得到所述道路图像对应的图像布尔矩阵,所述图像布尔矩阵中的元素用于表示所述道路图像中对应像素的布尔值,所述区域检测模型用于检测输入图像中的可行驶区域;将所述图像布尔矩阵中取值为0的像素对应的图像区域,确定为所述第一目标区域。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取样本图像以及所述样本图像的标注信息,所述标注信息用于指示所述样本图像中的可行驶区域和不可行驶区域;
训练模块,用于以所述标注信息为监督信息,基于所述样本图像对第i轮迭代的区域检测模型进行训练,i为正整数。
21.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行,以实现权利要求1至10任一项权利要求所述的决策信息获取方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储至少一段计算机程序,所述至少一段计算机程序由处理器加载并执行,以实现权利要求1至10任一项权利要求所述的决策信息获取方法。
23.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项权利要求所述的决策信息获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111666627.7A CN114332821A (zh) | 2021-12-31 | 2021-12-31 | 决策信息获取方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111666627.7A CN114332821A (zh) | 2021-12-31 | 2021-12-31 | 决策信息获取方法、装置、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114332821A true CN114332821A (zh) | 2022-04-12 |
Family
ID=81020314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111666627.7A Pending CN114332821A (zh) | 2021-12-31 | 2021-12-31 | 决策信息获取方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332821A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863707A (zh) * | 2022-05-07 | 2022-08-05 | 中国第一汽车股份有限公司 | 车辆信息的处理方法、装置、存储介质和车辆 |
CN115472031A (zh) * | 2022-08-15 | 2022-12-13 | 北京罗克维尔斯科技有限公司 | 信息显示方法、装置、设备、介质、产品及车辆 |
CN116504079A (zh) * | 2023-06-30 | 2023-07-28 | 中国水利水电第七工程局有限公司 | 施工隧道通行控制方法、装置及系统 |
-
2021
- 2021-12-31 CN CN202111666627.7A patent/CN114332821A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863707A (zh) * | 2022-05-07 | 2022-08-05 | 中国第一汽车股份有限公司 | 车辆信息的处理方法、装置、存储介质和车辆 |
CN115472031A (zh) * | 2022-08-15 | 2022-12-13 | 北京罗克维尔斯科技有限公司 | 信息显示方法、装置、设备、介质、产品及车辆 |
CN116504079A (zh) * | 2023-06-30 | 2023-07-28 | 中国水利水电第七工程局有限公司 | 施工隧道通行控制方法、装置及系统 |
CN116504079B (zh) * | 2023-06-30 | 2023-09-22 | 中国水利水电第七工程局有限公司 | 施工隧道通行控制方法、装置及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
CN111257866B (zh) | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 | |
CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN110795523B (zh) | 车辆定位方法、装置以及智能车辆 | |
CN111508250B (zh) | 一种路况信息处理方法及系统 | |
CN110979318B (zh) | 车道信息获取方法、装置、自动驾驶车辆及存储介质 | |
CN114332821A (zh) | 决策信息获取方法、装置、终端及存储介质 | |
CN109532845B (zh) | 智能汽车的控制方法、装置及存储介质 | |
CN111125442B (zh) | 数据标注方法及装置 | |
CN111104893B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN110864913B (zh) | 车辆测试方法、装置、计算机设备及存储介质 | |
CN111114554A (zh) | 行驶轨迹预测方法、装置、终端及存储介质 | |
CN109409301B (zh) | 交通信号灯的信息获取方法、装置及存储介质 | |
CN110288163A (zh) | 信息处理的方法、装置、设备及存储介质 | |
CN110955972A (zh) | 虚拟场景生成方法、装置、计算机设备及存储介质 | |
CN109581358B (zh) | 障碍物的识别方法、装置及存储介质 | |
CN111010537B (zh) | 车辆控制方法、装置、终端及存储介质 | |
CN114299468A (zh) | 车道的汇入口的检测方法、装置、终端、存储介质及产品 | |
CN111325701A (zh) | 图像处理方法、装置及存储介质 | |
CN112269939A (zh) | 自动驾驶的场景搜索方法、装置、终端、服务器及介质 | |
CN110775056B (zh) | 基于雷达探测的车辆行驶方法、装置、终端及介质 | |
CN111147738A (zh) | 警用车载全景慧眼系统、装置、电子设备及介质 | |
CN113361386B (zh) | 虚拟场景的处理方法、装置、设备及存储介质 | |
CN111619556B (zh) | 汽车的避障控制方法、装置及存储介质 | |
CN110399688B (zh) | 自动驾驶的环境工况确定方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |