CN107392189A - 用于确定无人车的驾驶行为的方法和装置 - Google Patents

用于确定无人车的驾驶行为的方法和装置 Download PDF

Info

Publication number
CN107392189A
CN107392189A CN201710790024.5A CN201710790024A CN107392189A CN 107392189 A CN107392189 A CN 107392189A CN 201710790024 A CN201710790024 A CN 201710790024A CN 107392189 A CN107392189 A CN 107392189A
Authority
CN
China
Prior art keywords
driving behavior
model
definition image
unmanned vehicle
original high
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710790024.5A
Other languages
English (en)
Other versions
CN107392189B (zh
Inventor
郁浩
闫泳杉
郑超
唐坤
张云飞
姜雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710790024.5A priority Critical patent/CN107392189B/zh
Publication of CN107392189A publication Critical patent/CN107392189A/zh
Priority to PCT/CN2018/099168 priority patent/WO2019047655A1/zh
Application granted granted Critical
Publication of CN107392189B publication Critical patent/CN107392189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了用于确定无人车的驾驶行为的方法和装置。方法的一具体实施方式包括:获取图像传感器采集的原始高清图像;缩放原始高清图像,得到分辨率低于原始高清图像的缩略图;基于注意力模型,确定缩略图中的感兴趣区域;在原始高清图像中,确定感兴趣区域的对应区域;将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。该实施方式提高了端到端模型输出的驾驶行为的准确性。

Description

用于确定无人车的驾驶行为的方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及计算机网络技术领域,尤其涉及用于确定无人车的驾驶行为的方法和装置。
背景技术
在无人驾驶系统中,需要通过图像传感器采集无人驾驶汽车周围的图像,以便确定无人驾驶汽车所处的环境。
目前,在从图像传感器的输入确定无人车的驾驶行为时,通常采用高分辨率的图像传感器来采集无人驾驶汽车的图像,但受限于计算能力、显存等因素制约,无人驾驶系统中需要先将原始的高清图片压缩成低分辨率的缩略图,再采用神经网络来处理低分辨率的图像。
然而,目前的从图像传感器的输入确定车的驾驶行为的方案中,输入神经网络的低分辨率图片,会丢失很多要素的详细信息,导致端到端系统无法准确的预测结果。
发明内容
本申请的目的在于提出一种改进的用于确定无人车的驾驶行为的方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种用于确定无人车的驾驶行为的方法,方法包括:获取图像传感器采集的原始高清图像;缩放原始高清图像,得到分辨率低于原始高清图像的缩略图;基于注意力模型,确定缩略图中的感兴趣区域;在原始高清图像中,确定感兴趣区域的对应区域;将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。
在一些实施例中,注意力模型为具备聚焦于图像中感兴趣区域的能力的模型。
在一些实施例中,端到端模型为基于输入图像得到无人车驾驶行为指令的模型。
在一些实施例中,端到端模型为卷积神经网络模型。
在一些实施例中,端到端模型由CNN模型和LSTM模型合成。
在一些实施例中,端到端模型基于采集车采集的实际驾驶行为与采集车上设置的图像传感器采集的视频帧的映射关系训练得到。
第二方面,本申请实施例提供了一种用于确定无人车的驾驶行为的装置,装置包括:高清图像获取单元,用于获取图像传感器采集的原始高清图像;高清图像缩放单元,用于缩放原始高清图像,得到分辨率低于原始高清图像的缩略图;兴趣区域确定单元,用于基于注意力模型,确定缩略图中的感兴趣区域;对应区域确定单元,用于在原始高清图像中,确定感兴趣区域的对应区域;驾驶行为确定单元,用于将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。
在一些实施例中,兴趣区域确定单元中的注意力模型为具备聚焦于图像中感兴趣区域的能力的模型。
在一些实施例中,驾驶行为确定单元中的端到端模型为基于输入图像得到无人车驾驶行为指令的模型。
在一些实施例中,驾驶行为确定单元中的端到端模型为卷积神经网络模型。
在一些实施例中,驾驶行为确定单元中的端到端模型由CNN模型和LSTM模型合成。
在一些实施例中,驾驶行为确定单元中的端到端模型基于采集车采集的实际驾驶行为与采集车上设置的图像传感器采集的视频帧的映射关系训练得到。
第三方面,本申请实施例提供了一种设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上任意一项用于确定无人车的驾驶行为的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上任意一项用于确定无人车的驾驶行为的方法。
本申请实施例提供的用于确定无人车的驾驶行为的方法和装置,首先,获取图像传感器采集的原始高清图像;之后,缩放原始高清图像,得到分辨率低于原始高清图像的缩略图;之后,基于注意力模型,确定缩略图中的感兴趣区域;之后,在原始高清图像中,确定感兴趣区域的对应区域;最后,将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。在这里,在缩略图外采用注意力模型从原始高清图像中抽取对应区域中关键要素的信息,从而将缩略图信息和关键要素的信息作为端到端模型的输入,支撑端到端系统的决策,提高端到端模型输出的驾驶行为的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于确定无人车的驾驶行为的方法的一个实施例的示意性流程图;
图3是根据本申请实施例的用于确定无人车的驾驶行为的方法的一个应用场景的示意性流程图;
图4是根据本申请的用于确定无人车的驾驶行为的装置的一个实施例的示例性结构图;
图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于确定无人车的驾驶行为的方法或用于确定无人车的驾驶行为的装置的实施例的示例性系统架构。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105、106交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105、106可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的网页提供支持的后台网页服务器。后台网页服务器可以对接收到的网页页面请求等数据进行分析等处理,并将处理结果(例如网页页面数据)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于确定无人车的驾驶行为的方法一般由终端设备101、102、103或服务器105、106执行,相应地,用于确定无人车的驾驶行为的装置一般设置于终端设备101、102、103或服务器105、106中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示出了根据本申请的用于确定无人车的驾驶行为的方法的一个实施例的流程。
如图2所示,该用于确定无人车的驾驶行为的方法200包括:
在步骤210中,获取图像传感器采集的原始高清图像。
在本实施例中,运行用于确定无人车的驾驶行为的方法的电子设备(例如图1中所示的终端或服务器)可以获取图像传感器采集的原始高清图像。这里的图像传感器,为可以采集高清图像的图像传感器,例如CCD传感器或CMOS传感器。这里的高清图像,是指垂直分辨率大于等于720的图像或视频。
在步骤220中,缩放原始高清图像,得到分辨率低于原始高清图像的缩略图。
在本实施例中,缩略图为原始高清图像经压缩方式处理后的小图,小图的分辨率低于原始高清图像。这里的压缩方式,可以为现有技术或未来发展的技术中的压缩方式,本申请对此不做限定。
在步骤230中,基于注意力模型,确定缩略图中的感兴趣区域。
在本实施例中,注意力模型为基于从人类视觉中发现的注意机制构建的算法模型。注意力模型对人类视觉注意力的研究较为透彻,目前存在几个不同模型,但归根结底,它们在本质上都是能够聚焦于图像中高分辨率的特定区域,同时又可以感知到周围的低分辨率区域,然后不断的调整焦点。例如,注意力模型可以为具备聚焦于图像中感兴趣区域的能力的模型。
感兴趣区域,为机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,ROI(region of interest),是从图像中选择的一个图像区域,这个区域图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定待处理的目标,可以减少处理时间,增加精度。
在步骤240中,在原始高清图像中,确定感兴趣区域的对应区域。
在本实施例中,由于缩略图为原始高清图像经压缩得到,因此缩略图中的区域在原始高清图像中存在对应区域,那么,可以基于步骤230中确定的缩略图中的感兴趣区域,从原始高清图像中确定感兴趣区域的对应区域,此时对应区域中的图像为未经压缩的高清图像。
在步骤250中,将缩略图和对应区域输入端到端模型,得到所述端到端模型输出的无人车的驾驶行为。
在本实施例中,端到端模型为预先确定的基于输入图像得到无人车驾驶行为指令的模型,表示从采集的图像至无人车的驾驶行为的映射关系,可以由技术人员基于采集的历史数据构建,也可以由技术人员进行人工设定。在这里,缩略图用于全局判断,对应区域包括局部重点交通要素的信息,将缩略图和对应区域输入端到端模型,可以从端到端模型中确定对应缩略图和对应区域的驾驶行为。
在本实施例的一些可选实现方式中,端到端模型为卷积神经网络模型。
在本实现方式中,卷积神经网络模型,是一种前馈神经网络模型,人工神经元可以响应周围单元,对于大型图像处理有出色表现。卷积神经网络包括卷积层和池层(也即采样层)。其中,卷积层为特征提取层,每个神经元的输入与前一层的局部感受也相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来。采样层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数很小的S型生长曲线(sigmoid函数)作为卷积网络的激活函数,使得特征映射具有位移不变性。
在这里,通过设置端到端模型为卷积神经网络模型,它的神经元间的连接是非全连接的,同一层中某些神经元之间的连接的权重是共享的(即相同的)。它的非全连接和权值共享的网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量,从而减少了神经网络需要训练的参数的个数,使神经网络结构变得更简单,适应性更强。
在本实施例的一些可选实现方式中,端到端模型由CNN模型和LSTM模型合成。
在本实现方式中,CNN模型是指卷积神经网络模型,LSTM模型是指长短期记忆(LSTM)模型。在此处看,CNN模型是作为一个特征提取器,假设CNN提取的特征维度为N(一般这个特征就是网络最后的全连接层)。然后对于K帧的视频帧,就构成了时序长度为K的N维特征序列。然后将这个特征序列作为LSTM的输入,得到的LSTM的输出依旧是一个长度为K的序列(维度应该是动作类别的数目)。然后将这个序列的结果做平均得到最后的结果。
在这里,通过设置端到端模型由CNN模型和LSTM模型合成,可以处理输入的图片序列,进而提高驾驶行为的连续性。
在本实施例的一些可选实现方式中,端到端模型基于采集车采集的实际驾驶行为与采集车上设置的传感器采集的视频帧的映射关系训练得到。
在本实现方式中,由于采用了采集车的实际驾驶行为以及采集车上设置的传感器采集的视频帧的映射关系来训练端到端模型,由于采集的视频帧和实际驾驶行为的均基于实际路段,因此可以提高端到端模型的预测结果的准确性。
本申请的上述实施例提供的用于确定无人车的驾驶行为的方法,由于在缩略图中确定了感兴趣区域,提高了感兴趣区域的数据处理速度,之后又在原始高清图像中确定了高分辨率的感兴趣区域的对应区域,保留了交通要素的详细信息,最后基于缩略图和高分辨率的对应区域确定无人车的驾驶行为,从而提高了预测的无人车的驾驶行为的准确度和精度。
以下结合图3,描述本申请实施例的用于确定无人车的驾驶行为的方法的示例性应用场景。
如图3所示,图3示出了根据本申请实施例的用于确定无人车的驾驶行为的方法的一个应用场景的示意性流程图。
如图3所示,本申请实施例的用于确定无人车的驾驶行为的方法300,运行于电子设备320中。
首先,获取传感器采集的原始高清图像301;之后,缩放原始高清图像,得到分辨率低于原始高清图像的缩略图302;之后,基于注意力模型303,确定缩略图302中的感兴趣区域304;之后,在原始高清图像中,确定感兴趣区域的对应区域305;之后,将缩略图302和对应区域305输入端到端模型306,得到所述端到端模型输出的无人车的驾驶行为307。
本申请的上述应用场景中提供的用于确定无人车的驾驶行为的方法,能够在缩略图之外,采用注意力模型,从原始高清图像中抽取对应区域中关键要素的信息,之后将缩略图信息和关键要素的信息作为神经网络的输入,支撑端到端系统的决策,从而提高了预测无人车的驾驶行为的准确度和精度。
进一步参考图4,作为对上述方法的实现,本申请实施例提供了一种用于确定无人车的驾驶行为的装置的一个实施例,该用于确定无人车的驾驶行为的装置的实施例与图1至图3所示的用于确定无人车的驾驶行为的方法的实施例相对应,由此,上文针对图1至图3中用于确定无人车的驾驶行为的方法描述的操作和特征同样适用于用于确定无人车的驾驶行为的装置400及其中包含的单元,在此不再赘述。
如图4所示,该用于确定无人车的驾驶行为的装置400包括:高清图像获取单元410、高清图像缩放单元420、兴趣区域确定单元430、对应区域确定单元440和驾驶行为确定单元450。
其中,高清图像获取单元410,用于获取图像传感器采集的原始高清图像。高清图像缩放单元420,用于缩放原始高清图像,得到分辨率低于原始高清图像的缩略图。兴趣区域确定单元430,用于基于注意力模型,确定缩略图中的感兴趣区域。对应区域确定单元440,用于在原始高清图像中,确定感兴趣区域的对应区域。驾驶行为确定单元450,用于将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。
在本实施例的一些可选实现方式中,兴趣区域确定单元中的注意力模型为具备聚焦于图像中感兴趣区域的能力的模型。
在本实施例的一些可选实现方式中,驾驶行为确定单元中的端到端模型为基于输入图像得到无人车驾驶行为指令的模型。
在本实施例的一些可选实现方式中,驾驶行为确定单元中的端到端模型为卷积神经网络模型。
在本实施例的一些可选实现方式中,驾驶行为确定单元中的端到端模型由CNN模型和LSTM模型合成。
在本实施例的一些可选实现方式中,驾驶行为确定单元中的端到端模型基于采集车采集的实际驾驶行为与采集车上设置的图像传感器采集的视频帧的映射关系训练得到。
本申请还提供了一种设备的实施例,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上任意一项所述的用于确定无人车的驾驶行为的方法。
本申请还提供了一种计算机可读存储介质的实施例,其上存储有计算机程序,该程序被处理器执行时实现如上任意一项所述的用于确定无人车的驾驶行为的方法。
下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,所述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括高清图像获取单元、高清图像缩放单元、兴趣区域确定单元、对应区域确定单元和驾驶行为确定单元。这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,高清图像获取单元还可以被描述为“获取图像传感器采集的原始高清图像的单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:获取图像传感器采集的原始高清图像;缩放原始高清图像,得到分辨率低于原始高清图像的缩略图;基于注意力模型,确定缩略图中的感兴趣区域;在原始高清图像中,确定感兴趣区域的对应区域;将缩略图和对应区域输入端到端模型,得到端到端模型输出的无人车的驾驶行为。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于确定无人车的驾驶行为的方法,其特征在于,所述方法包括:
获取图像传感器采集的原始高清图像;
缩放所述原始高清图像,得到分辨率低于所述原始高清图像的缩略图;
基于注意力模型,确定所述缩略图中的感兴趣区域;
在所述原始高清图像中,确定所述感兴趣区域的对应区域;
将所述缩略图和所述对应区域输入端到端模型,得到所述端到端模型输出的无人车的驾驶行为。
2.根据权利要求1所述的方法,其特征在于,所述注意力模型为具备聚焦于图像中感兴趣区域的能力的模型。
3.根据权利要求1所述的方法,其特征在于,所述端到端模型为基于输入图像得到无人车驾驶行为指令的模型。
4.根据权利要求1所述的方法,其特征在于,所述端到端模型为卷积神经网络模型。
5.根据权利要求1所述的方法,其特征在于,所述端到端模型由CNN模型和LSTM模型合成。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述端到端模型基于采集车采集的实际驾驶行为与所述采集车上设置的图像传感器采集的视频帧的映射关系训练得到。
7.一种用于确定无人车的驾驶行为的装置,其特征在于,所述装置包括:
高清图像获取单元,用于获取图像传感器采集的原始高清图像;
高清图像缩放单元,用于缩放所述原始高清图像,得到分辨率低于所述原始高清图像的缩略图;
兴趣区域确定单元,用于基于注意力模型,确定所述缩略图中的感兴趣区域;
对应区域确定单元,用于在所述原始高清图像中,确定所述感兴趣区域的对应区域;
驾驶行为确定单元,用于将所述缩略图和所述对应区域输入端到端模型,得到所述端到端模型输出的无人车的驾驶行为。
8.根据权利要求7所述的装置,其特征在于,所述兴趣区域确定单元中的所述注意力模型为具备聚焦于图像中感兴趣区域的能力的模型。
9.根据权利要求7所述的装置,其特征在于,所述驾驶行为确定单元中的所述端到端模型为基于输入图像得到无人车驾驶行为指令的模型。
10.根据权利要求7所述的装置,其特征在于,所述驾驶行为确定单元中的所述端到端模型为卷积神经网络模型。
11.根据权利要求7所述的装置,其特征在于,所述驾驶行为确定单元中的所述端到端模型由CNN模型和LSTM模型合成。
12.根据权利要求7-11任意一项所述的装置,其特征在于,所述驾驶行为确定单元中的所述端到端模型基于采集车采集的实际驾驶行为与所述采集车上设置的图像传感器采集的视频帧的映射关系训练得到。
13.一种设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任意一项所述的用于确定无人车的驾驶行为的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任意一项所述的用于确定无人车的驾驶行为的方法。
CN201710790024.5A 2017-09-05 2017-09-05 用于确定无人车的驾驶行为的方法和装置 Active CN107392189B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710790024.5A CN107392189B (zh) 2017-09-05 2017-09-05 用于确定无人车的驾驶行为的方法和装置
PCT/CN2018/099168 WO2019047655A1 (zh) 2017-09-05 2018-08-07 用于确定无人车的驾驶行为的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710790024.5A CN107392189B (zh) 2017-09-05 2017-09-05 用于确定无人车的驾驶行为的方法和装置

Publications (2)

Publication Number Publication Date
CN107392189A true CN107392189A (zh) 2017-11-24
CN107392189B CN107392189B (zh) 2021-04-30

Family

ID=60348152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710790024.5A Active CN107392189B (zh) 2017-09-05 2017-09-05 用于确定无人车的驾驶行为的方法和装置

Country Status (2)

Country Link
CN (1) CN107392189B (zh)
WO (1) WO2019047655A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009493A (zh) * 2017-11-30 2018-05-08 电子科技大学 基于动作增强的人脸防欺骗识别方法
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108984275A (zh) * 2018-08-27 2018-12-11 洛阳中科龙网创新科技有限公司 基于Unity3D和深度增强学习的智能无人农用驾驶训练方法
WO2019047655A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 用于确定无人车的驾驶行为的方法和装置
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN111079533A (zh) * 2019-11-14 2020-04-28 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN111552294A (zh) * 2020-05-14 2020-08-18 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
WO2022095440A1 (zh) * 2020-11-03 2022-05-12 深圳技术大学 面向自动驾驶的人机协同感知方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263346A1 (en) * 2011-04-13 2012-10-18 International Business Machines Corporation Video-based detection of multiple object types under varying poses
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
CN104598912A (zh) * 2015-01-23 2015-05-06 湖南科技大学 一种基于cpu与gpu协同计算的交通灯检测识别方法
CN105590094A (zh) * 2015-12-11 2016-05-18 小米科技有限责任公司 确定人体数量的方法及装置
CN105809704A (zh) * 2016-03-30 2016-07-27 北京小米移动软件有限公司 识别图像清晰度的方法及装置
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792144B1 (en) * 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
CN106530227B (zh) * 2016-10-27 2019-08-06 北京小米移动软件有限公司 图像复原方法及装置
CN107392189B (zh) * 2017-09-05 2021-04-30 百度在线网络技术(北京)有限公司 用于确定无人车的驾驶行为的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263346A1 (en) * 2011-04-13 2012-10-18 International Business Machines Corporation Video-based detection of multiple object types under varying poses
CN103279759A (zh) * 2013-06-09 2013-09-04 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
CN104598912A (zh) * 2015-01-23 2015-05-06 湖南科技大学 一种基于cpu与gpu协同计算的交通灯检测识别方法
CN105590094A (zh) * 2015-12-11 2016-05-18 小米科技有限责任公司 确定人体数量的方法及装置
CN105809704A (zh) * 2016-03-30 2016-07-27 北京小米移动软件有限公司 识别图像清晰度的方法及装置
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARIUSZ BOJARSKI 等: "End-to-End Deep Learning for Self-Driving Cars", 《ARXIV》 *
张伟: ""阿波罗计划"线上首讲:基于深度学习的端到端自动驾驶解决方案", 《搜狐网:HTTPS://WWW.SOHU.COM/A/168893299_99919085》 *
徐明文: "基于无人驾驶平台的交通灯及数字检测与识别系统", 《南京理工大学硕士专业学位论文》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047655A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 用于确定无人车的驾驶行为的方法和装置
CN108009493B (zh) * 2017-11-30 2021-07-06 电子科技大学 基于动作增强的人脸防欺骗识别方法
CN108009493A (zh) * 2017-11-30 2018-05-08 电子科技大学 基于动作增强的人脸防欺骗识别方法
CN108062569B (zh) * 2017-12-21 2020-10-27 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108984275A (zh) * 2018-08-27 2018-12-11 洛阳中科龙网创新科技有限公司 基于Unity3D和深度增强学习的智能无人农用驾驶训练方法
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
WO2021093011A1 (zh) * 2019-11-14 2021-05-20 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN111079533A (zh) * 2019-11-14 2020-04-28 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN111079533B (zh) * 2019-11-14 2023-04-07 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN111552294A (zh) * 2020-05-14 2020-08-18 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法
CN111552294B (zh) * 2020-05-14 2024-03-26 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法
WO2022095440A1 (zh) * 2020-11-03 2022-05-12 深圳技术大学 面向自动驾驶的人机协同感知方法及系统

Also Published As

Publication number Publication date
WO2019047655A1 (zh) 2019-03-14
CN107392189B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN107392189A (zh) 用于确定无人车的驾驶行为的方法和装置
US20210248355A1 (en) Face key point detection method and apparatus, storage medium, and electronic device
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN107563332A (zh) 用于确定无人车的驾驶行为的方法和装置
CN110163237A (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN107729948A (zh) 图像处理方法及装置、计算机产品和存储介质
CN107578017A (zh) 用于生成图像的方法和装置
CN111667399A (zh) 风格迁移模型的训练方法、视频风格迁移的方法以及装置
CN107578453A (zh) 压缩图像处理方法、装置、电子设备及计算机可读介质
CN109410253B (zh) 用于生成信息的方法、装置、电子设备和计算机可读介质
CN110246084A (zh) 一种超分辨率图像重构方法及其系统、装置、存储介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
Chira et al. Image super-resolution with deep variational autoencoders
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN111950700A (zh) 一种神经网络的优化方法及相关设备
US20240320807A1 (en) Image processing method and apparatus, device, and storage medium
CN115984944B (zh) 表情信息识别方法、装置、设备、可读存储介质及产品
CN110427915A (zh) 用于输出信息的方法和装置
CN113284055A (zh) 一种图像处理的方法以及装置
CN112069412A (zh) 信息推荐方法、装置、计算机设备及存储介质
WO2024078411A1 (zh) 一种数据处理方法及其装置
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN117036658A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant