CN112889100B - 移动体行为预测装置 - Google Patents

Abstract

本发明在抑制运算量增加的情况下提高移动体的将来行为的预测精度。本发明的移动体行为预测装置的构成具备：输入地图生成部(1003)，其将能够包含多个移动体的区域分割为多个单元，生成在各单元中储存有静态物体的关联信息以及移动体的关联信息的单一输入地图；移动量推断部(1004)，其根据输入地图而借助完成了学习的卷积神经网络来推断移动量作为各单元的特征量；移动量获取部(1005)，其根据移动体的周边单元中储存的移动量来获取移动体的当前位置上的移动量；以及将来位置预测部(1006)，其根据移动体的当前位置的特征量来预测移动体的将来位置。

Description

移动体行为预测装置

技术领域

本发明涉及移动体行为预测装置。

背景技术

为了实现车辆的自动驾驶，业界一直在开发借助车载摄像机等来感测周围状况的感测技术、根据感测数据来识别自身车辆的状态和周边环境的识别技术、根据识别信息来控制行驶速度和操舵角等的控制技术。在识别技术中，需要有将来行为预测技术，即识别存在于自身车辆周边的地上物体和移动体来预测自身车辆周边的移动体的将来时刻的位置的技术。

行人、车辆等移动体的将来行为除了受各移动体的过去行为所影响以外，还受移动体间的相互作用以及交通状况等移动体周边的环境等各种因素所影响。为了处理这各种因素的复杂影响，业界研究有通过机器学习来预测将来行为的方法。例如，专利文献1中对组合各移动体的时间序列的动作与各移动体周边的环境信息即地图数据来预测各移动体的将来行为的方法进行了研究。

现有技术文献

专利文献

专利文献1：日本专利特开2018-55141号公报

发明内容

发明要解决的问题

通常而言，移动体在决定自己的行为时会考虑远方的其他移动体的行为。要预测各移动体的将来行为，就需要考虑大范围的环境信息。

然而，复杂的环境识别需要的运算量大，若针对每一移动体来运算处理大范围的环境信息，则运算量将爆炸式地增加而难以实时预测周边移动体的将来行为。在专利文献1记载的方法中，为了抑制运算量，只能对局部的环境信息进行运算处理，从而存在各移动体的将来行为的预测精度变差这一问题。

本发明是鉴于上述情况而作成，其目的在于提供一种可以在抑制运算量增加的情况下提高移动体的将来行为的预测精度的移动体行为预测装置。

解决问题的技术手段

本发明的一形态的移动体行为预测装置对自身车辆周边的移动体的行为进行预测，其特征在于，具备：输入地图生成部，其将可能包含多个所述移动体的区域分割为多个单元，生成在各单元中储存有静态物体的关联信息以及所述移动体的关联信息的单一输入地图；特征量推断部，其根据所述输入地图而借助完成了学习的卷积神经网络来推断各单元的特征量；特征量获取部，其根据位于所述移动体周边的单元中储存的特征量来获取所述移动体的当前位置上的特征量；以及将来位置预测部，其根据所述移动体的当前位置的特征量来预测所述移动体的将来位置。

发明的效果

根据本发明，由于单一输入地图的静态物体的关联信息以及移动体的关联信息在所有移动体的行为预测中通用，因此能抑制伴随成为预测对象的移动体数量的增加而来的运算量的增加。此外，由于能使用能够包含多个移动体的大范围的地图的信息来预测各移动体的将来行为，因此能提高预测精度。根据本说明书的记述、附图，将明确本发明相关的更多特征。

此外，上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。

附图说明

图1为表示移动体的将来行为的预测例的图。

图2为表示采用现有方法的移动体的将来行为的预测例的图。

图3为表示第1实施方式的移动体的将来行为的预测例的图。

图4为表示预测对象移动体数量与运算量的关系的图表。

图5为第1实施方式的移动体行为预测系统的系统构成图。

图6为表示第1实施方式的学习图像的图。

图7为第1实施方式的服务器的功能框图。

图8为表示第1实施方式的输入地图的一例的图。

图9为表示第1实施方式的输出地图的一例的图。

图10为第1实施方式的移动体行为预测装置的功能框图。

图11为第1实施方式的地图范围的设定处理的说明图。

图12为第1实施方式的地图范围的设定处理的另一说明图。

图13为第1实施方式的地图分辨率的设定处理的说明图。

图14为第1实施方式的移动量的获取处理的说明图。

图15为第1实施方式的将来位置的预测处理的说明图。

图16为第1实施方式的服务器的学习流程的一例。

图17为第1实施方式的移动体行为预测装置的预测流程的一例。

图18为表示移动体彼此交错通过时的预测例的图。

图19为第2实施方式的服务器的功能框图。

图20为第2实施方式的移动体行为预测装置的功能框图。

图21为第3实施方式的移动体行为预测装置的功能框图。

图22为表示移动体行为预测装置的硬件构成的框图。

具体实施方式

下面，使用附图，对本实施方式进行说明。

[第1实施方式]

图1为表示移动体的将来行为的预测例的图。在图1所示的例子中，自身车辆101为了实现自身车辆101的安全控制而对周边的移动体即车辆102a-102d及行人102e的将来行为103a-103c、103e进行预测。此处，所谓将来行为，是与其他移动体在规定的将来时刻时的将来位置相关的信息。

自身车辆101通过将来行为的预测而以避开其他移动体的将来行为的方式生成自身车辆轨道，或者在其他移动体的将来行为与自身车辆101的自身车辆轨道有在将来时刻发生重叠之虞的情况下实施对驾驶员的警告或驾驶辅助。

图2为表示采用现有方法的移动体的将来行为的预测例的图。在现有方法中，在各移动体的将来行为的预测时，对各移动体的周边区域的信息进行运算处理。由此，可以考虑与存在于各移动体周边的障碍物、其他移动体的相互作用、道路形状等地形信息来预测其他移动体的将来行为。若能运算处理广阔处理区域的信息，则预测精度会提高，但实际上若是要运算处理广阔处理区域的信息，则运算负荷大，因此仅对各移动体的狭小周边区域的信息进行运算处理。

例如，在车辆102b的将来行为的预测时，如处理区域201b所示，无法考虑远方的交叉路口和行人102e的信息。因此，对于车辆102b而言，只能考虑直线前进的道路、先行车辆102a、驻停车辆102d，从而预测出维持车辆102b的现状速度这一将来行为202b。相对于此，对于车辆102a而言，如处理区域201a所示，会考虑交叉路口的信息、行人102e和车辆102c的影响，从而预测出在交叉路口近前停下这一将来行为202a。结果，预测出将来行为202a及将来行为202b会在地点203发生交叉这样的不合理行为，导致预测精度降低。此外，由于车辆102a、102b的处理区域201a、201b有重叠，因此针对重复区域的信息的运算处理变成一种浪费。

图3为表示第1实施方式的移动体的将来行为的预测例的图。在本实施方式中，是对包含多个移动体的广阔处理区域301的信息统一进行运算处理，以此来替代针对每一移动体来运算处理周边区域的信息。通过对车辆102a、102b两方共通的处理区域301的信息统一进行运算处理，运算量得到抑制，并且考虑远方的信息来预测车辆102a、102b的将来行为。对于车辆102a而言，预测出与将来行为202a(参考图2)同样地在交叉路口近前停下这一将来行为302a，对于车辆102b而言，预测出在车辆102a后方停下这样的将来行为302b。因此，不会预测出车辆102a、102b的将来行为在地点203发生交叉这样的不合理行为，使得预测精度提高。

图4为表示预测对象移动体数量与运算量的关系的图表。图4中，横轴表示预测对象移动体数量，纵轴表示将来行为的预测所需的运算量。若像运算量401所示那样借助现有方法来运算处理广阔区域的信息，则运算负荷骤增，在车辆能够实时处理的运算量404下，只能预测少量移动体的将来行为。因此，现实中是像运算量402所示那样仅对狭小周边区域的信息进行运算处理。通过只运算周边区域的信息，相对于移动体数量的增加的运算量的增加比率得到抑制，但考虑不到远方的信息，因此导致将来行为的预测精度降低。

相对于此，若像运算量403所示那样借助本实施方式的处理方法对广阔处理区域的信息统一进行运算处理，则在少量移动体的将来行为的预测时运算量比现有方法大。但与现有方法相比，即便预测大量移动体的行为，运算量的增加也会得到抑制，而且通过对广阔处理区域的信息进行运算处理，将来行为的预测精度得到提高。再者，尽管是单一处理区域的运算处理，运算量也会根据移动体数量而增加，其原因在于，除了所有移动体统一处理的周边区域以外，还需要每一移动体的运算处理。

下面，对本实施方式的移动体行为预测装置进行说明。图5为第1实施方式的移动体行为预测系统的系统构成图。在移动体行为预测系统中，外部的服务器10与搭载有移动体行为预测装置20的车辆30经由网络40连接在一起。服务器10设置在数据中心等，进行从车辆30采集到的各种数据的管理，并借助卷积神经网络而利用各种数据来学习将来行为。卷积神经网络的参数定期从服务器10通知给车辆30。车辆30的移动体行为预测装置20利用从服务器10通知的参数来构建完成了学习的卷积神经网络而对周边的移动体的将来行为进行预测。

图6为表示第1实施方式的学习图像的图。各移动体与图1所示的车辆102a-102d及行人102e相同。在将来行为的图像中，以三角来表示时刻t+1、t+2的各移动体的位置作为将来行为。在本实施方式的将来行为的预测处理中，对在时刻t观测到的各移动体的将来行为进行预测。此时，时刻t+1、t+2的自身车辆和移动体的位置作为训练数据而被学习，根据时刻t的信息来预测时刻t+1、t+2的各移动体的将来行为。再者，此处只是对2个时刻的将来行为进行预测，但也可对2个时刻以上的将来行为进行预测。

图7为第1实施方式的服务器的功能框图。服务器中设置有行驶数据存储部701、输入地图生成部703、输出地图生成部704、移动量推断部705、参数更新部706。行驶数据存储部701中存储有从各移动体采集到的各时刻的行驶数据702。各时刻的行驶数据702中包含自身车辆信息、地图数据、移动体信息。自身车辆信息为各时刻的位置、姿态、速度等相关的信息，例如为GPS信息、xy方向的速度信息、横摆率信息、方位角信息。地图数据为自身车辆周边的地形数据，例如由道路形状、建筑物、交叉路口、人行横道、标识等数据构成。移动体信息是与作为预测对象的移动体相关的信息，例如为ID、姿态、速度、距自身车辆的相对位置、自过去时刻的移动量。移动体信息可以借助ID在时间轴方向上进行追踪。

输入地图生成部703从行驶数据存储部701读入任意时刻t的行驶数据702来生成单一输入地图801。如图8所示，输入地图801是将能够包含多个移动体的区域分割为多个单元得到的网格地图。

输入地图801是以自身车辆101为基准来设定的。将来行为的预测受到各移动体的周边环境、移动体间的相互作用、各移动体的过去行为等各种因素所影响。为了考虑到这各种因素，在输入地图801的各单元中储存有包含静态物体的关联信息、任意时刻t的移动体的关联信息、任意时刻t之前的过去时刻的移动体的关联信息的数据802。

所谓静态物体的关联信息，是道路、建筑物、交叉路口等固定的地上物体相关的信息。虽然图8中进行了省略，但也可包含人行横道、白线、标识等信息作为静态物体的关联信息。数据802中，对包含在各单元中的静态物体的项目设定“1”，对不包含在各单元中的静态物体的项目设定“0”。静态物体的关联信息是借助任意时刻t的行驶数据702(参考图7)的地图数据来生成。

所谓任意时刻t的移动体的关联信息，是交叉路口状态、车辆、行人、移动体的速度信息等发生时间变化的信息。关于交叉路口状态，在可从自身车辆行进方向进入交叉路口区域的情况下，对数据802设定“1”，在不可从自身车辆行进方向进入交叉路口区域的情况下，对数据802设定“0”。此外，在各单元属于非交叉路口区域的情况下，对数据802设定“1”。数据802中，对包含在各单元中的移动体的项目设定“1”，对不包含在各单元中的移动体的项目设定“0”。此外，在单元中存在移动体的情况下，对数据802设定速度信息vx、vy，在单元中不存在移动体的情况下，对数据802设定0。任意时刻t的移动体的信息是借助任意时刻t的行驶数据702(参考图7)的移动体信息来生成。

所谓过去时刻的移动体的关联信息，是各单元中存在的移动体在任意时刻t之前的过去时刻时所存在的位置起到任意时刻t时所存在的位置为止的移动量。例如，数据802中设定车辆102b的时刻t－1、t－2起到任意时刻t为止的xy方向的移动量dx1、dy1、dx2、dy2。图8中，在数据802中设定有2个时刻的移动量，但也可仅设定1个时刻的移动量，也可设定3个时刻以上的移动量。此外，数据802中除了设定移动量以外也可针对每一时刻而设定有速度信息。过去时刻的移动体的信息是根据任意时刻t的行驶数据702(参考图7)的移动体信息来生成。如此，输入地图801成为各单元中储存有数据802所示的静态物体和移动体的各种向量信息的三维张量。

输出地图生成部704从行驶数据存储部701读入任意时刻t之后的将来时刻t+1起到将来时刻t+T为止的行驶数据702来生成输出地图。如图9所示，输出地图901是以与输入地图801同样的范围具有同样分辨率的网格地图。输出地图901的各单元中储存有各单元中存在的移动体的任意时刻t的位置起到将来时刻下所存在的位置为止的移动量作为数据902。例如，各单元中储存车辆102b的任意时刻t起到将来时刻t+1、…t+T为止的xy方向的移动量dx1、dy1、…dxT、dyT作为数据902。不存在移动体的单元中不储存移动量，而是储存空的向量信息。如此，输出地图901成为各单元中储存有数据902所示的移动量的向量信息的三维张量。

移动量推断部705使用输入地图生成部703所生成的输入地图801来推断输入地图801上的各单元坐标的移动量。移动量推断部705推断出的移动量是具有与输出地图901同样的维度的三维张量。移动量的推断由卷积神经网络来实施。卷积神经网络是通过重叠多个卷积层来高精度地进行预测的神经网络，例如使用称为U-Net的构成。此外，卷积神经网络也可为除了卷积层以外还在内部具有被称为注意力机构的结构的神经网络。

参数更新部706以移动量推断部705推断出的移动量与输出地图生成部704所生成的输出地图901的移动量的误差减小的方式对卷积神经网络中使用的参数进行更新。所谓参数，例如为卷积层和注意力机构中使用的权重矩阵、偏置项等。参数的更新例如通过随机梯度下降法或者随机梯度下降法的扩展来实施。再者，移动量的误差的算出仅针对输出地图901中以数据902的形式储存有移动量的区域来实施。如此，服务器将任意时刻下观测到的移动体的到将来时刻为止的移动量作为目标输出，以借助卷积神经网络而根据输入地图801加以推断的将来时刻的移动量与目标输出的误差减小的方式对卷积神经网络的参数进行更新。

此外，移动量推断部705是借助卷积神经网络而根据输入地图801来推断移动量，因此是以与输出地图901同样的三维张量来推断移动量。此时，输出地图901所对应的区域因自身车辆的位置而发生变化。

即，输入地图801的位置根据自身车辆量的位置而变化，因此输入地图801与输出地图901产生偏差。因而，若借助卷积神经网络直接预测移动体的将来行为，则推断结果会受自身车辆与移动体的相对位置所影响。对各移动体的将来行为产生影响的不是各移动体与自身车辆的相对位置而是各移动体的周边环境和移动体彼此的相互作用，因此直接预测各移动体的将来行为会导致学习变得不稳定。因此，在本实施方式中，不直接预测各移动体的将来行为，而是预测距各单元坐标的对应于将来时刻的移动量来排除各移动体与自身车辆的相对位置的影响，由此使学习变得稳定。

当服务器中完成了学习时，从服务器向车辆的移动体行为预测装置通知学习结果。移动体行为预测装置使学习结果反映到移动量的推断中，由此，可以在车辆上推断移动体的移动量。再者，虽然通常是在运算资源丰富的服务器中学习移动量的推断处理，但也可在车辆上学习移动量的推断处理。

图10为第1实施方式的移动体行为预测装置的功能框图。移动体行为预测装置中设置有输入地图生成部1003、移动量推断部(特征量推断部)1004、按移动体区分的移动量获取部(特征量获取部)1005、以及将来位置预测部1006。输入地图生成部1003中设置有地图范围设定部1007、地图分辨率设定部1008、以及地图生成部1009。此外，时刻t'(当前时刻)的行驶数据1001从车辆上设置的各种传感器、车载摄像机等输入至移动体行为预测装置。与学习时的行驶数据702一样，行驶数据1001中包含自身车辆信息、地图数据、以及移动体信息。本实施方式的将来行为的预测是在地图上实施大部分处理，因此地图范围及地图分辨率会影响预测精度。因此，输入地图生成部1003使用行驶数据1001在地图范围设定部1007中动态地设定地图范围，而且在地图分辨率设定部1008中动态地设定地图分辨率。

图11为第1实施方式的地图范围的设定处理的说明图。地图范围设定部1007根据自身车辆所行驶的道路类别来动态地设定输入地图的地图范围。例如，在自身车辆正在高速公路上行驶的情况下，相较于左右方向而言，移动体更会聚集在前后方向上，因此对自身车辆设定竖长的地图范围1101。在自身车辆正在普通道路上行驶的情况下，要考虑从侧方进入至自身车辆的前进道路上的车辆和行人，因此对自身车辆设定宽一些的地图范围1102。地图范围1102的前后方向设定得比地图范围1101短。其原因在于，相较于高速公路而言，普通道路上自身车辆或其他移动体的速度较慢，因此处理区域较短也不会影响到预测精度。在自身车辆正在停车场等当中缓行的情况下，无须考虑远方的移动体，因此对自身车辆设定自身车辆周边的地图范围1103。

图12为第1实施方式的地图范围的设定处理的另一说明图。自身车辆或移动体的行为是速度越高越会受远方物体的影响。因此，地图范围设定部1007根据包括自身车辆在内的移动体当中速度最高的移动体来设定地图范围。

随着移动体的速度提高，像地图范围1201、1202、1203那样扩大范围。如此，地图范围设定部1007根据自身车辆所行驶的环境以及包括自身车辆在内的移动体的速度来设定地图范围的形状及大小。再者，针对自身车辆所行驶的每一环境事先准备好地图范围的形状，针对包括自身车辆在内的移动体的每一速度事先决定好地图范围的大小。

图13为第1实施方式的地图分辨率的设定处理的说明图。地图分辨率设定部1008根据输入地图的每单位面积的移动体数量来设定地图分辨率。在输入地图的每单位面积的移动体数量较多、移动体间的距离较小的情况下，像地图分辨率1301那样对地图范围设定高分辨率。反过来，随着输入地图的每单位面积的移动体数量减少而移动体间的距离增大，像地图分辨率1302、1303那样降低分辨率。由此，防止1个单元中储存两个以上的移动体相关的信息，抑制了预测精度的劣化。再者，地图分辨率是根据地图范围和移动体间的距离事先决定好的。

再者，地图范围设定部1007及地图分辨率设定部1008的处理在服务器的学习中生成输入地图801及输出地图901时也会使用。

在地图范围及地图分辨率的设定后，地图生成部1009使用从车辆的车载摄像机等输入的时刻t'的行驶数据1001来生成输入地图。输入地图的构成与图8所示的输入地图801相同，是分割为多个单元得到的网格地图。输入地图的各单元中储存有由静态物体的信息、时刻t'的移动体的信息、时刻t'之前的过去时刻的移动体的信息构成的数据。

移动量推断部1004借助完成了学习的卷积神经网络而利用输入地图来推断移动量作为各单元的特征量。完成了学习的卷积神经网络是通过反映从服务器通知给移动体行为预测装置的参数等来加以构建。此处，以地图形式推断移动量作为各单元的特征量，在地图的各单元中储存不同将来时刻的移动量。再者，在移动量的推断阶段，只是推断储存至各单元的移动量，并不推断移动体的移动量。

图14为第1实施方式的移动量的获取处理的说明图。移动量获取部1005根据移动量推断部1004推断出的移动量地图1401的各单元的移动量来获取移动体的距当前位置的不同将来时刻的移动量。如星号所示，移动体存在于各单元坐标中心的情况比较少见，实际上是位于偏离移动量地图1401上的各单元坐标中心的坐标上。移动量地图1402是从移动量地图1401中抽出移动体周边得到的，移动量地图1402的各单元中储存有存在于各单元坐标中心的情况下的移动体的将来时刻的移动量。移动量获取部1005根据移动体所存在的地图上的坐标与周边单元的移动量的位置关系来获取移动量。移动量获取部1005例如针对每一将来时刻而使用双线性插值、根据移动体的周边4个单元来获取移动体所存在的地图的坐标上的将来时刻的移动量。

图15为第1实施方式的将来位置的预测处理的说明图。将来位置预测部1006根据移动体的距当前位置的移动量来预测移动体的不同将来时刻的将来位置。在该情况下，移动量获取部1005的输出为不同将来时刻时的距当前位置的移动量，因此，通过针对每一将来时刻对移动量加上各移动体相对于自身车辆的相对位置，可以获得各移动体相对于自身车辆的将来行为的预测结果。

接着，对服务器的学习处理、移动体行为预测装置进行的移动体的将来位置的预测处理进行说明。

图16为第1实施方式的服务器的学习流程的一例。再者，学习流程是在系统管理人员指示了学习流程的时刻或者行驶数据存储部701中更新了规定量以上的行驶数据的时刻加以实施。当开始学习流程时(步骤S01)，判定是否满足学习的结束条件(步骤S02)。结束条件例如包括参数的更新次数、更新量等条件。

在参数的更新处理已重复了规定次数以上或者参数的更新量已达到一定量以下的情况下，判定已满足结束条件(步骤S02中为是)，学习流程结束(步骤S07)。

在不满足学习的结束条件的情况下(步骤S02中为否)，由输入地图生成部703生成输入地图(步骤S03)。输入地图生成部703根据行驶数据存储部701中存储的任意时刻的行驶数据702来生成输入地图。接着，由输出地图生成部704生成输出地图(步骤S04)。

输出地图生成部704根据行驶数据存储部701中存储的任意时刻之后的将来时刻的行驶数据702来生成输出地图。接着，由移动量推断部705根据输入地图来推断地图上的各单元坐标上的移动量(步骤S05)。移动量推断部705借助卷积神经网络而根据输入地图来推断移动量。

接着，由参数更新部706以移动量推断部705的输出与输出地图生成部704的输出的误差减小的方式对卷积神经网络的参数进行更新(步骤S06)。继而，重复步骤S03至步骤S06的各处理直至满足步骤S02的结束条件为止，设定出最适于卷积神经网络的参数。学习后的参数从服务器通知给车辆的移动体行为预测装置，在移动体行为预测装置中用于构建完成了学习的卷积神经网络。

图17为第1实施方式的移动体行为预测装置的预测流程的一例。当开始预测流程时(步骤S11)，由地图范围设定部1007设定输入地图的地图范围，同时由地图分辨率设定部1008设定输入地图的地图分辨率(步骤S12)。地图范围设定部1007根据自身车辆的行驶环境信息以及移动体的速度信息来设定输入地图的地图范围。地图分辨率设定部1008根据输入地图的每单位面积的移动体数量来设定地图分辨率。接着，由地图生成部1009生成输入地图(步骤S13)。

接着，由移动量推断部1004根据输入地图来推断地图上的各单元坐标上的移动量(步骤S14)。移动量推断部1004借助反映了服务器的学习结果的完成了学习的卷积神经网络而根据输入地图来推断移动量。接着，由移动量获取部1005获取移动体的距当前位置的移动量(步骤S15)。移动量获取部1005根据位于移动体周边的周边单元中储存的移动量、通过双线性插值来获取规定坐标的移动体的移动量。接着，由将来位置预测部1006预测移动体的将来位置(步骤S16)。

将来位置预测部1006根据各移动体相对于自身车辆的相对位置和移动量来推断将来位置。以如此方式预测出各移动体的将来行为，预测流程结束(步骤S17)。

如上所述，在第1实施方式的移动体行为预测装置中，是在单一地图上推断多个移动体的移动量。因此，单一输入地图的静态物体的关联信息以及移动体的关联信息在所有移动体的行为预测中通用，所以能削减每一移动体所需的运算处理、抑制伴随成为预测对象的移动体数量的增加而来的运算量的增加。此外，可以使用大范围的地图的信息来预测各移动体的将来行为，因此能提高预测精度。

[第2实施方式]

第1实施方式是使用输入地图来推断各移动体的移动量。如上所述，通过各移动体的周边单元的移动量的双线性插值来求移动量(参考图14)，但在移动体交错通过时有预测精度降低之虞。图18为表示移动体彼此交错通过时的预测例的图。移动体彼此的间隔较窄，各移动体的周边单元存在部分共用的情况。共用单元1801中仅储存用于一移动体的预测的移动量，因此，该移动量被用于另一移动体的预测会导致预测精度降低。

因此，在第2实施方式中，通过地图处理来推断与地形和移动体彼此的相互作用相关的周边信息并组合与各移动体的行进方向相关的信息来预测将来行为，而不是推断移动量。下面，参考附图，对第2实施方式进行说明。再者，第2实施方式与第1实施方式的不同点在于，通过地图处理来推断与地形和移动体彼此的相互作用等相关的周边信息。因而，与第1实施方式相同的构成将尽量省略说明。

图19为第2实施方式的服务器的功能框图。服务器中设置有行驶数据存储部1901、输入地图生成部1903、输出生成部1904、特征量推断部1905、特征量获取部1906、将来位置预测部1907、以及参数更新部1908。行驶数据存储部1901中存储有从各移动体采集到的各时刻的行驶数据1902。输入地图生成部1903从行驶数据存储部1901读入任意时刻t的行驶数据1902来生成单一输入地图。输出生成部1904从行驶数据存储部1901读入任意时刻t之后的将来时刻t+1起到将来时刻t+T为止的行驶数据1902来输出各移动物体的将来时刻时的移动量。输出生成部1904的输出成为移动体数量程度的移动量向量而不是第1实施方式的输出地图那样的三维张量。这与输出地图上存在移动体的单元中储存的移动量向量相同。

特征量推断部1905使用特征量推断用卷积神经网络从输入地图中提取特征地图来推断各单元的特征量。特征地图中包含与地形、移动体的相互作用相关的周边信息作为特征量。特征量获取部1906根据各移动体的周边单元的特征量、通过双线性插值来获取各移动体的特征地图的值。将来位置预测部1907使用移动量推断用神经网络而根据特征地图的值、各移动体的速度信息、移动体的过去时刻的移动量来针对每一移动体预测移动量。参数更新部1908以将来位置预测部1907获取到的移动量与输出生成部1904输出的移动量的误差减小的方式对特征量推断用卷积神经网络及移动量推断用神经网络进行更新。与第1实施方式一样，重复参数的更新处理直至满足结束条件为止。

图20为第2实施方式的移动体行为预测装置的功能框图。移动体行为预测装置中设置有输入地图生成部2003、特征量推断部2004、按移动体区分的特征量获取部2005、以及将来位置预测部2006。输入地图生成部2003中设置有地图范围设定部2007、地图分辨率设定部2008、以及地图生成部2009。输入地图生成部2003在地图范围设定部2007中设定地图范围并在地图分辨率设定部2008中设定地图分辨率来生成输入地图。

特征量推断部2004借助完成了学习的卷积神经网络从输入地图中提取特征地图来推断每一单元的特征量。特征量获取部2005根据各移动体的周边单元的特征量、通过双线性插值来获取各移动体的特征地图的值。将来位置预测部2006将特征地图的值、各移动体的速度信息、移动体的过去时刻的移动量输入至完成了学习的神经网络来预测各移动体的移动量。继而，将来位置预测部2006对各移动体的移动量加上各移动体相对于自身车辆的相对位置，由此能获得各移动体相对于自身车辆的将来行为的预测结果。

如上所述，在第2实施方式的移动体行为预测装置中，与第1实施方式一样，可以在抑制运算负荷增加的同时提高各移动体的预测精度。此外，特征量推断部2004的运算处理涵盖各移动体的周边环境的识别。因此，即便在移动体交错通过这样的交通状况下，通过对周边环境的信息组合各移动体的过去时刻的移动量也就是行进方向相关的信息，也能高精度地进行预测。

[第3实施方式]

第1实施方式的预测方法(以下记作第1预测方法)是在地图上预测移动量，因此运算处理速度快，但在移动体彼此交错通过的交通状况下预测精度会降低。另一方面，第2实施方式的预测方法(以下记作第2预测方法)在移动体彼此交错通过的交通状况下也能避免预测精度的降低，但移动体单独的运算处理增加、处理时间变长。因此，在第3实施方式中，根据是否是发生移动体彼此交错通过的交通状况来区分使用第1预测方法、第2预测方法。

图21为第3实施方式的移动体行为预测装置的功能框图。移动体行为预测装置中设置有预测方法选择部2101、预测方法调用部2102、预测方法存储部2103、以及预测部2104。预测方法选择部2101选择使用第1预测方法、第2预测方法中的哪一预测方法。在多个移动体的距离的最小值为阈值以上的情况下，预测方法选择部2101选择第1预测方法，在多个移动体的距离的最小值小于阈值的情况下，预测方法选择部2101选择第2预测方法。再者，所谓阈值以上的距离，是移动体彼此的周边单元不共用的距离，所谓小于阈值的距离，是移动体彼此的周边单元共用的距离。

预测方法调用部2102从预测方法存储部2103中读出预测方法选择部2101所选择的预测方法。预测部2104通过从预测方法存储部2103调用的预测方法来预测各移动体的将来行为。在发生移动体彼此交错通过的交通状况下调用第2预测方法，相较于运算处理的处理速度而言以预测精度为优先，从而抑制预测精度的降低。在不发生移动体彼此交错通过的交通状况下调用第1预测方法，相较于预测精度而言以运算处理的处理速度为优先，从而缩短处理时间。如此，在第3实施方式中兼顾了处理速度和预测精度。

对上述各移动体行为预测装置的硬件构成进行说明。图22为表示本实施方式的移动体行为预测装置的硬件构成的框图。移动体行为预测装置中内置有按程序进行各种运算处理的处理器2201、储存有程序等的ROM(Read Only Memory)2202、具有各种处理过程中加以利用的工作区等的RAM(Random Access Memory)2203等，它们由总线2204相互连接在一起。如此，通过使处理器2201、ROM2202、RAM2203配合来执行移动体行为预测装置各部的运算处理。再者，服务器也具有与移动体行为预测装置同样的硬件构成，通过使处理器、ROM、RAM配合来执行服务器各部的运算处理。

再者，在上述各实施方式中，移动体行为预测装置是设为预测移动体的不同时刻的将来位置的构成，但也可预测移动体的单一时刻的将来位置。移动体行为预测装置是设为预测多个移动体的将来位置的构成，但也可预测单一移动体的将来位置。

以上，对本发明的实施方式进行了详细叙述，但本发明并不限定于所述实施方式，可以在不脱离权利要求书记载的本发明的精神的范围内进行各种设计变更。例如，所述实施方式是为了以易于理解的方式说明本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可以对某一实施方式的构成加入其他实施方式的构成。进而，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。

符号说明

10…服务器、20…移动体行为预测装置、30…车辆、1003…输入地图生成部、1004…移动量推断部(特征量推断部)、1005…移动量获取部(特征量获取部)、1006…将来位置预测部、1007…地图范围设定部、1008…地图分辨率设定部、2003…输入地图生成部、2004…特征量推断部、2005…特征量获取部、2006…将来位置预测部、2007…地图范围设定部、2008…地图分辨率设定部、2101…预测方法选择部、2103…预测方法存储部。

Claims (10)

1.一种移动体行为预测装置，其预测自身车辆周边的移动体的行为，其特征在于，具备：

输入地图生成部，其将能够包含多个所述移动体的区域分割为多个单元，生成在各单元中储存有静态物体的关联信息以及所述移动体的关联信息的共通的单一输入地图；

特征量推断部，其根据所述单一输入地图而借助完成了学习的卷积神经网络来推断各单元的特征量；

特征量获取部，其根据位于所述移动体周边的单元中储存的特征量来获取所述移动体的当前位置上的特征量；以及

将来位置预测部，其根据所述移动体的当前位置的特征量来预测所述移动体的将来位置。

2.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述特征量推断部推断移动量作为各单元的特征量。

3.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述特征量推断部推断周边信息作为各单元的特征量。

4.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述特征量获取部获取存在于所述单一输入地图上的所述移动体的不同将来时刻的移动量。

5.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述特征量获取部根据位于所述移动体周边的单元中储存的特征量、使用双线性插值来获取该移动体所存在的坐标上的特征量。

6.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述输入地图生成部将当前时刻的移动体的信息以及过去时刻的移动体的信息作为所述移动体的关联信息储存至单元来生成输入地图。

7.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述输入地图生成部具有地图范围设定部，所述地图范围设定部根据所述自身车辆的行驶环境信息以及所述移动体的速度信息来设定所述单一输入地图的地图范围。

8.根据权利要求1所述的移动体行为预测装置，其特征在于，

所述输入地图生成部具有地图分辨率设定部，所述地图分辨率设定部根据所述单一输入地图的每单位面积的移动体数量来设定地图分辨率。

9.根据权利要求1所述的移动体行为预测装置，其特征在于，具备：

预测方法存储部，其存储使用移动量作为特征量的第1预测方法以及使用周边信息作为特征量的第2预测方法；以及

预测方法选择部，其根据多个移动体的距离来选择所述第1预测方法和所述第2预测方法，

在所述多个移动体的距离的最小值为阈值以上的情况下，所述预测方法选择部选择所述第1预测方法，在所述多个移动体的距离的最小值小于阈值的情况下，所述预测方法选择部选择所述第2预测方法。

10.根据权利要求1至9中任一项所述的移动体行为预测装置，其特征在于，

所述卷积神经网络是在外部的服务器中加以学习，

所述服务器生成任意时刻的输入地图，将在任意时刻观测到的移动体的至将来时刻为止的移动量作为目标输出，以借助所述卷积神经网络而根据输入地图加以推断的将来时刻的移动量与目标输出的误差减小的方式对该卷积神经网络的参数进行更新。

Images