CN105109482A - 停车入库方法及装置 - Google Patents

Abstract

本发明公开了一种停车入库方法及装置，属于汽车主动安全领域。该方法包括：根据本车的状态信息确定第一动作控制参数；根据第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；判断第一位置状态是否为预设状态；若第一位置状态为预设状态，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数；将输出参数对应的路径作为目标行驶路径；根据目标行驶路径控制本车完成停车入库动作。本发明解决了现有停车入库方法的稳定性较差，可靠性较低，且灵活性较差的问题，实现了提高稳定性、可靠度和灵活性的效果，用于控制车辆停车入库。

Description

停车入库方法及装置

技术领域

本发明涉及汽车主动安全领域，特别涉及一种停车入库方法及装置。

背景技术

随着科技的发展，尤其是智能计算的飞速发展，智能化汽车的研究成为各大车企聚焦的热点。停车入库是智能驾驶技术中必不可少的功能之一，在停车过程中，行驶路径的多少决定了停车方法的优劣。

现有技术中，停车入库方法利用雷达检测停车环境状态，利用摄像头检测车位线，通过相应的控制算法控制本车与障碍物如障碍车的距离、本车与车位线的距离，然后按照人为设定的车辆行驶路径，调整本车与障碍车的距离、本车与车位线的距离。

由于上述停车入库方法中的车辆行驶路径是人为设定的，该方法属于监督学习过程，而在实际应用中，车位的宽度、障碍车的位置及车辆的初始位置常常不固定，所以基于人为设定的车辆行驶路径的停车入库方法的稳定性较差，可靠性较低，且灵活性较差。

发明内容

为了解决现有停车入库方法的稳定性较差，可靠性较低，且灵活性较差的问题，本发明提供了一种停车入库方法及装置。所述技术方案如下：

第一方面，提供了一种停车入库方法，所述方法包括：

根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度；

根据所述第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断所述第一位置状态是否为预设状态；

若所述第一位置状态为预设状态，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数；

将所述输出参数对应的路径作为目标行驶路径；

根据所述目标行驶路径控制本车完成停车入库动作。

可选的，所述判断所述第一位置状态是否为预设状态，包括：

判断本车与障碍物是否发生碰撞；

若本车与所述障碍物发生碰撞，确定所述第一位置状态为预设状态；

若本车与所述障碍物未发生碰撞，确定所述第一位置状态不为预设状态。

可选的，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，在所述根据所述目标行驶路径控制本车完成停车入库动作之前，所述方法还包括：

若本车与所述障碍物未发生碰撞，则检测本车是否到达所述目标车位；

若本车到达所述目标车位，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

若本车未到达所述目标车位，则检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于所述预设步数，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于所述预设步数，则根据本车的当前状态确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

可选的，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，包括：

将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数。

可选的，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数，包括：

根据预设增强信号、本车处于所述第一位置状态时在停车环境中的位置信息、所述目标车位在所述停车环境中的位置信息确定第一增强信号，所述预设增强信号用于表示本车到达所述目标车位的可靠程度，所述第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；

根据所述增强学习算法对所述第一增强信号进行更新，得到第二增强信号，所述第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，所述任一位置状态对应至少一个动作控制参数，所述第三动作控制参数为所述至少一个动作控制参数中的任一参数；

根据所述第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组；

所述将所述输出参数对应的路径作为目标行驶路径，包括：

根据所述增强信号组确定所述目标行驶路径。

第二方面，提供了一种停车入库装置，所述装置包括：

第一确定单元，用于根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度；

第一控制单元，用于根据所述第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断单元，用于判断所述第一位置状态是否为预设状态；

第一处理单元，用于在所述第一位置状态为预设状态时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数；

第二处理单元，用于将所述输出参数对应的路径作为目标行驶路径；

第二控制单元，用于根据所述目标行驶路径控制本车完成停车入库动作。

可选的，所述判断单元，包括：

判断模块，用于判断本车与障碍物是否发生碰撞；

第一确定模块，用于在本车与所述障碍物发生碰撞时，确定所述第一位置状态为预设状态；

第二确定模块，用于在本车与所述障碍物未发生碰撞时，确定所述第一位置状态不为预设状态。

可选的，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，所述装置还包括：

第一检测单元，用于在本车与所述障碍物未发生碰撞时，检测本车是否到达所述目标车位；

第三处理单元，用于在本车到达所述目标车位时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

第二检测单元，用于在本车未到达所述目标车位时，检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所行驶的步数；

第四处理单元，用于在本车的移动步数大于所述预设步数时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

第二确定单元，用于在本车的移动步数不大于所述预设步数时，根据本车的当前状态确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

可选的，所述第一处理单元，包括：

处理模块，用于将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数。

可选的，所述处理模块用于：

根据预设增强信号、本车处于所述第一位置状态时在停车环境中的位置信息、所述目标车位在所述停车环境中的位置信息确定第一增强信号，所述预设增强信号用于表示本车到达所述目标车位的可靠程度，所述第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；

根据所述增强学习算法对所述第一增强信号进行更新，得到第二增强信号，所述第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，所述任一位置状态对应至少一个动作控制参数，所述第三动作控制参数为所述至少一个动作控制参数中的任一参数；

根据所述第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组；

所述第二处理单元用于：

根据所述增强信号组确定所述目标行驶路径。

本发明提供了一种停车入库方法及装置，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种停车入库方法的流程图；

图2-1是本发明实施例提供的另一种停车入库方法的流程图；

图2-2是本发明实施例提供的机器学习算法原理图；

图2-3是本发明实施例提供的一种停车环境的示意图；

图2-4是本发明实施例提供的一种得到机器学习算法的输出参数的流程图；

图2-5是图2-4所示实施例中第一增强信号的示意图；

图2-6是图2-4所示实施例中第二增强信号的示意图；

图2-7是图2-4所示实施例中增强信号组的示意图；

图2-8是本发明实施例提供的一种车辆的目标行驶路径的示意图；

图3-1是本发明实施例提供的一种停车入库装置的结构示意图；

图3-2是本发明实施例提供的一种判断单元的结构示意图；

图3-3是本发明实施例提供的另一种停车入库装置的结构示意图；

图3-4是本发明实施例提供的一种第一处理单元的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种停车入库方法，如图1所示，该停车入库方法可以包括：

步骤101、根据本车的状态信息确定第一动作控制参数，该状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，该第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度。

步骤102、根据第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。

步骤103、判断第一位置状态是否为预设状态。

步骤104、若第一位置状态为预设状态，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数。

步骤105、将输出参数对应的路径作为目标行驶路径。

步骤106、根据目标行驶路径控制本车完成停车入库动作。

综上所述，本发明实施例提供的停车入库方法，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，和灵活性。

可选的，步骤103包括：判断本车与障碍物是否发生碰撞；若本车与障碍物发生碰撞，确定第一位置状态为预设状态；若本车与障碍物未发生碰撞，确定第一位置状态不为预设状态。

可选的，停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态，在步骤106之前，该方法还包括：

若本车与障碍物未发生碰撞，则检测本车是否到达目标车位；

若本车到达目标车位，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径；

若本车未到达目标车位，则检测本车的移动步数是否大于预设步数，移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于预设步数，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于预设步数，则根据本车的当前状态确定第二动作控制参数，第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

可选的，步骤104包括：将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为增强学习算法的输入参数，得到增强学习算法的输出参数。

可选的，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为增强学习算法的输入参数，得到增强学习算法的输出参数，包括：

根据预设增强信号、本车处于第一位置状态时在停车环境中的位置信息、目标车位在停车环境中的位置信息确定第一增强信号，该预设增强信号用于表示本车到达目标车位的可靠程度，该第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；

根据增强学习算法对第一增强信号进行更新，得到第二增强信号，该第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，任一位置状态对应至少一个动作控制参数，第三动作控制参数为至少一个动作控制参数中的任一参数；

根据第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组；

相应的，步骤105包括：根据增强信号组确定目标行驶路径。

综上所述，本发明实施例提供的停车入库方法，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

本发明实施例提供了另一种停车入库方法，如图2-1所示，该停车入库方法可以包括：

步骤201、根据本车的状态信息确定第一动作控制参数。执行步骤202。

该状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息。该第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度。

本发明实施例提供的停车入库方法采用机器学习算法中的增强学习(Q-Learning)算法确定目标行驶路径。基于增强学习算法的停车入库方法的过程是一个学习的过程，车辆(即本车)在成功与失败的经验中学会如何使用最短的行驶路径完成停车入库动作。由于车辆在学习过程中存在失败的现象，因此可以先在计算机上进行试验，待车辆(即虚拟车辆)完成学习过程之后，再将学习算法中的相关值移植到实际车辆中。计算机在进行试验时可以先设置两个初始参数，如最大试验次数MaxTrail＝1000，最大移动步数即预设步数MaxStep＝5。停车环境可以划分为至少两个面积相等的网格，每个网格对应一个位置状态，而移动步数指的是车辆移动一次所经过的网格数。图2-2示出了机器学习算法原理图，如图2-2所示，车辆上的停车入库系统先与无先验知识的停车环境(即虚拟停车环境)实时交互，车辆自身感知车辆的当前状态量X(t)，X(t)包括车辆在停车环境中的位置及目标车位在停车环境中的位置，车辆感知到当前状态量之后，作出一个决策动作u(t)，该决策动作u(t)对应一组动作控制参数，该动作控制参数包括油门或刹车的力度值、方向盘旋转的角度。该决策动作u(t)会改变车辆当前的位置状态，使得车辆从当前位置状态转变到一个新的位置状态，相应获得一个新的状态量X(t+1)。与此同时，停车环境会反馈给车辆一个增强信号r(t)，该增强信号r(t)用于表示对决策动作u(t)的立即回报。本发明实施例通过增强信号表示车辆受到的奖励或惩罚。通常，增强信号用数值来表示，数值的大小表示决策动作的“好”与“坏”。同样，对于新的状态量X(t+1)，车辆也会做出新的决策动作u(t+1)，并从停车环境中获取一个新的增强信号r(t+1)。以此类推，即车辆在每个时刻都会与停车环境交互，根据停车环境反馈的增强信号值，在线调节动作策略，以便在后续决策动作中获得最大的回报。

随机选取车辆的状态，并将该状态作为车辆的初始状态。当车辆处于初始状态时，试验次数trail＝0。每一次试验开始时，移动步数step＝0。车辆的状态指的是车辆在停车环境中的位置及目标车位在停车环境中的位置。本发明实施例将停车环境离散化，如可以将停车环境划分为多个网格，每个网格对应一个位置状态，如图2-3所示的停车环境被划分为11*9个网格，通常，车辆从当前位置行驶至目标车位，需要经过多个网格。图2-3中的231表示其他车辆，232也表示其他车辆，233表示本车，234表示目标车位。需要补充说明的是，实际应用中，停车环境被划分的网格数远比图2-3中的网格数多得多，本发明实施例对此不作限定。

示例的，可以在车辆上安装雷达和摄像机，通过雷达和摄像机实时检测车辆的状态，获取车辆的状态信息，如通过雷达检测目标车位的边界和其他车辆，通过摄像机检测车位线。其中，其他车辆为障碍车，障碍车和目标车位的边界为障碍物。当车辆处于初始状态时，车辆可以随机产生一个决策动作，进而得到第一动作控制参数。

步骤202、根据第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。执行步骤203。

当车辆处于初始状态时，根据该初始状态信息确定第一动作控制参数，进而根据该第一动作控制参数调整车辆的位置状态，使得车辆到达一个新的位置状态即第一位置状态，此时，移动步数step＝step’+1，step’表示车辆处于上一位置状态时对应的移动步数。

步骤203、判断本车与障碍物是否发生碰撞。若本车与障碍物发生碰撞，执行步骤204；若本车与障碍物未发生碰撞，执行步骤207。

判断车辆与障碍物是否发生碰撞，具体的，可以判断车辆与障碍车是否发生碰撞，或车辆是否行使至目标车位的边界。若本车与障碍物发生碰撞，则按照步骤204根据增强学习算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态，最终获取增强学习算法的输出参数，从而确定车辆的目标行驶路径，若本车与障碍物未发生碰撞，则检测本车是否到达目标车位。

步骤204、将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数。执行步骤205。

若车辆与障碍物发生碰撞，根据机器学习算法确定车辆的目标行驶路径。具体的，可以通过增强学习算法确定目标行驶路径。则步骤204具体包括：将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为增强学习算法的输入参数，得到增强学习算法的输出参数。

增强学习算法能够解决的问题是：一个能够感知停车环境的车辆，怎样通过学习选择能到达目标车位的最优决策动作。当车辆在停车环境中每执行一个决策动作时，车辆都会被给予奖励或惩罚，通过奖励或惩罚使车辆学习到执行该决策动作到一个新的位置状态是否正确。如当车辆到达目标车位时被给予奖励即正回报，当车辆与障碍物发生碰撞时被给予惩罚即负回报，其他情况车辆被既不给予奖励也不给予惩罚即零回报。车辆的任务就是从这个非直接的，有延迟的回报中自我学习，以便在后续决策动作中获得最大的回报。本发明实施例通过增强信号表示车辆受到的奖励或惩罚，示例的，增强信号的设置规则可以为：车辆到达目标车位获得增强信号r＝+1，车辆与障碍物发生碰撞获得增强信号r＝-1，其他状态下车辆获得增强信号r＝0。

为了确定车辆的目标行驶路径，采用增强学习算法更新增强信号值。相应的，步骤204如图2-4所示，可以包括：

步骤2041、根据预设增强信号、本车处于第一位置状态时在停车环境中的位置信息、目标车位在停车环境中的位置信息确定第一增强信号。

预设增强信号用于表示本车到达目标车位的可靠程度，第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号。

步骤2042、根据增强学习算法对第一增强信号进行更新，得到第二增强信号。

第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，任一位置状态对应至少一个动作控制参数，第三动作控制参数为至少一个动作控制参数中的任一参数。

步骤2043、根据第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组。

本发明实施例以图2-5至图2-7为例对步骤2041至步骤2043的具体过程进行说明。图2-5至图2-7示出了更新增强信号值的原理图，图2-5至图2-7中的9个网格表示车辆可能位于停车环境中的9个位置状态，这9位置状态分别为S1至S9。本发明实施例假设S3为目标车位。如图2-5所示，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示预设增强信号。示例的，按照增强信号的设置规则，车辆从位置状态S1转移到位置状态S2的增强信号r12(图2-5中未标识)为0，车辆从位置状态S2转移到位置状态S3的增强信号r23(图2-5中未标识)为1。增强信号r12、增强信号r23或其他增强信号均为第一增强信号。

采用增强更新公式，对第一增强信号进行更新，得到第二增强信号，该增强更新公式为：

其中，r为第一增强信号即决策动作对应的立即回报，表示车辆从当前位置状态转移到下一个位置状态的增强信号，α为折算因子，示例的，α可以为0.8。x表示当前位置状态，x’表示下一个位置状态，u’表示下一位置状态对应的决策动作，maxQ(x’，u’)表示车辆在下一位置状态选择决策动作时产生的最大增强信号，为第二增强信号，表示车辆在当前位置状态选择某一决策动作对应的动作控制参数获得的增强信号。假设对图2-5中的增强信号r12进行更新，则采用增强更新公式可以得到：

从而得到r12对应的第二增强信号Q12为0.8。同理可以得到 等。多次更新后的增强信号如图2-6所示，图2-6中箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示第二增强信号即Q值，该Q值也表示车辆从一个位置状态选择一个决策动作对应的动作控制参数获得的最大累计增强信号。

接着在图2-6的基础上，根据最大值公式，确定车辆在各个位置状态对应的增强信号，得到增强信号组。该最大值公式为：

$V^{*}\left(x\right)=\underset{u^{\′}}{max}Q(x,u),$

其中，x表示当前位置状态，u表示当前位置状态对应的决策动作，V^*(x)表示车辆在当前位置状态对应的增强信号。示例的，当x为图2-6中的S1时，则由最大值公式可得到V^*(S1)＝max[0.8,0.51]＝0.8。同理可以得到V^*(S2)＝max[0.64,1,0.64]＝1，V^*(S4)＝max[0.64,0.64,0.41]＝0.64，V^*(S5)＝max[0.8,0.51,0.8,0.51]＝0.8，V^*(S6)＝max[1,0.64,0.64]＝1等。确定的车辆在各个位置状态对应的增强信号可以如图2-7所示，其中，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示车辆在各个位置状态对应的增强信号即V值，该V值也表示车辆在一个位置状态下获得的最大累计增强信号。

步骤205、将输出参数对应的路径作为目标行驶路径。执行步骤206。

步骤205具体包括：根据增强信号组确定目标行驶路径。该增强信号组为步骤2043得到的增强信号组。在步骤204的基础上，确定目标行驶路径。根据图2-7即可得到如图2-8所示的车辆的目标行驶路径。假设初始状态车辆从图2-8中的位置状态S7出发，由图2-8可知，车辆到达目标车位即位置状态S3的最短行驶路径即目标行驶路径可以有多条，该目标行驶路径可以为S7-S4-S1-S2-S3，也可以为S7-S8-S9-S6-S3，还可以为S7-S4-S5-S6-S3等。由于停车环境对应的网格的数量很多，所以车辆行驶的路线近似于光滑曲线，如图2-3所示的行驶路线。

步骤206、根据目标行驶路径控制本车完成停车入库动作。

获取了目标行驶路径，即可根据目标行驶路径控制本车完成停车入库动作。

步骤207、检测本车是否到达目标车位。若本车到达目标车位，执行步骤204，若本车未到达目标车位，执行步骤208。

若本车到达目标车位，则根据增强学习算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态。若本车未到达目标车位，则检测本车的移动步数是否大于预设步数。

步骤208、检测本车的移动步数是否大于预设步数。若本车的移动步数大于预设步数，执行步骤204，若本车的移动步数不大于预设步数，执行步骤201。

若本车的移动步数大于预设步数，则根据增强学习算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态。若本车的移动步数不大于预设步数，则执行步骤201，根据车辆的状态信息确定第一动作控制参数。

重复执行步骤204更新增强信号值，直到试验次数大于最大试验次数MaxTrail＝1000。接着将最后一次更新的增强信号值即学习值移植到实际车辆中，使得实际车辆在现实停车环境中根据该学习值完成停车入库过程。

需要说明的是，若预设增强信号设置得比较大，如车辆到达目标车位时获得的增强信号r＝100，则在整个试验结束之后，为了便于计算，可以将增强学习算法的输出参数进行归一化处理，也就是使最后一次更新的增强信号值的取值单位为[0,1]，然后将归一化后的结果作为最终停车入库的值，并将其移植到实际车辆中，使得实际车辆在现实停车环境中能够根据该学习值完成停车入库过程。

本发明实施例提供的停车入库方法，解决了智能车自主停车控制算法设计的问题，利用机器学习算法中的增强学习算法，使智能车自主与停车环境进行交互，获得相应的增强信号，并通过增强信号值自主学习并存储停车入库经验，最终使得智能车在车位宽度、障碍车的位置及车辆的初始位置不固定的情况下，具体更好的稳定性和自适应性。该停车入库方法能够使智能车自主学习，实现在不同停车环境下的最优停车策略，使智能车在停车入库时的行驶路径最少，从而使智能车自主停车具有更好的稳定性，自适应性，机动性和灵活性。

综上所述，本发明实施例提供的停车入库方法，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性和灵活性。

本发明实施例提供了一种停车入库装置，如图3-1所示，该停车入库装置可以包括：

第一确定单元301，用于根据本车的状态信息确定第一动作控制参数，状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度。

第一控制单元302，用于根据第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。

判断单元303，用于判断第一位置状态是否为预设状态。

第一处理单元304，用于在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数。

第二处理单元305，用于将输出参数对应的路径作为目标行驶路径。

第二控制单元306，用于根据目标行驶路径控制本车完成停车入库动作。

综上所述，本发明实施例提供的停车入库装置，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

可选的，如图3-2所示，判断单元303包括：

判断模块3031，用于判断本车与障碍物是否发生碰撞。

第一确定模块3032，用于在本车与障碍物发生碰撞时，确定第一位置状态为预设状态。

第二确定模块3033，用于在本车与障碍物未发生碰撞时，确定第一位置状态不为预设状态。

如图3-3所示，该停车入库装置还可以包括：

第一检测单元307，用于在本车与障碍物未发生碰撞时，检测本车是否到达目标车位。

第三处理单元308，用于在本车到达目标车位时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径。

第二检测单元309，用于在本车未到达目标车位时，检测本车的移动步数是否大于预设步数，移动步数为本车移动一次所经过的网格数。停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态，

第四处理单元310，用于在本车的移动步数大于预设步数时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径。

第二确定单元311，用于在本车的移动步数不大于预设步数时，根据本车的当前状态确定第二动作控制参数，该第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

如图3-4所示，第一处理单元304，包括：

处理模块3041，用于将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为增强学习算法的输入参数，得到增强学习算法的输出参数。

具体的，处理模块3041用于：

根据预设增强信号、本车处于第一位置状态时在停车环境中的位置信息、目标车位在停车环境中的位置信息确定第一增强信号，预设增强信号用于表示本车到达目标车位的可靠程度，第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；根据增强学习算法对第一增强信号进行更新，得到第二增强信号，第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，任一位置状态对应至少一个动作控制参数，第三动作控制参数为至少一个动作控制参数中的任一参数；根据第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组。

相应的，第二处理单元305用于：根据增强信号组确定目标行驶路径。

综上所述，本发明实施例提供的停车入库装置，能够在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，并将输出参数对应的路径作为目标行驶路径，进而根据目标行驶路径控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性和灵活性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、单元和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种停车入库方法，其特征在于，所述方法包括：

根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度；

根据所述第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断所述第一位置状态是否为预设状态；

若所述第一位置状态为预设状态，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数；

将所述输出参数对应的路径作为目标行驶路径；

根据所述目标行驶路径控制本车完成停车入库动作。

2.根据权利要求1所述的方法，其特征在于，

所述判断所述第一位置状态是否为预设状态，包括：

判断本车与障碍物是否发生碰撞；

若本车与所述障碍物发生碰撞，确定所述第一位置状态为预设状态；

若本车与所述障碍物未发生碰撞，确定所述第一位置状态不为预设状态。

3.根据权利要求2所述的方法，其特征在于，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，在所述根据所述目标行驶路径控制本车完成停车入库动作之前，所述方法还包括：

若本车与所述障碍物未发生碰撞，则检测本车是否到达所述目标车位；

若本车到达所述目标车位，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

若本车未到达所述目标车位，则检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于所述预设步数，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于所述预设步数，则根据本车的当前状态确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

4.根据权利要求1所述的方法，其特征在于，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，包括：

将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数。

5.根据权利要求4所述的方法，其特征在于，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数，包括：

根据预设增强信号、本车处于所述第一位置状态时在停车环境中的位置信息、所述目标车位在所述停车环境中的位置信息确定第一增强信号，所述预设增强信号用于表示本车到达所述目标车位的可靠程度，所述第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；

根据所述增强学习算法对所述第一增强信号进行更新，得到第二增强信号，所述第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，所述任一位置状态对应至少一个动作控制参数，所述第三动作控制参数为所述至少一个动作控制参数中的任一参数；

根据所述第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组；

所述将所述输出参数对应的路径作为目标行驶路径，包括：

根据所述增强信号组确定所述目标行驶路径。

6.一种停车入库装置，其特征在于，所述装置包括：

第一确定单元，用于根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一力度值、方向盘旋转的第一角度；

第一控制单元，用于根据所述第一动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断单元，用于判断所述第一位置状态是否为预设状态；

第一处理单元，用于在所述第一位置状态为预设状态时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数；

第二处理单元，用于将所述输出参数对应的路径作为目标行驶路径；

第二控制单元，用于根据所述目标行驶路径控制本车完成停车入库动作。

7.根据权利要求6所述的装置，其特征在于，

所述判断单元，包括：

判断模块，用于判断本车与障碍物是否发生碰撞；

第一确定模块，用于在本车与所述障碍物发生碰撞时，确定所述第一位置状态为预设状态；

第二确定模块，用于在本车与所述障碍物未发生碰撞时，确定所述第一位置状态不为预设状态。

8.根据权利要求7所述的装置，其特征在于，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，所述装置还包括：

第一检测单元，用于在本车与所述障碍物未发生碰撞时，检测本车是否到达所述目标车位；

第三处理单元，用于在本车到达所述目标车位时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

第二检测单元，用于在本车未到达所述目标车位时，检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

第四处理单元，用于在本车的移动步数大于所述预设步数时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为机器学习算法的输入参数，得到所述机器学习算法的输出参数，并将所述输出参数对应的路径作为目标行驶路径；

第二确定单元，用于在本车的移动步数不大于所述预设步数时，根据本车的当前状态确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的第二力度值、方向盘旋转的第二角度。

9.根据权利要求6所述的装置，其特征在于，所述第一处理单元，包括：

处理模块，用于将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为增强学习算法的输入参数，得到所述增强学习算法的输出参数。

10.根据权利要求9所述的装置，其特征在于，所述处理模块用于：

根据预设增强信号、本车处于所述第一位置状态时在停车环境中的位置信息、所述目标车位在所述停车环境中的位置信息确定第一增强信号，所述预设增强信号用于表示本车到达所述目标车位的可靠程度，所述第一增强信号用于表示本车从一个位置状态转移到另一个位置状态的增强信号；

根据所述增强学习算法对所述第一增强信号进行更新，得到第二增强信号，所述第二增强信号用于表示本车在任一位置状态选择第三动作控制参数获得的增强信号，所述任一位置状态对应至少一个动作控制参数，所述第三动作控制参数为所述至少一个动作控制参数中的任一参数；

根据所述第二增强信号确定本车在各个位置状态对应的增强信号，得到增强信号组；

所述第二处理单元用于：

根据所述增强信号组确定所述目标行驶路径。