CN105527963A - 侧方位停车方法及系统 - Google Patents
侧方位停车方法及系统 Download PDFInfo
- Publication number
- CN105527963A CN105527963A CN201510982164.3A CN201510982164A CN105527963A CN 105527963 A CN105527963 A CN 105527963A CN 201510982164 A CN201510982164 A CN 201510982164A CN 105527963 A CN105527963 A CN 105527963A
- Authority
- CN
- China
- Prior art keywords
- location
- car
- parking
- state
- status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000010801 machine learning Methods 0.000 claims abstract description 98
- 230000009471 action Effects 0.000 claims description 147
- 230000008569 process Effects 0.000 claims description 35
- 230000004888 barrier function Effects 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 108010001267 Protein Subunits Proteins 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002708 enhancing effect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 24
- 238000012360 testing method Methods 0.000 description 16
- 238000005728 strengthening Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009123 feedback regulation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明公开一种侧方位停车方法及系统，属于车辆主动安全领域。该方法用于侧方位停车系统，包括：获取本车的车辆状态信息，车辆状态信息包括：本车在停车环境中的位置信息和目标车位在停车环境中的位置信息；根据车辆状态信息，采用机器学习算法确定离散停车行驶路径；对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径；根据目标停车行驶路径控制本车完成侧方位停车。本发明解决了侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性、灵活性的效果。本发明用于侧方位停车。
Description
技术领域
本发明涉及车辆主动安全领域，特别涉及一种侧方位停车方法及系统。
背景技术
随着科技与经济的发展，车辆已经成为生活中必不可少的交通工具。侧方位停车是较为重要的驾驶环节，而随着智能计算的飞速发展，侧方位停车系统已成为智能驾驶技术中研究的焦点。
现有技术中，侧方位停车系统包括：状态获取模块和停车控制模块，停车控制模块中存储有驾驶员根据侧方位停车经验设置的车辆状态信息与停车行驶路径的对应关系，其中，车辆状态信息可以包括：待停车辆在停车环境中的位置信息、目标车位在停车环境中的位置信息、停车环境中的障碍物的位置信息等，在进行侧方位停车时，状态获取模块可以获取本车的车辆状态信息，停车控制模块可以根据本车的车辆状态信息与停车行驶路径的对应关系确定与本车的车辆状态信息对应的目标停车行驶路径，然后根据该目标停车行驶路径完成侧方位停车。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
现有的侧方位停车系统是基于驾驶员的经验实现侧方位停车的，由于实际应用中，不同的停车环境中的车位的宽度、障碍物的位置不同，因此，基于驾驶员经验的侧方位停车系统的稳定性较低，灵活性较差。
发明内容
为了解决现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，本发明提供一种侧方位停车方法及系统。所述技术方案如下：
第一方面，提供一种侧方位停车方法，用于侧方位停车系统，所述方法包括：
获取本车的车辆状态信息，所述车辆状态信息包括：本车在停车环境中的位置信息和目标车位在所述停车环境中的位置信息；
根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径；
对所述离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，所述目标停车行驶路径的起点为本车在所述停车环境中的位置信息指示的初始位置点，所述目标停车行驶路径的终点为所述目标车位在所述停车环境中的位置信息指示的目标位置点；
根据所述目标停车行驶路径控制本车完成侧方位停车。
可选地，所述根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径，包括：
获取所述停车环境；
将所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态；
根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值；
确定所述至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
确定所述至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，所述至少两个位置点包括所述初始位置点和所述目标位置点；
依次连接相邻的两个位置点得到所述离散停车行驶路径。
可选地，所述根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值，包括：
根据所述车辆状态信息确定本车从所述初始位置点到所述目标位置点所采取的动作对应的第一动作参数；
根据所述第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
判断所述第一位置状态是否为目标位置状态，所述目标位置状态是所述目标位置点对应的位置状态；
若所述第一位置状态是所述目标位置状态，则将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
根据所述第一输出参数确定所述至少两个位置状态值。
可选地，在所述判断所述第一位置状态是否为目标位置状态之后，所述方法还包括：
若所述第一位置状态不是所述目标位置状态，则判断本车的移动步数是否大于预设步数，所述移动步数为本车从所述初始位置点移动至第一位置点所经过的网格数，所述第一位置点为所述第一位置状态对应的位置点；
若本车的移动步数不大于所述预设步数，则根据本车的当前状态信息确定本车从所述第一位置点到所述目标位置点所采取的动作对应的第二动作参数，所述当前状态信息包括：本车在所述停车环境中的当前位置信息和所述目标车位在所述停车学习环境中的位置信息；
根据所述第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
判断所述第二位置状态是否为目标位置状态；
若所述第二位置状态是所述目标位置状态，则将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
将所述第二动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第二输出参数；
根据所述第一输出参数和所述第二输出参数确定所述至少两个位置状态值。
可选地，所述根据所述第一动作参数调整本车的位置状态，包括：
根据所述第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
所述根据所述第二动作参数调整本车的位置状态，包括：
根据所述第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
可选地，在所述根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值之后，所述方法还包括：
采用自适应学习算法对所述至少两个位置状态值进行更新。
第二方面，提供一种侧方位停车系统，所述侧方位停车系统包括：
获取模块，用于获取本车的车辆状态信息，所述车辆状态信息包括：本车在停车环境中的位置信息和目标车位在所述停车环境中的位置信息；
确定模块，用于根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径；
拟合模块，用于对所述离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，所述目标停车行驶路径的起点为本车在所述停车环境中的位置信息指示的初始位置点，所述目标停车行驶路径的终点为所述目标车位在所述停车环境中的位置信息指示的目标位置点；
停车模块，用于根据所述目标停车行驶路径控制本车完成侧方位停车。
可选地，所述确定模块，包括：
获取单元，用于获取所述停车环境；
划分单元，用于将所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态；
第一确定单元，用于根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值；
第二确定单元，用于确定所述至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
第三确定单元，用于确定所述至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，所述至少两个位置点包括所述初始位置点和所述目标位置点；
连接单元，用于依次连接相邻的两个位置点得到所述离散停车行驶路径。
可选地，所述第一确定单元，包括：
第一确定子单元，用于根据所述车辆状态信息确定本车从所述初始位置点到所述目标位置点所采取的动作对应的第一动作参数；
第一调整子单元，用于根据所述第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
第一判断子单元，用于判断所述第一位置状态是否为目标位置状态，所述目标位置状态是所述目标位置点对应的位置状态；
第一得到子单元，用于当所述第一位置状态是所述目标位置状态时，将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
第二确定子单元，用于根据所述第一输出参数确定所述至少两个位置状态值。
可选地，所述第一确定单元，还包括：
第二判断子单元，用于当所述第一位置状态不是所述目标位置状态时，判断本车的移动步数是否大于预设步数，所述移动步数为本车从所述初始位置点移动至第一位置点所经过的网格数，所述第一位置点为所述第一位置状态对应的位置点；
第三确定子单元，用于当本车的移动步数不大于所述预设步数时，根据本车的当前状态信息确定本车从所述第一位置点到所述目标位置点所采取的动作对应的第二动作参数，所述当前状态信息包括：本车在所述停车环境中的当前位置信息和所述目标车位在所述停车学习环境中的位置信息；
第二调整子单元，用于根据所述第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
第三判断子单元，用于判断所述第二位置状态是否为目标位置状态；
第二得到子单元，用于当所述第二位置状态是所述目标位置状态时，将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
第三得到子单元，用于将所述第二动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第二输出参数；
第四确定子单元，用于根据所述第一输出参数和所述第二输出参数确定所述至少两个位置状态值。
可选地，所述第一调整子单元，用于根据所述第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
所述第二调整子单元，用于根据所述第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
可选地，所述确定模块，还包括：
更新单元，用于采用自适应学习算法对所述至少两个位置状态值进行更新。
本发明提供的技术方案带来的有益效果是：
本发明提供的侧方位停车方法及系统，通过获取本车的车辆状态信息；根据车辆状态信息，采用机器学习算法确定离散停车行驶路径；对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径；根据目标停车行驶路径控制本车完成侧方位停车，该方法由侧方位停车系统执行。由于本发明采用机器学习算法确定目标停车行驶路径，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种侧方位停车方法的方法流程图；
图2-1是本发明另一个实施例提供的一种侧方位停车方法的方法流程图；
图2-2是图2-1所示实施例提供的机器学习算法的原理图；
图2-3是图2-1所示实施例提供的将停车环境离散化的示意图；
图2-4是图2-1所示实施例提供的采用机器学习算法确定离散停车行驶路径的方法流程图；
图2-5是图2-1所示实施例提供的采用机器学习算法确定至少两个位置状态值的方法流程图；
图2-6是图2-1所示实施例提供的增强信号的设置规则图；
图2-7是图2-1所示实施例提供的第一增强信号的示意图；
图2-8是图2-1所示实施例提供的第二增强信号的示意图；
图2-9是图2-1所示实施例提供的位置状态的示意图；
图3是本发明一个实施例提供的一种侧方位停车系统的框图；
图4-1是本发明另一个实施例提供的一种侧方位停车系统的框图；
图4-2是图4-1所示实施例提供的一种确定模块的框图；
图4-3是图4-1所示实施例提供的一种第一确定单元的框图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作可选地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参考图1，其示出了本发明一个实施例提供的一种侧方位停车方法的方法流程图，该侧方位停车方法可以由侧方位停车系统来执行。参见图1，该侧方位停车方法可以包括如下几个步骤：
步骤101、获取本车的车辆状态信息，车辆状态信息包括：本车在停车环境中的位置信息和目标车位在停车环境中的位置信息。
步骤102、根据车辆状态信息，采用机器学习算法确定离散停车行驶路径。
步骤103、对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，目标停车行驶路径的起点为本车在停车环境中的位置信息指示的初始位置点，目标停车行驶路径的终点为目标车位在停车环境中的位置信息指示的目标位置点。
步骤104、根据目标停车行驶路径控制本车完成侧方位停车。
综上所述，本发明实施例提供的侧方位停车方法，侧方位停车系统通过获取本车的车辆状态信息，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，根据目标停车行驶路径控制本车完成侧方位停车。由于本发明实施例采用机器学习算法确定目标停车行驶路径，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
可选地，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，包括：
获取停车环境；
将停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态；
根据车辆状态信息，采用机器学习算法确定至少两个位置状态值；
确定至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
确定至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，至少两个位置点包括初始位置点和目标位置点；
依次连接相邻的两个位置点得到离散停车行驶路径。
可选地，根据车辆状态信息，采用机器学习算法确定至少两个位置状态值，包括：
根据车辆状态信息确定本车从初始位置点到目标位置点所采取的动作对应的第一动作参数；
根据第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
判断第一位置状态是否为目标位置状态，目标位置状态是目标位置点对应的位置状态；
若第一位置状态是目标位置状态，则将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数；
根据第一输出参数确定至少两个位置状态值。
可选地，在判断第一位置状态是否为目标位置状态之后，方法还包括：
若第一位置状态不是目标位置状态，则判断本车的移动步数是否大于预设步数，移动步数为本车从初始位置点移动至第一位置点所经过的网格数，第一位置点为第一位置状态对应的位置点；
若本车的移动步数不大于预设步数，则根据本车的当前状态信息确定本车从第一位置点到目标位置点所采取的动作对应的第二动作参数，当前状态信息包括：本车在停车环境中的当前位置信息和目标车位在停车学习环境中的位置信息；
根据第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
判断第二位置状态是否为目标位置状态；
若第二位置状态是目标位置状态，则将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数；
将第二动作参数作为机器学习算法的输入参数，得到机器学习算法的第二输出参数；
根据第一输出参数和第二输出参数确定至少两个位置状态值。
可选地，根据第一动作参数调整本车的位置状态，包括：
根据第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
根据第二动作参数调整本车的位置状态，包括：
根据第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
可选地，在根据车辆状态信息，采用机器学习算法确定至少两个位置状态值之后，方法还包括：
采用自适应学习算法对至少两个位置状态值进行更新。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
综上所述，本发明实施例提供的侧方位停车方法，侧方位停车系统通过获取本车的车辆状态信息，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，根据目标停车行驶路径控制本车完成侧方位停车。由于本发明实施例采用机器学习算法确定目标停车行驶路径，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
请参考图2-1，其示出了本发明另一个实施例提供的一种侧方位停车方法的方法流程图，该侧方位停车方法可以由侧方位停车系统来执行。参见图2-1，该侧方位停车方法可以包括如下几个步骤：
步骤201、侧方位停车系统获取本车的车辆状态信息，车辆状态信息包括：本车在停车环境中的位置信息和目标车位在停车环境中的位置信息。执行步骤202。
其中，停车环境指的是本车当前所处的停车环境，比如，当本车当前处于停车场P时，该停车环境就指的是停车场P的环境，本发明实施例对此不做限定。在本发明实施例中，可以在本车上安装雷达、摄像机等探测装置，该侧方位停车系统可以通过探测装置探测本车在停车环境中的位置、目标车位在停车环境中的位置，进而得到本车在停车环境中的位置信息和目标车位在停车环境中的位置信息，该本车在停车环境中的位置信息和目标车位在停车环境中的位置信息也即本车的车辆状态信息，侧方位停车系统可以获取本车的车辆状态信息。需要说明的是，侧方位停车系统还可以获取停车环境中的障碍物的信息，该障碍物包括停车环境中的其他车辆。示例地，侧方位停车系统通过雷达探测目标车位的边界和其他车辆，通过摄像机探测车位线。其中，该其他车辆可以为障碍车，障碍车和目标车位的边界线为障碍物。
步骤202、侧方位停车系统根据车辆状态信息，采用机器学习算法确定离散停车行驶路径。执行步骤203。
需要说明的是，在本发明实施例中，可以采用机器学习算法中的自适应学习算法拟合Q学习算法确定离散停车行驶路径。具体地，可以先在计算机上进行试验，智能车(即学习环境中的车辆)完成学习过程之后，再将学习算法中的相关值移植到实际车辆中，其中，该学习算法中的相关值也即是位置状态值。实际应用中，侧方位停车系统可以根据移植的相关值确定离散停车行驶路径。其中，学习过程可以包括：采用Q学习算法得到智能车在停车环境中的各个位置的位置状态值，根据各个位置的位置状态值确定最优路径规划，然后采用自适应学习算法对智能车在停车环境中的各个位置的位置状态值进行反馈调节得到各个位置的最终位置状态值，进而根据各个位置的最终位置状态值得到学习算法中的相关值。其中，基于机器学习算法的侧方位停车过程是一个学习的过程，智能车能够采用机器学习算法在停车成功与失败的经验中学会使用最短的停车行驶路径完成侧方位停车。在本发明实施例中，智能车具有学习及经验存储的功能，学习后的智能车在初始位置、车位宽度不同、旁边车辆位置不同的情况下，停车过程均具有较好的稳定性和自适应性。智能车在学习时，可以先在计算机上设置初始参数，该初始参数如最大试验次数MaxTrail＝1000，最大移动步数(预设步数)MaxStep＝7，让智能车自主学习侧方位停车策略。其中，停车环境可以划分为至少两个面积相等的网格，每个网格对应一个位置状态，而移动步数指的是车辆移动一次所经过的网格数。其中，具体的学习方法可以包括：将停车环境离散化成100×100的方格，随机初始化智能车的位置状态并利用自适应学习算法中的动作网络对该位置状态的智能车随机产生一个决策动作，利用自适应学习算法中的评价网络对动作网络产生的决策动作进行实时评估，若尚未出界、未达到目标、未满最大步数，则重复随机产生决策动作，否则更新值表。随机初始状态重复预设数值次，智能车在预设数值次的试验中，通过增强信号学习侧方位停车策略，并更新停车环境中相应的值表。试验完预设数值个不同停车环境后，值表将作为智能车停车的经验装入实车，现实环境中，实车将根据值表实现智能侧方位停车。
示例地，请参考图2-2，其示出的是机器学习算法(自适应学习算法)的原理图，参见图2-2，侧方位停车系统可以包括：动作网络和评价网络两个神经网络，该两个神经网络均为采用非线性多层感知机结构的正向输送网络，每个网络里均含有一个隐藏层。具体学习过程为：智能车自身感知智能车的当前状态量X(t)，X(t)包括智能车在停车环境中的位置及目标车位在停车环境中的位置，智能车感知到当前状态量之后，动作网络根据当前状态量X(t)产生一个决策动作u(t)，这个决策动作u(t)对应一组动作控制参数，该动作控制参数包括油门或刹车的力度值、方向盘旋转的角度等。该决策动作u(t)会改变智能车当前的位置状态，使得智能车从当前位置状态转变到一个新的位置状态，相应获得一个新的状态量X(t+1)。同时，停车环境会反馈给侧方位停车系统一个增强信号r(t)，该增强信号r(t)用于表示对智能车执行决策动作u(t)后的立即回报。停车环境可以将当前状态量X(t)输入评价网络，同时，动作网络可以将根据当前状态量X(t)作出的决策动作u(t)发送至评价网络，评价网络根据当前状态量X(t)和决策动作u(t)计算得到执行决策动作u(t)需要付出的代价J(t)，侧方位停车系统根据t-1时刻执行的决策动作需要付出的代价J(t-1)和决策动作u(t)对应的折算回报无穷累加和R(t)确定出评价误差，该评价误差可以为J(t-1)-u(t)，根据预设的效用期望Uc(t)和执行决策动作u(t)需要付出的代价J(t)确定出动作误差，该动作误差可以为Uc(t)-J(t)，侧方位停车系统可以根据评价误差J(t-1)-u(t)利用梯度下降法则调节评价网络的权值，根据动作误差Uc(t)-J(t)利用梯度下降法则调节动作网络的权值，得到符合条件的决策动作以及对应的增强信号，进而得到侧方位停车策略。通常，增强信号可以以数值的方式存在，不同的数值用以评价动作网络做出的决策动作的“好”、“坏”，且增强信号的数值越大表明动作网络做出的决策动作越好，增强信号的数值越小表明动作网络做出的决策动作越差。同样，对于新的状态量X(t+1)，动作网络会做出新的决策动作u(t+1)，并从得到一个增强信号r(t+1)。依次类推下去，即侧方位停车系统在每个时刻都会与停车环境进行交互，通过停车环境反馈的增强信号的“好”、“坏”，在线调节侧方位停车策略，以便在后续决策动作中获得最大的回报。
可以随机选取智能车的状态，并将该状态作为智能车的初始状态。当智能车处于初始状态时，试验次数trail＝0。每一次试验开始时，移动步数step＝0。智能车的状态指的是智能车在停车环境中的位置及目标车位在停车环境中的位置。本发明实施例将停车环境离散化，比如，可以将停车环境划分为多个网格，每个网格对应一个位置状态。示例地，请参考图2-3，其示出的是图2-1所示实施例提供的将停车环境离散化的示意图，参见图2-3，停车环境被划分为11*6个面积相等的网格，每个网格可以是正方形，可以将智能车看做质点，通常，智能车从当前位置行驶至目标车位，需要经过多个网格。图2-3中的231表示其他车辆，232也表示其他车辆，233表示智能车，234表示目标车位。需要补充说明的是，实际应用中，停车环境被划分的网格数远比图2-3中的网格数多，比如，将停车环境离散化为100×100的网格，本发明实施例对此不作限定。
侧方位停车系统确定本车的车辆状态信息后，可以采用机器学习算法确定离散停车行驶路径。示例地，请参考图2-4，其示出的是图2-1所示实施例提供的一种侧方位停车系统根据车辆状态信息，采用机器学习算法确定离散停车行驶路径的方法流程图，参见图2-4，该方法流程可以包括：
子步骤2021、获取停车环境。执行步骤2022。
侧方位停车系统可以获取停车环境，该停车环境指的是本车当前所处的停车环境。示例地，可以在本车上安装雷达、摄像机等探测装置，该侧方位停车系统可以通过探测装置探测本车的停车环境，并获取该停车环境。示例地，该停车环境可以为整个停车场的环境等，本发明实施例对此不做限定。
子步骤2022、将停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态。执行步骤2023。
获取停车环境后，侧方位停车系统可以对停车环境进行离散化处理，得到离散化的停车环境，也即，侧方位停车系统将停车环境划分为至少两个面积相等的网格，每个网格可以对应一个位置状态，其中，该位置状态指的是车辆的位置状态，也可以理解为是车辆的位置，实际应用中，车辆每移动一次其位置就会发生变化，因此，车辆每移动一次车辆的位置状态会发生变化。
子步骤2023、根据车辆状态信息，采用机器学习算法确定至少两个位置状态值。执行步骤2024。
可选地，侧方位停车系统将本车的车辆状态信息作为机器学习算法的输入参数，得到机器学习算法的输出参数，该输出参数也即位置状态值，由于车辆移动一次其位置会发生变化，每个位置可以对应一个位置状态值，因此，该至少两个位置状态值至少包括：本车当前所处位置的位置状态值和本车移动一次后所处的位置的位置状态值。
示例地，请参考图2-5，其示出的是图2-1所示实施例提供的一种采用机器学习算法确定至少两个位置状态值的方法流程图，参见图2-5，该方法流程可以可以包括：
子步骤2023A、根据车辆状态信息确定本车从初始位置点到目标位置点所采取的动作对应的第一动作参数。执行步骤2023B。
其中，该第一动作参数可以包括：油门或刹车的第一力度值、方向盘旋转的第一角度等，本发明实施例对此不做限定。当本车处于初始状态时，侧方位停车系统可以随机产生一个决策动作，进而得到第一动作控制参数。
子步骤2023B、根据第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态。执行步骤2023C。
确定第一动作参数后，侧方位停车系统可以根据第一动作参数调整本车的位置状态，使得本车的位置状态发生变化，并达到一个新的位置状态，该新的位置状态可以为第一位置状态，此时，移动步数step＝step’+1，step’表示车辆处于上一位置状态时对应的移动步数。
需要说明的是，在本发明实施例中，侧方位停车系统根据第一动作参数调整本车的位置状态的过程中，可以判断本车与障碍物是否发生碰撞，若本车与障碍物发生碰撞，则侧方位停车系统更新增强信号值，并进行下一次试验，trail＝trail+1，直到试验次数大于最大试验次数MaxTrail＝1000，实验结束。若本车与障碍物未发生碰撞，则执行步骤2023C。在本发明实施例中，障碍物可以包括：停车环境中的除本车以外的其他车辆、目标车位的边界线等，本发明实施例对此不做限定。
子步骤2023C、判断第一位置状态是否为目标位置状态。若第一位置状态是目标位置状态，则执行步骤2023D；若第一位置状态不是目标位置状态，则执行步骤2023F。
其中，目标位置状态是目标位置点对应的位置状态。目标位置点为目标车位在停车环境中的位置信息指示的位置点。侧方位停车系统可以判断第一位置状态是否为目标位置状态，若第一位置状态是目标位置状态，则侧方位停车系统根据机器学习算法更新值表，该值表中的值可以为增强信号值。
子步骤2023D、将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数。执行步骤2023E。
侧方位停车系统可以将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数，该第一输出参数可以包括：至少两个位置状态值，每个位置状态值可以为一个增强信号值。
增强学习算法中，车辆能够感知停车环境，根据停车环境通过学习选择能到达目标车位的最优决策动作。当车辆在停车环境中每执行一个决策动作时，车辆都会被给予奖励或惩罚，通过奖励或惩罚使车辆学习执行该决策动作到一个新的位置状态是否正确。如当车辆到达目标车位时被给予奖励即正回报，当车辆与障碍物发生碰撞时被给予惩罚即负回报，其他情况车辆被既不给予奖励也不给予惩罚即零回报。车辆可以根据回报自我学习，以便在后续决策动作中获得最大的回报。本发明实施例通过增强信号表示车辆受到的奖励或惩罚，示例的，请参考图2-6，其示出的是本发明实施例提供的增强信号的设置规则图，参见图2-6，车辆到达目标车位获得增强信号r＝+1，车辆与障碍物(其他车辆)发生碰撞获得增强信号r＝-0.2，其他状态下(未到达目标车位也未发生碰撞)车辆获得增强信号r＝0。
子步骤2023E、根据第一输出参数确定至少两个位置状态值。
侧方位停车系统可以根据第一输出参数确定至少两个位置状态值，其中，由于第一输出参数包括至少两个位置状态值，因此，侧方位停车系统可以直接根据第一输出参数确定至少两个位置状态值。
子步骤2023F、判断本车的移动步数是否大于预设步数。若本车的移动步数不大于预设步数，则执行步骤2023G；若本车的移动步数大于预设步数，执行步骤2023A。
其中，移动步数为本车从初始位置点移动至第一位置点所经过的网格数，第一位置点为第一位置状态对应的位置点。
侧方位停车系统根据第一动作参数调整本车的位置状态是本车到达第一位置状态后，可以判断本车的移动步数是否大于预设步数，若本车的移动步数大于预设步数，则说明本车移动步数超过期望步数但是还未到达目标车位，因此，试验失败，侧方位停车系统执行步骤2023G重新进行试验，trail＝trail+1，直到试验次数大于最大试验次数MaxTrail＝1000，实验结束。若本车的移动步数不大于预设步数，在说明本车在期望步数内可能会到达目标车位，因此，侧方位停车系统继续移动车辆。
子步骤2023G、根据本车的当前状态信息确定本车从第一位置点到目标位置点所采取的动作对应的第二动作参数。执行步骤2023H。
其中，当前状态信息包括：本车在停车环境中的当前位置信息和目标车位在停车学习环境中的位置信息。该第二动作参数可以包括：油门或刹车的第二力度值、方向盘旋转的第二角度等，本发明实施例对此不做限定。当本车处于第一位置状态时，侧方位停车系统可以随机产生一个决策动作，进而得到第二动作控制参数。
子步骤2023H、根据第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态。执行步骤2023I。
确定第二动作参数后，侧方位停车系统可以根据第二动作参数调整本车的位置状态，使得本车的位置状态发生变化，并达到一个新的位置状态，该新的位置状态可以为第二位置状态，此时，移动步数step＝step’+1，step’表示车辆处于上一位置状态时对应的移动步数。
需要说明的是，在本发明实施例中，侧方位停车系统根据第二动作参数调整本车的位置状态的过程中，可以判断本车与障碍物是否发生碰撞，若本车与障碍物发生碰撞，则侧方位停车系统更新增强信号值，并进行下一次试验，trail＝trail+1，直到试验次数大于最大试验次数MaxTrail＝1000，若本车与障碍物未发生碰撞，则执行步骤2023I。在本发明实施例中，障碍物可以包括：停车环境中的除本车以外的其他车辆、目标车位的边界线等，本发明实施例对此不做限定。
子步骤2023I、判断第二位置状态是否为目标位置状态。若第二位置状态是目标位置状态，则执行步骤2023J；若第二位置状态不是目标位置状态，则执行步骤2023F。
其中，目标位置状态是目标位置点对应的位置状态。目标位置点为目标车位在停车环境中的位置信息指示的位置点。侧方位停车系统可以判断第二位置状态是否为目标位置状态，若第二位置状态是目标位置状态，则侧方位停车系统根据机器学习算法更新值表，该值表中的值可以为增强信号值。若第二位置状态不是目标位置状态，则侧方位停车系统执行步骤2023F。
子步骤2023J、将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数。
该子步骤2023J可以参考上述子步骤2023D，本发明实施例在此不再赘述。
子步骤2023K、将第二动作参数作为机器学习算法的输入参数，得到机器学习算法的第二输出参数。
侧方位停车系统可以将第二动作参数作为机器学习算法的输入参数，得到机器学习算法的第二输出参数，该第二输出参数可以包括：至少两个位置状态值，每个位置状态值可以为一个增强信号值。
子步骤2023L、根据第一输出参数和第二输出参数确定至少两个位置状态值。
由于第一输出参数和第二输出参数实际上就是位置状态值，因此，侧方位停车系统可以直接根据第一输出参数和第二输出参数确定至少两个位置状态值。
本发明实施例结合图2-7至图2-9对上述子步骤2023A至子步骤2023L的具体过程进行说明。图2-5至图2-7示出了位置状态值(增强信号)的原理图，图2-7至图2-9中的9个网格代表车辆在停车环境中可能处于的9个位置状态，这9位置状态分别为S1至S9。本发明实施例假设S3为目标位置状态，该目标位置状态为目标车位对应的位置状态。如图2-7所示，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示预设增强信号。示例的，按照增强信号的设置规则，车辆从位置状态S1转移到位置状态S2的增强信号r12(图2-7中未标识)为0，车辆从位置状态S2转移到位置状态S3的增强信号r23(图2-7中未标识)为1。增强信号r12、增强信号r23或其他增强信号均为第一增强信号，且实际应用中，该第一增强信号为动作执行动作的立即回报。
采用增强更新公式，对第一增强信号进行更新，得到第二增强信号，该增强更新公式为：
其中，r为第一增强信号即决策动作对应的立即回报，表示车辆从当前位置状态转移到下一个位置状态的增强信号，α为折算因子，示例的，α可以为0.8。x表示当前位置状态，x’表示下一个位置状态，u’表示下一位置状态对应的决策动作，maxQ(x′,u′)表示车辆在下一位置状态选择决策动作时产生的最大增强信号，Q(x,u)为第二增强信号，表示车辆在当前位置状态选择某一决策动作对应的动作控制参数获得的增强信号。假设对图2-7中的增强信号r12进行更新，则采用增强更新公式可以得到：
Q(S1,r12)←0+0.8*max[Q(S2,r21),Q(S2,r23),Q(S2,r25)]，
从而得到r12对应的第二增强信号Q12为0.8。同理可以得到Q(S1,r14)，Q(S1,r14)，Q(S2,r21)，Q(S2,r23)，Q(S2,r25)等。多次更新后的增强信号如图2-8所示，图2-8中箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示第二增强信号即Q值，该Q值也表示车辆从一个位置状态选择一个决策动作对应的动作控制参数获得的最大累计增强信号。
接着在图2-8的基础上，根据最大值公式，确定车辆在各个位置状态对应的增强信号，该各个位置状态对应的增强信号的值也即是各个位置状态的位置状态值。其中，该最大值公式为：
其中，x表示当前位置状态，u表示当前位置状态对应的决策动作，V*(x)表示车辆在当前位置状态对应的最大增强信号。示例的，当x为图2-8中的S1时，则由最大值公式可得到V*(S1)＝max[0.8,0.51]＝0.8。同理可以得到V*(S2)＝max[0.64,1,0.64]＝1，V*(S4)＝max[0.64,0.64,0.41]＝0.64，V*(S5)＝max[0.8,0.51,0.8,0.51]＝0.8，V*(S6)＝max[1,0.64,0.64]＝1等。确定的车辆在各个位置状态对应的增强信号可以如图2-9所示，其中，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示车辆在各个位置状态对应的增强信号即V值，该V值也表示车辆在一个位置状态下获得的最大累计增强信号，该最大累计增强信号也即是车辆在一个位置状态下的位置状态值。
子步骤2024、确定至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态。执行步骤2025。
确定至少两个位置状态值后，侧方位停车系统可以确定至少两个位置状态值中的每个位置状态值对应的位置状态，示例地，假设确定的至少两个位置状态值为0.51、0.64、0.8和1，则参见图2-9可知，该至少两个位置状态可以为：S7、S4、S1、S2、S3；或者，S7、S8、S9、S6、S3；或者，S7、S4、S5、S6、S3；或者，S7、S8、S5、S6、S3；或者，S7、S4、S5、S2、S3等等，本发明实施例对此不做限定。
子步骤2025、确定至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，至少两个位置点包括初始位置点和目标位置点。执行步骤2026。
示例地，侧方位停车系统确定S7对应的位置点、S4对应的位置点、S1对应的位置点、S2对应的位置点、S3对应的位置点等，本发明实施例对此不做限定。
子步骤2026、依次连接相邻的两个位置点得到离散停车行驶路径。执行步骤2027。
示例地，侧方位停车系统连接S7对应的位置点与S4对应的位置点、S4对应的位置点与S1对应的位置点、S1对应的位置点与S2对应的位置点、S2对应的位置点与S3对应的位置点，得到离散停车行驶路径S7-S4-S1-S2-S3，本发明实施例对此不做限定。可选地，如图2-3所示，离散停车行驶路径可以为路径R。
子步骤2027、采用自适应学习算法对至少两个位置状态值进行更新。
在步骤2023中得到至少两个位置状态值后，侧方位停车系统在进行侧方位停车时，可以根据实际情况采用自适应学习算法对至少两个位置状态值进行更新。示例地，可以利用代价函数计算出相应的V值(即位置状态值)，然后根据某一个位置状态的新的位置状态值更新旧的位置状态值，本发明实施例在此不再赘述。
需要说明的是，本发明实施例中，在整个试验结束之后，为了便于计算，可以将增强学习算法的输出参数进行归一化处理，也就是使最后一次更新的增强信号值的取值单位为[0,1]，然后将归一化后的结果作为最终侧方位停车的值，并将其移植到实际车辆中，使得实际车辆在现实停车环境中能够根据该学习值完成侧方位停车过程。
步骤203、侧方位停车系统对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径。
其中，目标停车行驶路径的起点为本车在停车环境中的位置信息指示的初始位置点，目标停车行驶路径的终点为目标车位在停车环境中的位置信息指示的目标位置点。示例地，目标停车行驶路径的起点可以为图2-9所示的位置状态S7对应的位置点，目标停车行驶路径的终点可以为图2-9所示的位置状态S3对应的位置点，本发明实施例对此不做限定。可选地，如图2-3所示，目标停车行驶路径可以为路径R1。
步骤204、侧方位停车系统根据目标停车行驶路径控制本车完成侧方位停车。
侧方位停车系统确定目标行驶路径后，可以根据根据目标行驶路径控制本车完成侧方位停车动作。本发明实施例在此不再赘述。
本发明实施例提供的侧方位停车方法，解决了车辆自主停车控制算法设计的问题，利用机器学习算法中的增强学习算法、自适应学习算法，使车辆自主与停车环境进行交互，获得相应的增强信号，并通过增强信号值自主学习并存储侧方位停车经验，最终使得车辆在车位宽度、障碍车的位置及车辆的初始位置不固定的情况下，具体更好的稳定性和自适应性。该侧方位停车方法能够使车辆自主学习，实现在不同停车环境下的最优停车策略，使车辆在侧方位停车时的行驶路径最少，从而使车辆自主停车具有更好的稳定性，自适应性，机动性和灵活性。
综上所述，本发明实施例提供的侧方位停车方法，侧方位停车系统通过获取本车的车辆状态信息，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，根据目标停车行驶路径控制本车完成侧方位停车。由于本发明实施例采用机器学习算法确定目标停车行驶路径，根据目标停车行驶路径完成侧方位停车，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参考图3，其示出了本发明一个实施例提供的一种侧方位停车系统300的框图，该侧方位停车系统300可以用于执行图1或图2-1所示实施例提供的侧方位停车方法，参见图3，该侧方位停车系统300可以包括：
获取模块310，用于获取本车的车辆状态信息，车辆状态信息包括：本车在停车环境中的位置信息和目标车位在停车环境中的位置信息。
确定模块320，用于根据车辆状态信息，采用机器学习算法确定离散停车行驶路径。
拟合模块330，用于对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，目标停车行驶路径的起点为本车在停车环境中的位置信息指示的初始位置点，目标停车行驶路径的终点为目标车位在停车环境中的位置信息指示的目标位置点。
停车模块340，用于根据目标停车行驶路径控制本车完成侧方位停车。
综上所述，本发明实施例提供的侧方位停车系统，通过获取本车的车辆状态信息，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，根据目标停车行驶路径控制本车完成侧方位停车。由于本发明实施例采用机器学习算法确定目标停车行驶路径，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
请参考图4-1，其示出了本发明另一个实施例提供的一种侧方位停车系统400的框图，该侧方位停车系统400可以用于执行图1或图2-1所示实施例提供的侧方位停车方法，参见图4-1，该侧方位停车系统400可以包括：
获取模块410，用于获取本车的车辆状态信息，车辆状态信息包括：本车在停车环境中的位置信息和目标车位在停车环境中的位置信息；
确定模块420，用于根据车辆状态信息，采用机器学习算法确定离散停车行驶路径；
拟合模块430，用于对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，目标停车行驶路径的起点为本车在停车环境中的位置信息指示的初始位置点，目标停车行驶路径的终点为目标车位在停车环境中的位置信息指示的目标位置点；
停车模块440，用于根据目标停车行驶路径控制本车完成侧方位停车。
可选地，请参考图4-2，其示出的是图4-1所示实施例提供的一种确定模块420的框图，参见图4-2，该确定模块420可以包括但不限于：
获取单元421，用于获取停车环境；
划分单元422，用于将停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态；
第一确定单元423，用于根据车辆状态信息，采用机器学习算法确定至少两个位置状态值；
第二确定单元424，用于确定至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
第三确定单元425，用于确定至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，至少两个位置点包括初始位置点和目标位置点；
连接单元426，用于依次连接相邻的两个位置点得到离散停车行驶路径。
可选地，请参考图4-3，其示出的是图4-1所示实施例提供的一种第一确定单元423的框图，参见图4-3，该第一确定单元423可以包括但不限于：
第一确定子单元42301，用于根据车辆状态信息确定本车从初始位置点到目标位置点所采取的动作对应的第一动作参数；
第一调整子单元42302，用于根据第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
第一判断子单元42303，用于判断第一位置状态是否为目标位置状态，目标位置状态是目标位置点对应的位置状态；
第一得到子单元42304，用于当第一位置状态是目标位置状态时，将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数；
第二确定子单元42305，用于根据第一输出参数确定至少两个位置状态值。
进一步地，请继续参考图4-3，该第一确定单元423还可以包括：
第二判断子单元42306，用于当第一位置状态不是目标位置状态时，判断本车的移动步数是否大于预设步数，移动步数为本车从初始位置点移动至第一位置点所经过的网格数，第一位置点为第一位置状态对应的位置点；
第三确定子单元42307，用于当本车的移动步数不大于预设步数时，根据本车的当前状态信息确定本车从第一位置点到目标位置点所采取的动作对应的第二动作参数，当前状态信息包括：本车在停车环境中的当前位置信息和目标车位在停车学习环境中的位置信息；
第二调整子单元42308，用于根据第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
第三判断子单元42309，用于判断第二位置状态是否为目标位置状态；
第二得到子单元42310，用于当第二位置状态是目标位置状态时，将第一动作参数作为机器学习算法的输入参数，得到机器学习算法的第一输出参数；
第三得到子单元42311，用于将第二动作参数作为机器学习算法的输入参数，得到机器学习算法的第二输出参数；
第四确定子单元42312，用于根据第一输出参数和第二输出参数确定至少两个位置状态值。
可选地，第一调整子单元42302，用于根据第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
第二调整子单元42308，用于根据第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
可选地，请继续参考图4-2，该确定模块420还可以包括：
更新单元427，用于采用自适应学习算法对至少两个位置状态值进行更新。
综上所述，本发明实施例提供的侧方位停车系统，通过获取本车的车辆状态信息，根据车辆状态信息，采用机器学习算法确定离散停车行驶路径，对离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，根据目标停车行驶路径控制本车完成侧方位停车。由于本发明实施例采用机器学习算法确定目标停车行驶路径，根据目标停车行驶路径完成侧方位停车，目标停车行驶路径的确定不受驾驶员的经验的限制，解决了现有技术中的侧方位停车系统的稳定性较低，灵活性较差的问题，达到了提高侧方位停车系统的稳定性，灵活性的效果。
需要说明的是：上述实施例提供的侧方位停车系统在实现侧方位停车时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的侧方位停车方法与系统实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种侧方位停车方法，其特征在于，用于侧方位停车系统，所述方法包括：
获取本车的车辆状态信息，所述车辆状态信息包括：本车在停车环境中的位置信息和目标车位在所述停车环境中的位置信息；
根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径；
对所述离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，所述目标停车行驶路径的起点为本车在所述停车环境中的位置信息指示的初始位置点，所述目标停车行驶路径的终点为所述目标车位在所述停车环境中的位置信息指示的目标位置点；
根据所述目标停车行驶路径控制本车完成侧方位停车。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径，包括：
获取所述停车环境；
将所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态；
根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值；
确定所述至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
确定所述至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，所述至少两个位置点包括所述初始位置点和所述目标位置点；
依次连接相邻的两个位置点得到所述离散停车行驶路径。
3.根据权利要求2所述的方法，其特征在于，所述根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值，包括：
根据所述车辆状态信息确定本车从所述初始位置点到所述目标位置点所采取的动作对应的第一动作参数；
根据所述第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
判断所述第一位置状态是否为目标位置状态，所述目标位置状态是所述目标位置点对应的位置状态；
若所述第一位置状态是所述目标位置状态，则将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
根据所述第一输出参数确定所述至少两个位置状态值。
4.根据权利要求3所述的方法，其特征在于，在所述判断所述第一位置状态是否为目标位置状态之后，所述方法还包括：
若所述第一位置状态不是所述目标位置状态，则判断本车的移动步数是否大于预设步数，所述移动步数为本车从所述初始位置点移动至第一位置点所经过的网格数，所述第一位置点为所述第一位置状态对应的位置点；
若本车的移动步数不大于所述预设步数，则根据本车的当前状态信息确定本车从所述第一位置点到所述目标位置点所采取的动作对应的第二动作参数，所述当前状态信息包括：本车在所述停车环境中的当前位置信息和所述目标车位在所述停车学习环境中的位置信息；
根据所述第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
判断所述第二位置状态是否为目标位置状态；
若所述第二位置状态是所述目标位置状态，则将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
将所述第二动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第二输出参数；
根据所述第一输出参数和所述第二输出参数确定所述至少两个位置状态值。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述第一动作参数调整本车的位置状态，包括：
根据所述第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
所述根据所述第二动作参数调整本车的位置状态，包括：
根据所述第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
6.根据权利要求2至5任一所述的方法，其特征在于，在所述根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值之后，所述方法还包括：
采用自适应学习算法对所述至少两个位置状态值进行更新。
7.一种侧方位停车系统，其特征在于，所述侧方位停车系统包括：
获取模块，用于获取本车的车辆状态信息，所述车辆状态信息包括：本车在停车环境中的位置信息和目标车位在所述停车环境中的位置信息；
确定模块，用于根据所述车辆状态信息，采用机器学习算法确定离散停车行驶路径；
拟合模块，用于对所述离散停车行驶路径进行曲线拟合，得到目标停车行驶路径，所述目标停车行驶路径的起点为本车在所述停车环境中的位置信息指示的初始位置点，所述目标停车行驶路径的终点为所述目标车位在所述停车环境中的位置信息指示的目标位置点；
停车模块，用于根据所述目标停车行驶路径控制本车完成侧方位停车。
8.根据权利要求7所述的侧方位停车系统，其特征在于，所述确定模块，包括：
获取单元，用于获取所述停车环境；
划分单元，用于将所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态；
第一确定单元，用于根据所述车辆状态信息，采用机器学习算法确定至少两个位置状态值；
第二确定单元，用于确定所述至少两个位置状态值中的每个位置状态值对应的位置状态，得到至少两个位置状态；
第三确定单元，用于确定所述至少两个位置状态中的每个位置状态对应的位置点，得到至少两个位置点，所述至少两个位置点包括所述初始位置点和所述目标位置点；
连接单元，用于依次连接相邻的两个位置点得到所述离散停车行驶路径。
9.根据权利要求8所述的侧方位停车系统，其特征在于，所述第一确定单元，包括：
第一确定子单元，用于根据所述车辆状态信息确定本车从所述初始位置点到所述目标位置点所采取的动作对应的第一动作参数；
第一调整子单元，用于根据所述第一动作参数调整本车的位置状态，调整后本车的位置状态为第一位置状态；
第一判断子单元，用于判断所述第一位置状态是否为目标位置状态，所述目标位置状态是所述目标位置点对应的位置状态；
第一得到子单元，用于当所述第一位置状态是所述目标位置状态时，将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
第二确定子单元，用于根据所述第一输出参数确定所述至少两个位置状态值。
10.根据权利要求9所述的侧方位停车系统，其特征在于，所述第一确定单元，还包括：
第二判断子单元，用于当所述第一位置状态不是所述目标位置状态时，判断本车的移动步数是否大于预设步数，所述移动步数为本车从所述初始位置点移动至第一位置点所经过的网格数，所述第一位置点为所述第一位置状态对应的位置点；
第三确定子单元，用于当本车的移动步数不大于所述预设步数时，根据本车的当前状态信息确定本车从所述第一位置点到所述目标位置点所采取的动作对应的第二动作参数，所述当前状态信息包括：本车在所述停车环境中的当前位置信息和所述目标车位在所述停车学习环境中的位置信息；
第二调整子单元，用于根据所述第二动作参数调整本车的位置状态，调整后本车的位置状态为第二位置状态；
第三判断子单元，用于判断所述第二位置状态是否为目标位置状态；
第二得到子单元，用于当所述第二位置状态是所述目标位置状态时，将所述第一动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第一输出参数；
第三得到子单元，用于将所述第二动作参数作为所述机器学习算法的输入参数，得到所述机器学习算法的第二输出参数；
第四确定子单元，用于根据所述第一输出参数和所述第二输出参数确定所述至少两个位置状态值。
11.根据权利要求10所述的侧方位停车系统，其特征在于，
所述第一调整子单元，用于根据所述第一动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞；
所述第二调整子单元，用于根据所述第二动作参数调整本车的位置状态，在调整的过程中判断本车与障碍物是否发生碰撞。
12.根据权利要求8至11任一所述的侧方位停车系统，其特征在于，所述确定模块，还包括：
更新单元，用于采用自适应学习算法对所述至少两个位置状态值进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510982164.3A CN105527963B (zh) | 2015-12-23 | 2015-12-23 | 侧方位停车方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510982164.3A CN105527963B (zh) | 2015-12-23 | 2015-12-23 | 侧方位停车方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105527963A true CN105527963A (zh) | 2016-04-27 |
| CN105527963B CN105527963B (zh) | 2019-01-25 |
Family
ID=55770246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510982164.3A Active CN105527963B (zh) | 2015-12-23 | 2015-12-23 | 侧方位停车方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105527963B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112180932A (zh) * | 2020-09-30 | 2021-01-05 | 东软睿驰汽车技术（沈阳）有限公司 | 停车方法、装置、设备及无人驾驶系统 |
| US20210213963A1 (en) * | 2020-01-09 | 2021-07-15 | Toyota Jidosha Kabushiki Kaisha | Method for generating vehicle controlling data, vehicle controller, vehicle control system, and learning device for vehicle |
| US11613249B2 (en) | 2018-04-03 | 2023-03-28 | Ford Global Technologies, Llc | Automatic navigation using deep reinforcement learning |
| US11679784B2 (en) | 2020-01-09 | 2023-06-20 | Toyota Jidosha Kabushiki Kaisha | Vehicle control data generation method, vehicle controller, vehicle control system, vehicle learning device, vehicle control data generation device, and memory medium |
| CN112180932B (zh) * | 2020-09-30 | 2024-05-31 | 东软睿驰汽车技术（沈阳）有限公司 | 停车方法、装置、设备及无人驾驶系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622165A (zh) * | 2007-02-28 | 2010-01-06 | 科博莱汽车技术有限公司 | 半自动泊车装置 |
| CN102470795A (zh) * | 2009-09-11 | 2012-05-23 | 福特全球技术公司 | 停车辅助系统及使用这种系统停车的方法 |
| CN102529961A (zh) * | 2012-03-26 | 2012-07-04 | 江苏大学 | 自动泊车系统的初始寻库偏差校正方法 |
| CN102975715A (zh) * | 2012-12-17 | 2013-03-20 | 合肥工业大学 | 一种汽车及应用于该汽车的自动泊车系统、自动泊车方法 |
| EP2258606B1 (de) * | 2009-06-05 | 2013-03-27 | Valeo Schalter und Sensoren GmbH | Verfahren zum Bestimmen einer Lenkkurve für Lenkeinschläge von lenkbaren Rädern eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug |
| CN104290745A (zh) * | 2014-10-28 | 2015-01-21 | 奇瑞汽车股份有限公司 | 车辆用半自动驾驶系统及其方法 |
| CN105109482A (zh) * | 2015-08-24 | 2015-12-02 | 奇瑞汽车股份有限公司 | 停车入库方法及装置 |
| CN105128856A (zh) * | 2015-08-24 | 2015-12-09 | 奇瑞汽车股份有限公司 | 停车入库方法及装置 |
-
2015
- 2015-12-23 CN CN201510982164.3A patent/CN105527963B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622165A (zh) * | 2007-02-28 | 2010-01-06 | 科博莱汽车技术有限公司 | 半自动泊车装置 |
| EP2258606B1 (de) * | 2009-06-05 | 2013-03-27 | Valeo Schalter und Sensoren GmbH | Verfahren zum Bestimmen einer Lenkkurve für Lenkeinschläge von lenkbaren Rädern eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug |
| CN102470795A (zh) * | 2009-09-11 | 2012-05-23 | 福特全球技术公司 | 停车辅助系统及使用这种系统停车的方法 |
| CN102529961A (zh) * | 2012-03-26 | 2012-07-04 | 江苏大学 | 自动泊车系统的初始寻库偏差校正方法 |
| CN102975715A (zh) * | 2012-12-17 | 2013-03-20 | 合肥工业大学 | 一种汽车及应用于该汽车的自动泊车系统、自动泊车方法 |
| CN104290745A (zh) * | 2014-10-28 | 2015-01-21 | 奇瑞汽车股份有限公司 | 车辆用半自动驾驶系统及其方法 |
| CN105109482A (zh) * | 2015-08-24 | 2015-12-02 | 奇瑞汽车股份有限公司 | 停车入库方法及装置 |
| CN105128856A (zh) * | 2015-08-24 | 2015-12-09 | 奇瑞汽车股份有限公司 | 停车入库方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11613249B2 (en) | 2018-04-03 | 2023-03-28 | Ford Global Technologies, Llc | Automatic navigation using deep reinforcement learning |
| US20210213963A1 (en) * | 2020-01-09 | 2021-07-15 | Toyota Jidosha Kabushiki Kaisha | Method for generating vehicle controlling data, vehicle controller, vehicle control system, and learning device for vehicle |
| US11679784B2 (en) | 2020-01-09 | 2023-06-20 | Toyota Jidosha Kabushiki Kaisha | Vehicle control data generation method, vehicle controller, vehicle control system, vehicle learning device, vehicle control data generation device, and memory medium |
| US11745746B2 (en) * | 2020-01-09 | 2023-09-05 | Toyota Jidosha Kabushiki Kaisha | Method for generating vehicle controlling data, vehicle controller, vehicle control system, and learning device for vehicle |
| CN112180932A (zh) * | 2020-09-30 | 2021-01-05 | 东软睿驰汽车技术（沈阳）有限公司 | 停车方法、装置、设备及无人驾驶系统 |
| CN112180932B (zh) * | 2020-09-30 | 2024-05-31 | 东软睿驰汽车技术（沈阳）有限公司 | 停车方法、装置、设备及无人驾驶系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105527963B (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105109482A (zh) | 停车入库方法及装置 | |
| CN112356830B (zh) | 一种基于模型强化学习的智能泊车方法 | |
| CN105128856B (zh) | 停车入库方法及装置 | |
| CN110347155B (zh) | 一种智能车辆自动驾驶控制方法及系统 | |
| CN105059287B (zh) | 一种车道保持方法和装置 | |
| CN110244721A (zh) | 自动驾驶控制方法、装置、设备及存储介质 | |
| CN108475056A (zh) | 用于全自动地引导车辆系统的方法以及机动车 | |
| CN111731381B (zh) | 车辆横向自适应控制方法、控制装置和车辆 | |
| CN107092256B (zh) | 一种无人车转向控制方法 | |
| CN105083278A (zh) | 车辆控制方法及装置 | |
| CN105527963A (zh) | 侧方位停车方法及系统 | |
| CN104709279A (zh) | 用于农用车辆的带有稳定性控制的自动导引系统 | |
| CN112382165B (zh) | 驾驶策略生成方法、装置、介质、设备及仿真系统 | |
| WO2022197252A9 (en) | Autonomous driving methods and systems | |
| CN110203193A (zh) | 车辆控制方法、装置、汽车及存储介质 | |
| CN105109485A (zh) | 一种驾驶方法及系统 | |
| CN110879595A (zh) | 一种基于深度强化学习的无人矿卡循迹控制系统及方法 | |
| CN111866807A (zh) | 一种基于深度强化学习的软件定义车载任务细粒度卸载方法 | |
| US11579574B2 (en) | Control customization system, control customization method, and control customization program | |
| CN113110359B (zh) | 约束型智能汽车自主决策系统在线训练方法及装置 | |
| Louati | Cloud-assisted collaborative estimation for next-generation automobile sensing | |
| Okuda et al. | Model predictive driver assistance control for cooperative cruise based on hybrid system driver model | |
| Tajdari | Optimal and adaptive controller design for motorway traffic with connected and automated vehicles | |
| CN114141029B (zh) | 基于线下强化学习与宏观模型的匝道控制方法 | |
| CN109191875A (zh) | 信号控制方案生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220225 Address after: 241006 Anshan South Road, Wuhu Economic and Technological Development Zone, Anhui Province Patentee after: Wuhu Sambalion auto technology Co.,Ltd. Address before: 241006 Changchun Road, Wuhu economic and Technological Development Zone, Wuhu, Anhui, 8 Patentee before: CHERY AUTOMOBILE Co.,Ltd. |
|
| TR01 | Transfer of patent right |