CN109693666A - 一种用于泊车的人机交互系统及泊车方法 - Google Patents

Abstract

本发明公开了一种用于泊车的人机交互系统，包括雷达测距系统、相机系统及图像处理系统、图像显示及操作系统和泊车控制系统；所述雷达测距系统用于提供车辆周围障碍物与车辆的距离信息；所述相机系统及图像处理系统用于提供车辆周围图像信息并进行车位和物体识别；所述泊车控制系统用于将距离信息和图像信息融合，构建一定时间内传感器感知范围内的地图，并与图像显示及操作系统进行信息交互；所述图像显示及操作系统用于显示车辆周围的图像信息，并完成人机交互任务。本发明可以通过图像识别标记车位，在无车位线的情况下，可生成虚拟泊车位，选择目标泊车区域后，还可通过图像进行目标泊车区域调整。

Description

一种用于泊车的人机交互系统及泊车方法

技术领域

本发明涉及人机交互领域，尤其涉及一种用于泊车的人机交互系统及泊车方法。

背景技术

随着驾驶辅助及自动驾驶技术的发展，半自动泊车及全自动泊车系统逐渐成为汽车产品中一项吸引消费者的汽车配置。当泊车空间狭小(例如车辆可以泊入，但没有驾驶员及乘客开门下车的空间)，或者驾驶者泊车经验不足时，自动泊车或泊车辅助系统可以帮助驾驶员完成泊车任务。

现有泊车产品中，车辆寻找到适合的泊车位置时，通过仪表上的图标符号提示驾驶员，由于仪表空间有限，其提示符号较小不容易被驾驶员捕捉到，造成错过合适的车位；同时会分散驾驶员的注意力，影响驾驶安全。另外，现有用于提示泊车过程的图像，属于非实时图像，驾驶员无法通过该图像获取车辆周围环境信息。

公开号CN103101496B的专利，提供了采用泊车空间的距离和角度指示线与方向盘的转向方向联动显示，方便驾驶者的泊车引导系统及方法。该方法要求地面上有泊车位线，以此确定泊车位置，若无车位线则无法选择泊车位置。该专利通过方向盘的转动，预测车辆轨迹与车位的关系。当车辆和车位处于特殊位置时，则该方法失效。公开号CN108263376A的专利，泊车位识别通过车位线的特征点进行识别，若车位线遮挡或不清晰存在识别失败的情况。该专利未提及对图像进行标定处理的技术，车辆周围图像环境存在畸变，无人机交互选择车位的方法。

发明内容

本发明目的是提供一种通过图像实现泊车功能的人机交互的系统和泊车方法，可以通过图像识别标记车位，在无车位线的情况下，可生成虚拟泊车位，选择目标泊车区域后，还可通过图像进行目标泊车区域调整。

本发明解决技术问题采用如下技术方案：

一种用于泊车的人机交互系统，包括雷达测距系统、相机系统及图像处理系统、图像显示及操作系统和泊车控制系统；

所述雷达测距系统用于提供车辆周围障碍物与车辆的距离信息；所述相机系统及图像处理系统用于提供车辆周围图像信息并进行车位和物体识别；所述泊车控制系统用于将距离信息和图像信息融合，构建一定时间内传感器感知范围内的地图，并与图像显示及操作系统进行信息交互；所述图像显示及操作系统用于显示车辆周围的图像信息，并完成人机交互任务。

进一步，所述雷达测距系统由用于测距的雷达组成。

进一步，所述相机系统及图像处理系统包括相机系统、图像处理中央单元和图像处理单元；所述相机系统由布置在车身周围的摄像头构成，用于实时拍摄车辆周围的图像；所述图像处理中央系统用于将各个摄像头的图像进行畸变处理，同时通过整车标定完成车辆周围图像的拼接，对车辆周围环境中人、障碍物和车位进行识别；所述图像处理单元将所需显示的图像信息，传输至图像显示及操作系统。

进一步，所述泊车控制系统与图像显示及操作系统进行信息交互，完成最终目标泊车区域确认和轨迹规划；与底盘系统通信，完成车辆运动控制任务；还将预测车辆运动的轨迹信息、地图信息通过图像显示及操作系统以图像的形式呈现给车辆用户。

本发明解决技术问题采用如下技术方案：

一种泊车方法，其包括以下步骤：

S1：启动泊车任务，泊车系统开始工作，系统开始寻找车位，将图像信息及雷达测距信息进行融合，构建车辆传感器探测的环境地图；

S2：若寻找到带有车位线的泊车区域，则转至步骤S3；若寻找到无车位线的泊车区域，用户通过图像显示及操作系统，在所示图像内选定虚拟车位，执行步骤S3；若没有满足车辆泊车的空间，则执行步骤S6；

S3：通过图像显示及操作系统，进行目标泊车区域选择及调整，选择车辆泊车最终姿态，确认最终目标泊车区域；泊车控制系统进行车辆现有位姿至最终位姿的轨迹规划；开始泊车任务，通过图像显示及操作系统实时显示车辆周围环境，若执行中无异常情况发生，泊车任务成功，则执行步骤S4；否则，执行步骤S5；

S4：通过图像显示及操作系统，提示用户，泊车任务成功；

S5：停止车辆，提示用户异常情况，泊车任务失败；

S6：提示用户，无满足车辆尺寸的泊车空间。

进一步，当寻找到带车位线的泊车区域时，所述图像显示及操作系统通过亮化图像中的车位边缘，标记识别的车位，当用户点击被标记车位区域内的图像，所述图像显示及操作系统用区别于背景色的图案填充车位区域的图像，作为目标泊车区域图案，用两个手指或多个手指同时触碰被选中的目标泊车区域图案，旋转或滑动手指，目标泊车区域图案跟随转动或滑动，以此调整目标泊车区域在地图中的位置，满足用户泊车要求，最后用户通过在目标泊车图案中设置带箭头的图标或车辆示意图，确定泊车结束时车辆的最终姿态。

进一步，当寻找无车位图像特征区域时，所述图像显示及操作系统提供虚拟泊车位图标，且虚拟泊车位的尺寸大小由整车系统根据实车尺寸确定，用户通过虚拟车位生成目标泊车图案，通过在图像中平移和旋转目标泊车图案，作为最终的目标泊车区域。

进一步，当寻找到无车位线的泊车区域时，泊车控制器根据图像及距离融合的信息，确定辆车之间的空间，以此计算可划分的车位数量，同时将虚拟车位显示于图像中，用户通过选中一个虚拟车位，生成目标泊车图案，调整目标泊车图案的位置和姿态，确定最终的目标泊车区域。

进一步，用户通过触摸图像屏幕，完成泊车过程中人机交互的任务，同时将图像中的位置转化为实际位置和车辆最终姿态信息发送至泊车控制器。

进一步，在泊车过程中，用户能始终通过屏幕显示的实时图像信息，监测车辆周围的情况。

本发明具有如下有益效果：本发明提供一种通过图像实现泊车功能的人机交互的系统和方法，可以通过图像识别标记车位，在无车位线的情况下，可生成虚拟泊车位，选择目标泊车区域后，还可通过图像进行目标泊车区域调整；此外，该人机交互系统便于用户操作，可适应不同的泊车环境。

附图说明

图1为本发明的用于泊车的人机交互系统的系统构成示意图；

图2为本发明的用于泊车的人机交互系统在有车位线时选择泊车区域的示意图；

图3为本发明的用于泊车的人机交互系统在无车位线时选择泊车区域的示意图；

图4为本发明的用于泊车的人机交互系统的泊车区域姿态调整示意图；

图5为本发明的用于泊车的人机交互系统在空旷区域选择泊车区域的示意图；

图6为本发明的用于泊车的人机交互系统的工作步骤流程图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。

实施例1

针对上述问题，本实施例提供了一种用于泊车的人机交互系统，用于解决无车位线情况下的泊车问题。

如图1所示，一种用于泊车的人机交互系统，包括雷达测距系统、相机系统及图像处理系统、图像显示及操作系统、泊车控制系统和车辆底盘系统；

所述雷达测距系统用于提供车辆周围障碍物与车辆的距离信息；

在本实施例中，雷达测距系统由若干用于测距的雷达组成，用于获取车辆周围障碍物与车辆之间的距离信息。具体地，车用雷达包括激光、超声波和微波雷达，本实施例优选为微波雷达。

所述相机系统及图像处理系统用于提供车辆周围图像信息并进行车位和物体识别；

在本实施例中，相机系统及图像处理系统包括相机系统、图像处理中央单元和图像处理单元；所述相机系统由布置在车身周围的若干摄像头构成，用于实时拍摄车辆周围的图像；所述图像处理中央系统用于将各个摄像头的图像进行畸变处理，同时通过整车标定完成车辆周围图像的拼接，对车辆周围环境中人、障碍物和车位(垂直车位、斜车位和侧向车位)等进行识别；所述图像处理单元将所需显示的图像信息，传输至图像显示及操作系统。

所述泊车控制系统用于将距离信息和图像信息融合，构建一定时间内，传感器感知范围内的地图，并通过与图像显示及操作系统进行信息交互，完成最终目标泊车区域确认，完成轨迹规划，完成车辆运功控制；

在本实施例中，泊车控制系统可储存10分钟时间长度的融合信息，并以此构建该时间段内的地图。所述泊车控制系统与图像显示及操作系统进行信息交互，完成最终目标泊车区域确认和轨迹规划；与底盘系统通信，完成车辆运动控制任务；还可以将预测车辆运动的轨迹信息、地图信息通过图像显示及操作系统以图像的形式呈现给车辆用户。

所述车辆底盘系统用于与泊车控制系统通信，完成车辆运动控制；

所述图像显示及操作系统用于显示车辆周围的图像信息，并完成人机交互任务。

参照附图2-5对本发明中的图像显示及操作系统进行说明。

如图2所示，1、5为车辆，2、4为空闲的车位(有车位线)。本发明的用于泊车的人机交互系统可识别垂直车位、斜车位、侧向车位，当相机系统及图像处理系统识别到有车位线的车位时，图像显示及操作系统通过亮化图像中的车位线，将识别的车位进行标记，并在车内显示屏上显示，如车位4所示。用户点击车内显示屏上被标记车位区域内的图像，图像显示及操作系统会用区别于背景色的图案(或颜色)填充该车位区域的图像(如车位4所示)，图案区域作为目标泊车区域。用户通过设置箭头3的方向，示意最终车辆泊车结束时，车头的朝向。

如图3所示，车辆1和车辆5的中间位置内无车位线，本发明的用于泊车的人机交互系统可通过相机和雷达获取该区域的尺寸，同时根据用户的车辆尺寸，在图像显示及操作系统中显示可满足停车的虚拟车位。本实施例中，图3区域中可放置两个虚拟停车位，并把虚拟停车位2和虚拟停车位4以虚线的形式显示在图像中，用户通过点击虚拟停车位4内的图像点，选定虚拟车位4为目标泊车区域。

如图4所示，用户用两个手指或多个手指同时触碰显示屏上的目标泊车区域图案，旋转或滑动手指，目标泊车区域图案跟随转动或滑动，以此调整目标泊车区域。在本实施例中，对所选定的区域图案进行了逆时针旋转。

如图5所示，对于没有车位图像特征区域，用户可在图像中选择构建一个虚拟泊车位，且虚拟泊车位的尺寸大小由整车系统跟据实车尺寸确定，如图中虚拟车位4所示。

实施例2

本实施例提供了一种泊车方法，其可以通过图像识别标记车位，在无车位线的情况下，可生成虚拟泊车位，选择目标泊车区域后，还可通过图像进行目标泊车区域调整。

如图6所示，一种泊车方法，其包括以下步骤：

S1：启动泊车任务，泊车系统开始工作，系统开始寻找车位，将图像信息及雷达测距信息进行融合，构建车辆传感器可探测的环境地图；

S2：若寻找到带有车位线的泊车区域，则转至步骤S3；若寻找到无车位线的泊车区域，用户通过图像显示及操作系统，在所示图像内选定虚拟车位，执行步骤S3；若没有满足车辆泊车的空间，则执行步骤S6；

S3：通过图像显示及操作系统，进行目标泊车区域选择及调整，选择车辆泊车最终姿态，确认最终目标泊车区域；泊车控制系统进行车辆现有位姿至最终位姿的轨迹规划；开始泊车任务，通过图像显示及操作系统实时显示车辆周围环境，若执行中无异常情况发生，泊车任务成功，则执行步骤S4；否则，执行步骤S5；

S4：通过图像显示及操作系统，提示用户，泊车任务成功；

S5：停止车辆，提示用户异常情况，泊车任务失败；

S6：提示用户，无满足车辆尺寸的泊车空间。

在本实施例提供的泊车方法中，当寻找到带车位线的泊车区域时，所述图像显示及操作系统可以通过亮化图像中的车位边缘(或者以一种特殊颜色覆盖图像中的车位线)，标记识别的车位，当用户点击被标记车位区域内的图像，所述图像显示及操作系统用区别于背景色的图案(或颜色)填充该车位区域的图像，作为目标泊车区域图案，还可以用两个手指或多个手指同时触碰被选中的目标泊车区域图案，旋转或滑动手指，目标泊车区域图案跟随转动或滑动，以此调整目标泊车区域在地图中的位置，满足用户泊车要求，最后用户可通过在目标泊车图案中设置带箭头的图标或车辆示意图，确定泊车结束时车辆的最终姿态。

当寻找无车位图像特征区域时，图像显示及操作系统提供虚拟泊车位图标，且虚拟泊车位的尺寸大小由整车系统根据实车尺寸确定，用户可通过虚拟车位生成目标泊车图案，通过在图像中平移和旋转目标泊车图案，作为最终的目标泊车区域。

当寻找到无车位线的泊车区域时，泊车控制器可根据图像及距离融合的信息，确定辆车之间的空间，以此计算可划分的车位数量，同时将虚拟车位显示于图像中，用户可通过选中一个虚拟车位，生成目标泊车图案，调整目标泊车图案的位置和姿态，确定最终的目标泊车区域。

在本实施例中，用户通过触摸图像屏幕，完成泊车过程中人机交互的任务，同时将图像中的位置转化为实际位置和车辆最终姿态信息发送至泊车控制器，完成泊车任务。在上述过程中，用户可始终通过屏幕显示的实时图像信息，监测车辆周围的情况。

本发明通过图像识别标记车位，在无车位线的情况下，可生成虚拟泊车位，选择目标泊车区域后，还可通过图像进行目标泊车区域调整，该人机交互系统便于用户操作，可适应不同的泊车环境。

以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于泊车的人机交互系统，其特征在于，包括雷达测距系统、相机系统及图像处理系统、图像显示及操作系统和泊车控制系统；

所述雷达测距系统用于提供车辆周围障碍物与车辆的距离信息；所述相机系统及图像处理系统用于提供车辆周围图像信息并进行车位和物体识别；所述泊车控制系统用于将距离信息和图像信息融合，构建一定时间内传感器感知范围内的地图，并与图像显示及操作系统进行信息交互；所述图像显示及操作系统用于显示车辆周围的图像信息，并完成人机交互任务。

2.根据权利要求1所述的用于泊车的人机交互系统，其特征在于，所述雷达测距系统由用于测距的雷达组成。

3.根据权利要求1所述的用于泊车的人机交互系统，其特征在于，所述相机系统及图像处理系统包括相机系统、图像处理中央单元和图像处理单元；

所述相机系统由布置在车身周围的摄像头构成，用于实时拍摄车辆周围的图像；所述图像处理中央系统用于将各个摄像头的图像进行畸变处理，同时通过整车标定完成车辆周围图像的拼接，对车辆周围环境中人、障碍物和车位进行识别；所述图像处理单元将所需显示的图像信息，传输至图像显示及操作系统。

4.根据权利要求1所述的用于泊车的人机交互系统，其特征在于，所述泊车控制系统与图像显示及操作系统进行信息交互，完成最终目标泊车区域确认和轨迹规划；与底盘系统通信，完成车辆运动控制任务；还将预测车辆运动的轨迹信息、地图信息通过图像显示及操作系统以图像的形式呈现给车辆用户。

5.一种泊车方法，其特征在于，包括权利要求1-4之一所述的用于泊车的人机交互系统，所述泊车方法包括以下步骤：

S1：启动泊车任务，泊车系统开始工作，系统开始寻找车位，将图像信息及雷达测距信息进行融合，构建车辆传感器探测的环境地图；

S2：若寻找到带有车位线的泊车区域，则转至步骤S3；若寻找到无车位线的泊车区域，用户通过图像显示及操作系统，在所示图像内选定虚拟车位，执行步骤S3；若没有满足车辆泊车的空间，则执行步骤S6；

S3：通过图像显示及操作系统，进行目标泊车区域选择及调整，选择车辆泊车最终姿态，确认最终目标泊车区域；泊车控制系统进行车辆现有位姿至最终位姿的轨迹规划；开始泊车任务，通过图像显示及操作系统实时显示车辆周围环境，若执行中无异常情况发生，泊车任务成功，则执行步骤S4；否则，执行步骤S5；

S4：通过图像显示及操作系统，提示用户，泊车任务成功；

S5：停止车辆，提示用户异常情况，泊车任务失败；

S6：提示用户，无满足车辆尺寸的泊车空间。

6.根据权利要求5所述的泊车方法，其特征在于，当寻找到带车位线的泊车区域时，所述图像显示及操作系统通过亮化图像中的车位边缘，标记识别的车位，当用户点击被标记车位区域内的图像，所述图像显示及操作系统用区别于背景色的图案填充车位区域的图像，作为目标泊车区域图案，用两个手指或多个手指同时触碰被选中的目标泊车区域图案，旋转或滑动手指，目标泊车区域图案跟随转动或滑动，以此调整目标泊车区域在地图中的位置，满足用户泊车要求，最后用户通过在目标泊车图案中设置带箭头的图标或车辆示意图，确定泊车结束时车辆的最终姿态。

7.根据权利要求5所述的泊车方法，其特征在于，当寻找无车位图像特征区域时，所述图像显示及操作系统提供虚拟泊车位图标，且虚拟泊车位的尺寸大小由整车系统根据实车尺寸确定，用户通过虚拟车位生成目标泊车图案，通过在图像中平移和旋转目标泊车图案，作为最终的目标泊车区域。

8.根据权利要求5所述的泊车方法，其特征在于，当寻找到无车位线的泊车区域时，泊车控制器根据图像及距离融合的信息，确定辆车之间的空间，以此计算可划分的车位数量，同时将虚拟车位显示于图像中，用户通过选中一个虚拟车位，生成目标泊车图案，调整目标泊车图案的位置和姿态，确定最终的目标泊车区域。

9.根据权利要求5-8之一所述的泊车方法，其特征在于，用户通过触摸图像屏幕，完成泊车过程中人机交互的任务，同时将图像中的位置转化为实际位置和车辆最终姿态信息发送至泊车控制器。

10.根据权利要求9所述的泊车方法，其特征在于，在泊车过程中，用户能始终通过屏幕显示的实时图像信息，监测车辆周围的情况。