CN112606796B - 一种车辆后备箱自动开闭控制方法、控制系统及车辆 - Google Patents

Abstract

本发明公开了一种车辆后备箱自动开闭控制方法、控制系统及车辆，方法包括：获取车辆用户人脸图像数据，得到用户人脸特征信息；控制多个摄像装置对车辆周边设定范围进行图像采集；获取车辆周边设定范围内的图像信息，并将车辆周边设定范围内的图像信息与用户人脸特征信息进行比对，判断车辆周边设定范围内是否存在目标用户；若存在目标用户，判断目标用户是否有打开车辆的后备箱的需求；若目标用户有打开车辆的后备箱的需求，则获取并判断目标用户与车辆之间的第一人车距离是否小于预设距离，若第一人车距离小于预设距离，则控制车辆的后备箱开启。本发明可以预测用户是否有打开车辆后备箱的需求，实现车辆后备箱的自动开启。

Description

一种车辆后备箱自动开闭控制方法、控制系统及车辆

技术领域

本发明涉及汽车技术领域，尤其涉及一种车辆后备箱自动开闭控制方法、控制系统及车辆。

背景技术

传统的汽车后备箱开启关闭系统，主要采用车内开关开启，遥控钥匙开启等传统手段。在使用中有很多不方便的地方，增加了车主要开启后备箱的操作步骤。后来开始出现后备箱自动开启方案，在一些后备箱智能开启方案中，使用汽车电子钥匙识别车主身份，通过距离传感器探测车主开启后备箱的意图来自动开启。另一些开启方案是使用脚踢的方式感应开启后备箱，虽然解放了双手，但是仍然需要用户有操作动作，增加了使用的复杂程度，并且系统仅适用于携带钥匙等移动终端的单个用户，使用场景较为受限。因此，需要提供一种方案，用户无需手动操作，就可以自动打开车辆后备箱，且用户无需携带钥匙。

发明内容

本申请实施例通过提供一种车辆后备箱自动开闭控制方法、控制系统及车辆，可以预测用户是否有打开车辆后备箱的需求，实现车辆后备箱的自动开启。

本发明提供一种车辆后备箱自动开闭控制方法，其包括：

获取车辆用户人脸图像数据，并利用所述用户人脸图像数据提取人脸特征，得到用户人脸特征信息，且存储所述用户人脸特征信息；

在车辆满足第一预设条件时，控制多个摄像装置对所述车辆周边设定范围进行图像采集；

在所述车辆满足第二预设条件时，获取所述车辆周边设定范围内的图像信息，并将所述车辆周边设定范围内的图像信息与所述用户人脸特征信息进行比对，判断所述车辆周边设定范围内是否存在目标用户；

若存在目标用户，则根据所述车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断所述目标用户是否有打开所述车辆的后备箱的需求；

若所述目标用户有打开所述车辆的后备箱的需求，则获取并判断所述目标用户与所述车辆之间的第一人车距离是否小于预设距离，若所述第一人车距离小于预设距离，则控制所述车辆的后备箱开启。

优选的，所述在车辆满足第一预设条件时，控制多个摄像装置对所述车辆周边设定范围进行图像采集，具体为：

在所述车辆满足第一预设条件时，控制多个摄像装置以第一图像采集频率对所述车辆周边设定范围进行图像采集；

所述车辆后备箱自动开闭控制方法，还包括：

判断所述车辆周边设定范围内是否有障碍物，若所述车辆周边设定范围内有障碍物，则获取障碍物图像，并根据所述障碍物图像判断所述障碍物是否阻碍目标用户走向所述车辆的后备箱；

若所述障碍物阻碍目标用户走向所述车辆的后备箱，则控制所述障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；所述第二图像采集频率小于所述第一图像采集频率；

在所述车辆满足第三预设条件时，停止执行所述车辆后备箱自动开闭控制方法；其中，所述第三预设条件为：所述车辆的电池电量小于预设电量值或者在第二预设时间内没有检测到目标用户。

优选的，还包括：

获取临时用户人脸数据，并利用所述临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储所述临时用户人脸特征信息，还对所述临时用户人脸特征信息设置有效时间，并在超出所述有效时候后，删除所述临时用户人脸特征信息。

优选的，还包括：

将所述车辆周边设定范围内的图像信息与所述临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制所述摄像装置以第三图像采集频率进行图像采集，还获取并判断所述临时用户与所述车辆之间的第二人车距离是否小于预设距离，若所述第二人车距离小于预设距离，则控制所述车辆的后备箱开启，且在所述车辆的后备箱开启后，获取所述临时用户的行为图像数据；其中，所述第三图像采集频率大于所述第一图像采集频率；

在所述车辆的后备箱开启后，根据所述车辆周边设定范围内的图像信息，判断所述目标用户或者所述临时客户是否离开所述车辆的后备箱且离开时间超过第一预设时间，若所述目标用户或者所述临时客户离开所述车辆的后备箱且离开时间超过所述第一预设时间，则控制所述车辆的后备箱关闭。

优选的，还包括：

根据车辆周边设定范围内的图像信息训练数据集，所述数据集中的单个数据包含有多张连续图像，且所述单个数据设置有一个最终需求标记，所述数据集对应的多个所述最终需求标记中包含有置物需求标记、取物需求标记和无需求标记，且将对所述数据集划分为：可行驶区域标签图像数据集、用户位置标签图像数据集、用户姿态标签图像数据集以及特殊目标标签图像数据集；

根据所述可行驶区域标签图像数据集，并基于全卷积神经网络模型进行训练得到用户可行走区域的识别模型，根据所述用户位置标签图像数据集，并基于长短期记忆人工神经网络模型训练得到用户行走轨迹的预测模型；

根据所述可行走区域的识别模型以及所述用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型；

根据所述用户姿态标签图像数据集和所述特殊目标标签图像数据集，通过人工神经网络模型训练分别得到用户姿态特征识别模型和特殊目标识别结果，并根据所述特殊目标识别结果，对所述用户姿态特征识别模型进行变权重修正，得到变权重用户姿态需求预测模型；

将所述数据集中包含有最终需求标记的图像输入至多尺度需求模型中，得到用户行走轨迹预测结果和用户姿态需求预测结果，所述多尺度需求模型包括所述最终的用户行走轨迹识别模型和所述变权重用户姿态需求预测模型；

根据所述用户行走轨迹预测结果、所述用户姿态需求预测结果、最终需求标记，以及所述用户行走轨迹预测结果和所述用户姿态需求预测结果的预设权重值，得到所述用户最终需求预测模型。

本发明还提供一种车辆后备箱自动开闭控制系统，其包括：

人脸特征提取装置，用于获取车辆用户人脸图像数据，并利用所述用户人脸图像数据提取练人脸特征，得到用户人脸特征信息，且存储所述用户人脸特征信息；

多个摄像装置，用于采集车辆周边设定范围内的图像信息；

测距装置，用于采集车辆周边设定范围内的物体与车辆之间的距离信息；

控制装置，分别与所述多个摄像装置、所述测距装置以及所述人脸特征提取装置通讯连接，用于在所述车辆满足第一预设条件时，控制所述多个摄像装置对所述车辆周边设定范围进行图像采集；

所述控制装置，还用于在所述车辆满足第二预设条件时，获取所述车辆周边设定范围内的图像信息，并将所述车辆周边设定范围内的图像信息与所述用户人脸特征信息进行比对，判断所述车辆周边设定范围内是否存在目标用户，若存在目标用户，则根据所述车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断所述目标用户是否有打开所述车辆的后备箱的需求，若所述目标用户有打开所述车辆的后备箱的需求，则获取并判断所述目标用户与所述车辆之间的第一人车距离是否小于预设距离，若所述第一人车距离小于预设距离，则控制所述车辆的后备箱开启。

优选的，所述控制装置，用于在所述车辆满足第一预设条件时，控制多个摄像装置以第一图像采集频率对所述车辆周边设定范围进行图像采集；

所述控制装置，还用于判断所述车辆周边设定范围内是否有障碍物，若所述车辆周边设定范围内有障碍物，则获取障碍物图像，并根据所述障碍物图像判断所述障碍物是否阻碍目标用户走向所述车辆的后备箱，若所述障碍物阻碍目标用户走向所述车辆的后备箱，则控制所述障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；所述第二图像采集频率小于所述第一图像采集频率，在所述车辆满足第三预设条件时，停止执行所述车辆后备箱自动开闭控制方法；其中，所述第三预设条件为：所述车辆的电池电量小于预设电量值或者在第二预设时间内没有检测到目标用户。

优选的，所述人脸特征提取装置，用于获取临时用户人脸数据，并利用所述临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储所述临时用户人脸特征信息，还对所述临时用户人脸特征信息设置有效时间，并在超出所述有效时候后，删除所述临时用户人脸特征信息；

所述控制装置，还用于将所述车辆周边设定范围内的图像信息与所述临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制所述摄像装置以第三图像采集频率进行图像采集，还获取并判断所述临时用户与所述车辆之间的第二人车距离是否小于预设距离，若所述第二人车距离小于预设距离，则控制所述车辆的后备箱开启，且在所述车辆的后备箱开启后，获取所述临时用户的行为图像数据；其中，所述第三图像采集频率大于所述第一图像采集频率；

所述控制装置，还用于在所述车辆的后备箱开启后，根据所述车辆周边设定范围内的图像信息，判断所述目标用户或者所述临时客户是否离开所述车辆的后备箱且离开时间超过第一预设时间，若所述目标用户或者所述临时客户离开所述车辆的后备箱且离开时间超过所述第一预设时间，则控制所述车辆的后备箱关闭。

本发明还提供一种车辆，其包括上述的车辆后备箱自动开闭控制系统。

本发明还提供一种可读存储介质，所述可读存储介质存储有程序指令，当所述程序指令被执行时，实现如上述的方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提出的车辆后备箱自动开闭控制方法、控制系统及车辆，通过测距装置判断是否有障碍物，通过摄像装置采车辆周围图像，并且可以根据对车辆周围场景的判断，智能调整摄像装置的图像采集频率。然后通过需求预测模型预测目标用户行为，进一步判断目标用户是否有开启后备箱需求，从而自动为有开启后备箱需求的目标用户开启后备箱。在开启后备箱过程中，用户不需要携带钥匙，也不需要有额外的肢体动作或者令人尴尬的语音操作，后备箱自动开闭控制系统可以智能判断并自动开闭后备箱，极大的提升了用户使用的便利度，解决了目标用户在手拿物品开启后备箱的不便问题，以及目标用户需要取物时后备箱的自动开启问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一实施例中车辆后备箱自动开闭控制方法的流程图；

图2是本发明提供的另一实施例中车辆后备箱自动开闭控制方法的流程图；

图3是本发明提供的得到用户最终需求预测模型的流程图；

图4是本发明提供的车辆后备箱自动开闭控制系统的原理框图。

具体实施方式

为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。

本发明提供了一种车辆后备箱自动开闭控制方法，如图1所示，该方法包括：

S1、获取车辆用户人脸图像数据，并利用用户人脸图像数据提取人脸特征，得到用户人脸特征信息，且存储用户人脸特征信息。

车辆用户包括临时用户及目标用户，临时用户为临时有打开后备箱需求的用户，例如，服务员、代驾、临时乘客等，目标用户为长期有打开后备箱需求的用户，例如，车主、车主家人、同事等经常乘坐车辆的乘客。获取临时用户人脸数据，并利用临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储临时用户人脸特征信息，还对临时用户人脸特征信息设置有效时间，并在超出有效时候后，删除临时用户人脸特征信息。

在一实施例中，可以使用手机app(Application，应用程序)等终端录入车辆常用乘客的人脸图像数据，采集用户的一张清晰图像，使用数据增强技术训练人脸特征信息，并将人脸特征信息设置为目标用户，并将人脸特征信息录入至后备箱自动开闭系统的人脸信息库中；对于需要授予临时权限的人员(即临时用户，例如，车辆在停车场或者地下车库等距离车主较远的地方，需要酒店服务员或者助手等从车辆后备箱放置或者取物品时，但又不放心将车钥匙交给相关人员)，可以使用手机app终端给该相关人员拍摄一张清晰照片录入人脸信息库，将该相关人员设置为临时用户，设置临时用户的人脸特征信息有效时间，例如将有效时间设置为30分钟；后期在使用过程中，还可以通过拍摄到的目标客户图像进行再次训练，以不断优化人脸特征信息，不断提高人脸识别系统的识别准确率。

这里，用户可以通过手机app终端对后备箱自动开闭系统进行其他设置，例如，可以进行的设置包括修改或删除目标用户的人脸特征信息，设置后备箱自动开闭系统灵敏度，延长或减少后备箱自动开闭系统开启的时间等，包括但不局限于这些功能。但是平时使用后备箱自动开闭系统不需要使用手机app。

S2、在车辆满足第一预设条件时，控制多个摄像装置以第一图像采集频率对车辆周边设定范围进行图像采集。

如图2所示，在一实施例中，第一预设条件可以是车辆处于熄火锁车状态，在车辆满足第一预设条件时，自动激活车辆后备箱自动开闭控制系统，通过摄像装置监控车身周围10米范围内的信息。

S3、判断车辆周边设定范围内是否有障碍物，若车辆周边设定范围内有障碍物，则获取障碍物图像，并根据障碍物图像判断障碍物是否阻碍目标用户走向车辆的后备箱。

S4、若障碍物阻碍目标用户走向车辆的后备箱，则控制障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；第二图像采集频率小于第一图像采集频率。

S5、在车辆满足第二预设条件时，获取车辆周边设定范围内的图像信息，并将车辆周边设定范围内的图像信息与用户人脸特征信息进行比对，判断车辆周边设定范围内是否存在目标用户。

S6、若存在目标用户，则根据车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断目标用户是否有打开车辆的后备箱的需求。

S7、若目标用户有打开车辆的后备箱的需求，则获取并判断目标用户与车辆之间的第一人车距离是否小于预设距离，若第一人车距离小于预设距离，则控制车辆的后备箱开启。

将车辆周边设定范围内的图像信息与临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制摄像装置以第三图像采集频率进行图像采集，还获取并判断临时用户与车辆之间的第二人车距离是否小于预设距离，若第二人车距离小于预设距离，则控制车辆的后备箱开启，且在车辆的后备箱开启后，获取临时用户的行为图像数据；其中，第三图像采集频率大于第一图像采集频率。

在一具体实施例中，参考图2，第二预设条件为车辆后备箱开闭系统处于初始激活状态(即车辆后备箱自动开闭控制系统刚开始激活的10秒内)下，在满足第二预设条件时，车身周围布置的四颗摄像装置采集图像信息，超声波雷达开启测距，超声波雷达可连续运行10秒钟，通过超声波雷达判断车辆周边设定范围内是否存在障碍物。如果存在障碍物，调用摄像装置采集障碍物图像，将摄像装置采集到的图像传送到中央处理器，通过中央处理器内部的场景识别模块判断障碍物类型，并通过感知融合算法对障碍物进行确认后，判断该类型障碍物是否阻碍目标用户从该方向走向后备箱，根据判断结果调整车辆后备箱自动开闭控制系统在车辆的不同方向开启不同强度的监控状态，当该类型障碍物能够阻碍目标用户从该方向走向后备箱(例如墙壁或其他固定障碍物等)，对该障碍物方向采取弱监控(即降低该方向的摄像装置的图像采集频率)，从而实现对无障碍方向进行重点智能识别，对有障碍方向进行弱监控，进一步节省电量；当车辆后备箱自动开闭控制系统通过图像深度学习算法对摄像装置采集的图像进行分析，判断出该方向环境状态有变化时，也可以智能调整该方向摄像装置的监控状态从弱监控状态到正常监控状态，弱监控状态即为摄像装置以第二图像采集频率进行图像采集，正常监控状态即摄像装置以第一图像采集频率进行图像采集。

这里，后备箱自动开闭系统要求在车辆四周布置四个摄像装置，这四个摄像装置可以单独布置，也可以采用车辆本身带有的360度环视摄像装置，这里不做限制要求，在正常状态下摄像装置图像采集频率为2张/秒，以减少电量消耗；后备箱自动开闭系统被激活后，在车辆蓄电池电量允许的情况下，系统将持续工作12小时；如果系统检测到蓄电池电量低于设置的目标值，例如蓄电池电量低于20％或者工作时间超过12小时未检测到目标用户的后备箱开启需求或者车辆启动，车辆后备箱自动开闭控制系统自动关闭，直至下一次车辆熄火锁车且蓄电池电量大于预设值时，车辆后备箱开闭系统再次激活。

在车辆后备箱开闭系统处于初始激活状态之后，后备箱自动开闭系统将摄像装置采集到的图像传送到中央处理器，由中央处理器对图像进行人脸识别，判断是否有目标用户或者临时用户进入摄像装置监控范围内；当判断不存在目标用户或临时用户时，继续对车辆周围环境进行监控；当判断出存在目标用户或临时用户时，摄像装置进入强监控状态，即摄像装置以第三图像采集频率进行图像采集，摄像装置的图像采集频率提升到5张/秒，同时启动超声波雷达距离传感器。

当确定存在临时用户时，启动超声波雷达进行测距，当临时用户与车辆尾部的距离小于设定距离时，设定距离可以是3米，车辆后备箱开闭控制系统自动开启后备箱，并启动后备箱盖内的摄像装置，记录临时用户的行为，以保证车辆、财产安全。

当确定存在目标用户时，根据采集到的连续图像预测目标用户是否有开启后备箱的需求，当目标用户有开启后备箱的需求且目标用户与车辆尾部的距离小于设定距离时，控制后备箱开启。

车辆后备箱自动开闭控制方法还包括：

根据车辆周边设定范围内的图像信息训练数据集，数据集中的单个数据包含有多张连续图像，且单个数据设置有一个最终需求标记，数据集对应的多个最终需求标记中包含有置物需求标记、取物需求标记和无需求标记，且将对数据集划分为：可行驶区域标签图像数据集、用户位置标签图像数据集、用户姿态标签图像数据集以及特殊目标标签图像数据集，如图3所示。

在一实施例中，数据集中的单个数据为用户在车辆5米范围内走向车辆时，摄像装置拍摄的5-10张连续照片，这些连续照片为同一个最终需求标记，最终需求标记由该用户最终有无打开后备箱为依据，数据集要包括不同场地的停车位置、不同光照环境、不同性别用户和不同行李类型等差异化场景，数据集规模为10000个以上。

在模型初始训练阶段，数据集包括四类标签，用于不同模型训练；第一类标签是可行驶区域标签；第二类标签是目标用户毫米波雷达推算出的用户位置标签；第三位标签是用户姿态标签；第四类标签是特殊目标(比如行李等物品)标签。

根据可行驶区域标签图像数据集，并基于全卷积神经网络模型(FullyConvolutional Networks，FCN)进行训练得到用户可行走区域的识别模型，根据用户位置标签图像数据集，并基于长短期记忆人工神经网络模型(Long Short-Term Memory，LSTM)训练得到用户行走轨迹的预测模型。

根据可行走区域的识别模型以及用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型。具体的，根据可行走区域的识别模型的结果约束用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型。

具体的，根据用户行走轨迹的预测模型、可行驶区域标签和用户位置标签信息，确定基于全卷积神经网络及长短期记忆人工神经网络的用户行走轨迹识别模型的损失函数值，根据损失函数值，对基于全卷积神经网络及长短期记忆人工神经网络的用户行走轨迹识别模型的待训练参数进行调整，得到最终的用户行走轨迹识别模型。

根据用户姿态标签图像数据集和特殊目标标签图像数据集，通过人工神经网络模型训练分别得到用户姿态特征识别模型和特殊目标识别结果，并根据特殊目标识别结果，对用户姿态特征识别模型进行变权重修正，得到变权重用户姿态需求预测模型。

具体的，根据特殊目标识别结果确定用户姿态权重修正值，再根据用户姿态权重修正值和用户姿态特征识别模型，确定用户最终姿态需求预测结果，根据用户最终姿态需求预测结果、用户姿态标签信息以及特殊目标标签信息，确定变权重用户姿态需求预测模型的损失函数值，根据该损失函数值对变权重用户姿态需求预测模型的待训练参数进行调整，得到变权重用户姿态需求预测模型。

将用户姿态标签图像和特殊目标标签图像输入至用户姿态特征识别模型中，得到用户姿态特征信息。用户姿态特征识别模型可以是VGG(Visual Geometry Group Network，神经网络)模型。

将数据集中包含有最终需求标记的图像输入至多尺度需求模型中，得到用户行走轨迹预测结果和用户姿态需求预测结果，多尺度需求模型包括最终的用户行走轨迹识别模型和变权重用户姿态需求预测模型。

根据用户行走轨迹预测结果、用户姿态需求预测结果、最终需求标记，以及用户行走轨迹预测结果和用户姿态需求预测结果的预设权重值，得到用户最终需求预测模型。

具体的，根据用户行走轨迹预测结果和用户姿态需求预测结果进行加权计算，确定用户初步需求预测结果。

根据用户初步需求预测结果和最终需求标记，以及用户行走轨迹预测结果和用户姿态需求预测结果的预设权重值，得到用户最终需求预测模型。

更具体的，根据用户初步需求预测结果和最终需求标记信息，确定损失函数值，再根据该损失函数值，调整用户行走轨迹预测结果和用户姿态需求预测结果的权重值，得到用户最终需求预测模型。

用户最终需求预测模型的工作过程如下：

工作时，将采集的待识别图像输入至多尺度需求模型中，多尺度需求模型包括：最终的用户行走轨迹识别模型和变权重用户姿态需求预测模型。

最终的用户行走轨迹识别模型接收到待识别图像后，输出可行走区域识别信息和行走轨迹预测信息，根据可行走区域识别信息和行走轨迹预测信息，确定目标用户的最终行走轨迹预测结果。其中，最终的用户行走轨迹识别模型可包括基于全卷积神经网络的行走区域识别模型和基于长短期记忆人工神经网络的轨迹预测模型。

变权重用户姿态需求预测模型接收到待识别图像后中，输出用户姿态需求预测结果。根据用户姿态需求预测结果和目标用户最终行走轨迹预测结果，确定目标用户的需求预测结果。这里，目标用户的需求预测结果为三种：即将置物、即将取物和无需求。

当预测到目标客户即将置物(即，用户姿态需求预测信息表征目标用户携带有一定体积的物品)或即将取物(即，变权重用户最终行走轨迹预测信息表征目标用户是走向后备箱)时，确定目标用户有开启后备箱的需求；调用超声波雷达和摄像装置确认目标用户方向，通过感知融合技术判断有取物需求目标用户与车辆尾部的距离，当有取物需求的目标用户与车辆尾部的距离小于限定距离时，限定距离可以是3米，自动控制后备箱开启；当预测结果表明用户无需求时，则继续监控车辆周围环境。

这里，用户最终需求预测模型在不断的使用过程中，会根据不同目标用户的不同使用习惯不断更新迭代，以更加准确的预测目标用户是否有开启后备箱的需求。例如，有的目标用户在手持小件行李时，并不喜欢将物品放在后备箱而是直接将小件行李放置在车箱内，系统在某目标用户在携带小件行李或者物品多次未使用后备箱后，系统将降低该目标用户再次携带小件行李或物品时后备箱开启的概率。

车辆后备箱自动开闭控制方法还包括：

在车辆的后备箱开启后，根据车辆周边设定范围内的图像信息，判断目标用户或者临时客户是否离开车辆的后备箱且离开时间超过第一预设时间，若目标用户或者临时客户离开车辆的后备箱且离开时间超过第一预设时间，则控制车辆的后备箱关闭。

在车辆满足第三预设条件时，停止执行车辆后备箱自动开闭控制方法；其中，第三预设条件为：车辆的电池电量小于预设电量值或者在第二预设时间内没有检测到目标用户。

在确定需要控制车辆的后备箱开启时，还根据车辆周边设定范围内的图像信息，判断车辆周围设定范围内是否有阻碍车辆的后备箱的开启和关闭的障碍物，若有阻碍车辆的后备箱的开启和关闭的障碍物，则控制车辆的后备箱暂停开启。

本发明还提供一种车辆后备箱自动开闭控制系统，该控制系统用于执行上述的控制方法，如图4所示，其包括：人脸特征提取装置2、多个摄像装置3、测距装置4以及控制装置1，其中，测距装置4可以是超声波雷达，控制装置1可以是中央处理器。

人脸特征提取装置2用于获取车辆用户人脸图像数据，并利用用户人脸图像数据提取练人脸特征，得到用户人脸特征信息，且存储用户人脸特征信息。

多个摄像装置3用于采集车辆周边设定范围内的图像信息。

测距装置4用于采集车辆周边设定范围内的物体与车辆之间的距离信息。

控制装置1分别与多个摄像装置3、测距装置4以及人脸特征提取装置2通讯连接，用于在车辆满足第一预设条件时，控制多个摄像装置3以第一图像采集频率对车辆周边设定范围进行图像采集。

控制装置1还用于根据车辆周边设定范围内的物体与车辆之间的距离信息，判断车辆周边设定范围内是否有障碍物，若车辆周边设定范围内有障碍物，则通过摄像装置3获取障碍物图像，并根据障碍物图像判断障碍物是否阻碍目标用户走向车辆的后备箱，若障碍物阻碍目标用户走向车辆的后备箱，则控制障碍物对应区域的摄像装置3以第二图像采集频率进行图像采集；第二图像采集频率小于第一图像采集频率。

控制装置1还用于在车辆满足第二预设条件时，获取车辆周边设定范围内的图像信息，并将车辆周边设定范围内的图像信息与用户人脸特征信息进行比对，判断车辆周边设定范围内是否存在目标用户，若存在目标用户，则根据车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断目标用户是否有打开车辆的后备箱的需求，若目标用户有打开车辆的后备箱的需求，则获取并判断目标用户与车辆之间的第一人车距离是否小于预设距离，若第一人车距离小于预设距离，则控制车辆的后备箱开启。

人脸特征提取装置2用于获取临时用户人脸数据，并利用临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储临时用户人脸特征信息，还对临时用户人脸特征信息设置有效时间，并在超出有效时候后，删除临时用户人脸特征信息。

控制装置1用于将车辆周边设定范围内的图像信息与临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制摄像装置3以第三图像采集频率进行图像采集，还获取并判断临时用户与车辆之间的第二人车距离是否小于预设距离，若第二人车距离小于预设距离，则控制车辆的后备箱开启，且在车辆的后备箱开启后，获取临时用户的行为图像数据。其中，第三图像采集频率大于第一图像采集频率。

控制装置1还用于在车辆的后备箱开启后，根据车辆周边设定范围内的图像信息，判断目标用户或者临时客户是否离开车辆的后备箱且离开时间超过第一预设时间，若目标用户或者临时客户离开车辆的后备箱且离开时间超过第一预设时间，则控制车辆的后备箱关闭。

控制装置1还用于在确定需要控制车辆的后备箱开启时，还根据车辆周边设定范围内的图像信息，判断车辆周围设定范围内是否有阻碍车辆的后备箱的开启和关闭的障碍物，若有阻碍车辆的后备箱的开启和关闭的障碍物，则控制车辆的后备箱暂停开启。

具体的，控制装置1还用于获取用户最终需求预测模型，获取用户最终需求预测模型的步骤如下：

根据车辆周边设定范围内的图像信息训练数据集，数据集中的单个数据包含有多张连续图像，且单个数据设置有一个最终需求标记，数据集对应的多个最终需求标记中包含有置物需求标记、取物需求标记和无需求标记，且将对数据集划分为：可行驶区域标签图像数据集、用户位置标签图像数据集、用户姿态标签图像数据集以及特殊目标标签图像数据集。

在一实施例中，数据集中的单个数据为用户在车辆5米范围内走向车辆时，摄像装置3拍摄的5-10张连续照片，这些连续照片为同一个最终需求标记，最终需求标记由该用户最终有无打开后备箱为依据，数据集要包括不同场地的停车位置、不同光照环境、不同性别用户和不同行李类型等差异化场景，数据集规模为10000个以上。

在模型初始训练阶段，数据集包括四类标签，用于不同模型训练；第一类标签是可行驶区域标签；第二类标签是目标用户毫米波雷达推算出的用户位置标签；第三位标签是用户姿态标签；第四类标签是特殊目标(比如行李等物品)标签。

根据可行驶区域标签图像数据集，并基于全卷积神经网络模型(FullyConvolutional Networks，FCN)进行训练得到用户可行走区域的识别模型，根据用户位置标签图像数据集，并基于长短期记忆人工神经网络模型(Long Short-Term Memory，LSTM)训练得到用户行走轨迹的预测模型。

根据可行走区域的识别模型以及用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型。具体的，根据可行走区域的识别模型的结果约束用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型。

具体的，根据用户行走轨迹的预测模型、可行驶区域标签和用户位置标签信息，确定基于全卷积神经网络及长短期记忆人工神经网络的用户行走轨迹识别模型的损失函数值，根据损失函数值，对基于全卷积神经网络及长短期记忆人工神经网络的用户行走轨迹识别模型的待训练参数进行调整，得到最终的用户行走轨迹识别模型。

根据用户姿态标签图像数据集和特殊目标标签图像数据集，通过人工神经网络模型训练分别得到用户姿态特征识别模型和特殊目标识别结果，并根据特殊目标识别结果，对用户姿态特征识别模型进行变权重修正，得到变权重用户姿态需求预测模型。

具体的，根据特殊目标识别结果确定用户姿态权重修正值，再根据用户姿态权重修正值和用户姿态特征识别模型，确定用户最终姿态需求预测结果，根据用户最终姿态需求预测结果、用户姿态标签信息以及特殊目标标签信息，确定变权重用户姿态需求预测模型的损失函数值，根据该损失函数值对变权重用户姿态需求预测模型的待训练参数进行调整，得到变权重用户姿态需求预测模型。

将用户姿态标签图像和特殊目标标签图像输入至用户姿态特征识别模型中，得到用户姿态特征信息。用户姿态特征识别模型可以是VGG(Visual Geometry Group Network，神经网络)模型。

将数据集中包含有最终需求标记的图像输入至多尺度需求模型中，得到用户行走轨迹预测结果和用户姿态需求预测结果，多尺度需求模型包括最终的用户行走轨迹识别模型和变权重用户姿态需求预测模型。

根据用户行走轨迹预测结果、用户姿态需求预测结果、最终需求标记，以及用户行走轨迹预测结果和用户姿态需求预测结果的预设权重值，得到用户最终需求预测模型。具体的，根据用户行走轨迹预测结果和用户姿态需求预测结果进行加权计算，确定用户初步需求预测结果。

根据用户初步需求预测结果和最终需求标记，以及用户行走轨迹预测结果和用户姿态需求预测结果的预设权重值，得到用户最终需求预测模型。

更具体的，根据用户初步需求预测结果和最终需求标记信息，确定损失函数值，再根据该损失函数值，调整用户行走轨迹预测结果和用户姿态需求预测结果的权重值，得到用户最终需求预测模型。

本发明还提供一种车辆，其包括上述的车辆后备箱自动开闭控制系统。

本发明还提供一种可读存储介质，所述可读存储介质存储有程序指令，当所述程序指令被执行时，实现如上述的方法。

综上所述，本发明提出的车辆后备箱自动开闭控制方法、控制系统及车辆，通过测距装置4判断是否有障碍物，通过摄像装置3采集车辆周围图像，并且可以根据对车辆周围场景的判断，智能调整摄像装置3的图像采集频率，以减少电量消耗。然后通过需求预测模型预测目标用户行为，进一步判断目标用户是否有开启后备箱需求，从而自动为有开启后备箱需求的目标用户开启后备箱。在开启后备箱过程中，用户不需要携带钥匙，也不需要有额外的肢体动作或者令人尴尬的语音操作，后备箱自动开闭控制系统可以智能判断并自动开闭后备箱，极大的提升了用户使用的便利度，解决了目标用户在手拿物品开启后备箱的不便问题，以及目标用户需要取物时后备箱的自动开启问题，还解决了需要服务人员等临时用户开启后备箱的安全性问题。本发明提供的控制系统布局简单，可实现性强，并能在使用过程中不断地对预测模型或者识别模型进行迭代升级，不断地提高系统判断的准确性。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种车辆后备箱自动开闭控制方法，其特征在于，包括：

获取车辆用户人脸图像数据，并利用所述用户人脸图像数据提取人脸特征，得到用户人脸特征信息，且存储所述用户人脸特征信息；还包括：获取临时用户人脸数据，并利用所述临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储所述临时用户人脸特征信息；

在车辆满足第一预设条件时，控制多个摄像装置对所述车辆周边设定范围进行图像采集；在所述车辆满足第一预设条件时，控制多个摄像装置以第一图像采集频率对所述车辆周边设定范围进行图像采集；

所述车辆后备箱自动开闭控制方法，还包括：

判断所述车辆周边设定范围内是否有障碍物，若所述车辆周边设定范围内有障碍物，则获取障碍物图像，并根据所述障碍物图像判断所述障碍物是否阻碍目标用户走向所述车辆的后备箱；

若所述障碍物阻碍目标用户走向所述车辆的后备箱，则控制所述障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；所述第二图像采集频率小于所述第一图像采集频率；

在所述车辆满足第二预设条件时，获取所述车辆周边设定范围内的图像信息，并将所述车辆周边设定范围内的图像信息与所述用户人脸特征信息进行比对，判断所述车辆周边设定范围内是否存在目标用户；还包括：将所述车辆周边设定范围内的图像信息与所述临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制所述摄像装置以第三图像采集频率进行图像采集，还获取并判断所述临时用户与所述车辆之间的第二人车距离是否小于预设距离，若所述第二人车距离小于预设距离，则控制所述车辆的后备箱开启，且在所述车辆的后备箱开启后，获取所述临时用户的行为图像数据；其中，所述第三图像采集频率大于所述第一图像采集频率；

若存在目标用户，则根据所述车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断所述目标用户是否有打开所述车辆的后备箱的需求；

若所述目标用户有打开所述车辆的后备箱的需求，则获取并判断所述目标用户与所述车辆之间的第一人车距离是否小于预设距离，若所述第一人车距离小于预设距离，则控制所述车辆的后备箱开启。

2.根据权利要求1所述的车辆后备箱自动开闭控制方法，其特征在于，所述在车辆满足第一预设条件时，控制多个摄像装置对所述车辆周边设定范围进行图像采集，具体为：

若所述障碍物阻碍目标用户走向所述车辆的后备箱，则控制所述障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；所述第二图像采集频率小于所述第一图像采集频率；

在所述车辆满足第三预设条件时，停止执行所述车辆后备箱自动开闭控制方法；其中，所述第三预设条件为：所述车辆的电池电量小于预设电量值或者在第二预设时间内没有检测到目标用户。

3.根据权利要求1所述的车辆后备箱自动开闭控制方法，其特征在于，还包括：

对所述临时用户人脸特征信息设置有效时间，并在超出所述有效时候后，删除所述临时用户人脸特征信息。

4.根据权利要求3所述的车辆后备箱自动开闭控制方法，其特征在于，还包括：

在所述车辆的后备箱开启后，根据所述车辆周边设定范围内的图像信息，判断所述目标用户或者所述临时客户是否离开所述车辆的后备箱且离开时间超过第一预设时间，若所述目标用户或者所述临时客户离开所述车辆的后备箱且离开时间超过所述第一预设时间，则控制所述车辆的后备箱关闭。

5.根据权利要求1所述的车辆后备箱自动开闭控制方法，其特征在于，还包括：

根据车辆周边设定范围内的图像信息训练数据集，所述数据集中的单个数据包含有多张连续图像，且所述单个数据设置有一个最终需求标记，所述数据集对应的多个所述最终需求标记中包含有置物需求标记、取物需求标记和无需求标记，且将对所述数据集划分为：可行驶区域标签图像数据集、用户位置标签图像数据集、用户姿态标签图像数据集以及特殊目标标签图像数据集；

根据所述可行驶区域标签图像数据集，并基于全卷积神经网络模型进行训练得到用户可行走区域的识别模型，根据所述用户位置标签图像数据集，并基于长短期记忆人工神经网络模型训练得到用户行走轨迹的预测模型；

根据所述可行走区域的识别模型以及所述用户行走轨迹的预测模型，得到最终的用户行走轨迹识别模型；

根据所述用户姿态标签图像数据集和所述特殊目标标签图像数据集，通过人工神经网络模型训练分别得到用户姿态特征识别模型和特殊目标识别结果，并根据所述特殊目标识别结果，对所述用户姿态特征识别模型进行变权重修正，得到变权重用户姿态需求预测模型；

将所述数据集中包含有最终需求标记的图像输入至多尺度需求模型中，得到用户行走轨迹预测结果和用户姿态需求预测结果，所述多尺度需求模型包括所述最终的用户行走轨迹识别模型和所述变权重用户姿态需求预测模型；

根据所述用户行走轨迹预测结果、所述用户姿态需求预测结果、最终需求标记，以及所述用户行走轨迹预测结果和所述用户姿态需求预测结果的预设权重值，得到所述用户最终需求预测模型。

6.一种车辆后备箱自动开闭控制系统，其特征在于，包括：

人脸特征提取装置，用于获取车辆用户人脸图像数据，并利用所述用户人脸图像数据提取练人脸特征，得到用户人脸特征信息，且存储所述用户人脸特征信息；还用于获取临时用户人脸数据，并利用所述临时用户人脸数据提取人脸特征，得到临时用户人脸特征信息，且存储所述临时用户人脸特征信息；

多个摄像装置，用于采集车辆周边设定范围内的图像信息；

测距装置，用于采集车辆周边设定范围内的物体与车辆之间的距离信息；

控制装置，分别与所述多个摄像装置、所述测距装置以及所述人脸特征提取装置通讯连接，用于在所述车辆满足第一预设条件时，控制所述多个摄像装置对所述车辆周边设定范围进行图像采集；

所述控制装置，还用于在所述车辆满足第二预设条件时，获取所述车辆周边设定范围内的图像信息，并将所述车辆周边设定范围内的图像信息与所述用户人脸特征信息进行比对，判断所述车辆周边设定范围内是否存在目标用户，若存在目标用户，则根据所述车辆周边设定范围内的图像信息以及预设的用户最终需求预测模型，判断所述目标用户是否有打开所述车辆的后备箱的需求，若所述目标用户有打开所述车辆的后备箱的需求，则获取并判断所述目标用户与所述车辆之间的第一人车距离是否小于预设距离，若所述第一人车距离小于预设距离，则控制所述车辆的后备箱开启；所述控制装置，用于在所述车辆满足第一预设条件时，控制多个摄像装置以第一图像采集频率对所述车辆周边设定范围进行图像采集；还用于判断所述车辆周边设定范围内是否有障碍物，若所述车辆周边设定范围内有障碍物，则获取障碍物图像，并根据所述障碍物图像判断所述障碍物是否阻碍目标用户走向所述车辆的后备箱，若所述障碍物阻碍目标用户走向所述车辆的后备箱，则控制所述障碍物对应区域的摄像装置以第二图像采集频率进行图像采集；所述第二图像采集频率小于所述第一图像采集频率；所述控制装置，还用于将所述车辆周边设定范围内的图像信息与所述临时用户人脸特征信息进行比，判断是否存在临时用户，若存在临时用户，则控制所述摄像装置以第三图像采集频率进行图像采集，还获取并判断所述临时用户与所述车辆之间的第二人车距离是否小于预设距离，若所述第二人车距离小于预设距离，则控制所述车辆的后备箱开启，且在所述车辆的后备箱开启后，获取所述临时用户的行为图像数据；其中，所述第三图像采集频率大于所述第一图像采集频率。

7.根据权利要求6所述的车辆后备箱自动开闭控制系统，其特征在于，

所述控制装置，在所述车辆满足第三预设条件时，停止执行所述车辆后备箱自动开闭控制方法；其中，所述第三预设条件为：所述车辆的电池电量小于预设电量值或者在第二预设时间内没有检测到目标用户。

8.根据权利要求6所述的车辆后备箱自动开闭控制系统，其特征在于，

所述人脸特征提取装置，还对所述临时用户人脸特征信息设置有效时间，并在超出所述有效时候后，删除所述临时用户人脸特征信息；

所述控制装置，还用于在所述车辆的后备箱开启后，根据所述车辆周边设定范围内的图像信息，判断所述目标用户或者所述临时客户是否离开所述车辆的后备箱且离开时间超过第一预设时间，若所述目标用户或者所述临时客户离开所述车辆的后备箱且离开时间超过所述第一预设时间，则控制所述车辆的后备箱关闭。

9.一种车辆，其特征在于，包括权利要求6~8任一项所述的车辆后备箱自动开闭控制系统。

10.一种可读存储介质，其特征在于，所述可读存储介质存储有程序指令，当所述程序指令被执行时，实现如权利要求1~5任一项所述的方法。

Images