CN116238447A - 车辆的控制方法、装置、设备和车辆 - Google Patents

车辆的控制方法、装置、设备和车辆 Download PDF

Info

Publication number
CN116238447A
CN116238447A CN202310195732.XA CN202310195732A CN116238447A CN 116238447 A CN116238447 A CN 116238447A CN 202310195732 A CN202310195732 A CN 202310195732A CN 116238447 A CN116238447 A CN 116238447A
Authority
CN
China
Prior art keywords
vehicle control
control instruction
vehicle
current user
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310195732.XA
Other languages
English (en)
Inventor
杜耀
庄光庭
程小鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avatr Technology Chongqing Co Ltd
Original Assignee
Avatr Technology Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avatr Technology Chongqing Co Ltd filed Critical Avatr Technology Chongqing Co Ltd
Priority to CN202310195732.XA priority Critical patent/CN116238447A/zh
Publication of CN116238447A publication Critical patent/CN116238447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请实施例公开了一种车辆的控制方法、装置、设备和车辆。其中,所述车辆的控制方法包括:获取当前用户的标识信息;在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;控制车辆执行所述目标车控指令集合中的目标车控指令。

Description

车辆的控制方法、装置、设备和车辆
技术领域
本申请涉及但不限于智能驾驶技术领域,尤其涉及一种车辆的控制方法、装置、设备和车辆。
背景技术
在车载场景下的乘客通过语音助手进行常用的车控设置,如设置车内空调温度、空调风量、座椅角度、多媒体音量等,不同的乘客有着个性化的设置偏好。然而,相关技术中需要乘客每次上车后跟语音助手再次交互才能将车控参数设置到个性化偏好状态,这样比较麻烦。
发明内容
有鉴于此,本申请实施例至少提供一种车辆的控制方法、装置、设备和车辆。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种车辆的控制方法,所述方法包括:获取当前用户的标识信息;在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;控制车辆执行所述目标车控指令集合中的目标车控指令。
在一些实施例中,所述标识信息包括:人脸标识(Identity Document,ID);所述获取当前用户的标识信息,包括:采用深度神经网络模型,基于获取到的图像或者语音进行进车事件检测;在所述进车事件发生的情况下,从所述图像中获取所述当前用户的人脸ID。
在一些实施例中,所述确定与所述当前用户的标识信息关联的车控指令集合,包括:确定与所述当前用户的人脸ID关联的声纹ID;确定与所述声纹ID关联的车控指令集合。
在一些实施例中,所述方法还包括:接收座舱内的用户发起的车控指令;基于所述车控指令,确定所述用户所在的目标位置和声纹ID;获取目标位置的用户的人脸ID;将所述声纹ID、所述人脸ID、所述车控指令和所述车控指令对应的指令时间戳进行关联,并存储在所述车控指令库中。
在一些实施例中,所述接收座舱内的用户发起的车控指令,包括:获取所述用户的语音;对所述语音进行语音识别,得到语音识别结果;基于所述语音识别结果进行意图理解和对话管理,得到所述车控指令;所述方法还包括:控制所述车辆执行所述车控指令。
在一些实施例中,所述获取当前用户的标识信息,包括以下至少之一:
在所述当前用户与所述车辆之间的距离在第一距离范围内的情况下,获取所述当前用户的步态信息;基于所述步态信息确定所述当前用户的标识信息;
在所述当前用户与所述车辆之间的距离在第二距离范围内的情况下,获取所述当前用户的人脸图像;基于所述人脸图像进行人脸识别,以确定所述当前用户的标识信息;
在所述当前用户接触所述车辆的车门把手的情况下,获取所述当前用户的指纹信息;基于所述指纹信息确定所述当前用户的标识信息。
在一些实施例中,所述在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合,包括:从所述车控指令集合中,确定具有所述当前用户的偏好数据的初始车控指令集合;从所述初始车控指令集合中,确定每一所述偏好数据对应的车控指令的数量;在所述数量大于等于2的情况下,将时间戳最近的车控指令作为对应偏好数据对应的目标车控指令,得到所述目标车控指令集合。
第二方面,本申请实施例还提供一种车辆的控制装置,包括:
第一获取模块,用于获取当前用户的标识信息;第一确定模块,用于在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;第二确定模块,用于在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;控制模块,用于控制车辆执行所述目标车控指令集合中的目标车控指令。
第三方面,本申请实施例还提供一种控制设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现上述任一实施例中所述的车辆的控制方法。
第四方面,本申请实施例还提供一种车辆,包括上述的车辆的控制装置。
本申请实施例中,首先,获取当前用户的标识信息;其次,在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;再次,在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;最后,控制车辆执行所述目标车控指令集合中的目标车控指令。其中,车控指令库中存储有用户的个性化车控指令,也就是说控制设备可以智能记忆用户的车控设置的偏好数据,因此可以通过获取当前用户的标识信息,之后获取与当前用户的标识信息匹配的具有偏好数据的车控指令并控制车辆执行该车控指令。这样可以避免用户每次进车后需要与语音助手交互而调整车控设置的麻烦,从而快速实现个性化设置。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种车辆的控制方法的实现流程示意图;
图2为本申请实施例提供的一种步骤S101的实现流程示意图;
图3为本申请实施例提供的一种步骤S102的实现流程示意图;
图4和图5为本申请实施例提供的另一种车辆的控制方法的实现流程示意图;
图6位本申请实施例提供的一种车辆的控制装置组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
本申请实施例提供一种车辆的控制方法,该方法可以由控制设备实现,例如车辆的控制器。如图1所示,该方法包括如下步骤S101至步骤S104:
步骤S101:获取当前用户的标识信息;
这里,可以在当前用户将要进入车辆即靠近车辆但还未进入车辆或者已经进入车辆的情况下,获取当前用户的标识信息。实施时,在当前用户与车辆之间的距离在预设范围内或者当前用户接触车辆门把手的情况下,可以认为当前用户将要进入车辆;在当前用户已经坐在车辆座舱的座椅上的情况下,可以认为当前用户已经进入车辆,即可以通过检测进车事件是否发生来确定当前用户是否进入车辆。
获取当前用户的标识信息即为对当前用户进行身份识别。当前用户可以是当前坐在车辆座舱主驾驶位的司机,也可以是当前坐在其他位置的乘客。在实施时,可以在进车事件发生后,自动触发获取当前用户的标识信息,也可以是用户进入车辆后主动触发操作,之后车辆的控制器开始获取当前用户的标识信息,本申请实施例对此并不限定。
标识信息可以是表明用户身份的信息,例如可以是用户的生物特征ID,比如指纹信息、人脸ID、掌纹信息、虹膜信息、手势信息、声纹ID、视网膜信息、脱氧核糖核酸(DeoxyriboNucleic Acid,DNA)信息等。
步骤S102:在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;
这里,车控指令可以是对车辆进行配置的指令,包括但不限于解闭锁指令、开关车内空调指令、设置车内温度的指令、设置座椅角度的指令、播放音乐指令、设置多媒体音量的指令等。车控指令可以是语音车控指令;发起车控指令的用户可以是座舱内任一位置的用户。指令时间戳可以是用户发起车控指令的时间,也就是车控指令生成的时间。
车控指令库中存储着用户的个性化的车控指令,车控指令集合可以是由至少一个个性化的车控指令构成的。
在实施时,车控指令库中的车控指令、发起该车控指令的用户的标识信息和发起该车控指令的时间戳相关联。根据用户的标识信息可以查询得到该用户发起的车控指令以及发起该车控指令的指令时间戳。例如,根据用户A的人脸ID在车控指令库中搜索,可以得到用户A发出的“设置空调温度为23摄氏度(℃)”的车控指令,以及该车控指令对应的指令时间戳xxxx年xx月xx日xx时xx分xx秒。
步骤S103:在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;
具有偏好数据的目标车控指令集合可以由至少一个具有偏好数据的目标车控指令构成。偏好数据可以是与当前用户偏好相关联的数据,可以包括空调温度、空调风量、座椅设置、多媒体音量等等。例如,用户A喜欢将空调温度设置为23℃,将空调风量设置为最大,将座椅角度设置为105度(°),将座椅高度设置标准为头顶距离车辆顶部的距离为20厘米(cm)等等。
需要说明的是,车控指令“关闭窗户”、“打开窗户”可能是随机事件,不涉及当前用户的偏好,因此,上述车控指令中不具有偏好数据。
步骤S104:控制车辆执行所述目标车控指令集合中的目标车控指令。
这里,控制设备可以基于目标车控指令控制车辆中的空调、座椅等等调节系统,将空调温度、空调风量、座椅角度、座椅高度等等调整到用户偏好的参数。
在用户靠近车辆但未进入车辆的时候执行步骤S101至步骤S104,这样可以提前调好车辆座椅位置、空调温度等,减少用户等待时间。
本申请实施例中,首先,获取当前用户的标识信息;其次,在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;再次,在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;最后,控制车辆执行所述目标车控指令集合中的目标车控指令。其中,车控指令库中存储有用户的个性化车控指令,也就是说控制设备可以智能记忆用户的车控设置的偏好数据,因此可以通过获取当前用户的标识信息,之后获取与当前用户的标识信息匹配的具有偏好数据的车控指令并控制车辆执行该车控指令。这样可以避免用户每次进车后需要与语音助手交互而调整车控设置的麻烦,从而快速实现个性化设置。
在一些实施例中,所述标识信息包括:人脸ID;如图2所示,步骤S101“获取当前用户的标识信息”的实施可以包括如下步骤S1011和步骤S1012:
步骤S1011:采用深度神经网络模型,基于获取到的图像或者语音进行进车事件检测;
步骤S1011即为检测用户是否进入车辆。在实施时,可以从摄像头获取图像,之后采用深度神经网络模型识别图像中是否有人脸,在有人脸的情况下,确定进车事件发生;还可以从麦克风获取声音,之后采用深度神经网络模型识别声音中是否有关闭车门、安全带的拉拽声音和安全带插入安全带插口(也即为安全带被扣上)等等的声音,在有上述声音的情况下,可以确定进车事件发生。
其中,采用的深度神经网络模型可以包括卷积神经网络(Convolutional Ne uralNetworks,CNN)、递归神经网络(Recurrent Neural Networks,RNN)、深信度网络(DeepBelief Network,DBN)、深度自动编码器(Auto Encoder)和生成对抗网络(GenerativeAdversarial Networks,GAN)等。
在一些实施例中,还可以通过获取座椅上的重力变化、通过惯性传感器获取的运动信息检测用户是否有拉拽安全带动作,确定用户是否进入车辆。
步骤S1012:在所述进车事件发生的情况下,从所述图像中获取所述当前用户的人脸ID。
这里,图像可以是车辆内的图像采集组件(例如摄像头)采集的人脸图像。在实施时,可以采用深度神经网络模型从人脸图像中提取人脸ID。
在一些实施例中,如图3所示,步骤S102中的“确定与所述当前用户的标识信息关联的车控指令集合”的实施可以包括如下步骤S1021和步骤S1022:
步骤S1021:确定与所述当前用户的人脸ID关联的声纹ID;
在实施时,可以采用多模态技术确定与当前用户的人脸ID关联的声纹ID,其中,多模态指的是多种模态的信息,包括:文本、图像、视频、声音等;多模态技术可以是指不同模态的信息能够相互检索的技术。
步骤S1022:确定与所述声纹ID关联的车控指令集合。
这里,可以根据声纹ID在车控指令库中查询得到与该声纹ID关联的车控指令集合。需要说明的是,一个声纹ID关联的车控指令可以是一个、两个或者多个。
本申请实施例中,根据当前用户的人脸ID找到关联该人脸ID的声纹ID,根据声纹ID找到与当前用户关联的车控指令集合,这样可以提高获取与当前用户关联的车控指令集合的准确性,后续可以在该车控指令集合中确定目标车控指令,从而进行个性化设置。
在一些实施例中,车辆的控制方法还包括步骤S105至步骤S108:
步骤S105:接收座舱内的用户发起的车控指令;
这里,步骤S105可以在步骤S101之前执行。在实施时,用户发起车控指令,例如,将空调风量调到最小,语音助手会接收到该用户发起的车控指令。
步骤S106:基于所述车控指令,确定所述用户所在的目标位置和声纹ID;
步骤S107:获取目标位置的用户的人脸ID;
在实施时,语音助手可以根据声源进行定位,确定该用户在座舱内的位置,从视觉信号提取目标位置的用户的人脸ID,并从车控指令语音信号中提取声纹ID。
步骤S108:将所述声纹ID、所述人脸ID、所述车控指令和所述车控指令对应的指令时间戳进行关联,并存储在所述车控指令库中。
步骤S108即为采用四元组的方式记录该用户的历史车控指令。
本申请实施例中,首先,接收座舱内的用户发起的车控指令;其次,基于所述车控指令,确定所述用户所在的目标位置和声纹ID;之后,获取目标位置的用户的人脸ID;最后,将所述声纹ID、所述人脸ID、所述车控指令和所述车控指令对应的指令时间戳进行关联,并存储在所述车控指令库中。这样可以对用户个性化车控指令历史进行智能记忆,方便后续根据用户的标识信息自动执行车控指令,从而将车辆控制参数设置为个性化的参数。
在一些实施例中,所述接收座舱内的用户发起的车控指令,包括步骤S1051至步骤S1053:
步骤S1051:获取所述用户的语音;
步骤S1052:对所述语音进行语音识别,得到语音识别结果;
步骤S1053:基于所述语音识别结果进行意图理解和对话管理,得到所述车控指令;
所述方法还包括:
步骤S109:控制所述车辆执行所述车控指令。
这里,语音识别结果可以是将用户的语音进行文本转换得到的文本信息。意图理解可以是对语音识别结果(如文本信息)进行基础特征的提取,例如,粉刺、语义标签抽取、命名实体识别(NER)等等,将文本信息转换成机器可以理解的结构化表示,便于机器“理解”该文本信息。对话管理可以包括状态追踪和对话决策;其中,状态追踪是根据上下文状态明确当前用户的领域和意图,而对话决策则根据用户当前意图决定后续动作。通过多次意图理解以及多次与用户交互,确认车控指令,这样可以减少理解错用户意图或指令的情况。
在一些实施例中,步骤S101“获取当前用户的标识信息”的实施还可以包括以下至少之一:
方式1:在所述当前用户与所述车辆之间的距离在第一距离范围内的情况下,获取所述当前用户的步态信息;基于所述步态信息确定所述当前用户的标识信息;
方式1即为当前用户在车舱外远距离的地点走向汽车,利用舱外的视觉信号,进行步态识别,从而识别乘客标识信息。
方式2:在所述当前用户与所述车辆之间的距离在第二距离范围内的情况下,获取所述当前用户的人脸图像;基于所述人脸图像进行人脸识别,以确定所述当前用户的标识信息;
方式2即为当前用户在车舱外近距离尚未接触车门,利用舱外的视觉信号,进行人脸识别,从而识别乘客标识信息。
方式3:在所述当前用户接触所述车辆的车门把手的情况下,获取所述当前用户的指纹信息;基于所述指纹信息确定所述当前用户的标识信息。
方式3即为当前用户用手接触车门,利用车门把手的指纹图像信号,进行指纹识别,从而识别乘客标识信息。其中,车门把手可以是右前门、右后门、左前门或左后门的门把手。
本申请实施例中,可以采用上述方式之一或者联合以上多种方式,来获取当前用户的标识信息,从而使该车控的控制方法的灵活性更高、适用场景更广泛;此外在联合使用以上多种方式的情况下,还可以提高当前用户的身份识别的确定性。
在一些实施例中,步骤S103中“在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合”的实施可以包括以下步骤S1031至步骤S1033:
步骤S1031:从所述车控指令集合中,确定具有所述当前用户的偏好数据的初始车控指令集合;
偏好数据可以包括空调温度、空调风量、座椅角度、多媒体音量等等。
步骤S1032:从所述初始车控指令集合中,确定每一所述偏好数据对应的车控指令的数量;
例如,用户前天发起了“将空调温度设置为21℃”的车控指令,昨天发起了“将空调温度设置为23℃”的车控指令,也就是说,具有空调温度这一目标偏好数据对应的车控指令数量为两个。
步骤S1033:在所述数量大于等于2的情况下,将时间戳最近的车控指令作为对应偏好数据对应的目标车控指令,得到所述目标车控指令集合。
将时间戳最近的车控指令作为对应偏好数据对应的目标车控指令,是指将最近一次的偏好数据对应的车控指令作为目标车控指令。
本申请实施例中,由于不同阶段或时间乘客的喜好可能会发生改变,通过将最近时间对应的车控指令作为对应偏好数据对应的目标车控指令,这样可以更加贴合用户的实际需求。
在对空调温度执行上述步骤之后,再对偏好数据中的空调风量、座椅角度、多媒体音量这些数据依次执行上述循环,这样可以得到目标车控指令集合。后续通过控制车辆指令目标车控指令集合中的目标指令,可以将车辆的各个参数设置为用户喜欢或者偏好的参数。
本申请实施例还提供一种车辆的控制方法,根据乘客身份信息(即标识信息),智能记忆对应的偏好设置,当乘客再次上车,能够自动恢复个性化的车控偏好设置,能够避免乘客每次上车需要跟语音助手再次交互才能设置到个性化偏好状态。参考图4和图5,该方法包括以下步骤:
步骤S201:座舱内乘客发起语音车控指令;
当座舱内的乘客发起语音车控指令时,车辆的控制器会接收到该用户发起的语音车控指令。
步骤S202:声源定位(即语音助手进行进声源定位,确定乘客在座舱内的位置);
步骤S203:座舱摄像头获取目标位置乘客ID(即为从视觉信号提取目标位置乘客人脸ID);
步骤S204:声纹识别(即从车控指令语音信号中提取声纹ID);
步骤S202至步骤S204的实施可以参考步骤S106和步骤S107。
步骤S205:语音识别、意图理解、对话管理;
这里,通过执行步骤S205,可以确认乘客的车控指令。在实施时,可以参考步骤S109和步骤S110执行步骤S205。
步骤S206:车控指令执行;
步骤S207:关联四元组:人脸ID、声纹ID、车控指令、指令时间戳;
步骤S207即为建立信息关联,以四元组的方式记录乘客历史车控指令:人脸ID、声纹ID、车控指令、指令的时间戳。其中人脸ID与声纹ID表示乘客的身份信息。
步骤S208:记录持久化存储;
这里,步骤S208即将乘客车控指令历史记录的持久保存,保存到本地存储卡上,方便将来进行历史记录查询。
步骤S209:乘客进车事件检测;
可以采用深度神经网络模型,使用视觉信号或者语音信号进行事件检测,也就是基于或获取到的图像或者语音进行进车事件检测。
步骤S210:座舱内视觉人脸ID提取;
步骤S209和步骤S210即为获取当前用户的标识信息,该标识信息可以是人脸ID。
可以采用深度神经网络模型从获取到的图像例如人脸图像中提取人脸ID。
步骤S211:根据人脸ID查询对应的声纹ID,检索该声纹ID的车控偏好设置;
在实施时,根据人脸ID查询历史记录中关联的声纹ID,再根据该声纹ID检索历史语音车控指令记录里的设置偏好,如空调温度、空调风量、座椅设置、多媒体音量等。
步骤S212:车控指令执行。
筛选跟身份信息关联度大的车控指令,自动进行车控指令执行。例如,乘客最近时间的一次关于控制设置指令为:空调温度设置为二十度,则自动执行该指令。乘客最近时间的车窗控制指令为:打开车窗,则不用自动执行该指令,因为车窗控制是相对跟身份信息关联度不大的车控指令。也就是在车控指令集合中确定具有当前用户的偏好数据的目标车控指令集合。
本申请实施例中,通过记录乘客的车控指令,同时也提取语音车控指令的声纹ID。声源定位到乘客位置,通过座舱内视觉信号提取目标位置上乘客的人脸ID,做到人脸ID与声纹ID的一一对应。当乘客再次上车时,从视觉信号中提取人脸ID,根据人脸ID查询对应的声纹ID,再在历史车控指令记录中检索该声纹ID的最近车控偏好设置,自动进行车控指令的执行,做到智能记忆乘客的车控设置偏好。
本申请实施例中,个性化车控偏好设置除了可以采用乘客进车事件自动触发,也可以由乘客主动触发。虽然需要进行一次语音交互,但具体的车控设置值均由最近历史个人设置而定。如由乘客主动与语音助手对话说:“帮我设置一下空调”,这样做到一句设置“空调控制”这个细分的车控的个性化偏好设置。自动车控就只需检索该乘客最近的关于空调控制的偏好设置值,可以自动执行“空调控制”细分的车控领域里的温度设置、风量大小值等多个个性化车控指令,无需进行多轮交互一一确认“空调控制”里的各个设置值。
本申请实施例提供一种车辆控制的装置,参考图6,该装置包括:
第一获取模块601,用于获取当前用户的标识信息;
第一确定模块602,用于在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;
第二确定模块603,用于在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;
控制模块604,用于控制车辆执行所述目标车控指令集合中的目标车控指令。
在一些实施例中,所述标识信息包括:人脸ID;所述第一获取模块,包括:
检测子模块,用于采用深度神经网络模型,基于获取到的图像或者语音进行进车事件检测;
第一获取子模块,用于在所述进车事件发生的情况下,从所述图像中获取所述当前用户的人脸ID。
在一些实施例中,所述第一确定模块,包括:
第一确定子模块,用于确定与所述当前用户的人脸ID关联的声纹ID;
第二确定子模块,用于确定与所述声纹ID关联的车控指令集合。
在一些实施例中,该车辆的控制系统还包括:
第二获取模块,用于接收座舱内的用户发起的车控指令;
第三确定模块,用于基于所述车控指令,确定所述用户所在的目标位置和声纹ID;
第三获取模块,用于获取目标位置的用户的人脸ID;
关联模块,用于将所述声纹ID、所述人脸ID、所述车控指令和所述车控指令对应的指令时间戳进行关联,并存储在所述车控指令库中。
在一些实施例中,第二获取模块包括:第二获取子模块,用于获取所述用户的语音;
语音识别子模块,用于对所述语音进行语音识别,得到语音识别结果;
意图理解和对话管理子模块,用于基于所述语音识别结果进行意图理解和对话管理,得到所述车控指令;
所述控制模块,还用于控制所述车辆执行所述车控指令。
在一些实施例中,第一获取模块,包括以下至少之一:
第三获取子模块,用于在所述当前用户与所述车辆之间的距离在第一距离范围内的情况下,获取所述当前用户的步态信息;基于所述步态信息确定所述当前用户的标识信息;
第四获取子模块,用于在所述当前用户与所述车辆之间的距离在第二距离范围内的情况下,获取所述当前用户的人脸图像;基于所述人脸图像进行人脸识别,以确定所述当前用户的标识信息;
第五获取子模块,用于在所述当前用户接触所述车辆的车门把手的情况下,获取所述当前用户的指纹信息;基于所述指纹信息确定所述当前用户的标识信息。
在一些实施例中,所述第二确定模块包括:第三确定子模块,用于从所述车控指令集合中,确定具有所述当前用户的偏好数据的初始车控指令集合;第四确定子模块,用于从所述初始车控指令集合中,确定每一所述偏好数据对应的车控指令的数量;第五确定子模块,用于在所述数量大于等于2的情况下,将时间戳最近的车控指令作为对应偏好数据对应的目标车控指令,得到所述目标车控指令集合。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
本申请实施例还提供一种控制设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现上述任一实施例中的车辆的控制方法。
需要说明的是,这里的处理器可以是一个处理元件,也可以是多个处理元件的统称。例如,该处理元件可以是中央处理器(Central Processing Unit,CPU),也可以是特定集成电路(Application Specific Integrated Circuit,ASIC),或者是一个或多个集成电路,例如:一个或多个微处理器(Digital Signal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)。
存储器可以是一个存储装置,也可以是多个存储元件的统称,且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器可以包括随机存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器,闪存(Flash)等。
本申请实施例还提供一种车辆,包括上述的车辆的控制装置。
这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种车辆的控制方法,其特征在于,包括:
获取当前用户的标识信息;
在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;
在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;
控制车辆执行所述目标车控指令集合中的目标车控指令。
2.根据权利要求1所述的控制方法,其特征在于,所述标识信息包括:人脸ID;所述获取当前用户的标识信息,包括:
采用深度神经网络模型,基于获取到的图像或者语音进行进车事件检测;
在所述进车事件发生的情况下,从所述图像中获取所述当前用户的人脸ID。
3.根据权利要求2所述的控制方法,其特征在于,所述确定与所述当前用户的标识信息关联的车控指令集合,包括:
确定与所述当前用户的人脸ID关联的声纹ID;
确定与所述声纹ID关联的车控指令集合。
4.根据权利要求1至3任一项所述的控制方法,其特征在于,所述方法还包括:
接收座舱内的用户发起的车控指令;
基于所述车控指令,确定所述用户所在的目标位置和声纹ID;
获取目标位置的用户的人脸ID;
将所述声纹ID、所述人脸ID、所述车控指令和所述车控指令对应的指令时间戳进行关联,并存储在所述车控指令库中。
5.根据权利要求4所述的控制方法,其特征在于,所述接收座舱内的用户发起的车控指令,包括:
获取所述用户的语音;
对所述语音进行语音识别,得到语音识别结果;
基于所述语音识别结果进行意图理解和对话管理,得到所述车控指令;
所述方法还包括:
控制所述车辆执行所述车控指令。
6.根据权利要求1所述的控制方法,其特征在于,所述获取当前用户的标识信息,包括以下至少之一:
在所述当前用户与所述车辆之间的距离在第一距离范围内的情况下,获取所述当前用户的步态信息;基于所述步态信息确定所述当前用户的标识信息;
在所述当前用户与所述车辆之间的距离在第二距离范围内的情况下,获取所述当前用户的人脸图像;基于所述人脸图像进行人脸识别,以确定所述当前用户的标识信息;
在所述当前用户接触所述车辆的车门把手的情况下,获取所述当前用户的指纹信息;基于所述指纹信息确定所述当前用户的标识信息。
7.根据权利要求1至3任一项所述的控制方法,其特征在于,所述在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合,包括:
从所述车控指令集合中,确定具有所述当前用户的偏好数据的初始车控指令集合;
从所述初始车控指令集合中,确定每一所述偏好数据对应的车控指令的数量;
在所述数量大于等于2的情况下,将时间戳最近的车控指令作为对应偏好数据对应的目标车控指令,得到所述目标车控指令集合。
8.一种车辆的控制装置,其特征在于,包括:
第一获取模块,用于获取当前用户的标识信息;
第一确定模块,用于在车控指令库中,确定与所述当前用户的标识信息关联的车控指令集合;其中,所述车控指令库中存储有车控指令、发起所述车控指令的用户的标识信息和指令时间戳;
第二确定模块,用于在所述车控指令集合中,确定具有所述当前用户的偏好数据的目标车控指令集合;
控制模块,用于控制车辆执行所述目标车控指令集合中的目标车控指令。
9.一种控制设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现如权利要求1至7任一项所述的车辆的控制方法。
10.一种车辆,其特征在于,包括权利要求8所述的车辆的控制装置。
CN202310195732.XA 2023-03-01 2023-03-01 车辆的控制方法、装置、设备和车辆 Pending CN116238447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310195732.XA CN116238447A (zh) 2023-03-01 2023-03-01 车辆的控制方法、装置、设备和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310195732.XA CN116238447A (zh) 2023-03-01 2023-03-01 车辆的控制方法、装置、设备和车辆

Publications (1)

Publication Number Publication Date
CN116238447A true CN116238447A (zh) 2023-06-09

Family

ID=86623859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310195732.XA Pending CN116238447A (zh) 2023-03-01 2023-03-01 车辆的控制方法、装置、设备和车辆

Country Status (1)

Country Link
CN (1) CN116238447A (zh)

Similar Documents

Publication Publication Date Title
CN105501158B (zh) 一种驾驶员识别融合的系统及方法
CN108327722B (zh) 用于通过移动模式来识别车辆驾驶员的系统和方法
CN108701457B (zh) 用于生态系统的设备的语音辅助系统
US9725098B2 (en) Vehicle driver identification
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
US9330308B2 (en) Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle
JP4267584B2 (ja) 機器制御装置及びその方法
CN103935324B (zh) 用于车辆门禁控制的方法和装置
US7620547B2 (en) Spoken man-machine interface with speaker identification
US20140229174A1 (en) Direct grammar access
CN111845631A (zh) 一种车辆启动方法、装置、设备及存储介质
WO2013101052A1 (en) Systems, methods, and apparatus for learning the identity of an occupant of a vehicle
CN110082726B (zh) 声源定位方法及装置、定位设备及存储介质
CN109584871B (zh) 一种车辆中语音指令的用户身份识别方法、装置
US11572039B2 (en) Confirmed automated access to portions of vehicles
CN114678021A (zh) 音频信号的处理方法、装置、存储介质及车辆
US11720231B2 (en) Vehicle having an intelligent user interface
CN116238447A (zh) 车辆的控制方法、装置、设备和车辆
CN110609943A (zh) 一种智能设备的主动交互方法及服务机器人
CN114598963A (zh) 语音处理的方法、装置、计算机可读存储介质及电子设备
CN115107680A (zh) 一种车辆调节方法、装置及计算机存储介质
CN111807173A (zh) 基于深度学习的电梯控制方法、电子设备及存储介质
KR20220014674A (ko) 차량용 감정 인식 기반 서비스 제공 장치 및 그 제어 방법
EP1387350A1 (en) Spoken man-machine interface with speaker identification
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination