CN111696548A - 显示行车提示信息的方法、装置、电子设备以及存储介质 - Google Patents
显示行车提示信息的方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN111696548A CN111696548A CN202010403546.7A CN202010403546A CN111696548A CN 111696548 A CN111696548 A CN 111696548A CN 202010403546 A CN202010403546 A CN 202010403546A CN 111696548 A CN111696548 A CN 111696548A
- Authority
- CN
- China
- Prior art keywords
- information
- driving
- driver
- acquiring
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/148—Instrument input by voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/167—Vehicle dynamics information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/774—Instrument locations other than the dashboard on or in the centre console
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开一种显示行车提示信息的方法、装置、电子设备及存储介质。本方法通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
Description
技术领域
本申请涉及人机交互技术领域,更具体地,涉及一种显示行车提示信息的方法、装置、电子设备以及存储介质。
背景技术
近年来,随着汽车技术的快速发展,车辆的驾驶变得越来越自动化,驾驶者仅可通过按压物理按键或者触屏操作便可实现其所需的车载功能。然而,车辆内部的按键功能繁多,驾驶者在操作时需要一定的学习成本,并且过多的物理按键会影响车辆的美观度,且可能出现错误按压或者反复尝试按压等,用户体验有待提高。
发明内容
鉴于上述问题,本申请提出了一种显示行车提示信息的方法、装置、电子设备以及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种显示行车提示信息的方法,所述方法包括:获取驾驶过程中驾驶员的特征信息;获取与所述特征信息对应的驾驶意图;通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
进一步的,所述特征信息包括所述驾驶员的语音信息,所述获取与所述特征信息对应的驾驶意图,包括:若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
进一步的,所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息,包括:获取与所述语音信息对应的应答语音信息和应答姿态信息;生成包括所述应答语音信息和所述应答姿态信息的目标显示模式;通过虚拟机器人在指定位置以所述目标显示模式应答显示与所述驾驶意图匹配的行车提示信息。
进一步的,所述方法还包括:生成与所述语音信息对应的调节指令;根据所述调节指令自动的调节行驶车辆的对应状态。
进一步的,所述方法还包括:基于所述特征信息获取所述驾驶员的身份信息;获取与所述身份信息对应的驾驶模式;在这种方式下,所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息,包括:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
进一步的,所述特征信息包括驾驶员的语音信息和人脸信息,所述基于所述特征信息获取驾驶员的身份信息,包括:获取与所述语音信息对应的声纹信息;将所述声纹信息以及人脸信息与预设的声纹信息以及人脸信息进行比对,获得驾驶员的身份信息。
进一步的,所述特征信息包括所述驾驶员的语音信息以及驾驶姿态信息,所述获取与所述特征信息对应的驾驶意图,包括:基于所述语音信息以及驾驶姿态信息获取对应的驾驶意图;在这种方式下,所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息,包括:若所述驾驶姿态信息表征所述驾驶员的身份满足预设条件,通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
第二方面,本申请实施例提供了一种显示行车提示信息的装置,所述装置包括:第一获取模块,用于获取驾驶过程中驾驶员的特征信息;第二获取模块,用于获取与所述特征信息对应的驾驶意图;显示模块,用于通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
可选的,所述特征信息可以包括所述驾驶员的语音信息。进一步的,所述第二获取模块具体可以用于若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
进一步的,显示模块具体可以用于:获取与所述语音信息对应的应答语音信息和应答姿态信息;生成包括所述应答语音信息和所述应答姿态信息的目标显示模式;通过虚拟机器人在指定位置以所述目标显示模式应答显示与所述驾驶意图匹配的行车提示信息。
进一步的,所述装置还可以包括指令生成模块以及状态调节模块,指令生成模块用于生成与所述语音信息对应的调节指令;状态调节模块用于根据所述调节指令自动的调节行驶车辆的对应状态。
进一步的,所述装置还可以包括身份信息获取模块以及驾驶模式获取模块,其中,身份信息获取模块可以用于基于所述特征信息获取所述驾驶员的身份信息,驾驶模式获取模块可以用于获取与所述身份信息对应的驾驶模式。可选的,在这种方式下,显示模块具体可以用于通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
可选的,所述特征信息包括驾驶员的语音信息和人脸信息。身份信息获取模块具体可以用于获取与所述语音信息对应的声纹信息;将所述声纹信息以及人脸信息与预设的声纹信息以及人脸信息进行比对,获得驾驶员的身份信息。
可选的,所述特征信息包括所述驾驶员的语音信息以及驾驶姿态信息,第二获取模块具体可以用于基于所述语音信息以及驾驶姿态信息获取对应的驾驶意图;在这种方式下,显示模块具体可以用于若所述驾驶姿态信息表征所述驾驶员的身份满足预设条件,通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
第三方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述第一方面所述的方法。
本申请提供的一种显示行车提示信息的方法、装置、电子设备及存储介质。本方法通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的应用环境示意图。
图2示出了本申请一实施例提出的显示行车提示信息的方法的方法流程图。
图3示出了本申请另一实施例提出的显示行车提示信息的方法的方法流程图。
图4示出了本申请又一实施例提出的显示行车提示信息的方法的方法流程图。
图5示出了本申请再一实施例提出的显示行车提示信息的方法的方法流程图。
图6示出了本申请再一实施例提出的显示行车提示信息的方法的方法流程图。
图7示出了本申请再一实施例提出的显示行车提示信息的方法的方法流程图。
图8示出了本申请再一实施例提出的显示行车提示信息的方法的方法流程图。
图9示出了本申请实施例提出的显示行车提示信息的装置的结构框图。
图10示出了本申请的用于执行根据本申请实施例的显示行车提示信息的方法的电子设备的结构框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的显示行车提示信息的方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
近年来,随着汽车技术的快速发展,车辆的驾驶变得越来越自动化,驾驶者仅可通过按压物理按键或者触屏操作便可实现其所需的车载功能。然而,车辆内部的按键功能繁多,驾驶者在操作时需要一定的学习成本,并且过多的物理按键会影响车辆的美观度,且可能出现错误按压或者反复尝试按压等,用户体验有待提高。
因此,发明人提出了本申请中用于改善上述问题的显示行车提示信息的方法、装置、电子设备以及存储介质。
为便于更好的理解本申请实施例提供的显示行车提示信息的方法、装置、电子设备以及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的显示行车提示信息的方法可以应用于如图1所示的多态交互系统100。多态交互系统100包括电子设备101、服务器102及用户终端103。其中,服务器102可以是传统服务器,也可以是云端服务器,在此不作具体限定。其中,用户终端103可以为但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体地,服务器102可以与电子设备101通信连接,电子设备101与用户终端103通信连接。
其中,电子设备101可以为但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。具体的,数据输入可以是基于电子设备101上具有的语音模块输入语音、字符输入模块输入字符、图像输入模块输入图像等,还可以是基于电子设备101上安装有的手势识别模块,使得用户可以实现手势输入等交互方式,在此不作限定。在一些实施方式中,电子设备101还可以是实体机器人。
进一步地,电子设备101可以基于广域网路径、局域网路径与用户终端103实现通信,在此不作限定。在一些实施方式中,电子设备101可通过服务器102连接用户终端103,实现与用户终端103之间的通信。在另一些实施方式中,电子设备101还可基于2G/3G/4G/5G、Wifi等方式,与用户终端103实现通信。如此,基于电子设备101与用户终端103的连接,用户终端103可获取电子设备101监测到的用户的状态信息,并向电子设备101传输多模态信息。
其中,电子设备101上可以安装有客户端应用程序,用户可以基于客户端应用程序(例如APP、微信小程序等)与服务器102进行通信,具体的,服务器102上安装有对应的服务端应用程序,用户可以基于客户端应用程序在服务器102注册一个用户帐号,并基于该用户帐号与服务器102进行通信,例如用户在客户端应用程序登录用户帐号,并基于该用户帐号通过客户端应用程序进行输入,可以输入文字信息、语音信息或图像信息等,客户端应用程序接收到用户输入的信息后,可以将该信息发送至服务器102,使得服务器102可以接收该信息并进行处理及存储,服务器102还可以接收该信息并根据该信息返回对应的输出信息至电子设备101。
其中,客户端应用程序基于虚拟形象提供交互服务,并且交互服务可以基于场景需求的不同而不同。在一些实施方式中,客户端应用程序可以用于向用户显示行车提示信息,例如,在驾驶场景下向用户显示行车提示信息。具体的,客户端应用程序可以接收用户输入的交互信息,并基于虚拟形象对该交互信息作出应答。
在一些实施方式中,电子设备101在获取与用户输入的信息对应的回复信息后,可以在电子设备101的显示屏或与其连接的其他图像显示装置上显示与该回复信息对应的虚拟形象。作为一种方式,在播放基于虚拟形象的图像或视频同时,可以通过电子设备101的扬声器或与其连接的其他音频输出装置播放与虚拟机器人图像对应的音频。进一步地,还可以在电子设备101的显示屏上显示与该回复信息对应的文字或图形,实现在图像、语音、文字等多个方面上与用户的多态交互。其中,图像显示装置可以为但不限于为物理显示器、3D显示器、3D显示仪等。电子设备101通过图像显示装置可显示基于虚拟形象的图像或视频,以实现与用户的交互。
在另一些实施方式中,对用户输入的信息进行处理的装置也可以设置于电子设备101上,使得电子设备101无需依赖与服务器102建立通信即可实现与用户的交互,此时多态交互系统100可以只包括电子设备101和用户终端103。
进一步地,作为一种实施方式,电子设备101内部可以设置有图像采集装置。作为另一种实施方式,电子设备101也可外接一个图像采集装置。其中,图像采集装置可以为但不限于为摄像头。如此,电子设备101通过图像采集装置可获取电子设备101所处环境的图像、还可获取包含用户在内的图像,以实现对环境和用户中的至少一个的监控。需要说明的是,图像采集装置可改变镜头角度,从而获取不同角度的图像。
进一步地,在一些实施方式中,电子设备101还可外接可穿戴设备,红外线探测摄像头、火灾报警器等状态监测装置,进一步实现对用户所处状态的监测。
进一步地,在一些实施方式中,电子设备101内部还可设置有拨号装置,或外接一个拨号装置,以通过拨号装置连接用户终端101,实现视频通话或语音通话等实时交互。
上述的应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
下面将结合附图具体描述本申请的各实施例。
第一实施例
请参阅图2,本申请一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S110:获取驾驶过程中驾驶员的特征信息。
本实施例中,驾驶员的特征信息可以包括驾驶员的语音信息、视频图像信息以及驾驶员的身份信息等。其中,驾驶员的语音信息可以是在驾驶过程中与驾驶状态相关的语音信息,例如,“前面高速上堵不堵车?”,“还有多久到目的地?”,“今天会下雨嘛”等影响驾驶状态的语音信息。视频图像信息可以包括驾驶员的表情信息、面部姿态信息以及位姿等,驾驶员的身份信息可以包括驾驶员的姓名、年龄、性别以及职业等。
作为一种方式,可以通过声音传感器等语音采集设备获取驾驶员的语音信息,通过摄像头采集驾驶员的视频图像信息。可选的,在获取了驾驶员的语音信息以及视频图像信息之后,可以根据驾驶员的语音信息以及视频图像信息获取驾驶员的身份信息,其中,视频图像信息中可以包括驾驶员的人脸图像。例如,可以根据语音信息获取驾驶员的语音的声纹特征信息,将该声纹特征信息以及驾驶员的人脸图像与预先存储的数据库中的声纹特征信息与人脸特征信息分别进行比较,进而获取驾驶员的身份特征信息。
可选的,对于一些作为公共交通工具的车,驾驶员可以不同,在这种方式下,可以获取驾驶过程中与当前驾驶员对应的特征信息,以便于在下一次该驾驶员驾驶时,可以直接获取该驾驶员的身份信息。
步骤S120:获取与所述特征信息对应的驾驶意图。
其中,驾驶意图至少可以包括驾驶员想要调控车内的空调温度、车辆的音箱大小、想要去的目的地,当前的驾驶状态是否为疲劳驾驶、是否需要休息等。
作为一种方式,可以通过自然语言处理技术识别驾驶员的语音信息,进而获取与语音信息对应的驾驶意图。可选的,可以通过计算机视觉技术识别驾驶员的视频图像信息,进而获取与视频图像信息对应的驾驶意图。其中,通过自然语言处理技术识别驾驶员的语音信息的识别原理以及识别过程和通过计算机视觉技术识别驾驶员的视频图像信息的识别原理以及识别过程均可以参考相关技术实现,在此不再赘述。
步骤S130:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
作为一种方式,在获取了与驾驶员的特征信息对应的驾驶意图之后,可以通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。其中,指定位置可以是汽车内部的中控显示屏、头显或者是手机等电子设备的显示屏幕等,可选的,不同的显示位置对应的显示屏的显示模式可以不同,例如,借助头显进行显示的原理以及显示样式与通过手机显示屏进行显示的原理以及显示样式等显示模式可以不同。
作为一种实施方式,可以根据驾驶员的视线的方向确定在哪个显示位置显示行车提示信息。例如,当检测到驾驶员的视线在车头的正前方的时候,可以在汽车的挡风玻璃上显示行车提示信息。当检测到驾驶员低头看手机的频率超过预设阈值(预设阈值的具体数值可以不做限定)的时候,可以在手机屏幕上显示行车提示信息。当检测到驾驶员的座椅调节的较低的时候,可以在汽车内部的中控显示屏上显示行车提示信息。可选的,本实施例中显示行车提示信息的频率以及显示样式可以根据实际需求进行配置。
行车提示信息可以包括导航提示、路况、行人、车道、车速以及车内部的一些设置(例如,车内当前的温度、湿度,剩余油量,车的保养提示)等信息,也可以包括行车休息提示,例如,当检测到驾驶员处于疲劳姿态时,可以提醒驾驶员及时休息。可选的,行车提示信息还可以根据实际需求进行配置,具体可以不做限定。
作为一种实施方式,虚拟机器人的外貌形态可以随着驾驶员的声音的音色的变化而变化,例如,在驾驶员的音色较为低沉的情况下,可以显示“小男孩”形象的虚拟机器人,而在驾驶员的音色较为高昂的情况下,可以显示“小女孩”形象的虚拟机器人。可选的,虚拟机器人在显示行车提示信息的过程中,可以结合语音、视频、图标(例如、路况指示箭头)、图片、文字以及动画等内容形式对行车提示信息进行显示,可选的,行车提示信息的具体内容形式可以不做限定。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
第二实施例
请参阅图3,本申请另一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S210:获取驾驶过程中驾驶员的特征信息。
步骤S220:判断所述语音信息是否为预设语音信息。
可选的,由前述描述可知,特征信息可以包括驾驶员的语音信息,本实施例中,可以把在驾驶过程中与驾驶状态相关的语音信息配置为预设语音信息。在该种方式洗,在获取了驾驶员的语音信息的情况下,可以将驾驶员的语音信息与预设驾驶语音信息进行比对,判断驾驶员的语音信息是否为预设语音信息。
作为一种方式,可通过识别驾驶员的语音信息的关键字(或词、句),将识别到的关键字(或词、句)与预设语音信息所包括的关键字(或词、句)分别进行比较,若一致,那么可以判定驾驶员的语音信息为预设语音信息;可选的,若不一致,那么可以判定驾驶员的语音信息不为预设语音信息,在这种方式下,可以继续识别驾驶员的语音信息。例如,假设预设语音信息包括“超速、温度、空调、还有多远”等关键词(或句),若驾驶员的语音信息包括关键词“超速、开快点”等关键词(或句),那么可以判定驾驶员当前的语音信息为预设语音信息。
步骤S230:若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
其中,目标语言模型可以包括隐马尔可夫模型(HMM)或者是基于反向传播算法(BP算法)的多层感知网络模型等。作为一种方式,若驾驶员的语音信息为预设语音信息,那么可以基于目标语言模型获取与驾驶员的语音信息对应的驾驶意图,可选的,可以根据驾驶员的语音信息中所包括的关键字(或词、句)所表征的含义获取驾驶员的驾驶意图,具体的技术实现原理以及实现过程可以参考相关技术,在此不再赘述。
作为另一种方式,若驾驶员的语音信息不为预设语音信息,例如,驾驶员与其他人的谈话或者是在唱歌等,在这种情况下,可以继续判断驾驶员的语音信息是否是预设语音信息。
步骤S240:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而判断特征信息中包括的语音信息是否为预设语音信息,若该语音信息为预设的语音信息,则基于目标语言模型获取与语音信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。通过判断驾驶员的语音信息是否是预设语音信息,可以减少重复获取与驾驶员的语音信息对应的驾驶意图带来的功耗损失。
第三实施例
请参阅图4,本申请又一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S310:获取驾驶过程中驾驶员的特征信息。
步骤S320:判断所述语音信息是否为预设语音信息。
步骤S330:若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
步骤S340:获取与所述语音信息对应的应答语音信息和应答姿态信息。
其中,应答语音信息可以理解为虚拟机器人针对驾驶员的语音信息给出的答复语音内容,应答姿态信息可以理解为虚拟机器人在反馈答复语音内容时的动作以及姿态等,例如,虚拟机器人的应答姿态信息可以包括“点头”、“摇头”,“手指指路”、“弯腰”、以及各种“表情”。
例如,在一些具体的应用场景中,假设驾驶员在去往目的地A的途中,遇到一个岔路口,而此时导航指示又不太准确时,可以询问虚拟机器人“我往左边行进对吗?”,若虚拟机器人“点头”表示正确,即往左边行进可以去往目的地A,而若虚拟机器人“摇头”表示错误,那么此时往左边行进到不了目的地A,同时虚拟机器人可以在“摇头”的同时通过语音提示“您需要往右边行进”,并通过“手指”指向右边,驾驶员即可知道往右边行进可到达目的地A。
可选的,若驾驶员超速行驶或者是在一段时间内连续超速行驶,虚拟机器人可以通过表情“生气”提醒驾驶员不要超速,若驾驶员在斑马线前礼让行人,虚拟机器人可以通过表情“笑脸(可选的,可以是微笑、哈哈大笑等)”表扬驾驶员,以使得驾驶员在驾驶的过程中,可体验到驾驶的智慧性与舒适性,进而提升用户体验。
步骤S350:生成包括所述应答语音信息和所述应答姿态信息的目标显示模式。
可选的,目标显示模式的显示样式可以与虚拟机器人的应答语音信息的内容以及应答姿态信息的风格进行对应,例如,假设虚拟机器人的应答语音信息的内容为提醒驾驶员不要超速,则可以以“橙红色”、“蓝色”等比较醒目的颜色作为目标显示模式的显示样式。若虚拟机器人的应答姿态为“点头”,则可以一个“小女孩”的形象作为目标显示模式的显示样式,若虚拟机器人的应答姿态为“摇头”,则可以以一个“老太太”的形象作为目标显示模式的显示样式,可以增加驾驶的趣味性,避免驾驶员出现驾驶疲劳。
步骤S360:通过虚拟机器人在指定位置以所述目标显示模式应答显示与所述驾驶意图匹配的行车提示信息。
可选的,在生成了包括有虚拟机器人的应答语音信息和应答姿态信息的目标显示模式的情况下,可以通过虚拟机器人在指定位置以目标显示模式应答显示与驾驶意图匹配的行车提示信息。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而判断特征信息中包括的语音信息是否为预设语音信息,若该语音信息为预设的语音信息,则基于目标语言模型获取与语音信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。通过生成包括虚拟机器人的应答语音信息和应答姿态信息的目标显示模式,可以增加虚拟机器人的显示样式的丰富性,提升驾驶的趣味性。
第四实施例
请参阅图5,本申请再一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S410:获取驾驶过程中驾驶员的特征信息。
步骤S420:判断所述语音信息是否为预设语音信息。
步骤S430:若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
步骤S440:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
步骤S450:生成与所述语音信息对应的调节指令。
作为一种方式,若驾驶员的语音信息中包括对车辆内部硬件的调节,例如,“请把车内温度调高一点”,可以生成与驾驶员的语音信息对应的调节指令,以便于虚拟机器人可以根据该调节指令完成对应硬件的调控。
步骤S460:根据所述调节指令自动的调节行驶车辆的对应状态。
可选的,可以由虚拟机器人根据所生成的调节指令自动的调节行驶车辆的对应状态,例如,根据调节指令“把温度调高一点”调高行驶车辆的内部温度;根据调节指令“把座椅调低一点”调低行驶车辆的驾驶位的座椅高度;根据调节指令“把天窗打开”打开行驶车辆的天窗等,具体不一一例举。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而判断特征信息中包括的语音信息是否为预设语音信息,若该语音信息为预设的语音信息,则基于目标语言模型获取与语音信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。通过生成与驾驶员的语音信息对应的调节指令,以便于虚拟机器人可以根据该调节指令自动的调节行驶车辆的对应状态,提升了驾驶的智能性。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
第五实施例
请参阅图6,本申请再一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S510:获取驾驶过程中驾驶员的特征信息。
步骤S520:获取与所述特征信息对应的驾驶意图。
步骤S530:基于所述特征信息获取所述驾驶员的身份信息。
作为一种方式,在获取了驾驶员的特征信息之后,可以根据驾驶员的特征信息获取驾驶员的身份信息。可选的,驾驶员的身份信息可以包括驾驶员的姓名、年龄、身高、职业以及性别等内容,具体内容可以不做限定。可选的,在获取了当前驾驶员的身份信息之后,可以将该身份信息与该驾驶员的人脸信息进行对应存储,以便于当该驾驶员下一次驾驶该车辆时,可以直接获取驾驶员的身份信息。
例如,作为一种实施方式,可以根据驾驶员的语音信息获取驾驶员的声纹特征信息,根据驾驶员对应的视频图像信息获取驾驶员的人脸图像,将驾驶员的人脸图像以及声纹特征信息与录入有驾驶员身份信息的系统中,与驾驶员的身份信息对应的人脸信息以及声纹特征信息分别进行比对,进而获取驾驶员的身份信息。可选的,录入有驾驶员的身份信息的系统可以是公安系统,或者是支付系统等,可选的,在进行比对的过程中,虚拟机器人和录入有驾驶员的身份信息的系统需要遵循相关信息安全协议。
步骤S540:获取与所述身份信息对应的驾驶模式。
可选的,不同身份信息对应的驾驶员的驾驶习惯可以不同,例如,不同身高的驾驶员常用的座椅调节高度、方向盘的高度、后视镜的偏移角度等可以不同,在这种方式下,可以根据驾驶员的身份信息获取对应的驾驶模式,以便于可以自动的切换到对应的驾驶模式。
步骤S550:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;再基于特征信息获取驾驶员的身份信息,再获取与该身份信息对应的驾驶模式,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。通过获取驾驶员的身份信息以及与身份信息对应的驾驶模式,实现了个性化驾驶,进而提升驾驶的趣味性。
第六实施例
请参阅图7,本申请再一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S610:获取驾驶过程中驾驶员的特征信息。
步骤S620:获取与所述特征信息对应的驾驶意图。
步骤S630:获取与所述语音信息对应的声纹信息。
步骤S640:将所述声纹信息以及人脸信息与预设的声纹信息以及人脸信息进行比对,获得驾驶员的身份信息。
步骤S650:获取与所述身份信息对应的驾驶模式。
步骤S660:通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;再基于特征信息获取驾驶员的身份信息,再获取与该身份信息对应的驾驶模式,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。通过获取驾驶员的身份信息以及与身份信息对应的驾驶模式,实现了个性化驾驶,进而提升驾驶的趣味性。
第七实施例
请参阅图8,本申请再一实施例提供了一种显示行车提示信息的方法,可应用于电子设备,所述方法包括:
步骤S710:获取驾驶过程中驾驶员的特征信息。
可选的,本实施例中的特征信息可以包括驾驶员的语音信息以及驾驶员的驾驶姿态信息。其中,驾驶姿态信息可以包括驾驶员的脸部姿态(例如,是否闭眼或者闭眼频率等)以及动作姿态(例如,是前倾还是靠在座椅上等)。
步骤S720:基于所述语音信息以及驾驶姿态信息获取对应的驾驶意图。
作为一种方式,可以根据实际需要设置不同的语音信息以及驾驶姿态信息所对应的驾驶意图,例如面试驾驶员的语音信息为“还有多远才能达到目的地”,且驾驶员的驾驶姿态为“眨眼频率超过预设频率,坐姿不端正、靠在座椅上”等时,可以设置其对应的驾驶意图为“想要休息”。可选的,不同的语音信息所对应的驾驶意图可以不同,不同的驾驶姿态信息所对应的驾驶意图可以不同,可以结合语音信息以及驾驶姿态信息同时判断驾驶员的驾驶意图,以便可以实时获取驾驶员的驾驶意图,确保驾驶的安全性。
步骤S730:基于所述特征信息获取所述驾驶员的身份信息。
步骤S740:获取与所述身份信息对应的驾驶模式。
步骤S750:若所述驾驶姿态信息表征所述驾驶员的身份满足预设条件,通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
其中,预设条件可以为驾驶员的身份为车主,或者驾驶员的身份为车主的家庭成员。可选的,若驾驶员的身份为车主的家庭成员,可以将该家庭成员的身份信息预先进行存储,以便于可以快速识别出其家庭成员的身份。
可选的,在获取了驾驶员的语音信息以及驾驶员的驾驶姿态信息的情况下,可以根据驾驶员的语音的声纹、语速、音调等特征判断驾驶员的大致身份,例如,若驾驶员的身份为教师,那么驾驶员的语速可能较为平缓;若驾驶员的身份为销售员,那么驾驶员的语速可能较快、音调高,可选的,不同的职业(即身份)的语音特征可以存在差异。可以理解的是,若车被小偷偷盗了将会给用户带来较大的损失,作为一种方式,可以在获取了驾驶员的语音信息以及驾驶员的驾驶状态的情况下,先判断驾驶员的身份是否满足预设条件,具体的,可以判断驾驶员的语音信息以及驾驶员的驾驶状态与车主或车主的家庭成员的语音信息以及驾驶姿态信息分别匹配,那么可以判定驾驶员的身份满足预设条件。在驾驶员的身份信息满足预设条件之后,可以通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,以辅助驾驶员进行安全驾驶。
可选的,若驾驶姿态所表征的驾驶员的身份不满足预设条件,可以通过虚拟机器人发出警报并向车主的手机等电子设备发送报警信息,以减少车主的经济损失。
本实施例通过获取驾驶过程中驾驶员的特征信息;继而基于语音信息以及驾驶姿态信息获取对应的驾驶意图;再基于特征信息获取驾驶员的身份信息,再获取与该身份信息对应的驾驶模式,然后在驾驶姿态信息表征驾驶员的身份满足预设条件的情况下,通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的语音信息以及驾驶姿态信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。通过获取驾驶员的身份信息以及与身份信息对应的驾驶模式,实现了个性化驾驶,进而提升驾驶的趣味性。通过在驾驶姿态信息表征驾驶员的身份满足预设条件的情况下,才通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,提升了虚拟机器人显示行车提示信息的智能性,减小了经济损失的可能性。
第八实施例
请参阅图9,本申请实施例提供了一种显示行车提示信息的装置800,运行于电子设备,所述装置800包括:
第一获取模块810,用于获取驾驶过程中驾驶员的特征信息。
第二获取模块820,用于获取与所述特征信息对应的驾驶意图。
可选的,所述特征信息可以包括所述驾驶员的语音信息。作为一种方式,所述第二获取模块820具体可以用于若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
显示模块830,用于通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
可选的,显示模块830,具体可以用于:获取与所述语音信息对应的应答语音信息和应答姿态信息;生成包括所述应答语音信息和所述应答姿态信息的目标显示模式;通过虚拟机器人在指定位置以所述目标显示模式应答显示与所述驾驶意图匹配的行车提示信息。
可选的,装置800还可以包括指令生成模块以及状态调节模块,指令生成模块用于生成与所述语音信息对应的调节指令;状态调节模块用于根据所述调节指令自动的调节行驶车辆的对应状态。其中,指令生成模块的执行顺序可不作限定,例如,可以在显示模块830显示行车提示信息之前执行,也可以在显示模块830显示行车提示信息之后执行。
可选的,所述装置还可以包括身份信息获取模块以及驾驶模式获取模块,其中,身份信息获取模块可以用于基于所述特征信息获取所述驾驶员的身份信息,驾驶模式获取模块可以用于获取与所述身份信息对应的驾驶模式。可选的,在这种方式下,显示模块830,具体可以用于通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
可选的,所述特征信息可以包括驾驶员的语音信息和人脸信息。上述身份信息获取模块具体可以用于获取与所述语音信息对应的声纹信息;将所述声纹信息以及人脸信息与预设的声纹信息以及人脸信息进行比对,获得驾驶员的身份信息。
本申请提供的一种显示行车提示信息的装置,通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图10对本申请提供的一种电子设备进行说明。
请参阅图10,基于上述的显示行车提示信息的方法、装置,本申请实施例还提供的另一种可以执行前述显示行车提示信息的方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器104以及存储器106。其中,该存储器106中存储有可以执行前述实施例中内容的程序,而处理器104可以执行该存储器106中存储的程序,存储器106包括前述实施例中所描述的装置800。
其中,处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器106内的指令、程序、代码集或指令集,以及调用存储在存储器106内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器104可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit,CPU)、视频图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器104中,单独通过一块通信芯片进行实现。
存储器106可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器106可用于存储指令、程序、代码、代码集或指令集。存储器106可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质900中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。
本申请提供的一种显示行车提示信息的方法、装置、电子设备以及存储介质,通过获取驾驶过程中驾驶员的特征信息;继而获取与特征信息对应的驾驶意图;然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息。从而通过上述方式实现了通过驾驶员的特征信息确定驾驶意图,然后通过虚拟机器人在指定位置以对应的显示模式显示与驾驶意图匹配的行车提示信息,使得用户可以不需要过多的操作物理按键而体验到驾驶的舒适性,进而提升用户体验。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种显示行车提示信息的方法,其特征在于,所述方法包括:
获取驾驶过程中驾驶员的特征信息;
获取与所述特征信息对应的驾驶意图;
通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
2.根据权利要求1所述的方法,其特征在于,所述特征信息包括所述驾驶员的语音信息,所述获取与所述特征信息对应的驾驶意图,包括:
若所述语音信息为预设语音信息,基于目标语言模型获取与所述语音信息对应的驾驶意图。
3.根据权利要求2所述的方法,其特征在于,所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息,包括:
获取与所述语音信息对应的应答语音信息和应答姿态信息;
生成包括所述应答语音信息和所述应答姿态信息的目标显示模式;
通过虚拟机器人在指定位置以所述目标显示模式应答显示与所述驾驶意图匹配的行车提示信息。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
生成与所述语音信息对应的调节指令;
根据所述调节指令自动的调节行驶车辆的对应状态。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
基于所述特征信息获取所述驾驶员的身份信息;
获取与所述身份信息对应的驾驶模式;
所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息,包括:
通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
6.根据权利要求5所述的方法,其特征在于,所述特征信息包括驾驶员的语音信息和人脸信息,所述基于所述特征信息获取驾驶员的身份信息,包括:
获取与所述语音信息对应的声纹信息;
将所述声纹信息以及人脸信息与预设的声纹信息以及人脸信息进行比对,获得驾驶员的身份信息。
7.根据权利要求5所述的方法,其特征在于,所述特征信息包括所述驾驶员的语音信息以及驾驶姿态信息,所述获取与所述特征信息对应的驾驶意图,包括:
基于所述语音信息以及驾驶姿态信息获取对应的驾驶意图;
所述通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息,包括:
若所述驾驶姿态信息表征所述驾驶员的身份满足预设条件,通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶模式匹配的行车提示信息。
8.一种显示行车提示信息的装置,其特征在于,所述装置包括:
第一获取模块,用于获取驾驶过程中驾驶员的特征信息;
第二获取模块,用于获取与所述特征信息对应的驾驶意图;
显示模块,用于通过虚拟机器人在指定位置以对应的显示模式显示与所述驾驶意图匹配的行车提示信息。
9.一种电子设备,其特征在于,包括存储器;
一个或多个处理器;
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码由处理器运行时执行权利要求1-6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010403546.7A CN111696548A (zh) | 2020-05-13 | 2020-05-13 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010403546.7A CN111696548A (zh) | 2020-05-13 | 2020-05-13 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111696548A true CN111696548A (zh) | 2020-09-22 |
Family
ID=72477244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010403546.7A Pending CN111696548A (zh) | 2020-05-13 | 2020-05-13 | 显示行车提示信息的方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111696548A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022241948A1 (zh) * | 2021-05-18 | 2022-11-24 | 上海擎感智能科技有限公司 | 车载显示屏的显示控制方法、系统、电子设备及存储介质 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104428766A (zh) * | 2012-07-03 | 2015-03-18 | 三菱电机株式会社 | 语音识别装置 |
CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
US20170235361A1 (en) * | 2016-01-20 | 2017-08-17 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Interaction based on capturing user intent via eye gaze |
CN108657186A (zh) * | 2018-05-08 | 2018-10-16 | 奇瑞汽车股份有限公司 | 智能驾驶舱交互方法和装置 |
CN109017559A (zh) * | 2018-06-29 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 生成提示信息的方法和装置 |
CN109080567A (zh) * | 2018-08-21 | 2018-12-25 | 上海博泰悦臻电子设备制造有限公司 | 基于声纹识别的车辆控制方法与云端服务器 |
CN109785840A (zh) * | 2019-03-05 | 2019-05-21 | 湖北亿咖通科技有限公司 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
CN109941231A (zh) * | 2019-02-21 | 2019-06-28 | 初速度(苏州)科技有限公司 | 车载终端设备、车载交互系统和交互方法 |
CN110103989A (zh) * | 2019-05-17 | 2019-08-09 | 爱驰汽车有限公司 | 自动驾驶主动式交互车载系统、方法、设备及存储介质 |
CN110171372A (zh) * | 2019-05-27 | 2019-08-27 | 广州小鹏汽车科技有限公司 | 车载终端的界面显示方法、装置及车辆 |
CN110390932A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 基于人脸识别的语音处理方法及其设备 |
CN110400563A (zh) * | 2019-07-18 | 2019-11-01 | 平安科技(深圳)有限公司 | 车载语音指令识别方法、装置、计算机设备及存储介质 |
CN110654394A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 驾驶控制系统和方法以及车辆 |
CN110727346A (zh) * | 2019-09-24 | 2020-01-24 | 中国第一汽车股份有限公司 | 一种人机交互方法、装置、车辆及存储介质 |
CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
CN110877586A (zh) * | 2018-09-06 | 2020-03-13 | 奥迪股份公司 | 用于操作机动车辆的虚拟助手的方法和相应的后端系统 |
CN110956967A (zh) * | 2018-09-27 | 2020-04-03 | 上海博泰悦臻网络技术服务有限公司 | 基于声纹识别的车辆控制方法与车辆 |
CN111124123A (zh) * | 2019-12-24 | 2020-05-08 | 苏州思必驰信息科技有限公司 | 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统 |
-
2020
- 2020-05-13 CN CN202010403546.7A patent/CN111696548A/zh active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104428766A (zh) * | 2012-07-03 | 2015-03-18 | 三菱电机株式会社 | 语音识别装置 |
CN105527710A (zh) * | 2016-01-08 | 2016-04-27 | 北京乐驾科技有限公司 | 一种智能抬头显示系统 |
US20170235361A1 (en) * | 2016-01-20 | 2017-08-17 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Interaction based on capturing user intent via eye gaze |
CN110390932A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 基于人脸识别的语音处理方法及其设备 |
CN108657186A (zh) * | 2018-05-08 | 2018-10-16 | 奇瑞汽车股份有限公司 | 智能驾驶舱交互方法和装置 |
CN110654394A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 驾驶控制系统和方法以及车辆 |
CN109017559A (zh) * | 2018-06-29 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 生成提示信息的方法和装置 |
CN109080567A (zh) * | 2018-08-21 | 2018-12-25 | 上海博泰悦臻电子设备制造有限公司 | 基于声纹识别的车辆控制方法与云端服务器 |
CN110877586A (zh) * | 2018-09-06 | 2020-03-13 | 奥迪股份公司 | 用于操作机动车辆的虚拟助手的方法和相应的后端系统 |
CN110956967A (zh) * | 2018-09-27 | 2020-04-03 | 上海博泰悦臻网络技术服务有限公司 | 基于声纹识别的车辆控制方法与车辆 |
CN109941231A (zh) * | 2019-02-21 | 2019-06-28 | 初速度(苏州)科技有限公司 | 车载终端设备、车载交互系统和交互方法 |
CN109785840A (zh) * | 2019-03-05 | 2019-05-21 | 湖北亿咖通科技有限公司 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
CN110103989A (zh) * | 2019-05-17 | 2019-08-09 | 爱驰汽车有限公司 | 自动驾驶主动式交互车载系统、方法、设备及存储介质 |
CN110171372A (zh) * | 2019-05-27 | 2019-08-27 | 广州小鹏汽车科技有限公司 | 车载终端的界面显示方法、装置及车辆 |
CN110400563A (zh) * | 2019-07-18 | 2019-11-01 | 平安科技(深圳)有限公司 | 车载语音指令识别方法、装置、计算机设备及存储介质 |
CN110727346A (zh) * | 2019-09-24 | 2020-01-24 | 中国第一汽车股份有限公司 | 一种人机交互方法、装置、车辆及存储介质 |
CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
CN111124123A (zh) * | 2019-12-24 | 2020-05-08 | 苏州思必驰信息科技有限公司 | 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022241948A1 (zh) * | 2021-05-18 | 2022-11-24 | 上海擎感智能科技有限公司 | 车载显示屏的显示控制方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220189093A1 (en) | Interaction based on in-vehicle digital persons | |
CN113302664B (zh) | 运载工具的多模态用户接口 | |
JP7340940B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111418198B (zh) | 提供文本相关图像的电子装置及其操作方法 | |
CN111045639B (zh) | 语音输入方法、装置、电子设备及存储介质 | |
KR102474245B1 (ko) | 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법 | |
CN112750186B (zh) | 虚拟形象切换方法、装置、电子设备及存储介质 | |
CN110737335B (zh) | 机器人的交互方法、装置、电子设备及存储介质 | |
US11468247B2 (en) | Artificial intelligence apparatus for learning natural language understanding models | |
CN112837407A (zh) | 一种智能座舱全息投影系统及其交互方法 | |
CN112840313A (zh) | 电子设备及其控制方法 | |
CN115291724A (zh) | 人机交互的方法、装置、存储介质和电子设备 | |
CN111667333A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111696548A (zh) | 显示行车提示信息的方法、装置、电子设备以及存储介质 | |
WO2023159536A1 (zh) | 人机交互方法、装置以及终端设备 | |
US11922538B2 (en) | Apparatus for generating emojis, vehicle, and method for generating emojis | |
CN112951216B (zh) | 一种车载语音处理方法及车载信息娱乐系统 | |
WO2021196751A1 (zh) | 基于数字人的车舱交互方法、装置及车辆 | |
CN116204253A (zh) | 一种语音助手显示方法及相关装置 | |
CN115841687A (zh) | 虚拟人物形象的生成方法及装置、电子设备及存储介质 | |
CN111971670B (zh) | 在对话中生成响应 | |
WO2024195570A1 (ja) | 行動制御システム、情報提示システム、プログラム及びロボット | |
JP2024152709A (ja) | 行動制御システム | |
CN118587336A (zh) | 一种交互式语音助手动画生成方法、系统、设备及介质 | |
JP2024152708A (ja) | 行動制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |