CN113844385A - 车载人机交互系统 - Google Patents
车载人机交互系统 Download PDFInfo
- Publication number
- CN113844385A CN113844385A CN202111032792.7A CN202111032792A CN113844385A CN 113844385 A CN113844385 A CN 113844385A CN 202111032792 A CN202111032792 A CN 202111032792A CN 113844385 A CN113844385 A CN 113844385A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- person
- wake
- board
- outside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
- H04R9/02—Details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
- H04R9/06—Loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种车载人机交互系统。该车载人机交互系统包括:电磁感应发声模块,所述电磁感应发声模块的一端贴合作为车辆外表面的车身面板的内侧,另一端固定在车身上;唤醒子系统,所述唤醒子系统用于基于车外对象的语音、动作和图像中的至少一项唤醒车载控制器以开启人机交互功能;以及车载控制器,所述车载控制器被配置为在被所述唤醒子系统唤醒以开启人机交互功能之后,向所述电磁感应发声模块输出音频信号,以使得所述电磁感应发声模块在所述音频信号的激励下产生电磁力带动所述车身面板振动,从而向所述车辆的外部发送语音。
Description
技术领域
本发明概括而言涉及车辆控制领域,更具体地,涉及一种车载人机交互系统。
背景技术
当前,汽车产业正呈现出电气化、网联化、共享化和智能化的发展趋势,这对车辆的驾驶方式、用户交互体验、车辆使用模式等方面都提出了新的技术需求,迫切需要对当前的车辆系统的技术改进以满足这些需求。
当前车辆的人机交互通常侧重于车内人员(如驾驶员或者乘客)与车载控制终端的交互,例如车载控制终端接收车内人员的语音指令以执行相应的操作(如播放音乐、开启空调等)。车外人员与车辆的交互目前仍仅仅局限于诸如驾驶员之类的车辆用户通过智能钥匙开启或关闭车辆或者通过手机客户端等在车外对车辆或车辆的一部分进行开启、关闭等简单控制,目前尚没有适用性更强的满足车外人员与车辆(或者进一步地与车内人员或远程的其他人员)进行交互的车载人机交互系统。
随着车辆智能化要求的提高,出现了越来越多的需要车外人员与车辆进行人机交互的应用场景。在很多情况下,车辆或者车内人员希望通过语音的方式向车外人员发送提示或提醒消息等。例如,由于电动汽车的噪音非常小,路上的行人或骑行人员很难仅凭声音注意到车辆的靠近,在这种情况下,车辆需要主动向行人或骑行人员发出提示声音。或者,在车辆想要礼让人行横道边的行人时,也想要通过语音主动向行人发出提醒。
然而,由于当前的车辆完全没有设计能够允许车辆与车外人员进行交互的软硬件设施,也就无法满足上述需求。
发明内容
针对上述问题,本发明提供了一种车载人机交互系统,其中通过在车辆上安装电磁感应发声模块来实现车辆或车内人员与车外人员的语音交互。
根据本发明的一个方面,提供了一种车载人机交互系统。该车载人机交互系统包括:电磁感应发声模块,所述电磁感应发声模块的一端贴合作为车辆外表面的车身面板的内侧,另一端固定在车身上;唤醒子系统,所述唤醒子系统用于基于车外对象的语音、动作和图像中的至少一项唤醒车载控制器以开启人机交互功能;以及车载控制器,所述车载控制器被配置为在被所述唤醒子系统唤醒以开启人机交互功能之后,向所述电磁感应发声模块输出音频信号,以使得所述电磁感应发声模块在所述音频信号的激励下产生电磁力带动所述车身面板振动,从而向所述车辆的外部发送语音。
在一些实施例中,所述电磁感应发声模块包括:T铁,所述T铁包括圆形平板状端部和从所述端部的中心向上凸出的销部;圆柱状永磁体,所述永磁体设置在所述T铁的端部上方且不接触所述T铁;以及音圈,所述音圈插入在所述销部和所述永磁体之间的空腔中,并且在所述音频信号的交流电流的激励下产生交变磁场,所述交变磁场和所述永磁体的磁场叠加产生垂直于所述交流电流的电磁力,以带动所述T铁相对于所述音圈往复运动。
在一些实施例中,所述电磁感应发声模块还包括:外壳,所述外壳的两端为刚性,其中第一端固定有所述音圈并且固定在车内支撑支架上,第二端固定有所述T铁并且固定在所述车身面板的内侧。
在一些实施例中,所述外壳还包括:柔性侧壁;或者分别与所述外壳的两端相连的分离的两个侧壁。
在一些实施例中,所述电磁感应发声模块还包括:弹簧和与所述弹簧相连的夹板,所述弹簧的一端固定在所述外壳的第一端,另一端与所述夹板相连并对准所述永磁体。
在一些实施例中,所述系统还包括:外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收所述车外对象的语音输入,并且所述车载控制器还被配置为通过所述车辆的内置扬声器将所述车外对象的语音输入播放给车内人员,或者对所述车外对象的语音输入进行语义分析,并且基于语义分析的结果对所述车辆执行控制。
在一些实施例中,所述唤醒子系统包括:感知部件,所述感知部件设置在所述车辆外侧,其被配置为感测所述车外对象的语音、动作和图像中的至少一种;以及唤醒处理器,其被配置为确定所感测的语音、动作和图像中的至少一项是否满足预定的唤醒条件,并且在确定满足所述预定的唤醒条件时唤醒所述车载控制器以开启人机交互功能。
在一些实施例中,所述感知部件包括:震动感应器,所述震动感应器设置在所述车身面板或者车辆玻璃上,其被配置为感测所述车外人员对所述车身面板或者车辆玻璃的敲击;并且所述唤醒处理器被配置为确定所述敲击是否满足预定的敲击条件,并且在确定所述敲击满足所述预定的敲击条件时唤醒所述车载控制器。
在一些实施例中,所述感知部件包括:传感器,所述传感器设置在所述车身面板外侧,其被配置为感测所述车外对象与所述车身面板的距离;并且所述唤醒处理器被配置为确定所述距离是否满足预定的距离阈值,并且在确定所述距离满足所述预定的距离阈值时唤醒所述车载控制器。
在一些实施例中,所述车载人机交互系统还包括:外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的图像;并且所述车载控制器还被配置为在被所述唤醒处理器唤醒之后,基于所述车外人员的图像确定所述车外人员的身份,并且在确定所述车外人员的身份是预定人员时执行车辆控制操作。
在一些实施例中,所述车载控制器被配置为执行车辆控制操作包括:通过车载移动通信模块建立与远程车主的通信连接,以使得所述远程车主通过所述通信连接查看所述车外对象或与所述车外人员进行视频通信。
在一些实施例中,所述车载人机交互系统还包括:外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收车外人员的语音输入;并且所述车载控制器还被配置为在被所述唤醒处理器唤醒之后,基于所述车外人员的语音输入执行车辆控制操作。
在一些实施例中,所述车载控制器被配置为执行车辆控制操作包括:通过车载移动通信模块建立与远程车主的通信连接,以使得所述车外人员通过所述通信连接与所述远程车主进行语音通话。
在一些实施例中,所述感知部件包括:外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的图像;并且所述唤醒处理器被配置为基于所述车外人员的图像确定所述车外人员的身份,并且在确定所述车外人员的身份是预定人员时唤醒所述车载控制器。
在一些实施例中,所述感知部件包括:外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的一个或多个图像;并且所述唤醒处理器被配置为基于所述车外人员的一个或多个图像确定所述车外人员的手势,并且在确定所述车外人员的手势符合预定手势时唤醒所述车载控制器。
在一些实施例中,所述感知部件包括:外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收所述车外人员的语音输入;并且所述唤醒处理器被配置为确定所述车外人员的语音输入是否符合预定的唤醒词或者基于所述车外人员的语音输入确定所述车外人员的身份是否符合预定人员,并且在确定所述车外人员的语音输入符合所述预定的唤醒词或者基于所述车外人员的语音输入确定所述车外人员的身份符合所述预定人员时,唤醒所述车载控制器。
附图说明
通过参考下列附图所给出的本发明的具体实施方式的描述,将更好地理解本发明,并且本发明的其他目的、细节、特点和优点将变得更加显而易见。
图1示出了根据本发明的实施例的示例性车载人机交互系统的结构示意图。
图2示出了安装有该车载人机交互系统的车辆的侧视图。
图3A示出了根据本发明的一些实施例的电磁感应发声模块的结构示意图。
图3B示出了图3A的电磁感应发声模块沿着A-A'的横截面示意图。
图4示出了根据本发明的一些实施例的电磁感应发声模块与车辆的安装示意图。
图5示出了适合实现本公开的实施例的控制设备的方框图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本发明更加透彻和完整,并且能够将本发明的范围完整的传达给本领域的技术人员。
在下文的描述中,出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是,相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下,与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要,在整个说明书和权利要求中,词语“包括”和其变型,诸如“包含”和“具有”应被理解为开放的、包含的含义,即应解释为“包括,但不限于”。
在整个说明书中对“一个实施例”或“一些实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此,在整个说明书的各个位置“在一个实施例中”或“在一些实施例”中的出现不一定全都指相同实施例。另外,特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
此外,说明书和权利要求中所用的第一、第二、第三等术语,仅仅出于描述清楚起见来区分各个对象,而并不限定其所描述的对象的大小或其他顺序等,除非另有说明。
图1示出了根据本发明的实施例的示例性车载人机交互系统100的结构示意图,图2示出了安装有该车载人机交互系统100的车辆200的侧视图。
如图1和图2中所示,车载人机交互系统100包括一个或多个电磁感应发声模块110(图1中示意性地示出了1个电磁感应发声模块110),每个电磁感应发声模块110可以设置在作为车辆200外表面的车身面板210的内侧。具体地,电磁感应发声模块110的一端贴合车身面板210的内侧,另一端固定在车身上,如下面结合图4所示。如图2中所示,电磁感应发声模块110可以设置在车辆200的前侧212、前门214、后门216、后侧218等处中的任意一处或多处,并且在一些情况下,电磁感应发声模块110可以对称地设置在车辆200的两侧。或者,电磁感应发声模块110可以设置在车辆200的车前盖的背面(内侧)等。
车载人机交互系统100还包括唤醒子系统130和车载控制器140,其中唤醒子系统130用于基于车外对象的语音、动作和图像中的至少一项来唤醒车载控制器140以开启人机交互功能。这里,车外对象可以包括车外人员或者车外物体(如另一车辆或者障碍物等)。
车载控制器140被配置为在被唤醒子系统130唤醒以开启人机交互功能之后,向电磁感应发声模块110输出音频信号,以使得电磁感应发声模块110在该音频信号的激励下产生电磁力带动车身面板210振动,从而向车辆200的外部发送语音。
图3A示出了根据本发明的一些实施例的电磁感应发声模块110的结构示意图,图3B示出了图3A的电磁感应发声模块110沿着A-A'的横截面示意图。如图3A和3B中所示,电磁感应发声模块110包括T铁112。T铁112包括圆形平板状端部1122和从端部1122的中心向上凸出的销部1124。T铁112也称为电工铁,其是一种导磁体,例如可以由低碳钢制成。在通电的情况下,T铁112可以导磁,并且在断电后磁场消失,即没有剩磁。
电磁感应发声模块110还包括圆柱状永磁体114,永磁体114设置在T铁112的端部1122上方且不接触T铁112。永磁体114也称为磁钢,通常由强磁性材料制成,如钕铁、锶磁等。
电磁感应发声模块110还包括音圈116,音圈116插入在销部1124和永磁体114之间的空腔中,例如音圈116可以与销部1124和永磁体114共圆心(如图3B所示)。在来自音频源(如车载控制器140)的音频信号的交流电流的激励下,音圈116能够产生交变磁场。该交变磁场和永磁体114的磁场叠加产生垂直于该交流电流的电磁力,以带动T铁112相对于音圈116往复运动。在T铁112往复运动时,其将带动车身面板210振动,从而向车辆200外部发送语音。在一些实施例中,如图3A中所示,音圈116和T铁112可以分别位于电磁感应发声模块110的两端,并且音圈116与车身(如车辆支架)紧固连接,T铁112与车身面板210的内侧紧固连接。
在一些实施例中,电磁感应发声模块110还包括外壳120,其围绕T铁112、永磁体114和音圈116。一方面,外壳120用于保护T铁112、永磁体114和音圈116免受污染或干扰,另一方面,外壳120可以用于将电磁感应发声模块110与车辆200固定,如下面结合图4所示。
图4示出了根据本发明的一些实施例的电磁感应发声模块110与车辆200的安装示意图。如图4中所示,电磁感应发声模块110的外壳120的两端可以为刚性的。其中第一端122固定有音圈116并且固定在车内支撑支架220上,第二端124固定有T铁112并且固定在车身面板210的内侧。例如,第一端122可以通过第一紧固件1222与车内支撑支架220相连,第二端124可以通过第二紧固件1242与车身面板210相连。车内支撑支架220进一步与车辆200的车身结构相连,以将电磁感应发声模块110安装在车身上。
此外,外壳120还包括柔性侧壁126,其例如由柔性塑料或柔性金属制成。柔性侧壁126使得T铁112能够在电磁力的作用下往复运动。
在另一些实施例中,侧壁可以是两段式的,即外壳120包括分别与第一端122和第二端124相连的分离的两个侧壁。在这种情况下,对侧壁的材料没有限制,然而无法保护T铁112、永磁体114和音圈116免受污染。
如图3A中所示,电磁感应发声模块110还可以包括弹簧118和与弹簧118相连的夹板128,其中弹簧118的一端固定在外壳120的第一端112,另一端与夹板128相连并对准永磁体114。弹簧118通常是倔强系数较大的硬弹簧,以保持T铁112与音圈116的相对位置。
在电磁感应发声模块110处于工作状态时,车载控制器140可以控制该电磁感应发声模块110发出各种提醒语音,如提醒车辆200通过的语音、提醒车外人员遗忘物品的语音(例如车外人员是刚刚下车的情况下)、提醒天气情况或安全须知的语音等。
在实际应用场景下,电磁感应发声模块110有可能不总是处于工作状态。在车内人员主动想要对外发送语音的情况下,其可以通过主动操纵车载控制器140来通过电磁感应发声模块110发出声音,如发出语音提醒或者播放音乐等。然而,在车外人员想要与车辆或车内人员交互的情况下,或者车外对象是诸如另一车辆之类的物体的情况下,车载人机交互系统100可以通过唤醒子系统130基于车外对象的语音、动作和图像中的至少一项来唤醒车载控制器140以开启人机交互功能。为此,唤醒子系统130可以包括感知部件132和唤醒处理器134,其中感知部件132设置在车辆200外侧,用于感测车外对象的语音、动作和图像中的至少一种,唤醒处理器134用于确定所感测的语音、动作和图像中的至少一项是否满足预定的唤醒条件,并且在确定满足预定的唤醒条件时唤醒车载控制器140以开启人机交互功能。
在一些实施例中,感知部件132可以包括一个或多个震动感应器1322,其可以设置在车身面板210外侧(如靠近前窗玻璃处)或者车辆玻璃230上(如图2中所示)。震动感应器1322被配置为感测车外人员对车身面板210或者车辆玻璃230的敲击。在这种情况下,唤醒处理器134被配置为确定震动感应器1322感测的敲击是否满足预定的敲击条件,并且在确定满足预定的敲击条件时唤醒车载控制器140以开启人机交互功能。例如,该预定的敲击条件可以包括预定的连续敲击次数(如2次或3次)。唤醒处理器134可以在确定震动感应器1322感测的敲击的次数达到该预定的连续敲击次数时,确定满足预定的敲击条件。通过这种方式,唤醒子系统130可以通过车外人员有意的敲击行为而容易地理解车外人员希望与车辆200进行交互的意图,从而控制车载控制器140开启人机交互功能。
这里,进一步地,唤醒处理器134在确定是否满足预定的敲击条件时还可以过滤掉强度低于预定阈值的敲击。通过这种方式,唤醒子系统130可以识别出有效的敲击而过滤掉无效的或者无意的敲击。
在另一些实施例中,感知部件132可以包括一个或多个传感器1324,其可以设置在车身面板210外侧(如图2中所示)。传感器1324被配置为感测车外对象与车身面板210之间的距离。例如,传感器1324可以是诸如红外近距传感器之类的生物感知传感器或者是诸如近距超声波传感器或者UWB(超宽带)传感器之类的传感器,其可以感测到车外人员或者其他车外对象并且确定这些车外对象与车辆200之间的距离。在这种情况下,唤醒处理器134被配置为确定生物感知传感器1324感测的距离是否满足预定的距离阈值,并且在确定满足该预定的距离阈值时唤醒车载控制器140以开启人机交互功能。例如,该预定的距离阈值可以是一个小于常规安全距离的距离,并且取决于感测对象(即车外是人员还是其他物体)而有不同的值或者范围。例如,在车外对象是人员的情况下,该距离阈值可以是0.2米至0.5米范围内的一个值,在车外对象是其他车辆的情况下,该距离阈值可以是5米至10米范围内的一个值等。在这种情况下,唤醒处理器134可以在确定传感器1324感测的距离小于该距离阈值时,确定满足预定的唤醒条件。通过这种方式,唤醒子系统130可以通过车外人员明显过于靠近车辆200的行为容易地理解车外人员希望与车辆200进行交互的意图,从而控制车载控制器140开启人机交互功能。或者,唤醒子系统130可以在其他车辆过于靠近车辆200时向其他车辆主动发出语音提醒,以提醒该另一车辆注意车距。
在另一些实施例中,感知部件132可以包括一个或多个外置摄像头1326,其可以设置在车身面板210外侧,例如可以设置在车辆200的前窗玻璃附近(例如车辆200的B柱上方),如图2中所示。外置摄像头1326被配置为拍摄车外人员的图像。在这种情况下,唤醒处理器134被配置为基于车外人员的图像确定车外人员的身份,并且在确定车外人员的身份是预定人员时唤醒车载控制器140以开启人机交互功能。例如,在车辆200是家庭使用的车辆的情况下,唤醒处理器134中可以预先存储有车辆200的允许用户(如该家庭的成员)的图像,并且通过将外置摄像头1326获得的车外人员的图像与预先存储的允许用户的图像进行比较以确定该车外人员是否属于允许用户。或者,在车辆200是无人驾驶共享或出租车辆的情况下,唤醒处理器134可以经由车载控制器140或其他车载终端获取预定该车辆的用户的图像,并且通过将外置摄像头1326获得的车外人员的图像与预先获取的预定该车辆的用户的图像进行比较以确定该车外人员是否属于预定该车辆的用户。通过这种方式,唤醒子系统130可以通过车外人员的图像容易地确定该车外人员可能是要与车辆200进行交互的人员,从而控制车载控制器140开启人机交互功能。在这种情况下,车载控制器140可以通过电磁感应发声模块110向车外人员播放欢迎音乐或语音,或者可以发送其他语音,例如要求车外人员提供特定的使用凭证(如预定该车辆200时预定平台向其发送的验证码等),以与车外人员进行进一步的交互。
在另一些实施例中,唤醒处理器134可以基于外置摄像头1326获取的一个或多个图像确定车外人员的手势,并且在确定车外人员的手势符合预定手势时唤醒车载控制器140以开启人机交互功能。例如,该预定手势可以是挥手动作。在这种情况下,唤醒处理器134可以基于这些图像确定车外人员是否在朝着车辆200挥手,并且在确定车外人员在朝着车辆200挥手时,唤醒车载控制器140。通过这种方式,唤醒子系统130可以通过车外人员的图像容易地确定该车外人员要与车辆200进行交互的意图,从而控制车载控制器140开启人机交互功能。例如,在车辆200是无人驾驶出租车的情况下,唤醒子系统130可以通过车外人员的挥手动作容易地确定该车外人员想要乘坐车辆200,并且可以开启人机交互功能以通过语音进一步与车外人员确认其乘坐意图或者进行其他身份验证操作等。
在另一些实施例中,感知部件132可以包括一个或多个外置麦克风1328,其可以设置在车身面板210外侧(如图2中所示)。外置麦克风1328被配置为接收车外人员的语音输入。在这种情况下,唤醒处理器134被配置为确定车外人员的语音输入是否符合预定的唤醒词或者基于车外人员的语音输入确定车外人员的身份是否符合预定人员,并且在确定车外人员的语音输入符合预定的唤醒词或者基于车外人员的语音输入确定车外人员的身份符合预定人员时,唤醒车载控制器140以开启人机交互功能。例如,在车辆200是出租车的情况下,唤醒词可以包括“出租车”或者“taxi”等。在这种情况下,唤醒处理器134可以确定外置麦克风1328接收的语音输入是否符合该唤醒词,并且在符合该唤醒词的情况下,唤醒车载控制器140以开启人机交互功能。或者,在车辆200是家庭使用的车辆的情况下,唤醒处理器134中可以预先存储有车辆200的允许用户(如该家庭的成员)的声纹,并且通过将分析外置麦克风1328接收的语音输入所获得的车外人员的声纹与预先存储的允许用户的声纹进行比较以确定该车外人员是否属于允许用户。通过这种方式,唤醒子系统130可以通过车外人员的声音容易地确定该车外人员可能是要与车辆200进行交互的人员,从而控制车载控制器140开启人机交互功能。在这种情况下,车载控制器140可以通过电磁感应发声模块110向车外人员播放欢迎音乐或语音,或者可以发送其他语音,例如要求车外人员提供特定的使用凭证(如预定该车辆200时预定平台向其发送的验证码等),以与车外人员进行进一步的交互。
此外,外置麦克风1328还可以用于主动接收车外人员的语音输入并且车载控制器140被配置为通过车辆200的内置扬声器(如图1中所示的与车载控制器140相连的内置扬声器152)将接收的语音播放给车内人员。通过这种方式,可以实现车内人员与车外人员的语音透传,从而实现车内人员与车外人员的语音交互。
或者,在一些实施例中,外置麦克风1328可以对车外人员的语音输入进行语义分析,并且基于语义分析的结果对车辆200执行控制。例如,在车外人员是车辆200的允许用户的情况下(其可以通过上述图像或声纹方式或者其他方式来判断)并且输入的语音是“后备箱”的情况下,车载控制器140可以对该语音输入进行语义分析,结合当前的后备箱状态(即后备箱是关闭还是打开),确定语义分析的结果是打开还是关闭后备箱(例如在当前后备箱关闭的情况下确定语义分析的结果是打开后备箱,在当前后备箱打开的情况下确定语义分析的结果是关闭后备箱)。在这种情况下,车载控制器140可以根据语义分析的结果对车辆200进行控制,如关闭或者打开后备箱。
在一些实施例中,作为车载人机交互系统100的一部分,还可以在外置麦克风1328周围为外置麦克风1328配置提示装置(图中未示出),如提示灯。该提示装置在车载控制器140开启人机交互功能时被激活,以提示车外人员该外置麦克风1328的位置从而使得车外人员可以通过外置麦克风1328与车辆200或车内人员进行交互。
进一步地,在一些实施例中,车载控制器140可以基于所识别出的车外人员的身份执行不同的控制操作。具体地,唤醒处理器134和/或车载控制器140可以进一步确定与车外人员的身份相对应的权限,并且车载控制器140可以基于该权限对车辆200执行不同的控制操作。例如,在所识别出的车外人员的身份是车主或者车主授权的驾驶员的情况下,车载控制器140可以确定该车外人员具有最高权限,并且可以根据车外人员输入的语音控制车辆200的各种操作,如打开/关闭车门、后备箱、前舱盖、充电口、加油口等等,并且可以根据车外人员的请求提供各种信息,如车辆200的油量、电量、天气信息等。在所识别出的车外人员的身份是车主未授权的驾驶员的情况下,车载控制器140还可以进一步联系车主(例如通过车辆客服中心或者通过专用app)以向车主进一步确认是否对该车外人员进行授权,并且在车主对该车外人员授权的情况下给予该车外人员如上所述的最高权限。另一方面,在所识别出的车外人员的身份是车主授权的乘客的情况下,车载控制器140可以确定该车外人员具有一般权限,并且可以根据车外人员输入的语音控制车辆200的各种一般操作,如打开/关闭车门、后备箱等,并且可以根据车外人员的请求提供一般信息,如天气信息等。
可选地,在一些实施例中,车载控制器140可以在被唤醒子系统130唤醒之后执行与车外人员的语音通话操作,而无需识别车外人员的身份。具体地,在被车外人员的敲击唤醒的情况下,车载控制器140可以开启人机交互功能以接收车外人员的语音输入。在一些情况下,车载控制器140可以直接分析该语音输入并且对车辆200执行对应的控制操作。替换地或附加地,车载控制器140可以建立与远程车主的语音连接,从而车外人员可以通过该语音连接与远程车主进行通话。
在上述描述中,将车载控制器140和唤醒处理器134单独描述,然而本领域技术人员可以理解,本发明并不局限于此,唤醒处理器134也可以实现为车载控制器140的一部分。
此外,在上述描述中,将震动感应器1322、传感器1324、外置摄像头1326和外置麦克风1328等描述为感知部件132的单独的实现方式,然而本领域技术人员可以理解,本发明并不局限于此,感知部件132可以包括震动感应器1322、传感器1324、外置摄像头1326和外置麦克风1328中的任意一种或多种。在一些情况下,感知部件132可以仅包括震动感应器1322和/或传感器1324来唤醒车载控制器140。对此,车载人机交互系统100仍然可以包括外置摄像头和/或外置麦克风用作支持进一步的人机交互功能的硬件设备。为了便于描述起见,仍然使用上述相同的标号来描述该外置摄像头和/或外置麦克风。具体地,在一些实施例中,车载人机交互系统100可以包括上述外置摄像头1326,在这种情况下,车载控制器140还被配置为在被唤醒处理器134唤醒之后,基于车外人员的图像确定车外人员的身份,并且在确定车外人员的身份是预定人员时执行车辆控制操作。例如,车载控制器140可以通过车载移动通信模块(如车载4G或5G通信模块)建立与远程车主的通信连接,以使得远程车主能够通过该通信连接查看车外对象或与车外人员进行视频通信。例如,在车辆200执行自助购物、加油、共享租车等应用时,车辆200的远程车主可以通过车载控制器140所建立的通信连接来查看购买的物品、加油站或者租车人员等,或者与购物场所工作人员、加油站工作人员或者租车人员进行视频通信以进一步完成所需的服务。替换地或者附加地,在一些实施例中,车载人机交互系统100可以包括上述外置麦克风1328,在这种情况下,车载控制器140还被配置为在被唤醒处理器134唤醒之后,基于外置麦克风1328接收的车外人员的语音输入执行车辆控制操作。例如,车载控制器140可以通过车载移动通信模块(如车载4G或5G通信模块)建立与远程车主的通信连接,以使得车外人员能够通过该通信连接与远程车主进行语音通话。例如,类似地,在车辆200执行上述加油、共享租车等应用时,车辆200的远程车主可以通过车载控制器140所建立的通信连接来与购物场所工作人员、加油站工作人员或者租车人员进行语音通话以进一步完成所需的服务。
除了特定的硬件部件,如电磁感应发声模块110和感知部件132之外,本发明的其余部分可以通过软件、硬件或者固件的方式来实现。在通过软件实现为计算机程序产品的情况下,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
图5示出了适合实现本公开的实施例的控制设备500的方框图。控制设备500可以用来实现如上所述的车载控制器140和/或唤醒处理器134。
如图所示,控制设备500可以包括处理器510。处理器510控制控制设备500的操作和功能。例如,在某些实施例中,处理器510可以借助于与其耦合的存储器520中所存储的指令530来执行各种操作。存储器520可以是适用于本地技术环境的任何合适的类型,并且可以利用任何合适的数据存储技术来实现,包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图5中仅仅示出了一个存储器520,但是本领域技术人员可以理解,控制设备500可以包括更多个物理上不同的存储器520。
处理器510可以是适用于本地技术环境的任何合适的类型,并且可以包括但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)以及基于处理器的多核处理器架构中的一个或多个多个。控制设备500也可以包括多个处理器510。处理器510与收发器540耦合,收发器540可以借助于一个或多个通信部件来实现信息的接收和发送。上文参考图1至图4所描述的关于车载控制器140和/或唤醒处理器134的所有特征均适用于控制设备500,在此不再赘述。
在一个或多个示例性设计中,可以用硬件、软件、固件或它们的任意组合来实现本发明所述的功能。例如,如果用软件来实现,则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上,或者作为计算机可读介质上的一个或多个指令或代码来传输。
本文公开的装置的各个单元可以使用分立硬件组件来实现,也可以集成地实现在一个硬件组件,如处理器上。例如,可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。
本领域普通技术人员还应当理解,结合本发明的实施例描述的各种示例性的逻辑块、模块、电路和算法步骤可以实现成电子硬件、计算机软件或二者的组合。
本发明的以上描述用于使本领域的任何普通技术人员能够实现或使用本发明。对于本领域普通技术人员来说,本发明的各种修改都是显而易见的,并且本文定义的一般性原理也可以在不脱离本发明的精神和保护范围的情况下应用于其它变形。因此,本发明并不限于本文所述的实例和设计,而是与本文公开的原理和新颖性特性的最广范围相一致。
Claims (16)
1.一种车载人机交互系统,包括:
电磁感应发声模块,所述电磁感应发声模块的一端贴合作为车辆外表面的车身面板的内侧,另一端固定在车身上;
唤醒子系统,所述唤醒子系统用于基于车外对象的语音、动作和图像中的至少一项唤醒车载控制器以开启人机交互功能;以及
车载控制器,所述车载控制器被配置为在被所述唤醒子系统唤醒以开启人机交互功能之后,向所述电磁感应发声模块输出音频信号,以使得所述电磁感应发声模块在所述音频信号的激励下产生电磁力带动所述车身面板振动,从而向所述车辆的外部发送语音。
2.如权利要求1所述的系统,其中所述电磁感应发声模块包括:
T铁,所述T铁包括圆形平板状端部和从所述端部的中心向上凸出的销部;
圆柱状永磁体,所述永磁体设置在所述T铁的端部上方且不接触所述T铁;以及
音圈,所述音圈插入在所述销部和所述永磁体之间的空腔中,并且在所述音频信号的交流电流的激励下产生交变磁场,所述交变磁场和所述永磁体的磁场叠加产生垂直于所述交流电流的电磁力,以带动所述T铁相对于所述音圈往复运动。
3.如权利要求2所述的系统,其中所述电磁感应发声模块还包括:
外壳,所述外壳的两端为刚性,其中第一端固定有所述音圈并且固定在车内支撑支架上,第二端固定有所述T铁并且固定在所述车身面板的内侧。
4.如权利要求3所述的系统,其中所述外壳还包括:
柔性侧壁;或者
分别与所述外壳的两端相连的分离的两个侧壁。
5.如权利要求3所述的系统,其中所述电磁感应发声模块还包括:
弹簧和与所述弹簧相连的夹板,所述弹簧的一端固定在所述外壳的第一端,另一端与所述夹板相连并对准所述永磁体。
6.如权利要求1所述的系统,还包括:
外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收所述车外对象的语音输入,并且
所述车载控制器还被配置为通过所述车辆的内置扬声器将所述车外对象的语音输入播放给车内人员,或者对所述车外对象的语音输入进行语义分析,并且基于语义分析的结果对所述车辆执行控制。
7.如权利要求1所述的系统,其中所述唤醒子系统包括:
感知部件,所述感知部件设置在所述车辆外侧,其被配置为感测所述车外对象的语音、动作和图像中的至少一种;以及
唤醒处理器,其被配置为确定所感测的语音、动作和图像中的至少一项是否满足预定的唤醒条件,并且在确定满足所述预定的唤醒条件时唤醒所述车载控制器以开启人机交互功能。
8.如权利要求7所述的系统,其中所述感知部件包括:
震动感应器,所述震动感应器设置在所述车身面板或者车辆玻璃上,其被配置为感测所述车外人员对所述车身面板或者车辆玻璃的敲击;并且
所述唤醒处理器被配置为确定所述敲击是否满足预定的敲击条件,并且在确定所述敲击满足所述预定的敲击条件时唤醒所述车载控制器。
9.如权利要求7所述的系统,其中所述感知部件包括:
传感器,所述传感器设置在所述车身面板外侧,其被配置为感测所述车外对象与所述车身面板的距离;并且
所述唤醒处理器被配置为确定所述距离是否满足预定的距离阈值,并且在确定所述距离满足所述预定的距离阈值时唤醒所述车载控制器。
10.如权利要求8或9所述的系统,其中所述车载人机交互系统还包括:
外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的图像;并且
所述车载控制器还被配置为在被所述唤醒处理器唤醒之后,基于所述车外人员的图像确定所述车外人员的身份,并且在确定所述车外人员的身份是预定人员时执行车辆控制操作。
11.如权利要求10所述的系统,其中所述车载控制器被配置为执行车辆控制操作包括:
通过车载移动通信模块建立与远程车主的通信连接,以使得所述远程车主通过所述通信连接查看所述车外对象或与所述车外人员进行视频通信。
12.如权利要求8或9所述的系统,其中所述车载人机交互系统还包括:
外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收车外人员的语音输入;并且
所述车载控制器还被配置为在被所述唤醒处理器唤醒之后,基于所述车外人员的语音输入执行车辆控制操作。
13.如权利要求12所述的系统,其中所述车载控制器被配置为执行车辆控制操作包括:
通过车载移动通信模块建立与远程车主的通信连接,以使得所述车外人员通过所述通信连接与所述远程车主进行语音通话。
14.如权利要求7所述的系统,其中所述感知部件包括:
外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的图像;并且
所述唤醒处理器被配置为基于所述车外人员的图像确定所述车外人员的身份,并且在确定所述车外人员的身份是预定人员时唤醒所述车载控制器。
15.如权利要求7所述的系统,其中所述感知部件包括:
外置摄像头,所述外置摄像头设置在所述车身面板外侧,其被配置为拍摄车外人员的一个或多个图像;并且
所述唤醒处理器被配置为基于所述车外人员的一个或多个图像确定所述车外人员的手势,并且在确定所述车外人员的手势符合预定手势时唤醒所述车载控制器。
16.如权利要求7所述的系统,其中所述感知部件包括:
外置麦克风,所述外置麦克风设置在所述车身面板的外侧并且被配置为接收所述车外人员的语音输入;并且
所述唤醒处理器被配置为确定所述车外人员的语音输入是否符合预定的唤醒词或者基于所述车外人员的语音输入确定所述车外人员的身份是否符合预定人员,并且在确定所述车外人员的语音输入符合所述预定的唤醒词或者基于所述车外人员的语音输入确定所述车外人员的身份符合所述预定人员时,唤醒所述车载控制器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111032792.7A CN113844385A (zh) | 2021-09-03 | 2021-09-03 | 车载人机交互系统 |
PCT/CN2021/135023 WO2023029262A1 (zh) | 2021-09-03 | 2021-12-02 | 车载人机交互系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111032792.7A CN113844385A (zh) | 2021-09-03 | 2021-09-03 | 车载人机交互系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113844385A true CN113844385A (zh) | 2021-12-28 |
Family
ID=78973210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111032792.7A Pending CN113844385A (zh) | 2021-09-03 | 2021-09-03 | 车载人机交互系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113844385A (zh) |
WO (1) | WO2023029262A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115095843A (zh) * | 2022-06-24 | 2022-09-23 | 中国第一汽车股份有限公司 | 一种可实现声光一体的车灯结构及其控制方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007153074A (ja) * | 2005-12-02 | 2007-06-21 | Mazda Motor Corp | 車両用音発生装置 |
JP2008035472A (ja) * | 2006-06-28 | 2008-02-14 | National Univ Corp Shizuoka Univ | 車内外音響伝送システム |
US20120106748A1 (en) * | 2009-10-23 | 2012-05-03 | Lotus Cars Limited | System for simulated multi-gear vehicle sound generation |
US20140185859A1 (en) * | 2012-12-31 | 2014-07-03 | Apple Inc. | Magnetically biased electromagnet for audio applications |
JP2015027879A (ja) * | 2014-11-14 | 2015-02-12 | 浜名湖電装株式会社 | 車両接近通報装置 |
CN109285547A (zh) * | 2018-12-04 | 2019-01-29 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
CN110103815A (zh) * | 2019-03-05 | 2019-08-09 | 北京车和家信息技术有限公司 | 语音提醒的方法及装置 |
CN112164395A (zh) * | 2020-09-18 | 2021-01-01 | 北京百度网讯科技有限公司 | 车载语音启动方法、装置、电子设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204145740U (zh) * | 2014-09-05 | 2015-02-04 | 寻乌县爱馨泰电子商贸有限公司 | 一种可拆卸地电动喇叭 |
US9315152B1 (en) * | 2015-07-27 | 2016-04-19 | Tom Maestas | Vehicle security system and method |
CN106982405A (zh) * | 2016-01-19 | 2017-07-25 | 上海汽车集团股份有限公司 | 汽车车身声音还原装置、汽车 |
CN110322880A (zh) * | 2018-03-28 | 2019-10-11 | 上海博泰悦臻网络技术服务有限公司 | 车载终端设备以及唤醒其多个语音交互程序的方法 |
CN212850479U (zh) * | 2020-07-29 | 2021-03-30 | 成璟桓 | 一种多功能实时车载对讲通讯系统 |
CN111976614A (zh) * | 2020-08-11 | 2020-11-24 | 上海麦腾物联网技术有限公司 | 一种透传功能的汽车音响系统 |
CN112937432A (zh) * | 2021-02-19 | 2021-06-11 | 恒大新能源汽车投资控股集团有限公司 | 车辆发声装置的控制方法、装置、设备及存储介质 |
-
2021
- 2021-09-03 CN CN202111032792.7A patent/CN113844385A/zh active Pending
- 2021-12-02 WO PCT/CN2021/135023 patent/WO2023029262A1/zh unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007153074A (ja) * | 2005-12-02 | 2007-06-21 | Mazda Motor Corp | 車両用音発生装置 |
JP2008035472A (ja) * | 2006-06-28 | 2008-02-14 | National Univ Corp Shizuoka Univ | 車内外音響伝送システム |
US20120106748A1 (en) * | 2009-10-23 | 2012-05-03 | Lotus Cars Limited | System for simulated multi-gear vehicle sound generation |
US20140185859A1 (en) * | 2012-12-31 | 2014-07-03 | Apple Inc. | Magnetically biased electromagnet for audio applications |
JP2015027879A (ja) * | 2014-11-14 | 2015-02-12 | 浜名湖電装株式会社 | 車両接近通報装置 |
CN109285547A (zh) * | 2018-12-04 | 2019-01-29 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
CN110103815A (zh) * | 2019-03-05 | 2019-08-09 | 北京车和家信息技术有限公司 | 语音提醒的方法及装置 |
CN112164395A (zh) * | 2020-09-18 | 2021-01-01 | 北京百度网讯科技有限公司 | 车载语音启动方法、装置、电子设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115095843A (zh) * | 2022-06-24 | 2022-09-23 | 中国第一汽车股份有限公司 | 一种可实现声光一体的车灯结构及其控制方法 |
CN115095843B (zh) * | 2022-06-24 | 2023-11-10 | 中国第一汽车股份有限公司 | 一种可实现声光一体的车灯结构及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2023029262A1 (zh) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8880291B2 (en) | Methods and systems for preventing unauthorized vehicle operation using face recognition | |
JP6372688B2 (ja) | 車両用通信システム | |
WO2018072667A1 (zh) | 车辆智能解锁的方法、装置及系统 | |
US8854197B2 (en) | Method of monitoring vehicle surroundings, and apparatus for monitoring vehicle surroundings | |
CN110517687A (zh) | 使用机动交通工具外部的语音命令控制其功能的系统 | |
CN109747634A (zh) | 用于远程停车辅助系留的音频警报 | |
JP4556776B2 (ja) | 車載制御装置 | |
US20170154482A1 (en) | Vehicle liftgate and garage door synchronization | |
CN113844360A (zh) | 车载人机交互系统 | |
JP2002510369A (ja) | 自動車のための鍵なしアクセス管理装置および自動車で鍵なしアクセス権限管理方法 | |
CA3064998C (en) | Voice activated liftgate | |
US10102702B1 (en) | Automotive powered door activation using accelerometer | |
KR101945236B1 (ko) | 스마트폰을 이용한 차량 제어 시스템 및 방법 | |
WO2023029262A1 (zh) | 车载人机交互系统 | |
KR20160109798A (ko) | 사용자 인증 모듈 및 이를 구비한 차량 | |
CN113844384A (zh) | 车载人机交互系统 | |
US20080129472A1 (en) | Panic alarm system and method for motor vehicles | |
CN113442869B (zh) | 一种无钥匙进入和启动系统的控制方法、装置及系统 | |
JP2020083301A (ja) | 移動体用投影装置、携帯端末、プログラム | |
JP7310594B2 (ja) | 車両用通信システム | |
JP2021128090A (ja) | 位置推定装置および位置推定システム | |
CN116968663A (zh) | 车辆接口控制 | |
CN116001725A (zh) | 一种车辆控制方法、装置、车辆及计算机可读存储介质 | |
CN116442949A (zh) | 车辆的控制方法、装置、车辆及存储介质 | |
CN114809833A (zh) | 开启车门的控制方法、车门控制装置及车门控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 201821 room 208, building 4, No. 1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd. Address before: Room 208, building 4, No. 1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai 201821 Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd. |
|
CB02 | Change of applicant information |