具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
目前,在多个电子设备连接到车载电子设备的情况下,如果需要经由车载电子设备输出其中一个电子设备的呈现内容,则往往需要在该电子设备上主动进行操作,操作比较繁琐。此外,如果需要切换输出另一个电子设备的呈现内容时,也需要手动操作,不够智能。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个,本公开的示例实施例提出了一种用于信息处理的方案。在该方案中,在车载电子设备处,如果确定所接收的语音输入与切换呈现内容的来源设备相关联,获取语音输入的声纹信息,识别声纹信息对应的用户标识,搜索已连接电子设备与可连接电子设备中的至少一项和用户标识的映射表,以确定与所识别的用户标识对应的第一电子设备,如果搜索到第一电子设备,建立车载电子设备与第一电子设备之间用于呈现内容的传输的第一通道,以便呈现经由第一通道接收的、来自第一电子设备的第一呈现内容。
由此,能够实现基于用户的语音切换指令和声纹信息,就可以在车辆处呈现来自用户对应的电子设备的呈现内容,方便快捷,无需复杂手动操作,提高了用户体验。
在下文中,将结合附图更详细地描述本方案的具体示例。
图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100包括车载电子设备110、第一电子设备120、第二电子设备130、第一用户140和第二用户150。
车载电子设备110例如是但不限于车载计算机、车载控制器等等。车载电子设备110至少包括处理器和存储器。存储器用于存储一个或多个计算机程序。处理器耦合至存储器并且执行一个或多个程序使得车载电子设备能够执行一种或多种功能。车载电子设备110可以耦合到车载显示器,例如中控屏,以便显示图像等内容。车载电子设备110可以耦合到车载扬声器,以便输出音频等。车载电子设备110可以耦合到车载拾音器,例如麦克风,以便获取语音输入。车载电子设备110可以耦合到车载USB接口,以便经由车载USB接口与第一电子设备120和/或第二电子设备130进行连接。
通信模块,例如T-BOX,可以用于与第一电子设备120和第二电子设备130进行通信。在一些实施例中,通信模块可以包括直接通信模块,其用于与第一电子设备120和第二电子设备130进行通信连接。例如,可通过诸如蓝牙、wifi、zigbee、近场通信(NFC)、蜂窝等任何适合的通信技术来与第一电子设备120和第二电子设备130进行通信。例如,通信模块可以通过wifi AP模式与第一电子设备120和第二电子设备130保持连接,也可以通过wifi直连模式与第一电子设备120和第二电子设备130保持连接。
在一些实施例中,第一电子设备120和第二电子设备130可以是具备无线收发能力并且可以接入互联网的电子设备。第一电子设备120和第二电子设备130例如但不限于是移动电话、智能电话、膝上型计算机、平板计算机、个人数字助理(PDA)、可穿戴设备等。应当理解,虽然图1示出2个电子设备,但是这只是示例,也可以包括更多或更少的电子设备。
在一些实施例中,第一电子设备120和第二电子设备130至少可以包括通信模块、存储器和处理器。通信模块用于与车载电子设备110进行通信。存储器用于存储一个或多个计算机程序。处理器耦合至存储器并且执行一个或多个程序使得第一电子设备120和第二电子设备130能够执行一种或多种功能。
在下文中将结合图2对车载电子设备110所执行的动作进行详细描述。
图2示出了根据本公开的实施例的用于信息处理的方法200的流程图。例如,方法200可以由如图1所示的车载电子设备110来执行。应当理解的是,方法200还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框202处,在车载电子设备110处,确定所接收的语音输入是否与切换呈现内容的来源设备相关联。语音输入例如可以包括诸如“用我的手机”、“听我的歌”、“看我的电影”这类的与切换呈现内容的来源设备相关联的预定词语,如果识别出这类预定词语,则确定所接收的语音输入与切换呈现内容的来源设备相关联。
如果在框202处确定所接收的语音输入与切换呈现内容的来源设备相关联,则在框204处,获取语音输入的声纹信息。获取语音输入的声纹信息例如可以包括从语音输入中提取声纹特征。提取声纹特征例如可以采用任何合适的声纹特征提取方法。
在框206处,识别声纹信息对应的用户标识。
在一些实施例中,识别声纹信息对应的用户标识可以包括基于预先训练的声纹识别模型识别声纹特征对应的用户标识。声纹识别模型例如可以是深度神经网络模型。
备选地或者附加地,在一些实施例中,识别声纹信息对应的用户标识可以包括将提取的声纹特征与预先存储的声纹特征进行比对,获取与提取的声纹特征匹配的声纹特征对应的用户标识。例如,车载电子设备110可以预先存储有第一用户的声纹特征和第一用户的标识,以及第二用户的声纹特征和第二用户的标识,如果提取的声纹特征与第一用户的声纹特征匹配,则确定声纹特征对应的用户标识为第一用户的标识。
在框208处,搜索已连接电子设备与可连接电子设备中的至少一项和用户标识的映射表,以确定与所识别的用户标识对应的第一电子设备120。
例如,车载电子设备110可以维护已连接电子设备与可连接电子设备中的至少一项和用户标识的映射表。例如每当有电子设备连接到车载电子设备110和/或检测到可连接到车载电子设备110的电子设备,例如蓝牙电子设备,就可以将该电子设备的标识与该电子设备对应的用户标识的映射添加到该映射表中。在一些实施例中,映射表可以包括已连接电子设备和用户标识的映射表。例如,已连接wifi的电子设备及其用户标识的映射表。在另一些实施例中,映射表可以包括可连接电子设备和用户标识的映射表。例如,可连接蓝牙的电子设备及其用户标识的映射表。在还有一些实施例中,映射表可以包括已连接电子设备和可连接电子设备与用户标识的映射表。例如,指示已连接wifi的电子设备及其用户标识和可连接蓝牙的电子设备及其用户标识的映射表。电子设备的标识例如可以包括电子设备的名称、UUID、设备序列号、SIM卡序列号、MAC地址等。用户标识例如可以包括用户名。连接的方式例如可以包括wifi连接、蓝牙连接、USB连接等。
例如,如果该映射表中有第一电子设备120和第二电子设备130,以及如果上面步骤确定声纹信息对应的用户标识为第一用户的用户名,则搜索到第一用户的用户名对应的第一电子设备120,如果此时该映射表中只有第二电子设备130,则无法找到第一用户的标识对应的第一电子设备120。
如果在框208处搜索到用户标识对应的第一电子设备120,则在框210处,建立车载电子设备110与第一电子设备120之间用于呈现内容的传输的第一通道,以便呈现经由第一通道接收的、来自第一电子设备的第一呈现内容。
第一通道例如可以包括TCP连接通道、DLNA协议通道、airplay协议通道、miracast协议通道等。第一通道建立后,第一电子设备120可以经由第一通道向车载电子设备110发送其当前呈现的内容。呈现内容例如可以包括音频内容,例如音乐,也可以包括显示内容,例如图像、文字、视频等。
在一些实施例中,来自第一电子设备120的第一呈现内容未经过压缩编码,可以直接呈现第一呈现内容。在另一些实施例中,来自第一电子设备120的第一呈现内容经过压缩编码,例如视频编码,先经过解压缩,再呈现第一呈现内容。
如果第一呈现内容涉及显示内容,则呈现第一呈现内容可以包括经由车载显示器显示第一呈现内容,例如显示图像、视频等,如果第一呈现内容涉及音频内容,则呈现第一呈现内容可以包括经由车载扬声器播放第一呈现内容,例如播放音乐等。
由此,能够实现基于用户的语音切换指令和声纹信息,就可以在车辆处呈现来自用户对应的电子设备的呈现内容,方便快捷,无需复杂手动操作,提高了用户体验。
在一些实施例中,方法200还可以包括确定语音输入指示的应用名称和应用类型中的至少一项,以及向第一电子设备120发送关于呈现与应用名称或应用类型对应的应用的指令,以便第一呈现内容包括对应的应用。
例如,用户语音输入“听我的歌”,可以确定语音输入指示的应用类型为音乐类应用,向第一电子设备120发送关于呈现音乐类应用的指令,随后第一电子设备120可以启动其本地的音乐类应用并播放该应用,并向车载电子设备110发送该应用播放的音频内容及可能的显示内容,例如应用界面,车载电子设备110可以播放接收的音频内容以及显示可能的显示内容。下文将参照图3详细描述用于确定语音输入指示的应用类型的方法。
还例如,用户语音输入“显示我的相册”,可以确定语音输入指示的应用名称,向第一电子设备120发送关于呈现相册应用的指令,随后第一电子设备120可以启动其本地的相册应用,并向车载电子设备110发送该相册应用的显示内容,例如照片,车载电子设备110可以显示接收的照片。
由此,能够基于用户语音确定需要呈现的应用,启动第一电子设备处的该应用,并在车载电子设备处呈现该应用的呈现内容,无需手动启动第一电子设备处的该应用,避免了繁琐的操作,提高了用户体验。
图3示出了根据本公开的实施例的用于确定语音输入指示的应用类型的方法300的流程图。例如,方法300可以由如图1所示的车载电子设备110来执行。应当理解的是,方法300还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框302处,识别语音输入中的关键词。
例如,语音输入可以是“听我的音乐”,可以识别出关键词“音乐”。又例如,语音输入可以是“看我的电影”,可以识别出关键词“电影”。还例如,语音输入可以是“用我的地图”,可以识别出关键词“地图”。例如可以采用任何合适的语音识别方法来识别语音输入中的关键词。
在框304处,基于关键词与应用类型的映射表,确认与关键词对应的应用类型。
关键词和应用类型的映射表的例子可如下所示:
表1关键词和应用类型的映射表
例如,如果识别出的关键词为“音乐”,则可搜索到“音乐”对应的应用类型为音乐类应用,如果识别出的关键词为“电影”,则可搜索到“电影”对应的应用类型为视频类应用,如果识别出的关键词为“地图”,则可搜索到“地图”对应的应用类型为导航类应用。
在框306处,将与关键词对应的应用类型确定为语音输入所指示的应用类型。
由此,可以基于语音输入中的关键词来确定用户指示的应用类型,贴近用户常用语,提高了用户体验。
图4示出了根据本公开的实施例的用于信息处理的方法400的流程图。例如,方法400可以由如图1所示的车载电子设备110来执行。应当理解的是,方法400还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
在框402处,在车载电子设备110处,确定所接收的语音输入是否与切换呈现内容的来源设备相关联。
如果在框402处确定所接收的语音输入与切换呈现内容的来源设备相关联,则在框404处,确认在车载电子设备处所呈现的是来自第二电子设备的第二呈现内容。
在框406处,获取语音输入的声纹信息。
在框408处,识别声纹信息对应的用户标识。
在框410处,搜索已连接电子设备与可连接电子设备中的至少一项和用户标识的映射表,以确定与所识别的用户标识对应的第一电子设备120。
如果在框410处搜索到用户标识对应的第一电子设备120,则在框412处,断开车载电子设备110与第二电子设备130之间用于第二呈现内容的传输的第二通道。
在框414处,建立车载电子设备110与第一电子设备120之间用于呈现内容的传输的第一通道,以便呈现经由第一通道接收的、来自第一电子设备的第一呈现内容。
由此,能够实现基于用户的语音切换指令和声纹信息,就可以在车辆处将呈现内容切换到来自用户对应的电子设备的呈现内容,方便快捷,无需复杂手动操作,提高了用户体验。
在一些实施例中,方法400还可以包括如果搜索到用户标识对应的第一电子设备120,则确定第二呈现内容是否涉及音频内容,以及如果确定第二呈现内容涉及音频内容,断开车载电子设备110与第二电子设备120之间用于第二呈现内容的传输的第二通道。
例如,来自第二电子设备130的第二呈现内容包括音频,例如音乐,则无论来自第一电子设备120的第一呈现内容是否涉及音频,都断开车载电子设备110与第二电子设备130之间的第二通道。
由此,能够只在切换前的第二呈现内容涉及音频内容时才断开用于第二呈现内容的第二通道,考虑到音频输出的独占性,使得断开通道的针对性更精准,提供了在第二呈现内容不涉及音频内容时继续显示第二呈现内容的可能,避免一刀切地断开用于第二呈现内容的第二通道。
备选地或者附加地,在一些实施例中,方法400还可以包括如果确定第二呈现内容涉及音频内容,则确定语音输入指示的应用名称或应用类型是否涉及音频内容,以及如果确定语音输入指示的应用名称或应用类型涉及音频内容,则断开车载电子设备110与第二电子设备130之间用于第二呈现内容的传输的第二通道。
例如,如果来自第二电子设备的第二呈现内容包括音频,例如音乐,如果语音输入指示的应用名称或应用类型例如为相册,则可以不断开车载电子设备与第二电子设备之间的第二通道,如果语音输入指示的应用名称或应用类型例如为XX音乐,则可以断开车载电子设备与第二电子设备之间的第二通道。
由此,能够只在第二呈现内容和待呈现的应用的内容均涉及音频内容时才断开用于第二呈现内容的第二通道,考虑到音频输出的独占性,使得断开通道的针对性更精准,提供了在第二呈现内容不涉及音频内容或者待呈现的应用的内容不涉及音频内容时继续呈现第二呈现内容的可能,避免一刀切地断开用于第二呈现内容的第二通道。
备选地或者附加地,在一些实施例中,方法400还可以包括如果确定第二呈现内容不涉及音频内容,则确定第一呈现内容是否涉及显示内容,以及如果确定第一呈现内容涉及显示内容,显示第一呈现内容和第二呈现内容。
由此,能够在切换前的第二呈现内容不涉及音频内容且待切换的第一呈现内容涉及显示内容的情况下,同时显示第一呈现内容和第二呈现内容,而无需覆盖第二呈现内容,实现来自多个电子设备的呈现内容在车载屏幕上的同时显示。
备选地或者附加地,在一些实施例中,显示第一呈现内容和第二呈现内容可以包括确定语音输入的声源定位,如果确定语音输入的声源方位为车辆左侧,则在车载电子设备的显示区域中的左侧显示第一呈现内容,以及在显示区域中的右侧显示第二呈现内容,如果确定语音输入的声源方位为车辆右侧,则在显示区域中的右侧显示第一呈现内容,以及在显示区域中的左侧显示第二呈现内容。
例如,可以采用声音到达时间差TDOA来确定语音输入的声源定位。例如可以先后估计声源到达不同车载拾音器的时延差,通过时延差来计算距离差,再利用距离差和车载拾音器阵列的空间几何位置来确定声源的位置。例如,车载拾音器阵列可以包括布置于车辆两侧B柱的拾音器,如果到达左侧B柱的拾音器的时延大于达到右侧B柱的拾音器的时延,则确定声源位于车辆左侧,否则声源位于车辆右侧。
图5示出了根据本公开的实施例的显示示意图。如图5所示,在图5a)中,显示区域510当前在显示来自第二电子设备130的第二显示内容,在图5b)中,第一用户140输入与切换呈现内容的来源设备相关联的语音,例如“用我的手机”,确定声源定位为车辆左侧,则在显示区域510中的左侧显示来自第一电子设备120的第一显示内容,以及在显示区域510中的右侧显示来自第二电子设备130的第二显示内容,在图5c中,确定声源定位为车辆右侧,则在显示区域510中的右侧显示来自第一电子设备120的第一显示内容,以及在显示区域510的左侧显示来自第二电子设备130的第二显示内容。
由此,能够在用户语音输入的声源侧显示来自用户对应的电子设备的呈现内容,方便用户观看,提高用户体验。
图6示出了根据本公开的实施例的用于信息处理的方法600的流程图。应当理解的是,方法600还可以包括未示出的附加步骤和/或可以省略所示出的步骤,本公开的范围在此方面不受限制。
在602处,车载电子设备110接收语音输入。
在604处,车载电子设备110确定所接收的语音输入与切换呈现内容的来源设备相关联。
在606处,车载电子设备110确认在车载电子设备处所呈现的是来自第二电子设备的第二呈现内容。
在608处,车载电子设备110确定语音输入指示的应用名称和应用类型中的至少一项。
在610处,车载电子设备110获取语音输入的声纹信息。
在612处,车载电子设备110识别声纹信息对应的用户标识。
在614处,车载电子设备110搜索已连接电子设备与可连接电子设备中的至少一项和用户标识的映射表,以确定与所识别的用户标识对应的第一电子设备120。
在616处,车载电子设备110断开车载电子设备110与第二电子设备130之间用于第二呈现内容的传输的第二通道。
在618处,车载电子设备110建立车载电子设备110与第一电子设备120之间用于呈现内容的传输的第一通道,以便呈现经由第一通道接收的、来自第一电子设备的第一呈现内容。
在620处,车载电子设备110向第一电子设备120发送指示呈现应用名称或应用类型对应的应用的指令。
在622处,第一电子设备120呈现应用名称或应用类型对应的应用。
在624处,第一电子设备120经由第一通道向车载电子设备110发送应用的第一呈现内容。
在626处,车载电子设备110呈现第一呈现内容。
图7示出了可以用来实施本公开内容的实施例的示例设备700的示意性框图。例如,如图1所示的车载电子设备110可以由设备700来实施。如图所示,设备700包括中央处理单元(CPU)710,其可以根据存储在只读存储器(ROM)720中的计算机程序指令或者从存储单元780加载到随机访问存储器(RAM)730中的计算机程序指令,来执行各种适当的动作和处理。在RAM 730中,还可存储设备700操作所需的各种程序和数据。CPU 710、ROM 720以及RAM730通过总线740彼此相连。输入/输出(I/O)接口750也连接至总线740。
设备700中的多个部件连接至I/O接口750,包括:输入单元760,例如键盘、鼠标、麦克风等;输出单元770,例如各种类型的显示器、扬声器等;存储单元780,例如磁盘、光盘等;以及通信单元790,例如网卡、调制解调器、无线通信收发机等。通信单元790允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法200-600,可由处理单元710执行。例如,在一些实施例中,方法200-600可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元780。在一些实施例中,计算机程序的部分或者全部可以经由ROM 720和/或通信单元790而被载入和/或安装到设备700上。当计算机程序被加载到RAM 730并由CPU710执行时,可以执行上文描述的方法200-600的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。