CN106976434B - 用于车辆中的语音识别设备的装置及方法 - Google Patents

用于车辆中的语音识别设备的装置及方法 Download PDF

Info

Publication number
CN106976434B
CN106976434B CN201610641453.1A CN201610641453A CN106976434B CN 106976434 B CN106976434 B CN 106976434B CN 201610641453 A CN201610641453 A CN 201610641453A CN 106976434 B CN106976434 B CN 106976434B
Authority
CN
China
Prior art keywords
voice
voice instruction
instruction
subordinate
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610641453.1A
Other languages
English (en)
Other versions
CN106976434A (zh
Inventor
梁祐硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN106976434A publication Critical patent/CN106976434A/zh
Application granted granted Critical
Publication of CN106976434B publication Critical patent/CN106976434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

本公开涉及用于车辆中的语音识别设备的装置及方法。用于利用语音识别设备控制包含在车辆中的装置的方法。该方法包括以下步骤:接收并识别语音指令;执行与语音指令相对应的上级操作;接收用于执行从属于该上级操作的下级操作的非语音输入;并且响应于非语音输入执行该下级操作。

Description

用于车辆中的语音识别设备的装置及方法
相关申请的交叉引用
本申请要求于2016年01月15日向韩国专利局提交的韩国专利申请第10-2016-0005294号的优先权和权益,通过引用将其公开的全部内容结合于本文中。
技术领域
本公开内容涉及一种用于可包含在车辆内或者与车辆相接合的语音识别设备的装置与方法,并且更具体地,涉及用于使用用户的语音指令与接口操作的组合来控制或者使用车辆中的电子设备的装置及方法。
背景技术
与其它产品或装置类似,近年来的趋势是将显著发展的信息技术(IT)应用到车辆。消费者不仅仅通过他们的移动设备使用特定的IT服务,还尝试通过包括车辆的各种系统或者装置使用定制的IT服务。因此,提出了关于车辆与智能手机之间的连接性的技术。一个示例是包含在车辆中的智能手机与影音导航(AVN)设备之间的接合的技术。在市场上,存在由苹果公司提供的苹果CarPlay和谷歌公司提供的安卓Auto,它们在分配用于移动设备的软件、硬件或操作系统方面起重要的作用。
苹果CarPlay和安卓Auto涉及通过语音识别技术响应于用户的语音指令来执行特定操作的功能。提供包含在苹果CarPlay以及安卓Auto两者中的功能以替代用户接口。然而,由于在基于语音识别技术的用户的语音指令方面存在的限制,用户接口没有完全被用户语音指令替代,因此用户会感觉到不方便。
发明内容
提供了通过使用包含在车辆中的用户接口,基于语音识别技术补偿由于用户的语音指令方面的简单性而引起的用户的不便性的装置和方法。
此外,可使用将所识别出的语音输入与通过用户接口的输入相结合的装置和方法,用于响应于比所识别出的语音指令或者设置在车辆中的用户接口更复杂的用户的请求而执行特定的操作。
一种用于利用语音识别设备控制包含在车辆中的装置的方法可包括以下步骤:接收并识别语音指令;执行与语音指令相对应的上级操作(upper level operation);接收用于执行从属于上级操作的下级操作(lower level operation)的非语音输入;并且响应于非语音输入执行下级操作。
可通过配置在车辆中的按钮或者触摸屏输入非语音输入。
在识别出语音指令之后识别非语音输入,直到完成上级操作。
在完成下级操作之后,保持上级操作一预定时间。
该方法可进一步包括:在完成下级操作之后的预定时间内接收用于执行从属于上级操作的另一下级操作的新的非语音输入。
上级操作可包括播放所接收的消息的主要功能(main function),而下级操作可包括从属于主要功能的对消息进行回放(replaying)、后退(rewinding)、快进(fast-forwarding)、跳过(skipping)、删除以及存储的多个子功能中的至少一个。
该方法可进一步包括通过局域无线网络与移动设备接合。
由语音指令和非语音输入所激活的上级操作和下级操作被用于运行配置在移动设备中的车辆接合应用程序(vehicle engagement application)。
该方法可进一步包括通过移动设备接收非语音输入。
执行上级操作的步骤可包括:确定哪个上级操作与语音指令相对应;基于预定的组(set,集合)或者值来确定不能从语音指令识别出的或者不包含在语音指令中但是对于执行上级操作所必需的因素;并且基于语音指令和因素来执行上级操作。
当上级操作可包括播放所接收的消息的功能时,该因素包括关于时间、日期、位置以及发送者的信息中的至少一个。
提供了一种用于利用语音识别设备控制包含在车辆中的装置的装置。该装置可包括:语音指令接收器,被配置为接收并识别用于控制配置在车辆中或者与车辆接合的电子设备的语音指令;控制器,被配置为根据语音指令执行上级操作;以及非语音输入接收器,被配置为接收用于执行从属于上级操作的下级操作的非语音输入。此处,控制器可响应于非语音输入而执行下级操作。
该装置可进一步包括:麦克风,被配置为发送语音指令;以及至少一个触摸屏和按钮,被配置为发送非语音指令。
在识别出语音指令之后识别非语音输入,直到完成上级操作。
在下级操作完成之后可保持上级操作一预定时间。
非语音输入接收器可在下级操作完成之后的预定时间内识别用于执行从属于上级操作的任何下级操作的新的非语音输入。
上级操作可包括播放所接收的消息的主要功能,而下级操作可包括从属于主要功能的对消息进行回放、后退、快进、跳过、删除以及存储的多个子功能中的至少一个。
下级操作可以是基于用于存储消息的格式,并且装置进一步包括数据处理单元,被配置为以与下级操作相对应的格式修改消息。
该装置可进一步包括通信单元,该通信单元被配置为通过局域无线网络与移动设备接合。
由语音指令和非语音输入所激活的上级操作和下级操作可被用于运行配置在移动设备中的车辆接合应用程序。
可通过移动设备传送非语音输入。
该控制器被配置为确定哪个上级操作与语音指令对应;基于预定的组或者值来确定不能从语音指令识别出或者不包含在语音指令中但是对于执行上级操作所必需的因素;并且基于语音指令和因素来执行上级操作。
当上级操作可包括播放所接收的消息时,因素可包括关于时间、日期、位置以及发送者的信息中的至少一个。
一种用于利用语音识别设备控制包含在车辆中的装置的装置可包括:处理系统,包括至少一个数据处理器和存储计算机程序的至少一个计算机可读存储器。这里,处理系统可以被配置为:使装置接收并识别语音指令:执行与语音指令对应的上级操作;接收用于执行从属于上级操作的下级操作的非语音输入;并且响应于非语音输入而执行下级操作。
附图说明
为提供对本发明的进一步理解而包含附图并且附图被并入本申请且构成本申请的一部分,附图示出了本发明的一个或多个实施方式并且与说明书一起用来解释本发明的原理。在附图中:
图1A和图1B示出了由配置在车辆中的语音识别设备可能引起的问题;
图2示出了用于基于语音识别设备控制配置在车辆中的电子设备的方法;
图3A和图3B示出了使用语音指令和非语音指令两者的消息管理设备;
图4描述了用于接收非语音指令的时间区段;
图5A和图5B示出了用于使用语音指令和非语音指令两者的数据处理方法;以及
图6示出了用于基于语音识别设备控制配置在车辆中的电子设备的装置。
具体实施方式
现在将详细参考本发明的优选实施方式,在附图中示出了本发明的示例。在附图中,由相同的参考数字表示相同的元件,并且将不会给出它们的重复性的说明。为了便于描述在本文中使用元件后缀“模块”和“单元”,并且因此,可以可替换地使用并且没有任何可区别的含义或功能。
如本文中所使用的术语“一(a)”或者“一个(an)”被限定为一个或者一个以上。如本文中所使用的术语“另一个”被限定为至少第二个或者多个。如本文中所使用的术语“包括”和/或“具有”被定义为包含(即,开放式语言)。本文中所使用的术语“耦接”或“可操作地耦接”被限定为连接,尽管未必一定是直接并且未必是机械地连接。
在本公开的描述中,当认为现有技术的某些详细说明使得本发明的本质变得不必要地隐晦不清时,为了清晰起见,将对其作出省略。通过附图将更清楚地理解本发明的特征而不应由附图限制本发明的特征。但是应当理解的是,在不脱离本发明的精神和技术范围的情况下,本发明涵盖所有的变化、等价物和替代物。
图1A和图1B示出了由配置在车辆中的语音识别设备可能引起的问题。图1A和图1B示出了当车辆中的消息管理设备使用语音识别设备时发生的情况。具体地,图1A示出了当通过苹果的语音识别设备(例如,SiRi)以及苹果的车辆接合应用程序(例如,苹果CarPlay)检查所接收的消息的情况,而图1B是使用谷歌语音识别设备和谷歌车辆接合应用程序(安卓Auto)的情况。
如图所示,在图1A和图1B中所描述的苹果CarPlay和安卓Auto在它们发送用户的语音指令,或者响应于用户的语音指令时仅能接收语音指令。这里,苹果CarPlay和安卓Auto可以分析从用户或驾驶员输入的语音指令并且执行对应的操作。然而,在此过程中,如果经由按钮或触摸屏设定非语音输入或指令,则可停止通过语音指令控制装置。因此,当用户或者驾驶员在发送非语音输入之后想要使用语音指令时,他或她应该再次输入语音指令,并且苹果CarPlay和安卓Auto可在开始阶段再次进行操作。
参考图1A,当由用户(或者驾驶员)通过麦克风输入“请读出来自发送者A的消息”的语音指令时,苹果CarPlay能够识别该语音指令,并且随后执行与所识别的语音指令相对应的操作。在由消息管理设备所接收到的消息中,苹果CarPlay仅收集从发送者A发送的消息,并且读出所有收集到的消息。如果收集的消息的数目是4(即,存在所收集到的第一到第四消息#1、#2、#3、#4),则苹果CarPlay可以按顺序读取所收集的第一到第四消息。即使用户(或驾驶者)只想收听第四消息#4,但是苹果CarPlay不提供只播放第四消息#4的额外的界面。因此,用户或驾驶员在收听第四消息#4之前必须收听其它三个消息#1、#2、#3。
参考图1B,描述了安卓Auto的操作。当由用户(或驾驶员)通过麦克风输入“请读出来自发送者A的消息”的语音指令时,安卓Auto可识别该语音指令并且随后仅读出所有从发送者A发送的消息中的最后的消息。
此外,在苹果CarPlay和安卓Auto中,如果用户或驾驶员想要再次收听特定的消息,他或她应该再次输入“请读出来自发送者A的消息”的语音指令。
当用户或驾驶员通过苹果CarPlay和安卓Auto使用语音指令时,可能由于各种原因而限制一些操作。然而语音指令可能是用户或驾驶员最方便的输入方式之一,他或者她可以用不同的音调、重音、习惯等来使用他的或她的母语。为了识别包括用户的或者驾驶员的复杂需求的语音指令,语音识别设备可能需要大量的资源。然而,移动设备或者车辆可以将有限的来源分配给语音识别设备。因此,能够与车辆接合的系统、装置或者软件应用程序(诸如苹果CarPlay和安卓Auto)仅能够识别简单的语音指令。可以以预定的方式来限定与简单的语音指令相对应的操作。
在当通过语音指令控制电子设备不能满足用户的复杂需求时的情况下,用户可能会感觉不方便,并且他或者她会回避使用语音识别设备。为了克服上述的问题,用于利用由语音识别设备所识别的语音指令与通过传统的用户接口(例如,按钮、触摸屏等)给定的非语音输入一起使用的方法和装置可以被用于方便地控制电子设备。
图2示出用于基于语音识别设备控制配置在车辆中的电子设备的方法。
如所示出的,用于使用语音识别设备来控制装置的方法可包括:接收并识别语音指令(步骤22);执行与语音指令相对应的上级操作(步骤24);接收用于执行从属于上级操作的下级操作的非语音输入(步骤26);并且响应于非语音输入执行下级操作(步骤28)。
上级操作可包括由语音指令执行的功能,而下级操作可以包括很难由语音指令执行的子功能。下级操作可以被限制为仅包括落入上级操作的覆盖范围内的功能。由通过语音识别设备控制的电子设备提供的操作或功能根据其属性可被分成上级操作和下级操作,或者基于电子设备的设计或来自使用该语音识别设备的用户的请求而进行调整。具体地,上级操作和下级操作可以具有明显的从属关系。在未完成下级操作之前上级操作无法完成,并且在执行上级操作之前不能执行下级操作。
通过示例而非限制的方式,假设由语音识别设备控制消息管理设备。当上级操作是播放所接收的消息的功能时,下级操作可以是与播放所接收的消息的功能相关的对消息进行重放、后退、快进、跳过、删除以及存储的多个功能中的一个。
在此,可通过配置在车辆中的按钮或者触摸屏给出非语音输入。此外,在识别出语音指令直到完全完成了上级操作之后识别非语音输入。
如未示出的,使用语音识别设备控制装置的方法可进一步包括在完成之前的下级操作之后,接收用于执行从属于上级操作的任何下级操作的新的非语音输入,直到完成上级操作。
此外,执行上级操作(步骤24)可以包括:确定哪个上级操作与所接收到的语音指令相对应(步骤29)、基于预定的组或值确定没有从语音指令识别出或者没有包含在语音指令中但对于执行上级操作所必需的因素(步骤29)以及基于所接收的语音指令和因素执行上级操作(步骤29)中的至少一个。当上级操作是播放所接收的消息的功能时,值得考虑的因素可包括有关时间、日期、位置和发送者的信息中的至少一个。
通过示例而非限制的方式,假设由语音识别设备识别出的语音指令是“请读出来自发送者A的消息”。除了发送者A之外,可根据诸如这周、昨天、今天、上个月、特定的日期等因素对在消息管理设备中所接收的消息进行分类。如果所识别的语音指令不包括关于上述因素的信息,则可应用关于该因素的预定的值。如果当给出关于播放所接收的消息的语音指令时提前设定仅播放在上周接收到的消息,则当输入“请读出来自发送者A的消息”的语音指令时,由语音识别设备操作的电子设备可以仅读出在所有来自发送者A的消息中的在上周传递的消息。
这里,当语音识别设备不能处理或识别复杂的语音指令时,根据预定的值或者组确定不包含在语音指令中的因素能够变得有效。
如未示出的,用于使用语音识别设备控制装置的方法可进一步包括通过局域无线网络与移动设备接合。由于与移动设备不同,在车辆中添加或改变资源是不容易的,因此车辆可使用配置在移动设备中的语音识别的资源。此外,由于可由移动设备提供车辆不能提供的资源,因此只要在IT服务不影响行驶安全的情况下,对于用户(或驾驶员)而言,可使用通过与车辆接合的移动设备的IT服务。
此外,由语音指令执行的上级操作和下级操作两者以及非语音输入可被用于运行配置在移动设备中的车辆接合应用程序。驾驶员(或者用户)可使用或控制配置在车辆中的并且由与车辆相接合的移动设备所提供的软件、应用程序或者设备。
用于使用语音识别设备控制装置的方法可进一步包括通过移动设备接收语音指令或非语音输入。尽管可通过配置在车辆中的麦克风设定用户的(或驾驶员的)语音指令,但是在车辆不包括麦克风、所配置的麦克风不可用等情况时,与车辆接合的移动设备可以是用于语音指令的输入设备。
图3A和图3B示出使用语音指令和非语音指令两者的管理设备。具体地,图3A描述了消息管理设备响应于语音指令和非语音指令的下级操作,而图3B示出将非语音指令与语音指令的情况进行比较的示例。
参考图3A,假设输入了由发送者A发送的用于请求所接收的消息的语音指令。当从发送者A所接收的消息的数量为4时,装置能够响应于该语音指令播放所有接收的消息#1、#2、#3、#4。但是,在使用非语音指令的情况下,如果第一消息#1不是用户想要收听的消息,则用户可以按下按钮(例如,“向上搜索(Seek Up)”按钮)用于播放下一条消息,即第二消息#2(例如,“前进(forward)”功能)。如果用户想跳过第二消息#2时,他或她可以再次按下按钮(例如,“向上搜索”按钮)以移动到第三消息#3,使得该装置可以播放第三消息#3。如果用户希望在收听第三消息#3之后收听第二消息#2,则他或她可以按下另一个按钮(例如,“向下搜索(Seek Down)”按钮),用于移动到第二消息#2,使得该装置能够播放第二消息#2(例如,“后退(rewind)”功能)。
当使用语音指令和非语音指令时,在不终止对应于语音指令的操作的情况下,给定的非语音指令(例如,按钮输入)可控制子功能,同时可执行响应于语音指令(例如,播放请求的消息)的操作。
参考图3B所示,如果输入语音指令“请读出来自发送者A的消息”,则语音识别设备可以识别语音指令。当语音识别设备识别并分析语音指令时,装置可以执行关于该用户最不可能理解的词语或音频流信息(audio stream information)(例如,时间、日期、位置等等)的索引操作。
配置在车辆中或者与车辆接合的电子设备或者应用程序能够响应于所识别的语音指令而输出操作结果。当存在响应于语音指令的四个音频流#1、#2、#3、#4时,如果没有非语音输入,则可以播放第一音频流#1。然而,如果通过按钮、触摸屏等输入数字“2”,则电子设备或应用程序可以跳过两个音频流#1、#2,并播放第三音频流#3。
当播放音频流时,控制装置可以确定所请求的音频数据是否被分为多个流或作为单个流提供。如果该音频数据被分成多个流,则控制装置可以与语音识别设备(例如,服务器、Siri等)进行通信,以便获得对应于索引的数据流。这里,各音频流可以被收集并被修改为具有索引或者标记的单个连续流。因此,用户或驾驶员能够减少语音指令输入的次数,同时减小在控制装置中用于语音识别的负担。此外,响应于语音指令,控制装置可以执行操作或者快速搜索结果。
如上所述,当由用户输入非语音指令同时输出操作结果时,控制装置可以要求与车载电子设备上的非语音指令相对应的音频流或者与车辆相接合的应用程序。
另外,在控制装置中,即使在完全播放了第四音频流#4之后,也可能不能终止语音识别的待机状态(standby status)。
图4示出用于接收非语音指令的时间区段。
如图所示,可根据系统的设计或者配置在系统中的资源来改变非语音指令的识别区(cognition section)A、B、C。
当输入语音指令(VI)时,该语音指令可被语音识别设备识别。响应于所识别出的语音指令执行上级操作(ULO)并且输出操作结果。在输出了所有操作结果之后,可终止该上级操作一预定时间。上级操作的这些程序可被分成几个区段:起始区段,从识别语音指令的时刻到输出操作结果的时刻;输出区段,从输出操作结果的时刻到完成操作结果的时刻;以及非语音指令待机区段,从完成操作结果的时刻到终止上级操作的时刻。
根据系统设计、资源、稳定性等,可以在从识别语音指令的时刻到终止上级操作的时刻的识别区A中输入用于执行从属于上级操作的下级操作的非语音指令(NVI)。在另一个实施方式中,可以在从输出操作结果的时刻到终止上级操作的时刻的识别区B中识别非语音指令。此外,在另一实施方式中,可在从完成操作结果的时刻到终止上级操作的时刻的识别区C中输入非语音指令。
通过示例的方式但不限于,当电子设备输出具有长的播放时间的音频数据时,用户或驾驶员能够按下按钮(例如,向上搜索按钮或向下搜索按钮)以便向前移动或向后移动一预定时间(例如,2秒)。在完全输出所有音频数据之后不能直接终止上级操作,但是具有从用户传递的另一个非语音指令的待机区段。在待机区段期间,如果用户或驾驶员两次按下按钮(例如,向下搜索按钮),则控制装置向后移动4秒(例如,2秒的两倍),并且电子设备能够再次播放音频数据的相应的部分。
图5A和图5B示出了用于使用语音指令和非语音指令两者的数据处理方法。
参考图5A和图5B,可在音频流中形成响应于语音指令的上级操作的结果。
通过示例的方式但不限于,音频流可以被分为几个部分并由几个部分提供。如果被分成几个部分的音频流可以被再次播放,则无需再次输入语音指令或者访问分别存储音频流的各部分的缓冲器。然而,为了响应于非语音指令而在合并流中向前或者向后移动,合并流可包括用于指示组合流中的播放点的空白部分、标记等,使得用户可以仅播放或者收听所需的部分。此外,当播放大音频流时,用户可使用按钮或者按键以向前或向后移动到期望的点,诸如起始端、中间、末端等。
参考图5A,假设如果输入语音指令,可以发现第一到第四音频流#1、#2、#3、#4作为与语音指令相对应的上级操作的操作结果。第一到第四音频流可以按顺序耦合作为单个的大数据流。
参考图5B,可以假设以大数据流的形式耦合多个结果(例如,第一到第六音频流#1、#2、#3、#4、#5、#6)。大数据流可包括指示符32(例如,索引、标记等)。在本文中,可在多个结果(例如,第一到第六音频流#1,#2,#3,#4,#5,#6)的起始端或者末端添加指示符32,并且被用于执行从属于该上级操作的下级操作。此外,在大数据流中,可进一步为上级操作(在图4中所示)的起始区段以及非语音指令(参照图4)的待机区段中的至少一个补充空数据。通过示例的方式但是不限于此,如果在大数据流中添加了待机区段的空数据,则可识别出非语音指令,同时在完整地播放了音频流之后,在预定时间内播放音频流(即,操作结果)。
在操作结果可被组合成单个流的情况下,分别从作为诸如被配置为执行上级操作以输出结果的应用程序或者电子设备的设备的至少一个装置提供的多个音频流可被存储在诸如音频缓冲器的单独的存储器中。如果单独的存储器存储从多个装置获得的操作结果,则控制装置能够控制如何在不与多个装置进行进一步通信的情况下详细地将操作结果输出给用户或者驾驶员。
根据使用语音指令和非语音指令的数据处理方法,在缓冲器中存储有多种类型的数据或流,诸如组合形式、整体形式(unitary form)、复杂形式(complex for)等。例如,组合形式是将从多个装置输出的几个短-长度的音频流组合成单个流的类型,而整体形式是从各装置输出的单个的大的流的类型。复杂形式是组合形式和整体形式的混合类型。在组合形式中,可以实现每隔短-长度的音频流向前或者向后移动。然而,在整体形式中,可以实现向前或者向后移动预定时间或者预定的数据大小。当使用复杂形式时,向前或者向后移动对于每个短-长度的音频流、每个预定时间或者每个预定的数据大小都是可用的。
图6示出用于控制配置在基于语音识别设备的车辆中的电子设备的装置。
如所示出的,提供用于控制包含在车辆中的装置的控制装置60可包括语音识别设备或者与语音识别设备接合。在本文中,控制装置60可以包括:语音指令接收器62,被配置为接收和识别用于运行或者控制配置在车辆中或者与车辆相接合的电子设备的语音指令;控制器64,被配置为根据语音指令执行上级操作;以及非语音输入接收器66,被配置为接收用于执行从属于上级操作的下级操作中的至少一个的非语音输入。响应于非语音输入,控制器54可进一步执行下级操作。
控制装置60可以与配置在车辆中的几个接口40相接合,或者包括几个接口40。通过示例的方式但是不限于此,配置在车辆中的接口40可进一步包括被配置为发送语音指令的麦克风42、被配置为发送非语音指令等的触摸屏44或者按钮46。
在识别语音指令之后,可通过触摸屏44或者按钮46输入非语音输入,直到完全完成上级操作。
由于存在非语音输入的待机区段,因此在完成下级操作之后可以保持上级操作一预定时间,并且在下级操作完成之后,当预定时间结束时终止上级操作。在之前的下级操作完成之后,非语音输入接收器66可识别用于执行从属于上级操作的任何下级操作的新的非语音输入,直到完成上级操作。
虽然上级操作是播放所接收的消息的主要功能,但是下级操作可以是属于主要功能的回放、后退、快进、跳过、删除和存储消息的多个子功能中的至少一个。此外,当上级操作的操作结果包括音频流时,下级操作可包括在播放操作结果时运转或者循环一预定时间或者用户的请求时间。
下级操作根据如何存储消息的格式可以是不同的。在本文中,控制装置60可以进一步包括被配置为修改与下级操作相对应的格式的消息的数据处理单元69。数据处理单元69可进一步包括用于暂时存储所处理的或者所修改的数据的缓冲器或者存储单元。
此外,控制装置60可以包括被配置为通过局域无线网络与移动设备50相接合的通信单元68。
由控制装置60响应于语音指令和非语音输入而处理的上级操作和下级操作可被用于运行配置在移动设备50的车辆接合应用程序。
此外,配置在移动设备50中的麦克风、按钮、触摸屏(不包括配置在车辆中的接口40)可以将语音指令和非语音输入发送到控制装置60。
此外,控制器64可确定哪个上级操作对应于语音指令,基于预定的组或者值确定没有从语音指令识别或者没有包含在语音指令中但是需要执行上级操作的因素,并且基于语音指令和因素执行上级操作。如果上级操作包括播放所接收的消息,则因素可包括关于时间、日期、位置和发送者的消息中的至少一个。
具有用于使用语音指令和非语音指令的语音识别设备的控制装置60可迅速提供由用户请求的音频结果,并且她或者他可以选择性地收听一些音频结果。此外,控制装置60可以提供关于一些音频结果的重复功能,或者控制关于长度音频结果的播放速度。具有语音识别设备的控制装置60可以减小语音指令上的通信以及语音指令的输入次数。即使在输出音频结果完成之后,由于非语音指令的待机时间,控制装置60可响应于非语音指令而提供子功能。
当使用语音识别设备检查所接收的消息时,用户或驾驶员可以在所接收的消息中快速搜索并选择消息,在收听它之后再次收听它,并且在它之前跳过一些消息。
此外,由于不需要用户输入针对特定操作的复杂的语音指令,因此在车辆中的电子装置(其包括语音识别设备或者与语音识别设备接合)可减小其操作负担以及用于识别从用户输入的复杂的语音指令的配备资源。
由于用户或者驾驶员输入使用其它用户接口输入至少一个语音指令,可在车载电子装置中有效执行根据他的或她的请求的特定操作。
通过以预定的方式组合本发明的结构元件以及特征来实现上述实施方式。除非单独制定,否则应当选择性地考虑该结构元件或特征的每个。每个结构元件或特征可以在不与其它结构元件或特征组合的情况下进行。此外,某些结构元件和/或特征可以彼此组合以构成本发明的实施方式。在本发明的实施方式中描述的操作顺序可以改变。一个实施方式的一些结构元件或特征可以包括在其它实施方式中,或者可以被其它实施方式的相应的结构元件或者特征来代替。此外,将显而易见的是,一些权利要求指的是与其它权利要求组合的特定的权利要求,其指的是非通过在申请提交之后进行修改的方式构成实施方式或者添加新的权利要求的其它权利要求。
可使用具有在其上存储用于执行的指令的机器可读介质以执行在本文所描述的各种方法。可能的机器可读介质的示例包括HDD(硬盘驱动器)、固态硬盘(固态磁盘)、SDD(硅磁盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备,本文提供的其它类型的存储介质,以及它们的组合。如果需要,该机器可读介质可以以载波的形式来实现(例如,通过因特网的传输)。
对于那些本领域技术人员显而易见的是,在不背离本发明的精神或范围的情况下,可对本发明进行各种修改和变型。因此,其意图在于本发明覆盖本发明的这些修改和变型,只要它们落在所附权利要求及其等同物的范围之内。

Claims (18)

1.一种用于利用语音识别设备控制包含在车辆中的装置的方法,包括以下步骤:
接收并识别语音指令;
执行与所述语音指令相对应的上级操作;
接收用于执行从属于所述上级操作的下级操作的非语音输入;并且
响应于所述非语音输入执行所述下级操作,
其中,执行所述上级操作包括以下步骤:
确定哪个上级操作与所述语音指令相对应;
基于预定的组或者值来确定不能从所述语音指令识别出或者不包含在所述语音指令中但是对于执行所述上级操作所必需的因素;并且
基于所述语音指令和所述因素来执行所述上级操作。
2.根据权利要求1所述的方法,其中,在识别出所述语音指令之后识别所述非语音输入,直到完成所述上级操作。
3.根据权利要求1所述的方法,其中,在完成所述下级操作之后的预定时间内没有完成所述上级操作。
4.根据权利要求3所述的方法,进一步包括以下步骤:在完成所述下级操作之后的所述预定时间内接收用于执行从属于所述上级操作的另一下级操作的新的非语音输入。
5.根据权利要求1所述的方法,其中,所述上级操作包括播放所接收的消息的主要功能,而所述下级操作包括从属于所述主要功能的对消息进行回放、后退、快进、跳过、删除以及存储的多个子功能中的至少一个。
6.根据权利要求1所述的方法,进一步包括以下步骤:
通过局域无线网络与移动设备相接合;并且
通过所述移动设备接收所述非语音输入和所述语音指令中的至少一个。
7.根据权利要求6所述的方法,其中,由所述语音指令和所述非语音输入所激活的所述上级操作和所述下级操作被用于运行安装在所述移动设备中的车辆接合应用程序。
8.根据权利要求1所述的方法,其中,当所述上级操作包括播放所接收的消息的功能时,所述因素包括关于时间、日期、位置以及发送者的信息中的至少一个。
9.一种用于利用语音识别设备控制包含在车辆中的电子设备的装置,包括:
语音指令接收器,被配置为接收并识别用于控制配置在所述车辆中或者与所述车辆相接合的电子设备的语音指令;
控制器,被配置为根据所述语音指令执行上级操作;以及
非语音输入接收器,被配置为接收用于执行从属于所述上级操作的下级操作的非语音输入,
其中,所述控制器响应于所述非语音输入执行所述下级操作,
其中,所述控制器被配置为;
确定哪个上级操作与所述语音指令相对应;
基于预定的组或者值来确定不能从所述语音指令识别出或者不包含在所述语音指令中但是对于执行所述上级操作所必需的因素;并且
基于所述语音指令和所述因素来执行所述上级操作。
10.根据权利要求9所述的装置,进一步包括:
麦克风,被配置为发送所述语音指令;以及
触摸屏和按钮中的至少一个,被配置为传送所述非语音输入。
11.根据权利要求9所述的装置,其中,在识别出所述语音指令之后识别所述非语音输入,直到完成所述上级操作。
12.根据权利要求9所述的装置,其中,在所述下级操作完成之后的预定时间内没有完成所述上级操作。
13.根据权利要求12所述的装置,其中,所述非语音输入接收器在所述下级操作完成之后的所述预定时间内识别用于执行从属于所述上级操作的任何下级操作的新的非语音输入。
14.根据权利要求9所述的装置,其中,所述上级操作包括播放所接收的消息的主要功能,而所述下级操作包括从属于所述主要功能的对消息进行回放、后退、快进、跳过、删除以及存储的多个子功能中的至少一个。
15.根据权利要求14所述的装置,其中,所述下级操作是基于用于存储消息的格式,并且所述装置进一步包括数据处理单元,所述数据处理单元被配置为以与所述下级操作相对应的所述格式修改消息。
16.根据权利要求9所述的装置,进一步包括:
通信单元,被配置为通过局域无线网络与移动设备相接合;
其中,经由所述移动设备传送所述非语音输入和所述语音指令中的至少一个。
17.根据权利要求16所述的装置,其中,由所述语音指令和所述非语音输入所激活的所述上级操作和所述下级操作被用于运行安装在所述移动设备中的车辆接合应用程序。
18.根据权利要求9所述的装置,其中,当所述上级操作包括播放所接收的消息时,所述因素包括关于时间、日期、位置以及发送者的信息中的至少一个。
CN201610641453.1A 2016-01-15 2016-08-05 用于车辆中的语音识别设备的装置及方法 Active CN106976434B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0005294 2016-01-15
KR1020160005294A KR101820291B1 (ko) 2016-01-15 2016-01-15 차량용 음성 인식 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN106976434A CN106976434A (zh) 2017-07-25
CN106976434B true CN106976434B (zh) 2021-07-09

Family

ID=59314547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610641453.1A Active CN106976434B (zh) 2016-01-15 2016-08-05 用于车辆中的语音识别设备的装置及方法

Country Status (3)

Country Link
US (1) US20170206059A1 (zh)
KR (1) KR101820291B1 (zh)
CN (1) CN106976434B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11221823B2 (en) * 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
US11295735B1 (en) * 2017-12-13 2022-04-05 Amazon Technologies, Inc. Customizing voice-control for developer devices
WO2019136383A1 (en) * 2018-01-05 2019-07-11 Veoneer Us, Inc. Vehicle microphone activation and/or control systems
DE102018108867A1 (de) * 2018-04-13 2019-10-17 Dewertokin Gmbh Steuereinrichtung für einen Möbelantrieb und Verfahren zum Steuern eines Möbelantriebs
CN109360561A (zh) * 2018-11-13 2019-02-19 东软集团股份有限公司 语音控制方法及系统、存储介质、语音模块、主控系统
CN111292749B (zh) * 2020-02-10 2023-06-09 北京声智科技有限公司 智能语音平台的会话控制方法及装置
US11570396B1 (en) * 2021-11-24 2023-01-31 Dish Network L.L.C. Audio trick mode

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1396520A (zh) * 2001-07-07 2003-02-12 三星电子株式会社 通过触摸屏或语音识别控制的通信终端及其指令执行方法
CN101119873A (zh) * 2005-02-17 2008-02-06 罗伯特·博世有限公司 用于对汽车中的器具或系统进行语音控制的方法和装置
KR20100030265A (ko) * 2008-09-10 2010-03-18 (주)에이치씨아이랩 네비게이션 단말에서 목적지 검색을 위한 대화형 음성 인터페이스 장치 및 그 방법
CN103649897A (zh) * 2011-07-14 2014-03-19 微软公司 用于基于上下文的菜单系统的子菜单

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2114853T3 (es) * 1989-06-09 1998-06-16 Nec Corp Aparato para consultar el contenido de una memoria de marcador en un equipo telefonico.
US6246983B1 (en) * 1998-08-05 2001-06-12 Matsushita Electric Corporation Of America Text-to-speech e-mail reader with multi-modal reply processor
US6697796B2 (en) * 2000-01-13 2004-02-24 Agere Systems Inc. Voice clip search
JP2006103509A (ja) 2004-10-05 2006-04-20 Denso Corp 車両用操作装置
JP4192933B2 (ja) * 2005-09-30 2008-12-10 ブラザー工業株式会社 表示装置及び表示プログラム
US9305288B2 (en) * 2008-12-30 2016-04-05 Ford Global Technologies, Llc System and method for provisioning electronic mail in a vehicle
US8239129B2 (en) * 2009-07-27 2012-08-07 Robert Bosch Gmbh Method and system for improving speech recognition accuracy by use of geographic information
KR101579537B1 (ko) * 2014-10-16 2015-12-22 현대자동차주식회사 자동차 및 자동차의 음성 인식 제어 방법
US20170010853A1 (en) * 2015-07-12 2017-01-12 Jeffrey Gelles System for remote control and use of a radio receiver
US9940929B2 (en) * 2015-12-09 2018-04-10 Lenovo (Singapore) Pte. Ltd. Extending the period of voice recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1396520A (zh) * 2001-07-07 2003-02-12 三星电子株式会社 通过触摸屏或语音识别控制的通信终端及其指令执行方法
CN101119873A (zh) * 2005-02-17 2008-02-06 罗伯特·博世有限公司 用于对汽车中的器具或系统进行语音控制的方法和装置
KR20100030265A (ko) * 2008-09-10 2010-03-18 (주)에이치씨아이랩 네비게이션 단말에서 목적지 검색을 위한 대화형 음성 인터페이스 장치 및 그 방법
CN103649897A (zh) * 2011-07-14 2014-03-19 微软公司 用于基于上下文的菜单系统的子菜单

Also Published As

Publication number Publication date
KR101820291B1 (ko) 2018-01-19
US20170206059A1 (en) 2017-07-20
CN106976434A (zh) 2017-07-25
KR20170085761A (ko) 2017-07-25

Similar Documents

Publication Publication Date Title
CN106976434B (zh) 用于车辆中的语音识别设备的装置及方法
JP6559825B2 (ja) 表示装置、情報端末操作方法
JP6103620B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP6074150B2 (ja) 車載情報システム、情報端末、アプリケーション実行方法、プログラム
CN110673964A (zh) 一种车载系统的音频播放控制方法和装置
JP6052610B2 (ja) 情報通信端末、およびその対話方法
CN104881276A (zh) 动态命令歧义消除
WO2018070385A1 (ja) ユーザインタフェースを制御する方法、プログラム及び装置
CN104115119A (zh) 与信息娱乐主机单元的移动装置应用程序集成
CN103324409A (zh) 在电子装置中提供快捷服务的设备和方法
JP5300276B2 (ja) データ処理装置及び論理ドライブのマウント方法
US20150268842A1 (en) Method for configuring dynamic user interface of head unit of vehicle by using mobile terminal, and head unit and computer-readable recoding media using the same
CN114500421B (zh) 消息处理方法和系统
JP5924326B2 (ja) 情報端末の表示制御装置及び情報端末の表示制御方法
KR101580852B1 (ko) 모바일 단말을 사용하여 차량의 헤드 유닛의 사용자 인터페이스를 동적으로 구성하는 방법, 이를 이용한 헤드 유닛 및 컴퓨터 판독 가능한 기록 매체
WO2018034265A1 (ja) ナビゲーションシステム及びコンピュータプログラム
CN101908058A (zh) 计算机实施系统
CN116700552B (zh) 应用接续方法和终端设备
CN111427529B (zh) 交互方法、装置、设备及存储介质
CN114827704A (zh) 与车辆的车载系统交互方法、存储介质和移动终端
CN113687731A (zh) 智能体控制装置、智能体控制方法以及非临时性的记录介质
US20200257413A1 (en) Vehicular avnt system, method of controlling the same and vehicle including the same
KR102313062B1 (ko) 차량용 디스플레이 장치에서의 서비스 프로그램 제공 방법
JP7310706B2 (ja) エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム
US20180054570A1 (en) Systems for effecting progressive driver-distraction-avoidance actions at a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant