CN1906661B - 设备控制装置和设备控制方法 - Google Patents
设备控制装置和设备控制方法 Download PDFInfo
- Publication number
- CN1906661B CN1906661B CN2004800409681A CN200480040968A CN1906661B CN 1906661 B CN1906661 B CN 1906661B CN 2004800409681 A CN2004800409681 A CN 2004800409681A CN 200480040968 A CN200480040968 A CN 200480040968A CN 1906661 B CN1906661 B CN 1906661B
- Authority
- CN
- China
- Prior art keywords
- equipment
- data
- processing
- circuit
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Abstract
语言分析部(2)对语音输入部(1)所输入的语音实施语音识别,确定该语音可能表示的单词及其分数,并将表示这些的单词数据提供给代理处理部(6)。代理处理部(6)存储对取得单词数据等的数据取得处理、判断处理和输入输出处理进行定义的处理项目数据和对从一个处理向下一处理过渡进行定义且对该过渡赋予加权系数的数据即线路,通过执行处理项目数据和线路作为整体表示的流程,来控制属于输入输出对象设备组(5)的设备。利用通过处理所行进的地点和线路的连接关系而决定的各线路的加权系数和单词数据的分数,来决定向流程内的哪个处理过渡。线路和处理项目数据可通过外部服务器下载。
Description
技术领域
本发明涉及设备控制装置和设备控制方法。
背景技术
近年来,采用了使用语音识别的技术来识别语音,并响应识别结果来控制电子设备等的方法。该方法例如如专利文献1中记载那样,识别所输入的语音表示的单词,判断识别出的单词是否与预定的关键词一致,并根据判断结果来控制外部设备。
专利文献1:日本特开平4-324312号公报
但是,完全识别人以语言的形式发出的指示很困难。因此,在上述方法中,有时不能适当响应人以语言的形式发出的指示的情况。
发明内容
本发明鉴于上述实际状况而作出,其目的在于提供一种可以适当响应人以语言形式发出的指示来控制设备的设备控制装置和设备控制方法。
为了实现上述目的,本发明的第一观点的设备控制装置的特征在于,包括:语音识别单元,取得表示语音的语音数据,通过对该语音数据实施语音识别,来确定该语音所表示的语句的候选;设备控制单元,根据所述语音识别单元所确定的候选和表示作为控制对象的外部多个设备的状态的数据,来确定为得到所述语音的说话者想要的结果而应变化的变量、应使该变量变化的方向和为使该变量 变化而应进行控制的设备,并控制所确定的设备,使所确定的变量向所确定的方向变化;
所述设备控制单元在可进行控制来使所确定的变量向所确定的方向变化的设备的个数是一个时,控制该一个设备;在存在多个可进行控制来使所确定的变量向所确定的方向变化的设备时,根据所述语音识别单元进一步取得语音数据所确定的候选,来确定想要操作可控制的各设备中的哪个设备,并控制所确定的设备。
所述设备控制单元也可在存在多个可进行控制来使所确定的变量向所确定的方向变化的设备时,输出对决定想要操作可控制的各设备中的哪个设备进行督促的数据。
此外,本发明的第二观点的设备控制方法的特征在于,具有下述步骤:语音识别步骤,取得表示语音的语音数据,通过对该语音数据实施语音识别,来确定该语音所表示的语句的候选;设备控制步骤,根据所述语音识别步骤所确定的候选和表示作为控制对象的外部多个设备的状态的数据,来确定为得到所述语音的说话者想要的结果而应变化的变量、应使该变量变化的方向和为使该变量变化而应进行控制的设备,并控制所确定的设备,使所确定的变量向所确定的方向变化;在所述设备控制步骤中,在可进行控制来使所确定的变量向所确定的方向变化的设备的个数是一个时,控制该一个设备;在存在多个可进行控制来使所确定的变量向所确定的方向变化的设备时,根据所述语音识别单元进一步取得语音数据所确定的候选,来确定想要操作可控制的各设备中的哪个设备,并控制所确定的设备。
此外,本发明的第三观点的计算机程序的特征在于,使计算机执行下述步骤:语音识别步骤,取得表示语音的语音数据,通过对该语音数据实施语音识别,来确定该语音所表示的语句的候选;设备控制步骤,根据所述语音识别步骤所确定的候选和表示作为控制对象的外部多个设备的状态的数据,来确定为得到所述语音的说话者想要的结果而应变化的变量、应使该变量变化的方向和为使该变量变化而应进行控制的设备,并控制所确定的设备,使所确定的变量向所确定的方向变化;在所述设备控制步骤中,在可进行控制来使所确定的变量向所确定的方向变化的设备的个数是一个时,控制该一个设备;在存在多个可进行控制来使所确定的变量向所确定的方向变化的设备时,根据所述语音识别单元进一步取得语音数据所确定的候选,来确定想要操作可控制的各设备中的哪个设备,并控制所确定的设备。
一种设备控制装置,用于控制多个设备(5),其特征在于,该设备控制装置包括:处理项目数据库(D4),将触发数据与过渡常数对应起来存储到该处理项目数据库(D4)中,所述触发数据能够确定使处理开始的触发;语音识别单元(2),取得表示语音的语音数据,通过对该语音数据实施语音识别来确定该语音所包含的语句的候选,并计算所述确定的语句的候选的似然度;以及设备控制单元(6),根据与包含所述语音识别单元(2)所确定的语句的触发数据相对应地存储的过渡常数以及由所述语音识别单元(2)计算出的该似然度,确定操作对象的设备,并控制所确定的设备,在所述确定的设备的个数是一个时,所述设备控制单元(6)控制该一个设备;在存在多个所述确定的设备时,所述语音识别单元(2)进一步取得语音数据并确定语句的候选,并且计算似然度,所述设备控制单元(6)计算出与包含所述语音识别单元(2)所确定的语句的触发数据相对应地存储的过渡常数和由所述语音识别单元(2)计算出的似然度之积所表示的值,根据与所计算出的值中的最大值相对应的语句的候选,确定操作对象的设备,并控制所确定的设备。
一种设备控制方法,用于控制多个设备,其特征在于,该设备控制方法包括下述步骤:语音识别步骤,取得表示语音的语音数 据,通过对该语音数据实施语音识别,确定该语音所包含的语句的候选,并计算所述确定的语句的候选的似然度;以及设备控制步骤,根据与包含所述语音识别步骤中所确定的语句的触发数据相对应地存储在处理项目数据库中的过渡常数以及通过所述语音识别步骤而计算出的该似然度,确定操作对象的设备,并控制所确定的设备;在所述确定的设备的个数是一个时,在所述设备控制步骤中控制该一个设备;在存在多个所述确定的设备时,在所述语音识别步骤中进一步取得语音数据并确定语句的候选,并且计算似然度,在所述设备控制步骤中,计算出与包含所述确定的语句的触发数据相对应地存储在所述处理项目数据库中的过渡常数和通过所述语音识别步骤而计算出的似然度之积所表示的值,根据与所计算出的值中的最大值相对应的语句的候选,确定操作对象的设备,并控制所确定的设备。
发明的效果
根据本发明,实现了可适当地响应人以语言的形式发出的指示来控制设备的设备控制装置和设备控制方法。
附图说明
图1是表示本发明的实施方式的车内空调系统的图;
图2是该实施方式的车内空调系统的更详细的结构图;
图3是模式表示分组用标志的具体例的图;
图4是用于说明触发取得处理的图;
图5是用于说明判断处理的图;
图6是用于说明带询问的判断处理的图;
图7是用于说明输入输出处理的图;
图8是表示线路(wire)的图;
图9是将处理项目数据库和线路数据库作为整体表示的流程图;
图10是用于说明加权系数的设定的图;
图11是用于说明代理处理部的动作的流程图;
图12是表示外部服务器(传输服务器)的结构和网络结构的图;
图13是用于说明下载处理的流程图;
图14是用于说明应用例的结构图;
图15是表示图14所示的系统的动作例的流程图;
图16是表示图14所示的系统的动作例的流程图;
图17是表示图14所示的系统的动作例的流程图;
图18是表示图14所示的系统的动作例的流程图。
符号说明
1语音输入部
2语言分析部
3语音合成处理部
4语音输出部
5输入输出对象设备组
51空调
52窗开关控制部
6代理处理部
具体实施方式
下面,参考附图,以在车辆内设置的车内空调系统为例来说明本发明的实施方式。
图1是表示该车内空调系统的结构框图。另外,图2是表示各部分的物理结构的例子的框图。
如图1所示,该车内空调系统具有语音输入部1、语言分析部2、语音合成处理部3、语音输出部4、输入输出对象设备组5和代理处理部6。
语音输入部1输入语音,并根据所输入的语音生成数字形式的语音数据,并将该语音数据提供给语言分析部2。具体来说,语音输入部1如图2所示,例如具有麦克风11、AF(AudioFrequency:音频)放大器12、内置有取样保持电路的A/D(Analog-to-Digital:模拟一数字)转换器13。麦克风11将语音转换为语音信号后输出。AF放大器12放大来自麦克风11的语音信号后输出。A/D转换器13通过取样、A/D转换来自AF放大器12的放大后的语音信号,从而生成数字语音数据,并供给到语言分析部2。
语言分析部2、语音合成处理部3和代理处理部6如图2所示,分别具有例如CPU(Central Processing Unit:中央处理单元)等构成的处理器21、31、61、存储该处理器21、31、61所执行的程序的硬盘装置等非易失性存储器22、32、62、具有作为处理器的工作区域的存储区域的RAM(Random Access Memory:随机访问存储器)等易失性存储器23、33、63。另外,语言分析部2、语音合成处理器3和代理处理部6的一部分或全部的功能也可由一个处理器、一个非易失性存储器及一个易失性存储器构成。
语言分析部2对从语音输入部1供给的语音数据进行语音识别处理。语言分析部2通过语音识别处理,来确定语音数据所表示的单词的候选和该候选的似然度(分数)。语音识别的方法任意。另外,也可确定多个单词的候选。语言分析部2生成表示所确定的候选和该候选的分数的数据(下面,称作单词数据),并提供给代理处理部6。
语音合成处理部3的非易失性存储器32存储音片数据库D1和素片数据库D2,该音片数据库D1存储表示单词的波形的数据,该 素片数据库D2存储用于构成音素的波形的波形数据。
音片数据库D1存储表示单词的波形的数据。素片数据库的D2存储用于构成音素用的波形数据。语音合成处理部3使用在音片数据库D1和/或素片数据库D2中存储的数据,生成表示朗读从代理处理部6供给的文章数据的语音的数字语音数据。
语音合成部3将所生成的语音数据供给语音输出部4。生成数字语音数据的方法任意,例如可以使用录音编辑方式和规则合成方式(Rule-based synthesis)。另外,录音编辑方式例如是预先使播音员朗读以单词为单位的语音、连接组合这些来进行输出的方式。另外,规则合成方法是连接组合如音韵(辅音和元音)和假名这种较小的单位来进行输出的方式。
语音输出部4再现从语音合成处理部3供给的数字语音数据所表示的语音。更详细来说,语音输出部4如图2所示,包括D/A(Digital-to-Analog)转换器41、AF放大器42和扬声器43。D/A转换器41对从语音合成处理部3供给的数字语音数据进行D/A转换,而转换为模拟语音信号。AF放大器42放大模拟语音信号。扬声器43根据模拟语音信号来进行振动,再现模拟语音数据所表示的语音,并进行播放。
输入输出对象设备组5例如具有空调(air condition)51和窗开关控制部52等。
空调51根据控制信号,进行制冷、供暖或送风的动作。另外,空调51输出表示自动的动作状态的数据,例如表示自己处于制冷动作中、供暖动作中、向设定温度的温度调整中、送风动作中和停止中的哪个状态的状态数据。
窗开关控制部52根据控制信号来进行窗的开关,包括电机、根据控制信号来控制电机的旋转和停止的控制电路、根据电机的旋转来使窗框运动的绞盘等。另外,窗开关控制部52的控制电路输出 表示窗开关控制部52的动作状态的数据,例如窗打开的量(程度、开度)的数据。
代理处理部6具有由调制解调器和数据包通信终端等构成的通信控制装置64,经该通信控制装置并经外部的网络(例如经无线电话线路的互联网)与后述的传输服务器100相连。
代理处理部6的非易失性存储器62存储单词数据库D3。单词数据库D3使多个单词数据和用于表示多个单词分组的单词分组用的一个以上的标志彼此相对应地存储。
与一个单词相对应的各标志与某个概念相对应地进行分组。并且,在标志表示预定的值(下面设该值为“1”)的情况下,将对应于该标志的单词分组为对应于该标志的组。另一方面,在该标志表示其他值(例如“0”)的情况下,不将该单词分组到对应于该标志的组上。
图3是模式地表示分组用标志的具体例的图。
在图3的例子中,使单词分组用标志每4比特对应于单词“升高”、“热”和“打开”。
4比特比特组的最高位(MSB)的标志对应于“温度”的概念。从高位起的第2比特的标志对应于“空调的操作”的概念。从高位起的第3比特的标志对应于“窗的开关”的概念。最低位的标志对应于“故障”的概念。另一方面,如图所示,对应于单词“升高”的4比特的比特的标志组的值是二进制“1110”,对应于单词“热”的标志组的值是二进制“1100”,对应于单词“打开”的标志组的值是二进制“1010”。
这时,该标志组表示:在概念“温度”下单词“升高”、“热”和“打开”被分组,在概念“空调的操作”下单词“升高”和“热”被分组,在概念“窗的开关”下单词“热”和“打开”被分组,在概念“故障”下单词“升高”、“热”或“打开”的任何 之一都没有被分组。
另外,各单词和各概念作为在处理项目数据库D4中存储的各处理项目的“判断条件”使用。
代理处理部6的非易失性存储器中还存储处理项目数据库D4和线路(wire)数据库D5。
处理项目数据库D4是存储了按每个处理项目(指针)来描述代理处理部6所执行的各种处理,例如触发取得处理(TGxx)、判断处理(CNxx或QBxx)和输入输出处理(后述的EXxx)的内容的数据(处理项目数据)的数据库。此外,“xx”是识别号。
在处理项目数据库D4中所存储的处理项目中,描述“触发取得处理(TGxx)”的内容的数据包含确定使这些处理开始的触发的触发数据(对作为触发所取得的数据的内容进行指定的数据)和后述的行进方向决定用的过渡常数(遷移定数)k(表示沿该行进方向过渡的程度,作为后述的加权系数J的运算基准的常数)。
触发数据任意,例如,是表示空调处于制冷动作中、供暖动作中、温度调整中、送风动作中和停止中的其中哪种状态的数据、表示窗打开的量的数据、表示室内的温度的数据或从语言分析部2供给的上述单词数据。或者,触发数据也可以是从代理处理部6自身进行的处理传递的数据。另外,在触发数据(在触发取得处理中取得的数据)是单词数据的情况下,也可以是表示分配到该单词数据表示的单词所属的分组中的“概念”的数据。但是,触发取得处理的内容如后所述,描述为多个触发取得处理不取得彼此表示同一单词的单词数据。
图4(a)表示触发取得处理TGxx的例子。在该例中,触发TG01是取得作为触发的单词“热”(识别单词“热”)的处理,用于决定是否进入(过渡)到后续于该处理的处理用的过渡常数k是0.8。图4(b)表示触发取得处理TG01的流程图。触发取得处 理TG02是取得单词“打开”的处理。触发取得处TG03是取得属于对应于概念“温度”的组的单词(图3中,取得“升高”、“热”、“打开”的其中之一)的处理。TG04是属于与概念“空调的操作”对应的组的单词(图3中,取得“升高”、“热”的其中之一)的处理。
在处理项目数据库D4中存储的描述“判断处(CNxx)”的内容的数据包含按判断处理的不同对判断条件、作为判断结果取得的结果的列表、后述的返回方向的过渡常数k进行描述的数据。描述判断结果的内容的数据包含按每个判断结果描述用于决定行进方向的行进方向的过渡常数k的数据。
图5(a)表示判断处理CNxx的例子。判断处CN01是“判断窗是否是打开的处理”,用于在判断为开着时,决定是否进入到后续的处理的过渡常数k是0.3,用于在判断为没有打开时决定是否进入到后续于其的处理的过渡常数k是0.4。图5(b)表示该例的流程图。图5(b)所示的节点CN0.1.1是表示处理的开始点的始点节点,节点CN01.2是判断为“窗关闭”时的行进方向的节点,其过渡常数k是0.4。进一步,节点CN01.3是判断为窗打开着时的行进方向的节点,其过渡常数k是0.3。另外,判断处理CN02是判断空调51的状态是否是打开(动作中)的处理,用于在判断为动作中时决定是否进入到后续的处理的过渡常数k是0.5,判断为关闭(没有动作)时的过渡常数k是0.3。
“判断处理”设为可以从任意的取得源取得用于判断的数据。作为取得源,考虑例如语言分析部2、代理处理部6所执行的其他处理、属于输入输出设备组5的设备(传感器)和其他外部的设备等。并且此时,描述判断处理的内容的数据例如也可以还包含对用于判断的数据的取得源进行指定的数据。
另外,“判断处理”中,也可在判断之前将预定的数据输出到 预定的输出目的地(这时,将表示处理的记号设作例如QBxx)。例如,考虑在判断之前将表示预定的问题的数据传到语音合成处理部3等。判断处理中在判断预定的数据之前输出预定的数据的情况下,描述判断处理的内容的数据包含例如对输出的数据的内容和该数据的输出目的地进行指定的数据。
图6(a)表示判断处理QExx的例子。在该例子中,例如判断处理QB01中,向使用者询问“开窗吗?打开空调吗?”,在其应答(使用者的回答)是“打开空调”时的行进方向的过渡常数k是0.7,是“开窗”时的行进方向的过渡常数是0.4。图6(b)表示该例的流程图。图6(b)所示的节点QB01.1是表示处理的开始点的始点节点,节点QB01.2是在对于询问判断出指定了打开“空调”时的行进方向的节点,其过渡常数k是0.7。进一步,节点QB01.3是判断出指定了开窗时的行进方向的节点,其过渡常数k是0.4。另外,判断处QB02向使用者询问“关窗吗?”,在其应答(使用者的回答)是“关闭”时的行进方向的过渡常数k是0.5,是“不关闭”时的行进方向的过渡常数k是0.3。
处理项目数据库D4中存储的描述“输入输出处理”的内容的数据由对输入或输出的数据的内容进行指定的数据构成。输入数据和输出数据可具有任意的内容。例如,输出数据也可以是表示经语音合成处理部3使语音输出部4产生的语音的朗读的数据和控制外部设备的控制信号。另外,输入数据也可以是例如从外部设备供给的数据。
图7(a)表示输出处理EXxx的例子。在该例子中,例如,输出处理EX01是“关闭窗且使空调动作”的动作,进行动作后的处理的行进方向的过渡常数k是0.8。图7(b)表示该例子的流程图。图7(b)所示的节点EX01.1是表示处理的开始点的始点节点,节点EX01.2是表示处理的结束的节点,过渡常数k是0.8。另 外,对于输出处理EXxx也可将表示处理的结束的节点的选择作为必需的处理,而不进行过渡常数k的设定。
线路数据库D5由描述多个处理(TG、CNxx、QBxx、EXxx)之间的过渡的数据(下面,将该数据称作线路)的集合构成。线路由例如图8所示的格式所描述的数据构成。线路Wn(W1、W2…)如图所示,是对于从在先的处理X(从(X))向后续的处理Y(到(Y))过渡(从(X)到(Y)),对该在先的处理(X)、该后续的处理(Y)和提供给该过渡的加权系数J进行指定的数据。另外,在在先的处理X是判断处理的情况下,还需要描述是来自该判断处理的哪个判断结果的过渡。另外,过渡源处理X和过渡目的地Y分别由各处理的节点号来确定。
各线路的加权系数J不是固定值,根据处理的进行,来适当计算、设定。参考图10来在后描述线路的加权系数J的计算。
代理处理部6执行处理项目数据库D4和线路数据库D5作为整体表示的流程。处理项目数据库D4和线路数据库D5若基于例如图3~图8的例子,则作为整体可以描述如图9所示的流程。
图9所示的流程中,代理处理部6在触发取得处理TG01中,等待从语言分析部2供给表示“热”的单词的单词数据,若被供给,则取得其而转交判断处理CN01(线路W1)。
代理处理部6在判断处理CN01中,从窗开关控制部52中取得表示窗是否打开着的信息,若判断为打开着,则使处理移到输入输出处理EX01(线路W2)。输入输出处理EX01中,向窗开关控制部52输出指示关闭窗的控制信号,并向空调51输出指示开始制冷动作的控制信号。结果,窗开关控制部52关闭窗,空调51开始制冷动作。
另一方面,判断处理CN01中,若判断为窗关闭,则使处理移到包含问题的判断处理QB01中(线路W3)。判断处理QB01 中,代理处理部6首先将表示“开窗吗?或是打开空调吗?”的文章的数据供给语音合成处理部3。语音合成处理部3经语音输出部4,使朗读该文章的语音再现。
判断处理QB01中,代理处理部6接着等待从语言分析部2供给表示单词“窗”或单词“空调”的数据,若供给了该数据,则判断该数据表示单词“窗”或单词“空调”的哪一个。并且,若判断为表示单词“窗”,则处理移到输入输出处理EX03(线路W5),若判断为表示单词“空调”,则处理移到输入输出处理EX02(线路W6)。
代理处理部6在输入输出处理EX02中,向空调51输出指示开始制冷的控制信号。另一方面,代理处理部6在输入输出处理EX03中,向窗开关控制部52输出指示打开换气用的窗的控制信号。
另一方面,代理处理部6等待从语言分析部2供给表示“开窗”或“打开”的单词的语言(触发取得处理TG02),若被供给,则使处理移到输入输出处理EX03(线路W4)。
代理处理部6在例如语言分析部2供给了多个单词数据的情况等中,并行进行多个判断处理。这时,代理处理部6在存在多个将同一单词作为输入的对象的处理(例如触发取得处理和判断处理中的数据的输入),在从语言分析部2供给表示所对应的单词的单词数据的情况下,并行进行所有这些处理。
接着,说明计算各线路的加权系数J的方法。
在通过线路W来连接多个处理的情况下,所关注的线路W的加权系数J通过将当前处理中的处理为起点依次将到达所关注的线路W为止的过渡路径上的过渡常数k进行相乘来求出。
为了使理解变得容易,图10(a)假定表示流程的处理。图10(a)的处理作为整体如下,若用户发出“热”,则检测出该发言 而开始,首先,判断窗是否打开着,在关闭的情况下,向用户询问开窗还是打开空调,并进行与用户的回答对应的处理。
图10(a)所示的处理中,对于处理TG101、CN101、QB101的某一个,各行进方向决定用的过渡常数k对于顺方向都是0.5,对于逆(返回)方向都是0.1。这时,线路如图10(b)所示那样来被定义。
例如,代理处理部6在处理(或控制)位于触发取得处理TG101时(处理指针PP指向触发取得处理TG101时),通过以触发取得处理TG101为起点,依次对到关注的线路为止的路径上的过渡常数k相乘,来计算线路W51~W55(在存在图中未示的线路的情况下包含全部这些)的各自的加权系数J,并使计算结果对应于线路W51~W55而写入到线路数据库D5。
具体来说,当处理位于触发取得处理TG101时,线路W51的加权系数J为分配给与触发取得处理TG101的判断处理CN101连接的节点的过渡常数k的值即0.5。
判断处理CN101的线路W52的加权系数J为将分配给与判断处理CN101的线路W52相连的节点的过渡常数k=0.5乘以触发取得处理TG101的线路W51所涉及的过渡常数k=0.5后的结果即0.25。同样,判断处理CN101的线路W54的加权系数J为将与判断处理CN101的线路W54相连的节点的过渡常数k=0.5乘以分配给与触发取得处理TG101的线路W51相连的节点的过渡常数k=0.5后的结果即0.25。
另外,线路W53的加权系数J为在分配给与判断处理CN101的线路W52相连的节点的过渡常数k=0.5乘以分配给与触发取得处理TG101的线路W51相连的节点的过渡常数k=0.5后的结果上进一步乘以分配给与判断处理QB101的线路W53相连的节点的过渡常数k=0.5的结果,即0.125。同样,线路W55的加权系数J为在 将分配给与判断处理CN101的线路W52相连的节点的过渡常数k=0.5乘以分配给与触发取得处理TG101的线路W51相连的节点的过渡常数k=0.5后的结果上,进一步乘以分配给与判断处理QB101的线路W55相连的节点的过渡常数k=0.5的结果,即0.125。
若处理过渡到判断处理CN101,则线路W52的加权系数J为与分配给与线路W52相连的节点的过渡常数k相等的值0.5,线路W54的加权系数J为与分配给与线路W52相连的节点的过渡常数k相等的值0.5。另外,线路W53的加权系数J为分配给与线路W52相连的节点的过渡常数k=0.5和分配给与判断处理QB101的线路W53相连的节点的过渡常数k=0.5的积即0.25,线路W55的加权系数J是分配给与线路W52相连的节点的过渡常数k=0.5和分配给与判断处理QB101的线路W55相连的节点的过渡常数k=0.5的积即0.25。进一步,逆方向(与返回到触发取得处理TG101的方向)有关的线路W51的加权系数J为与分配给与线路W51相连的节点的返回方向的节点的过渡常数k=0.1相等的值0.1。
进一步,若处理过渡到判断处理QB101,则线路W53和W55的加权系数J为与分配给和线路W53和W55分别相连的节点的过渡常数k相等的值0.5。进一步,线路W52的加权系数J是分配给与其相连的返回方向的节点的返回方向的过渡常数k=0.1。进一步,线路W51的加权系数J是分配给与判断处理QB101的线路W52相连的节点的返回方向的过渡常数k=0.1与分配给与判断处理CN101的线路W51相连的返回方向的节点的返回方向的过渡常数k=0.1的积0.01。线路W54的加权系数J为分配给与判断处理QB101的线路W52相连的节点的返回方向的过渡常数k=0.1与分配给与判断处理CN101的线路W54相连的节点的过渡常数k=0.5的积0.05。
图10(c)表示各线路Wn的加权系数J的变化的例子。
加权系数J的计算不仅对相关的流程的处理,还对所有的流程的全部线路来加以执行,将计算出的加权系数J设定在各线路上。这里对于与当前的处理不相关的线路,也可分配预定的低计数值。但是,尤其对于将触发取得处理作为在先的处理的线路,将过渡常数k在某种程度上设定得高。由此,还可以跳到与之前进行的通话显著不同内容的通话上。
接着,参考图11来说明这样构成的系统整体的动作。
语音输入部1和语言分析部2独立动作,取得语音,进行分析,并将单词数据提供给代理处理部6。
并且,代理处理部6若从语言分析部2被供给与判断条件有关(一个或多个)的单词数据,则进行下面的处理。
首先,代理处理部6认出(识别)所供给的单词(图11步骤S11),并判断其是否相当于在单词数据库D4上注册的单词(步骤S12)。若没有注册(步骤S12的“否”),则结束单词输入处理。
另一方面,若注册了(步骤S12的“是”),则对于将该单词或该单词所属的组的“概念”作为条件的处理,计算单词的似然度和线路的加权系数J的积(步骤S13)。
例如,在执行图10(a)所示的流程的情况中,设作处理指针PP指示触发取得处理TG101。这时的各线路的加权系数J如图10(c-1)所示那样。
在该状态下,假定为输入了表示分数为80%的单词“热”和分数为50%的单词“窗”的单词数据。在图10(a)所示的例子中,触发取得处理TG101中,单词“热”与判断相关,在判断处理QB101中,单词“窗”与判断有关。如图10(c-1)所示,将输入表示单词“热”的单词数据的处理作为在先的处理的线路W51的加权系数J是0.5,将输入表示单词“窗”的单词数据的处理作为 在先的处理的加权W53的加权系数J是0.125。这时,对线路W51和W53求出的似然度S和加权系数J的积如算式1和2所示。
(式1)对线路W51的似然度S和加权系数J的积J·S:“热”的分数80%×线路W51的加权系数J(=0.5)=40
(式2)对线路W53的似然度S和加权系数J的积J·S:“窗”的分数50%×线路W53的加权系数0.125=6.25
代理处理部6对于流程所具有的所有线路来进行求出分数和加权系数的积的上述处理。接着,代理控制部6选择计算出的积S·J最大的线路(图11,步骤S14)。代理控制部6在所选择的线路中对后续的处理进行控制(步骤S15)。例如,在对线路W51求出的积表示最高的值的情况下,识别出所输入的单词数据表示单词“热”,线路W51过渡到作为后续的处理的判断处理CN101。通常,若以当前的处理中的处理为起点,则线路的加权系数J较大。因此,一般上,虽然进入到下一处理,但在与以前完全不同且似然度高的单词被输入的情况下,有时开始与该单词对应的处理。
代理处理部6在处理过渡后,根据过渡后的状态,再次计算各线路的加权系数J(步骤S16)。之后,根据该处理的内容来进入处理(步骤S17)。
在该例子中,执行判断处理CN101。即,代理处理部6进行从窗开关控制部52取得窗的开关信息等的处理。
另外,来自窗开关控制部52的表示窗的开关的信号也可以是开的似然度为100%或0%,关的似然度为0%或100%。另外,也可根据开度变化。并且,若在处理的过程中,有输入输出处理EXxx,代理处理部6执行该处理而输出语音数据,则将其作为语音来进行播放。另外,若在处理过程中,如输入输出处理EX01那样,执行对空调和窗开关控制部52进行控制的处理,则根据该处理内容,进行对空调51和窗开关控制部52的控制。
另外,图8、图9中,主要说明了基于“单词”的判断处理,但是在基于概念的判断处理中也同样进行。此处,来自基于单词或概念的触发取得处理的线路也作为判断的对象。对于来自触发取得处理的过渡,也可设定某种程度上为高的加权系数。具体来说,在例如图8的线路组,即图9的流程中,对于来自取得表示“开窗”的单词的单词数据的触发取得处理TG02的过渡,例如赋予加权系数0.8。这样,例如,在代理处理部6的处理属于触发取得处理TG01的情况下,用户发出“开窗”,例如若得到对于单词“开窗”的分数为90%的单词数据,则该分数和与“用户是否说‘开窗’的判断”有关的线路W5的加权系数的积是90%×0.8即72。若该值是对其他线路计算出的分数和加权系数J的积中不能得到的大的值,则将所输入的语音识别为“开窗”,代理处理部6的处理跳到判断处理QB101的可能性升高。另一方面,若将其他线路的加权系数设定得很低,则引起由这些其他线路定义的过渡的可能性极低,结果,可以沿某种程度假定的通话的发展来提高识别率,从而进行控制处理。
在该实施方式中,还会引起向返回方向的过渡。但是,现实中不希望返回通话的情况很多。因此,将返回方向的过渡常数k设定为比前进方向的过渡常数k低的值即可。这样,即使从所输入的语音中暂时得到分数高的语音数据,由于对于写入了根据返回方向的过渡常数k所得到的加权系数J的线路,所求出的积S·J为小的值,所以,可以将向返回方向的过渡的可能性抑制为很低。另外,代理处理部6也可进行处理,将所求出的积的值与预定的条件不一致的处理(例如积的值没有达到预定值的处理)从执行过渡的对象中除去。
另外,例如如图8所示,线路以从处理项目向处理项目的形式来定义过渡。并且,通过以图8所示这种形态描述线路来存储在线 路数据库D5中,可以恰好如计算机的微处理那样来定义各处理项目彼此的关系。由此,可以容易连接各处理项目。
另外,由于作为触发的处理项目为实际上相连的线路有关的识别对象单词等(还会有来自其他输入对象设备组的输入的情况)的分数的判断,所以在线路中不将触发取得处理项目定义为线路的开始点,而将线路本身定义为过渡源。
进一步,如上所述,通过由线路来定义各处理项目的连接关系,可以简单地追加线路。例如,在“热”的语音输入后,用户想要进行休息而输入“搜索家庭饭店”的语音的机会多的情况下,对家庭饭店的检索处理项目自动追加线路。这样,在自动追加了线路之后,通过某种程度地变大与家庭饭店检索项目相连的线路的加权系数,可以适当对应该输入“搜索家庭饭店”。(其中,这种情况下,代理处理部6存储包含例如表示家庭饭店的位置的信息的地图数据等,或访问外部的地图数据等)。
可以对从某个处理项目向某个处理项目的跳跃的次数进行计数,在其达到预定次数时自动进行该线路的自动追加。
如前所述,代理处理部6具有将处理项目数据库D4和线路数据库D5的内容更新为从外部供给的新的处理项目数据和线路的功能。具体来说,例如,存储处理项目数据和/或线路的外部服务器在更新其内容时,经网络向代理处理部6通知有处理项目数据和/或线路的更新。这样,代理处理部6响应于该通知,经网络访问该服务器,并下载新的处理项目数据和/或线路。并且,将在自己的处理项目数据库D4和线路数据库D5中存储的旧的处理项目数据和/或线路更新为下载后的新的处理项目数据和/或线路。
另外,代理处理部6若访问外部服务器来更新数据库,则也可下载这些。
图12表示外部服务器的结构例。
该外部服务器100经通信网络将单词数据、处理项目数据和/或线路数据分配到多个车辆代理处理部6,具有控制部110、通信控制部120、单词数据库130、处理项目数据库140、线路数据库150、输入部160和输出部170。
控制部110例如由CPU(Central Processing Unit:中央运算处理装置)等构成,控制传输服务器100的各部分,并通过执行预定的程序来实现后述的各处理。
通信控制部120例如具有调制解调器、路由器等通信装置,控制经传输服务器100和车辆代理处理部6(通信控制部)之间的网络进行的通信。
网络的结构任意。例如,可以采用专用线路、公众线路网、有线电视(CATV)网、无线通信网、有线广播网等。
单词数据库130例如由硬盘装置等可改写的存储装置构成,将传输服务器100传输的单词数据与版本信息(例如时间戳)一起来存储。
处理项目数据库140例如由硬盘装置等可改写的存储装置构成,将传输对象的处理项目数据与版本信息(例如时间戳)一起来进行存储。
线路数据库150例如由硬盘装置等可改写的存储装置构成,将分配对象的线路数据与版本信息(例如时间戳)一起来进行存储。
传输服务器100的管理者适当操作输入部160,来更新各DB130~150的信息。
各车辆的代理处理部6在经通信控制部(CCU)64接收来自传输服务器100的更新通知后,例如开始图13(a)的处理,确立通话(步骤S21),下载更新后的数据,更新自己的数据库(步骤S22)。或者,各车辆的代理处理部6定期或适当地经通信控制部(CCU)64访问该传输服务器100,来确立通话(步骤S31),并 取得各数据库的版本信息(带更新日等)(步骤S32)。并且,比较两数据的版本(步骤S33),下载比自己存储的数据新的数据,来设定在自己的数据库中(步骤S34)。
若为这种结构,则仅通过更新在传输服务器100中记录的信息,就可以适当更新可利用传输服务器100的所有的车辆控制系统的数据。
另外,最好预先压缩和加密数据后存储在传输服务器100中,代理处理部6下载后解压及解密数据后设定在数据库中。由此,可以抑制通信量,防止信息泄漏。
代理处理部6从传输服务器100下载数据的定时任意,而并不限于上述的例子,例如,在没有存储与用户的请求对应的处理项目和/或线路的情况下,也可将其检测出并经网络访问传输服务器100,下载新的项目数据和/或线路。进一步,在新追加了与代理处理部6相连的输入输出对象设备5的情况下,以及在追加了新的功能的情况下,也可自动将其检测出,并与上述相同,经网络来访问传输服务器100,下载新的处理项目数据和/或线路。
(对实际的控制的应用例)
在以上的说明中,以控制空调51和窗开关控制部52的情况为例说明了本发明,但是控制对象任意,另外,控制的情况也任意。下面,说明控制空调、音频装置和窗开关控制部的其他例子。
如图14所示,在该例中,控制对象设备5包含音频装置53。该音频装置53根据来自代理处理部6的指示来进行动作,并且,将表示自己的动作状况的状态信号提供给代理处理部6。
另外,在该实施例中,单词数据库D3中,表示概念“上升”和概念“下降”的单词被分别分组。例如,单词“升高”、“上升”、“提高”、“上”等分组为概念“上升”,单词“降低”、“下降”、“减少”、“下”等分组为概念“下降”。
首先,说明以音频装置53和窗开关控制部52为控制对象的动作(不涉及空调51的控制)。
另外,在该例子中,利用在处理项目数据库D4中存储的处理项目数据和在线路数据库D5中存储的线路,来规定由图15的流程表示的处理。
若用户发出含义为“升高”等的上升的语音,则语音输入部1和语言分析部2进行语音识别处理,并将候选“升高”及其分数、以及其他的候选及其分数提供给代理处理部6。
如前所述,在各线路W上,以该时刻的处理指针PP所表示的位置为基准,设定距基准位置越远则越小的加权J。
代理处理部6如参考图11在前所述那样,对于各候选,判断是否适合于所有目标取得处理TG和判断处理CN或QB的判断。代理处理部6对于判断为合适的处理的、合适的候选所对应的线路W,使在该时刻的各线路的加权J和各单词的分数S相乘,并对各线路求出乘法运算值S·J。并且,相互比较所求出的各线路的积S·J,执行导出具有最大的乘法运算值S·J的线路W的处理。
在图15的例子中,代理控制部6在目标取得处理TG101中,判断为所输入的单词“升高”适合于概念“上升”。并且,对于线路W101,求出加权J和单词“升高”的分数S的积J·S。并且,(假定为)对线路W101的积是比对其他线路的积大的值。这样,处理沿着线路W101而进入到判断处理CN101。
代理处理部6在判断处理CN101中,从音频装置53中取得状态信息,从窗开关控制部52中取得表示窗的开关状态的信息。
代理处理部6在判断处理CN101中判断为“音频装置53不动作且窗关闭”的状态的情况下,其处理沿着线路W102,进入到带询问的判断处理QB101,将“升高什么?接通音频的电源吗?”等催促对操作的对象和内容进行确定的消息输出到语音合成处理部3 中。语音合成处理部3和语音输出部4生成所对应的语音,并将其播放。
若响应于该消息,用户发出例如“音频”或“接通”,则识别该单词,控制沿着线路W103进入到输入输出处理EX101,代理处理部6控制音频53来接通其电源。
在判断处理CN101中,在判断为音频装置53在动作中且窗也打开(玻璃比原位置低的状态)的情况下,处理沿着线路W104进入到判断处理QB102,输出“升高什么?音量?或窗?”等催促确定操作对象的消息。
若响应于该消息,用户发出例如“音频”、“音量”、“音”等,则识别这些单词,控制沿着线路W105,进入到输入输出处理EX102。输入输出处理EX102输出升高(变大)音量的消息。控制沿着线路W106,到达输入输出处理EX103,向音频装置53指示增加预定量的音量。若响应于该消息,用户发出例如“窗”、“window”等,则识别这些单词,控制沿着线路W110,进入到输入输出处理EX104。
另一方面,在判断处理CN101中,在判断为音频装置53在动作中且窗为关闭的状态的情况下,与概念“上升”对应且可控制的设备仅仅是音频装置53。因此,控制沿着线路W107进入到输入输出处理EX102,输出“升高音量”等消息,在输入输出处理EX103中,使音频装置53的音量上升预定量。
另外,在判断处理CN101中,在判断为音频装置53停止中且窗打开的状态的情况下,与概念“上升”对应且可控制的设备仅仅是窗开关控制部52。因此,控制沿着线路W108,在输入输出处理EX104中输出“关闭窗”等消息后,沿着线路W109,在输入输出处理EX105中使窗升高而关闭。
接着,说明控制空调51和窗开关控制部52的处理。
另外,在该例中,通过在处理项目数据库D4中存储的处理项目数据和在线路数据库D5中存储的线路,来规定由图16的流程表示的处理。
若用户发出“升高”等含义是上升的语音,则目标取得处理TG201判断为所输入的单词“升高”适合于概念“上升”。并且,(假定为)对线路W201的识别结果的似然度(分数)S和加权系数J的积S·J为比其他线路的积大的值。
这样,处理沿着线路W201进入到判断处理CN201。代理处理部6在判断处理CN201中,从空调装置51中取得状态信息,从窗开关控制部52中取得表示窗的开关状态的信息。
代理处理部6在判断处理CN201中判断为“空调51不动作且窗关闭”的状态的情况下,该处理沿着线路W202,进入到带询问的判断处理QB201中,并将“升高什么?进行供暖吗?”等催促对操作的对象和内容进行确定的消息输出到语音合成处理部3。语音合成处理部3和语音输出部4生成所对应的语音,并播放该语音。
若响应于该消息,用户发出例如“供暖”、“空调”、“温度”、“接通”,则识别该单词,控制沿着线路W203进入到输入输出处理EX201,代理处理部6控制空调装置51而接通该电源。
在判断处理CN201中,在判断为“空调装置51动作中且窗打开(比原位置低的状态)”的情况下,处理沿着线路W204,将“升高什么?空调的设定温度?或者窗?”等催促确定操作对象的消息。若响应于该消息,用户发出例如“空调”、“温度”或“设定”等,则识别这些单词,控制沿着线路W205,进入到输入输出处理EX202。输入输出处理EX202中,输出升高空调的设定温度的消息。接着,控制沿着线路W206到达输入输出处EX203,向空调装置51指示设定温度的升高。
另一方面,若响应于在处QB202中输出的消息,用户发出例如“窗”、“关闭”等,则识别这些单词,控制沿着线路W207,进入到输入输出处EX204。在输入输出处理EX204中,输出关闭窗的消息。控制沿着线路W208,达到输入输出处理EX204,并向窗开关控制部52指示窗的升高(窗玻璃的升高)。
另一方面,在判断处理CN201中,判断为“空调装置51动作中且窗关闭的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是空调装置51。因此,控制沿着线路W209进入到输入输出处理EX202,输出“升高空调的设定温度”的消息,并在输入输出处EX203中,使设定温度升高预定量。
另外,在判断处CN201中,在判断为“空调装置51停止中且窗打开的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是窗开关控制部52。因此,控制沿着线路W210,在输入输出处EX204中输出“关闭窗”等消息后,沿着线路W208,在输入输出处理EX205中关闭窗(使窗玻璃上升)。
接着,说明控制空调51和音频装置53的动作。
另外,在该例中,通过在处理项目数据库D4中存储的处理项目数据和在线路数据库D5中存储的线路,来规定由图17的流程表示的处理。
在用户发出“升高”等的含义是上升的语音后,目标取得处理TG301判断出所输入的单词“升高”适合于概念“上升”。并且,(假定为)对于线路W301的分数S和加权J的积为比对其他线路的积大的值。
这样,处理沿着线路W301进入到判断处理CN301。代理处理部6在判断处理CN301中,从空调51和音频装置53中分别取得表示动作状态的信息。代理处理部6在判断处理CN301中判断为是“空调51不动作且音频装置53不动作”的状态的情况下,该处理 沿着线路W302,进入到带询问的判断处理QB301中,并将“升高什么?进行供暖吗?接通音频的开关吗?”等催促对操作的对象和内容进行确定的消息输出到语音合成处理部3中,语音合成处理部3和语音输出部4生成所对应的语音,并播放该语音。
若响应于该消息,用户发出例如“供暖”、“空调”、“温度”等,则识别该单词,控制沿着线路W303进入到输入输出处理EX301,代理处理部6控制空调装置51而接通该电源。另外,若响应于消息,用户发出例如“音频”、“音乐”等,则识别该单词,控制沿着线路W304而进入到输入输出处理EX302,代理处理部6控制音频装置53而接通其电源。
在判断处理CN301中,在判断为“空调装置51和音频装置53都为动作中”的情况下,处理沿着线路W305,将“升高什么?空调的设定温度?音频的音量?”等催促确定操作对象的消息。若响应于该消息,用户发出例如“空调”、“温度”或“设定”等,则识别这些单词,控制沿着线路W306,进入到输入输出处理EX303。输入输出处EX303中,输出升高空调51的设定温度的消息。控制沿着线路W307,达到输入输出处理EX304,向空调装置51指示设定温度的升高。另一方面,在响应于处QB302中输出的消息,用户发出例如“音频”、“音”等,则识别这些单词,控制沿着线路W308,进入到输入输出处理EX305。输入输出处理EX305中,输出变大音频的音量的消息。控制沿着线路W309,达到输入输出处理EX306,并向音频装置53指示声音音量的上升(变大声音)。
另一方面,在判断处理CN301中,判断为“空调装置51动作中且音频装置53为关闭的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是空调装置51。因此,控制沿着线路W310进入到输入输出处理EX303,输出“升高空调的设定温度” 的消息,并在输入输出处理EX304中,使设定温度升高预定量。
另外,在判断处理CN301中,在判断为“空调装置51停止中且音频装置53动作中的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是音频装置53。因此,控制沿着线路W311,在输入输出处理EX305中输出了“升高音量”等消息后,沿着线路W309,而在输入输出处理EX306中升高音频装置53的音量。
接着,说明以空调51、窗开关部52和音频装置53全部作为控制对象的情况下的控制。
另外,在该例子中,通过在处理项目数据库D4中存储的处理项目数据和在线路数据库D5中存储的线路,来规定由图18的流程表示的处理。
在用户发出“升高”等的含义是上升的语音后,目标取得处理TG401判断为所输入的单词“升高”适合于概念“上升”。并且,(假定为)对于线路W401的分数S和加权J的积为比对其他线路的积大的值。
这样,处理沿着线路W401进入到判断处理CN401。代理处理部6在判断处理CN401中,从装置51~53中分别取得表示动作状态的信息。代理处理部6在判断处理CN401中判断为“空调51不动作、窗关闭且音频装置53不动作”的状态的情况下,该处理沿着线路W402,进入到带询问的判断处理QB401中,并将“升高什么?进行供暖吗?接通音频的开关吗?”等催促对操作的对象和内容进行确定的消息输出到语音合成处理部3中,语音合成处理部3和语音输出部4生成所对应的语音,并播放该语音。
若响应于该消息,用户发出例如“供暖”、“空调”、“温度”等,则识别该单词,控制沿着线路W403进入到输入输出处理EX401,代理处理部6控制空调装置51而接通该电源。另外,若响 应于消息,用户发出例如“音频”、“音乐”等,则识别该单词,控制沿着线路W404进入到输入输出处理EX402,代理处理部6控制音频装置53而接通其电源。
在判断处理CN401中,在判断为“空调装置51动作中,窗为关闭的状态且音频装置53为关闭的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是空调装置51。因此,控制沿着线路W405进入到输入输出处EX403,输出“升高空调的设定温度”的消息,进一步,沿着线路W406,在输入输出处EX404中,使设定温度升高预定量。
在判断处CN401中,在判断为“窗为打开的状态且空调装置51和音频装置53为关闭的状态”的情况下,对应于概念“上升”且可进行控制的设备仅仅是窗开关控制部51。因此,控制沿着线路W407进入到输入输出处EX405,输出“关闭窗”的消息,并沿着线路W408,在输入输出处EX406中关闭窗(使窗玻璃上升到原位置)。
在判断处CN401中,在判断为“音频装置53动作中、空调装置51停止中且窗关闭”的情况下,对应于概念“上升”且可进行控制的设备仅仅是音频装置53。因此,控制在沿着线路410,在输入输出处EX408中输出了“升高音量”等消息后,沿着线路W411而在输入输出处EX408中升高音频装置53的音量。
在判断处理CN401中,在判断为上述的情况之外的动作状态的情况下,处理沿着线路W412输出“升高什么?空调的设定温度?关闭窗吗?音频的音量吗?”等催促确定操作对象的消息。若响应于该消息,用户发出例如“空调”、“温度”或“设定”、“窗”、“关闭”、“玻璃”、“音频”、“音”等,则识别这些单词,控制根据该内容,适当沿着线路W413~W415,例如,进入到前述的输入输出处理EX403、EX405、EX408。
根据以上说明的结构,为了得到用户口头指示的结果,可以确定应变化的变量(空调的设定温度、窗玻璃的位置或音频装置53的音量)、,应使该变量变化的方向(上升)和为使该变量变化而应进行控制的设备(空调装置51、窗开关控制部52或音频装置53),使所确定的变量向所确定的方向变化,在如上所述对所确定的设备进行控制的情况下,在可进行控制来使所确定的变量向所确定的方向变化的设备的个数是1个时,控制该1个设备,在存在多个可进行控制来使所确定的变量向所确定的方向变化的设备时,根据所述语音识别单元进一步取得语音数据所确定的候选,来确定想要操作可控制的各设备中的哪个设备,并控制所确定的设备。另外,若在输出催促确定上述操作对象的消息后,重新通过语音来确定操作对象,则使所确定的操作对象的对象变量升高预定量。
另外,在上述处理的任一个中,代理处理部6即使在指针PP所指示的处理是内容与预定的指示不同的指示时,也可进行应对。即,如上所述,由于将与触发取得处理对应的线路的加权系数设定为比其他线路的加权系数高的预定值,所以即使正在执行与如上所述的“升高”对应的处理,也可适当地应对其他的没有关系的语音指示,例如“现在几点了?”等。
与上述的“升高”相同,也可以对“降低”进行与上述相同的控制。基于这些“升高”、“降低”等概念的分组使用图3所示的分组用标志。即,在存在多个具有与由语言分析部2得到的单词数据对应的概念的设备时,将该任何一个都作为控制对象设备提取,并催促重新确定控制这些控制对象设备中的哪个设备。这时,不是将所提取的设备随机作为控制对象设备,而可以通过检测各自动作状态来进行更高精度的应对。上述中,说明了音频装置和窗、空调和窗等存在两个或三个控制对象设备的情况,但是对于4个以上的控制对象设备也可同样地进行处理。
在以上说明的设备控制装置中,对所输入的语音等,适当地适用图5所示的流程图中说明的线路和处理项目的关系、在线路上设定的条件或过渡常数k。具体来说,若例如用户向语音输入部1语音输入为“升高”,则语言分析部2参考单词数据库,算出对各个单词的分数。将所算出的分数作为单词数据输出到代理处理部6中,并在设定了所对应的单词的线路上设定分数。分数被供给的线路分别将所对应的加权系数和分数相乘,获得最终的判断结果。将所获得的判断结果中表示最高值的单词识别为所输入的语音。即,在这里所获得的判断结果中表示最高值的单词是“升高”时,将所输入的语音识别为“升高”。并且,选择所对应的线路,将状态过渡到该线路指示的处理中。下面,同样地进行处理。另外,若对线路设定了多个同样含义的不同单词,则可以适当地应对用户在当时的心情下所发出的语言。例如,预先设定“升高”、“up”等在一个线路上作为条件的单词。这样,即使通过某一语音进行了指示,也可适当选择该线路,来用自然的通话进行该控制。
以上说明的该车内空调系统若适当描述了表示处理的内容的数据和线路,则并不一定需要完全确定作为所控制的对象的设备和所施加的控制的内容,也可响应于用户发出的语言,从该语言中推测用户的需求,为了满足该需求,适当判断对哪个设备施加哪种控制,,从而向设备施加基于判断结果的控制。
代理处理部6具有自动生成新线路的功能,但是也可统一下载描述了下述情况的程序,该情况为对已下载的新的处理项目和已有的处理项目设定哪种关系的线路。
以上说明的车内空调系统若适当描述表示处理的内容的数据和线路,则并不一定需要完全确定作为所控制的对象的设备和所施加的控制的内容,也可响应于用户发出的语言,从该语言中推测用户的需求,为了满足该需求,适当判断对哪个设备施加哪种控制,从 而向设备施加基于判断结果的控制。
另外,由于将处理项目数据和线路随时更新为新的项目数据和线路,所以总有使代理处理部6的响应方法变化的余地,用户不容易厌倦与该车内空调系统的对话。
另外,该车内空调系统的结构并不限于上述。
例如,属于输入输出对象设备组5的设备不需要一定是直接带来满足用户需求的结果的设备,也可以由例如控制外部的显示装置等来输出催促用户采取特定的行动的消息的设备(例如液晶显示器等显示装置)构成。
另外,单词数据库并不一定仅仅是表示单词的数据,也可将表示由多个单词构成的语句的数据作为单词数据库的要素来进行存储,也可将单词的一部分或表示音素的数据作为单词数据库的要素来进行存储。另外,单词等并不一定需要在特定的概念下进行分组,即使在进行分组的情况下,进行分组所用的数据也可以不采用标志的集合的形式。
另外,代理处理部6可以不等待来自外部的供给源的通知而自发下载新的处理项目数据和线路,也可响应于从语言分析部2供给的单词数据来开始新的处理项目数据和线路的下载。
另外,代理处理部6也可根据过去执行该线路所表示的过渡的数等,基于预定的基准来使在线路中描述的加权系数变化,并改写线路,使得过渡常数k为变化后的值。具体来说,例如在线路数据库中对各个线路预先存储执行该线路所表示的过渡的次数。并且,代理处理部6通过在每次新执行该过渡时改写该次数的值,来将该次数的值每次加1,并将在各个线路上描述的过渡常数k改写为例如与对该线路所存储的次数成正比的值。
另外,代理处理部6也可根据移交给这些处理的数据、伴随这些处理所输入的数据和其他任意的条件,使在判断处理和输入输出 处理中输出的数据变化。
另外,该车内空调系统也可具有根据代理处理部6的控制来输出图像用的显示装置(例如液晶显示器等),代理处理部6也可在输入输出处理和判断处理中控制该显示装置,使其在每个处理显示预定的图像。
另外,代理处理部6也可在一个输入处理和一个判断处理中,统一取得连续发话等的多个单词数据。另外,代理处理部6也可确定将统一取得的多个单词数据在哪个概念下分组到同一组内,并仅在所确定的概念与预定的概念一致的情况下,将所取得的单词数据的一部分或全部用于处理。
另外,也可仅在得到多个单词所表示的共通的概念时,触发取得处理和判断处理进行动作(触发的取得、条件的成立)。
0138
另外,代理处理部6也可具有相互连接的多个数据处理装置(例如计算机等),来分担进行触发取得处理、判断处理、输入输出处理等各种处理和线路作为整体所形成的流程。这时,构成分析处理部3的各个数据处理装置将表示分析处理部3可执行的流程整体中的、自己有可能执行的部分的数据作为处理项目数据库和线路数据库的要素来进行存储即可。并且,若各数据处理装置所存储的数据为对该数据处理装置所执行的部分的处理进行宏定义的数据,则也很容易使多个数据处理装置进行分散处理。
另外,该车内空调系统也可具有多个语音输入部1及语言分析部2或语音输出部4。另外,语音输入部1也可包括例如从记录了表示语音的数据的记录介质(例如软盘(注册商标)、CD(Compact Disc:压缩盘)和MO(Magneto-Optical Disk:磁光盘)等)读出波形信号来供给语言分析部2的记录介质驱动装置(例如软盘(注册商标)驱动器、CD-ROM驱动器和MO驱动器 等)。
以上,说明了本发明的实施方式,但是本发明涉及的设备控制装置也可使用通用的计算机系统来实现,而不用专用的系统。
例如,通过从存储了用于执行上述语音输入部1、语言分析部2、语音合成处理部3、语音输出部4和代理处理部6的动作的程序的记录介质中将该程序安装到与输入输出对象设备组5相连的个人计算机上,可以构成执行上述处理的车内空调系统。并且,执行该程序的个人计算机执行作为与图1的车内空调系统的动作相当的处理,例如图4所示的流程。
另外,也可以将使个人计算机进行上述车内空调系统的功能的程序上传到通信线路的公告板(BBS)上,经通信线路进行传输,另外,也可通过表示该程序的信号来调制载波,并传送所得到的调制波,接收了该调制波的装置解调调制波来复原该程序。并且,可以通过启动该程序,在OS的控制下与其他应用程序同样地执行,来执行上述处理。
另外,在OS分担了处理的一部分的情况下,或OS构成本申请发明的一个构成要素的一部分的情况下,也可在记录介质上存储去除了该部分之外的程序。这时,在本发明中,在该记录介质上存储用于执行计算机所执行的各功能或步骤的程序。
Claims (6)
1.一种设备控制装置,用于控制多个设备(5),其特征在于,
该设备控制装置包括:
处理项目数据库(D4),将触发数据与过渡常数对应起来存储到该处理项目数据库(D4)中,所述触发数据能够确定使处理开始的触发;
语音识别单元(2),取得表示语音的语音数据,通过对该语音数据实施语音识别来确定该语音所包含的语句的候选,并计算所述确定的语句的候选的似然度;以及
设备控制单元(6),根据与包含所述语音识别单元(2)所确定的语句的触发数据相对应地存储的过渡常数以及由所述语音识别单元(2)计算出的该似然度,确定操作对象的设备,并控制所确定的设备,
在所述确定的设备的个数是一个时,
所述设备控制单元(6)控制该一个设备;
在存在多个所述确定的设备时,
所述语音识别单元(2)进一步取得语音数据并确定语句的候选,并且计算似然度,所述设备控制单元(6)计算出与包含所述语音识别单元(2)所确定的语句的触发数据相对应地存储的过渡常数和由所述语音识别单元(2)计算出的似然度之积所表示的值,根据与所计算出的值中的最大值相对应的语句的候选,确定操作对象的设备,并控制所确定的设备。
2.根据权利要求1所述的设备控制装置,其特征在于,所述设备控制单元(6)在存在多个所述确定的设备的情况下,输出督促用户从多个设备中确定操作对象的设备的数据。
3.根据权利要求1所述的设备控制装置,其特征在于,所述多个设备中的一个设备是音频装置,所述设备控制单元(6)控制该音频装置的音量;
所述多个设备中的另一个设备是电动门窗,所述设备控制单元(6)控制该电动门窗的窗的开关量。
4.根据权利要求1所述的设备控制装置,其特征在于,
所述多个设备中的一个设备是空调,所述设备控制单元(6)控制该空调的设定温度;
所述多个设备中的另一个设备是电动门窗,所述设备控制单元(6)控制该电动门窗的窗的开关量。
5.根据权利要求1所述的设备控制装置,其特征在于,
所述多个设备中的一个设备是空调,所述设备控制单元(6)控制该空调的设定温度;
所述多个设备中的另一个设备是音频装置,所述设备控制单元(6)控制该音频装置的音量。
6.一种设备控制方法,用于控制多个设备,其特征在于,
该设备控制方法包括下述步骤:
语音识别步骤,取得表示语音的语音数据,通过对该语音数据实施语音识别,确定该语音所包含的语句的候选,并计算所述确定的语句的候选的似然度;以及
设备控制步骤,根据与包含所述语音识别步骤中所确定的语句的触发数据相对应地存储在处理项目数据库中的过渡常数以及通过所述语音识别步骤而计算出的该似然度,确定操作对象的设备,并控制所确定的设备;
在所述确定的设备的个数是一个时,
在所述设备控制步骤中控制该一个设备;
在存在多个所述确定的设备时,
在所述语音识别步骤中进一步取得语音数据并确定语句的候选,并且计算似然度,
在所述设备控制步骤中,计算出与包含所述确定的语句的触发数据相对应地存储在所述处理项目数据库中的过渡常数和通过所述语音识别步骤而计算出的似然度之积所表示的值,根据与所计算出的值中的最大值相对应的语句的候选,确定操作对象的设备,并控制所确定的设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003406712 | 2003-12-05 | ||
JP406712/2003 | 2003-12-05 | ||
PCT/IB2004/004006 WO2005062296A1 (ja) | 2003-12-05 | 2004-12-06 | 機器制御装置及び機器制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1906661A CN1906661A (zh) | 2007-01-31 |
CN1906661B true CN1906661B (zh) | 2011-06-29 |
Family
ID=34708668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2004800409681A Expired - Fee Related CN1906661B (zh) | 2003-12-05 | 2004-12-06 | 设备控制装置和设备控制方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7505909B2 (zh) |
EP (1) | EP1699041B1 (zh) |
JP (1) | JP4533844B2 (zh) |
CN (1) | CN1906661B (zh) |
DE (1) | DE602004016683D1 (zh) |
WO (1) | WO2005062296A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1690706A4 (en) * | 2003-12-05 | 2009-11-18 | Kenwood Corp | AIR CONDITIONER CONTROL DEVICE AND AIR CONDITIONER CONTROL METHOD |
JP2008064885A (ja) * | 2006-09-05 | 2008-03-21 | Honda Motor Co Ltd | 音声認識装置、音声認識方法、及び音声認識プログラム |
CN102538143B (zh) * | 2012-02-06 | 2014-02-26 | 美的集团股份有限公司 | 语音智能搜索引擎空调系统及其控制方法 |
US10088853B2 (en) | 2012-05-02 | 2018-10-02 | Honeywell International Inc. | Devices and methods for interacting with an HVAC controller |
US10145579B2 (en) | 2013-05-01 | 2018-12-04 | Honeywell International Inc. | Devices and methods for interacting with a control system that is connected to a network |
JP2015011170A (ja) * | 2013-06-28 | 2015-01-19 | 株式会社ATR−Trek | ローカルな音声認識を行なう音声認識クライアント装置 |
EP3036594B1 (en) | 2013-08-21 | 2021-05-26 | Ademco Inc. | Devices and methods for interacting with an hvac controller |
US10030878B2 (en) | 2013-08-21 | 2018-07-24 | Honeywell International Inc. | User interaction with building controller device using a remote server and a duplex connection |
US10514677B2 (en) | 2014-04-11 | 2019-12-24 | Honeywell International Inc. | Frameworks and methodologies configured to assist configuring devices supported by a building management system |
CN104007678A (zh) * | 2014-05-26 | 2014-08-27 | 邯郸美的制冷设备有限公司 | 家用电器语音控制的方法、终端和系统 |
KR102453603B1 (ko) * | 2015-11-10 | 2022-10-12 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN105529029A (zh) * | 2015-12-28 | 2016-04-27 | 歌尔声学股份有限公司 | 音频控制装置、耳机以及便携式设备 |
CN105446159B (zh) * | 2016-01-08 | 2018-07-27 | 北京光年无限科技有限公司 | 智能家居系统及其数据处理方法 |
CN109410929A (zh) * | 2017-08-17 | 2019-03-01 | 上海擎感智能科技有限公司 | 车辆部件控制方法及装置、计算机可读存储介质、终端 |
US20190390866A1 (en) | 2018-06-22 | 2019-12-26 | Honeywell International Inc. | Building management system with natural language interface |
JP7101247B2 (ja) * | 2018-07-30 | 2022-07-14 | 株式会社日立製作所 | 音声操作支援システム及び音声操作支援方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0911808A1 (en) * | 1997-10-23 | 1999-04-28 | Sony International (Europe) GmbH | Speech interface in a home network environment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04324312A (ja) | 1991-04-24 | 1992-11-13 | Sharp Corp | ナビゲーション装置 |
JP3708747B2 (ja) * | 1999-04-16 | 2005-10-19 | アルパイン株式会社 | 音声認識方法 |
US6584439B1 (en) * | 1999-05-21 | 2003-06-24 | Winbond Electronics Corporation | Method and apparatus for controlling voice controlled devices |
JP3827058B2 (ja) * | 2000-03-03 | 2006-09-27 | アルパイン株式会社 | 音声対話装置 |
JP4155383B2 (ja) * | 2001-03-05 | 2008-09-24 | アルパイン株式会社 | 音声認識機器操作装置 |
US7127401B2 (en) * | 2001-03-12 | 2006-10-24 | Ge Medical Systems Global Technology Company, Llc | Remote control of a medical device using speech recognition and foot controls |
JP2002273036A (ja) * | 2001-03-19 | 2002-09-24 | Canon Inc | 電子ゲーム装置および電子ゲーム装置における処理方法 |
-
2004
- 2004-12-06 DE DE602004016683T patent/DE602004016683D1/de active Active
- 2004-12-06 CN CN2004800409681A patent/CN1906661B/zh not_active Expired - Fee Related
- 2004-12-06 WO PCT/IB2004/004006 patent/WO2005062296A1/ja active IP Right Grant
- 2004-12-06 EP EP04806317A patent/EP1699041B1/en not_active Expired - Fee Related
- 2004-12-06 US US10/581,822 patent/US7505909B2/en active Active
- 2004-12-06 JP JP2005516407A patent/JP4533844B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0911808A1 (en) * | 1997-10-23 | 1999-04-28 | Sony International (Europe) GmbH | Speech interface in a home network environment |
Non-Patent Citations (3)
Title |
---|
JP特开2001-249685A 2001.09.14 |
JP特开2002-258892A 2002.09.11 |
同上. |
Also Published As
Publication number | Publication date |
---|---|
JP4533844B2 (ja) | 2010-09-01 |
EP1699041B1 (en) | 2008-09-17 |
JPWO2005062296A1 (ja) | 2007-07-19 |
CN1906661A (zh) | 2007-01-31 |
EP1699041A1 (en) | 2006-09-06 |
US7505909B2 (en) | 2009-03-17 |
EP1699041A4 (en) | 2007-08-29 |
WO2005062296A1 (ja) | 2005-07-07 |
DE602004016683D1 (de) | 2008-10-30 |
US20070239443A1 (en) | 2007-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1906661B (zh) | 设备控制装置和设备控制方法 | |
US7529676B2 (en) | Audio device control device, audio device control method, and program | |
CN110544473B (zh) | 语音交互方法和装置 | |
CN109671435B (zh) | 用于唤醒智能设备的方法和装置 | |
US20070256435A1 (en) | Air Conditioner Control Device and Air Conditioner Control Method | |
US20240129567A1 (en) | Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system | |
CN113223514A (zh) | 基于IoT环境中的非语音声音的语音命令解析方法及装置 | |
CN115065958A (zh) | 设备连接方法、装置、第一设备及计算机可读存储介质 | |
CN100590710C (zh) | 设备控制装置及设备控制方法 | |
CN117348854A (zh) | 基于自然语言对话生成物联网控制流程的方法及装置 | |
CN109413663B (zh) | 一种信息处理方法和设备 | |
JP2009288815A (ja) | 機器制御装置、音声認識装置、エージェント装置、機器制御方法及びプログラム | |
US20210249018A1 (en) | Method and apparatus for providing voice assistant service | |
CN112489644A (zh) | 用于电子设备的语音识别方法及装置 | |
CN111883126A (zh) | 数据处理方式的选择方法、装置及电子设备 | |
JP7302359B2 (ja) | 車載器、音声情報出力方法及び音声情報出力プログラム | |
KR102415345B1 (ko) | 피아노 연주의 음정, 세기, 페달의 실시간 자동 채보 및 재현을 위한 컴퓨터 시스템 및 그의 방법 | |
JP4316997B2 (ja) | 車両監視装置及び車両監視方法 | |
TWI809350B (zh) | 物流設備的設備資訊管理方法及裝置 | |
EP3889851A1 (en) | System, method and computer program for verifying learned patterns using assis-tive machine learning | |
CN116741175A (zh) | 一种基于区块链的数据传输智能监管系统及方法 | |
KR20190058307A (ko) | 에이전트 개발자를 위한 툴킷 제공 장치 | |
CN112706177A (zh) | 一种语音触发机器人表情系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110629 Termination date: 20131206 |