CN1306373C - 利用节奏模式的控制系统、方法和程序 - Google Patents

利用节奏模式的控制系统、方法和程序 Download PDF

Info

Publication number
CN1306373C
CN1306373C CNB03819953XA CN03819953A CN1306373C CN 1306373 C CN1306373 C CN 1306373C CN B03819953X A CNB03819953X A CN B03819953XA CN 03819953 A CN03819953 A CN 03819953A CN 1306373 C CN1306373 C CN 1306373C
Authority
CN
China
Prior art keywords
rhythm
input
rhythm pattern
unit
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB03819953XA
Other languages
English (en)
Other versions
CN1678976A (zh
Inventor
山下敦士
阪本清美
饭阪笃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1678976A publication Critical patent/CN1678976A/zh
Application granted granted Critical
Publication of CN1306373C publication Critical patent/CN1306373C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明提供了一种用于以少量的输入设备可靠地进行必要的最低限度的操作的控制系统。节奏输入部(101)将用户输入的节奏模式转换成电信号并输出。节奏词典存储部(103)存储使装置的控制内容与登记节奏模式相对应的节奏词典表。登记节奏模式通过使表示控制内容的名称的发音模式类型化形成。控制部(102)对来自节奏输入部(101)的电信号进行分析,识别用户所输入的输入节奏模式,然后参照节奏词典存储部(103)识别与其对应的控制内容,并控制车辆内装置的动作。

Description

利用节奏模式的控制系统、方法和程序
技术领域
本发明涉及用于控制各种装置的动作的系统,特别是涉及提供利用少量操作设备来控制各种装置动作的用户接口的系统。
背景技术
现在的各种装置,特别是电视机、录像机、音响等视听设备以及车载导航系统和车载音响等车载设备等,功能非常多。相应地,搭载在装置本体或遥控器上的键或操纵杆等操作设备的数量也增加。操作设备的增加使操作复杂并且难以理解。
另外,在有限的空间内配置对应数十、数百个功能的输入设备也很困难。
为了解决上述问题,人们提出了各种各样的系统。例如有人提出通过将功能分类成层次结构来减少操作设备的个数的系统。该系统具有选择层次的操作设备和选择所选出层次内的功能的操作设备。
另外,还有人提出通过利用声音识别来减少操作设备个数的系统。该系统具有表示声音识别开始的操作设备和用于输入声音的麦克风。因此可以极大地减少操作设备的数量。
但是,在将功能分类成层次结构的系统中,为了正确地选择期望的功能,用户常常需要确认现在处于哪个层次的选择模式下。即,系统必须通过图像或声音、开关状态等告知用户当前的选择模式。另外,为了选择期望的功能,用户必须对操作设备进行多次操作来选择适当的层次。用户无法通过一次操作来选择期望的功能。而且,为了正确地选择期望的功能,用户必须确认系统所具备的功能是如何进行层次结构化的。这些都成为不擅长机械的用户引入系统的障碍。
利用声音识别的系统存在的问题是,根据周围的杂音、背景音乐、说话人的声音、麦克风的位置等周围的状况,声音识别率降低。声音识别率降低的结果是不能执行期望的功能。即,存在由于声音识别的偏差无法执行正确操作的情况。另外,为了进行声音识别,需要大容量的存储器和高的计算速度。这样,在存储量或计算速度不够的系统中,就存在得不到实用的声音识别速度的问题。
发明内容
因此,本发明的目的是提供一种可以根据用户利用少量的操作设备进行的操作指示来可靠地执行期望功能的系统。
为了实现上述目的,本发明具有下述特征。
第一发明是一种控制系统,用于控制至少一个以上装置的动作,它具有:节奏输入部,根据与表示所述装置的控制内容的名称的发音模式相对应的用户的敲击输入,将振幅电平变化的电信号作为节奏输入信号输出;
节奏词典存储部,存储节奏词典表,该节奏词典表用于使所述装置的控制内容与将表示该控制内容的名称的发音模式类型化后形成的登记节奏模式相对应;以及
控制所述装置的动作的控制部;
所述控制部包括:输入节奏模式识别单元,对从所述节奏输入部输入的所述节奏输入信号进行分析,识别输入节奏模式;以及装置控制单元,参照所述节奏词典表,检索与所述输入节奏模式识别单元所识别的输入节奏模式一致的登记节奏模式,根据与该登记节奏模式对应的控制内容来控制所述装置。
根据上述第1发明,通过用户仅敲击节奏输入部就能控制各种装置的动作。因此提供了一种可以利用尽可能少的输入设备(典型的是一个开关或传感器)控制各种装置的动作的控制系统。而且提供了一种不受杂音影响的控制系统。另外,用户可以通过按自然语言的节奏输入节奏模式来操作各种装置,因此提供了一种操作性好的控制系统。而且,可以期待的是,用户可以在短时间内学会操作。
最好是,节奏词典表通过向将表示控制内容的名称分割成至少一个以上规定单位后的每个单位分配规定的单位节奏模式来定义登记节奏模式,
输入节奏模式识别单元通过简化节奏输入信号的振幅电平的时间变化来识别输入节奏模式。
这样,通过简化节奏输入信号的振幅电平的时间变化来识别输入节奏模式,因此所识别的输入节奏模式与用户意图的节奏模式相一致的可能性高。结果是提供了一种可以按用户的意图控制各种装置的动作的控制系统。
最好是,单位节奏模式通过根据所述规定单位上音的有无分配打拍的有无来定义,
输入节奏模式识别单元根据振幅电平的时间变化来识别用户敲击了节奏输入部的打拍时刻和/或规定的时间间隔内没有敲击的休拍时刻,然后通过利用打拍和/或休拍时刻表示节奏输入信号的时间变化来识别输入节奏模式。
这样,利用通过判断是否超过规定时间来识别打拍和/或休拍的简单算法来识别输入节奏模式,因此可以减轻控制系统的处理负担的增加。而且可以将消耗的存储容量或程序大小抑制在最低限度。
所述单位节奏模式中还定义了规定单位上音的强弱,
输入节奏模式识别单元还根据振幅电平的强弱分层次地识别打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻敲击强弱的表示来识别输入节奏模式。
这样,同时包含音的强弱地来识别用户意图的控制内容名,因此提供了一种对于使用重视重音或语调差异的语言(例如英语)的用户使用也很方便的控制系统。而且,通过定义重音的差异,可以增加登记节奏模式的数量。结果是可以定义更多种类的控制内容。
而且,用户在规定的间隔时间内持续按下节奏输入部的情况下,输入节奏模式识别单元作为有打拍时刻和休拍时刻来识别输入节奏模式。
这样,在持续按下节奏输入部的情况下,控制系统可以判断为输入了长音。
最好是,单位节奏模式通过对规定单位中的音的有无分配打拍的有无来定义,
输入节奏模式识别单元根据振幅电平的大小来检测打拍的有无,假设具有检测的打拍数目的所有节奏模式,从假设的节奏模式中寻找与节奏输入信号的时间变化倾向最一致的节奏模式,将寻找到的节奏模式识别为输入节奏模式。
这样,控制系统根据节奏输入信号整体的时间变化倾向识别输入节奏模式,因此可以吸收敲击速度等的个体差异来识别输入节奏模式。这样提供了一种可以更可靠地控制各种装置的控制系统。
这种情况下,输入节奏模式识别单元可以求出假设的节奏模式中相邻二个打拍的时间间隔和所述节奏输入信号中相邻二个打拍的时间间隔之差,将假设的节奏模式中差的平均值最小的节奏模式识别为输入节奏模式。
这样,控制系统可以通过求出时间间隔的差并算出平均值来识别时间变化倾向最一致的节奏模式。因此提供了一种可以利用简单的算法来识别节奏模式的控制系统。
而且,所述输入节奏模式识别单元还在所识别的输入节奏模式的打拍间隔均匀分布的情况下,判断打拍间隔是否超过规定的间隔时间,超过的情况下,重新识别为输入节奏模式是打拍和休拍连续的节奏模式,不超过的情况下,重新识别为输入敲击模式是仅仅打拍连续的节奏模式。
这样,控制系统可以进一步重新识别输入节奏模式仅由打拍构成,还是由打拍和休拍的重复构成。因此提供了一种可以更正确地识别输入节奏模式的控制系统。
而且,单位节奏模式中还定义了规定单位上音的强弱,
输入节奏模式识别单元还根据振幅电平的强弱阶段性地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻敲击强弱的表示来识别输入节奏模式。
最好是,单位节奏模式通过根据所述规定单位上音的有无分配打拍的有无来定义,
输入节奏模式识别单元在节奏词典表的登记节奏模式中寻找与节奏输入信号的时间变化倾向最一致的节奏模式,将寻找到的节奏模式识别为输入节奏模式。
这样,控制系统从登记节奏模式中选择出可识别的输入节奏模式。因此可以避免与识别出的输入节奏模式一致的登记节奏模式没有登记在节奏词典表中。结果是提供了一种可以按照用户的希望可靠地控制各种装置的动作的控制系统。
这种情况下,输入节奏模式识别单元可以根据振幅电平的大小来检测打拍的有无,在节奏词典表的登记节奏模式中寻找具有检测的打拍数目的节奏模式,然后进一步从寻找到的节奏模式中寻找与时间变化倾向最一致的节奏模式,将最终寻找到的节奏模式识别为输入节奏模式。
这样减少了作为寻找对象的节奏模式,从而减轻了控制系统的处理负担。
具体地说,输入节奏模式识别单元在进一步检索与时间变化倾向最一致的节奏模式时,求出寻找到的节奏模式中相邻二个打拍的时间间隔和节奏输入信号中相邻二个打拍的时间间隔之差,将所寻找到的节奏模式中差的平均值最小的节奏模式识别为输入节奏模式。
而且,所述单位节奏模式中还定义了所述规定单位上音的强弱,
所述输入节奏模式识别单元还根据所述振幅电平的强弱阶段性地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻敲击强弱的表示来识别输入节奏模式。
最好是,单位节奏模式通过根据规定单位上音的有无分配打拍的有无来定义,
输入节奏模式识别单元根据振幅电平的大小来检测打拍的有无,求出节奏输入信号中相邻二个打拍的时间间隔内最小的时间间隔,根据该最小时间间隔和其它二个打拍的时间间隔比较后的相对值,确定该二个打拍之间是否有休拍,然后利用打拍和/或休拍时刻表示节奏输入信号的时间变化来识别输入节奏模式。
这样,控制系统通过相对评价来识别输入节奏模式,因此可以吸收敲击速度等的个体差异来识别输入节奏模式。因此提供了一种可以更可靠地控制各种装置的控制系统。
这种情况下,单位节奏模式中还定义了规定单位上音的强弱,
输入节奏模式识别单元还根据振幅电平的强弱阶段性地识别打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻敲击强弱的表示来识别输入节奏模式。
最好是,用于分割表示控制内容的名称的规定单位为音拍单位。
这样,利用音拍单位分割表示控制内容的名称,用户可以按照自然发音时的节奏来输入节奏。从而提供了一种对用户友好的控制系统。这样分割成音拍单位对于日语等语言特别适用。
而且,最好是,用于分割表示所述控制内容的名称的所述规定单位为音节单位。
这样,利用音节单位分割表示控制内容的名称,用户可以按照自然发音时的节奏来输入节奏。从而提供了一种对用户友好的控制系统。这样分割成音节单位对于英语等语言特别适用。
最好是,控制部还包括根据用户的指示编辑所述节奏词典表的登记内容的节奏模式编辑单元。
这样可以定制节奏词典表。
例如,节奏模式编辑单元使输入节奏模式识别单元识别敲击了节奏输入部的用户所意图的输入节奏模式,将该输入节奏模式作为节奏词典表的登记节奏模式登记。
这样,根据用户输入的节奏模式来编辑节奏词典表,因此可以编制考虑到各用户的偏好的节奏词典表。
而且,节奏模式编辑单元通过将利用用户输入的文字信息表示的控制名称分割成至少一个以上的规定单位,并向分割后的各个单位分配规定的单位节奏模式来定义节奏模式,然后将该节奏模式作为节奏词典表的登记节奏模式登记。
这样,用户可以指定控制内容名,因此可以编制采用用户容易记住的控制内容名的节奏词典表。而且,可以在用户没有意识到语言与节奏之间的规则的情况下登记节奏模式。
而且,节奏模式编辑单元一边确认登记节奏模式的重复,一边编辑节奏词典表的登记内容。
而且,节奏词典表将控制内容定义为层次结构,
装置控制单元存储当前检索中的层次,在当前检索中的层次内检索输入节奏模式和登记节奏模式的一致性,
节奏输入部还包括用于使装置控制单元切换当前检索中的层次的层次切换单元。
这样,控制系统将控制内容定义为层次结构,从而即使是有限数目的登记节奏模式,与单一层次结构相比,也可以定义更多的控制内容。而且,通过定义为层次结构,用户可以很容易地掌握控制内容。
这种情况下,节奏输入部由用于用户输入敲击的2个以上的输入设备构成,
层次切换单元在被敲击的输入设备切换时,使装置控制单元切换当前检索中的层次。
这样,用户可以通过切换所敲击的输入设备来切换层次结构。从而提供了一种操作简单的控制系统。
最好是,节奏词典表中定义有不同用户的登记节奏模式,
装置控制单元针对每个用户检索相一致的登记节奏模式。
这样,登记节奏模式针对每个用户进行定义,因此控制系统可以结合各个用户的偏好来识别输入节奏模式。
最好是,输入节奏模式识别单元针对每个用户存储有检测所述节奏输入信号的时间变化所必须的参数,并且根据该参数来针对每个用户进行所述节奏输入信号的分析。
这样,针对每个用户定义参数,因此控制系统可以结合各个用户的偏好来识别输入节奏模式。
最好是,还具有将是否存在相一致的登记节奏模式的装置控制单元的检索结果通过振动或声音、视觉等输出给用户的输出部。
这样,用户可以知晓节奏输入的成功或失败,从而可以放心。
而且,还具有根据用户的指示,使用户身体感觉到节奏词典表中登记的节奏模式的体感输出部。
这样,用户可以通过振动或图像显示、声音等感觉到登记节奏模式,从而可以学习节奏输入。结果是,用户可以早早地记住登记节奏模式。
最好是,输入节奏模式识别单元在节奏输入信号的振幅维持一定时间的低电平时,作为输入结束来识别输入节奏模式。
这样,控制系统可以自动地识别输入结束,从而用户不必进行用于结束输入的操作。
例如,控制系统可以搭载在车辆内。
这种情况下,节奏输入部配置在车辆内的方向盘把手上,具有可通过触感进行位置确认的结构。
第2发明是一种方法,用于通过计算机装置控制至少一个以上装置的动作,它包括以下步骤:
对输入到所述计算机装置的电信号进行分析,由所述计算机装置识别输入节奏模式的步骤;
参照用于使存储在所述计算机装置中的所述装置的控制内容与将表示该控制内容的名称的发音模式类型化形成后的登记节奏模式相对应的节奏词典表,由所述计算机装置检索与所识别的所述输入节奏模式相一致的登记节奏模式的步骤;
由所述计算机装置根据与检索出的登记节奏模式相对应的控制内容来控制所述装置的步骤。
第3发明是一种程序,用于使计算机装置控制至少一个以上软件的动作,它包括以下步骤:
它包括以下步骤:
对输入到所述计算机装置的电信号进行分析,使所述计算机装置识别输入节奏模式的步骤;
使所述计算机装置参照用于使存储在所述计算机装置中的所述装置的控制内容与将表示该控制内容的名称的发音模式类型化后形成的登记节奏模式相对应的节奏词典表,然后使所述计算机装置检索与所识别的所述输入节奏模式相一致的登记节奏模式的步骤,
使所述计算机装置根据与检索出的登记节奏模式相对应的控制内容来控制所述装置的步骤。
附图说明
图1所示为本发明第1实施方式的控制系统100的结构和使用该控制系统的系统的整体结构。
图2所示为节奏输入部101在车内安装位置示例的模式图。
图3所示为使用数字输入设备作为节奏输入部101时节奏输入信号波形的模式图。
图4所示为规则表的一个例子。
图5所示为节奏词典表的一个例子。
图6所示为控制部102识别用户通过敲击节奏输入部101输入的节奏并控制车辆内装置的动作时的动作流程图。
图7所示为输入节奏模式识别处理(步骤S102)中控制部102的详细动作流程图。
图8所示为使用在持续按下期间持续输出高电平的节奏输出信号的输入设备时的节奏输入信号的波形图。
图9所示为使用模拟输入设备作为节奏输入部101时的节奏输入信号的波形模式图。
图10所示为从第2实施方式的节奏输入部101输出的节奏模式信号波形的模式图。
图11所示为第2实施方式的规则表的一个例子。
图12所示为第2实施方式的节奏词典表的一个例子。
图13所示为输入节奏模式识别处理中第2实施方式的控制部102的详细动作流程图。
图14所示为输入节奏模式识别处理中第3实施方式的控制部102的详细动作流程图。
图15所示为步骤S401中存储的敲击间隔时间的数组Ti的一个例子。
图16所示为步骤S405中假设的节奏模式不恰当时的时间分布示例。
图17所示为步骤S405中假设的节奏模式恰当时的时间分布示例。
图18所示为输入节奏模式识别处理中第4实施方式的控制部102的详细动作流程图。
图19所示为输入节奏模式识别处理中第5实施方式的控制部102的详细动作流程图。
图20所示为本发明第6实施方式的控制系统600的结构以及使用该控制系统的系统的整体结构。
图21所示为控制部602识别用户通过敲击节奏输入部101输入的节奏来控制车辆内装置的动作时控制部602的动作流程图。
图22所示为用户确认·编辑节奏词典表的内容时控制部602的动作流程图。
图23所示为使用由压电传感器等构成的模拟输入设备作为第7实施方式的节奏输入部101时在车内安装位置的模式图。
图24所示为节奏词典存储部103中存储的节奏词典表的一个例子。
图25所示为节奏模式识别处理中控制部102的动作的详细流程图。
具体实施方式
以下参照附图说明本发明的实施方式。
首先说明各实施方式的概要。
第1实施方式说明的是判断与用户输入的节奏模式相一致的节奏模式是否登记在节奏词典中、当存在相一致的节奏模式时控制各种装置的动作的系统。
第2实施方式说明的是同时识别所输入的节奏模式的强弱并判断相一致的节奏模式是否登记在节奏词典中、当存在相一致的节奏模式时控制各种装置的动作的系统。
第3实施方式说明的是一边假设可取的所有节奏模式一边寻找与输入的节奏模式最接近的节奏模式的控制系统。
第4实施方式说明的是利用相对评价来识别所输入的节奏模式的控制系统。
第5实施方式说明的是向第3和第4实施方式的控制系统附加了节奏模式强弱识别功能的控制系统。
第6实施方式说明的是可以根据用户的不同来切换识别节奏模式所必要的参数的控制系统。另外还说明了可以编辑节奏词典的控制系统。
第7实施方式说明的是通过分层次构成节奏词典来实现多功能操作的控制系统。
以下详细说明各实施方式。
(第1实施方式)
图1所示为本发明第1实施方式的控制系统100的结构和使用该控制系统的系统的整体结构。在本实施方式中,为了易于理解说明,控制系统100是用于控制车辆内的空调、音响等装置的系统。
在图1中,系统整体包括控制系统100、空调201、音响202、电视203和车载导航系统204。空调201、音响202、电视203和车载导航系统204是设置在车辆内的装置(以下称为车辆内装置)。这里所示的车辆内装置是一个例子。图1所示的车辆内装置以外的装置也可以设置在系统内。系统内还可以仅设有图1所示的车辆内装置中的一部分。
控制系统100包括节奏输入部101、控制部102和节奏词典存储部103。
用户想要执行车辆内装置的功能时,与该功能名称的发音模式(将该功能名称发音时的节奏)相对应,咚咚地敲击几次节奏输入部101。以下,将咚咚地敲击几次节奏输入部101称为“敲击节奏输入部101”,将通过敲击进行的输入称为“敲击输入”。节奏输入部101对应敲击输入而输出振幅电平变化的电信号(以下称为节奏输入信号)。控制部102接收节奏输入部101输出的节奏输入信号,在对该节奏输入信号的振幅电平的时间分布进行分析后,识别用户希望的节奏模式(以下称为输入节奏模式)。控制部102检索与识别出的输入节奏模式一致的节奏模式是否登记在节奏词典存储部103中。相一致的节奏模式登记在节奏词典存储部103中时,控制部102识别与该节奏模式对应的控制内容,然后控制与该控制内容对应的车辆内装置的动作。
节奏输入部101由触摸板或接点式开关等数字输入设备构成。节奏输入部101将对应用户的敲击输入而输出的节奏输入信号传递给控制部102。
图2所示为节奏输入部101在车内安装位置示例的模式图。为使行驶中的驾驶员容易进行敲击,节奏输入部101设置在方向盘301的上部,由接点式开关302和在接点式开关302所反应的部位设置的突起物303构成。为使可敲击部位通过手摸索也可以找到,突起物303具有从方向盘301突出的结构。另外,如果突起物303是可以通过触感进行位置确认的结构,则也可以是凹结构。
图3所示为使用数字输入设备作为节奏输入部101时节奏输入信号波形的模式图。节奏输入部101为数字输入设备,因此如图3所示,伴随用户的敲击,从休拍电平(低电平)向打拍电平(高电平)生成矩形脉冲。在第1实施方式中,将脉冲上升时刻称为键落时刻,将脉冲下降时刻称为键起时刻。相邻键落时刻之间的时间称为敲击间隔时间。
节奏词典存储部103是RAM或ROM、硬盘等存储装置。节奏词典存储部103中存储有使车辆内装置的控制内容与节奏模式相对应的节奏词典。节奏词典由定义了用于使控制内容名类型化的规则的规则表和用于使控制内容名与节奏模式相对应的节奏词典表构成。
在此说明本说明书中使用的节奏模式这一用语。发出单词时,用户是以一定的节奏发出单词的。例如,一个单词中有发长音的部分,有发短音的部分,有发强音的部分,也有发弱音的部分。这样的发音倾向可以称为发音模式。节奏模式是指使该发音模式类型化后的模式。另外,发音模式也可以称为声音模式(voice pattern)。
图4所示为规则表的一个例子。规则表中表示有日语中的音拍(mora)单位和单位节奏模式的对应关系。在此,单位节奏模式针对每个音拍单位以简单的符号表示敲击时刻(打拍)和不敲击时刻(休拍)。在此,使用“x”和“-”作为符号。“x”表示打拍,“-”表示休拍。
音拍分为拨音(例如日语的“ん”)、促音(例如日语的“つ”等)、拗音(例如日语的“きや”、“きゆ”、“きよ”等)、长音(例如日语的“あ一”、“け一”等)、二重元音(例如日语的“ああ”、“あい”、“えい”等)以及上述以外的其它音(例如仅有元音、元音+辅音等,以下称为一般音)这6种类型。拨音和促音是无音。拗音和一般音是有音。长音和二重元音由有音和无音构成。
如图4所示,分配给拨音的单位节奏模式是“-”。分配给促音的单位节奏模式是“-”。分配给拗音的单位节奏模式是“x”。分配给长音的单位节奏模式是“x-”。分配给二重元音的单位节奏模式是“x-”。分配给一般音的单位节奏模式是“x”。
图5所示为节奏词典表的一个例子。节奏词典表中表示有车辆内装置的控制内容名和节奏模式的对应关系。以下将节奏词典表中登记的节奏模式称为登记节奏模式。车辆内装置的控制内容名表示希望启动的车辆内装置的功能的名称。在此,为便于用户理解,在希望显示地图的情况下,将控制内容名定义为“地图”,在希望启动电话的情况下,将控制内容名定义为“电话”等等,使用的是更为直观的控制内容名,但控制内容名的确定方法不限于此。登记节奏模式通过将表示对应的控制内容的名称的发音模式(对表示对应控制内容的名称进行发音时的节奏)类型化来定义。在第1实施方式中,登记节奏模式是通过向将控制内容名分割成音拍单位后的每个单位分配对应的单位节奏模式来定义的。
例如,日语的“地図”分解成音拍单位时,被分解成“ち”和“ず”。“ち”和“ず”分别是一般音。因此,与控制内容名“地図”对应的登记节奏模式为“xx”。
日语的“電話”分解成音拍时,被分解成“で”、“ん”和“わ”。“で”为一般音,“ん”为拨音,“わ”为一般音。因此,与控制内容名“電話”对应的登记节奏模式为“x-x”。
日语的“エアコン”分解成音拍时,被分解成“え”、“あ”、“て”和“ん”。“え”、“あ”和“て”为一般音,“ん”为拨音。拨音为休拍,并且“ん”为结束音,因此,与控制内容名“エアコン”对应的登记节奏模式为“xxx”。
日语的“温度設定”分解成音拍时,被分解成“お”、“ん”、“ど”、“せ”、“つ”和“て一”。“ん”为拨音,“つ”为促音,长音“て一”为结束音,因此,与控制内容名“温度設定”对应的登记节奏模式为“x-xx-x”。
日语的“オ一デイオ”分解成音拍时,被分解成“お一”、“でい”、和“お”。“お一”为长音,因此,与控制内容名“オ一デイオ”对应的登记节奏模式是“x-xx”。
如上例所示,登记节奏模式通过将控制内容名分割成1个以上的音拍单位并分配单位节奏模式来定义。这样通过分割成音拍单位,来定义节奏模式的方法适合象日语这样可以在单词发音时忽视重音(アクセント)的语言。例如,在发出“地図”这样的音时,形成“咚咚”的拍子。该拍子无论在“ち”上有重音还是在“ず”上有重音都是一样的。在发出“電話”音时,形成在“咚·咚”之间空出一拍的拍子。该拍子无论在“で”上有重音还是在“わ”上有重音都是一样的。其它例子也同样如此。
控制部102由CPU和存储器等构成。控制部102通过简化从节奏输入部101输入的节奏输入信号的振幅电平的时间变化来识别输入节奏模式。该识别方法后述(参照图7)。控制部102参照节奏词典存储部103中存储的节奏词典表判断是否存在与识别出的输入节奏模式一致的登记节奏模式。当存在相一致的登记节奏模式时,控制部102识别与该登记节奏模式对应的控制内容名,然后控制执行该控制内容的车辆内装置的动作。
图6所示为控制部102识别用户通过敲击节奏输入部101输入的节奏并控制车辆内装置的动作时的动作流程图。以下参照图6说明控制部102的动作。
首先,控制部102根据是否接收到来自节奏输入部101的节奏输入信号来判断是否有用户的输入(步骤S101)。没有用户的输入时,控制部102结束处理。有用户的输入的情况下,控制部102对来自节奏输入部101的节奏输入信号进行分析,识别输入节奏模式(步骤S102)。关于输入节奏模式的识别处理后述(参照图7)。
然后,控制部102参照节奏词典存储部103中的节奏词典表(步骤S103),判断与识别出的输入节奏模式一致的登记节奏模式是否登记在节奏词典表中(步骤S104)。
没有相一致的登记节奏模式时,控制部102结束处理。有相一致的登记节奏模式时,控制部102命令相应的车辆内装置执行与该登记节奏模式对应的控制内容(步骤S105),然后结束处理。
图7所示为输入节奏模式识别处理(步骤S102)中控制部102的详细动作流程图。以下参照图7说明输入节奏模式识别处理中控制部102的动作。
首先,控制部102使起始模式为“x”(步骤S201)。这样做是为了检测出与下一次敲击之间的间隔时间。
然后,控制部102在预定的结束间隔时间内判断节奏输入部101是否被敲击(步骤S202)。具体地说,控制部102根据结束间隔时间内是否有达到打拍电平的脉冲来进行判断。这里的结束间隔时间是指超过该时间仍没有用户输入的情况下,视为用户的节奏输入结束的阈值。例如,结束间隔时间可以规定为600毫秒等。
在结束间隔时间内有下一敲击输入时,控制部102判断敲击间隔时间是否超过预定的长音间隔时间(步骤S203)。这里的长音间隔时间是指用于判断敲击间隔时间当中的敲击是打拍和休拍这两拍还是只有打拍这一拍的阈值。例如,长音间隔时间可以规定为400毫秒。
敲击间隔时间不超过长音间隔时间时,控制部102确定下一模式为“x”(步骤S204),然后返回步骤S202的动作。而敲击间隔时间超过长音间隔时间时,控制部102确定下一模式为“-x”(步骤S205),然后返回步骤S202的动作。
另一方面,在步骤S202中,当结束间隔时间内没有下一敲击输入时,控制部102视为用户的输入结束,根据步骤S201、S204、S205中确定的模式识别最终的输入节奏模式,然后返回图6所示的主程序的动作。
这样,在第1实施方式的控制系统中,节奏输入部对应用户的敲击来输出节奏输入信号。控制部对节奏输入信号的振幅的时间变化进行分析,将该时间变化简化为打拍的时刻和休拍的时刻,从而识别输入节奏模式。控制部判断与识别出的输入节奏模式一致的登记节奏模式是否登记在节奏词典表中,有相一致的登记节奏模式时,执行对应的控制内容。因此,可以提供一种不像声音识别那样受到周围杂音等的影响、可以利用少数输入设备输入操作指示并可靠地识别操作指示内容,并且可以通过盲敲来控制各种装置动作的控制系统。
例如,用于操纵车辆内装置的控制内容充其量有20~30种。这一数量的控制内容可望全部利用节奏模式来表现。因此,可以提供一种可利用少数输入设备可靠地进行最低限度的必要操作的控制系统。
在第1实施方式中,登记节奏模式与将控制内容发音时的节奏相对应,因此控制内容与节奏模式在直感上是一致的,因此可以期待更简单地进行利用节奏模式的输入。
在第1实施方式中,如果有用户的节奏输入,则控制系统识别为有用户的操作指示(参照步骤S101),因此用户不需要像声音识别系统那样进行将控制系统的模式切换成声音识别模式的麻烦操作。
而且,在第1实施方式中,仅通过将敲击间隔时间与结束间隔时间及长音间隔时间进行比较,就可以确定节奏模式,因此可以通过极为简单的算法来识别节奏模式。因此,具有安装容易、所使用的程序量和存储器容量很小的优点。
另外,在上述实施方式中,所登记的控制内容名为日语,但也可以是英语、德语、法语、俄语、西班牙语、汉语和韩语等任何语言。这种情况下也可以使控制内容名发音时的发音模式类型化,然后将类型化后形成的节奏模式作为登记节奏模式进行登记。
结束间隔时间和长音间隔时间也可以根据用户的初始设定来进行调整。这样可以缓解输入速度快的用户和速度慢的用户的个体差异。进行初始设定的情况下,控制系统也可以让用户输入典型的模式,然后自动识别结束间隔时间和长音间隔时间。
另外,也可以使用在持续按下期间内持续输出高电平的节奏输入信号的数字输入设备作为节奏输入部。图8所示为使用这样的输入设备时节奏输入信号的波形图。如图8所示,根据按下的时间不同,到达打拍电平的时间不同。通过持续按下节奏输入部,用户可以输入已输入的长音、二重元音等由有音和无音形成的节奏。在识别输入节奏模式时,在节奏输入信号的高电平持续规定间隔时间以上的情况下,控制部认为输入了由有音和无音形成的节奏、即有打拍和休拍,由此来识别输入节奏模式。然后,控制部如上述实施方式所述,判断输入节奏模式和登记节奏模式的一致性,然后控制车辆内装置的动作。
另外,在第1实施方式中,在节奏输入部101中使用数字输入设备,但也可以使用压电传感器等模拟输入设备。图9所示为使用模拟输入设备作为节奏输入部101时节奏输入信号的波形模式图。在节奏输入部101中使用模拟输入设备时,预先设定有打拍电平。节奏输入部101为模拟输入设备,因此如图9所示,随着用户的敲击,输入信号的振幅的强弱电平发生变化。这里,将波形的振幅电平超过打拍电平情况下的峰值时刻称为键落时刻。在键落时刻之后振幅电平降到最低的时刻称为键起时刻。相邻的键落时刻之间的时间称为敲击间隔时间。这样定义敲击间隔时间后,与图7所示的节奏模式识别处理同样,控制部可以识别节奏模式。
(第2实施方式)
本发明第2实施方式的系统整体结构与第1实施方式相同,因此在第2实施方式中沿用图1。以下以与第1实施方式的不同点为中心进行说明。
第2实施方式的节奏输入部101由压电传感器等模拟输入设备构成。
图10所示为从第2实施方式的节奏输入部101输出的节奏模式信号波形的模式图。在第2实施方式中,预先设定了强拍和弱拍电平。节奏输入部101为模拟输入设备,因此如图10所示,对应用户敲击的强弱程度不同,输入信号的振幅电平发生变化。在第2实施方式中,将波形的振幅电平超过强拍或弱拍电平情况下的峰值时刻称为键落时刻,将在键落时刻之后振幅电平降到最低的时刻称为键起时刻。相邻的键落时刻之间的时间称为敲击间隔时间。
在图10中,节奏输入信号的振幅电平超过弱拍电平时为打拍。节奏输入信号的振幅电平是位于弱拍电平和强拍电平之间的电平时为弱拍。节奏输入信号的振幅电平超过强拍电平时为强拍。
第2实施方式的节奏词典由定义了用于对控制内容名进行模式化的单位的规则表和用于使控制内容名和登记节奏模式相对应的节奏词典表构成。
图11所示为规则表的一个例子。在规则表中,英语中的音节单位和单位节奏模式相对应。音节分为有重音的音节、没有重音的音节、有重音的长音节、没有重音的长音节、有重音的二重元音和没有重音的二重元音这6种类型。
在图11中,以“A”表示强拍,“x”表示弱拍,“-”表示休拍。如图11所示,单位节奏模式“A”分配给有重音的音节。单位节奏模式“x”分配给没有重音的音节。单位节奏模式“A-”分配给有重音的长音节。单位节奏模式“x-”分配给没有重音的长音节。单位节奏模式“A-”分配给有重音的二重元音。单位节奏模式“x-”分配给没有重音的二重元音。
图12所示为节奏词典表的一个例子。通过向将控制内容名分解成音节单位后的每个单位分配相对应的单位节奏模式,来定义登记节奏模式。这里根据控制内容名的发音符号,将控制内容名分解成音节单位。
例如,英语的“Navigation”分解成音节单位时,被分解成“na”、“vi”、“ga”和“tion”。“na”和“vi”是没有重音的音节,“ga”是有重音的二重元音,“tion”是没有重音的音节,因此,与控制内容名“navigation”对应的登记节奏模式为“xxA-x”。对于其它控制内容名,同样地进行登记节奏模式的定义。
以下说明第2实施方式的控制部102的动作。用户输入节奏时的控制部102的主程序动作与第1实施方式相同,因此沿用图6。在第2实施方式中,输入节奏模式识别处理与第1实施方式不同。
图13所示为输入节奏模式识别处理中第2实施方式的控制部102的详细动作流程图。以下参照图13说明输入节奏模式识别处理中控制部102的动作。
首先,控制部102判断节奏输入信号的起始振幅峰值是强拍还是弱拍(步骤S301)。如果是强拍,控制部102使模式开头为“A”(步骤S302),然后前进到步骤S304的动作。如果是弱拍,控制部102使模式开头为“x”(步骤S303),然后前进到步骤S304的动作。
在步骤S304中,控制部102在预定的结束间隔时间内判断节奏输入部101是否被敲击(步骤S305)。具体地说,控制部102根据结束间隔时间内是否有超过弱拍电平的电信号输入来进行判断。结束间隔时间与第1实施方式相同。
在步骤S304中,在结束间隔时间内没有下一个敲击输入时,控制部102认为用户的输入结束而返回图6所示的主程序的动作。
在结束间隔时间内输入了下一敲击时,控制部102判断敲击间隔时间是否超过预定的长音间隔时间(步骤S305)。长音间隔时间与第1实施方式相同。
不超过长音间隔时间时,控制部102判断键落时刻的节奏输入信号的振幅电平峰值为强拍还是弱拍(步骤S306)。如果是强拍,控制部102使下一模式为“A”(步骤S307),然后返回步骤S304的动作。如果为弱拍,控制部102使下一模式为“x”(步骤S308),然后返回步骤S304的动作。
另一方面,在步骤S305中判断超过长音间隔时间时,控制部102判断键落时刻的节奏输入信号的振幅电平峰值为强拍还是弱拍(步骤S309)。如果是强拍,控制部102使下一模式为“-A”(步骤S310),然后返回步骤S304的动作。如果为弱拍,控制部102使下一模式为“-x”(步骤S311),然后返回步骤S304的动作。
这样,在第2实施方式中,控制系统为了处理英语等有重音的语言,利用模拟输入设备来判断敲击的强弱,并且参照利用音节和重音来定义节奏模式的节奏词典,判断节奏模式的一致性。因此,对于英语等语言,也可以提供一种不象声音识别那样受到周围杂音等的影响、可以利用少数输入设备输入操作指示并可靠地识别操作指示内容,并且可以通过盲敲来控制各种装置动作的控制系统。
另外,控制系统也可以像将日语的控制内容名分解成音节来定义节奏词典那样,识别节奏模式的一致性。这种情况下,可以判断重音位置,也可以不判断。
节奏模式的识别方法不限于上述方法。敲击间隔时间也可以定义为相邻的键起时刻之间的时间。另外,振幅大小不限于强弱这2种类型,也可以更细地定义成多层次。
(第3实施方式)
本发明第3实施方式的系统整体结构与第1实施方式相同,因此在第3实施方式中沿用图1。第3实施方式的节奏输入部101既可以是数字输入设备,也可以是模拟输入设备。
以下说明第3实施方式的控制部102的动作。用户输入节奏时的控制部102的主程序动作与第1实施方式相同,因此沿用图6。在第3实施方式中,输入节奏模式识别处理与第1实施方式不同。
图14所示为输入节奏模式识别处理中第3实施方式的控制部102的详细动作流程图。以下参照图14说明输入节奏模式识别处理中控制部102的动作。
首先,控制部102接收到来自节奏输入部101的节奏输入信号后,测量键落时刻并存储,然后测量从前一个键落时刻开始的经过时间(敲击间隔时间)并存储(步骤S401)。在此,键落时刻初次到来时,控制部102无法测量敲击间隔时间,因此直接前进到步骤S402的动作。控制部102将敲击间隔时间存储为数组Ti。
然后,控制部102根据节奏输入信号的振幅电平判断在预定的结束间隔时间内是否有下一敲击输入(步骤S402)。具体地说,控制部102根据在结束间隔时间内是否有键落时刻(参照图3或图8)到来进行判断。这里的结束间隔时间与第1实施方式中说明的相同。
在结束间隔时间内输入了下一敲击时,控制部102返回到步骤S401的动作。没有输入时,即用户的节奏输入结束时,控制部102前进到步骤S403的动作。
在步骤S403中,控制部102参照步骤S401中存储的信息,判断键落时刻到来的次数(以下称为敲击次数)是否仅为一次。仅为一次的情况下,控制部102使输入节奏模式为“x”(步骤S404),然后返回图6所示的主程序动作。不只一次的情况下,控制部102前进到步骤S405的动作。
在步骤S405中,控制部102假设一个与敲击次数对应的节奏模式(步骤S405)。在此,一个敲击间隔时间内的节奏模式,或者仅是一拍的打拍(即“x”),或者是二拍(即表示打拍和休拍的“x-”)。而且,最后的模式必为“x”。因此,敲击次数为N次的情况下,可取的节奏模式总数为2的N-1次方。例如,敲击次数为N=5的情况下,可取的节奏模式总数为2的4次方,即16种。
然后,控制部102求出假想的节奏模式的时间分布,算出所求出的时间分布与实际测量出的敲击间隔时间的偏离程度(步骤S406)。步骤S406的处理将通过图15~图17详述。
图15所示为步骤S401中存储的敲击间隔时间的数组Ti的一个例子。在图15所示例子中,在敲击间隔时间的数组Ti中,与敲击编号相对应地登记有测量出的实际敲击间隔时间(ms)。这里的敲击编号表示敲击的顺序。例如,敲击编号为“1”的敲击间隔时间表示从节奏输入信号的第一个键落时刻到下一键落时刻的敲击间隔时间。即,与各个敲击编号相对应的敲击间隔时间表示从该敲击编号的键落时刻到下一敲击编号的键落时刻的经过时间。因此,最后的敲击编号(图15中为“5”)没有对应敲击间隔时间。
图16所示为步骤S405中假设的节奏模式不恰当时的时间分布示例。图17所示为步骤S405中假设的节奏模式恰当时的时间分布示例。以下参照图16和图17说明假设的节奏模式的时间分布的求法。
首先,控制部102假设一个节奏模式。例如,在图16中假设为“x-xxx-x”。然后,控制部102针对每个敲击编号计算所假设的节奏模式的拍数,并算出其合计∑λi。在此,控制部102以“x”为一拍计算拍数,以“x-”为二拍计算拍数。在图16的例子中,假设的节奏模式的拍数合计∑λi为“6”。
然后,控制部102求出实际的敲击间隔时间的合计∑Ti。在图16的例子中,实际敲击间隔时间的合计∑Ti为“2100(ms)”。
然后,控制部102求出实际敲击间隔时间的合计∑Ti除以拍数合计∑λi的值τ。即,τ=∑Ti/∑λi。在图16的例子中,τ=2100/6=350(ms)。值τ是假设的节奏模式中每一拍的需要时间。控制部102使值τ乘以各敲击编号的拍数,求出每个敲击编号的敲击间隔时间。在图16的例子中,敲击编号“1”中假设的敲击间隔时间为350(ms)×2=700(ms)。敲击编号“2”中假设的敲击间隔时间为350(ms)×1=350(ms)。
然后,控制部102针对每个敲击编号求出实际敲击间隔时间与假设的敲击间隔时间之间的偏差(ms)。在图15的例子中,敲击编号“1”的实际敲击间隔时间为764(ms),在图16的例子中,假设的敲击间隔时间为700(ms),因此偏差为+64(ms)。
然后,控制部102对各敲击编号(除了最后一个敲击编号)的偏差的绝对值进行合计,求出平均值σ。即,σ=∑|Ti-τ×λi|。在图16的例子中,σ=(64+39+334+359)/4=199。在图17的例子中,σ=(64+39+16+9)/4=32。σ表示实际测定的敲击间隔时间分布与假设节奏模式的敲击间隔时间分布的偏离程度的值。即,σ是假设的节奏模式的适当性标准。σ值小,表示假设节奏模式适当。以下将σ称为偏离指数。
假设图16所示的节奏模式时的偏离指数σ为119。假设图17所示节奏模式时的偏离指数σ为32。因此可以预料,图17所示的节奏模式比图16所示的节奏模式更接近用户实际输入的节奏模式。
再次参照图14说明控制部102的动作。
如上所述,在求出实际的敲击间隔时间与假设的节奏模式的敲击间隔时间的偏离指数后,控制部102判断步骤S406中算出的偏离指数是否超过最小偏离指数(步骤S407)。这里的最小偏离指数是指目前为止假设的节奏模式的偏离指数中最小的偏离指数。
偏离指数不超过最小偏离指数时,控制部102将该偏离指数作为最小偏离指数存储,并将表示该偏离指数的节奏模式作为假设节奏模式存储(步骤S408),然后前进到步骤S409的动作。另外,在最初假设节奏模式时,控制部102没有存储最小偏离指数,因此一定前进到步骤S408的动作。
另一方面,超过最小偏离指数时,控制部102不更新最小偏离指数,而是返回步骤S405的动作,重新假设其它节奏模式。
在步骤S409中,控制部102判断是否已经假设了全部可以假设的节奏模式。没有假设的情况下,控制部102返回步骤S405的动作,重新假设其它的节奏模式。这样,通过返回步骤S405的动作,控制部102求出可以假设的全部节奏模式中偏离指数σ最小的节奏模式。
另一方面,所有节奏模式的假设结束时,控制部102判断作为最小偏离指数的假设节奏模式是否是均匀节奏模式(步骤S410)。这里所谓的均匀节奏模式是指象“xxx”或“x-x-x”这样,各敲击间隔时间全部由相同拍数构成的节奏模式。
不是均匀节奏模式的情况下,控制部102认为该假设节奏模式是根据节奏输入信号识别的输入节奏模式,返回图6所示主程序的动作,判断输入节奏模式和登记节奏模式一致,并控制车辆内装置的动作。
另一方面,是均匀节奏模式的情况下,控制部102无法区别实际节奏模式是由“x”构成的均匀节奏模式,还是由“x-”构成的均匀节奏模式。因为均匀节奏模式的偏离指数都相等。
因此,控制部102求出敲击间隔时间的平均值,判断该平均值是否在长音间隔时间内(步骤S411)。这里的长音间隔时间与第1实施方式相同。
敲击间隔时间的平均值在长音间隔时间以内时,控制部102认为全部节奏仅由一拍(即打拍“x”)构成的节奏模式是最终识别的输入节奏模式(步骤S412),然后返回图6所示的主程序的动作。
另一方面,敲击间隔时间的平均值比长音间隔时间长时,控制部102认为全部节奏由二拍(即打拍+休拍的“x-”,其中仅最后为“x”)构成的节奏模式是最终识别的输入节奏模式(步骤S413),然后返回图6所示的主程序的动作。
如上所述,控制系统假设可取的所有节奏模式,比较实际输入的节奏输入信号的敲击间隔时间分布与假设的节奏模式的敲击间隔时间分布,求出与实际的偏离。控制系统将假设的节奏模式中偏离最小的节奏模式识别为输入节奏模式。
这样,在第3实施方式中,控制系统考虑敲击间隔时间的总和来识别输入节奏模式,因此可以通过考虑整体的语调来识别输入节奏模式,而与输入节奏的速度快慢无关。因此,控制系统可以吸收用户的个体差异来识别输入节奏模式,因此与统一地根据与长音间隔的相对大小识别输入节奏模式相比,可以更正确地控制各种装置的动作。
另外,也可以根据用户的初始设定来调整用于在结束间隔或均匀节奏模式的情况下判断最终节奏模式的长音间隔。
在第3实施方式中,根据敲击次数假设所有可假设的节奏模式,然后将与实际的节奏输入信号的时间变化倾向最一致的节奏模式识别为输入节奏模式,但时间变化倾向一致性的判断方法不限于此。例如,控制部也可以在节奏词典表中的所有登记节奏模式中寻找与实际节奏输入信号的时间变化倾向最一致的登记节奏模式,将最一致的登记节奏模式识别为输入节奏模式。而且,控制部也可以仅以与敲击次数一致的登记节奏模式为对象,来寻找与实际节奏输入信号的时间变化倾向最一致的登记节奏模式,将最一致的登记节奏模式识别为输入节奏模式。在此,判断时间变化倾向的方法可以是如上所述比较偏离指数的方法。
(第4实施方式)
本发明第4实施方式的系统整体结构与第1实施方式相同,因此在第4实施方式中沿用图1。第4实施方式的节奏输入部101既可以是数字输入设备,也可以是模拟输入设备。
以下说明第4实施方式中控制部102的动作。用户输入节奏时控制部102的主程序动作与第1实施方式相同,因此沿用图6。在第4实施方式中,输入节奏模式识别处理与第1实施方式不同。
图18所示为输入节奏模式识别处理中第4实施方式的控制部102的详细动作流程图。以下参照图18说明输入节奏模式识别处理中控制部102的动作。
首先,与第3实施方式同样,控制部102存储敲击间隔时间(步骤S501),然后判断是否有下一敲击输入(步骤S502)。输入了下一敲击时,控制部102返回步骤S501的动作。没有输入时,即用户的节奏输入结束时,控制部102前进到步骤S503的动作,分析节奏模式。
在步骤S503中,控制部102判断敲击次数是否仅为一次。仅为一次的情况下,控制部102将输入节奏模式识别为“x”,然后返回图6所示的主程序动作。
不只一次的情况下,控制部102求出在所求得的敲击间隔时间中最小的敲击间隔时间(步骤S505)。然后,控制部102从头开始依次从已测量的敲击间隔时间内选择一个敲击间隔时间(步骤S506)。然后,控制部102以最小敲击间隔时间为1,求出所选择的敲击间隔时间的相对值,然后判断该相对值是否超过规定阈值(步骤S507)。规定阈值是打拍时间和休拍时间相加值的相对值,例如为2。
相对值超过规定阈值的情况下,控制部102使所选择的敲击间隔时间中的模式为“x-”(步骤S508),然后前进到步骤S509的动作。另一方面,相对值不超过规定阈值的情况下,控制部102使所选择的敲击间隔时间中的模式为“x”(步骤S510),然后前进到步骤S509的动作。
例如,最小敲击间隔时间为300(ms)且某一敲击间隔时间为660(ms)的情况下,相对值为660/300=2.2。假设规定阈值为2时,则认为660(ms)的敲击间隔时间经过过程中的节奏模式为“x-”。
在步骤S509中,控制部102对已测量的全部敲击间隔时间判断相对值的阈值判定是否结束。没有结束的情况下,控制部102返回步骤S506的动作,对下一敲击间隔时间进行与最小敲击间隔时间的比较。已经结束的情况下,控制部102根据步骤S508和/或步骤S510中确定的模式来确定输入节奏模式,然后返回图6所示主程序的动作,判断输入节奏模式和登记节奏模式的一致,并控制车辆内装置的动作。
这样,在第4实施方式中,控制系统以最小敲击间隔时间为1,求出各敲击间隔时间的相对值,从而判断敲击间隔时间中是否有休拍。因此,可以通过考虑整体的语调来识别节奏模式,而与输入节奏的速度快慢无关。因此,控制系统可以吸收用户的个体差异来识别输入节奏模式,与统一地根据与长音间隔的相对大小来识别输入节奏模式相比,可以更正确地控制各种装置的动作。
(第5实施方式)
本发明第5实施方式的系统整体结构与第1实施方式相同,因此在第5实施方式中沿用图1。第5实施方式的节奏输入部101由模拟输入设备构成。而且,在第5实施方式中,重音的位置也用于节奏模式的识别。节奏词典使用如图11和图12所示的还定义了强弱的节奏词典。
以下说明第5实施方式中控制部102的动作。用户输入节奏时的控制部102的主程序动作与第1实施方式相同,因此沿用图6。在第5实施方式中,输入节奏模式识别处理与第1实施方式不同。
图19所示为输入节奏模式识别处理中第5实施方式的控制部102的详细动作流程图。以下参照图19说明输入节奏模式识别处理中控制部102的动作。
首先,控制部102接收来自节奏输入部101的节奏输入信号,存储键落时刻的振幅电平(步骤S601)。然后,控制部102测量敲击间隔时间并存储(步骤S602)。键落时刻初次到来时,控制部102不测量敲击间隔时间,直接前进到下一动作。
然后,控制部102判断在结束间隔时间内是否有下一敲击输入(步骤S603)。输入了下一敲击时,控制部102返回步骤S601的动作。没有输入下一敲击时,控制部102前进到步骤S604的动作。
在步骤S604中,控制部102不考虑敲击的强弱来识别输入节奏模式。这里用于识别输入节奏模式的算法,可以是第3和第4实施方式所示的任何一种算法。
然后,控制部102从节奏输入信号的开头开始依次选择一个键落时刻的振幅电平(步骤S605),判断该振幅电平表示强拍还是表示弱拍(步骤S606)。
振幅电平表示强拍的情况下,控制部102使强弱模式为“强”(步骤S607),然后前进到步骤S608的动作。这里所谓的强弱模式是指步骤S604中识别出的输入节奏模式的打拍部分是强拍还是弱拍的模式。另一方面,振幅电平表示弱拍的情况下,控制部102使强弱模式为“弱”(步骤S609),然后前进到步骤S608的动作。
在步骤S608中,控制部102判断是否已选择了全部的键落时刻。没有全部选择的情况下,控制部102返回步骤S605的动作,确定下一个强弱模式。另一方面,选择结束的情况下,控制部102结合步骤S604中识别的输入节奏模式和步骤S607、S609中识别的强弱模式,确定最终的输入节奏模式(步骤S610),然后返回图6所示主程序的动作,参照定义了强弱的节奏词典,来判断是否存在相一致的节奏模式,并控制车辆内装置的动作。
步骤S610中输入节奏模式和强弱模式的结合,是通过从头开始依次将强弱模式适用于节奏模式的打拍部分来进行。例如,输入节奏模式是“x-xxxx”、强弱模式为“强弱强弱弱”时,控制部102依次将“强”或“弱”适用于输入节奏模式的打拍部分,适用“强”时,将模式变更为“A”。通过这样的结合,控制部102可以识别最终的输入节奏模式“A-xAxx”。
这样,第5实施方式可以结合打拍强弱来识别输入节奏模式。特别是,通过与第3和第4实施方式所示的输入节奏模式识别处理的组合,控制系统可以通过考虑整体的语调并结合强弱来识别节奏模式,而与输入节奏的速度快慢无关。
另外,打拍的强弱也有个体差异,因此控制系统也可以以最小打拍电平或最大打拍电平为基准,相对地判断打拍的强弱。
(第6实施方式)
每个用户的发音模式可能不同,因此每个用户的输入节奏模式也可能不同。第6实施方式说明了登记有各用户不同的节奏模式的节奏词典,同时也说明了可以与用户自己的输入节奏模式一致地编辑登记节奏模式的系统。
图20所示为本发明第6实施方式的控制系统600的结构以及使用该控制系统的系统的整体结构。在图20中,与第1实施方式相同的部分使用相同的附图标记并省略说明。
在图20中,整个系统包括控制系统600、空调201、音响202、电视203和车载导航系统204。控制系统600包含节奏输入部601、控制部602、个人数据/节奏词典存储部603、输出部604和认证部605。
节奏输入部601可以是数字输入设备,也可以是模拟输入设备。
个人数据/节奏词典存储部603由RAM、ROM或硬盘等存储装置构成。个人数据/节奏词典存储部603针对每个用户存储有节奏词典表、识别输入节奏模式所必要的参数以及反馈方法的有关设定信息。
这里,各个用户不同的节奏词典表是通过用户预先结合控制内容名来登记节奏模式而进行定义。识别输入节奏模式所必要的参数(以下称为识别用参数)是指打拍、休拍电平的阈值(参照图3、图9)、强拍、弱拍电平的阈值(参照图10)、长音间隔时间、结束间隔时间等检测节奏输入信号的时间变化所必要的信息。
另外,有关反馈方法的设定信息(以下称为反馈设定信息)是指表示反馈给用户的内容是图像显示、声音输出还是振动的信息。
输出部604包括显示器等图像装置,扬声器、扩音器等发声装置,以及振动器等振动装置等,是用于给予用户的五个感官某一刺激的体感装置。
认证部605是进行用户个人认证的装置,其结构根据认证方法的不同而不同。认证方法包括用户输入密码的认证方法、对脸部或虹彩·指纹等进行图像识别的认证方法,以及输入笔迹或声音的认证方法等。本实施方式不特别涉及安全问题,因此仅使用在使用之前从用户列表中选择自己名字的认证方法。认证部605根据控制部602的要求认证并确定用户,然后将结果返回给控制部602。
控制部602由CPU、存储器等构成,根据来自认证部605的信息确定要使用的用户,然后参照个人数据/节奏词典存储部603中存储的识别用参数,针对每个用户对从节奏输入部601输出的节奏输入信号进行分析,来识别输入节奏模式。用于识别输入节奏模式的算法可以是上述第1~第5实施方式中使用的任意算法。控制部602参照个人数据/节奏词典存储部603中存储的各个用户的节奏词典表,判断是否存在与所识别的输入节奏模式相一致的登记节奏模式。存在相一致的登记节奏模式时,控制部602通过输出部604将该判断结果反馈给用户,控制车辆内装置的动作。
图21所示为控制部602识别用户通过敲击节奏输入部601输入的节奏来控制车辆内装置的动作时的控制部602的动作流程图。以下参照图21说明控制部602的动作。
首先,控制部602要求认证部605确定并认证用户个人,然后接收其认证结果(步骤S701)。然后,控制部602根据是否接收到来自节奏输入部601的电信号来判断是否有用户输入(步骤S702)。没有用户输入的情况下,控制部602结束处理。有用户输入的情况下,控制部602参照个人数据/节奏词典存储部603中所确定的用户的认证用参数(步骤S703),然后前进到步骤S704的动作。
在步骤S704中,控制部602根据来自节奏输入部601的节奏输入信号和所参照的识别用参数,识别节奏模式。用于识别输入节奏模式的算法可以是上述第1~第5实施方式中使用的任意算法。通过利用各个用户的识别用参数,控制部602可以在缓和打拍时刻的个体差异和打拍强度的个体差异的情况下识别输入节奏模式。
然后,控制部602判断与所识别的输入节奏模式相一致的登记节奏模式是否登记在该用户的节奏词典表中(步骤S705)。存在相一致的登记节奏模式时,控制部602执行与该节奏模式对应的控制内容,控制车辆内装置的动作(步骤S706),然后将表示控制成功的反馈信号与反馈设定信息一起输出到输出部604(步骤S707),并结束处理。另一方面,没有相一致的登记节奏模式时,控制部602将表示识别失败的反馈信号与反馈设定信息一起输出到输出部604(步骤S708),并结束处理。输出部604根据来自控制部602的反馈信号和反馈设定信息,通过声音、图像或振动等将识别是否成功的信息传递给用户。
图22所示为用户确认·编辑节奏词典表的内容时控制部602的动作流程图。以下参照图22说明用户确认·编辑节奏词典表的内容时控制部602的动作。
首先,控制部602进入节奏词典表的确认、编辑操作时,在输出部604的画面上显示例如“追加·修正”、“确认”、“删除”等选择项,然后让用户选择项目(步骤S801)。
在步骤S801中,用户选择了“追加”时,控制部602在输出部604的画面上显示“文字输入”、“节奏输入”等选择项,等待用户的输入(步骤S802)。
在步骤S802中,用户选择了节奏输入的情况下,控制部602接收来自节奏输入部601的节奏输入信号(步骤S803),识别输入节奏模式(步骤S804),然后前进到步骤S807的动作。步骤S804中的输入节奏模式的识别算法可以是上述第1~第5实施方式中说明的任意一个算法。
在步骤S802中,用户选择了文字输入的情况下,控制部602通过键盘、声音识别部等文字输入部(图上未示出)接收来自用户的文字输入(步骤S805),将文字转换成节奏模式(步骤S806),然后前进到步骤S807的动作。在步骤S806中,控制部602如第1或第2实施方式所示,将输入文字分割成规定的单位,然后向分割后的每个单位分配规定的单位节奏模式,从而将输入文字转换成节奏模式。
在步骤S807中,控制部602检查步骤S804或S806中确定的节奏模式是否与个人数据/节奏词典存储部603中存储的已有登记节奏模式相重复。可取的节奏模式的数量是有限的,因而节奏模式有可能重复。因此控制部602进行步骤S807的判断。
有重复的登记节奏模式时,控制部602返回步骤S802,要求用户重新输入。没有重复的节奏模式时,控制部602在个人数据/节奏词典存储部603中登记新的节奏模式和控制内容(步骤S808),然后结束处理。另外,在进行修正的情况下,控制部602将与已登记的控制内容名对应的节奏模式变更成新的节奏模式。这里的控制内容可以由用户指定,也可以由控制部602让用户选择。这样,控制部602通过直接让用户敲击节奏来登记节奏模式,或者让用户输入文字来登记节奏模式,从而编辑节奏词典表的登记内容。
返回步骤S801以后的动作说明。在步骤S801中,用户选择了“确认”时,控制部602使输出部604能让用户感觉到所选择的登记节奏模式(步骤S809),然后结束处理。具体地说,输出部604根据登记节奏模式的打拍(有强弱的情况下为强拍、弱拍)和/或休拍的速度,在画面上显示动画模式、输出声音模式或输出振动模式。这样,用户可以感觉到登记节奏模式。
在步骤S801中,用户选择了“删除”时,控制部602从个人数据/节奏词典存储部603中删除与所选择的节奏模式相应的项目(步骤S810),然后结束处理。
这样,在第6实施方式中,控制系统针对每个用户登记了节奏词典表、识别用参数和反馈设定信息,并且根据用户的不同变更可参照的信息,因此可以减少由于敲击节奏的偏好或速度等用户的个体差异导致的无法识别节奏模式的情况。
另外,控制系统可以将节奏模式的识别结果传递给用户,因此用户可以确认是否输入了正确的节奏。
另外,控制系统可以使用户感觉到登记节奏模式,因此用户可以学习登记节奏模式。
而且,控制系统可以根据用户的节奏输入或文字输入来编辑节奏词典。因而可以编制被定制的节奏词典。
(第7实施方式)
以下说明本发明的第7实施方式。第7实施方式的控制系统的结构和使用该控制系统的系统的整体结构与第1实施方式相同,因此沿用图1。在第7实施方式中,为了将节奏模式分配给更多的功能,分层次对功能进行了定义。
图23所示为使用由压电传感器等构成的模拟输入设备作为第7实施方式的节奏输入部101时的车内安装位置的模式图。本实施方式的特征在于,节奏输入部101的内部包含2个以上的输入设备。为了便于驾驶员在驾驶当中进行敲击,节奏输入部101内置有位于方向盘301左部的压电传感器302L和位于右部的压电传感器302R。与第1实施方式相同,在压电传感器302L和302R反应的部位设有突起物。如果敲击部位是通过手摸索也容易找出的结构,则可以不是突起物。另外,图23所示的输入设备仅为一个例子。两个输入设备除了可以配置在左右位置,也可以配置在上下等其它位置。
图24所示为节奏词典存储部103中存储的节奏词典表的一个例子。这里将控制命令的内容分类成大功能和附随在其下的小功能这两层的层次结构。
从左部的压电传感器302L输入的节奏模式被分配为大功能的输入。从右部的压电传感器302R输入的节奏模式被分配为小功能的输入。例如,通过在左部敲击节奏“x-xx-xx”,就选择了大功能“路线寻找”。然后,通过在右部敲击节奏“xxx”,就选择了附随在大功能“路线寻找”上的小功能“自己的住宅”。控制部对这两个输入的组合进行分析,然后控制例如让车载导航系统寻找到自己住宅的路线并开始引导等车辆内装置的动作。
图25所示为节奏模式识别处理中控制部102的动作的详细流程图。以下参照图25说明节奏模式识别处理中控制部102的动作。
控制部102使先头的模式为“x”(步骤S901),然后判断在结束间隔时间内是否有下一敲击输入(步骤S902)。没有输入时,控制部102结束处理。有输入时,控制部102判断被敲击的传感器是否是与上次敲击的传感器同侧的传感器(步骤S903)。这里的传感器是指压电传感器302L和302R(以下同样)。
敲击了不同侧的传感器时,控制部102确定下一模式为“|x”(步骤S907),然后返回步骤S902的动作。这里的“|”是表示单词断开处的符号,表示用户切换敲击的传感器的时刻。
另一方面,被敲击的传感器与前次敲击的传感器同侧时,控制部102判断是否是在长音间隔时间内(步骤S904),根据判断结果使模式为“x”或“-x”(步骤S905或步骤S906),然后返回步骤S902的动作。
如上所述,在切换了要敲击的传感器时,在节奏模式中插入“|”控制部102在判断一致模式的有无时,判断是否插入有“|”。插入有“|”的情况下,控制部102判断是在执行大功能还是在执行小功能。在执行大功能的情况下,控制部102判断与小功能中登记的节奏模式的一致性来控制车辆内装置。另一方面,在执行小功能时,控制部判断与大功能中登记的节奏模式的一致性来控制车辆内装置。
这样,在第7实施方式中,在切换了敲击侧的情况下,控制系统自动插入表示层次切换的符号。在插入表示层次切换的符号时,控制系统通过切换用于判断节奏模式一致性的节奏词典来参照对应的节奏词典,然后判断节奏模式的一致性。这样,控制系统可以进行与各层次的功能相对应的控制。而且,因为功能被进行了层次化,因而可以增加控制系统可处理的控制内容的数量。
另外,这里说明的是2层的层次结构的例子,但也可以分类成3层。这种情况下,例如在左部分配最高的层,在右部分配第2层,然后再在左部的传感器上分配第3层,控制系统根据敲击左部、右部和左部的顺序来切换要使用的节奏词典。例如,在执行第1层次的判断过程中从左部切换到了右部时,控制系统确认从第1层次转移到了第2层次,在执行第2层次的判断的过程中从右部切换到了左部时,控制系统确认从第2层次转移到了第3层次。而且,在执行第3层次的判断的过程中从左部切换到了右部时,控制系统确认从第3层次返回到了第1层次。
同样,层次结构也可以是4层以上。这种情况下,控制系统也可以根据当前执行中的层次和传感器的切换顺序来确认转移后的层次,并且参照与该层次相对应的节奏词典。
另外,在第7实施方式中,传感器设置在左部和右部这2个部位上,但因为本实施方式的实质是检测传感器的切换,因此传感器的设置个数可以是多个,并不限于2个。
另外,第7实施方式的控制系统与第6实施方式同样,也可以还具有存储各个用户的设定的功能和反馈的功能。
另外,在第7实施方式中说明的是,为了识别输入节奏模式,根据与长音间隔时间的比较进行判断的处理,当然也可以在第2~第5实施方式的输入节奏模式识别处理中实施用于识别层次结构的处理。
具体地说,在第2实施方式的节奏模式识别处理中,控制系统可以在判断结束间隔时间内是否有下一敲击输入(参照图13的步骤S304)后,根据是否敲击了与前次相同的传感器来判断切换,并且根据打拍的强弱来确定节奏模式。
在第3实施方式的输入节奏模式识别处理中,控制系统可以在记录敲击间隔时间时(参照图14的步骤S401),同时判断传感器的切换并进行记录,在步骤S405以后的处理中,针对每一层次识别节奏模式。第4实施方式和第5实施方式同样如此。
(其它实施方式)
本申请的发明不限定于上述各实施方式所记述的内容,不应作狭义解释。
首先,上述各实施方式是在方向盘上设置构成作为操作设备的节奏输入部的压电传感器或接点式开关,但设置节奏输入部的场所不限于此。例如,也可以设置在椅子的扶手部位、仪表板内、后部座椅等处,节奏输入部与现有的操作设备同样,可以设置在任意场所。
而且,上述各实施方式以车辆内装置的控制为例进行说明,但本发明的适用范围不限于车载用系统。例如,通过在电视机或录像机等家庭用机器上设置节奏输入部,用户也可以通过节奏输入来操作这些机器。
另外,节奏输入部与机器之间的通信可以通过无线进行,也可以通过有线进行。例如,以无线进行通信时,节奏输入部可以不设置在设备本体上,而是设置在遥控器上。
另外,在上述各实施方式中,控制系统与各个装置分开存在,但也可以组装入各装置内部。例如,在计算机上,可以通过CPU执行控制程序来实现上述各实施方式的控制部,利用鼠标、键盘以及画面上显示的虚拟输入板来实现节奏输入部,并通过存储在硬盘上来实现节奏词典。然后可以通过在该输入板上点击鼠标等来输入节奏,并在PC上进行各种软件的启动或执行命令。
例如,在想要启动字处理机软件时,用户按照“字处理机”这个词汇发音的节奏在虚拟输入板上点击鼠标。控制程序执行过程中,CPU与节奏词典进行比较,根据其结果启动字处理机软件。该PC上的控制程序是用于使CPU执行图6所示动作的程序。即,在节奏模式一致的情况下,将图6的步骤S105置换成执行该软件的动作。这种情况下,控制系统作为一种可以通过节奏模式的输入来启动各种软件或者执行命令的、可在计算机装置上执行的控制程序而被提供。
工业实用性
如上所述,本发明的控制系统可以根据用户利用少量的操作设备进行的操作指示来可靠地执行期望的功能。

Claims (31)

1.一种控制系统,用于控制至少一个以上装置的动作,其特征在于,
它具有:节奏输入部,根据来自用户的敲击输入,将振幅电平变化的电信号作为节奏输入信号输出,所述敲击输入与表示所述装置的控制内容的名称的发音模式相对应;
节奏词典存储部,存储节奏词典表,该节奏词典表用于使所述装置的控制内容与将表示该控制内容的名称的发音模式类型化后形成的登记节奏模式相对应;以及
控制所述装置的动作的控制部;
所述控制部包括:输入节奏模式识别单元,对从所述节奏输入部输入的所述节奏输入信号进行分析,识别输入节奏模式;以及装置控制单元,参照所述节奏词典表,检索与所述输入节奏模式识别单元所识别的输入节奏模式一致的登记节奏模式,根据与该登记节奏模式对应的控制内容来控制所述装置。
2.如权利要求1所述的控制系统,其特征在于,
在所述节奏词典表中,通过向将表示所述控制内容的名称分割成一个以上规定单位后的每个单位分配规定的单位节奏模式,来定义所述登记节奏模式;
所述输入节奏模式识别单元通过简化所述节奏输入信号的振幅电平的时间变化,来识别输入节奏模式。
3.如权利要求2所述的控制系统,其特征在于,
所述单位节奏模式是通过对所述规定单位上的音的有无分配打拍的有无来定义;
所述输入节奏模式识别单元根据所述振幅电平的时间变化来识别用户敲击了所述节奏输入部的打拍时刻和/或规定的时间间隔内没有敲击的休拍时刻,然后通过利用打拍和/或休拍时刻表示所述节奏输入信号的时间变化来识别输入节奏模式。
4.如权利要求3所述的控制系统,其特征在于,
所述单位节奏模式中还定义了所述规定单位上的音的强弱;
所述输入节奏模式识别单元还根据所述振幅电平的强弱分层次地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻的敲击强弱的表示来识别输入节奏模式。
5.如权利要求3所述的控制系统,其特征在于,用户在所述规定的间隔时间内持续按下所述节奏输入部的情况下,所述输入节奏模式识别单元认为有打拍时刻和休拍时刻,由此识别输入节奏模式。
6.如权利要求2所述的控制系统,其特征在于,
所述单位节奏模式是通过对所述规定单位上的音的有无分配打拍的有无来定义;
所述输入节奏模式识别单元根据所述振幅电平的大小来检测打拍的有无,假设具有与检测到的打拍数目相同的打拍的所有节奏模式,从假设的节奏模式中寻找与所述节奏输入信号的时间变化倾向最一致的节奏模式,将寻找到的节奏模式识别为输入节奏模式。
7.如权利要求6所述的控制系统,其特征在于,所述输入节奏模式识别单元求出假设的节奏模式中的相邻二个打拍的时间间隔和所述节奏输入信号中的相邻二个打拍的时间间隔之差,将假设的节奏模式中差的平均值最小的节奏模式识别为输入节奏模式。
8.如权利要求6所述的控制系统,其特征在于,在所识别的所述输入节奏模式的打拍间隔均匀分布的情况下,所述输入节奏模式识别单元还判断所述打拍间隔是否超过规定的间隔时间,超过的情况下,重新识别为输入节奏模式是打拍和休拍连续的节奏模式,不超过的情况下,重新识别为输入敲击模式是仅仅打拍连续的节奏模式。
9.如权利要求6所述的控制系统,其特征在于,
所述单位节奏模式中还定义了所述规定单位上的音的强弱;
所述输入节奏模式识别单元还根据所述振幅电平的强弱分层次地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻的敲击强弱的表示来识别输入节奏模式。
10.如权利要求2所述的控制系统,其特征在于,
所述单位节奏模式是通过对所述规定单位上的音的有无分配打拍的有无来定义;
所述输入节奏模式识别单元从所述节奏词典表的登记节奏模式中寻找与所述节奏输入信号的时间变化倾向最一致的节奏模式,将寻找到的节奏模式识别为输入节奏模式。
11.如权利要求10所述的控制系统,其特征在于,所述输入节奏模式识别单元根据所述振幅电平的大小来检测打拍的有无,从所述节奏词典表的登记节奏模式中寻找具有与检测到的打拍数目相同的打拍的节奏模式,然后进一步从寻找到的节奏模式中寻找与所述时间变化倾向最一致的节奏模式,将最终寻找到的节奏模式识别为输入节奏模式。
12.如权利要求11所述的控制系统,其特征在于,所述输入节奏模式识别单元在进一步检索与所述时间变化倾向最一致的节奏模式时,求出所述寻找到的节奏模式中的相邻二个打拍的时间间隔和所述节奏输入信号中的相邻二个打拍的时间间隔之差,将所述寻找到的节奏模式中差的平均值最小的节奏模式识别为输入节奏模式。
13.如权利要求10所述的控制系统,其特征在于,所述单位节奏模式中还定义了所述规定单位上音的强弱;
所述输入节奏模式识别单元还根据所述振幅电平的强弱分层次地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻的敲击强弱的表示来识别输入节奏模式。
14.如权利要求2所述的控制系统,其特征在于,
所述单位节奏模式是通过对所述规定单位上的音的有无分配打拍的有无来定义;
所述输入节奏模式识别单元根据所述振幅电平的大小来检测打拍的有无,求出所述节奏输入信号中的相邻二个打拍的时间间隔内最小的时间间隔,根据比较该最小时间间隔和其它二个打拍的时间间隔的相对值,确定该二个打拍之间是否有休拍,然后利用打拍和/或休拍时刻表示所述节奏输入信号的时间变化,来识别输入节奏模式。
15.如权利要求14所述的控制系统,其特征在于,所述单位节奏模式中还定义了所述规定单位上的音的强弱;
所述输入节奏模式识别单元还根据所述振幅电平的强弱分层次地识别所述打拍时刻的敲击的强弱,从而通过可区别所述打拍时刻的敲击强弱的表示来识别输入节奏模式。
16.如权利要求2所述的控制系统,其特征在于,用于对表示所述控制内容的名称进行分割的所述规定单位是音拍单位。
17.如权利要求2所述的控制系统,其特征在于,用于对表示所述控制内容的名称进行分割的所述规定单位是音节单位。
18.如权利要求1所述的控制系统,其特征在于,所述控制部还包括根据用户的指示编辑所述节奏词典表的登记内容的节奏模式编辑单元。
19.如权利要求18所述的控制系统,其特征在于,所述节奏模式编辑单元使所述输入节奏模式识别单元识别敲击了所述节奏输入部的用户所期望的输入节奏模式,将该输入节奏模式作为所述节奏词典表中的登记节奏模式进行登记。
20.如权利要求18所述的控制系统,其特征在于,所述节奏模式编辑单元通过将利用用户输入的文字信息表示的控制名称分割成一个以上的规定单位,并向分割后的各个单位分配规定的单位节奏模式,来定义节奏模式,然后将该节奏模式作为所述节奏词典表中的登记节奏模式进行登记。
21.如权利要求18所述的控制系统,其特征在于,所述节奏模式编辑单元一边确认所述登记节奏模式的重复,一边编辑所述节奏词典表的登记内容。
22.如权利要求1所述的控制系统,其特征在于,其搭载在车辆内。
23.如权利要求22所述的控制系统,其特征在于,所述节奏输入部配置在所述车辆内的方向盘把手上,具有可通过触感进行位置确认的结构。
24.如权利要求1所述的控制系统,其特征在于,所述节奏词典表将所述控制内容定义为层次结构;
所述装置控制单元存储当前检索中的层次,在当前检索中的层次内检索所述输入节奏模式和所述登记节奏模式的一致性;
所述节奏输入部还包括用于使所述装置控制单元切换所述当前检索中的层次的层次切换单元。
25.如权利要求24所述的控制系统,其特征在于,所述节奏输入部由用于输入用户的敲击的2个以上的输入设备构成;
所述层次切换单元在被敲击的所述输入设备切换时,使所述装置控制单元切换当前检索中的层次。
26.如权利要求1所述的控制系统,其特征在于,所述节奏词典表中定义有按用户分的登记节奏模式;
所述装置控制单元针对每个用户检索相一致的登记节奏模式。
27.如权利要求1所述的控制系统,其特征在于,所述输入节奏模式识别单元按每个用户存储了检测所述节奏输入信号的时间变化时所需的参数,并且根据该参数来按每个用户进行所述节奏输入信号的分析。
28.如权利要求1所述的控制系统,其特征在于,还具有将是否存在相一致的登记节奏模式的所述装置控制单元的检索结果传递给用户的输出部。
29.如权利要求1所述的控制系统,其特征在于,还具有根据用户的指示,使用户身体感觉到登记在所述节奏词典表中的节奏模式的体感输出部。
30.如权利要求1所述的控制系统,其特征在于,所述输入节奏模式识别单元在所述节奏输入信号的振幅维持一定时间的低电平时,作为输入结束来识别输入节奏模式。
31.一种方法,用于通过计算机装置控制至少一个以上装置的动作,其特征在于,它包括以下步骤:
对输入到所述计算机装置的电信号进行分析,由所述计算机装置识别输入节奏模式的步骤;
参照用于使存储在所述计算机装置中的所述装置的控制内容与将表示该控制内容的名称的发音模式类型化形成后的登记节奏模式相对应的节奏词典表,由所述计算机装置检索与所识别的所述输入节奏模式相一致的登记节奏模式的步骤;
由所述计算机装置根据与检索出的登记节奏模式相对应的控制内容来控制所述装置的步骤。
CNB03819953XA 2002-08-22 2003-06-11 利用节奏模式的控制系统、方法和程序 Expired - Fee Related CN1306373C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002242083 2002-08-22
JP242083/2002 2002-08-22

Publications (2)

Publication Number Publication Date
CN1678976A CN1678976A (zh) 2005-10-05
CN1306373C true CN1306373C (zh) 2007-03-21

Family

ID=31944009

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03819953XA Expired - Fee Related CN1306373C (zh) 2002-08-22 2003-06-11 利用节奏模式的控制系统、方法和程序

Country Status (7)

Country Link
US (1) US20060011045A1 (zh)
EP (1) EP1542120A4 (zh)
JP (1) JPWO2004019197A1 (zh)
KR (1) KR20050063765A (zh)
CN (1) CN1306373C (zh)
AU (1) AU2003242259A1 (zh)
WO (1) WO2004019197A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596701B2 (en) * 2004-07-07 2009-09-29 Oracle International Corporation Online data encryption and decryption
US7616764B2 (en) * 2004-07-07 2009-11-10 Oracle International Corporation Online data encryption and decryption
US7904220B2 (en) * 2004-07-26 2011-03-08 GM Global Technology Operations LLC Vehicular multifunction control system
JP4714479B2 (ja) * 2005-02-21 2011-06-29 セイコーインスツル株式会社 電子式メトロノームおよび電子式メトロノームのテンポ設定方法
CA2606326A1 (en) * 2005-04-29 2006-11-09 Bharosa Inc. System and method for fraud monitoring, detection, and tiered user authentication
US8739278B2 (en) * 2006-04-28 2014-05-27 Oracle International Corporation Techniques for fraud monitoring and detection using application fingerprinting
US9106422B2 (en) * 2006-12-11 2015-08-11 Oracle International Corporation System and method for personalized security signature
KR101051601B1 (ko) * 2008-06-18 2011-07-22 삼성메디슨 주식회사 충격 패턴 인식 초음파 장치 및 방법
EP2341417A1 (en) * 2009-12-31 2011-07-06 Sony Computer Entertainment Europe Limited Device and method of control
JP2011205551A (ja) * 2010-03-26 2011-10-13 Ntt Docomo Inc メッセージ作成装置及びメッセージ作成方法
US8972259B2 (en) * 2010-09-09 2015-03-03 Rosetta Stone, Ltd. System and method for teaching non-lexical speech effects
KR101160681B1 (ko) 2011-10-19 2012-06-28 배경덕 이동 통신 단말기의 활성화 시에 특정 동작이 수행되도록 하기 위한 방법, 이동 통신 단말기 및 컴퓨터 판독 가능 기록 매체
JP6047985B2 (ja) * 2012-07-31 2016-12-21 ヤマハ株式会社 伴奏進行生成装置及びプログラム
KR101371749B1 (ko) * 2012-11-09 2014-03-07 현대자동차(주) 차량 제어 장치
JP6306391B2 (ja) * 2014-03-27 2018-04-04 Necプラットフォームズ株式会社 携帯型端末および制御方法
KR101628470B1 (ko) * 2014-08-14 2016-06-08 현대자동차주식회사 리드믹 음파 생성 패드
CN105227169A (zh) * 2015-10-31 2016-01-06 黄洪荣 一种节奏声控开关控制系统
CN106847249B (zh) * 2017-01-25 2020-10-27 得理电子(上海)有限公司 一种发音处理方法及系统
CN109652954B (zh) * 2018-03-22 2020-08-28 青岛海尔滚筒洗衣机有限公司 一种衣物处理装置的控制方法及衣物处理装置
CN119576112A (zh) * 2023-09-07 2025-03-07 宝马股份公司 车内人机交互方法及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189900A (zh) * 1995-06-30 1998-08-05 国际商业机器公司 向被声音启动的数据处理系统发送声音样本的方法和装置
JPH11338868A (ja) * 1998-05-25 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 歌詞によるリズムパターンの検索方法及び装置及び歌詞によるリズムパターンの検索プログラムを格納した記憶媒体
JP2000172415A (ja) * 1998-12-03 2000-06-23 Hitachi Ltd 文字入力装置
JP2000235450A (ja) * 1999-02-04 2000-08-29 Dieter Dr Bartmann 人を識別確認する方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313088Y2 (zh) * 1984-11-15 1991-03-26
JP2001042862A (ja) * 1999-07-26 2001-02-16 Deijitoizu:Kk 与えられたリズムに応じて再生を制御する装置および方法,ならびに再生制御のためのプログラムを格納した媒体
GB2357982B (en) * 2001-03-07 2001-11-21 Blue 52 Ltd Electronic game interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189900A (zh) * 1995-06-30 1998-08-05 国际商业机器公司 向被声音启动的数据处理系统发送声音样本的方法和装置
JPH11338868A (ja) * 1998-05-25 1999-12-10 Nippon Telegr & Teleph Corp <Ntt> 歌詞によるリズムパターンの検索方法及び装置及び歌詞によるリズムパターンの検索プログラムを格納した記憶媒体
JP2000172415A (ja) * 1998-12-03 2000-06-23 Hitachi Ltd 文字入力装置
JP2000235450A (ja) * 1999-02-04 2000-08-29 Dieter Dr Bartmann 人を識別確認する方法

Also Published As

Publication number Publication date
EP1542120A4 (en) 2006-03-01
WO2004019197A1 (ja) 2004-03-04
KR20050063765A (ko) 2005-06-28
US20060011045A1 (en) 2006-01-19
JPWO2004019197A1 (ja) 2005-12-15
AU2003242259A1 (en) 2004-03-11
CN1678976A (zh) 2005-10-05
EP1542120A1 (en) 2005-06-15

Similar Documents

Publication Publication Date Title
CN1306373C (zh) 利用节奏模式的控制系统、方法和程序
CN101046960A (zh) 处理语音中的话音的装置和方法
CN1864204A (zh) 用来完成语音识别的方法、系统和程序
CN1303581C (zh) 具有语音合成功能的信息处理装置及方法
CN1290031C (zh) 字符信息的转换处理系统
CN1462428A (zh) 语音处理装置
CN1842702A (zh) 声音合成装置和声音合成方法
CN1296802C (zh) 输入键及输入装置
CN1113305C (zh) 语言处理装置和方法
CN1155940C (zh) 具有准确识别琴键运动的琴键监视器的键盘乐器
CN1228866A (zh) 语音处理系统及方法
CN1866169A (zh) 再现装置、程序及再现控制方法
CN101067780A (zh) 智能设备的文字输入系统及方法
CN1577227A (zh) 输入键和输入装置
CN1678975A (zh) 仿效qwerty型布局和键入的缩减键盘系统
CN1471098A (zh) 根据用户反应选择项
CN1941077A (zh) 识别语音输入中的字符串的语音识别设备和方法
CN1328679A (zh) 自动音乐生成方法和系统
CN1879147A (zh) 文本到语音转换方法和系统、及其计算机程序产品
CN1849818A (zh) 内容选择方法和内容选择设备
CN1890708A (zh) 音频设备控制装置、音频设备控制方法及程序
CN1867966A (zh) 数据处理单元和数据处理单元控制程序
CN1813285A (zh) 语音合成设备、语音合成方法和程序
CN1898721A (zh) 设备控制装置、声音识别装置、代理装置、车载设备控制装置、导航装置、音响装置、设备控制方法、声音识别方法、代理处理方法、车载设备控制方法、导航方法、音响装置控制方法和程序
CN1474379A (zh) 语音识别/响应系统、语音/识别响应程序及其记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee