JP2014052580A - 音声案内システム及び電子機器 - Google Patents

音声案内システム及び電子機器 Download PDF

Info

Publication number
JP2014052580A
JP2014052580A JP2012198307A JP2012198307A JP2014052580A JP 2014052580 A JP2014052580 A JP 2014052580A JP 2012198307 A JP2012198307 A JP 2012198307A JP 2012198307 A JP2012198307 A JP 2012198307A JP 2014052580 A JP2014052580 A JP 2014052580A
Authority
JP
Japan
Prior art keywords
speed
voice guidance
playback
voice
menu item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012198307A
Other languages
English (en)
Other versions
JP5999839B2 (ja
Inventor
Kazuyuki Ono
一幸 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2012198307A priority Critical patent/JP5999839B2/ja
Priority to US13/972,959 priority patent/US9368125B2/en
Publication of JP2014052580A publication Critical patent/JP2014052580A/ja
Application granted granted Critical
Publication of JP5999839B2 publication Critical patent/JP5999839B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • G10L21/043Time compression or expansion by changing speed
    • G10L21/045Time compression or expansion by changing speed using thinning out or insertion of a waveform
    • G10L21/047Time compression or expansion by changing speed using thinning out or insertion of a waveform characterised by the type of waveform to be thinned out or inserted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection

Abstract

【課題】メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して音声案内を追従させル事を容易にする。
【解決手段】音声案内システムは、メニュー項目の操作指示信号を入力して解析する入力解析部(10)と、前記入力解析部による解析結果に応じてメニュー項目の音声案内を制御する音声案内制御部(11)と、前記入力解析部による解析結果に応じてメニュー項目の表示制御を行う表示案内制御部(12)、とを有する。前記音声案内制御部は、前記解析結果に応ずる音声案内の再生速度を複数の再生速度情報の集合である速度履歴(6A)による速度傾向に基づいて決定する。
【選択図】図1

Description

本発明は、音声案内システム及びこれを適用した電子機器に関し、例えばリモコンなどによるメニュー項目の操作指示に対して音声案内を行うことが可能なテレビなどに適用して有効な技術に関する。
視覚障害者などのためにテレビ、DVDプレーヤー、複写機、又はプリンタなどの電子機器に対する操作指示の内容を音声で案内する技術が提供されている。特許文献1には、機器の操作項目の設定項目を階層構造の階層メニューとして配置し、その階層上の所望の設定項目へ移動キーによって移動し、確定キーでその設定項目を選択する機器について記載される。この機器は、その操作指示とその結果とを状況に応じて音アイコン、動作音および音声の音の属性を異ならせて通知するように構成される。これによって、視覚を使用せずに機器を容易に且つ確実に操作できるようになる。
また、音声案内に関し、特許文献2にはナビゲーション装置における音声案内の読み上げ速度制御について記載される。即ち、経路誘導を行う地点間を実車が通過するのに要する通過時間に対してその音声案内を行うための時間的な余裕が無いときは音声案内の読み上げ速度を速くする制御を行う。
特開2003−323081号公報 特開2008−39623号公報
本発明者はリモコンなどで行われたメニュー操作の指示内容を音声案内する技術について検討した。特に、音声案内が終らないうちに次の操作が行われると、音声案内が途切れて、認識不可能になることが想定される。これに対して、音声を中断せず音声案内が完了するまで新たなメニュー操作の受付を禁止する仕様も考えられる。しかしながら、この場合はメニュー操作のレスポンスが悪くなり過ぎる。
更に、特許文献2を参照して、メニュー操作の切り替えが速い場合には音声案内の再生速度を速くして対処することについて検討した。しかしながら、音声案内の再生速度を速くしても操作の切り替え間隔によっては同じように音声案内が途切れてしまい、逆に、再生速度を高速に設定してもその後に操作の切り替え間隔が長くなると間が抜けてしまう。特に、視覚障害者の便に供するには、メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して音声案内を極力追従させて、音声案内が途切れ易くならないようにすることが肝心である。
上記並びにその他の課題と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される実施の形態のうち代表的ものの概要を簡単に説明すれば下記の通りである。
すなわち、メニュー項目の操作指示信号を入力して解析した解析結果に応ずる音声案内の再生速度を、複数の再生速度情報の集合である速度履歴による速度傾向に基づいて決定する。
本願において開示される実施の形態のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して音声案内を追従させる事が容易になる。
図1は音声案内システムを適用した電子機器の一例を示すブロック図である。 図2は音声案内の制御手順を中心として示した電子機器のメインフローチャートである。 図3は音声読み上げ速度モードチェック及び音声データ作成処理T1前半の制御手順を例示するフローチャートである。 図4は音声読み上げ速度モードチェック及び音声データ作成処理T1の後半の制御手順を例示するフローチャートである。 図5は読み上げ速度通常/高速解析の処理手順を例示するフローチャートである。 図6は高速音声データ作成処理手順を例示するフローチャートである。 図7は音声波形の繰返し部分を省略してデータ圧縮を行う手法を原理的に例示する説明図である。 図8はコマンド入力間隔に応じた読み上げ動作速度の変化形態を例示するタイミングチャートである。 図9はリモコンのカーソルダウンによってメニュー操作コマンドが発行されてメニュー項目の切り替えを行う場合にメニュー項目の文字情報を全て読み上げることができる状態を示す説明図である。 図10はリモコンのカーソルダウンによってメニュー操作コマンドが発行されてメニュー項目の切り替えを行う場合にメニュー項目の文字情報の音声案内が尻切れになる状態を示す説明図である。 図11は音声案内の途中で読み上げ速度を高速化しカーソルの移動と音声が追従してゆく例を示す説明図である。
1.実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔1〕<音声案内の再生速度をその履歴情報に基づいて決定>
代表的な実施の形態に係る音声案内システムは、図1に例示されるように、メニュー項目の操作指示信号(8)を入力して解析する入力解析部(10)を有する。前記入力解析部による解析結果に応じてメニュー項目の音声案内を制御する音声案内制御部(11)を有する。前記入力解析部による解析結果に応じてメニュー項目の表示制御を行う表示案内制御部(12)を有する。前記音声案内制御部は、前記解析結果に応ずる音声案内の再生速度を複数の再生速度情報の集合である速度履歴(6A)による速度傾向に基づいて決定する(S52)。
これによれば、速度履歴(6A)が保有する複数の再生速度情報から得られる速度傾向に基づいて音声案内の再生速度を決定するから、メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して、その影響を緩和でき、そのような変化に対して音声案内を追従させる事が容易になる。
〔2〕<音声案内再生途中での新たな操作指示があった場合に再生速度を高速化>
項1の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には再生途中の再生速度を最高速度以下で高速化する(S53〜S58、S24〜S31、T3b)。
これによれば、メニュー項目の新たな操作指示があった場合には音声案内の途中でも再生速度を速やかに高速化することができるから、速度履歴による次の音声案内の高速化に先駆けて高速化を実現することができる。
〔3〕<音声案内の再生途中でメニュー項目の新たな操作指示があった場合>
項2の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に前記高速化した再生速度情報を前記速度履歴に追加可能とする(S37)。
これによれば、直前よりもメニュー項目が速く切り替えられた操作状態に応じて高速の再生速度情報が速度履歴に加えられることにより、メニュー項目の速い切り替え傾向が次の再生速度の決定に反映可能になる。
〔4〕<メニュー項目の音声案内が停止されている期間が一定期間を超えた場合>
項3の音声案内システムにおいて、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に低速の再生速度情報を追加可能とする(S39〜S41、S37)。
これによれば、しばらくの間メニュー項目の操作が行われない状態に応じて低速の再生速度情報が速度履歴に加えられることにより、そのメニュー項目の遅い切り替え傾向が次の再生速度の決定に反映可能になる。
〔5〕<新しい再生速度情報に大きな重みをつけた加重平均を用いて再生速度を決定>
項1乃至4の何れかの音声案内システムにおいて、前記音声案内制御部は、前記速度履歴に対して古い再生速度情報に比べて新しい再生速度情報に大きな重みをつけた加重平均により今回の音声案内の再生速度を決定する(S52)。
これによれば、最近のメニュー操作の速度傾向に重きを置いて音声案内の再生速度を決定することができ、音声案内速度の極端な変化を抑制しながら直近のメニュー操作の傾向から遊離することなく音声案内を行うことができる。
〔6〕<音声案内再生途中の新たな操作指示を無効化>
項5の音声案内システムにおいて、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合には、当該新たな操作指示の要求を無効にする(S53,S2,S4)。
これによれば、無効にした操作指示を無視することができるから、音声案内の制御が全体的に簡単になる。
〔7〕<短い間隔で操作指示が続く場合への対応>
項2の音声案内システムにおいて、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、再生途中の再生速度を決定する音声読み上げ速度モードデータを、再生途中の再生速度を一段階高速化する値に更新する(S50,S53,S54)。これと共に、メニュー項目の操作指示信号によりメニュー項目の音声案内が要求された間隔時間の集合である要求間隔履歴による要求間隔の平均値が再生途中の音声案内の残り時間よりも短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する(S54〜S57、S58)処理を介して、再生途中の再生速度を最高速度以下で高速化する。
これによれば、音声案内中にメニュー項目の切り替え操作が頻繁に行われた場合には、当該音声案内が終了しても同じように短い間隔でメニュー項目の切り替え操作が行われることが予想され、これに対処可能になる。音声案内中に短い間隔でメニュー項目の切り替え操作が頻繁に行われてもその操作傾向が速度履歴に追加されていくからである。特に、読み上げ途中で何回も短い間隔で新たなメニュー項目の操作指示が繰返されることによって、要求間隔履歴の夫々の要求間隔時間が短くなってくる場合を想定すると、平均値が再生残り時間よりも短いときは、当該要求間隔の平均時間内では今の読み上げを完了できない。そこで、更に高速化する方向で音声読み上げ速度モードデータを高速化傾向に更新して、次の読み上げ速度の高速化に対処することができる。
〔8〕<前記再生速度の情報として再生速度のモード情報を利用>
項7の音声案内システムにおいて、前記速度履歴に格納する再生速度情報は前記音声読み上げ速度モードデータである。
これによれば、再生速度それ自体よりも音声読み上げ速度モードデータを再生速度情報として用いた方が速度履歴の管理が容易になる。
〔9〕<短い間隔の操作指示が途切れたとき再生速度を基準速度に向けて変更する>
項7の音声案内システムにおいて、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に、直前の再生速度が基準速度よりも高速であることを条件に当該直前の再生速度情報よりも低速且つ基準測度以上の再生速度情報を追加する(S39〜S41)。
これによれば、項4と同様の作用効果を奏する。特に、速度履歴に追加される再生速度情報は基準速度以上であることが保証されるので、長期間使用しなくても音声案内の再生速度は標準速度以下にはならない。
〔10〕<前記再生速度の情報として再生速度のモード情報を利用>
項9の音声案内システムにおいて、前記速度履歴に格納する再生速度情報は再生速度を決定する音声読み上げ速度モードデータである。
これによれば、再生速度それ自体よりも音声読み上げ速度モードデータを再生速度情報として用いた方が速度履歴の管理が容易になる。
〔11〕<基準速度の音声データに対して繰返し波形部分を省略して再生速度を高速化>
項1の音声案内システムにおいて、前記音声案内制御部は、前記操作指示信号の解析結果に応ずるメニュー項目の音声案内に用いる基準速度の音声データを解析して繰返し波形部分を把握し(T3a,S61)、今回決定された再生速度を満足させるために必要な分の繰返し波形部分を省略して(T3a,S63)、音声案内に用いる音声データを生成する。
これによれれば、再生速度によって音声周波数が変わらないので、速度に応じて音声データを全体的に圧縮又は伸張して再生データを用意する場合に比べて良好な音質を実現し易い。基準速度の音声データを用意すればよく、音声再生速度ごとに音声データを保有する必要はない。
〔12〕<再生途中で速度を切り替える場合の音声データ>
項11の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、その後の再生に係る部分について繰り返し波形部分を更に省略した音声データに切り替えて、再生中のメニュー項目の途中から再生速度を高速化する(S24〜S31、T3b)。
これによれば、メニュー項目の新たな操作指示があった場合には音声案内の途中でも再生速度を速やかに高速化することができるから、速度履歴による次の音声案内の高速化に先駆けて高速化を実現することができる。
〔13〕<記憶装置から基準速度の音声データを取得>
項12の音声案内システムにおいて、前記音声案内制御部は、夫々の音声案内毎に基準速度の音声データを記憶装置に保有し、前記解析に用いる基準速度の音声データを前記記憶装置から取得する。
これによれば、外部から基準速度の音声データを取得することを要しない。
〔14〕<音声案内の完了に同期して対応するメニュー項目の表示切り替え>
項1の音声案内システムにおいて、前記表示案内制御部は、音声案内の完了に同期して対応するメニュー項目への表示切り替えを行う。
これによれば、音声案内とメニュー表示との間で矛盾が生ずることを容易に防止することができる。
〔15〕<音声案内の再生速度をその履歴情報に基づいて決定>
別の実施の形態に係る電子機器は、図1に例示されるように、操作装置からの操作指示を入力して応答する処理を行う制御装置(3)と、前記制御装置から出力される画像信号を入力する表示装置(4)と、前記制御装置から出力される音声信号を入力するスピーカー装置(5)と、を有する。前記制御装置は、前記操作装置からメニュー項目の操作指示信号を入力して解析する入力解析部(10)を有する。前記入力解析部による解析結果に基づいて、前記操作指示に応ずるメニュー項目を、前記スピーカー装置を用いて音声案内するための音声案内制御部(11)を有する。前記入力解析部による解析結果に基づいて、前記操作指示に応ずるメニュー項目を、前記表示装置を用いて表示するための表示案内制御部(12)を有する。前記入力解析部による解析結果に基づいて、前記操作指示で指示されたメニュー項目の処理を実行するための実行制御部(15)を有する。前記音声案内制御部は、前記解析結果に応ずる音声案内の再生速度を複数の再生速度情報の集合である速度履歴(6A)による速度傾向に基づいて決定する。
これによれば、速度履歴(6A)が保有する複数の再生速度情報から得られる速度傾向に基づいて音声案内の再生速度を決定するから、メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して、その影響を緩和でき、そのような変化に対して音声案内を追従させる事が容易になる。電子機器のメニュー操作について視覚障害者などに便に供することができる。
〔16〕<音声案内再生途中での新たな操作指示があった場合に再生速度を高速化>
項17の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には再生途中の再生速度を最高速度以下で高速化する、電子機器。
これによれば、メニュー項目の新たな操作指示があった場合には音声案内の途中でも再生速度を速やかに高速化することができるから、速度履歴による次の音声案内の高速化に先駆けて高速化を実現することができる。
〔17〕<音声案内の再生途中でメニュー項目の新たな操作指示があった場合>
項16の電子機器において、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には前記速度履歴に高速の再生速度情報を追加可能とする。
これによれば、直前よりもメニュー項目が速く切り替えられた操作状態に応じて高速の再生速度情報が速度履歴に加えられることにより、メニュー項目の速い切り替え傾向が次の再生速度の決定に反映可能になる。
〔18〕<メニュー項目の音声案内が停止されている期間が一定期間を超えた場合>
項17の電子機器において、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に低速の再生速度情報を追加可能とする。
これによれば、しばらくの間メニュー項目の操作が行われない状態に応じて低速の再生速度情報が速度履歴に加えられることにより、そのメニュー項目の遅い切り替え傾向が次の再生速度の決定に反映可能になる。
〔19〕<短い間隔で操作指示が続く場合への対応>
項18の電子機器において、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、再生途中の再生速度を決定する音声読み上げ速度モードデータを、再生途中の再生速度を一段階高速化する値に更新する(S50,S53,S54)。これと共に、メニュー項目の操作指示信号によりメニュー項目の音声案内が要求された間隔時間の集合である要求間隔履歴による要求間隔の平均値が再生途中の音声案内の残り時間よりも短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する(S54〜S57)処理を介して、再生途中の再生速度を最高速度以下で高速化する(S24〜S31)。
これによれば、音声案内中にメニュー項目の切り替え操作が頻繁に行われた場合には、当該音声案内が終了しても同じように短い間隔でメニュー項目の切り替え操作が行われることが予想され、これに対処可能になる。音声案内中に短い間隔でメニュー項目の切り替え操作が頻繁に行われてもその操作傾向が速度履歴に追加されていくからである。特に、読み上げ途中で何回も短い間隔で新たなメニュー項目の操作指示が繰返されることによって、要求間隔履歴の夫々の要求間隔時間が短くなってくる場合を想定すると、平均値が再生残り時間よりも短いときは、当該要求間隔の平均時間内では今の読み上げを完了できない。そこで、更に高速化する方向で音声読み上げ速度モードデータを高速化傾向に更新して、次の読み上げ速度の高速化に対処することができる。
〔20〕<短い間隔の操作指示が途切れたとき再生速度を基準速度に向けて変更する>
項19の電子機器において、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に、直前の再生速度が基準速度よりも高速であることを条件に当該直前の再生速度情報よりも低速且つ基準測度以上の再生速度情報を追加する。
これによれば、項18と同様の作用効果を奏する。特に、速度履歴に追加される再生速度情報は基準速度以上であることが保証されるので、長期間使用しなくても音声案内の再生速度は標準速度以下にはならない。
〔21〕<音声案内の完了に同期して対応するメニュー項目の表示切り替え>
項20の電子機器において、前記表示案内制御部は、音声案内の完了に同期して対応するメニュー項目への表示切り替えを行う。
これによれば、音声案内とメニュー表示との間で矛盾が生ずることを容易に防止することができる。
2.実施の形態の詳細
実施の形態について更に詳述する。
図1には音声案内システムを適用した電子機器の一例が示される。同図に示される電子機器1は、操作装置例えばワイヤレスリモコン(以下単にリモコンと記す)2からの操作指示を入力して応答する処理を行う制御装置3と、前記制御装置3から出力される画像信号を入力する表示装置4と、前記制御装置3から出力される音声信号を入力するスピーカー装置5とを有する。電子機器1はテレビ、光ディスクの記録再生装置、カーナビゲーション、家電製品などに適用され、その種類に応じて前記操作指示に応答する処理も異なる。特に制限されないが、ここでの操作指示は、メニュー項目の選択指示である。例えばテレビであれば、メニュー項目として、画像選択、音量選択、チャネル選択、入出力選択、セットアップなどがある。特に本実施の形態では、リモコン2からの操作指示に応ずるメニュー項目を表示装置4に表示するだけでなく、メニュー項目の音声案内、即ち、メニュー項目の読み上げを行うものとされる。以下の説明では音声案内についての構成を詳細に説明する。
表示装置4は例えばドットマトリクス型のLCDディスプレイで構成され、スピーカー装置5はステレオスピーカシステムで構成される。機械系や電源系などの構成については本実施の形態とは直接関係ないので図示を省略してある。
制御装置3は電子機器1の回路システムを構成するためのデバイスや周辺機器が回路基板に搭載されて構成される。制御装置3は、リモコン2からメニュー項目の操作指示信号として例えばコマンドを入力して解析する入力解析部としてのコマンド入力解析部10を有する。コマンド入力解析部10による解析結果は音声案内制御部11、表示案内制御部としての表示データ生成部12、及び実行処理部15に与えられる。コマンド入力解析部10、音声案内制御部11、表示データ生成部12、及び実行処理部15は、特に制限されないが、夫々ハードワイヤードロジック回路で構成され、或いは、マイクロプロセッシングユニットのようなプログラム処理ユニットによって構成される。プログラム処理ユニットで構成する場合にはマイクロプロセッシングユニットの負担を軽減するためにDSP等の必要なアクセラレータなどを併用することも可能である。
制御装置3は、記憶装置として、特に制限されないが、ランダムアクセス可能なフラッシュメモリのような不揮発性メモリ6と、ハードディスク又はシリコンディスクで構成されたファイルメモリのような補助記憶装置7を有する。
実行処理部15は、前記コマンド入力解析部10による解析結果に基づいて、リモコン2からの操作指示で指示されたメニュー項目の処理を実行するための制御を行う。実行処理部15の制御対象として、ここでは、メニュー項目の表示にも用いられる表示コントローラ13、及びメニュー項目の音声案内にも用いられる音声信号出力用ユニット14のような周辺回路が例示されているが、其れに限定されるものではない。例えば電子機器1がテレビの場合にはテレビチューナーやビデオインタフェース回路等も設けられている。例えば電子機器1がテレビの場合、リモコン2で特定チャネルが選択されると、その操作指示がコマンド入力解析部10から実行処理部15に与えられ、実行処理部15はテレビチューナ(図示せず)に当該チャネルの放送信号を受信させ、受信した画像データを表示コントローラ13に、音声データを音声信号出力用ユニット14に与える。
表示コントローラ13は画像データをフレームバッファに描画し、描画した画像データを水平及び垂直同期信号に同期して表示装置4に与えて、表示制御を行う。音声信号出力用ユニット14は例えばダイレクトメモリアクセスコントローラ(DMAC)及びディジタル・アナログ変換回路(DAC)等を備え、出力順にアドレスマッピングされた音声データをDMACが順次DACに供給し、DACでアナログ信号に変換された音声信号をスピーカー装置5に与える。
音声案内制御部11は、例えば、タイミング計測部20、データ解析部21、及び音声データ生成部22を有する。
タイミング計測部20はコマンド入力解析部10によるコマンド解析結果を用いて、コマンドで指示されたメニュー項目について音声案内を行う設定がされている場合に、コマンドによりメニュー項目の音声案内が要求された間隔時間を計測する。計測された間隔時間は要求間隔履歴6Bとして不揮発性メモリ6に保持される。要求間隔履歴6Bが保持する間隔時間のデータ(要求間隔時間データ)は、特に制限されないが、最新から遡って10番目までとする。
データ解析部21はコマンド入力解析部10によるコマンド解析結果を、タイミング計測部20を介して入力し、上記要求間隔履歴6B及び後述する速度履歴6Aを不揮発性メモリ6から参照し、更に、メニュー項目の各種音声データが格納された補助記憶装置7を参照する。参照した情報を基に、データ解析部21は、コマンドで指示されたメニュー項目の読み上げ速度を前記速度履歴6Aによる速度傾向に基づいて決定する。更にデータ解析部21は所定のアルゴリズムに従って要求間隔履歴6B及び速度履歴6Aを更新し、メニュー操作の傾向に合った速度で音声案内を行うための学習機能を実現する。
音声データ生成部22はコマンドで指定された音声案内をデータ解析部による制御に基づいて決定された速度で読み上げるための音声データを音声データバッファに再生順にアドレスマッピングする処理を行う。アドレスマッピングされた音声データは前述の通り音声信号出力用ユニット14によって順次アクセスされ、DA変換されてスピーカー装置5に供給される。
表示データ生成部12は、コマンド入力解析部10によるコマンド解析結果に基づいて、リモコン2からの操作指示内容を表示装置4に表示するために表示データを生成する。操作指示内容の表示形態は特に制限されないが、表示装置4の画面全体での表示、又はテレビ受信画像の表示に並行したウインドウ画面表示の何れであってもよい。メニュー項目の操作指示内容を表示するタイミングは、操作指示されたメニュー項目の読み上げ完了後にされ、その表示タイミングはデータ解析部21から通知される。
音声案内制御部11は、操作指示されたメニュー項目の音声案内のために、速度履歴6Aに基づく読み上げ速度の決定、読み上げ途中での読み上げの高速化、及び、操作指示に対する学習、について制御する。以下、それらの制御機能について、図2乃至図6のフローチャートを参照しながら説明する。
図2には音声案内の制御手順を中心として示した電子機器のメインフローチャートが例示される。
コマンド入力解析部10によりリモコン2からメニュー項目の操作指示コマンドの入力があったか否かが判別される(S1)。判別処理は、特に制限されないが、インターバルタイマによるタイムアウト毎に開始すればよいが、それに限定されず、動作電源が維持されている限り間断なく図2の制御ループが繰返されてもよい。
コマンド入力があれば、後述する読み上げ途中入力フラグがオン(セット状態)にされているかが判別される(S2)。オンにされていなければ、コマンド入力によるメニュー項目の表示要求フラグをセットし(S3)、オンであれば、先のコマンド入力によるメニュー項目の読み上げ途中であるから、当該コマンド要求をクリアする(S4)。この後、音声読み上げ速度モードチェック及び音声データ作成処理(T1)に移行する。この処理T1の詳細は図3及び図4に基づいて後述する。
処理T1でメニュー項目の読み上げ(音声出力)開始要求があったか否かが判別され(S6)、開始要求があった場合には音声信号出力ユニット14に音声出力のためのDMA転送開始が指示され、これによってメニュー項目の読み上げが開始される(S7)。
ステップS1でコマンド入力が無いと判定されたとき、ステップS6で音声出力開始要求が無いと判定されたとき、又は、音声出力の開始(S7)の後、メニュー項目の読み上げ途中(音声出力中)かが判別される(S8)。途中でない(既にメニュー項目の読み上げが完了している)場合には、表示要求がセット状態(S3)であれば、今回読み上げ完了したメニュー項目への表示の更新を指示し、その後で、表示要求フラグをクリアする(S9)。その表示更新の指示を受ける表示データ生成部12は当該メニュー項目を表示装置4に表示させる。続いて、読み上げ途中入力フラグをクリアする(S10)。
ステップS8においてメニュー項目の読み上げ途中であると判別されたとき、又ステップS10の次に、メニュー項目の読み上げと表示切り替え以外の処理、例えばメニュー項目が示す処理、時間管理処理、その他の処理が行われる(S11)。この後、所定のタイミングで先頭ステップS1に戻り、上記処理を繰返す。
特に制限されないが、ここでは全てのコマンド入力はメニュー操作の指示とされ、読み上げ対象になるものとする。コマンド入力に対して読み上げを行うか否かの選択スイッチが設けられ、或いはコマンド毎に読み上げを伴うかが指定されている場合にはステップS1の次で読み上げが指示されているかを判別し、読み上げが指示されていればステップS2に、指示されていなければステップS11の処理に移行すればよい。
図3及び図4には音声読み上げ速度モードチェック及び音声データ作成処理T1の制御手順が例示される。
最初に表示要求フラグがセット状態であるか否かが判別される(S20)。表示要求フラグのセット状態とは、新たに読み上げを行うべきコマンドが入力されてから、未だ当該コマンドによるメニュー項目の音声案内及び表示が完了されるまでの状態である。更に詳しくは、ステップS3で表示要求フラグがセットされてからステップS9で当該フラグがクリアされるまでの状態である。
表示要求フラグがセット状態であれば、現在の音声読み上げ速度モードデータを速度変化比較用ワークメモリ領域に退避する(S21)。音声読み上げ速度モードデータとはメニュー項目の読み上げ速度(音声案内の再生速度)を指定するための情報である。この後、読み上げ速度を決めるための処理(読み上げ速度の通常/高速解析処理)T2を行い、そして、不揮発性メモリに格納されている要求間隔履歴6Bを今回のコマンドによるメニュー項目の操作指示間隔時間(コマンドによるメニュー項目の音声案内が要求された最新の間隔時間)によって更新する(S23)。前述の如く、要求間隔履歴6Bには最新から10個の操作指示間隔時間が格納されている。この後にステップS24乃至S31は読み上げ途中で次の操作指示(読み上げ要求)があったときに現在の読み上げ速度を高速に切り替えるための処理である。これに続くステップS32乃至S36は読み上げ途中でない場合に読み上げ速度を決定する処理である。ステップS38乃至S41はリモコンによる操作指示が所定期間無かったとき(操作指示の切り替え間隔が長くなってきたとき)、一旦高速化された読み上げ速度を元の速度に戻すための処理である。これらによって決定された読み上げ速度の音声読み上げ速度モードデータはその都度不揮発性メモリ6に書き込まれて速度履歴6Aを更新する(S37)。速度履歴6Aは最新から10個の音声読み上げ速度モードデータを保有する。
先ず、読み上げ速度の通常/高速解析処理T2について図5を参照しながら説明する。最初に、今回の音声案内のためのコマンド入力が先の音声案内の読み上げ途中での入力か否かを判別する(S50)。
ステップS50の判定が読み上げ途中でなければ、速度履歴6Aから過去の音声読み上げ速度モードデータを読み出し(S51)、読み出した音声読み上げ速度モードデータによる速度傾向に基づいて今回の読み出し速度を決定する(S52)。例えば、前記速度履歴6Aに対して古い再生速度情報に比べて新しい再生速度情報に大きな重みをつけた加重平均により今回の音声案内の再生速度を決定する。具体的には過去10回の音声読み上げ速度モードデータに対して最新の5回分に2倍の重みをつけて平均したモードデータの値を今回の音声読み上げ速度モードデータとして読み上げ速度を決定する。決定した音声読み上げ速度モードデータはテンポラリレジスタに格納され、元のルーチンに復帰される。このようにメニュー操作コマンドに応答して最初に生成されてテンポラリレジスタにセットされた音声読み上げ速度モードデータはステップS34又はT3の処理で速度制御に参照されることになる。この説明から明らかなようにここでの音声読み上げ速度モードデータは高速ほどモード値の大きなデータとされている。このように最新のモードデータに大きな重みをつけることによって、メニュー操作の最近の切り替え速度の傾向が読み上げ速度に反映しやすくなる。
ステップS50の判定が読み上げ途中であれば、読み上げ途中入力フラグをオン(セット)にして(S53)、音声読み上げ速度モードを1段階高速側の値に変化させる(S54)。音声読み上げ速度モードデータは例えばテンポラリレジスタに設定される。更に、その音声読み上げ速度モードデータによる読み上げ速度が最高速度を超えるか否かを判別し(S55)、越えていればテンポラリレジスタ上の音声読み上げ速度モードデータを最高速度の値に維持させる(S58)。
ステップS55の判別結果が最高速度を超えていなければ、今度は要求間隔履歴6Bの要求間隔時間データを不揮発性メモリ6から読み込み(S56)、例えば、今回読み込んだ要求間隔時間データによる過去10回分の要求間隔時間の平均値が、再生途中の音声案内の残り時間よりも短いか否かを判別する(S57)。要するに、読み上げ途中で何回も短い間隔で新たなメニュー項目の操作指示が繰返されることによって、過去10回分の夫々の要求間隔時間が短くなってくる場合を想定している。このような場合に平均値が再生残り時間よりも短いときは、当該要求間隔の平均時間内では今の読み上げを完了できないので、更に高速化する方向でテンポラリレジスタ上の音声読み上げ速度モードデータを高速化傾向に更新して、次の読み上げ速度の高速化に対処するためである。したがって、短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する(S54)。長ければ元のルーチンに復帰する。
次に、読み上げ途中でない場合に読み上げ速度を決定する処理(ステップS32乃至S36)について説明する。最初に、読み上げ途中か否かを判別し(S32)、読み上げ途中でなければ読み上げ速度が通常か高速かを判別する(S33)。その判別は、例えば前記テンポラリレジスタがそのとき保有している音声読み上げ速度モードデータにしたがって行えばよい。この速度判定のためにテンポラリレジスタから読み込んだ音声読み上げ速度モードデータは速度判定カレントレジスタに保持される。速度判定カレントレジスタに保持された音声読み上げ速度モードデータの値が閾値以下であれば通常速度、それよりもデータ値が大きければ高速と判定する。
通常速度と判定されたときは基準速度の音声データを補助記憶装置7から読み込んで、音声データをDMA転送用に展開し(S34)、音声信号出力用ユニット14に音声出力開始を要求する(S36)。この要求は前記ステップS6で判別される。
高速と判定されたときは高速音声データ作成処理T3aが行われ、次いで、音声出力の開始が要求される(S36)。ここでの高速音声データ作成処理T3aによる作成対象音声データはメニュー項目の新規操作要求に係る音声データになる。
高速音声データ作成処理T3aの詳細は図6に例示される。先ず、基準速度の音声データ(通常再生音声データ)を補助記憶装置7から読み込んで(S60)、音声波形を解析する(S61)。解析結果から音声波形に繰返し部分があるかを判別し(S62)、あれば、その繰返し部分を省略して(S63)データを圧縮する。それによって速度判定カレントレジスタが保有する音声読み上げ速度モードデータが示す読み上げ速度を実現することができるか否かを判別する(S64)。必要に応じてステップS62乃至S64を繰返して高速モードの再生波形データを作成し(S65)、元のルーチンに復帰する。
上記繰返し部分を省略してデータ圧縮を行う手法の原理は図7に例示される。ここでは子音「P」と母音「i」の音を例とし、母音「i」の繰返し波形を必要サイクル数文だけ省略している。省略部分は母音に限定されず子音であってもよい。また、アクセントの強弱などを考慮して省略波形を決定することも可能である、このように、一部の波形を省略して音声データを圧縮して読み上げ時間を短縮する手法を採用すれば、再生速度によって音声周波数が変わらないので、速度に応じて音声データを全体的に圧縮又は伸張して再生データを用意する場合に比べて良好な音質を実現し易い。基準速度の音声データを用意すればよく、音声再生速度ごとに音声データを保有する必要もない。
次に、図3のステップS24乃至S31の処理、即ち、読み上げ途中で次の操作指示(読み上げ要求)があったときに現在の読み上げ速度を高速に切り替えるための処理について説明する。
ステップS24では、メニュー項目の操作指示コマンドの入力があった場合(ステップS1のYes)の後の処理として、音声案内の読み上げ途中であるかを判別する。読み上げ中であれば、この段階でテンポラリレジスタが保有する音声読み上げ速度モードデータと、速度判定カレントレジスタが保有する音声読み上げ速度モードデータの値(現在の読み上げ速度に対応する)とを比較する(S25)。その比較結果に基づいて、現在の読み上げ速度に対してテンポラリレジスタの音声読み上げ速度モードデータが示す速度が高速であるか否かを判別する(S26)。テンポラリレジスタが保有する音声読み上げ速度モードデータがステップS54などで高速化されていれば高速化すべきと判定される。
高速化すべきと判別したときは、高速音声データ作成処理T3bでそのときのテンポラリレジスタの音声読み上げ速度モードデータに応ずる速度を満足するように音声データを新たに生成する。生成した後、途中で音声出力、即ち、音声データのDMA転送とDA変換とを中断し(S28)、中断した再生位置で新たに生成された音声データに繋がるように音声データの同期位置を決定する(S29)。そしてその同期位置から新たな音声データをDMA転送順にワークメモリにマッピングし直す(S30)。最マッピングされた音声データは所定のタイミングでDMA転送とDA変換が再開され、中断されていた音声出力制御が再開される(S31)。尚、高速音声データ作成処理T3bは前記高速音声データ作成処理T3aと同じである。
次に、図3のステップS38乃至S41の処理、即ち、リモコン2による操作指示が所定期間無かったとき(操作指示の切り替え間隔が長くなってきたとき)、一旦高速化された読み上げ速度を元の速度に戻すための処理について説明する。
ステップS20において表示要求フラグがセット状態か否かが判別される。この判別においてセット状態で無いとの判定は、新たに読み上げを行うべきコマンドが入力されていないか、或いは、入力されて既に読み上げが完了されているときである。要するに読み上げが停止されているときである。このとき、読み上げ停止後に一定時間が経過した状態を最初に検出したか否かを判別する(S39)。この一定時間の経過は、例えば、ステップS11の時間管理処理の一つとして、ステップS9における表示要求フラグのクリアに応答して初期値から開始したタイマ動作を用いて計測し、一定時間を越えたときタイムアウトフラグをセットし、当該タイマの動作を停止させる。ステップS39ではタイムアウトフラグのセット状態を検出したとき当該フラグをクリアする。これによって、前記一定時間を越えた状態を最初に検出したか否かを判別することができる。
前記一定時間を越えた状態を最初に検出したときには音声読み上げ速度モードが既に通常モードになっているかを判別し(S40)、まだ通常モードでなければ、前記テンポラリレジスタの音声読み上げ速度モードデータを一段階遅くなる値に変更する(S41)。
S41、S54,S52の処理でテンポラリレジスタに一旦セットされた音声読み上げ速度モードデータはステップS37において、最新の10個を限度に不揮発性メモリ6の速度履歴6Aに反映される。
図8のタイミングチャートにはコマンド入力間隔に応じた読み上げ動作速度の変化形態が例示される。最初にテンポラリレジスタの音声読み上げ速度モードデータをM5とする。TCはメニュー操作の有効なコマンド、FCはメニュー項目の音声案内中に投入された無効コマンドを意味する。ここでは、速度履歴6Aはテンポラリレジスタの最新4個の音声読み上げ速度モードデータを保有し、速度履歴6Aのエントリデータを用いた加重平均による読み上げ速度の演算では最新のデータに1.5倍の重みをつけるものとする。
時刻t0でコマンドTCの入力があると、読み上げ速度はステップS52で演算された例えば音声読み上げ速度モードデータM5とされる。テンポラリレジスタ及び速度判定可憐とレジスタには音声読み上げ速度モードデータM5がセットされている。
時刻t0で入力されたコマンドTCによる音声案内が終了してからコマンド未入力の期間が一定期間継続され、ステップS39でその経過が最初に検出されることによってテンポラリレジスタの音声読み上げ速度モードデータが一段階低速化された音声読み上げ速度モードデータM3とされる(時刻t1)。
時刻t2で新たなコマンドが入力されると読み上げ速度はステップS52で演算された例えば音声読み上げ速度モードデータM4とされ、この音声読み上げ速度モードデータM4が速度判定カレントレジスタにセットされて時刻t2以降の読み上げ速度はデータM4に応ずる速度に制御される。この音声案内の途中(時刻t3)に新たなメニュー操作のコマンドが投入される。このコマンドの指示は無効になるが(S4)、ステップS54乃至S57の処理によりテンポラリレジスタ上の音声読み上げ速度モードデータがM8に高速化され、その速度に見合うように、読み上げ速度が高速化される。
時刻t4で新たなコマンドが入力されると読み上げ速度は、速度履歴M8,M4,M3を加重平均したM6とされ、時刻t2の場合に比べて読み上げ速度が高速化される。この音声案内の途中(時刻t5)でも新たなメニュー操作のコマンドが投入される。このコマンドの指示は無効になるが(S4)、ステップS54乃至S57の処理によりテンポラリレジスタ上の音声読み上げ速度モードデータがM10に高速化され、その速度に見合うように、読み上げ速度が高速化される。
時刻t6で新たなコマンドが入力されると読み上げ速度は、速度履歴M10,M6,M8を加重平均したM9とされ、時刻t4の場合に比べて読み上げ速度が高速化される。この音声案内が完了されると、しばらくの間、コマンド入力が途絶え、ステップS39でその経過が最初に検出されることによってテンポラリレジスタの音声読み上げ速度モードデータが一段階低速化された音声読み上げ速度モードデータM7とされる(時刻t7)。
この後の時刻t8で新たなコマンドが入力されると読み上げ速度は、速度履歴M7,M9,M10を加重平均したM8とされ、時刻t6の場合に比べて読み上げ速度が低速化される。これは、間が置かれた分だけ次のメニュー操作の切り替えが遅くなると予想されるからである。
上記実施の形態によれば以下の作用効果を奏する。
〔1〕前記音声案内制御部11は、前記解析結果に応ずる音声案内の再生速度を複数の再生速度情報の集合である速度履歴6Aによる速度傾向に基づいて決定する(S52)。これによれば、速度履歴6Aが保有する複数の再生速度情報から得られる速度傾向に基づいて音声案内の再生速度を決定するから、図8に基づいて説明したように、メニュー操作の切り替え間隔の傾向や切り替え間隔の急な変化などに対して、その影響を緩和でき、そのような変化に対して音声案内を追従させる事が容易になる。したがって、短い間隔で操作されることが多い場合は最初から早口(速聴音声)で音声案内を行うことができる。また、オーディオ・ビデオ(AV)機器などを操作するとき、ユーザーがいつも短い間隔で連続してコマンドを入力して速聴音声での音声ガイドの可能性が高い場合は、最初から速聴音声での音声案内を行うことが可能になる。更に別の例を示せば、図9のようにリモコンのカーソルダウンによってメニュー操作コマンドが発行されてメニュー項目の切り替えを行う場合に、切り替え速度が普通と想定される範囲内であれば、メニュー項目の文字情報を全て読み上げることができる。メニュー項目「PICTURE」に対して噴出しで図示した「picture」は音声案内を意味する。これに対して本発明を適用しない場合に、普通の切り替え速度よりも格段に速い切り替え操作が行われると、図10に例示されるように、切り替えが行われる度に音声案内が尻切れ状態になる。本実施の形態では、切り替え速度が速い場合にも図9に示される状態で音声案内を実現することができる。
〔2〕音声案内制御部11は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には再生途中の再生速度を最高速度以下で高速化する(S53〜S58、S24〜S31、T3b)。即ち、前記音声案内制御部11は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合に(S20、S50)、再生途中の再生速度を決定する音声読み上げ速度モードデータを、再生途中の再生速度を一段階高速化する値に更新する(S54)。更に、メニュー項目の操作指示信号によりメニュー項目の音声案内が要求された間隔時間の集合である要求間隔履歴による要求間隔の平均値が再生途中の音声案内の残り時間よりも短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する(S54〜S57、S58)。この音声読み上げ速度モードデータの更新は前記テンポラリレジスタに対して行われる。これと共に、当該テンポラリレジスタの値が速度判定カレントレジスタの値に比べて高速を意味するときは、当該テンポラリレジスタの音声読み上げ速度モードデータが指示する読み上げ速度を満足するように、途中から読み上げ速度を高速化する(S25〜S31)。
これによれば、メニュー項目の新たな操作指示があった場合には音声案内の途中でも再生速度を速やかに高速化することができるから、速度履歴による次の音声案内の高速化に先駆けて高速化を実現することができる。特に、音声案内中にメニュー項目の切り替え操作が頻繁に行われた場合には、当該音声案内が終了しても同じように短い間隔でメニュー項目の切り替え操作が行われることが予想され、これに対処可能になる。音声案内中に短い間隔でメニュー項目の切り替え操作が頻繁に行われてもその操作傾向が速度履歴に追加されていくからである。特に、読み上げ途中で何回も短い間隔で新たなメニュー項目の操作指示が繰返されることによって、要求間隔履歴の夫々の要求間隔時間が短くなってくる場合を想定すると、平均値が再生残り時間よりも短いときは、当該要求間隔の平均時間内では今の読み上げを完了できない。そこで、更に高速化する方向で音声読み上げ速度モードデータを高速化傾向に更新して、次の読み上げ速度の高速化に対処することができる。
〔3〕前記音声案内制御部11は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に前記高速化した再生速度情報が前記速度履歴に追加されることが保証されている(S37)。このように、直前よりもメニュー項目が速く切り替えられた操作状態に応じて高速の再生速度情報が速度履歴に加えられることにより、メニュー項目の速い切り替え傾向が次の再生速度の決定に反映可能になる。
〔4〕前記音声案内制御部11は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に低速の再生速度情報を追加可能とする(S39〜S41、S37)。これによれば、しばらくの間メニュー項目の操作が行われない状態に応じて低速の再生速度情報が速度履歴に加えられることにより、そのメニュー項目の遅い切り替え傾向が次の再生速度の決定に反映可能になる。
〔5〕音声案内制御部11は、メニュー項目の操作指示に応答して読み上げ速度を決定する場合に、速度履歴6Aに対して古い再生速度情報に比べて新しい再生速度情報に大きな重みをつけた加重平均により今回の音声案内の再生速度を決定する(S52)。したがって、最近のメニュー操作の速度傾向に重きを置いて音声案内の再生速度を決定することができ、音声案内速度の極端な変化を抑制しながら直近のメニュー操作の傾向から遊離することなく音声案内を行うことができる。
〔6〕前記音声案内制御部11は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合には、当該新たな操作指示の要求を無効にする(S53,S2,S4)。から、無効にした操作指示を無視することができるので、音声案内の制御は全体的に簡単になる。
〔7〕速度履歴6Aやテンポラリレジスタなどに格納する再生速度情報は前記音声読み上げ速度モードデータである。したがって、再生速度それ自体よりも音声読み上げ速度モードデータを再生速度情報として用いた方が速度履歴の管理が容易になる。夫々のモードデータに対して所要の読み上げ速度を割り当てることができるからである。
〔8〕音声案内制御部11は、前記操作指示信号の解析結果に応ずるメニュー項目の音声案内に用いる基準速度の音声データを解析して繰返し波形部分を把握し(S61)、今回決定された再生速度を満足させるために必要な分の繰返し波形部分を省略して(S63)、音声案内に用いる音声データを生成する。これによれれば、再生速度によって音声周波数が変わらないので、速度に応じて音声データを全体的に圧縮又は伸張して再生データを用意する場合に比べて良好な音質を実現し易い。基準速度の音声データを用意すればよく、音声再生速度ごとに音声データを保有する必要はない。
上記に準じて、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、その後の再生に係る部分について繰り返し波形部分を更に省略した音声データに切り替えて、再生中のメニュー項目の途中から再生速度を高速化する(S24〜S31、T3b)。これによれば、メニュー項目の新たな操作指示があった場合には音声案内の途中でも再生速度を速やかに高速化することができるから、速度履歴による次の音声案内の高速化に先駆けて高速化を実現することができる。
音声データの圧縮については上記に限定されず、音声データの一部又は全部の再生周波数を高くすることによって再生速度の高速化を実現しても図11で例示されているのと同様な動作ができる。例えば、音声データに対するDMA転送周期を短くすることによって実現可能である。同様に、音声案内の途中から更に差異性周波数を上げれば、音声案内途中で更に再生速度を高速化する場合に適用することができる。
〔9〕前記音声案内制御部11は、夫々の音声案内毎に基準速度の音声データを補助記憶装置7に保有し、前記解析に用いる基準速度の音声データを前記記憶装置から取得する。これによれば、外部から基準速度の音声データを取得することを要しない。
〔10〕前記表示案内制御部11は、音声案内の完了に同期して対応するメニュー項目への表示切り替えを行う。したがって、音声案内とメニュー表示との間での矛盾の発生を容易に阻止することができる。メニュー項目がいくら速く切り替操作されても、一旦始まった音声案内が中断することなく完了して初めてメニュー表示の切り替えが行われる。
本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、音声データは予め速度の異なるものを複数種類事前に準備しておき、必要な読み上げ速度に応じて音声データを選択するようにして、読み上げ速度を可変可能にしてもよい。読み上げ速度を可変にする方法は、上記実施の形態で説明したような繰り返し波形の一部省略すること、音声周波数を上げること、或いは前記双方の手法を混在させることなどがある。
メニュー項目の操作指示はリモコンから与えられる場合に制限されない。装置と一体の操作盤などから入力されても良い。
上記実施の形態はテレビ、AV機器、カーナビへの適用に限定されない。音声再生と表示が可能な電子機器に広く適用可能である。
また、図2乃至図6で説明した処理手順は一例であり、適宜変更可能である。
1 電子機器
2 操作装置(リモコン)
3 制御装置
4 表示装置
5 スピーカー装置
6 記憶装置(不揮発性メモリ)
6B 要求間隔履歴
6A 速度履歴
7 記憶装置(補助記憶装置)
10 入力解析部(コマンド入力解析部)
11 音声案内制御部
12 表示データ生成部
13 表示コントローラ
14 音声信号出力用ユニット
15 実行処理部
20 タイミング計測部
21 データ解析部
22 音声データ生成部

Claims (20)

  1. メニュー項目の操作指示信号を入力して解析する入力解析部と、
    前記入力解析部による解析結果に応じてメニュー項目の音声案内を制御する音声案内制御部と、
    前記入力解析部による解析結果に応じてメニュー項目の表示制御を行う表示案内制御部と、を有する音声案内システムであって、
    前記音声案内制御部は、前記解析結果に応ずる音声案内の再生速度を、複数の再生速度情報の集合である速度履歴による速度傾向に基づいて決定する、音声案内システム。
  2. 請求項1の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には再生途中の再生速度を最高速度以下で高速化する、音声案内システム。
  3. 請求項2の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に前記高速化した再生速度情報を前記速度履歴に追加可能とする、音声案内システム。
  4. 請求項3の音声案内システムにおいて、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に低速の再生速度情報を追加可能とする、音声案内システム。
  5. 請求項4の音声案内システムにおいて、前記音声案内制御部は、前記速度履歴に対して古い再生速度情報に比べて新しい再生速度情報に大きな重みをつけた加重平均により今回の音声案内の再生速度を決定する、音声案内システム。
  6. 請求項5の音声案内システムにおいて、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合には、当該新たな操作指示の要求を無効にする、音声案内システム。
  7. 請求項2の音声案内システムにおいて、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、再生途中の再生速度を決定する音声読み上げ速度モードデータを、再生途中の再生速度を一段階高速化する値に更新すると共に、メニュー項目の操作指示信号によりメニュー項目の音声案内が要求された間隔時間の集合である要求間隔履歴による要求間隔の平均値が再生途中の音声案内の残り時間よりも短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する処理を介して、再生途中の再生速度を最高速度以下で高速化する、音声案内システム。
  8. 請求項7の音声案内システムにおいて、前記速度履歴に格納する再生速度情報は前記音声読み上げ速度モードデータである、音声案内システム。
  9. 請求項7の音声案内システムにおいて、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に、直前の再生速度が基準速度よりも高速であることを条件に当該直前の再生速度情報よりも低速且つ基準測度以上の再生速度情報を追加する、音声案内システム。
  10. 請求項9の音声案内システムにおいて、前記速度履歴に格納する再生速度情報は再生速度を決定する音声読み上げ速度モードデータである、音声案内システム。
  11. 請求項1の音声案内システムにおいて、前記音声案内制御部は、前記操作指示信号の解析結果に応ずるメニュー項目の音声案内に用いる基準速度の音声データを解析して繰返し波形部分を把握し、今回決定された再生速度を満足させるために必要な分の繰返し波形部分を省略して、音声案内に用いる音声データを生成する、音声案内システム。
  12. 請求項11の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、その後の再生に係る部分について繰り返し波形部分を更に省略した音声データに切り替えて、再生中のメニュー項目の途中から再生速度を高速化する、音声案内システム。
  13. 請求項12の音声案内システムにおいて、前記音声案内制御部は、夫々の音声案内毎に基準速度の音声データを記憶装置に保有し、前記解析に用いる基準速度の音声データを前記記憶装置から取得する、音声案内システム。
  14. 請求項1の音声案内システムにおいて、前記表示案内制御部は、音声案内の完了に同期して対応するメニュー項目への表示切り替えを行う、音声案内システム。
  15. 操作装置からの操作指示を入力して応答する処理を行う制御装置と、
    前記制御装置から出力される画像信号を入力する表示装置と、
    前記制御装置から出力される音声信号を入力するスピーカー装置と、を有する電子機器であって、
    前記制御装置は、前記操作装置からメニュー項目の操作指示信号を入力して解析する入力解析部と、
    前記入力解析部による解析結果に基づいて、前記操作指示に応ずるメニュー項目を、前記スピーカー装置を用いて音声案内するための音声案内制御部と、
    前記入力解析部による解析結果に基づいて、前記操作指示に応ずるメニュー項目を、前記表示装置を用いて表示するための表示案内制御部と、
    前記入力解析部による解析結果に基づいて、前記操作指示で指示されたメニュー項目の処理を実行するための実行制御部と、を有し、
    前記音声案内制御部は、前記解析結果に応ずる音声案内の再生速度を複数の再生速度情報の集合である速度履歴による速度傾向に基づいて決定する、電子機器。
  16. 請求項15の音声案内システムにおいて、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には再生途中の再生速度を最高速度以下で高速化する、電子機器。
  17. 請求項16の電子機器において、前記音声案内制御部は、音声案内の再生途中でメニュー項目の新たな操作指示があった場合には前記速度履歴に高速の再生速度情報を追加可能とする、電子機器。
  18. 請求項17の電子機器において、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に低速の再生速度情報を追加可能とする、電子機器。
  19. 請求項15の電子機器において、前記音声案内制御部は、今回決定された再生速度による音声案内の再生途中でメニュー項目の新たな操作指示があった場合に、再生途中の再生速度を決定する音声読み上げ速度モードデータを、再生途中の再生速度を一段階高速化する値に更新すると共に、メニュー項目の操作指示信号によりメニュー項目の音声案内が要求された間隔時間の集合である要求間隔履歴による要求間隔の平均値が再生途中の音声案内の残り時間よりも短いときには再生速度を更に一段階高速化する値に前記音声読み上げ速度モードデータを更新する処理を介して、再生途中の再生速度を最高速度以下で高速化する、電子機器。
  20. 請求項19の電子機器において、前記音声案内制御部は、メニュー項目の音声案内が停止されている期間が一定期間を超えた場合には前記速度履歴に、直前の再生速度が基準速度よりも高速であることを条件に当該直前の再生速度情報よりも低速且つ基準測度以上の再生速度情報を追加する、電子機器。
JP2012198307A 2012-09-10 2012-09-10 音声案内システム及び電子機器 Expired - Fee Related JP5999839B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012198307A JP5999839B2 (ja) 2012-09-10 2012-09-10 音声案内システム及び電子機器
US13/972,959 US9368125B2 (en) 2012-09-10 2013-08-22 System and electronic equipment for voice guidance with speed change thereof based on trend

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012198307A JP5999839B2 (ja) 2012-09-10 2012-09-10 音声案内システム及び電子機器

Publications (2)

Publication Number Publication Date
JP2014052580A true JP2014052580A (ja) 2014-03-20
JP5999839B2 JP5999839B2 (ja) 2016-09-28

Family

ID=50234207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012198307A Expired - Fee Related JP5999839B2 (ja) 2012-09-10 2012-09-10 音声案内システム及び電子機器

Country Status (2)

Country Link
US (1) US9368125B2 (ja)
JP (1) JP5999839B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
KR20150041910A (ko) * 2013-10-10 2015-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9613624B1 (en) * 2014-06-25 2017-04-04 Amazon Technologies, Inc. Dynamic pruning in speech recognition
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP6454495B2 (ja) * 2014-08-19 2019-01-16 ルネサスエレクトロニクス株式会社 半導体装置及びその故障検出方法
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US20170292853A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Tailored voice navigation analysis system
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10199037B1 (en) 2016-06-29 2019-02-05 Amazon Technologies, Inc. Adaptive beam pruning for automatic speech recognition
JP2018101828A (ja) * 2016-12-19 2018-06-28 船井電機株式会社 制御装置
KR102329888B1 (ko) * 2017-01-09 2021-11-23 현대자동차주식회사 음성 인식 장치, 이를 포함하는 차량, 및 음성 인식 장치의 제어방법
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
CN107808007A (zh) * 2017-11-16 2018-03-16 百度在线网络技术(北京)有限公司 信息处理方法和装置
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022370A (ja) * 1999-07-12 2001-01-26 Fujitsu Ten Ltd 音声案内装置
JP2009004859A (ja) * 2007-06-19 2009-01-08 Mizuho Information & Research Institute Inc テレホンサービス処理システム、テレホンサービス処理プログラム及びテレホンサービス処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227290A (ja) * 1992-02-10 1993-09-03 Nippon Telegr & Teleph Corp <Ntt> ガイダンス再生速度の制御方法
CA2119397C (en) * 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
US5493608A (en) * 1994-03-17 1996-02-20 Alpha Logic, Incorporated Caller adaptive voice response system
GB2292500A (en) * 1994-08-19 1996-02-21 Ibm Voice response system
JP3619946B2 (ja) * 1997-03-19 2005-02-16 富士通株式会社 話速変換装置、話速変換方法及び記録媒体
JP3854713B2 (ja) * 1998-03-10 2006-12-06 キヤノン株式会社 音声合成方法および装置および記憶媒体
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US20030020760A1 (en) 2001-07-06 2003-01-30 Kazunori Takatsu Method for setting a function and a setting item by selectively specifying a position in a tree-structured menu
US20030036909A1 (en) * 2001-08-17 2003-02-20 Yoshinaga Kato Methods and devices for operating the multi-function peripherals
JP3807963B2 (ja) * 2001-08-29 2006-08-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 自動取引機とその制御方法
JP4010864B2 (ja) 2002-04-30 2007-11-21 株式会社リコー 画像形成装置、プログラムおよび記録媒体
GB0228245D0 (en) * 2002-12-04 2003-01-08 Mitel Knowledge Corp Apparatus and method for changing the playback rate of recorded speech
JP3881620B2 (ja) * 2002-12-27 2007-02-14 株式会社東芝 話速可変装置及び話速変換方法
US20070047515A1 (en) * 2003-11-11 2007-03-01 Telefonaktiebolaget Lm Ericsson (Publ) Adapting playout buffer based on audio burst length
US7412378B2 (en) * 2004-04-01 2008-08-12 International Business Machines Corporation Method and system of dynamically adjusting a speech output rate to match a speech input rate
JP4483450B2 (ja) * 2004-07-22 2010-06-16 株式会社デンソー 音声案内装置、音声案内方法およびナビゲーション装置
JP3955881B2 (ja) * 2004-12-28 2007-08-08 松下電器産業株式会社 音声合成方法および情報提供装置
JP4260788B2 (ja) * 2005-10-20 2009-04-30 本田技研工業株式会社 音声認識機器制御装置
US8694319B2 (en) * 2005-11-03 2014-04-08 International Business Machines Corporation Dynamic prosody adjustment for voice-rendering synthesized data
JP4764711B2 (ja) * 2005-12-07 2011-09-07 クラリオン株式会社 音声データ再生方法およびプログラム
JP4747052B2 (ja) 2006-08-08 2011-08-10 クラリオン株式会社 ナビゲーション装置
JP5093239B2 (ja) * 2007-07-24 2012-12-12 パナソニック株式会社 文字情報提示装置
US8165881B2 (en) * 2008-08-29 2012-04-24 Honda Motor Co., Ltd. System and method for variable text-to-speech with minimized distraction to operator of an automotive vehicle
US8712776B2 (en) * 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
WO2010084881A1 (ja) * 2009-01-20 2010-07-29 旭化成株式会社 音声対話装置、対話制御方法及び対話制御プログラム
JP4996750B1 (ja) * 2011-01-31 2012-08-08 株式会社東芝 電子機器
KR20130141819A (ko) * 2012-06-18 2013-12-27 삼성전자주식회사 화자 기반의 보청 기능 제공 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022370A (ja) * 1999-07-12 2001-01-26 Fujitsu Ten Ltd 音声案内装置
JP2009004859A (ja) * 2007-06-19 2009-01-08 Mizuho Information & Research Institute Inc テレホンサービス処理システム、テレホンサービス処理プログラム及びテレホンサービス処理方法

Also Published As

Publication number Publication date
JP5999839B2 (ja) 2016-09-28
US9368125B2 (en) 2016-06-14
US20140074482A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
JP5999839B2 (ja) 音声案内システム及び電子機器
RU2533634C2 (ru) Устройство обработки информации, способ обработки информации и программа
JP2013075610A (ja) 車載機に接続された外部機器の動作制御装置および動作制御方法
US7685324B2 (en) Audio-video processing apparatus and program therefor
US20130163785A1 (en) Apparatus and method for generating vibration based on sound characteristics
JP2016071029A (ja) 電子機器、方法及びプログラム
KR101150614B1 (ko) 연주게임을 위한 방법, 장치 및 기록매체
JP6471825B1 (ja) 情報処理装置および情報処理方法
US7777124B2 (en) Music reproducing program and music reproducing apparatus adjusting tempo based on number of streaming samples
JP7204804B2 (ja) スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体
JP6710964B2 (ja) 音響効果制御装置、音響効果制御プログラムおよび音響効果制御方法
JP7346807B2 (ja) 電子鍵盤楽器、方法およびプログラム
WO2023029806A1 (zh) 音乐播放方法及设备
JP6273118B2 (ja) 情報処理装置
JP6444476B2 (ja) 情報処理装置及び方法、並びにコンピュータプログラム
JP5821170B2 (ja) 電子音楽装置及びプログラム
JP4089576B2 (ja) パラメータ設定装置およびパラメータ設定プログラム
KR20090019629A (ko) 오디오 신호 정보 설정방법 및 이를 적용한 오디오 기기
JP2006059340A (ja) 実時間処理ソフトウェア制御装置及び方法
KR100925553B1 (ko) 진동 패턴 설정 장치 및 방법, 그리고 진동 기기
JP5906716B2 (ja) 電子楽器
JP2012132991A (ja) 電子楽器
JP2005266392A (ja) 演奏データ再生装置及びプログラム
KR102037199B1 (ko) 컨텐츠 재생 어플리케이션 제공 방법 및 이를 이용하는 단말장치
JP4687759B2 (ja) 演奏データ再生装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160829

R150 Certificate of patent or registration of utility model

Ref document number: 5999839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees