JP2022115288A - 制御装置およびプログラム - Google Patents

Abstract

【課題】臨場感を向上させる振動の呈示が可能な制御装置およびプログラムを提供する。【解決手段】音声信号による振動を補填するための振動波形を当該音声信号に合成することで生成された、振動の発生を制御するための振動制御信号を、振動発生部に出力する処理を行う制御部を備える、制御装置。【選択図】図１

Description

本発明は、制御装置およびプログラムに関する。

近年、入力を検知する機能と表示機能とを有するタッチパネルディスプレイ等に対して指やスタイラス等を用いて入力が行われる際に、音や振動によるフィードバックを実施して入力の実感を利用者に与える技術がある。例えば下記特許文献１では、手書きの筆記入力を電子的に実行する電子入力システムにおいて、筆記に相当する振動を利用者に呈示することが開示されている。また、下記特許文献１では、筆記に相当する振動を発生するための信号の一部を音声信号出力に用いて、振動と音声とを同時に発生させることも開示されている。

国際公開第２００８／０７８５２３号

ここで、音は空気の振動により人間の耳に届くものであり、可聴周波数帯域は概ね２０Ｈｚ～２０ｋＨｚである。さらに、概ね１００Ｈｚ以下の音（低周波）は、振動としても知覚され得る。すなわち、人は音源から発生する音を耳で聞く音だけでなく、音の振動を身体で知覚することがある。しかしながら、従来の音声呈示システムでは、実際の音源から発生し得る振動の再現までは考慮されておらず、臨場感に乏しい。また、上述した特許文献１に記載の技術では、振動と音声を同時に発生させることが記載されているが、筆記具と選択された筆記対象物との組み合わせで生じる振動波形データの一部を音声信号出力するのみである。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、臨場感を向上させる振動の呈示が可能な、新規かつ改良された制御装置およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、音声信号による振動を補填するための振動波形を、当該音声信号に合成することで、振動の発生を制御するための振動制御信号を生成する処理を行う制御部を備える、制御装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、音声信号による振動を補填するための振動波形を、当該音声信号と合成することで、振動の発生を制御するための振動制御信号を生成する処理と、前記生成した振動制御信号を、振動発生部に出力する処理と、を行う制御部を備える、制御装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、音声信号による振動を補填するための振動波形を当該音声信号に合成することで生成された、振動の発生を制御するための振動制御信号を、振動発生部に出力する処理を行う制御部を備える、制御装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、音声信号による振動を補填するための振動波形を、当該音声信号に合成することで、振動の発生を制御するための振動制御信号を生成する処理を行う制御部として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、音声信号による振動を補填するための振動波形を当該音声信号に合成することで生成された、振動の発生を制御するための振動制御信号を、振動発生部に出力する処理を行う制御部として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、臨場感を向上させる振動の呈示が可能となる。

本発明の一実施形態に係る音声および振動の呈示を行う出力装置について説明する図である。 本実施形態に係る生成装置の構成例を示すブロック図である。 本実施形態に係る出力装置の構成例を示すブロック図である。 本実施形態による元音源の音声信号の一例を示す図である。 本実施形態による増幅処理を行って生成した振動波形の一例を示す図である 本実施形態による元音源の音声信号に振動波形を合成して生成した振動制御信号の一例を示す図である 本実施形態による元音源の音声信号の一例を示す図である。 本実施形態による振動制御信号の生成例について説明する図である。 本実施形態による振動制御信号の生成制御の処理の流れの一例を示すフローチャートである。 本実施形態による振動制御信号の出力制御の処理の流れの一例を示すフローチャートである。 本実施形態の変形例による制御システムについて説明する図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜１．概要＞＞
本発明の一実施形態に係る制御装置は、音声信号に基づいて生成された振動制御信号を用いて、臨場感を向上させる振動の呈示を実現する。より具体的には、本実施形態による制御装置は、音声と共に、当該音声に対応する振動を出力する制御を行うことで、音声呈示における臨場感をさらに向上させることを可能とする。臨場感は、疑似体験の現実感とも言える。また、振動制御信号は、振動の発生を制御するための情報である。例えば振動制御信号は、振動の波形を示す振動波形データが挙げられる。

本実施形態による音声呈示および振動の出力制御を行う制御装置の一例として、例えば図１に示す出力装置２０が挙げられる。図１は、本発明の一実施形態に係る音声および振動の呈示を行う出力装置２０について説明する図である。図１に示す出力装置２０（制御装置の一例）の表示部には、例えば利用者により選択され得る車両の画像や動物の画像が表示されている。利用者は、例えば図１に示すペン状の入力デバイス３０を用いて任意の車両または動物の画像を選択する。入力デバイス３０は、出力装置２０と有線または無線で通信接続する電子ペンであってもよいし、電子的構造を有しないペン型のポインティングデバイス（例えば静電誘導方式対応のスタイラス）であってもよい。

出力装置２０は、利用者が任意の車両または動物の画像を選択した上で、さらに出力装置２０の表示部に表示されている道路の画像上を入力デバイス３０でなぞられていることを検知すると、選択された車両または生物の画像に対応付けられる音声（車両の音、生物の鳴き声等）を出力すると共に、当該音声に対応する振動を出力する制御を行う。かかる振動の出力に用いる振動制御信号は、予め生成装置（制御装置の一例）により生成され、出力装置２０に保存され得る。

本実施形態による生成装置では、音声信号に対して、臨場感を向上させる所定の処理を行うことで、振動制御信号を生成する。音声信号を振動発生部に入力することで振動を発生させることが可能であるが、車両の音や生物の鳴き声の音声信号（録音データ等）そのままでは低周波の成分が少ない等により振動を十分に起こすことが出来ず臨場感に欠ける場合がある。そこで、本実施形態による生成装置は、例えば音声信号の低周波成分を増幅する処理を行って対応する振動波形データを生成してもよい。また、生成装置は、主に高周波しかなく音を振動として感じ難い音声の場合、音のタイミングに合わせて低周波を合成する処理を行うことで、音源の動きを表現した振動波形データを生成してもよい。生成装置により生成された振動制御信号は、音声信号と対応付けて出力装置２０に保存される。

また、振動を発生させる振動発生部は、出力装置２０に設けられていてもよいし、入力デバイス３０に設けられていてもよい。例えば振動発生部が出力装置２０に設けられている場合、振動発生部により発生した振動は、出力装置２０に接触している利用者の手に直接、若しくは入力デバイス３０を媒介して利用者に到達する。

これにより、利用者が選択した車両や生物の音声が再生されると共に、臨場感を向上させるための所定の処理が行われた振動が出力されて利用者の身体に伝わることで、車両や生物の動きを感じさせ（触覚の提供）、車両や生物が実際にそこに存在しているかのような、よりリアルな疑似体験を提供することができる。このように、視覚と聴覚の情報だけでなく、触覚の情報も与えることができる。かかる技術は、例えば子供向けの絵本や図鑑、学習用教材等に適用することができる。

なお、図１に示す音声および振動の利用形態は一例であって、本実施形態はこれに限定されない。また、出力装置２０は、図１に示すタブレット端末に限定されず、スマートフォン、携帯電話端末、ＰＣ（パーソナルコンピュータ）、ウェアラブルデバイス（頭部装着型メガネ型、ウォッチ型、リストバンド型、ネックレス型、イヤリング型等）、または各種専用端末等であってもよい。

＜＜２．構成例＞＞
次に、本実施形態に係る生成装置１０と出力装置２０の構成例について順次説明する。

＜２－１．生成装置１０＞
図２は、本実施形態による生成装置１０の構成例を示すブロック図である。図２に示すように、生成装置１０は、通信部１１０、制御部１２０、および記憶部１３０を有する。

（通信部１１０）
通信部１１０は、外部装置とデータの送信および受信を行う機能を有する。例えば通信部１１０は、生成した振動制御信号を、基にした音声信号と対応付けて、出力装置２０に有線または無線により送信する。例えば通信部１１０は、有線または無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により通信接続を行い得る。

（制御部１２０）
制御部１２０は、演算処理装置又は制御装置として機能し、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶部１３０等に記録された各種プログラムに基づいて、各構成要素の動作全般又はその一部を制御する。制御部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）等のプロセッサによって実現され得る。

また、本実施形態による制御部１２０は、音声信号解析部１２１、振動波形生成部１２２、および合成部１２３としても機能する。音声信号解析部１２１は、音声信号の解析を行う。例えば音声信号解析部１２１は、音声信号の周波数特性の解析（高速フーリエ変換：ＦＦＴ）を行う。振動波形生成部１２２は、音声信号解析部１２１による解析結果に基づいて、音声信号による振動を補填するための振動波形データ（振動情報の一例）を生成する。また、合成部１２３は、振動波形生成部１２２により生成された振動波形データを、基の音声信号に合成して振動制御信号を生成する。振動制御信号とは、後述する出力装置２０にいて、振動発生部２６０（振動アクチュエータ）に入力されるデータである。振動制御信号は、後述する振動発生部２６０（振動アクチュエータ）を振動させるための波形（アナログ信号の波形）を示す信号である。振動制御信号は、振動波形そのものの信号（振動信号）でもよいし、振動波形をデジタル化したものでもよいし、振動波形の周波数を示す値と振幅を示す値の組でもよい。振動発生部２６０が、音声を電気変換した音声信号を機械的な振動に変換する、すなわち音声信号に対してほぼ音声信号の波形に沿う振動を発生するボイスコイル型アクチュエータにより実現される場合、振動制御信号として、音声信号のようなアナログ信号（振動信号）の波形（振動波形）を示す信号が用いられる。本実施形態による振動制御信号の生成の具体例については後述する。

（記憶部１３０）
記憶部１３０は、生成装置１０の動作のための各種情報を記憶する機能を有する。例えば、記憶部１３０は、生成装置１０の動作のためのプログラム等を記憶する。記憶部１３０は、例えば、フラッシュメモリ等の記憶媒体、及び記憶媒体への記録再生を実行する処理装置により構成される。

また、記憶部１３０は、処理対象の音声信号を格納する。また、記憶部１３０は、生成した振動制御信号を、基の音声信号と対応付けて格納する。

以上、生成装置１０の装置構成について説明したが、本構成は一例であって、本実施形態はこれに限定されない。例えば生成装置１０は、複数の装置に構成されていてもよい。また、生成装置１０は、表示部および操作入力部をさらに有していてもよい。例えば管理者により、音声信号解析部１２１で解析する対象の音声信号が指定または入力されてもよい。

＜２－２．出力装置２０＞
図３は、本実施形態による出力装置２０の構成例を示すブロック図である。図３に示すように、出力装置２０は、通信部２１０、制御部２２０、操作入力部２３０、表示部２４０、音声出力部２５０、振動発生部２６０、および記憶部２７０を有する。

（通信部２１０）
通信部２１０は、外部装置とデータの送信および受信を行う機能を有する。例えば通信部２１０は、生成装置１０から、音声信号と、対応する振動制御信号を有線または無線により受信する。例えば通信部２１０は、有線または無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により通信接続を行い得る。

（制御部２２０）
制御部２２０は、演算処理装置又は制御装置として機能し、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶部２７０等に記録された各種プログラムに基づいて、各構成要素の動作全般又はその一部を制御する。制御部２２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）等のプロセッサによって実現され得る。

また、本実施形態による制御部２２０は、出力制御部２２１としても機能する。出力制御部２２１は、音声信号を音声出力部２５０から出力すると共に、当該音声信号に対応する振動制御信号を振動発生部２６０に入力して振動を発生させる制御を行う。出力制御部２２１は、利用者による操作や出力装置２０の状態等の所定のトリガに応じて、所定の音声信号および振動制御信号を出力する制御を行う。

（操作入力部２３０および表示部２４０）
操作入力部２３０は、出力装置２０に対する利用者の操作入力を受け付け、操作入力情報を制御部２２０に出力する。操作入力部２３０は、タッチパッド、マウス、キーボード、コントローラ、カメラ、マイク、各種センサ等により実現され得る。表示部２４０は、各種画像を表示する機能を有する。表示部２４０は、例えば操作入力部２３０と一体化したデバイスであるタッチパネルディスプレイにより実現されてもよい。

（音声出力部２５０）
音声出力部２５０は、音声を出力する機能を有する。

（振動発生部２６０）
振動発生部２６０は、振動を発生させる、すなわち触覚刺激を呈示する振動アクチュエータである。振動発生部２６０は、例えば、音声を電気変換した音声信号を機械的な振動に変換する、すなわち音声信号に対してほぼ音声信号の波形に沿う振動を発生するボイスコイル型アクチュエータにより実現される。

（記憶部２７０）
記憶部２７０は、出力装置２０の動作のための各種情報を記憶する機能を有する。例えば、記憶部２７０は、出力装置２０の動作のためのプログラム等を記憶する。記憶部２７０は、例えば、フラッシュメモリ等の記憶媒体、及び記憶媒体への記録再生を実行する処理装置により構成される。また、記憶部２７０は、音声信号と振動制御信号を対応付けて格納する。

以上、本実施形態による出力装置２０の構成例について説明した。なお、図３に示す構成は一例であって、本実施形態はこれに限定されない。例えば、出力装置２０は複数の装置により構成されていてもよい。例えば、振動発生部２６０が別装置に設けられていてもよい。

＜＜３．振動制御信号の生成について＞＞
続いて、本実施形態による振動制御信号の生成について説明する。本実施形態では、元音源の音声信号に低周波を合成することで、音声による振動の補填を行う。以下、具体例を用いて説明する。

＜３－１．第１の生成例＞
振動制御信号の第１の生成例として、音声信号の低周波成分を増幅する処理を行うことが挙げられる。音声出力用に用意した音声信号そのままを振動制御に用いても、低周波成分が少なく振動を十分に呈示できなかったり、触感が悪い場合がある。そこで本実施形態では、低周波成分を増幅させることで、しっかりと力強い振動を提供し、音の臨場感を補填する（音源から発生する音が空気を振動させて身体に伝わる感覚を与える）。以下、データ例を用いて説明する。

図４は、本実施形態による元音源の音声信号の一例を示す図である。図４に示す音声信号は、アヒルの鳴き声である。また、図４下には、かかる音声信号に対してＦＦＴ（高速フーリエ変換）を適用した結果を示す。図４に示すような低周波成分（例えば１００Ｈｚ以下）が少ない音をこのまま振動アクチュエータ（振動発生部２６０）に入力しても、触感が良くない（例えばビビリ振動が強く気持ちが悪い）。低周波成分を含む音声として、例えばアヒルの鳴き声や、車のエンジン音、走行音、ドラムやコントラバスの音等が挙げられる。

そこで本実施形態では、例えば音声信号解析部１２１によりＦＦＴを適用した結果から、振動波形生成部１２２により、例えば８０Ｈｚローパスフィルタを用いて周波数成分（低周波成分）を取り出し、取り出した低周波成分を増幅する処理を行う。かかる増幅処理を行って生成した信号（振動波形）の一例を図５に示す。

そして、合成部１２３は、生成した振動波形を、元音源の音声信号に合成して、振動アクチュエータに入力する用の信号（振動制御信号）を生成する。図４に示す元音源の音声信号に図５に示す振動波形を合成して生成した振動制御信号の一例を、図６に示す。低周波成分を増幅した振動波形を合成することで、しっかりと力強い振動を追加することができ、臨場感が増す効果が期待できる。

ここで、増幅する対象の周波数成分は、８０Ｈｚ以下に限定されない。人間の皮膚は概ね５００Ｈｚ以下の周波数の振動を知覚できるため、少なくとも５００Ｈｚ以下の周波数成分を対象とするようにしてもよい。また、人間の皮膚には４つの感覚受容器として、メルケル細胞、マイスナー小体、ルフィニ終末、パチニ小体が分布していることが明らかとなっている。これらのうち、振動知覚に関しては、例えばパチニ小体は約１００Ｈｚ～３００Ｈｚの周波数帯を知覚できるため、振動波形生成部１２２は、例えば３００Ｈｚ以下の周波数成分を増幅の対象としてもよい。また、感覚受容器のうち、マイスナー小体は約２０Ｈｚ～１００Ｈｚの周波数帯を知覚できるため、振動波形生成部１２２は、例えば１００Ｈｚ以下の周波数成分を増幅の対象としてもよい。なお、ここで用いた数値は全て一例や一事象であって、本実施形態はこれに限定されない。振動波形生成部１２２は、人が知覚可能な範囲の周波数成分を増幅して振動波形を生成する。また、さらに好ましくは、振動波形生成部１２２は、人が不快と感じない振動波形を生成する。

また、対象の周波数成分をどの程度（どのように）増幅するかについては、以下の例が挙げられる。例えば振動波形生成部１２２は、取り出した全ての周波数成分を増幅させてもよいし、取り出した周波数成分のうち特徴ある部分（波形）がより強く現れるよう増幅させてもよい（特徴を反映させた増幅）。また、振動波形生成部１２２は、対象の周波数成分を、元音源の振幅の上限（元音源の振幅のうち最も高い値）に合わせて（上限に対して所定の誤差範囲内まで）増幅するようにしてもよい。また、振動波形生成部１２２は、対象の周波数成分を、元音源の振幅の上限（元音源の振幅のうち最も高い値）の半分程度まで増幅するようにしてもよい。

＜３－２．第２の生成例＞
振動制御信号の第２の生成例として、主に高周波しかなく音を振動として感じ難い音声の場合に、音のタイミングに合わせて低周波を合成する処理が挙げられる。これにより、音源（音の発生源）の動きを表現（音源の動きを触覚により呈示）することが可能となる。ほぼ高周波しかない音声として、例えば鈴虫の鳴き声や風鈴の音、バイオリンやフルートの音等が挙げられる。なお、高周波の周波数帯域は特に限定しないが、本実施形態では、振動として知覚され難い周波数（例えば皮膚の受容器により知覚し難い１ｋＨｚ以上の周波数等）を想定する。

図７は、本実施形態による元音源の音声信号の一例を示す図である。図７に示す音声信号は、鈴虫の鳴き声である。図７に示す例では、低周波（例えば１００Ｈｚ以下の周波数）がほぼないため、このまま振動アクチュエータ（振動発生部２６０）に入力しても、触感を与えることが困難であり、振動による疑似体験の提供が難しい。そこで本実施形態では、例えば鳴き声のタイミングに合わせて振動を出力することで、鳴き声の元となっている物（例えば鈴虫）が動いている触覚を与えることを可能とする。

図８は、本実施形態による振動制御信号の生成例について説明する図である。生成装置１０は、図８に示すように、例えば元音源の音声信号における規定の閾値以上の音圧に対してｓｉｎ波（正弦波）を追加する振動波形を生成し、生成した振動波形を元音源の音声信号に合成することで、振動制御信号を生成する。規定の閾値以上の音圧の位置は、音声信号解析部１２１により解析され得る。振動波形生成部１２２は、解析結果に基づいて、所定の位置にｓｉｎ波を追加する振動波形を生成する。そして、合成部１２３は、元音源の音声信号に、生成された振動波形を合成して信号制御信号を生成する。このようにして生成された振動制御信号が振動発生部２６０から出力制御されることで、例えば手のひらに物理的に物が当たるような感覚や、物が動いているような感覚を呈示することができる。ここでは一例としてｓｉｎ波を追加する旨を説明しているが、追加する振動波形はこれに限定されない。

また、追加するｓｉｎ波の周波数は、例えばマイスナー小体の知覚可能な周波数帯域を考慮し、１００Ｈｚ以下を基本としてもよい。または、追加するｓｉｎ波の周波数は、１０Ｈｚ～５００Ｈｚを目安とし、望ましくは２００Ｈｚを基本とするようにしてもよい。いずれも、追加するｓｉｎ波の周波数は、振動として知覚され得る低周波が望ましい。

また、振動波形生成部１２２は、振動波形の振幅を元音源の振幅に合わせるようにしてもよい。これにより、音の強弱に連動した振動の強弱を呈示することが可能となる。

以上、本実施形態による振動制御信号の生成について具体例を用いて説明した。なお本実施形態による振動制御信号の生成はこれに限定されない。

＜＜４．動作処理例＞＞
次に、本実施形態による振動制御信号の生成処理と、振動制御信号の出力制御処理について、フローチャートを用いて順次説明する。

＜４－１．生成処理例＞
図９は、本実施形態による振動制御信号の生成制御の処理の流れの一例を示すフローチャートである。

図９に示すように、まず、音声信号解析部１２１は、対象の音声信号を取得する（ステップＳ１０３）。音声信号は外部から入力されてもよいし、記憶部１３０から読み出してもよい。対象の音声信号は、管理者により指定されてもよい。

次に、音声信号解析部１２１は、音声信号を解析する（ステップＳ１０６）。

次いで、振動波形生成部１２２は、解析結果に基づいて、振動を補填する振動波形データを生成する（ステップＳ１０９）。

そして、合成部１２３は、振動波形生成部１２２により生成された振動波形データを、基の音声信号に合成して、振動制御信号を生成する（ステップＳ１１２）。生成された振動制御信号は、基の音声信号と対応付けて保存される。

＜４－２．出力制御の処理例＞
図１０は、本実施形態による振動制御信号の出力制御の処理の流れの一例を示すフローチャートである。

図１０に示すように、まず、出力制御部２２１は、音声信号および振動制御信号を取得する（ステップＳ２０３）。音声信号および振動制御信号は、例えば生成装置１０から取得される。取得されたデータは、記憶部２７０に格納される。かかる音声信号および振動制御信号の格納は、利用者が出力装置２０を利用する前（例えば出力装置２０の出荷時）に行われてもよい。また、生成装置１０がネットワーク上のサーバの場合に、出力装置２０が、利用者の指示に従って、ネットワークを介して生成装置１０から音声信号および振動制御信号をダウンロードして格納してもよい。

次に、出力制御部２２１は、利用者による操作入力を検出する（ステップＳ２０６）。

次いで、出力制御部２２１は、操作入力に応じて、音声信号および振動制御信号を出力する制御を行う（ステップＳ２０９）。例えば、出力制御部２２１は、図１を参照して説明したように、入力デバイス３０により、道路の画像上をなぞっている間（所定の操作が行われている間）、音声信号と振動制御信号の出力を行うようにしてもよい。

以上、振動制御信号の出力制御の処理の一例について説明したが、本実施形態による動作処理はこれに限定されない。例えば、出力装置２０は、利用者による操作入力を検出した場合や画面の切り替わり等の所定のトリガに応じて、対応する音声信号および振動制御信号を、サーバ（音声信号および振動制御信号を格納するサーバ）から取得してもよい。

＜＜５．変形例＞＞
また、本実施形態の変形例として、図２に示す生成装置１０と図３に示す出力装置２０とが一体化された制御装置も提案する。図１１は、本実施形態の変形例による制御システムについて説明する図である。

図１１に示すように、制御装置２０ａは、音声信号解析部２２４と、振動波形生成部２２５と、合成部２２６と、出力制御部２２７と、音声出力部２５０と、振動発生部２６０と、を有する。各構成の機能は、図２および図３を参照して説明した内容と同様である。なお図示していないが、制御装置２０ａは、ネットワーク３０を介してサーバ４０と通信接続し、サーバ４０に格納されている音声データ４１０を受信する通信部を有する。

音声信号解析部２２４は、サーバ４０から受信した音声データ４１０（音声信号）を解析し、解析結果（例えばＦＦＴを適用した結果）を振動波形生成部２２５に出力する。振動波形生成部２２５は、解析結果に基づいて、音声信号（音声データ４１０）による振動を補填する振動波形を生成する。例えば上述したように、音声信号から取り出した低周波成分を増幅して振動波形を生成する。音声信号からの低周波成分の取り出しは音声信号解析部２２４により行われ得る。次いで、合成部２２６は、音声信号（音声データ４１０）と、振動波形生成部２２５により生成された振動波形とを合成して振動制御信号を生成する。

そして、出力制御部２２７は、サーバ４０から受信した音声データ４１０（音声信号）を音声出力部２５０から出力すると共に、かかる音声データ４１０に基づいて合成部２２６により生成された振動制御信号を振動発生部２６０に出力して振動発生する制御を行う。

このように、振動制御信号の生成機能と出力制御機能を有する制御装置では、適宜任意の音声データ（音声信号）に基づいて、音声データに対応する振動制御信号を生成し、出力することが可能である。

＜＜６．適用例＞＞
次に、本実施形態の適用例について説明する。本実施形態による臨場感を向上させる振動（触覚情報）の呈示は、様々な装置、物、場面、用途で用いられ得る。例えば以下に挙げる適用例が考え得る。

例えば、本発明は、車両関係の装置への適用が可能である。例えば、車両に搭載される各種スイッチ、レバー（シート調整レバーなど）、ドアノブ、グローブボックスのノブ、リモコン等の各種車載装置が挙げられる。本実施形態による出力装置は、これらを利用者が操作した時に、各種車載装置において、操作をシステム側が受け付けたことのＦＢ（フィードバック）として、ＳＥ音（効果音）と振動（触覚）を呈示することで、操作感の向上や、可動レス化（可動部分を減らすこと）の実現も可能である。ＦＢの振動は、利用者の好みに合わせた操作感になるよう調整することも可能である。

なお、振動呈示を行い得る車載装置としては、例えば、エンジンスタートスイッチ、ヒーターコントロールスイッチ、電動パーキングブレーキ（ＥＰＢ）スイッチ、ステアリングホイールスイッチ、コンソールスイッチ、ライトスイッチ、インストルメントパネルスイッチ（例えばトリップスイッチ）、ヘッドアップモジュール、レバーコンビネーションスイッチ、パドルスイッチ、ウィンドウレギュレータスイッチ、ハザードスイッチ、ダイヤルスイッチ、オーディオスイッチ、チルト＆テレスコピックステアリング（ステアリングホイールの位置調整機能）、タッチパッド、シートスイッチ、ミラースイッチ、ハザードスイッチ、フォグランプスイッチ、デフォガスイッチ、レオスタット、ニュートラルスタートスイッチ、パーキングブレーキスイッチ、エンジンオイル圧力スイッチ、ドアロックスイッチ、ブレーキランプスイッチ、カーテシランプスイッチ、バックランプスイッチ、バックドアスイッチ、シフトレバー、キー、シートベルト、シート、ミラー、バックル、ステアリング、ディスプレイ、サンバイザー、床、ドアノブ、ブレーキ、アクセル、サイドブレーキ、窓ガラス、アームレスト、パームレスト、ヘッドレスト、ダッシュボード等が挙げられる。また、リモコンとしては、車両ドアの施解錠を行うスマートキー（携帯機）が挙げられる。

また、本発明は、日常的に利用する電子機器への適用が可能である。例えば、ＰＣ（パーソナルコンピュータ）、マウス、キーボタン、タブレット、スマートフォン、イヤホン、ヘッドホン、複合機等が挙げられる。本実施形態による出力装置は、これらを利用者が操作した時に、操作をシステム側が受け付けたことのフィードバック等として振動（触覚）を呈示することが可能である。また、本実施形態による出力装置は、ＰＣやスマートフォン、マウス等において、画面内のカーソルが操作領域外に出た時のフィードバックとして、操作領域内に引っ張られるような感覚の振動（触覚）を呈示してもよい。振動の呈示は、例えば各電子機器の操作部（マウス、キーボード、タッチパネルディスプレイ等、利用者が触れる場所）から呈示され得る。

また、本発明は、家具や家屋、家電等への適用が可能である。例えば、壁、床、窓、机、椅子、ソファー、肘置き、クッション、風呂、ベッド、枕、ドア、ドアノブ、電話、コンロの火をつけるノブ等が挙げられる。本実施形態による出力装置は、これらを利用者が操作した時に、操作をシステム側が受け付けたことのフィードバック等として振動（触覚）を呈示することが可能である。また、本実施形態による出力装置は、緊急地震速報等の各種通知を、家具等により振動で呈示することも可能である。また、椅子やソファーにおいて正しい姿勢になったときに振動でフィードバックしてもよい。また、玄関のドアにおいてロック／ロック解除が行われた時に振動でフィードバックしてもよい。

また、本発明は、文具（色鉛筆、クレヨンなどのペン類、ノート、ホワイトボード、黒板）や工具等の各種道具への適用が可能である。

また、本発明は、靴、自転車、キックボード等の屋外での移動時に利用する物への適用も可能である。例えば、本実施形態による出力装置は、これらを用いて、視覚や聴覚での情報呈示に代わり、振動によりナビゲーション情報を呈示することも可能である。例えば、出力装置は、曲がる場所や、左右や後ろから車が来ていること等を振動により通知し得る。また、振動によるナビゲーション情報の呈示は、利用者が身に着けているデバイス（腕時計、ネックレス、洋服等）により行われてもよい。すなわちランニングや、歩行者用のナビゲーションも振動により行われ得る。また、出力装置による振動でのナビゲーション情報の呈示はこれらに限定されず、例えば運転用ナビゲーションと連動して、利用者（運転者）が身に着けているデバイスを振動させてもよい。

また、道路に設置されている点字ブロックの振動によりナビゲーション情報を呈示してもよい。例えば、もうすぐ階段終わることの通知が行われてもよい。

また、本実施形態による振動は、ゲーム、映画、動画配信等のＳＥ音の再生に対応して呈示されてもよい。この際、コントローラやマウスパッド、机やソファー等を振動させてもよい。

また、リモコン（リモートコントローラ）類において、操作をシステム側が受け付けたことを振動でフィードバックしてもよい。例えばテレビのリモコンや、医療現場や工場におけるロボットアーム操作のリモコン、自動車や工事現場における建設車両の遠隔操作コントローラ、重機の操縦デバイス、操作レバーなどにおける振動呈示が挙げられる。一例としては、ロボットを遠隔操作するとき、ロボットが検出した触覚情報をコントローラに伝達する。これにより、利用者は現場の状況を触覚情報としてよりリアルに把握することができる。また、工事現場や医療現場等で、リモコンや操作レバーに伝わる振動に対して逆波形データを入力してリモコンや操作レバーを振動させることで、防振装置として機能させることも可能である。

また、本発明は、シミュレータに適用することも可能である。シミュレータにおいて、実際には現物がない状況での触覚情報の再現を行える。例えば、自動車運転訓練、医療（手術など）訓練、航空機、船舶の運転訓練等、各種訓練シミュレータに利用できる。

また、本発明による臨場感のある振動の再現は、営業用のサンプルとして活用することができる。例えば、実物を触らなくても振動により商品の触り心地（洋服や布、素材、陶器等の触り心地）を再現して疑似体験を提供したり、通販と連携して商品の触り心地を振動により再現したり、店舗の販促として振動により疑似体験（例えばビールを注ぐ感覚を演出）を提供したりすることができる。

また、本発明は、一定の力で握っていることを知覚させる際に利用されてもよい。例えば一定の力で操作し続けると感覚が麻痺するが、一定周期の振動を与えることで現在の力が適切か否かをフィードバックしてもよい。例えば操作機械や、リハビリで用いられる。リハビリでの利用としては、例えば神経麻痺した患者に対して、物を触る感覚を想起させる振動（実物を触っているかのような、よりリアルな振動）を与えることが想定される。

また、視覚や聴覚での情報取得が困難なシーンで、代替の知覚として振動により情報を呈示してもよい。例えば、視覚や聴覚での情報取得な困難な人が利用する補助器具に適用し得る。例えば、耳に取り付ける補聴器や、テレビ電話で利用する端末、骨伝導装置等を用いて、相手が話した内容を振動で伝えることが挙げられる。また、スピーカからの音声出力がうるさい場合に、振動を用いることで、可聴域じゃない領域での情報伝達が可能となる。

また、手や足などに装着し、触覚感覚の衰えを補助する振動呈示装置も提供され得る。これにより、例えば老人の衰えた皮膚感覚を補助することができる。また、振動により噛む感覚を再現する入れ歯も提供され得る。

また、振動と音声の両方を呈示するスピーカを用いて、音声再生時の臨場感や没入感を向上させることも可能である。例えばスマートフォンで動画や音楽を再生する際に、対応する振動も出力する。振動は、スマートフォン自体であってもよいし、頭部に装着しているヘッドホン、ネックレスなどのウェアラブルデバイス、壁、床、家具や家電等により呈示してもよい。また、テレビの音源を振動としても出力する制御を行ってもよい。この場合の振動は、例えば、テレビのリモコン、ソファー等の家具、周囲の家電、壁、床等により行ってもよい。

また、飛行機等の共有空間において、音に代わる演出として振動を用いて、臨場感や没入感を向上させることも可能である。

また、本発明は、子ども用おもちゃに適用して臨場感や没入感を向上させることも可能である。例えば、アニメのグッズ（光る剣、魔法の杖など）、ぬいぐるみ、絵本、銃、乗り物の玩具、ミニカー、積み木、ままごとセット、人形、ブロック、ボール、ラケット、ヨーヨー、けん玉、縄跳び、ローラースケート、靴等において、所定の現象を再現するための振動を呈示して、臨場感を与えることができる。

また、紙に書いているような書き心地を呈示する振動をスタイラスペンにおいて行ってもよい。

また、木や竹など、自然物を振動させることも可能である。

また、電子楽器において、振動により所定の触覚をリアルに再現することも可能である。例えば、電子ピアノにおいて振動により鍵盤の押し心地や触り心地を変化させ得る（アコースティックピアノの再現などができる）。また、電子ドラムのスティックを振動させて、操作感を向上させたり、操作感をプレーヤーの好みに合わせて変えたりすることもできる。

また、スポーツ用具において、振動により心地よい打感を与えることも可能である。また、シミュレーションゲームに用いるスポーツ用具において、振動によりリアルな打感を与えることも可能である。具体的には、例えば、野球のグローブやバットを振動させて、気持ちいい捕球感や打感を与えたり、ゴルフ（シミュレーションゴルフ）でゴルフバットを振動させて気持ちいい打感を与えたりすることができる。これにより、子供やお年寄りも楽しむことができる。

また、ゲームセンターの各種ゲーム機（クレームゲーム、ボードゲーム、アーケードゲーム、レーシングゲーム等）、遊園地やテーマパーク等のゲーム機やアトラクション等においても、臨場感や没入感を向上させるための振動の呈示が行われ得る。また、家庭用のボードゲームの駒を振動させて、操作感を向上させることも可能である。振動による操作感は、適宜好みに合わせて可変である。

＜＜７．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、生成装置１０が、ネットワーク上のサーバであり、出力装置２０からの要求に応じて、指定された音声信号に対応する振動制御信号を生成し、出力装置２０に返送するようにしてもよい。また、生成装置１０が、予め音声信号を格納し、出力装置２０からの要求に応じて、所定の音声信号に対応する振動制御信号を生成し、音声信号および生成した信号制御信号を生成装置１０に送信するようにしてもよい。

また、上述した実施形態や適用例、補足で説明した内容を、各々組み合わせてもよい。また、生成装置１０の少なくとも一部が別の装置（例えばサーバや、出力装置２０）に設けられていてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、生成装置１０または出力装置２０が有する構成と同等の機能を発揮させるための１以上のプログラムも作成可能であり、当該１以上のプログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

１０：生成装置、１１０：通信部、１２０：制御部、１２１：音声信号解析部、１２２：振動波形生成部、１２３：合成部、１３０：記憶部、２０：出力装置、２１０：通信部、２２０：制御部、２２１：出力制御部、２３０：操作入力部、２４０：表示部、２５０：音声出力部、２６０：振動発生部、２７０：記憶部、２０ａ：制御装置、２２４：音声信号解析部、２２５：振動波形生成部、２２６：合成部、２２７：出力制御部

Claims (11)

1. 音声信号による振動を補填するための振動波形を、当該音声信号に合成することで、振動の発生を制御するための振動制御信号を生成する処理を行う制御部を備える、制御装置。
2. 音声信号による振動を補填するための振動波形を、当該音声信号と合成することで、振動の発生を制御するための振動制御信号を生成する処理と、
   前記生成した振動制御信号を、振動発生部に出力する処理と、
   を行う制御部を備える、制御装置。
3. 前記制御部は、前記音声信号を解析した結果に基づいて、前記音声信号に対して特定の周波数成分を補填する振動波形を用いる、請求項１または２に記載の制御装置。
4. 前記制御部は、前記音声信号の低周波成分を増幅して前記振動波形を生成する、請求項３に記載の制御装置。
5. 前記制御部は、前記低周波成分の特徴を反映させた増幅を行って前記振動波形を生成する、請求項４に記載の制御装置。
6. 前記制御部は、前記音声信号の振幅に合わせる増幅を行って前記振動波形を生成する、請求項４または５に記載の制御装置。
7. 前記制御部は、前記音声信号における規定値以上の音圧に対して正弦波を追加する前記振動波形を生成する、請求項３に記載の制御装置。
8. 前記制御部は、前記音声信号を音声出力部から出力すると共に、前記音声信号に基づいて生成された前記振動制御信号を前記振動発生部に出力する制御を行う、請求項２に記載の制御装置。
9. 音声信号による振動を補填するための振動波形を当該音声信号に合成することで生成された、振動の発生を制御するための振動制御信号を、振動発生部に出力する処理を行う制御部を備える、制御装置。
10. コンピュータを、
    音声信号による振動を補填するための振動波形を、当該音声信号に合成することで、振動の発生を制御するための振動制御信号を生成する処理を行う制御部として機能させるための、プログラム。
11. コンピュータを、
    音声信号による振動を補填するための振動波形を当該音声信号に合成することで生成された、振動の発生を制御するための振動制御信号を、振動発生部に出力する処理を行う制御部として機能させるための、プログラム。
    

Images