JP2005165194A - 音楽データ変換装置及び音楽データ変換プログラム - Google Patents

Abstract

【課題】 聴覚障害者が、触覚や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる音楽提供装置及び音楽提供プログラムを提供する。
【解決手段】 音色、音程、音量のうち少なくとも１つと、触感、温度、色のうち少なくとも１つとを対応付けている対応データを記憶する対応データ記憶手段１２、１６と、音色データ、音程データ、音量データのうち少なくとも１つと、対応データとに基づいて、触感・温度提供手段４０によって提供される触感、温度、色提供手段６０で提供される色のうち少なくとも１つを決定する触感・温度・色決定手段１３、１７とを備える。
【選択図】 図１

Description

本発明は、音楽を聴覚により楽しむことに代えて、触覚及び視覚により楽しむための技術に関する。

一般に、聴覚障害者が、音楽を楽しめるように様々な技術が提案されている。一例としては、演奏される楽曲について、電気変換された信号波形に含まれる信号周波数と信号振幅を、触感で認識できる振動刺激の振動周波数と振動振幅に変換して、聴覚障害者に伝達する技術が開発されている（例えば、特許文献１参照）。
特開２００３−７００８４号公報（段落０００４〜０００６）

しかし、特許文献１に記載の技術は、楽曲のリズムを振動に変換して聴覚障害者に伝えるだけであって、楽曲の音色、音程、音量などを伝えるものではない。
ロックなどのようにリズムの激しい音楽では、ある程度特許文献１に記載の技術によっても、聴覚障害者が楽曲を楽しむことが可能であるが、クラシックの静かな曲目などのようにリズムがあまり激しくない楽曲では、特許文献１に記載の技術によっては、楽曲を楽しむことができない。

そこで本発明は、聴覚障害者が、触覚や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができるための音楽データ変換装置、音楽データ変換方法及び音楽データ変換プログラムを提供することを目的とする。

請求項１に係る発明は、音楽に関する音楽データ記憶手段に記憶されている音色を示す音色データと、音程を示す音程データと、音量を示す音量データとを用い、触感・温度提供手段によって提供される触感、温度を決定するとともに、色提供手段によって提供される色を決定する音楽データ変換装置であって、対応データ記憶手段と、触感・温度・色決定手段とを備える。

請求項１に係る発明によれば、対応データ記憶手段が、音色、音程、音量のうち少なくとも１つと、触感、温度、色のうち少なくとも１つとを対応付けている対応データを記憶している。

触感・温度・色決定手段により、音色データ、音程データ、音量データのうち少なくとも１つと、対応データとに基づいて、触感・温度提供手段によって提供される触感、温度、色提供手段で提供される色のうち少なくとも１つを決定する。

請求項２に係る発明は、音楽に関する音楽データ記憶手段に記憶されている、音源が発する音の音色を示す音色データと、音源の種類を示す音源データと、音源が発する音の音程を示す音程データと、音源が発する音の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、映像データ記憶手段に記憶されている映像に重畳する色の色相または輝度を決定し、映像に決定した色相と輝度に基づいて色を重畳して、映像提供手段で提供される重畳映像とする音楽データ変換装置であって、第１対応データ記憶手段と、触感・温度決定手段と、第２対応データ記憶手段と、提供位置決定手段と、第３対応データ記憶手段と、第４対応データ記憶手段と、色相決定手段と、輝度決定手段と、重畳位置決定手段と、映像重畳手段とを備える。

ここで音源とは、楽器、歌い手、虫、鳥などが該当する。

請求項２に係る発明によれば、第１対応データ記憶手段が、音色と、触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データを記憶している。また、触感・温度決定手段により、音色データと、音色・触感または温度対応データとに基づいて、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する。また、第２対応データ記憶手段が、音源の種類と、触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データを記憶している。

また、提供位置決定手段により、音源データと、音源・提供位置対応データとに基づいて、触感・温度提供手段で提供される触感または温度の提供位置を決定する。また、第３対応データ記憶手段が、音程と色相とを対応付けている音程・色相対応データを記憶している。

また、第４対応データ記憶手段が、音量と輝度とを対応付けている音量・輝度対応データを記憶している。また、色相決定手段により、音程データと、音程・色相対応データとに基づいて映像に重畳する色の色相を決定する。また、輝度決定手段により、音量データと音量・輝度対応データとに基づいて映像に重畳する色の輝度を決定する。

また、重畳位置決定手段により、音源データと、映像データ記憶手段に記憶されている音源の位置を示す位置データとに基づいて、映像に色を重畳する位置を決定する。また、映像重畳手段により、色相決定手段で決定された色相と、輝度決定手段で決定された輝度と、重畳位置決定手段で決定された位置とに基づいて、色を映像に重畳して重畳映像とする。

ここで、映像に色を重畳する位置とは、映像中の音源の位置だけではなく、映像中の音源の周囲も含まれる。例えば、演奏者の足元が挙げられる。

請求項３に係る発明は、音楽に関する音楽データ記憶手段に記憶されている、音源の発する音の音色を示す音色データと、音源の種類を示す音源データと、音源の発する音の音程を示す音程データと、音源の発する音の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、色表示手段で提供される色の色相または輝度を決定する音楽データ変換装置であって、触感・温度決定手段と、第２対応データ記憶手段と、提供位置決定手段と、第３対応データ記憶手段と、第４対応データ記憶手段と、色相決定手段と、輝度決定手段と、表示位置決定手段とを備える。

請求項３に係る発明によれば、第１対応データ記憶手段が、音源の音色と、触感・温度提供手段で提供される触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データを記憶している。また、触感・温度決定手段により、音色データと、音色・触感または温度対応データとに基づいて、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する。

また、第２対応データ記憶手段が、音源の種類と、触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データを記憶している。また、提供位置決定手段により、音源の種類を示す音源データと、音源・提供位置対応データとに基づいて、触感・温度提供手段で提供される触感または温度の提供位置を決定する。

また、第３対応データ記憶手段が、音程と色相とを対応付けている音程・色相対応データを記憶している。また、第４対応データ記憶手段が、音量と輝度とを対応付けている音量・輝度対応データを記憶している。また、色相決定手段により、音程データと音程・色相対応データとに基づいて色表示手段で表示する色の色相を決定する。

また、輝度決定手段により、音量データと音量・輝度対応データとに基づいて色表示手段で表示する色の輝度を決定する。また、表示位置決定手段により、音源データと、音源位置記憶手段に記憶されている音源の位置を示す位置データとに基づいて、色表示手段における色の表示位置を決定する。

ここで、色表示手段における色の表示位置とは、映像中の音源自体の位置だけではなく、映像中の音源の周囲も含まれる。例えば、演奏者の足元が挙げられる。また、映像中の音源だけではなく、生で音を出している音源自体の位置、音源の周囲も含まれる。

請求項４に係る発明は、音楽に関する音楽データ記憶手段に記憶されている、音源の音色を示す音色データと、音源の種類を示す音源データと、音源の音程を示す音程データと、音源の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、映像データ記憶手段に記憶されている映像に、重畳する色の色相または輝度を決定し、映像に決定した色相と輝度に基づいて色を重畳して、映像提供手段で提供される重畳映像とするためにコンピュータを、触感・温度決定手段、提供位置決定手段、色相決定手段、輝度決定手段、重畳位置決定手段、映像重畳手段としてとして機能させる構成とした。

かかる構成によれば、触感・温度決定手段により、音色データと、第１対応データ記憶手段に記憶されている、音源の音色と、触感・温度提供手段で提供される触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データとに基づいて、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する。

また、提供位置決定手段により、音源データと、第２対応データ記憶手段に記憶されている、音源の種類と、触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データとに基づいて、触感・温度提供手段で提供される触感または温度の提供位置を決定する。

また、色相決定手段により、音程データと、第３対応データ記憶手段に記憶されている、音程と色相を対応付けている音程・色相対応データとに基づいて映像に重畳する色の色相を決定する。

また、輝度決定手段により、音量データと、第４対応データ記憶手段に記憶されている、音量と輝度を対応付けている音量・輝度対応データとに基づいて映像に重畳する色の輝度を決定する。

また、重畳位置決定手段により、音源データと、映像データ記憶手段に記憶されている音源の位置を示す位置データとに基づいて、映像に色を重畳する位置を決定する。また、映像重畳手段により、色相決定手段により決定された色相と、輝度決定手段により決定された輝度と、重畳位置決定手段により決定された色を重畳する位置とに基づいて、色を、映像に重畳して重畳映像とする。

請求項１に係る発明によれば、触感・温度提供手段で提供される触感、触感・温度提供手段で提供される温度、色提供手段で表示される色のうち少なくとも１つが決定される。従って、音源毎の音色、音程または音量のうち少なくとも１つが、触感、温度、色のうち少なくとも１つとして示されるので、聴覚障害者が、触覚や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる。

請求項２または請求項４に係る発明によれば、触感・温度提供手段で提供される触感または温度が音源毎に決定されて、触感・温度提供手段において、音源毎の音色が、音源毎の位置に触感または温度として提供されるとともに、映像提供手段で表示される色が、音源毎に決定されて、映像提供手段に音源毎の音程と音量が、音源の位置に色として示されるので、聴覚障害者が、触覚や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる。

請求項３に係る発明によれば、触感・温度提供手段で提供される触感または温度が音源毎に決定されて、触感・温度提供手段において、音源毎の音色が、音源毎の位置に触感または温度として提供されるとともに、色表示手段で表示される色が、音源毎に決定されて、色表示手段に音源毎の音程と音量が、音源の位置に色として示されるので、聴覚障害者が、触覚や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる。

［第１の実施形態］
第１の実施形態について、図面を参照して説明する。参照する図１は、第１の実施形態係る音楽データ変換装置を示すブロック図である。図１に示すように、音楽データ変換装置１０は、ＭＩＤＩ入力手段１１、音色・触感及び温度対応データ記憶手段（対応データ記憶手段、第１対応データ記憶手段）１２、触感及び温度決定手段１３、楽器・提供位置対応データ記憶手段（第２対応データ記憶手段）１４、提供位置決定手段１５、音程・色相対応データ及び音量・輝度対応データ記憶手段（対応データ記憶手段、第３対応データ記憶手段、第４対応データ記憶手段）１６、色相及び輝度決定手段（色相決定手段、輝度決定手段）１７、重畳位置決定手段１８、映像重畳手段１９及び映像データ入力手段２０を備えている。

ＭＩＤＩ入力手段１１は、ＭＩＤＩ記憶手段（音楽データ記憶手段）３０に記憶されているＭＩＤＩ(Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ)データを読み出すものである。ここで、ＭＩＤＩデータには、楽器（音源）の種類を示す楽器データ、楽器が演奏しているかどうかを示すノートＯＮ・ＯＦＦデータ、楽器の音色を示す音色データ、楽器の音程を示す音程データ（ノートＮｏ）、楽器の音量を示す音量データ（ベロシティ）などが含まれる。また、ＭＩＤＩ入力手段１１は、触感及び温度決定手段１３に、ノートＯＮ・ＯＦＦデータと音色データを送信するものであり、提供位置決定手段１５と重畳位置決定手段１８に楽器データを送信するものであり、さらに、色相及び輝度決定手段１７にノートＯＮ・ＯＦＦデータ、音程データ及び音量データを送信するものである。

音色・触感及び温度対応データ記憶手段１２は、音色と触感及び温度とを対応付けている音色・触感及び温度対応データ（対応データ）を記憶しているものである。触感及び温度決定手段１３は、ＭＩＤＩ入力手段１１から送信されるノートＯＮ・ＯＦＦデータ及び音色データを受信するものであり、音色・触感及び温度対応データ記憶手段１２に記憶されている音色・触感及び温度対応データを読み出すものである。また、触感及び温度決定手段１３は、受信したノートＯＮ・ＯＦＦデータに基づいて楽器が演奏されているかどうか判断し、楽器が演奏されていると判断した場合には、受信した音色データと読み出した音色・触感及び温度対応データに基づいて、触感及び温度提供手段（触感・温度提供手段）４０で提供する触感と温度を決定するものであり、触感を決定する触感決定手段１３ａと温度を決定する温度決定手段１３ｂからなる。また、触感及び温度決定手段１３は、決定した触感を示す触感データと温度を示す温度データを触感及び温度提供手段４０に送信するものである。

ここで、音色と触感及び温度との対応付けは、例えば、金管楽器の音色は、「つるつる感の触感」と「３０度程度の温度」として対応付けることができる。また、弦楽器の音色は、「ゴムのような摩擦の大きい触感」と「４０度程度の温度」として対応付けることができる。また、提供する温度は、例えば、３２度から４２度の間とすることができる。

楽器・提供位置対応データ記憶手段１４は、楽器と、触感及び温度提供手段４０で提供する触感と温度の提供位置とを対応付けている楽器・提供位置対応データを記憶しているものである。提供位置決定手段１５は、ＭＩＤＩ入力手段１１から送信される楽器データを受信するものであり、楽器・提供位置対応データ記憶手段１４に記憶されている楽器・提供位置対応データを読み出すものである。

また、提供位置決定手段１５は、受信した楽器データと読み出した楽器・提供位置対応データに基づいて、触感及び温度提供手段４０で提供する触感と温度の提供位置を決定するものである。また、提供位置決定手段１５は、決定した触感及び温度提供手段４０で提供する触感と温度の提供位置を示す提供位置データを触感及び温度提供手段４０に送信するものである。

音程・色相対応データ及び音量・輝度対応データ記憶手段１６は、音程と色相を対応付けている音程・色相対応データ（対応データ）と、音量と輝度を対応付けている音量・輝度対応データ（対応データ）を記憶しているものである。また、色相及び輝度決定手段１７は、ＭＩＤＩ入力手段１１から送信されるノートＯＮ・ＯＦＦデータ、音程データ及び音量データを受信し、また、音程・色相及び音量・輝度対応データ記憶手段１６に記憶されている音程・色相対応データと音量・輝度対応データを読み出して、受信したノートＯＮ・ＯＦＦデータに基づいて楽器が演奏されているかどうか判断して、楽器が演奏されていると判断した場合には、受信した音程データ及び音量データ、読み出した音程・色相対応データ及び音量・輝度対応データに基づいて、映像重畳手段１９で重畳する色の色相と輝度を決定するものであり、色相を決定する色相決定手段１７ａと輝度を決定する輝度決定手段１７ｂからなる。また、色相及び輝度決定手段１７は、決定した色相を示す色相データと輝度を示す輝度データを映像重畳手段１９に送信するものである。

音程と色相の対応付けは、例えば、１番高い音程をマンセル表色系の５Ｒとし、１番低い音程をマンセル表色系の５Ｙとし、真ん中の音程をマンセル表色系の５ＹＲとし、１番高い音程から１番低い音程までの音程の数と同じ数に、マンセル表色系の５Ｒと５ＹＲと５Ｙの間を等分に分割する。具体的には、２番目に高い音程は、５Ｒの隣の色が対応し、３番目に高い音程は、５Ｒの１つ隔てた隣の色が対応し、Ｎ番目に高い音程は、５Ｒの「Ｎ−１」つ隔てた隣の色が対応する。つまり、音程が低いものほど黄色に、音程が高いものほど赤として対応付けることができる。
また、音量と輝度の対応付けは、例えば、音量が小さいものほど輝度を小さくし、音量の大きいものほど輝度を大きくする。

また、重畳位置決定手段１８は、ＭＩＤＩ入力手段１１から送信される楽器データを受信して、映像データ入力手段２０から送信される演奏者・楽器位置データ（位置データ）を受信して、受信した楽器データと演奏者・楽器位置データに基づいて、色を重畳する映像の位置を決定するものである。また、重畳位置決定手段１８は、決定した色を重畳する映像の位置を示す重畳位置データを映像重畳手段１９に送信するものである。

映像重畳手段１９は、色相及び輝度決定手段１７から送信される色相データと輝度データを受信し、重畳位置決定手段１８から送信される重畳位置データを受信し、映像データ入力手段２０から送信される映像データを受信して、受信した色相データ、輝度データ、映像データ及び重畳位置データに基づいて映像に色を重畳するものである。また、映像重畳手段１９は、重畳した映像（重畳映像）を示す重畳映像データを映像提供手段（映像提供手段）６０に送信するものである。

次に、映像に色を重畳する方法について説明する。ここで図２は、色を重畳した映像を示す説明図である。演奏者Ａはバイオリンを演奏しているので、演奏者Ａの足元ａに色が重畳されている。また、バイオリンの音程が高いため、重畳される色は５Ｒに近い色である。演奏者Ｂはバイオリンを演奏していないため、演奏者Ｂの足元には色は重畳されない。演奏者Ｃはコントラバスを演奏しているので、演奏者Ｃの足元ｃには色が重畳される。同様に、演奏者Ｄはコントラバスを演奏しているので、演奏者Ｄの足元ｄには色が重畳される。また、演奏者Ｃが演奏しているコントラバスの音程が1番低く、演奏者Ｄが演奏しているコントラバスの音程が２番目に低く、演奏者Ａが演奏しているバイオリンの音量が１番高いので、演奏者Ｃの足元ｃに表示される色の色相は５Ｙに１番近く、演奏者Ｄの足元ｄに表示される色の色相が５Ｙに２番目に近く、演奏者Ａの足元ａに表示される色の色相が５Ｙに１番遠くなる。

また、演奏者Ｃが演奏しているコントラバスの音量が1番大きく、演奏者Ｄが演奏しているコントラバスの音量が２番目に大きく、演奏者Ａが演奏しているバイオリンの音量が１番小さいので、演奏者Ｃの足元ｃに表示される色の輝度が１番大きく、演奏者Ｄの足元ｄに表示される色の輝度が２番目に大きく、演奏者Ａの足元ａに表示される色の輝度が１番小さくなる。

図１に示すように、映像データ入力手段２０は、映像データ記録手段５０に記憶されている映像データを読み出して、読み出した映像データに含まれる演奏者・楽器データを重畳位置決定手段１８に送信するものであり、読み出した映像データを映像重畳手段１９に送信するものである。

また、触感及び温度提供手段４０は、触感及び温度決定手段１３から送信される触感を示す触感データと温度を示す温度データと、提供位置決定手段１５から送信される触感と温度の提供位置を示す提供位置データを受信して、受信した触感データ、温度データ及び提供位置データに基づいて、提供位置決定手段１５で決定された位置に、触感及び温度決定手段１３で決定された触感と温度を提供するものである。

触感及び温度提供手段４０は、例えば、図３に示すように、変調用低周波発振器３１、キャリア信号発振器３２、温度制御部３３、振動吸収性ゴム３４、ペルチェ素子３５、熱伝導性シリコングリス３６、表面弾性波素子３７及び低周波・キャリア信号合成部３８からなる。ここで、図３は、触感及び温度提供手段を示す概略図である。

変調用低周波発振器３１は、触感及び温度決定手段１３から送信される触感データに基づいて、表面弾性波素子３７で提供する触感を生成するための低周波を生成するものである。
キャリア信号発振器３２とは、変調用低周波発振器３１で生成された低周波を搬送するためのキャリア信号を生成するものである。また、低周波・キャリア信号合成部３８は、変調用低周波発振器３１で生成した低周波とキャリア信号発振器３２で生成したキャリア信号を合成するものである。また、温度制御部３３は、触感及び温度決定手段１３から送信される温度データに基づいて、ペルチェ素子３５で提供される温度を電気信号で制御するものである。

振動吸収性ゴム３４は、ペルチェ素子３５と表面弾性波素子３７を接続するものであって、表面弾性波素子３７の振動をペルチェ素子３５に伝えないようにしているものである。また、ペルチェ素子３５は、温度制御部３３で発生される電気信号を熱に変換するものである。

熱伝導性シリコングリス３６は、ペルチェ素子３５で発生した熱を表面弾性波素子３７に伝達するものである。また、表面弾性波素子３７は、低周波・キャリア信号合成部３８で合成された低周波信号に基づいて、触感を人間の掌に与えるとともに、熱伝導性シリコングリス３６により伝達された熱を人間の掌に与えるものである。

表面弾性波素子３７は、例えば、図４に示すように、縦５つ、横５つに分割され、各分割された部位が各楽器の音色を示す触感と温度を提供するものである。従って、表面弾性波素子３７を、縦５つ、横５つに分割した場合には、最大２５個の楽器まで音色を示す触感と音色を提供することができる。なお、２６個以上の楽器の音色を示す場合には、同じ種類の楽器の音色を１つの部位に提供することとなる。ここで、図４は、表面弾性波素子の概略図である。なお、表面弾性波素子３７の分割の仕方はこれに限らず、例えば、縦４つ、横５つ、縦６つ、横４つなどどのようなものであってもよい。
また、図１に示すように、映像データ記録手段５０は、演奏者・楽器の位置データを含む映像データを記憶しているものである。

映像提供手段６０は、映像重畳手段１９から送信される色を重畳した映像を示す重畳映像データを受信して、重畳映像データに基づいて、色を重畳した映像を表示するものである。例えば、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などが該当する。

次に、音楽提供手段１０の動作について、図５及び図６を参照して説明する。参照する図５は、音楽提供手段における触感と温度を決定する動作と、触感及び温度提供手段における触感と温度を提供する動作を示すフローチャートである。また、図６は、音楽提供手段における映像に重畳する色を決定して、映像に色を重畳する動作を示すフローチャートである。

図５に示すように、触感及び温度決定手段１３が、ＭＩＤＩ入力手段１１から送信されるノートＯＮ・ＯＦＦデータに基づいて、楽器が演奏されているか（楽器が音を出しているか、つまり、ノートＯＮか）判断する（ステップＳ１１）。楽器が演奏されていると判断した場合には（ステップＳ１１で、Ｙｅｓ）、触感及び温度決定手段１３の触感決定手段１３ａが、音色・触感及び温度対応データ記憶手段１２から読み出した音色・触感及び温度対応データと、ＭＩＤＩ入力手段１１から送信される音色データに基づいて、触感及び温度提供手段４０で提供される触感を決定する（ステップＳ１２）。

楽器が演奏されていないと判断した場合には（ステップＳ１１で、Ｎｏ）、ステップＳ１５に進む。また、触感及び温度決定手段１３の温度決定手段１３ｂが、読み出した音色・触感及び温度対応データと、ＭＩＤＩ入力手段１１から送信される音色データに基づいて、触感及び温度提供手段４０で提供される温度を決定する（ステップＳ１３）。

次に、提供位置決定手段１５が、ＭＩＤＩ入力手段１１から送信される楽器データと、楽器・提供位置対応データ記憶手段１４から読み出した楽器・提供位置対応データに基づいて、触感及び温度提供手段４０で提供する触感と温度の提供位置を決定する（ステップＳ１４）。また、すべての楽器について、調べたかどうか確認する（ステップＳ１５）。すべての楽器について、調べていない場合には、ステップＳ１１に戻って処理を進める。

そして、すべての楽器について、調べた場合には、触感及び温度提供手段４０が、触感及び温度決定手段１３から送信される触感データと温度データ、提供位置決定手段１５から送信される提供位置データに基づいて、提供位置決定手段１５で決定された位置に、触感及び温度決定手段１３で決定された触感と温度を提供する（ステップＳ１６）。

次に、音楽提供手段１０における映像に色を重畳する動作を説明する。図６に示すように、色相及び輝度決定手段１７が、ＭＩＤＩ入力手段１１から送信されるノートＯＮ・ＯＦＦデータに基づいて、楽器が演奏されているか（楽器が音を出しているか、つまりノートＯＮか）判断する（ステップＳ２１）。楽器が演奏されていると判断した場合には（ステップＳ２１で、Ｙｅｓ）、色相及び輝度決定手段１７の色相決定手段１７ａが、ＭＩＤＩ入力手段１１から送信される音程データと、音程・色相対応データ及び音量・輝度対応データ記憶手段１６から読み出した音程・色相対応データに基づいて、映像重畳手段１９で重畳する色の色相を決定する（ステップＳ２２）。

楽器が演奏されていないと判断した場合には（ステップＳ２１で、Ｎｏ）、ステップＳ２５に進む。また、色相及び輝度決定手段１７の輝度決定手段１７ｂが、ＭＩＤＩ入力手段１１から送信される音量データと、音程・色相対応データ及び音量・輝度対応データ記憶手段１６から読み出した音量・輝度対応データに基づいて、映像重畳手段１９で重畳する色の輝度を決定する（ステップＳ２３）。

重畳位置決定手段１８は、ＭＩＤＩ入力手段１１から送信される楽器データと映像データ入力手段２０から送信される演奏者・楽器位置データに基づいて、色を重畳する映像の位置を決定する（ステップＳ２４）。すべての楽器について、調べたかどうか確認する（ステップＳ２５）。すべての楽器について、調べていない場合には、ステップＳ２１に戻って処理を進める。

そして、すべての楽器について、調べた場合には、映像重畳手段１９が、色相及び輝度決定手段１７から送信される色相データと輝度データと、映像データ入力手段２０から送信される映像データと、重畳位置決定手段１８から送信される重畳位置データに基づいて映像に色を重畳する（ステップＳ２６）。

また、音楽データ変換装置１０内の各構成部の機能は、図示しない記憶手段に格納されたプログラム（音楽提供プログラム）に基づいて、図示しないＣＰＵが演算処理を行うことで実現される。

従って、本実施形態に係る音楽データ変換装置１０によれば、触感及び温度提供手段４０に楽器毎の音色が、楽器毎の位置に触感及び温度として提供されるとともに、映像提供手段５０に楽器毎の音程と音量が、演奏者の足元に色として表示されるので、聴覚障害者が、触感や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる。

なお、本実施の形態においては、演奏者が楽器を演奏している場合について説明したが、歌い手が歌っている場合についても応用可能である。また、本実施の形態においては、音色を触感と温度として提供して、音程と音量を色として表示したが、これに限らず、例えば、音色を色相として映像に重畳し、触感及び温度提供手段４０の温度を一定とし、音程を変調用低周波発振器３１の振動周波数として表し、音量を変調用低周波発振器３１の振幅として表してもよい。また、音色を色相、音量を輝度として映像に重畳し、触感及び温度提供手段４０の温度を一定とし、音程を変調用低周波発振器３１の振動周波数として表してもよい。
また、音色・触感及び温度対応データ記憶手段１２、楽器・提供位置対応データ記憶手段１４及び音程・色相対応データ及び音量・輝度対応データ記憶手段１６は、別々の記憶手段としたが、１つの記憶手段としてもよい。

［第２の実施形態］
第２の実施形態について、図面を参照して説明する。参照する図７は、第２の実施形態係る音楽データ変換装置を示すブロック図である。なお、第１の実施形態と同一の構成については同一の符号を付してその説明は省略する。

図７に示すように、音楽データ変換装置１０Ｂは、ＭＩＤＩ入力手段１１、音色・触感及び温度対応データ記憶手段（対応データ記憶手段、第１対応データ記憶手段）１２、触感及び温度決定手段（触感・温度決定手段）１３、楽器・提供位置対応データ記憶手段（第２対応データ記憶手段）１４、提供位置決定手段１５、音程・色相対応データ及び音量・輝度対応データ記憶手段（対応データ記憶手段、第３対応データ記憶手段、第４対応データ記憶手段）１６、色相及び輝度決定手段（色相決定手段、輝度決定手段）１７、表示位置決定手段１８Ｂ、映像データ入力手段２０を備えている。

表示位置決定手段１８Ｂは、ＭＩＤＩ入力手段１１から送信される楽器データと、映像データ入力手段２０が映像データ記憶手段５０（音源位置記憶手段）に記憶されている演奏者・楽器位置データ（位置データ）を読み出して送信する演奏者・楽器位置データを受信するものであり、受信した楽器データと演奏者・楽器位置データに基づいて、色表示手段７０で色を表示する位置を決定するものである。また、表示位置決定手段１８Ｂは、決定した色を表示する位置を示す表示位置データを色表示手段７０に送信するものである。

映像提供手段６０Ｂは、映像データ入力手段２０から送信される映像データを受信して、受信した映像データに基づいて、映像を提供するものである。例えば、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などである。

色表示手段７０は、表示位置決定手段１８Ｂから送信される表示位置データと、色相及び輝度決定手段１７から送信される色相データと輝度データを受信して、受信した表示データ、色相データ及び輝度データに基づいて、色を表示するものである。つまり、鑑賞者が、色表示手段７０を介して、映像提供手段６０Ｂを見た場合に、映像提供手段６０Ｂに表示されている演奏者の足元に色が表示されるように、色表示手段７０は色を表示する。

例えば、図８に示すように、色表示手段７０として、シースルー・ヘッドマウンテッド・ディスプレイが挙げられる。図８（ａ）は、鑑賞者がシースルー・ヘッドマウンテッド・ディスプレイを頭に装着した状態を説明するための説明図であり、図８（ｂ）は、映像提供手段で表示される映像を説明するための説明図である。また、図８（ｃ）は、鑑賞者が映像提供手段で表示される映像を、色表示手段７０を介して見た状態を説明するための説明図である。ここで、ヘッドマウンテッド・ディスプレイは、頭に装着する形のディスプレイであって、首を動かし頭の向きを変えると、その変化した速さや角度を検出してコンピュータに入力でき、それに連動して出力画像を変化させることができるものである。シースルー・ヘッドマウンテッド・ディスプレイとは、ヘッドマウンテッド・ディスプレイの１種であって、ディスプレイを介してシースルー・ヘッドマウンテッド・ディスプレイの外部を見ることができるものである。従って、シースルー・ヘッドマウンテッド・ディスプレイを装着した鑑賞者は、シースルー・ヘッドマウンテッド・ディスプレイのディスプレイに表示された映像をシースルー・ヘッドマウンテッド・ディスプレイの外部のディスプレイに表示された映像に重ねた映像を見ることができる。

具体的には、図８（ａ）に示すように，鑑賞者が、シースルー・ヘッドマウンテッド・ディスプレイを頭に装着し、図８（ｂ）に示すような映像が映し出されたシースルー・ヘッドマウンテッド・ディスプレイの外部のディスプレイを見た場合に、図８（ｃ）に示すようなシースルー・ヘッドマウンテッド・ディスプレイのディスプレイに表示された映像とシースルー・ヘッドマウンテッド・ディスプレイの外部のディスプレイに表示された映像を重ねた映像を鑑賞者は見ることとなる。

次に、図面を参照して、音楽提供手段１０Ｂの動作を説明する。参照する図９は、音楽提供手段における色表示手段で表示する色を決定する動作と、色表示手段における色を表示する動作を示すフローチャートである。なお、ステップＳ２１からＳ２３までは第１の実施の形態の音楽提供手段１０の動作と同様であることから、その説明は省略する。表示位置決定手段１８Ｂが、ＭＩＤＩ入力手段１１から送信される楽器データと、映像データ入力手段２０から送信される演奏者・楽器位置データに基づいて、色表示手段７０で色を表示する位置を決定する（ステップＳ３４）。

すべての楽器について調べたか確認する（ステップＳ３５）。すべての楽器について調べたと判断した場合（ステップＳ３５で、Ｙｅｓ）には、色表示手段７０で色を表示する（ステップＳ３６）。すべての楽器について調べていないと判断した場合（ステップＳ３５で、Ｎｏ）には、ステップＳ２１に戻る。

なお、音楽データ変換装置１０Ｂ内の各構成部の機能は、図示しない記憶手段に格納されたプログラム（音楽提供プログラム）に基づいて、図示しないＣＰＵが演算処理を行うことで実現される。

従って、本実施形態に係る音楽データ変換装置１０によれば、触感及び温度提供手段４０に楽器毎の音色が、楽器毎の位置に触感及び温度として提供されるとともに、色表示手段７０を介して、映像提供手段６０Ｂを見た場合に、映像提供手段６０Ｂに表示されている演奏者の足元に色が表示されるように、色表示手段７０に色が表示されるので、聴覚障害者が、触感や視覚を通じて、楽曲のリズムだけでなく、音色、音程及び音量を感じることにより音楽を楽しむことができる。

なお、本実施の形態のように、映像提供手段で映像を提供する場合だけではなく、コンサート会場などにおける生演奏であっても本発明は応用可能である。かかる場合には、図１０に示すように、演奏者・楽器位置データ記憶手段８０に記憶されている演奏者、楽器の位置を示す演奏者・楽器位置データを表示位置決定手段１８Ｂが読み出して、色表示手段７０で表示する色の表示位置を決定することとなる。また、色表示手段７０を介して生演奏を見ることとなる。ここで図１０は、音楽データ変換装置を示す概略図である。

また、本実施の形態においては、演奏者が楽器を演奏している場合について説明したが、歌い手が歌っている場合についても応用可能である。また、本実施の形態においては、音色を触感と温度として提供して、音程と音量を色として表示したが、これに限らず、例えば、音色を色相として色表示手段７０で表示し、触感及び温度提供手段４０の温度を一定とし、音程を変調用低周波発振器３１の振動周波数として表し、音量を変調用低周波発振器３１の振幅として表してもよい。また、音色を色相、音量を輝度として色表示手段７０で表示し、触感及び温度提供手段４０の温度を一定とし、音程を変調用低周波発振器３１の振動周波数として表してもよい。
また、音色・触感及び温度対応データ記憶手段１２、楽器・提供位置対応データ記憶手段１４及び音程・色相対応データ及び音量・輝度対応データ記憶手段１６は、別々の記憶手段としたが、１つの記憶手段としてもよい。

第１の実施形態に係る音楽データ変換装置を示すブロック図である。 色を重畳した映像を示す説明図である。 触感及び温度提供手段を示す概略図である。 表面弾性波素子の概略図である。 音楽提供手段における触感と温度を決定する動作と、触感及び温度提供手段における触感と温度を提供する動作を示すフローチャートである。 音楽提供手段における映像に重畳する色を決定して、映像に色を重畳する動作を示すフローチャートである。 第２の実施形態係る音楽データ変換装置を示すブロック図である。 （ａ）は、鑑賞者がシースルー・ヘッドマウンテッド・ディスプレイを頭に装着した状態を説明するための説明図であり、（ｂ）は、映像提供手段で表示される映像を説明するための説明図である。（ｃ）は、鑑賞者が映像提供手段で表示される映像を、色表示手段７０を介して見た状態を説明するための説明図である。 音楽提供手段における色表示手段で表示する色を決定する動作と、色表示手段における色を表示する動作を示すフローチャートである。 音楽データ変換装置を示す概略図である。

符号の説明

１０、１０Ｂ 音楽提供手段
１１ ＭＩＤＩ入力手段
１２ 音色・触感及び温度対応データ記憶手段
１３ 触感及び温度決定手段
１４ 楽器・提供位置対応データ記憶手段
１５ 提供位置決定手段
１６ 音程・色相対応データ及び音量・輝度対応データ記憶手段
１７ 色相及び輝度決定手段
１８ 重畳位置決定手段
１８Ｂ 表示位置決定手段
１９ 映像重畳手段

Claims (4)

1. 音楽に関する音楽データ記憶手段に記憶されている音色を示す音色データと、音程を示す音程データと、音量を示す音量データとを用い、触感・温度提供手段によって提供される触感、温度を決定するとともに、色提供手段によって提供される色を決定する音楽データ変換装置であって、
   前記音色、前記音程、前記音量のうち少なくとも１つと、前記触感、前記温度、前記色のうち少なくとも１つとを対応付けている対応データを記憶している対応データ記憶手段と、
   前記音色データ、前記音程データ、前記音量データのうち少なくとも１つと、前記対応データとに基づいて、前記触感・温度提供手段によって提供される触感、温度、前記色提供手段で提供される色のうち少なくとも１つを決定する触感・温度・色決定手段と、
   を備えることを特徴とする音楽データ変換装置。
2. 音楽に関する音楽データ記憶手段に記憶されている、音源が発する音の音色を示す音色データと、前記音源の種類を示す音源データと、前記音源が発する音の音程を示す音程データと、前記音源が発する音の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、映像データ記憶手段に記憶されている映像に重畳する色の色相または輝度を決定し、前記映像に決定した色相と輝度に基づいて、色を重畳して、映像提供手段で提供される重畳映像とする音楽データ変換装置であって、
   前記音色と、前記触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データを記憶している第１対応データ記憶手段と、
   前記音色データと、前記音色・触感または温度対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する触感・温度決定手段と、
   前記音源の種類と、前記触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データを記憶している第２対応データ記憶手段と、
   前記音源データと、前記音源・提供位置対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度の提供位置を決定する提供位置決定手段と、
   前記音程と前記色相とを対応付けている音程・色相対応データを記憶している第３対応データ記憶手段と、
   前記音量と前記輝度とを対応付けている音量・輝度対応データを記憶している第４対応データ記憶手段と、
   前記音程データと、前記音程・色相対応データとに基づいて、前記映像に重畳する色の色相を決定する色相決定手段と、
   前記音量データと前記音量・輝度対応データとに基づいて、前記映像に重畳する色の輝度を決定する輝度決定手段と、
   前記音源データと、前記映像データ記憶手段に記憶されている音源の位置を示す位置データとに基づいて、前記映像に色を重畳する位置を決定する重畳位置決定手段と、
   前記色相決定手段で決定された色相と、前記輝度決定手段で決定された輝度と、前記重畳位置決定手段で決定された位置とに基づいて、色を前記映像に重畳して重畳映像とする映像重畳手段と、
   を備えることを特徴とする音楽データ変換装置。
3. 音楽に関する音楽データ記憶手段に記憶されている、音源の発する音の音色を示す音色データと、前記音源の種類を示す音源データと、前記音源の発する音の音程を示す音程データと、前記音源の発する音の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、色表示手段で提供される色の色相または輝度を決定する音楽データ変換装置であって、
   前記音源の音色と、前記触感・温度提供手段で提供される触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データを記憶している第１対応データ記憶手段と、
   前記音色データと、前記音色・触感または温度対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する触感・温度決定手段と、
   前記音源の種類と、前記触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データを記憶している第２対応データ記憶手段と、
   前記音源の種類を示す音源データと、前記音源・提供位置対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度の提供位置を決定する提供位置決定手段と、
   前記音程と前記色相とを対応付けている音程・色相対応データを記憶している第３対応データ記憶手段と、
   前記音量と前記輝度とを対応付けている音量・輝度対応データを記憶している第４対応データ記憶手段と、
   前記音程データと前記音程・色相対応データとに基づいて、前記色表示手段で表示する色の色相を決定する色相決定手段と、
   前記音量データと前記音量・輝度対応データとに基づいて、前記色表示手段で表示する色の輝度を決定する輝度決定手段と、
   前記音源データと、音源位置記憶手段に記憶されている音源の位置を示す位置データとに基づいて、前記色表示手段における色の表示位置を決定する表示位置決定手段と、
   を備えることを特徴とする音楽データ変換装置。
4. 音楽に関する音楽データ記憶手段に記憶されている、音源の音色を示す音色データと、前記音源の種類を示す音源データと、前記音源の音程を示す音程データと、前記音源の音量を示す音量データとを用い、触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定するとともに、映像データ記憶手段に記憶されている映像に重畳する色の色相または輝度を決定し、前記映像に決定した色相と輝度に基づいて、色を重畳して、映像提供手段で提供される重畳映像とするためにコンピュータを、
   前記音色データと、第１対応データ記憶手段に記憶されている、前記音源の音色と、前記触感・温度提供手段で提供される触感または温度のうち少なくとも１つとを対応付けている音色・触感または温度対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度のうち少なくとも１つを決定する触感・温度決定手段、
   前記音源データと、第２対応データ記憶手段に記憶されている、前記音源の種類と、前記触感・温度提供手段で触感または温度を提供する位置を対応付けている音源・提供位置対応データとに基づいて、前記触感・温度提供手段で提供される触感または温度の提供位置を決定する提供位置決定手段、
   前記音程データと、第３対応データ記憶手段に記憶されている、前記音程と前記色相を対応付けている音程・色相対応データとに基づいて、前記映像に重畳する色の色相を決定する色相決定手段、
   前記音量データと、第４対応データ記憶手段に記憶されている、前記音量と前記輝度を対応付けている音量・輝度対応データとに基づいて、前記映像に重畳する色の輝度を決定する輝度決定手段、
   前記音源データと、前記映像データ記憶手段に記憶されている音源の位置を示す位置データとに基づいて、前記映像に色を重畳する位置を決定する重畳位置決定手段、
   前記色相決定手段により決定された色相と、前記輝度決定手段により決定された輝度と、前記重畳位置決定手段により決定された色を重畳する位置とに基づいて、色を、前記映像に重畳して重畳映像とする映像重畳手段、
   として機能させることを特徴とする音楽データ変換プログラム。

Images