JP2002032076A - 楽器インタフェース - Google Patents
楽器インタフェースInfo
- Publication number
- JP2002032076A JP2002032076A JP2000218417A JP2000218417A JP2002032076A JP 2002032076 A JP2002032076 A JP 2002032076A JP 2000218417 A JP2000218417 A JP 2000218417A JP 2000218417 A JP2000218417 A JP 2000218417A JP 2002032076 A JP2002032076 A JP 2002032076A
- Authority
- JP
- Japan
- Prior art keywords
- musical instrument
- card
- dimensional information
- video
- instrument interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【構成】 オペレータ２６は、カード１８をたとえばテ
ーブル１４上で持ち、そのカードの３次元位置や姿勢を
変化させる。テーブル１４の上方に設けられたカメラ１
２がそのカードを撮影してビデオストリーム信号を出力
する。コンピュータ２８は、ビデオストリーム信号から
カードの３次元情報、たとえばＸ，Ｙ，Ｚ座標，回転お
よびチルト（傾き）を求め、その３次元情報に基づい
て、ＭＩＤＩデータのような制御信号を作成する。たと
えばシンセサイザやサンプラ等の電子楽器３０がＭＩＤ
Ｉデータを受け、そのＭＩＤＩデータに従って音楽表現
要素を変化させる。 【効果】 オペレータはカードを操作するので、その３
次元位置や姿勢に微妙な変化を与え易く、したがって、
音楽表現要素を微妙にかつ正確に制御できる。
ーブル１４上で持ち、そのカードの３次元位置や姿勢を
変化させる。テーブル１４の上方に設けられたカメラ１
２がそのカードを撮影してビデオストリーム信号を出力
する。コンピュータ２８は、ビデオストリーム信号から
カードの３次元情報、たとえばＸ，Ｙ，Ｚ座標，回転お
よびチルト（傾き）を求め、その３次元情報に基づい
て、ＭＩＤＩデータのような制御信号を作成する。たと
えばシンセサイザやサンプラ等の電子楽器３０がＭＩＤ
Ｉデータを受け、そのＭＩＤＩデータに従って音楽表現
要素を変化させる。 【効果】 オペレータはカードを操作するので、その３
次元位置や姿勢に微妙な変化を与え易く、したがって、
音楽表現要素を微妙にかつ正確に制御できる。
Description
【０００１】
【産業上の利用分野】この発明は楽器インタフェースに
関し、特にたとえばカードのような手持ち可能物体の位
置，姿勢，回転等のような３次元情報に従って楽器の音
楽表現要素、たとえばエフェクト，フィルタ，ピッチ等
を制御する、楽器インタフェースに関する。
関し、特にたとえばカードのような手持ち可能物体の位
置，姿勢，回転等のような３次元情報に従って楽器の音
楽表現要素、たとえばエフェクト，フィルタ，ピッチ等
を制御する、楽器インタフェースに関する。
【０００２】
【従来の技術】従来、例えばシンセサイザのような電子
楽器は操作が複雑で、一般の人が使いこなすことはなか
なか難しい。
楽器は操作が複雑で、一般の人が使いこなすことはなか
なか難しい。
【０００３】そこで、このような楽器を制御するインタ
フェースとして、人間の動きをたとえばカメラ等で取り
込んで、その人間の動きの変化に応じてシンセサイザの
ような電子楽器の音楽表現要素（たとえばピッチ：音
程）等を制御するものが提案されている。
フェースとして、人間の動きをたとえばカメラ等で取り
込んで、その人間の動きの変化に応じてシンセサイザの
ような電子楽器の音楽表現要素（たとえばピッチ：音
程）等を制御するものが提案されている。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
楽器インタフェースでは、人間の動きは大まかで、微妙
に変化させることは困難であり、したがって、音楽表現
要素の正確な制御ができないという問題がある。
楽器インタフェースでは、人間の動きは大まかで、微妙
に変化させることは困難であり、したがって、音楽表現
要素の正確な制御ができないという問題がある。
【０００５】それゆえに、この発明の主たる目的は、新
規な楽器インタフェースを提供することである。
規な楽器インタフェースを提供することである。
【０００６】この発明の他の目的は、微妙な制御が正確
にできる、楽器インタフェースを提供することである。
にできる、楽器インタフェースを提供することである。
【０００７】
【課題を解決するための手段】この発明に従った楽器イ
ンタフェースは、少なくとも１つの音楽表現要素を電子
的に制御可能な楽器に制御信号を与える楽器インタフェ
ースであって、オペレータの手に持たれた手持可能物体
を撮影するカメラ、カメラから得られるビデオ信号に基
づいて物体の３次元情報を得る３次元情報手段、および
３次元情報に従って制御信号を作成する制御信号作成手
段を備える、楽器インタフェースである。
ンタフェースは、少なくとも１つの音楽表現要素を電子
的に制御可能な楽器に制御信号を与える楽器インタフェ
ースであって、オペレータの手に持たれた手持可能物体
を撮影するカメラ、カメラから得られるビデオ信号に基
づいて物体の３次元情報を得る３次元情報手段、および
３次元情報に従って制御信号を作成する制御信号作成手
段を備える、楽器インタフェースである。
【０００８】
【作用】オペレータは、たとえばカードのような手持可
能物体をたとえばテーブル上で持ち、そのカードの３次
元位置や姿勢を変化させる。テーブルの上方に設けられ
たカメラがそのカードを撮影してビデオストリーム信号
を出力する。３次元情報手段は、ビデオストリーム信号
からカードの３次元情報、たとえばＸ，Ｙ，Ｚ座標，回
転およびチルト（傾き）を求める。そして、制御信号作
成手段が、その３次元情報に基づいて、たとえばＭＩＤ
Ｉデータのような制御信号を作成する。電子制御可能な
楽器であるたとえばシンセサイザやサンプラ等がＭＩＤ
Ｉデータを受け、そのＭＩＤＩデータに従って音楽表現
要素を変化させる。したがって、オペレータがカードの
位置や傾き等を変化させることに応じて、音楽表現要素
が変化される。
能物体をたとえばテーブル上で持ち、そのカードの３次
元位置や姿勢を変化させる。テーブルの上方に設けられ
たカメラがそのカードを撮影してビデオストリーム信号
を出力する。３次元情報手段は、ビデオストリーム信号
からカードの３次元情報、たとえばＸ，Ｙ，Ｚ座標，回
転およびチルト（傾き）を求める。そして、制御信号作
成手段が、その３次元情報に基づいて、たとえばＭＩＤ
Ｉデータのような制御信号を作成する。電子制御可能な
楽器であるたとえばシンセサイザやサンプラ等がＭＩＤ
Ｉデータを受け、そのＭＩＤＩデータに従って音楽表現
要素を変化させる。したがって、オペレータがカードの
位置や傾き等を変化させることに応じて、音楽表現要素
が変化される。
【０００９】なお、３次元情報に応じた映像表示手段を
設ければ、カードのような物体の位置や回転角度あるい
はチルト角度等が容易に目視で確認できる。したがっ
て、音楽要素を一層微妙に制御することができる。
設ければ、カードのような物体の位置や回転角度あるい
はチルト角度等が容易に目視で確認できる。したがっ
て、音楽要素を一層微妙に制御することができる。
【００１０】
【発明の効果】この発明によれば、オペレータによって
手持可能物体を操作するので、従来の人間の動きを検出
するものに比べて、物体の位置や姿勢に微妙な変化を与
え易く、したがって、音楽表現要素を微妙にかつ正確に
制御できる。
手持可能物体を操作するので、従来の人間の動きを検出
するものに比べて、物体の位置や姿勢に微妙な変化を与
え易く、したがって、音楽表現要素を微妙にかつ正確に
制御できる。
【００１１】手持可能物体が平面部分を有するカードで
あれば、その物体を定型化できるので、人間の体のよう
な個体差がなく、オペレータ毎の修正や補正が不要で、
だれが操作しても一定の制御ができる。
あれば、その物体を定型化できるので、人間の体のよう
な個体差がなく、オペレータ毎の修正や補正が不要で、
だれが操作しても一定の制御ができる。
【００１２】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【００１３】
【実施例】図１を参照して、この実施例の音楽発生装置
１０は、カメラ１２を含み、このカメラ１２は、たとえ
ばテーブル１４の上方に設置される。そして、オペレー
タ１６は、このテーブル１４上において、手持可能物体
の一例であるカード１８を手で持ってその位置や姿勢を
変化させることができる。
１０は、カメラ１２を含み、このカメラ１２は、たとえ
ばテーブル１４の上方に設置される。そして、オペレー
タ１６は、このテーブル１４上において、手持可能物体
の一例であるカード１８を手で持ってその位置や姿勢を
変化させることができる。
【００１４】オペレータ１６は、また、その頭部にヘッ
ドマウントディスプレイ（ＨＭＤ）２０を装着するとと
もに、そのＨＭＤ２０と一体に小型カメラ２２が取り付
けられる。ＨＭＤ２０としては、現在市場にあるたとえ
ばオリンパス社またはソニー社製のものが利用可能であ
る。
ドマウントディスプレイ（ＨＭＤ）２０を装着するとと
もに、そのＨＭＤ２０と一体に小型カメラ２２が取り付
けられる。ＨＭＤ２０としては、現在市場にあるたとえ
ばオリンパス社またはソニー社製のものが利用可能であ
る。
【００１５】カード１８が図２に詳細に図示される。こ
のカード１８は、その表面に形成されたたとえば矩形枠
形状のマーカ２４と、そのマーカ２４内に表示されるキ
ャラクタ２６とを含む。ただし、「キャラクタ」の語
は、文字や記号を包含する意味で用いられる。そして、
マーカ２４およびキャラクタ２６の図２の形状は単なる
一例であり、他の任意の形状が選定されてもよい。そし
て、カード１８の裏面は無模様である。
のカード１８は、その表面に形成されたたとえば矩形枠
形状のマーカ２４と、そのマーカ２４内に表示されるキ
ャラクタ２６とを含む。ただし、「キャラクタ」の語
は、文字や記号を包含する意味で用いられる。そして、
マーカ２４およびキャラクタ２６の図２の形状は単なる
一例であり、他の任意の形状が選定されてもよい。そし
て、カード１８の裏面は無模様である。
【００１６】カメラ１２はテーブル１４およびその上で
オペレータ１６によって把持されるカード１８を撮影し
てビデオストリーム信号を、たとえばシリコングラフィ
クス社製の「ＳＧＩＯ２」のようなコンピュータ２８に
与える。コンピュータ２８は、後に詳細に説明するよう
に、カメラ１２から入力されるビデオ信号に基づいてカ
ード１８の３次元位置および姿勢（３次元情報）を検出
し、それに応じたＭＩＤＩデータを出力する。
オペレータ１６によって把持されるカード１８を撮影し
てビデオストリーム信号を、たとえばシリコングラフィ
クス社製の「ＳＧＩＯ２」のようなコンピュータ２８に
与える。コンピュータ２８は、後に詳細に説明するよう
に、カメラ１２から入力されるビデオ信号に基づいてカ
ード１８の３次元位置および姿勢（３次元情報）を検出
し、それに応じたＭＩＤＩデータを出力する。
【００１７】図３はカード１８の３次元情報の一例を示
す図解図であり、カードの３次元情報には、Ｘ，Ｙ，Ｚ
軸上の座標ｘ，ｙ，ｚ、回転、およびチルトが含まれ
る。回転およびチルトはいずれも角度として表される。
す図解図であり、カードの３次元情報には、Ｘ，Ｙ，Ｚ
軸上の座標ｘ，ｙ，ｚ、回転、およびチルトが含まれ
る。回転およびチルトはいずれも角度として表される。
【００１８】コンピュータ２８から出力されるＭＩＤＩ
データは電子楽器３０に与えられる。電子楽器３０は、
この実施例では、ＭＩＤＩ音源（ＭＩＤＩデータを受信
して音を出す音源であり、鍵盤付のキーボードタイプ，
鍵盤なしのモジュールタイプ，コンピュータスロットに
装着するボードタイプもしくはカードタイプがある）を
含む。つまり、電子楽器３０は、たとえばシンセサイザ
（音色を自由に合成できる楽器），サンプラ（実際の音
をサンプリングしてそれを元に音階演奏可能な楽器）等
のように、たとえば音階，テンポ，音色等の音楽表現要
素を電子的に制御可能な楽器である。電子楽器３０は、
コンピュータ２８によってイネーブルされたとき、サウ
ンドフレームを出力し、そのサウンドフレームをＭＩＤ
Ｉデータによって制御することによって音楽信号を出力
する。電子楽器３０からの音楽信号はアンプ３２を介し
てスピーカ３４から出力される。
データは電子楽器３０に与えられる。電子楽器３０は、
この実施例では、ＭＩＤＩ音源（ＭＩＤＩデータを受信
して音を出す音源であり、鍵盤付のキーボードタイプ，
鍵盤なしのモジュールタイプ，コンピュータスロットに
装着するボードタイプもしくはカードタイプがある）を
含む。つまり、電子楽器３０は、たとえばシンセサイザ
（音色を自由に合成できる楽器），サンプラ（実際の音
をサンプリングしてそれを元に音階演奏可能な楽器）等
のように、たとえば音階，テンポ，音色等の音楽表現要
素を電子的に制御可能な楽器である。電子楽器３０は、
コンピュータ２８によってイネーブルされたとき、サウ
ンドフレームを出力し、そのサウンドフレームをＭＩＤ
Ｉデータによって制御することによって音楽信号を出力
する。電子楽器３０からの音楽信号はアンプ３２を介し
てスピーカ３４から出力される。
【００１９】なお、図１ではアンプ３２およびスピーカ
３４は１つずつしか図示していないが、これらを２組用
いてステレオ配置にすることも可能であり、さらには３
組以上でサラウンド出力ができるようにしてもよいこと
は、勿論である。
３４は１つずつしか図示していないが、これらを２組用
いてステレオ配置にすることも可能であり、さらには３
組以上でサラウンド出力ができるようにしてもよいこと
は、勿論である。
【００２０】コンピュータ２８はさらに、図４に示すよ
うな、カード１８の前述の３次元情報（座標位置，回転
角度，チルト角度）をそれぞれ目視可能に表示する映像
信号を出力し、その映像信号をビデオプロジェクタ３６
に与える。したがって、ビデオプロジェクタ３６がスク
リーン３８上に３次元情報表現映像を表示する。このビ
デオプロジェクタ３６およびスクリーン３８が大画面デ
ィスプレイを構成するが、このような大画面ディスプレ
イとしては他にブラウン管，プラズマディスプレイ，液
晶ディスプレイなど任意のものが利用可能である。
うな、カード１８の前述の３次元情報（座標位置，回転
角度，チルト角度）をそれぞれ目視可能に表示する映像
信号を出力し、その映像信号をビデオプロジェクタ３６
に与える。したがって、ビデオプロジェクタ３６がスク
リーン３８上に３次元情報表現映像を表示する。このビ
デオプロジェクタ３６およびスクリーン３８が大画面デ
ィスプレイを構成するが、このような大画面ディスプレ
イとしては他にブラウン管，プラズマディスプレイ，液
晶ディスプレイなど任意のものが利用可能である。
【００２１】図４を参照して、この３次元情報表示映像
は、中央の階段付円筒状の塔４２，その塔４２の基底部
の外周に配置される矢印付リング４４，および花びら４
６を含む。塔４２は、カード１８の高さ（Ｚ座標）を表
現する映像要素であり、カード１８の高さに相当する位
置までの階段部分が他の部分と異なる色彩や明度で表示
されることによって、オペレータが操作しているカード
１８の高さを目視可能に表示する。リング４４は、カー
ド１８の回転角度を表現する映像要素であり、リング４
４の先端矢印４４ａの位置がカード１８の回転角度に対
応している。なお、リング４４の周囲にある目盛４４ｂ
は、回転角度の大小を容易に判断できるようにするため
のもので、矢印４４ａの位置の変化に拘わらず、一定位
置に表示される。さらに、花びら４６は、その花びら４
６の開いた度合いがカード１８の傾き（チルト角度）を
表現する。
は、中央の階段付円筒状の塔４２，その塔４２の基底部
の外周に配置される矢印付リング４４，および花びら４
６を含む。塔４２は、カード１８の高さ（Ｚ座標）を表
現する映像要素であり、カード１８の高さに相当する位
置までの階段部分が他の部分と異なる色彩や明度で表示
されることによって、オペレータが操作しているカード
１８の高さを目視可能に表示する。リング４４は、カー
ド１８の回転角度を表現する映像要素であり、リング４
４の先端矢印４４ａの位置がカード１８の回転角度に対
応している。なお、リング４４の周囲にある目盛４４ｂ
は、回転角度の大小を容易に判断できるようにするため
のもので、矢印４４ａの位置の変化に拘わらず、一定位
置に表示される。さらに、花びら４６は、その花びら４
６の開いた度合いがカード１８の傾き（チルト角度）を
表現する。
【００２２】したがって、コンピュータ２８は、カード
１８の３次元位置および姿勢すなわちＭＩＤＩデータに
応じて、図４に示す塔４２，リング４４および花びら４
６の状態を変化させる。つまり、コンピュータ２８がＭ
ＩＤＩデータに応じてその映像信号に変化を与えること
によって、音楽表現要素の変化に応じてビデオプロジェ
クタ３６で投影表示される映像が変化する。したがっ
て、オペレータは、この映像の個々の映像要素を目視す
ることによってカード１８の３次元位置や姿勢等を正確
に制御できるだけでなく、パフォーマンスとして視覚聴
覚の両方で楽しむことができる。
１８の３次元位置および姿勢すなわちＭＩＤＩデータに
応じて、図４に示す塔４２，リング４４および花びら４
６の状態を変化させる。つまり、コンピュータ２８がＭ
ＩＤＩデータに応じてその映像信号に変化を与えること
によって、音楽表現要素の変化に応じてビデオプロジェ
クタ３６で投影表示される映像が変化する。したがっ
て、オペレータは、この映像の個々の映像要素を目視す
ることによってカード１８の３次元位置や姿勢等を正確
に制御できるだけでなく、パフォーマンスとして視覚聴
覚の両方で楽しむことができる。
【００２３】なお、コンピュータ２８からのキャラクタ
識別信号はまた別のコンピュータ４０に与えられる。一
方、このコンピュータ４０にはＨＭＤ２０と一体に設け
られた小型カメラ２２で撮影したビデオ信号が与えられ
る。この小型カメラ２２は、オペレータ１６が把持する
カード１８を撮影している。したがって、オペレータ１
６が装着したＨＤＭ２０には、図５に示すように、カー
ド１８とそのカードに固有のバーチャル画像４８とを合
成したビデオ信号が表示される。なお、このバーチャル
画像４８は、図４に示すように、大画面ディスプレイ３
８上に表示されてもよい。ただし、そのバーチャル画像
４８の動きはＭＩＤＩデータすなわちカード１８の３次
元情報とは関係しない。
識別信号はまた別のコンピュータ４０に与えられる。一
方、このコンピュータ４０にはＨＭＤ２０と一体に設け
られた小型カメラ２２で撮影したビデオ信号が与えられ
る。この小型カメラ２２は、オペレータ１６が把持する
カード１８を撮影している。したがって、オペレータ１
６が装着したＨＤＭ２０には、図５に示すように、カー
ド１８とそのカードに固有のバーチャル画像４８とを合
成したビデオ信号が表示される。なお、このバーチャル
画像４８は、図４に示すように、大画面ディスプレイ３
８上に表示されてもよい。ただし、そのバーチャル画像
４８の動きはＭＩＤＩデータすなわちカード１８の３次
元情報とは関係しない。
【００２４】図１に示す実施例における楽器インタフェ
ースの動作を図６を参照して説明する。図６の最初のス
テップＳ１で、コンピュータ２８は、カメラ１２からの
ビデオストリーム信号に基づいて、カード１８のマーカ
２４（図２）があるかどうか判断する。もし、マーカ２
４が検出されなければ、カード１８が裏向きであるかま
たはカード１８が操作範囲外にあると判断して、該当の
音楽発音チャネルをオフする。
ースの動作を図６を参照して説明する。図６の最初のス
テップＳ１で、コンピュータ２８は、カメラ１２からの
ビデオストリーム信号に基づいて、カード１８のマーカ
２４（図２）があるかどうか判断する。もし、マーカ２
４が検出されなければ、カード１８が裏向きであるかま
たはカード１８が操作範囲外にあると判断して、該当の
音楽発音チャネルをオフする。
【００２５】ステップＳ１で“ＹＥＳ”が判断される
と、続くステップＳ３で、コンピュータ２８は、カメラ
１２からのビデオストリーム信号に基づいて、カード１
８のキャラクタ２６（図２）を検出する。キャラクタ２
６を識別すると、ステップＳ４において、コンピュータ
２８は、別のコンピュータ４０に識別信号を与える。そ
れ応じて、コンピュータ４０は、識別したキャラクタに
応じたバーチャル画像４８（図５）をＨＭＤ２０に出力
する。この実施例では、オペレータ１６に装着した小型
カメラ２２の撮影したカード１８の画像の上に、バーチ
ャル画像４６が表示される。
と、続くステップＳ３で、コンピュータ２８は、カメラ
１２からのビデオストリーム信号に基づいて、カード１
８のキャラクタ２６（図２）を検出する。キャラクタ２
６を識別すると、ステップＳ４において、コンピュータ
２８は、別のコンピュータ４０に識別信号を与える。そ
れ応じて、コンピュータ４０は、識別したキャラクタに
応じたバーチャル画像４８（図５）をＨＭＤ２０に出力
する。この実施例では、オペレータ１６に装着した小型
カメラ２２の撮影したカード１８の画像の上に、バーチ
ャル画像４６が表示される。
【００２６】ステップＳ５で、コンピュータ２８は、そ
の識別したキャラクタ２６に個別的に対応する電子楽器
３０の該当の発音チャネルをオンする。
の識別したキャラクタ２６に個別的に対応する電子楽器
３０の該当の発音チャネルをオンする。
【００２７】つまり、カード１８上に表示されたキャラ
クタ２６は、カード毎に異なるキャラクタであり、それ
ら異なるキャラクタ毎に電子楽器３０の異なる発音チャ
ネルが割り当てられている。たとえば、電子楽器３０と
して、２発音チャネルのシンセサイザと、２発音チャネ
ルのサンプラとが用いられる場合、第１発音チャネルお
よび第２発音チャネルがシンセサイザの発音チャネルと
して、また第３発音チャネルおよび第４発音チャネルが
サンプラの発音チャネルとしてそれぞれ割り当てられ
る。したがって、いまステップＳ３で識別したキャラク
タが第１発音チャネルのものであれば、ステップＳ５に
おいてオンされる発音チャネルは、シンセサイザの第１
発音チャネルである。また、たとえばキャラクタが第３
発音チャネルに対応するものであれば、ステップＳ５で
は、サンプラの第１発音チャネルがオンされる。
クタ２６は、カード毎に異なるキャラクタであり、それ
ら異なるキャラクタ毎に電子楽器３０の異なる発音チャ
ネルが割り当てられている。たとえば、電子楽器３０と
して、２発音チャネルのシンセサイザと、２発音チャネ
ルのサンプラとが用いられる場合、第１発音チャネルお
よび第２発音チャネルがシンセサイザの発音チャネルと
して、また第３発音チャネルおよび第４発音チャネルが
サンプラの発音チャネルとしてそれぞれ割り当てられ
る。したがって、いまステップＳ３で識別したキャラク
タが第１発音チャネルのものであれば、ステップＳ５に
おいてオンされる発音チャネルは、シンセサイザの第１
発音チャネルである。また、たとえばキャラクタが第３
発音チャネルに対応するものであれば、ステップＳ５で
は、サンプラの第１発音チャネルがオンされる。
【００２８】続くステップＳ６において、コンピュータ
２８は、カメラ１２からのビデオストリーム信号に基づ
いて、カード１８の３次元情報を得る。つまり、カード
１８の座標ｘ，ｙ，ｚ、回転角度およびチルト角度を検
出する。
２８は、カメラ１２からのビデオストリーム信号に基づ
いて、カード１８の３次元情報を得る。つまり、カード
１８の座標ｘ，ｙ，ｚ、回転角度およびチルト角度を検
出する。
【００２９】続いて、ステップＳ７において、ステップ
Ｓ５で検出した３次元情報に従って、たとえばマッピン
グの手法を用いて、ＭＩＤＩデータを作成する。その一
例が表１に示される。
Ｓ５で検出した３次元情報に従って、たとえばマッピン
グの手法を用いて、ＭＩＤＩデータを作成する。その一
例が表１に示される。
【００３０】
【表１】
【００３１】表１を参照して、たとえばチルト角度は０
−９０度の範囲のいずれかであり、そのチルト角度は、
ＭＩＤＩデータ１に対応している。ＭＩＤＩデータ１
は、他のＭＩＤＩデータ２−５と同様に、「０−１２
７」までの数値で表され、たとえばチルト角度が０度
（水平状態）であれば、ＭＩＤＩデータ１は「０」とし
て出力される。チルト角度が９０度（垂直状態）であれ
ば、ＭＩＤＩデータ１は「１２７」として出力される。
チルト角度１−８９度は、比例配分で求められる。
−９０度の範囲のいずれかであり、そのチルト角度は、
ＭＩＤＩデータ１に対応している。ＭＩＤＩデータ１
は、他のＭＩＤＩデータ２−５と同様に、「０−１２
７」までの数値で表され、たとえばチルト角度が０度
（水平状態）であれば、ＭＩＤＩデータ１は「０」とし
て出力される。チルト角度が９０度（垂直状態）であれ
ば、ＭＩＤＩデータ１は「１２７」として出力される。
チルト角度１−８９度は、比例配分で求められる。
【００３２】たとえば回転角度は０−３６０度の範囲の
いずれかであり、その回転角度は、ＭＩＤＩデータ２に
対応している。ＭＩＤＩデータ２も、他のＭＩＤＩデー
タと同様に、「０−１２７」までの数値で表され、たと
えば回転角度が０度であれば、ＭＩＤＩデータ２は
「０」として出力される。回転角度が３６０度であれ
ば、ＭＩＤＩデータ２は「１２７」として出力される。
回転角度１−３５９度は、０−１２７の間の比例配分で
求められる。
いずれかであり、その回転角度は、ＭＩＤＩデータ２に
対応している。ＭＩＤＩデータ２も、他のＭＩＤＩデー
タと同様に、「０−１２７」までの数値で表され、たと
えば回転角度が０度であれば、ＭＩＤＩデータ２は
「０」として出力される。回転角度が３６０度であれ
ば、ＭＩＤＩデータ２は「１２７」として出力される。
回転角度１−３５９度は、０−１２７の間の比例配分で
求められる。
【００３３】同様に、Ｚ位置すなわち高さがＭＩＤＩデ
ータ３［０−１２７］に変換され、Ｘ位置がＭＩＤＩデ
ータ４［０−１２７］に変換され、Ｙ位置がＭＩＤＩデ
ータ５［０−１２７］に変換される。
ータ３［０−１２７］に変換され、Ｘ位置がＭＩＤＩデ
ータ４［０−１２７］に変換され、Ｙ位置がＭＩＤＩデ
ータ５［０−１２７］に変換される。
【００３４】このようなＭＩＤＩデータを受けて、電子
楽器３０では、ボリューム（Volume：音または大き
さ），エフェクト（Effect：音を加工してエコーなどの
さまざまな効果を生じさせる），フィルタ（Filter：音
色の明るさを調節するもので一般にローパスフィルタが
用いられる），リバーブ（Reverb：残響），パン（Pann
ing：ステレオまたはサラウンド出力時の音源の定位）
およびピッチ（Pitch：音程）などを制御する。これら
は、表に示すMIDI Cont１〜５のおのおのによって個別
的に制御されるものではなく、１つのＭＩＤＩデータに
よって同時に制御される。
楽器３０では、ボリューム（Volume：音または大き
さ），エフェクト（Effect：音を加工してエコーなどの
さまざまな効果を生じさせる），フィルタ（Filter：音
色の明るさを調節するもので一般にローパスフィルタが
用いられる），リバーブ（Reverb：残響），パン（Pann
ing：ステレオまたはサラウンド出力時の音源の定位）
およびピッチ（Pitch：音程）などを制御する。これら
は、表に示すMIDI Cont１〜５のおのおのによって個別
的に制御されるものではなく、１つのＭＩＤＩデータに
よって同時に制御される。
【００３５】そして、次のステップＳ７では、コンピュ
ータ２８は、ＭＩＤＩデータに応じた３次元情報表示映
像信号（図４）を出力し、応じてスクリーン３８にその
映像が表示される。
ータ２８は、ＭＩＤＩデータに応じた３次元情報表示映
像信号（図４）を出力し、応じてスクリーン３８にその
映像が表示される。
【００３６】この実施例の音楽発生装置１０において、
電子楽器３０にＭＩＤＩデータを与えるコンピュータ２
８が音楽インタフェースの中核をなし、この音楽インタ
フェースには、オペレータ１６によって操作される手持
可能物体（実施例ではカード１８）およびそれを撮影す
るカメラ１２がさらに含まれる。
電子楽器３０にＭＩＤＩデータを与えるコンピュータ２
８が音楽インタフェースの中核をなし、この音楽インタ
フェースには、オペレータ１６によって操作される手持
可能物体（実施例ではカード１８）およびそれを撮影す
るカメラ１２がさらに含まれる。
【００３７】この実施例の音楽インタフェースは、パフ
ォーマンスとして利用できるだけでなく、作曲活動にも
利用できる。１つまたは２以上の電子楽器を複数のカー
ド１８で制御することによって、比較的簡単に作曲でき
る。この場合、たとえば日本とアメリカとのような遠隔
地にそれぞれ音楽インタフェースを準備し、遠隔地で２
人以上のオペレータが競演することによって、協働して
作曲することも可能である。
ォーマンスとして利用できるだけでなく、作曲活動にも
利用できる。１つまたは２以上の電子楽器を複数のカー
ド１８で制御することによって、比較的簡単に作曲でき
る。この場合、たとえば日本とアメリカとのような遠隔
地にそれぞれ音楽インタフェースを準備し、遠隔地で２
人以上のオペレータが競演することによって、協働して
作曲することも可能である。
【００３８】なお、手持可能物体は実施例のカード１８
以外の任意のものが利用可能であるが、平面部分を有す
るものが望ましい。平面部分を持つ物体であれば、その
物体の３次元情報がその平面部分を基準として用意に得
られるからである。ただし、他の任意の手持可能物体が
用いられてもよい。この場合。パターン認識の手法でそ
れらの物体形状を識別して物体を特定し、その物体に応
じた発音チャネルを制御するようにすればよい。
以外の任意のものが利用可能であるが、平面部分を有す
るものが望ましい。平面部分を持つ物体であれば、その
物体の３次元情報がその平面部分を基準として用意に得
られるからである。ただし、他の任意の手持可能物体が
用いられてもよい。この場合。パターン認識の手法でそ
れらの物体形状を識別して物体を特定し、その物体に応
じた発音チャネルを制御するようにすればよい。
【図１】この発明の一実施例を示す図解図である。
【図２】図１実施例で用いる物体の一例であるカードを
示す図解図である。
示す図解図である。
【図３】図２のカードの３次元情報を示す図解である。
【図４】図１実施例でスクリーンに表示される３次元情
報表現映像の一例を示す図解である。
報表現映像の一例を示す図解である。
【図５】図１実施例でＨＭＤに表示される映像の一例を
示す図解である。
示す図解である。
【図６】図１実施例の動作を示すフロー図である。
１０ …音楽発生装置 １２ …カメラ １８ …カード ２４ …マーカ ２６ …キャラクタ ２８，４０ …コンピュータ ３０ …電子楽器 ３６ …ビデオプロジェクタ ３８ …スクリーン ４２ …塔 ４４ …リング ４６ …花びら
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロドニー ベリー 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 マーク ビリングハー 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 加藤 博一 広島市安佐南区大塚西三丁目２番３−512 号 (72)発明者 ルイス ボールドウィ アメリカ合衆国 90027 カリフォルニア 州 ロスアンジェルス市 ローレイロード 3552 (72)発明者 楜沢 順 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 中尾 恵子 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール知能映像通信 研究所内 (72)発明者 井村 茂 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール知能映像通信 研究所内 Ｆターム(参考） 5C054 AA01 DA06 EA03 EF06 FA01 FE25 FE26 FF07 HA15 HA17 5D378 MM14 MM16 MM18 MM20 MM35 MM64 MM65 MM67 MM79 MM96 QQ01 TT18 TT22
Claims (6)
- 【請求項１】少なくとも１つの音楽表現要素を電子的に
制御可能な楽器に制御信号を与える楽器インタフェース
であって、 オペレータの手に持たれた手持可能物体を撮影するカメ
ラ、 前記カメラから得られるビデオ信号に基づいて前記物体
の３次元情報を得る３次元情報手段、および前記３次元
情報に従って前記制御信号を作成する制御信号作成手段
を備える、楽器インタフェース。 - 【請求項２】前記物体は平面部分を含むカードである、
請求項２記載の楽器インタフェース。 - 【請求項３】前記楽器は複数の発音チャネルを有し、 前記カードは複数のカードを含み、前記複数のカード上
には互いに異なるキャラクタが表示されていて、それぞ
れのキャラクタは前記複数の発音チャネルのいずれかに
個別に対応していて、さらに前記キャラクタを識別する
ためのキャラクタ識別手段、および識別したキャラクタ
に応じた発音チャネルをオンするチャネルオン手段を備
える、請求項２記載の楽器インタフェース。 - 【請求項４】前記３次元情報に応じた映像を表示する映
像表示手段をさらに備える、請求項１ないし３のいずれ
かに記載の楽器インタフェース。 - 【請求項５】前記映像は前記カードの座標，回転角度お
よびチルトにそれぞれ対応する映像要素を含む、請求項
４記載の楽器インタフェース。 - 【請求項６】前記楽器はＭＩＤＩ音源を含み、前記制御
信号作成手段はＭＩＤＩ信号を作成するＭＩＤＩ信号作
成手段を含む請求項１ないし５のいずれかに記載の楽器
インタフェース。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000218417A JP2002032076A (ja) | 2000-07-19 | 2000-07-19 | 楽器インタフェース |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000218417A JP2002032076A (ja) | 2000-07-19 | 2000-07-19 | 楽器インタフェース |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002032076A true JP2002032076A (ja) | 2002-01-31 |
Family
ID=18713369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000218417A Pending JP2002032076A (ja) | 2000-07-19 | 2000-07-19 | 楽器インタフェース |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002032076A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260786A (ja) * | 2008-04-18 | 2009-11-05 | Yamaha Corp | 制御装置 |
| WO2011071081A1 (ja) | 2009-12-08 | 2011-06-16 | 株式会社資生堂 | 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
| JP2017534191A (ja) * | 2014-08-28 | 2017-11-16 | シェンジェン ピーアールテック カンパニー リミテッド | 画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法 |
-
2000
- 2000-07-19 JP JP2000218417A patent/JP2002032076A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260786A (ja) * | 2008-04-18 | 2009-11-05 | Yamaha Corp | 制御装置 |
| WO2011071081A1 (ja) | 2009-12-08 | 2011-06-16 | 株式会社資生堂 | 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、及び記録媒体 |
| US8891815B2 (en) | 2009-12-08 | 2014-11-18 | Shiseido Company, Ltd. | Invisible information embedding apparatus, invisible information detecting apparatus, invisible information embedding method, invisible information detecting method, and storage medium |
| JP2017534191A (ja) * | 2014-08-28 | 2017-11-16 | シェンジェン ピーアールテック カンパニー リミテッド | 画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102351060B1 (ko) | 오디오 파일들의 헤드 포즈 혼합 | |
| CN101523482B (zh) | 显示装置、显示方法、信息记录介质及程序 | |
| US7774707B2 (en) | Method and apparatus for enabling a user to amend an audio file | |
| US20190005733A1 (en) | Extended reality controller and visualizer | |
| US8854356B2 (en) | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method | |
| Poupyrev et al. | Augmented groove: Collaborative jamming in augmented reality | |
| US5945985A (en) | Information system for interactive access to geographic information | |
| JP3247126B2 (ja) | 可搬型可視表示装置を提供する方法並びに装置 | |
| US6083163A (en) | Surgical navigation system and method using audio feedback | |
| JP5992210B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
| JP2011259243A (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
| JPH10137445A (ja) | ゲーム装置、画像音響処理装置および記録媒体 | |
| KR20010042671A (ko) | 화상 표시 장치, 화상 처리 장치, 화상 표시 시스템 | |
| JP2007299062A (ja) | 情報処理方法、情報処理装置 | |
| WO1990001242A1 (en) | Image display system and method | |
| CN109951718A (zh) | 一种通过5g和vr技术可360度全景实时拍摄直播的方法 | |
| JP2005327204A (ja) | 画像合成システムおよび画像合成方法、および画像合成装置 | |
| JP3429618B2 (ja) | 画像部品の切抜き機能を有する画像レイアウト装置 | |
| JP2011239993A (ja) | 発音制御装置 | |
| JP3978506B2 (ja) | 楽音生成方法 | |
| JP2002032076A (ja) | 楽器インタフェース | |
| CN114286275A (zh) | 一种音频处理方法及装置、存储介质 | |
| JP2000067227A (ja) | 画像表示装置、方法および記憶媒体 | |
| US11798429B1 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
| JP3537303B2 (ja) | 位置検出装置及び仮想現実感提供装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040907 |