JP2008076765A

JP2008076765A - 演奏システム

Info

Publication number: JP2008076765A
Application number: JP2006256299A
Authority: JP
Inventors: Toyoichi Sakai; 豊一坂井
Original assignee: Xing Inc
Current assignee: Xing Inc
Priority date: 2006-09-21
Filing date: 2006-09-21
Publication date: 2008-04-03

Abstract

【課題】簡単な構成により目新しく発展性の高い演奏形態を実現する演奏システムを提供する。
【解決手段】映像を撮影するための撮像装置であるＵＳＢカメラ１４により撮影された利用者１６の映像に基づいてその利用者１６の少なくとも一方の手部１８の動作を検出する動作検出手段４４と、予め定められた関係から、その動作検出手段４４により検出される手部１８の動作に基づいて、出力される演奏音の音程を変化させる演奏制御手段４６とを、備えたものであることから、利用者１６の手部１８の動作に応じて音程が変化する目新しい演奏形態が実現できることに加え、演奏システムに習熟することによりその演奏システム独自の可能性を模索するといった発展性も期待できる。
【選択図】図３

Description

本発明は、利用者の身体の一部の動作を検出してその動作に基づく演奏を行う演奏システムの改良に関する。

利用者の身体の一部の動作をセンサにより検出してその動作に基づく演奏を行う電子楽器が知られている。例えば、それぞれわずかに異なる周波数を有する２種類の高周波発振器を備え、それら高周波発振器により発生させられる周波数間のうなりによって低周波の可聴域の音波を発生させるテルミン（Thermin）がそれである。斯かる電子楽器は、旧来の楽器では出せなかった演奏音の出力を可能とし、音楽の分野において新しい演奏形態の可能性を示すものであった。

近年、演算処理装置の高性能化や通信技術の発達等の技術革新に伴い、上述したような電子楽器を更に発展させ、利用者の身体の一部の動作をセンサにより検出してその動作に基づく演奏を行う演奏システムが提案されている。例えば、特許文献１に記載された仮想楽器の演奏処理プログラムがそれである。この技術によれば、撮像装置によって撮像された画像の中から予め設定されている特定画像を抽出し、その抽出された特定画像の動きをベクトル分析してその特定画像に対して予め設定されている仮想楽器を判定してその仮想楽器の音色のリズム音信号を発生させることで、実際の楽器と同じような感覚で演奏することができるとされている。

特開２００６−５３１６７号公報

しかし、前述した従来の技術は、既存の楽器の代替としてその楽器のリズム音信号を仮想的に出力させるものであり特に目新しいものではなく、演奏システムに習熟することによりその演奏システム独自の可能性を模索するといった発展性も期待できないものであった。すなわち、簡単な構成により目新しく発展性の高い演奏形態を実現する演奏システムは、未だ開発されていないのが現状である。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、簡単な構成により目新しく発展性の高い演奏形態を実現する演奏システムを提供することにある。

斯かる目的を達成するために、本発明の要旨とするところは、利用者の身体の一部の動作を検出してその動作に基づく演奏を行う演奏システムであって、利用者の映像を撮影するための撮像装置を備え、その撮像装置により撮影された利用者の映像に基づいてその利用者の少なくとも一方の手部の動作を検出する動作検出手段と、予め定められた関係から、その動作検出手段により検出される手部の動作に基づいて、出力される演奏音の音程を変化させる演奏制御手段とを、備えたことを特徴とするものである。

このようにすれば、利用者の映像を撮影するための撮像装置を備え、その撮像装置により撮影された利用者の映像に基づいてその利用者の少なくとも一方の手部の動作を検出する動作検出手段と、予め定められた関係から、その動作検出手段により検出される手部の動作に基づいて、出力される演奏音の音程を変化させる演奏制御手段とを、備えたものであることから、利用者の手部の動作に応じて音程が変化する目新しい演奏形態が実現できることに加え、演奏システムに習熟することによりその演奏システム独自の可能性を模索するといった発展性も期待できる。すなわち、簡単な構成により目新しく発展性の高い演奏形態を実現する演奏システムを提供することができる。

ここで、好適には、前記動作検出手段は、前記撮像装置により撮影された利用者の映像における色相、彩度、及び明度に基づいてその利用者の少なくとも一方の手部の動作を検出するものである。このようにすれば、簡単且つ実用的な態様で利用者の手部の動作を検出することができるという利点がある。

また、好適には、前記動作検出手段は、前記撮像装置により撮影された利用者の映像に基づいてその利用者の両方の手部の動作を検出するものであり、前記演奏制御手段は、予め定められた関係から、前記動作検出手段により検出される一方の手部の動作に基づいて、出力される演奏音の音程を変化させると共に、他方の手部の動作に基づいて、出力される演奏音の音量を変化させるものである。このようにすれば、簡単且つ実用的な態様でテルミン様の演奏形態を実現できるという利点がある。

また、好適には、前記動作検出手段は、前記撮像装置により撮影された利用者の映像に基づいてその利用者の両方の手部の動作を検出するものであり、前記演奏制御手段は、予め定められた関係から、前記動作検出手段により検出される両方の手部の相対位置関係に基づいて、出力される演奏音の音程を変化させるものである。このようにすれば、簡単且つ実用的な態様で従来になかったまったく新しい演奏形態を実現できるという利点がある。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の一実施例である演奏システム１０を説明する図である。この図１に示すように、本実施例の演奏システム１０は、ノイマン型のコンピュータ装置１２と、撮像装置であるＵＳＢカメラ１４とを、備えて構成されており、そのＵＳＢカメラ１４により撮影された利用者（演奏者）１６の映像に基づき、上記コンピュータ装置１２においてその利用者１６の右手部１８ｒ及び／又は左手部１８ｌ（以下、特に区別しない場合には単に手部１８と称する）の動作を検出してその動作に基づく演奏を行う仮想的な音楽演奏システムである。

図２は、上記コンピュータ装置１２の構成を説明するブロック線図である。この図２に示すように、上記コンピュータ装置１２は、中央演算処理装置であるＣＰＵ２０と、読出専用メモリであるＲＯＭ２２と、随時書込読出メモリであるＲＡＭ２４と、記憶装置であるハードディスク２６と、キーボード等の入力装置２８と、ＵＳＢ接続部３０と、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置であるディスプレイ３２と、そのディスプレイ３２に映像を表示させるためのグラフィックボード３４と、音声出力装置であるスピーカ３６と、そのスピーカ３６から音声を出力させるためのサウンドボード３８とを、備えて構成されている。

上記ＣＰＵ２０は、上記ＲＡＭ２４の一時記憶機能を利用しつつ上記ＲＯＭ２２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂中央演算処理装置であり、図３を用いて後述する映像解析手段４２、動作検出手段４４、及び演奏制御手段４６等を機能的に備えている。また、上記ＵＳＢ接続部３０は、直接或いはＵＳＢケーブルを介して角型ＵＳＢコネクタが接続可能とされた平型ＵＳＢコネクタである。また、前記ハードディスク２６には、後述する動作検出手段４４により検出される動作に基づいて所定の演奏音を出力させるための演奏データを記憶する演奏データベース４０が設けられている。

前記ＵＳＢカメラ１４は、レンズから入射される映像を撮像素子であるＣＣＤ（charge coupled device）等により検知し、その映像を電子情報（映像データ）として取得する所謂デジタルカメラである。このＵＳＢカメラ１４は、ＵＳＢ接続部として角型ＵＳＢコネクタを備えており、前記コンピュータ装置１２のＵＳＢ接続部３０に接続されることによりそのコンピュータ装置１２との間で情報の通信が可能とされる。

図３は、前記コンピュータ装置１２のＣＰＵ２０に備えられた制御機能の要部を説明する機能ブロック線図である。この図３に示す映像解析手段４２は、前記ＵＳＢカメラ１４から前記ＵＳＢ接続部３０等を介して供給される映像データを解析する。好適には、その映像データがＲＧＢ（Red Green Blue）カラーモデルすなわち映像を赤、緑、及び青の３成分で表現するモデルである場合には、ＨＳＩ（Hue Saturation Intensity）カラーモデルすなわち映像を色相、彩度、及び明度の３要素で表現するモデルへの変換を行う。そして、ＨＳＩカラーモデルに変換された映像データについてラベリング処理のために仮ラベルをつけていく仮ラベル付処理、及びその仮ラベルを用いてのラベリング処理を行う。

上記仮ラベル付処理では、先ず、前記ＲＡＭ２４やハードディスク２６等の記憶装置に仮想的な空間を用意すると共に、その空間を零で初期化する。次に、色相、彩度、及び明度が所定の範囲内であるピクセルを、対応する仮想空間へ仮ラベル付していく。この所定範囲は、好適には、利用者１６の手部１８が往々にして裸出していることに鑑みて人間の肌の色を示す値とされ、例えば、Ｈ＝２５±１５、Ｓ＝０．２±０．１５、Ｉ＝０．７±０．２である。上記仮ラベルは１から始まる値であり、上記範囲から外れた場合はそのラベル値を零としてセットする。次に、所定位置例えば右上の座標から判定を開始し、判定座標の隣接右下のラベルの値をその時点における座標のラベル値とする。隣接右下のラベルの仮ラベル値が零であり且つ隣接右が零でないラベル値の場合、隣接右下のラベルの仮ラベル値を右下の値にセットし直す。隣接右下のラベルの仮ラベル値が零であり且つ２つ右隣が零でなければ、２つ右隣の値を隣接右下のラベルの仮ラベル値としてセットし直す。隣接右下のラベルの仮ラベル値が零であり且つ隣接下が零でなければ、隣接下２つ右隣の値を隣接右下のラベルの仮ラベル値としてセットし直す。以上の処理を行っても隣接右下のラベルの仮ラベル値が零である場合には、新規ラベル値を１加え、隣接右下のラベル値として代入する。そして、その時点における座標を前記ＲＡＭ２４やハードディスク２６等の記憶装置において同じ仮ラベルのリストに記憶する。

上記仮ラベル付処理に続いて、仮想空間の仮ラベルを用いてラベリング処理を行う。このラベリング処理では、先ず、所定位置例えば左上から走査を開始し、零でないラベルを検出する。次に、そのラベル値と右隣のラベル値を比較し、それらが異なる場合には、それら２つのラベルのグループのリストが前記ＲＡＭ２４やハードディスク２６等の記憶装置に記憶されているか否かを調べ、どちらも記憶されている場合にはそれらを結合する。次に、左下、下、右下に対して順次上記と同様の処理を行う。

前記動作検出手段４４は、前記映像解析手段４２により解析された映像データに基づいてその映像データにおける利用者１６の少なくとも一方、好適には両方の手部１８の動作を検出する。ここで、利用者の手部とは、利用者の腕部における少なくとも手首から先を含む部分を言う。また、手部の動作とは、好適には、その手首から先の部分における重心座標の移動を言う。すなわち、前記映像解析手段４２により解析される各クラスタの面積を算出し、その面積に基づいて利用者１６の手部を検出する。利用者１６の上半身において肌が裸出している部分が顔部及び両手部である場合、その顔部の面積が最も大きく、次に両手部の面積が大きいと考えられるので、面積が２番目に大きい部分及び３番目に大きい部分のクラスタの重心座標をそれぞれの手部の位置座標として算出する。重心座標は単純に各点の座標の平均値を求めるだけのものであってもよいし、より複雑な計算を行ってもよい。そして、そのようにして算出される手部の位置座標の軌跡を利用者１６の両手部１８それぞれの動作として検出する。

前記演奏制御手段４６は、予め定められた関係から前記動作検出手段４４により検出される利用者１６の手部１８の動作に基づいて演奏出力を行う。具体的には、前記演奏データベース４０に記憶された演奏データを用い、前記動作検出手段４４により算出される利用者１６の手部１８の位置座標の移動軌跡に基づいて、前記サウンドボード３８により所定の演奏音を生成或いは再生し、前記スピーカ３６を介してその演奏音を出力させる。この演奏制御手段４６は、前記動作検出手段４４により検出される利用者１６の手部１８の動作に基づいて、出力される演奏音の音程を変化させる。以下、その演奏の態様を例示する。

図４は、本実施例の演奏システム１０における演奏形態の一例を説明する図である。この図４に示す態様において、前記演奏制御手段４６は、前記演奏データベース４０に記憶された演奏データを用い、予め定められた関係に基づいて、前記動作検出手段４４により検出される利用者１６の一方の手部１８（図４では右手部１８ｒ）の動作に基づいて、出力される演奏音の音程を変化させると共に、他方の手部１８（図４では左手部１８ｌ）の動作に基づいて、出力される演奏音の音量を変化させる。すなわち、この態様では、前記動作検出部４４により検出される利用者１６の右手部１８ｒの、所定位置（図４ではｘ₀の点線で示す位置）を基準位置とするｘ座標（横方向の座標）に基づいて音程を変化させると共に、所定位置（図４ではｙ₀の点線で示す位置）を基準位置とする左手部１８ｌのｙ座標（縦方向の座標）に基づいて音量を変化させる。好適には、上記ｘ座標及びｙ座標の絶対値すなわち基準位置からの距離に比例した音程及び音量となるように制御する。これにより、よく知られた電子楽器であるテルミン様の演奏形態が実現される。また、利用者１６周辺に機械がない分旧来のテルミンよりも自由度の高い演奏が実現できる。なお、この態様では、旧来のテルミンと同じような演奏音を出力させてもよいし、まったく別の演奏音を出力させてもよい。更には、利用者の所望に応じて演奏音の種類を変更できるようにしても構わない。

図５は、本実施例の演奏システム１０における演奏形態の他の一例を説明する図である。この図５に示す態様において、前記演奏制御手段４６は、前記演奏データベース４０に記憶された演奏データを用い、予め定められた関係に基づいて、前記動作検出手段４４により検出される利用者１６の両方の手部１８ｒ、１８ｌの相対位置関係に基づいて、出力される演奏音の音程を変化させる。例えば、図５に示すように、前記動作検出手段４４により検出される利用者１６の右手部１８ｒと左手部１８ｌとの高さ方向の相対距離ｈと、右手部１８ｒと左手部１８ｌとの幅方向の相対距離ｗとに基づいて、それら右手部１８ｒと左手部１８ｌとの相対位置関係に対応する音程の演奏音を出力させる。この態様では、前記演奏制御手段４６は、例えば、前記動作検出手段４４の検出結果に基づいて出力される演奏音の音程を変化させるための関係の一例である図６に示すテーブル４８に従って演奏音を出力させる。すなわち、このテーブル４８では、利用者１６の右手部１８ｒと左手部１８ｌとの相対位置関係に対応する音程が、それら右手部１８ｒと左手部１８ｌとの高さ方向の相対距離ｈ及び幅方向の相対距離ｗそれぞれについて距離１ｍｍ毎に定められており、前記演奏制御手段４６は、前記動作検出手段４４により検出される利用者１６の両方の手部１８ｒ、１８ｌの相対位置関係に対応する音程をこのテーブル４８から読み出し、その音程の演奏音を出力させる。これにより従来になかったまったく新しい演奏形態を実現できる。また、両手部１８ｒ、１８ｌの相対位置関係に応じて演奏を行うものであることから、その手部１８ｒ、１８ｌの動作にダンスとしての要素を付与することができ、所謂パラパラ様のダンスと演奏とを複合させた、まったく新しい音楽芸術形態を実現できる。なお、上記形態と同様に、利用者の所望に応じて演奏音の種類を変更できるようにしてもよい。

図７は、前記コンピュータ装置１２のＣＰＵ２０による演奏制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、前記コンピュータ装置１２の入力装置２８を介して所定の操作が行われる等して本実施例の演奏システム１０による演奏が開始されたか否かが判断される。このＳ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ２において、前記ＵＳＢ接続部３０を介して供給される、前記ＵＳＢカメラ１４により撮影された映像データにおけるＲＧＢ値がＨＳＩ値へと変換されると共に、仮ラベル付処理が実行される。次に、Ｓ３において、Ｓ２にて付けられた仮ラベルを用いてラベリング処理が実行される。次に、前記動作検出手段４４の動作に対応するＳ４において、Ｓ３にてラベリングされた映像データにおける、利用者１６の両手部１８ｒ、１８ｌに対応する部位の動作の解析、検出処理が実行される。次に、前記演奏制御手段４６の動作に対応するＳ５において、Ｓ４にて検出された利用者の両手部１８ｒ、１８ｌの動作に応じて、前記演奏データベース４０に記憶された演奏データを用いて所定の演奏音が出力された後、Ｓ６において、前記コンピュータ装置１２の入力装置２８を介して所定の操作が行われる等して本実施例の演奏システム１０による演奏が終了させられたか否かが判断される。このＳ６の判断が否定される場合には、Ｓ２以下の処理が再び実行されるが、Ｓ６の判断が肯定される場合には、それをもって本ルーチンが終了させられる。以上の制御において、Ｓ２及びＳ３が前記映像解析手段４２の動作に対応する。

このように、本実施例によれば、利用者１６の映像を撮影するための撮像装置であるＵＳＢカメラ１４を備え、そのＵＳＢカメラ１４により撮影された利用者１６の映像に基づいてその利用者１６の少なくとも一方の手部１８の動作を検出する動作検出手段４４（Ｓ４）と、予め定められた関係から、その動作検出手段４４により検出される手部１８の動作に基づいて、出力される演奏音の音程を変化させる演奏制御手段４６（Ｓ５）とを、備えたものであることから、利用者１６の手部１８の動作に応じて音程が変化する目新しい演奏形態が実現できることに加え、演奏システムに習熟することによりその演奏システム独自の可能性を模索するといった発展性も期待できる。すなわち、簡単な構成により目新しく発展性の高い演奏形態を実現する演奏システム１０を提供することができる。

また、前記動作検出手段４４は、前記ＵＳＢカメラ１４により撮影された利用者１６の映像における色相、彩度、及び明度に基づいてその利用者１６の少なくとも一方の手部１８の動作を検出するものであるため、ＲＧＢカラーモデルよりも人間の肌の色が検出し易いＨＳＩカラーモデルにより、簡単且つ実用的な態様で利用者１６の手部１８の動作を検出することができるという利点がある。

また、前記動作検出手段４４は、前記ＵＳＢカメラ１４により撮影された利用者１６の映像に基づいてその利用者１６の両方の手部１８ｒ、１８ｌの動作を検出するものであり、前記演奏制御手段４６は、予め定められた関係から、前記動作検出手段４４により検出される一方の手部１８ｒの動作に基づいて、出力される演奏音の音程を変化させると共に、他方の手部１８ｌの動作に基づいて、出力される演奏音の音量を変化させるものであるため、簡単且つ実用的な態様でテルミン様の演奏形態を実現できるという利点がある。

また、前記動作検出手段４４は、前記ＵＳＢカメラ１４により撮影された利用者１６の映像に基づいてその利用者１６の両方の手部１８ｒ、１８ｌの動作を検出するものであり、前記演奏制御手段４６は、予め定められた関係から、前記動作検出手段４４により検出される両方の手部１８ｒ、１８ｌの相対位置関係に基づいて、出力される演奏音の音程を変化させるものであるため、簡単且つ実用的な態様で従来になかったまったく新しい演奏形態を実現できるという利点がある。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、前記映像解析手段４２及び動作検出手段４４は、利用者１６の身体において肌が裸出した部分としての両手部１８ｒ、１８ｌを、ＨＳＩカラーモデルにおける人間の肌の色を示す値に基づいて検出するものであったが、本発明はこれに限定されるものではなく、例えば、予め利用者１６の両手部１８ｒ、１８ｌにそれぞれ別色又は同色のマーカを貼り付ける等しておき、そのマーカの色を検出することにより利用者１６の両手部１８の動作を検出するものであってもよい。

また、前述した実施例において、前記映像解析手段４２及び動作検出手段４４により検出された利用者１６の動作は、前記演奏制御手段４６により演奏音を変化させることにのみ用いられていたが、例えば、その検出された動作に基づいてダンスを踊るアバタを前記ディスプレイ３２に表示させるような態様も考えられる。このようにすれば、本実施例の演奏システム１０におけるダンスの要素を視覚的に確認しつつ演奏を行うことができ、より嗜好性の高い演奏システムを実現できる。

また、前述の実施例では、制御装置であるコンピュータ装置１２と、撮像装置であるＵＳＢカメラ１４とがそれぞれ別体の装置として備えられた演奏システム１０について説明したが、それら制御装置及び撮像装置が一体的に備えられた演奏装置により本発明の演奏システムが実現されるものであっても当然に構わない。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

本発明の一実施例である演奏システムを説明する図である。図１の演奏システムに備えられたコンピュータ装置の構成を説明するブロック線図である。図２のコンピュータ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。図１の演奏システムにおける演奏形態の一例を説明する図である。図１の演奏システムにおける演奏形態の他の一例を説明する図である。図５の演奏形態において用いられる、利用者の両手部の相対位置と演奏音との対応関係を示すテーブルである。図２のコンピュータ装置のＣＰＵによる演奏制御の要部を説明するフローチャートである。

符号の説明

１０：演奏システム
１４：ＵＳＢカメラ（撮像装置）
１６：利用者
１８：手部
４４：動作検出手段
４６：演奏制御手段
４８：テーブル（関係）

Claims

利用者の身体の一部の動作を検出してその動作に基づく演奏を行う演奏システムであって、
利用者の映像を撮影するための撮像装置を備え、
該撮像装置により撮影された利用者の映像に基づいて該利用者の少なくとも一方の手部の動作を検出する動作検出手段と、
予め定められた関係から、該動作検出手段により検出される手部の動作に基づいて、出力される演奏音の音程を変化させる演奏制御手段と
を、備えたものであることを特徴とする演奏システム。
前記動作検出手段は、前記撮像装置により撮影された利用者の映像における色相、彩度、及び明度に基づいて該利用者の少なくとも一方の手部の動作を検出するものである請求項１の演奏システム。
前記動作検出手段は、前記撮像装置により撮影された利用者の映像に基づいて該利用者の両方の手部の動作を検出するものであり、前記演奏制御手段は、予め定められた関係から、前記動作検出手段により検出される一方の手部の動作に基づいて、出力される演奏音の音程を変化させると共に、他方の手部の動作に基づいて、出力される演奏音の音量を変化させるものである請求項１又は２の演奏システム。
前記動作検出手段は、前記撮像装置により撮影された利用者の映像に基づいて該利用者の両方の手部の動作を検出するものであり、前記演奏制御手段は、予め定められた関係から、前記動作検出手段により検出される両方の手部の相対位置関係に基づいて、出力される演奏音の音程を変化させるものである請求項１又は２の演奏システム。