JP2004354613A - 実楽器演奏ロボットと実楽器演奏ロボット群 - Google Patents

Abstract

【課題】指揮に合わせて動作することによって実楽器を演奏するロボットを実現すること。
【解決手段】本発明の一つの態様のロボット１００は、指揮のテンポにあわせて鍵盤楽器１４０を演奏する速度を増減する。そのために、音階の時系列変化を記述している楽曲データを記憶している楽曲データ記憶部１０８と、音階と鍵盤楽器からその音階を発生させるのに必要なロボット動作を対応付けて記憶している動作記憶部１１０と、指揮の態様からテンポを特定するとともに各種制御を実行する情報処理部１０６とを備えている。情報処理部１０６は、特定されたテンポで、楽曲データ記憶部１０８に記憶されている音階に対応するロボット動作を逐次に特定し、特定されたロボット動作を実行させる。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】本発明は、手足等を物理的機械的に動かすことによって、実楽器を演奏するロボットに関する。特に、指揮にあわせて実楽器を演奏するロボットに関する。本明細書では、シンセサイザー等の電子楽器に対する概念として「実楽器」という文言を使用する。この「実楽器」とは、何らかの機械的動作が加えられることによって発音する楽器を意味し、例えば、鍵盤楽器、管楽器、弦楽器、打楽器等を挙げることができる。
【０００２】
【従来の技術】下記特許文献１には、指揮者の指揮に合わせて楽曲を再生する装置が開示されている。この楽曲再生装置は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式で音階の時系列変化を記述している楽曲データを記憶している手段と、指揮棒に内蔵されている加速度センサと、加速度センサの出力から指揮者の意図するテンポとボリュームを特定する手段と、特定されたテンポで楽曲データから音階を読出し、読出された音階を特定されたボリュームで再生する電子楽器とを備える。この楽曲再生装置によると、指揮者が意図するテンポとボリュームに合わせて楽曲を再生することができる。
【０００３】
【特許文献１】
特開平６−１６１４４０号公報
【０００４】
【発明が解決しようとする課題】本発明者らは、実楽器を演奏するロボットを開発している。この実楽器演奏ロボットには、ピアニストが指を動かしてピアノを演奏するように、ロボットの手指を機械的に動かして実楽器を演奏することが期待されている。
指揮に合わせて手指の機械的動作のテンポ等を変えることによって指揮にあわせて実楽器を演奏するロボットは未だ実現されておらず、指揮にあわせて実楽器を演奏するロボットが実現されれば、人々を楽しませることができることが期待できる。
ロボットを動作させる場合、最終的にはロボットを機械的に動かすためのアクチュエータを制御する必要があり、制御に必要な指令を必要とする。アクチュエータを制御するためには、ロボットの姿勢変化等（アクチュエータの駆動態様やアクチュエータに供給する電流量でもよい）を教示する必要がある。ロボットの姿勢変化等を事前に教示しておけば、ロボットは教示されたとおりに手指等の姿勢を変化させる。その手指等の姿勢の変化が、実楽器を演奏するための動作であれば、結果としてロボットが実楽器を演奏する。
実楽器から発生させる音階によってロボットの手指等の姿勢変化は相違し、一曲を演奏し終えるのに必要な手指等の姿勢変化を教示するには多大の労力を要する。これが、実楽器を演奏するロボットを実現する一つの問題となっている。この問題が存在するために、指揮にあわせて実楽器を演奏するロボットは未だ実現されていない。本発明は、上記の問題点を解決し、指揮に合わせて動作することによって実楽器を演奏するロボットを実現することを目的とする。
【０００５】
【課題を解決するための手段と作用と効果】本発明の一つの態様のロボットは、指揮のテンポにあわせて実楽器を演奏する速度を増減する。そのために、指揮の態様からテンポを特定する手段と、音階の時系列変化を記述している楽曲データを記憶している手段と、音階と実楽器からその音階を発生させるのに必要なロボット動作を対応付けて記憶しているロボット動作記憶手段と、制御装置とを備えている。制御装置は、特定手段で特定されたテンポで、前記の楽曲データ記憶手段に記憶されている音階に対応するロボット動作を逐次に特定し、特定されたロボット動作を実行させる。
上記のロボット動作記憶手段は、音階に対応付けてその音階を発生させるのに必要なロボットの姿勢変化（右手を左方向に３０ｃｍ動かす等）を記憶してもよいし、音階に対応づけてその音階を発生させるのに必要なアクチュエータの駆動態様を記憶してもよい。ここでの「アクチュエータの駆動態様」とは、アクチュエータの制御量（例えば供給する電流量）を含んだ概念である。音階に対応付けてその音階を発生させるのに必要なロボットの姿勢変化を記憶している場合は、ロボットの姿勢変化を実現するためのアクチュエータの駆動態様を特定する必要がある。
本発明のロボットは、音階に対して実楽器からその音階を発生させるのに必要なロボット動作を対応付けて記憶しているロボット動作記憶手段を備えていることから、楽曲を演奏するようにロボットを教示するにあたって、ロボットの姿勢変化等を教示する必要がなく、音階の時系列変化を記述している楽曲データを教示すれば足りる。ロボットは、楽曲データの音階から、実楽器からその音階を発生させるのに必要なロボット動作を特定し、特定されたロボット動作を実行するために、教示された楽曲データに従った演奏が行われる。
しかもこのロボットでは、特定手段で特定されたテンポでロボット動作を読出していくことから、指揮者が意図するテンポで演奏される。ロボットは指揮のテンポにあわせて実楽器を演奏する動作を実行し、音階を経時的に変化させて楽曲を演奏する。
【０００６】
指揮者の意図するテンポにあわせるのみならず、指揮者の意図するボリュームにあわせることもできる。
このためには、特定手段が、指揮の態様からテンポとボリュームを特定し、ロボット動作記憶手段が、音階とボリュームに対して、実楽器からその音階をそのボリュームで発生させるのに必要なロボット動作を対応付けて記憶しており、制御装置が、特定手段で特定されたテンポで、楽曲データ記憶手段に記憶されている音階と特定手段で特定されたボリュームに対応するロボット動作を逐次に特定し、特定されたロボット動作を実行させる。
この場合、指揮者の意図するテンポとボリュームが得られるよう実楽器演奏ロボットの手指等の機械的動作が制御され、指揮に合わせたテンポとボリュームで実楽器を演奏する。
【０００７】
制御装置が、楽曲データ記憶手段に記憶されている音階の時系列に従ってアクチュエータの駆動態様を逐次に特定して記憶しておき、特定手段で特定されたテンポに従ったタイミングで、記憶しておいた駆動態様でアクチュエータを駆動することが好ましい。
本ロボットでは、音階から、その音階を発生させるのに必要なロボット動作（ロボットの姿勢変化又はアクチュエータの駆動態様）を読出してロボットを動作させる。教示データは単純である反面、教示データからロボットを動作させるまでの間に多くの時間を必要とする場合がある。例えば、教示データがアクチュエータの駆動態様である場合には、音階をキーとしてロボット動作記憶手段からアクチュエータの駆動態様を検索するのに時間がかかることがある。特に、教示データがロボットの姿勢変化である場合には、音階からロボットの姿勢変化を特定し、特定されたロボットの姿勢変化からアクチュエータの駆動態様を特定する必要があることから、多くの時間を必要とすることがある。
そこで、実際の演奏動作タイミングに先んじて、音階を発生させるのに必要なアクチュエータの駆動態様を特定して記憶しておき、そのようにして記憶しておいた駆動態様で演奏動作タイミングにあわせてアクチュエータを駆動することが好ましい。このようにすると、教示データからロボットを動作させるまでに要する演算負荷によってロボットの演奏動作が遅れることがない。この実楽器演奏ロボットによると、指揮者の意図するタイミングに正確にあわせながらロボットで実楽器を演奏することが可能となる。
【０００８】
異なる種類の実楽器を演奏するロボットは、異なる種類のアクチュエータを利用する。手指を動かすピアノ演奏ロボットのアクチュエータと、ドラムをたたく腕を動かす打楽器演奏ロボットのアクチュエータは相違し、アクチュエータの動作を開始してから実際の楽器音が得られるまでの時間が相違する。アクチュエータの動作開始時点から楽器音が得られるまでの時間をアクチェエータの応答時間ということにすると、楽器の種類が相違すると応答時間も相違する。アクチェエータの応答時間が相違するロボット群によって楽器音の発生タイミングを一致させるには、そのための技術が必要とされる。
そのためには、実楽器演奏ロボットのアクチュエータ駆動開始タイミングが、アクチェエータの応答時間のずれに呼応してずらしておくことが好ましい。例えば、応答時間が０．１秒のロボットＡと０．１５秒のロボットＢが存在する場合には、ロボットＢのアクチュエータ駆動開始タイミングをロボットＡよりも０．０５秒だけ早めておく。
アクチュエータの応答時間の相違に対応して、実楽器演奏ロボット群のアクチュエータ駆動開始タイミングがずらされていると、複数の実楽器演奏ロボットが同じタイミングで音を出すことができるようになる。
【０００９】
例えば一つの音階のみを出すことができる打楽器は、「楽曲スタートからの拍数」で演奏タイミングが記述できるものがある。
演奏タイミングが拍数で教示される場合には、実楽器演奏ロボットが、演奏タイミングを特定する「楽曲スタートからの拍数」を記憶している経過拍数記憶手段と、指揮の態様に基づいて「楽曲スタートからの拍数」をカウントする手段と、実楽器を演奏するロボット動作を記憶しているロボット動作記憶手段と、制御装置を備える。制御装置は、カウント手段のカウント値と経過拍数記憶手段に記憶されている「楽曲スタートからの拍数」が一致したときに、ロボット動作記憶手段に記憶されているロボット動作を実行させる。
「楽曲スタートからの拍数」は、いずれかの音符の長さを１拍としてカウントすることができる。例えば、１６分音符の長さを一拍とすると、４分の４拍子の一小節の長さは１６拍になる。
この実楽器演奏ロボットは、テンポの如何にかかわらず、教示された拍数において実楽器から音色を発生させる。
【００１０】
【発明の実施の形態】最初に、下記の実施例で説明する技術の主要な特徴をまとめる。
（形態１）本発明は、鍵盤楽器演奏ロボットと管楽器演奏ロボットと打楽器演奏ロボットに具現化することができる。
鍵盤楽器演奏ロボットは、指を動かすことによって鍵盤を押し、腕を動かすことによって音階を変える。
管楽器ロボットは、唇接触部に装着されて使用される演奏用アクチュエータを備える。この演奏用アクチュエータは、管楽器の唇接触部を覆うフィルタと、そのフィルタを振動させるフィルタ振動装置と、そのフィルタと管楽器の唇接触部との間に空気を供給する空気供給装置とから構成される。フィルタの振動数を変えると音階が変わる。供給する空気量を変えると音のボリュームが変わる。
打楽器演奏ロボットは、腕を動かすことによって打楽器を叩く。
（形態２） 楽曲データは、音階とその音階の拍数を示すデータのならびによって、音階の時系列変化を記述している。例えば、ド（１／４拍）、レ（１／４拍）、ミ（１／４拍）、ファ（１／４拍）、ソー（４／４拍）といったように、楽曲データを記憶している。この場合、楽曲スタートからの拍数を累積すると、各音階の演奏開始拍数と演奏停止拍数を計算することができる。
（形態３）制御装置は、音の演奏開始拍数で音を発生させ始め、演奏停止拍数で音の発生を終了させる。
（形態４）制御装置は、アクチュエータの応答時間だけ早いタイミングで、アクチュエータを駆動させ始める。
（形態５）制御装置は、アクチュエータを駆動させ始めるよりも早いタイミングで、アクチュエータの駆動態様を特定して記憶している。
（形態６）実楽器演奏ロボットは、指揮棒の動きを時系列的に撮影し続けることができるカメラを備えている。このカメラで撮影された画像から指揮棒を抽出し、指揮棒の視野内位置の変化を監視することによって、指揮者が意図するテンポとボリュームを特定する。
（形態８）指揮棒が所定の態様（例えば二拍子）で振られる場合、振りの周期からテンポを特定し、振りの振幅からボリュームを特定する。
【００１１】
【実施例】（第１実施例） 図面を参照して、本発明の実施例を説明する。本実施例では、鍵盤楽器１４０を演奏する鍵盤楽器演奏ロボット１００と、太鼓２４０を演奏する太鼓演奏ロボット２００と、トランペット３４０を演奏するトランペット演奏ロボット３００によって構成される実楽器演奏ロボット群１０を説明する。実楽器演奏ロボット群１０は、指揮者２０の指揮に合わせて、同時に、鍵盤楽器１４０と太鼓２４０とトランペット３４０を演奏する（合奏する）。
図１は、３台の実楽器演奏ロボット１００，２００，３００と指揮者２０の平面図を示している。図１では、各ロボット１００，２００，３００や指揮者２０を極めて簡略化して示している。
鍵盤楽器演奏ロボット１００は、ヒトの胴体を模してつくられた胴体部１５０と、ヒトの頭を模してつくられた頭部１５２と、２本の腕１３０，１３２（左アーム１３０、右アーム１３２）を備え、鍵盤楽器１４０を保持している。頭部１５２は、胴体部１５０に対して回転可能となっている。アーム１３０，１３２は、胴体部１５０に対して揺動可能に接続されている。各アーム１３０，１３２の先端には、ヒトの手指を模してつくられた人工手指（図示省略）が設けられている。アーム１３０，１３２が鍵盤楽器１４０の上方を移動することによって鍵盤キーが選択され、人工手指が屈曲することによって選択された鍵盤キーが押される。鍵盤楽器１４０の鍵盤キーを押すことによって、鍵盤楽器１４０から音が出る。鍵盤楽器演奏ロボット１００は、アーム１３０，１３２を利用して音階を選択し、人工手指を利用して音階を発生させて鍵盤楽器１４０を演奏する。
なお、以下では、「人工手指が鍵盤楽器１４０の鍵盤キーを押す」と正確に記載するべきところを、簡単のために「アーム１３０（又は１３２）が鍵盤キーを押す」と記載することにする。このことは、他のロボット２００，３００でも同様であり、人工手指に関する記載を省略する。また、図示省略しているが、ロボット１００には、ヒトの足を模した足部も設けられている。ロボット１００は、ヒューマノイドロボットといえる。鍵盤楽器演奏ロボット１００の頭部１５２には、時系列的に撮影し続けることができるカメラ１０２が内蔵されている。
指揮者２０が振る指揮棒３０の先端には赤くて丸い部材３２が取り付けられている。その赤くて丸い部材３２を撮影し続けられるように、カメラ１０２の視野は広めに設定されている。ロボット１００は、部材３２の存在位置を画像処理によって抽出し、その視野内位置の変化から指揮棒３０の動きを特定することができる。この点については後で詳しく説明する。
【００１２】
太鼓演奏ロボット２００は、鍵盤楽器演奏ロボット１００とほぼ同様の構成をしている。太鼓演奏ロボット２００は、胴体部２５０と、頭部２５２と、一対の腕２３０，２３２（左アーム２３０、右アーム２３２）と、カメラ２０２を備えており、太鼓２４０を保持している。アーム２３０，２３２が胴体部２５０に対して揺動することによって、太鼓２４０が叩かれる。これにより太鼓２４０から音が出る。太鼓２４０は、一つの音階の音だけを出すことができる。
トランペット演奏ロボット３００も、鍵盤楽器演奏ロボット１００とほぼ同様の構成をしており、胴体部３５０と、頭部３５２と、一対の腕３３０，３３２と、カメラ３０２を備えており、トランペット３４０を保持している。トランペット演奏ロボット３００は、アーム３３０，３３２（人工手指）がトランペット３４０の演奏用ピストンを押すことによって音階を変えるものではない。どのようにしてトランペット３４０から音を出すのかは後で説明する。
【００１３】
図２に、各ロボット１００，２００，３００のシステム構成を示している。図２では、本発明に直接関連しないものは図示を省略している。
鍵盤楽器演奏ロボット１００は、カメラ１０２、アーム１３０，１３２、アーム１３０，１３２を揺動させて人工手指を屈曲させるアクチュエータ１２０、アクチュエータ制御装置１２４、楽曲データ記憶部１０８、動作記憶部１１０、情報処理部１０６、Ｉ／Ｏ１０４等を有している。
カメラ１０２は、時系列的に撮影し続けることができるものであり、撮影した画像データをＩ／Ｏ１０４に送る。
Ｉ／Ｏ１０４は、送られてくる画像データを情報処理部１０６が処理できるデータ形式に変換する。変換されたデータは情報処理部１０６に取り込まれる。また、Ｉ／Ｏ１０４は、情報処理部１０６から送られてくる各種情報をアクチュエータ制御装置１２４に送る。
情報処理部１０６は、各種の処理を実行してロボット１００の動作を統括的に制御する。例えば、カメラ１０２の撮影画像から指揮棒３０の動きを抽出する画像処理、抽出された指揮棒３０の動きに基づいて楽曲データ記憶部１０８の記憶内容を読出す処理、読出した内容に基づいてロボット１００の動作に関する情報をアクチュエータ制御装置１２４に送る処理等を実行する。また、情報処理部１０６には記憶領域（図示省略）が設けられており、各種情報を記憶することもできる。また、情報処理部１０６は、カウンタ（図示省略）を有している。このカウンタは、拍数を１／１０単位でカウントしていくものであり（０→０．１→０．２・・・とカウントできる）、カウントスピードを変えることもできる。拍数に関しては後で詳しく説明する。
アクチュエータ制御装置１２４は、情報処理部１０６から送られてくる情報に基づいてアクチュエータ１２０を駆動する。
アクチュエータ１２０は、アクチュエータ制御装置１２４によって駆動制御される。アクチュエータ１２０が駆動することによって胴体部１５０に対してアーム１３０，１３２が揺動し、人工手指が折り曲げられる。これにより鍵盤楽器１４０から音が出る。アクチュエータ１２０としては、例えば、モータやソレノイドを用いることができる。
【００１４】
楽曲データ記憶部１０８は、音符の並びが時系列的に記述されたＭＩＤＩ形式のデータを記憶している。図３（ａ）の上の図は、楽曲データ記憶部１０８の記憶内容を楽譜で示したものである。実際には、図３（ａ）の上の図のような楽譜そのものを記憶しているのではなく、図３（ａ）の下の図に示すように、音階と演奏開始拍数と演奏停止拍数を対応づけて記憶している。ここでの「演奏開始（停止）拍数」は、楽曲のスタートからの拍数を意味している。図３（ａ）を例にすると、最初のソ（４分音符）のデータとして、音階ソと演奏開始拍数ゼロと演奏停止拍数４とを対応づけて記憶している。本実施例では、拍数の単位として、１６分音符の長さを「１」としている。従って、最初のソ（４分音符）の演奏停止拍数は「４」になっている。また、次のソ（４分音符）のデータとして、音階ソと演奏開始拍数４と演奏停止拍数８とを対応づけて記憶している。また、その次のシ（２分音符）のデータとして、音階シと演奏開始拍数８と演奏停止拍数１６とを対応づけて記憶している。
なお、鍵盤楽器１４０には、２オクターブ以上の音階（鍵盤）が用意されているために、例えばドが複数存在することになる。楽曲データ記憶部１０８が記憶している音階には、どの高さの音階かを示す情報が付加される。本実施例では、第１のド、第２のド、…といった具合に情報を付加している。第１のドとは、鍵盤の最も左に位置するドのことであり、そのドから１オクターブ上がると第２のドになる。同様に、他の音階にも高さを示す情報が付加される。但し、本明細書では、簡単化するために「第１の…」といった記載をしないでおく。
【００１５】
動作記憶部１１０は、音階とボリュームとロボット１００の動作を対応づけて記憶している。図４（ａ）に、動作記憶部１１０の記憶内容の一例を示す。例えば、音階ドとボリューム１と「左アームの座標＝（Ｘ１，Ｙ１）、左アームを下げる速度＝Ｖ１」とを対応づけて記憶している。これは、左アーム１３０の先端（人工手指）を座標（Ｘ１，Ｙ１）に移動させ、そこから左アーム１３０を速度Ｖ１で下げる（正確には左アーム１３０の人工手指を速度Ｖ１で屈曲させる）と、音階ドをボリューム１で演奏できることを意味している。「アームの座標」は、鍵盤上でのアーム先端（人工手指）の位置を意味しており、Ｘ方向とＹ方向は図１に示されている。鍵盤楽器１４０の鍵盤を押す速度が速いと鍵盤楽器１４０から大きな音が出るし、鍵盤を押す速度が遅いと鍵盤楽器１４０から小さな音が出る。このロボット１００は、アーム１３０，１３２を下げる速度を変えることで鍵盤楽器１４０から出すボリュームを変える。本実施例では、３段階のボリュームが用意されており、ボリューム１が最も小さく、ボリューム３が最も大きい。従って、ボリューム１に対応する速度Ｖ１が最も遅く、ボリューム３に対応する速度Ｖ３が最も速い。
【００１６】
図２に戻り、太鼓演奏ロボット２００のシステム構成について説明する。太鼓演奏ロボット２００のシステム構成は、鍵盤楽器演奏ロボット１００とほぼ同様である。即ち、カメラ２０２、アーム２３０，２３２、アクチュエータ２２０、アクチュエータ制御装置２２４、楽曲データ記憶部２０８、動作記憶部２１０、情報処理部２０６、Ｉ／Ｏ２０４等を有している。Ｉ／Ｏ２０４、情報処理部２０６、アクチュエータ制御装置２２４、及びアクチュエータ２２０のそれぞれは、鍵盤楽器演奏ロボット１００のそれとほぼ同様のものであるために、説明を省略する。
【００１７】
図３（ｂ）の上の図は、楽曲データ記憶部２０８の記憶内容を楽譜で表現したものである。図３（ｂ）の（ｉ）は左アーム２３０用の楽譜であり、（ｉｉ）は右アーム２３２用の楽譜である。実際は、楽曲データ記憶部２０８には、図３（ｂ）の下の図に示されるように、楽曲のスタートからの拍数と左右いずれかのアームとを対応づけて記憶している。例えば、拍数４と左アーム２３０とが対応づけて記憶されているが、これは、拍数４のときに左アーム２３０を駆動して太鼓２４０を叩くことを意味している。
【００１８】
図４（ｂ）には、動作記憶部２１０の記憶内容が示されている。動作記憶部２１０は、左右いずれかのアームとボリュームとロボットの動作とを対応づけて記憶している。例えば、左アームとボリューム１と「アームの最下点の座標＝Ｚ１」とを対応づけて記憶している。これは、左アーム２３０で太鼓１４０を叩いてボリューム１の音を出す場合、左アーム２３０をＺ１の高さまで下ろすことを意味している。このＺ方向は、図１の紙面垂直方向である。このロボット２００は、太鼓２４０を叩く速度を変えることによって太鼓２４０から出す音のボリュームを変えるという方法を採用せず、太鼓２４０を叩く深さを変えてボリュームを変える方法を採用している。太鼓２４０を叩く深さが深いと大きな音を出すことができ、太鼓２４０を叩く深さが浅いと小さい音を出すことができる。従って、最も小さいボリューム１に対応づけられた座標Ｚ１が最も高い位置であり、最も大きいボリューム３に対応づけられた座標Ｚ３が最も低い位置である。
【００１９】
図２に戻り、トランペット演奏ロボット３００のシステム構成について説明する。トランペット演奏ロボット３００は、カメラ３０２、楽曲データ記憶部３０８、動作記憶部３１０、情報処理部３０６、Ｉ／Ｏ３０４等を有している。Ｉ／Ｏ３０４、情報処理部３０６のそれぞれは、鍵盤楽器演奏ロボット１００のそれとほぼ同様のものであるために、説明を省略する。
トランペット演奏ロボット３００は、上記のほかに、アクチュエータ制御装置３２４と、フィルタ振動装置３２０と、メンブレンフィルタ３６０と、空気供給装置３２２等を有している。
【００２０】
トランペット３４０から音を出すための技術は、本願出願人によって既に出願された特願２００３−０５０５１１に記載の技術を採用する。本明細書では、トランペット３４０から音を出すための技術について簡単に説明しておく。トランペット３４０の唇接触部は、メンブレンフィルタ３６０で覆われる。そして、フィルタ振動装置３２０（具体的にはフィルタ３６０に固定されたコイルと電磁石とによって構成される）がメンブレンフィルタ３６０を振動させると、トランペット３４０から音が出る。フィルタ振動装置３２０がメンブレンフィルタ３６０の振動数を変えることによって音階を変えることができる。空気供給装置３２２は、メンブレンフィルタ３６０とトランペット３４０の唇接触部との間に加圧空気を供給する。この空気量を多くするとトランペット３４０から大きな音を出すことができ、空気量を少なくするとトランペット３４０から小さな音を出すことができる。
アクチュエータ制御装置３２４は、情報処理部３０６から送られてくる情報に基づいてフィルタ振動装置３２０の振動数と空気供給装置３２２が供給する空気量を制御する。フィルタ振動装置３２０のコイルに通電する電流量を変化させると、メンブレンフィルタ３６０の振動数が変わる。また、空気供給装置３２２に通電する電流量を変えると、供給される空気量が変わる。
【００２１】
楽曲データ記憶部３０８は、複数の音符が時系列的に記述されたＭＩＤＩデータを記憶している。この点は、鍵盤楽器演奏ロボット１００の楽曲データ記憶部１０８と同様である。図３（ｃ）の上の図は、楽曲データ記憶部３０８の記憶内容を楽譜で示したものである。実際には、楽譜をそのまま記憶しているのではなく、図３（ｃ）の下の図のように、音階と演奏開始拍数と演奏停止拍数とを対応づけて記憶している。
図４（ｃ）は、動作記憶部３１０の記憶内容を示す。動作記憶部３１０は、音階とボリュームとロボットの動作とを対応づけて記憶している。例えば、音階ドとボリューム１に対して「振動数＝Ｆ１、空気量＝Ａ１」を対応づけて記憶している。ここでの振動数は、メンブレンフィルタ３６０の振動数を意味している。また空気量は、空気供給装置３２２が供給する空気量を意味している。
【００２２】
以下に、鍵盤楽器演奏ロボット１００の情報処理部１０６が実行する処理について説明する。図５から図８に、情報処理部１０６が実行する各処理のフローチャートを示している。まず、図５を参照して、演奏をスタートする際に実行する処理（以下では演奏スタート処理という）について説明する。
＜演奏スタート処理＞
情報処理部１０６では、最初の音を発生させるために必要なアクチュエータ１２０の制御態様を事前に特定してアクチュエータ制御装置１２４に記憶しておく処理を実行する（ステップＳ２）。具体的には、（１）楽曲データ記憶部１０８から最初の音階（図３（ａ）に例示する場合ならばソ）を読出す。（２）続いて、読出した最初の音階とボリューム２（この段階ではボリュームを特定できないので標準的なボリューム２で指揮棒３０が振られると仮定しておく）をキーとして動作記憶部１１０を検索し、ロボットの動作を特定する。（３）特定されたロボットの動作を実現するのに必要なアクチュエータ１２０の制御量を計算してアクチュエータ制御装置１２４に記憶しておく。例えば、アクチュエータ１２０がモータである場合には、特定されたロボット動作を実行するのに必要な供給電流量を計算してアクチュエータ制御装置１２４に記憶しておく。
上記の（１）〜（３）を実行すると、アクチュエータ制御装置１２４がアクチュエータ１２０を駆動して楽曲の最初の音を鍵盤楽器１４０から出すために必要な制御情報がアクチュエータ制御装置１２４に記憶される。鍵盤楽器１４０から意図された音階を意図されたボリュームで発生させるのに必要な制御情報を事前にアクチュエータ制御装置１２４に記憶しておくと、制御情報を計算するのに時間を要して実際の演奏タイミングが遅れることを防止することができる。
【００２３】
続いて、指揮棒３０の動きを監視する（ステップＳ４）。情報処理部１０６は、カメラ１０２で撮影される画像から指揮棒３０の先端の部材３２を抽出し、その部材３２の視野内位置を算出する処理を常に実行している。このステップＳ４では、カメラ１５２の視野内にある部材３２が大きく位置を変えるとＹＥＳとされる。
指揮棒３０が振られ始めると、ステップＳ２でアクチュエータ制御装置１２４に記憶しておいた情報に従って、アクチュエータ１２０を駆動する（ステップＳ６）。この結果、楽曲の最初の音階が標準的ボリュームで演奏される。予め制御情報が計算されて記憶されているので、演奏タイミングが遅れることがなく、指揮棒３０が振られ始めるのに同期して楽曲の最初の音階が演奏される。
ステップＳ４でＹＥＳとされると、経過拍数カウンタでカウントをスタートする（ステップＳ８）。この時点では、指揮棒３０の動きからテンポを特定できないために、標準的な速度（下記の中速）でカウントをはじめる。
【００２４】
続いて、図６を参照して、指揮棒３０の動きを解析する処理（以下では指揮態様解析処理という）について説明する。
＜指揮態様解析処理＞
ステップＳ１０では、指揮棒３０の動きからテンポとボリュームを特定する処理を実行する。図９を参照しながらステップＳ１０の処理について詳しく説明する。図９は、指揮者２０が二拍子で指揮棒３０を振っている場合に、画像処理することによって抽出された部材３２の移動軌跡の一例である。（１）情報処理部１０６は、部材３２が下死点ｐにあるときから次に下死点ｐにくるまでを一周期として、その一周期の時間ｔを測定する。測定された時間からテンポが特定される。本実施例では、テンポが３段階（高速、中速、低速）に分けられている。測定された一周期の時間ｔが予め設定された時間Ｔ１より小さい場合は高速と特定し、一周期の時間ｔがＴ１以上で時間Ｔ２より小さい場合は中速と特定し、一周期の時間ｔがＴ２以上の場合は低速と特定する（Ｔ１＜Ｔ２）。（２）また、情報処理部１０６は、下死点ｐから上死点までの振幅ｓを測定する。測定された振幅ｓからボリュームが特定される。測定された振幅ｓが予め設定された閾値Ｓ１より大きい場合はボリューム３と特定し、振幅ｓが閾値Ｓ１以下で閾値Ｓ２より大きい場合はボリューム２と特定し、振幅ｓが閾値Ｓ２以下の場合はボリューム１と特定する（Ｓ１＞Ｓ２）。
図６のステップＳ１０でテンポとボリュームを特定すると、特定されたテンポ（高速、中速、又は低速）とボリューム（１、２、又は３）を記憶する（ステップＳ１２）。テンポとボリュームは、情報処理部１０６に設けられた記憶領域の所定のアドレスに格納される。このステップＳ１２の処理を行なう毎に、テンポとボリュームが更新されることになる。
ステップＳ１４では、特定されたテンポ（ステップＳ１２で記憶したテンポ）で拍数をカウントする。ステップＳ１４を終えると、ステップＳ１０に戻って指揮棒３０の動きからテンポとボリュームを特定する処理を再び実行する。
【００２５】
続いて、図７を参照して、一つの音が鍵盤楽器１４０から発音されるまでに実行される処理（以下では演奏処理という）を説明する。情報処理部１０６は、この演奏処理と上記した指揮棒解析処理とを並行して実行する。なお、後で説明する演奏停止処理（図８）も、演奏処理や指揮棒解析処理と並行して実行する。
＜演奏処理＞
ステップＳ２０では、拍数カウンタのカウント値と、現在発音している音の次の音の演奏開始拍数からα１を減算した値とが一致したか否かを監視している。本実施例では、このα１として０．５を採用している。図３（ａ）に例示する場合、現在最初のソが発音されているとすると、次のソの音の演奏開始拍数（４）から０．５が減算された３．５がカウントされるとＹＥＳとする。この場合、ステップＳ２２に進む。
ステップＳ２２では、次の音を発生させるはずのアクチュエータ１２０の制御量を事前に特定してアクチュエータ制御装置１２４に記憶しておく処理を実行する。具体的には、（１）楽曲データ記憶部１０８から次の音階（図３（ａ）に例示する場合ならばソ）を読出す。（２）続いて、読出した音階と、情報処理部１０６が記憶しているボリューム（上記したステップＳ１２参照）をキーとして動作記憶部１１０を検索し、ロボットの動作を特定する。（３）特定されたロボットの動作を実現するのに必要なアクチュエータ１２０の制御量を計算してアクチュエータ制御装置１２４に記憶しておく。
上記の（１）〜（３）を実行すると、次の音階を指揮者が意図するボリュームで鍵盤楽器１４０から発生させるのに必要な制御情報がアクチュエータ制御装置１２４に記憶される。鍵盤楽器１４０から意図された音階を意図されたボリュームで発生させるのに必要な制御情報を事前にアクチュエータ制御装置１２４に記憶しておくと、制御情報を計算するのに時間を要して実際の演奏タイミングが遅れることを防止することができる。
なお、アクチュエータ制御装置１２４は、必要な制御情報を得た段階で、次のような準備動作をアクチュエータ１２０に実行させてもよい。例えば、現在、左アーム１３０で鍵盤楽器１４０の鍵盤を押しており、得られた動作予告情報が右アーム１３２で鍵盤を押すものであった場合には、次に押される鍵盤の真上まで右アーム１３２を持ってくる動作を実行する。このような準備動作をしておくことによって、応答時間をより短くすることができる。
【００２６】
ステップＳ２４では、拍数カウンタのカウント値と、現在発音している音の次の音の演奏開始拍数からβ１を減算した値とが一致したか否かを監視する。本実施例では、β１として０．２を採用している。図３に例示する場合、現在発音している音が最初のソである場合、次のソの演奏開始拍数（４）から０．２を減算した３．８がカウントされたか否かを監視する。このβ１は、アクチュエータ１２０の応答時間（即ちアクチュエータ１２０が駆動開始してから実際に発音するまでの時間）を考慮して設定されている。ここでＹＥＳとされるとステップＳ２６に進む。
ステップＳ２６では動作開始信号を出力する。アクチュエータ制御装置１２４は、動作開始信号を入力すると、ステップＳ２２で記憶しておいた制御情報に従ってアクチュエータ１２０を駆動する。これにより、アーム１３０，１３２が駆動され鍵盤楽器１４０の鍵盤キーが押されることになる。
【００２７】
続いて、図８を参照して、一つの音の発音を停止する処理（以下では演奏停止処理という）について説明する。
＜演奏停止処理＞
情報処理部１０６は、拍数カウンタのカウント値と、現在発音している音の演奏停止拍数からβ１を減算した値とが一致したか否かを監視している（ステップＳ３０）。このβ１は、上述したステップＳ２４におけるβ１と同じ値である（但し異なる値を設定してもよい）。ここでＹＥＳとされるとステップＳ３２に進む。
ステップＳ３２では、動作停止信号をアクチュエータ制御装置１２４に送る。アクチュエータ制御装置１２４は、動作停止信号を入力すると、アクチュエータ１２０を駆動して鍵盤を押しているアーム１３０（又は１３２）を鍵盤から離す。これにより、現在発音している音の演奏が停止されることになる。なお、現在発音している音の演奏停止拍数と次に発音する音の演奏開始拍数が同じ場合には、ステップＳ３２の処理とステップＳ２６の処理とが同時に実行される（動作停止信号と動作開始信号とが同時に出力される）。この場合、アクチュエータ制御装置１２４は、アーム１３０（又は１３２）を鍵盤から離して現在の発音を停止する処理を優先して実行し、その後に次の音を演奏する処理を実行する。
【００２８】
次に、太鼓演奏ロボット２００の情報処理部２０６が実行する各処理について説明する。
＜指揮棒解析処理＞
情報処理部２０６は、図１０に示される指揮棒解析処理を実行する。図１０に示されるステップＳ１００，Ｓ１０２は、上記した図５のステップＳ４，Ｓ８と同様であるために説明を省略する。ステップＳ１００でＹＥＳとされると、ステップＳ１０４からステップＳ１０８の処理を繰り返して実行する。このステップＳ１０４からステップＳ１０８の処理は、上記したステップＳ１０からステップＳ１４までの処理（情報処理部１０６の指揮棒解析処理）と同様であるために、ここでは説明しない。
【００２９】
＜演奏処理＞
図１１に、情報処理部２０６が実行する演奏処理のフローチャートを示す。情報処理部２０６は、拍数カウンタのカウント値と、次の音の演奏開始拍数（太鼓２４０を叩く拍数）からα２を減算した値とが一致したか否かを監視している（ステップＳ１２０）。本実施例では、このα２として０．５を採用している。図３（ｂ）に例示する場合、次に太鼓２４０を叩く拍数が８であるならば、８から０．５が減算された７．５がカウントされるとＹＥＳとする。この場合、ステップＳ１２２に進む。
ステップＳ１２２では、次の音を発生させるはずのアクチュエータ２２０の制御量を事前に特定してアクチュエータ制御装置２２４に記憶しておく処理を実行する。この処理は、以下のようにして行なう。（１）まず、次に太鼓２４０を叩くアーム（左アーム２３０又は右アーム２３２）と、情報処理部２０６が記憶しているボリュームとをキーとして動作記憶部２１０を検索し、ロボットの動作を特定する。例えば、次に太鼓２４０を叩くのが左アーム２３０であって、ボリュームが３であるならば、「左アームの最下点の座標＝Ｚ３」を特定する（図４（ｂ）参照）。（２）続いて、特定されたロボットの動作を実現するのに必要なアクチュエータ２２０の制御量を計算してアクチュエータ制御装置２２４に記憶しておく。例えば、アクチュエータ２２０がモータである場合には、検索されたロボット動作を実行するために必要なモータ回転数や回転速度等に対応した供給電流量を計算してアクチュエータ制御装置２２４に記憶しておく。
上記の（１）と（２）を実行すると、アクチュエータ制御装置２２４がアクチュエータ２２０を駆動して、太鼓２４０を指揮者が意図するボリュームで叩くのに必要な制御情報がアクチュエータ制御装置２２４に記憶される。太鼓２４０から意図されたボリュームで発生させるのに必要な制御情報を事前にアクチュエータ制御装置２２４に記憶しておくと、制御情報を計算するのに時間を要して実際の演奏タイミングが遅れることを防止することができる。
ステップＳ１２４では、カウンタのカウント値と、次の音の演奏開始時間からβ２を減算した値とが一致したか否かを監視する。本実施例では、β２として０．３を採用している。図３（ｂ）に例示する場合、次に太鼓２４０を叩く演奏開始拍数が８であるならば、８から０．３を減算した７．７がカウントされるとＹＥＳとする。このβ２は、アクチュエータ２２０の応答時間を考慮して設定されている。ここでＹＥＳとされるとステップＳ１２６に進む。
ステップＳ１２６では動作開始信号を出力する。アクチュエータ制御装置２２４は、動作開始信号を入力すると、計算して記憶しておいた制御態様に従ってアクチュエータ２２０を駆動する。これにより、左アーム２３０又は右アーム２３２が駆動して太鼓２４０が叩かれることになる。
【００３０】
続いて、トランペット演奏ロボット３００の情報処理部３０６が実行する処理について説明する。
情報処理部３０６が実行する演奏スタート処理と指揮態様解析処理は、鍵盤楽器演奏ロボット１００の情報処理部１０６が実行する処理（図５、図６参照）と同様であるために、説明を省略する。
＜演奏処理＞
図１２に、情報処理部３０６が実行する演奏処理のフローチャートを示す。ステップＳ２２０では、カウンタのカウント値と、次の音の演奏開始拍数からα３を減算した値とが一致したか否かを監視している。本実施例では、このα３として０．３を採用している。図３（ｃ）を例にするならば、現在最初のラが発音されているとすると、次のラの演奏開始拍数（８）から０．３が減算された７．７がカウントされるとＹＥＳとする。
ステップＳ２２２では、次の音を発生させるはずのアクチュエータ３２０の制御量を事前に特定してアクチュエータ制御装置３２４に記憶しておく処理を実行する。この処理は、次の音を発生させるために必要なフィルタ振動装置３２０と空気供給装置３２２の供給電流量をそれぞれ計算し、計算された各供給電流量をアクチュエータ制御装置２２４に記憶しておくことによって実行する。
ステップＳ２２４では、カウンタのカウント値と、現在発音している音の次の音の演奏開始拍数からβ３を減算した値とが一致したか否かを監視する。本実施例では、β３として０．１を採用している。図３（ｃ）を例にするならば、現在発音している音が最初のラである場合、次のラの演奏開始拍数（８）から０．１を減算した７．９がカウントされたか否かを監視する。このβ３は、フィルタ振動装置３２０と空気供給装置３２２の応答時間を考慮して設定されている。ここでＹＥＳとされるとステップＳ２２６に進む。
ステップＳ２２６では動作開始信号を出力する。アクチュエータ制御装置３２４は、動作開始信号を入力すると、ステップＳ２２２で記憶しておいた制御態様でフィルタ振動装置３２０と空気供給装置３２２を駆動する（即ち記憶しておいた電流量をフィルタ振動装置３２０と空気供給装置３２２に通電する）。これにより、メンブレンフィルタ３６０が振動してトランペット３４０から音が出る。
【００３１】
続いて、情報処理部３０６の演奏停止処理について説明する。図１３に、情報処理部３０６が実行する演奏停止処理のフローチャートを示す。
＜演奏停止処理＞
情報処理部３０６は、カウンタのカウント値と、現在発音している音の演奏停止拍数からβ３を減算した値とが一致したか否かを監視している（ステップＳ２３０）。このβ３は、上述したステップＳ２２４におけるβ３と同じ値である。ここでＹＥＳとされるとステップＳ２３２に進む。
ステップＳ２３２では、動作停止信号をアクチュエータ制御装置３２４に送る。アクチュエータ制御装置３２４は、動作停止信号を入力すると、フィルタ振動装置３２０と空気供給装置３２２の動作を停止させる（即ち通電をストップする）。これにより、現在発音している音の演奏が停止されることになる。
【００３２】
上記した各実楽器演奏ロボット１００，２００，３００は、指揮者２０によって指揮されたテンポとボリュームに合わせて演奏することができる。この実楽器演奏ロボット１００，２００，３００によると、人々を楽しませることができることが期待できる。
また、各アクチュエータ１２０，２２０，３２０，３２２の応答時間が考慮されたタイミングで動作開始信号が出力されるために、予定されている音を予定されている演奏開始拍数で出すことができる。各実楽器１４０，２４０，３４０の発音タイミングを合わして同時演奏することもできる。
また、事前にアクチュエータの制御態様を計算して記憶しておくために、各アクチュエータ１２０，２２０，３２０，３２２の制御態様を計算するのに時間を要して、実際の演奏タイミングが遅れることがない。
【００３３】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
例えば、ロボット１００，３００に、楽曲の最初に発音する音を楽曲の演奏開始前から事前出力させてもよい。この場合、図５のステップＳ２の段階で、最初の音を発生させるようにアクチュエータ１２０，３２０を駆動する。
また、上記実施例では、各動作記憶部１１０，２１０，３１０に、各ロボット１００，２００，３００の姿勢を記憶させていたが、そのかわりに、各アクチュエータ１２０，２２０，３２０，３２２の駆動態様（モータの回転数等）や制御量（供給電流量等）を記憶させてもよい。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【図１】実楽器演奏ロボット群の概略平面図。
【図２】各実楽器演奏ロボットの概略システム図。
【図３】（ａ）鍵盤楽器演奏ロボットの楽曲データ記憶部の記憶内容。（ｂ）太鼓演奏ロボットの楽曲データ記憶部の記憶内容。（ｃ）トランペット演奏ロボットの楽曲データ記憶部の記憶内容。
【図４】（ａ）鍵盤楽器演奏ロボットの動作記憶部の記憶内容。（ｂ）太鼓演奏ロボットの動作記憶部の記憶内容。（ｃ）トランペット演奏ロボットの動作記憶部の記憶内容。
【図５】鍵盤楽器演奏ロボットの情報処理部が実行する演奏スタート処理のフローチャート。
【図６】鍵盤楽器演奏ロボットの情報処理部が実行する指揮態様解析処理のフローチャート。
【図７】鍵盤楽器演奏ロボットの情報処理部が実行する演奏処理のフローチャート。
【図８】鍵盤楽器演奏ロボットの情報処理部が実行する演奏停止処理のフローチャート。
【図９】指揮棒の移動軌跡の一例。
【図１０】太鼓演奏ロボットの情報処理部が実行する指揮棒解析処理のフローチャート。
【図１１】太鼓演奏ロボットの情報処理部が実行する演奏処理のフローチャート。
【図１２】トランペット演奏ロボットの情報処理部が実行する演奏処理のフローチャート。
【図１３】トランペット演奏ロボットの情報処理部が実行する演奏停止処理のフローチャート。
【符号の説明】
１０・・実楽器演奏ロボット群
２０・・指揮者
３０・・指揮棒
３２・・指揮棒の先端に取り付けられた部材
１００・・鍵盤楽器演奏ロボット
１０２・・カメラ
１０４・・Ｉ／Ｏ
１０６・・情報処理部
１０８・・楽曲データ記憶部
１１０・・動作記憶部
１２０・・アクチュエータ
１２４・・アクチュエータ制御装置
１３０・・左アーム
１３２・・右アーム
１４０・・鍵盤楽器
１５０・・胴体部
１５２・・頭部
２００・・太鼓演奏ロボット（以下は太鼓演奏ロボットの構成要素）
２０２・・カメラ
２０４・・Ｉ／Ｏ
２０６・・情報処理部
２０８・・楽曲データ記憶部
２１０・・動作記憶部
２２０・・アクチュエータ
２２４・・アクチュエータ制御装置
２３０・・左アーム
２３２・・右アーム
２４０・・太鼓
２５０・・胴体部
２５２・・頭部
３００・・トランペット演奏ロボット（以下はトランペット演奏ロボットの構成要素）
３０２・・カメラ
３０４・・Ｉ／Ｏ
３０６・・情報処理部
３０８・・楽曲データ記憶部
３１０・・動作記憶部
３２０・・フィルタ振動装置
３２２・・空気供給装置
３２４・・アクチュエータ制御装置
３３０・・左アーム
３３２・・右アーム
３４０・・トランペット
３５０・・胴体部
３５２・・頭部
３６０・・メンブレンフィルタ

Claims (5)

1. 指揮に合わせて動作することによって実楽器を演奏するロボットであり、
   指揮の態様からテンポを特定する手段と、
   音階の時系列変化を記述している楽曲データを記憶している手段と、
   音階と、実楽器からその音階を発生させるのに必要なロボット動作を対応付けて記憶しているロボット動作記憶手段と、
   前記特定手段で特定されたテンポで、前記楽曲データ記憶手段に記憶されている音階に対応するロボット動作を逐次に特定し、特定されたロボット動作を実行させる制御装置と
   を備える実楽器演奏ロボット。
2. 指揮に合わせて動作することによって実楽器を演奏するロボットであり、
   指揮の態様からテンポとボリュームを特定する手段と、
   音階の時系列変化を記述している楽曲データを記憶している手段と、
   音階とボリュームに対して、実楽器からその音階をそのボリュームで発生させるのに必要なロボット動作を対応付けて記憶しているロボット動作記憶手段と、
   前記特定手段で特定されたテンポで、前記楽曲データ記憶手段に記憶されている音階と前記特定手段で特定されたボリュームに対応するロボット動作を逐次に特定し、特定されたロボット動作を実行させる制御装置と
   を備える実楽器演奏ロボット。
3. 前記制御装置は、前記楽曲データ記憶手段に記憶されている音階の時系列に従ってアクチュエータの駆動態様を逐次に特定して記憶しておき、前記特定手段で特定されたテンポに従ったタイミングで、記憶しておいた駆動態様でアクチュエータを駆動することを特徴とする請求項１又は２の実楽器演奏ロボット。
4. 請求項３のロボットで構成される実楽器演奏ロボット群であり、各実楽器演奏ロボットのアクチュエータの応答時間が異なり、
   その応答時間の相違に対応して、アクチュエータ駆動開始タイミングがロボット毎にずらされていることを特徴とする実楽器演奏ロボット群。
5. 指揮に合わせて動作することによって実楽器を演奏するロボットであり、
   「楽曲のスタートからの拍数」を記憶している経過拍数記憶手段と、
   指揮の態様に基づいて「楽曲のスタートからの拍数」をカウントする手段と、
   実楽器を演奏するロボット動作を記憶しているロボット動作記憶手段と、
   前記カウント手段のカウント値と、経過拍数記憶手段に記憶されている「楽曲のスタートからの拍数」が一致したときに、前記ロボット動作記憶手段に記憶されているロボット動作を実行させる制御装置と
   を備える実楽器演奏ロボット。

Images