JP2014130237A - 楽曲演奏装置 - Google Patents

Abstract

【課題】演奏者に対して弦楽器の押弦状態を適切に教示する。
【解決手段】本発明に係る楽曲演奏処理は、前記演奏処理は、指定された前記楽曲情報の前記演奏情報を前記演奏手段に表示させる演奏処理と、押弦表示処理は、前記演奏処理の進行に同期して前記押弦情報に対応する押弦画像情報を読み出し、撮像手段が撮像する撮像情報を左右反転して反転撮像情報を形成し、前記反転撮像情報に対して、読み出された前記押弦画像情報を重畳して表示手段に表示させる押弦表示処理と、を実行することを特徴とする。
【選択図】図７

Description

本発明は、楽曲情報に含まれる演奏情報に基づいて演奏を行う楽曲演奏装置に関する。特に、演奏される楽曲に合わせて弦楽器の演奏を行うことのできる楽曲演奏装置に関する。

従来、カラオケボックスやスナックなどのナイト店に設置されているカラオケ装置では、楽曲の演奏に合わせて歌唱を楽しむことが行われている。特許文献１には、歌唱のみならず楽器演奏を楽しむことのできるカラオケ装置が提案されている。この特許文献１に開示されるカラオケ装置は、カラオケ演奏されるパートの内、ミュート（消音）できるパートを表示し、利用者から指示されたパートをミュートし、当該パートのマイナスワン演奏を楽しむことができる。さらに、特許文献１に開示されるカラオケ装置では、画面にコード名を表示させて、演奏者に対してどのコードを演奏するべきかを指示し、紙の楽譜を用いずとも演奏を楽しむことが可能となっている

また、楽器演奏を補助する装置として、特許文献２には、楽器を表す楽器画像と、楽器を演奏する姿勢の手指を表す透過画像とを含む運指指示画像を生成し、表示手段に表示させる運指指示装置が開示されている。この特許文献２に開示される運指指示装置では、手指を表す画像が透過状態で表示されるため、運指画像が楽器画像の前面に重なり合っていても、ユーザは、楽器画像を明確に確認することが可能となる。

特開２００１−１００７７１号公報 特開２００５−２４１８７７号公報

特許文献２に開示される運指指示装置で表示される運指指示画像は、模範となる運指状態を楽器画像と共に生成されたものである。したがって、この特許文献２にて楽器演奏を行う場合、演奏者となるユーザは、運指指示装置に表示される運指指示画像と、演奏する楽器とを見比べながら自己の運指状態を決定する必要がある。そのため、ユーザは、運指指示画像と、演奏する楽器間で何度も確認しながら演奏する必要があり、運指状態を直感的に決定することができないという問題があった。このような問題は、楽器上で自己が取っている運指状態を視認しなければならない楽器初心者において、特に顕著となる。

このため、特許文献１の構成において、ユーザがギターなどの楽器を接続し、楽曲の演奏進行とともに、特許文献２のように画像を表示画面に表示させた場合、ユーザは運指状態を一々視認する必要がある。運指状態を視認するため、表示画面から目を離した場合には、演奏が止まってしまい、次に表示画面に眼を向けたときには表示画面の画像は以降の運指に進行してしまい、ギター演奏の継続が困難になる。

そのため、本発明に係る楽曲演奏装置は、
楽曲情報に基づいて楽曲を演奏する楽曲演奏装置において、
演奏情報に基づいて演奏を行う演奏手段と、
演奏処理と、前記演奏処理と同期して実行される押弦表示処理と、を実行可能な制御手
段と、を備え、
前記楽曲情報は、前記演奏情報と、前記演奏情報の進行に同期した押弦情報と、を含んで構成され、
前記演奏処理は、指定された前記楽曲情報の前記演奏情報を前記演奏手段に表示させ、
前記押弦表示処理は、前記演奏処理の進行に同期して前記押弦情報に対応する押弦画像情報を読み出し、撮像手段が撮像する撮像情報を左右反転して反転撮像情報を形成し、前記反転撮像情報に対して、読み出された前記押弦画像情報を重畳して表示手段に表示させることを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記押弦表示処理は、前記演奏処理の進行上、次の前記押弦情報に対応する前記押弦画像情報を表示することを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記押弦表示処理は、前記演奏処理の進行上、現在の前記押弦情報に対応する前記押弦画像情報を表示することを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記押弦画像情報は、押弦する手の形、もしくは、弦の押下位置の少なくとも一方を含んだものであることを特徴とする。

さらに本発明に係る楽曲演奏装置は、
前記演奏処理の開始前に、前記撮像手段にて撮像された弦楽器の位置と、前記押弦画像情報の表示位置とを位置合わせする位置合わせ処理を実行することを特徴とする。

さらに本発明に係る楽曲演奏装置は、
前記押弦表示処理の実行中、前記撮像手段にて撮像された弦楽器の位置と、前記押弦画像情報の表示位置とを位置合わせする位置追従処理を実行することを特徴とする。

本発明に係る楽曲演奏装置によれば、演奏に同期して押弦画像情報を読み出して、撮像手段で撮像された弦楽器上に重畳して表示させることで、ユーザはどのように運指を行えばよいか確認することが可能となる。特に、撮像手段で撮像された弦楽器は左右に反転して表示されるため、ユーザが感じる違和感を抑え、直感的にどのように運指すればよいかを確認することが可能となる。

さらに、本発明に係る楽曲演奏装置によれば、演奏処理の進行上、次に押させるべき弦の状態を押弦画像情報として表示させることで、ユーザは現在の押弦状態に対してどのように運指すればよいかを確認することが可能となる。

さらに、本発明に係る楽曲演奏装置によれば、演奏処理の進行上、現在押さえるべき弦の状態を押弦画像情報として表示させることで、ユーザは現在、どのように弦を押さえればよいかを確認することが可能となる。

さらに、本発明に係る楽曲演奏装置によれば、押弦画像情報は、押弦する手の形、もしくは、弦の押下位置の少なくとも一方を含んだものとしている。押弦する手の形を採用することで、ユーザは表示される反転撮像情報と比較して自己の手の形をどのようにすべきか確認することが可能となる。また、弦の押下位置を表示することで、反転撮像情報中、ユーザの手にて隠される場合がある弦の位置と押下位置とを、ユーザに的確に伝えることが可能となる。

さらに、本発明に係る楽曲演奏装置によれば、演奏処理の前に事前に、撮像手段にて撮像された弦楽器の位置と、押弦画像情報の表示位置とを位置合わせしておく（位置合わせ処理）ことで、撮像情報中、撮像された弦楽器に対して押弦画像情報を適切に表示させることが可能となる。

さらに、本発明に係る楽曲演奏装置によれば、演奏処理の実行中、撮像手段にて撮像された弦楽器の位置と、押弦画像情報の表示位置とを位置合わせする（位置追従処理）ことで、演奏中、弦楽器の位置が変動した場合においても、撮像された弦楽器に対して押弦画像情報を適切に表示させることが可能となる。

本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係る楽曲演奏処理を示すフロー図 本発明の実施形態に係る楽器用演奏準備処理を示すフロー図 本発明の実施形態に係る楽器用演奏処理を示すフロー図 本発明の実施形態に係る表示補正処理を示すフロー図 本発明の実施形態に係る位置決め画像表示の様子を示す図 本発明の実施形態に係る楽器用演奏処理における表示の様子を示す図

では、本発明の実施形態に係る楽曲演奏装置について、カラオケシステムに適用した場合を例にとって説明を行う。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１ａ、１ｂにて構成されおり、これらは、ＬＡＮ１００にて、無線、有線で通信可能なように互いに接続されている。カラオケ装置２は、楽器演奏者に対して運指のお手本（押弦画像）をモニタ装置に表示する楽曲演奏装置として機能する。カラオケ装置２による表示出力先は、モニタ装置４１ではなく、リモコン装置１とすることとしてもよい。

店舗に設置されるカラオケ装置２は、リモコン装置１（例えば、１ａ、１ｂ）によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。

さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバ装置）が設けられ、その記憶部５１には、楽曲情報やユーザー情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。

本発明の実施形態に係る楽曲演奏装置としてのカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク（ＨＤＤ）３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。

本実施形態では、カラオケ装置２に対して外部楽器４４ｃを接続可能としている。外部
楽器４４ｃとしては、電気的な音響信号（演奏音情報）を出力するとともに、運指のお手本（押弦画像）を表示することで演奏補助可能な各種弦楽器（ギター、ベース、バイオリンなど）を使用することが可能である。入力された演奏音情報は、音響制御部７０にて演奏される演奏情報とミキシングされてスピーカ４２から放音される。この他、外部楽器４４ｃには、ＭＩＤＩギターなどＭＩＤＩ信号を出力可能なものを使用し、音響制御部７０内のＭＩＤＩ音源を制御することで、演奏を行うこととしてもよい。この他、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンで拾った楽器音を音響制御部７０に入力する、あるいは、スピーカ４２を介すことなく楽器自身から放音される音を利用することが考えられる。

楽曲情報は、外部楽器の演奏を練習するための楽曲（楽器練習楽曲）として用意されたものであり、ＭＩＤＩ情報などで構成された演奏情報、背景映像を指定するための背景映像指定情報、演奏に同期して歌詞を表示するための歌詞情報、そして、演奏に同期して押弦画像を表示させるための押弦情報を含んで構成されている。楽曲が指定されると、楽曲情報に含まれる演奏情報を音響制御部７０にて演奏させるとともに、モニタ装置４１に対して、演奏に同期した歌詞表示、そして、押弦画像表示が実行される。

押弦情報は、演奏の進行に対応付けられており、演奏に同期して表示すべき押弦画像情報を識別する押弦画像識別情報を含んで構成されている。制御部３０は、演奏の進行に伴って読み出される押弦画像識別情報に対応する押弦画像情報を読み出すことで、押弦画像（押弦画像情報）をモニタ装置４１に表示せる。

さらに、カラオケ装置２は、カメラ４３が接続されており、カメラ４３が撮像した撮像情報を取り込み可能としている。本実施形態では、このカメラ４３にて撮像された撮像情報を押弦画像とともに、モニタ４１などの表示手段に表示させることで、演奏者に対して弦楽器の運指を教示することとしている。

では、本実施形態のカラオケ装置２にて実行される楽曲演奏処理について説明する。図２は、本発明の実施形態に係る楽曲演奏処理を示すフロー図である。カラオケ装置２の電源投入後、演奏処理が開始されると、カラオケ装置２は、予約テーブルをチェック（Ｓ１０１）し、次に演奏する楽曲の有無を判定する（Ｓ１０２）。予約テーブル中、次に演奏する楽曲が有りと判定された場合（１２０２：Ｙｅｓ）には、当該予約楽曲が楽器練習用楽曲か否かを判定する（Ｓ１０３）。楽器練習用楽曲で無い場合（Ｓ１０３：Ｎｏ）は、当該楽曲に応じた演奏処理を実行する。ここでは、楽器練習用楽曲以外は通常楽曲であることを想定し、通常演奏処理（Ｓ１０４）が実行されることとしている。

一方、予約楽曲が楽器練習用楽曲であると判定された場合（Ｓ１０３：Ｙｅｓ）には、楽器用演奏準備処理（Ｓ２００）に引き続いて、楽器用演奏処理（Ｓ３００）が実行される。この楽器用演奏準備処理（Ｓ２００）は、カメラ４３の撮像位置に対して演奏者が保持する弦楽器の位置決めを行うための処理である。また、楽器用演奏処理（Ｓ３００）は、演奏情報を演奏手段としての音響制御部７０に演奏させるとともに、カメラ４３で撮像された撮像情報に対して、弦楽器の押弦状態を指示する押弦画像情報を映像制御部３１で重畳してモニタ４１などの表示手段に表示させる処理である。映像処理部３１は、一方の画像（前面画像）を他方の画像（後面画像）に重畳して表示するためのオーバレイ機能を備えており、前面画像に透明色を重み付けして半透明として、後面画像の前面に重畳することができる。半透明度合いは、予め設定されている。もしくは、前面画像として、押弦画像、位置決め画像）が、線で描画された画像（コンピュータグラフィック）である場合は、透明色を使わず、後面画像となる撮像情報の画像に、重畳して画像表示することもできる。

まず、楽器用演奏準備処理（位置合わせ処理）について説明する。図３には楽器用演奏準備処理を示すフロー図が示されている。この処理が開始されると、モニタ装置４１には、カメラ４３の撮像範囲と楽器の位置合わせを行うための位置決め画像が表示される（Ｓ２０１）。図６には、モニタ４１における位置決め画像表示の様子が示されている。図６は、ギターを使用する場合の位置決め画像の例であり、ギターのネック部分の位置決め画像がカメラ４３による撮像情報に重畳して表示されている。この位置決め画像には、ネック部分についてフレット位置（１〜４フレット）、弦の位置、指板の位置が示されている。本実施形態では、位置決め画像としてフレット、弦、指板を使用しているが、位置合わせにおいてはフレットの位置のみで行うことも可能である。楽曲で演奏対象となる楽器が決まっている場合、形状は略同じことが予想されるため、フレットの位置合わせを行う程度で、撮像位置と楽器の位置合わせを行うことが可能である。

カラオケ装置２は、カメラ４３による撮像を開始し（Ｓ２０２）、撮像によって得られた撮像情報を左右反転してモニタ４１に表示させる（Ｓ２０３）。したがって、モニタ４１には、図６に示すように左右反転した撮像情報上に位置決め画像が重畳された状態で表示されることとなる。楽器を所持する演奏者は、このモニタ４１を見ながら楽器（ギター）の位置を、位置決め画像に合わせる。本実施形態では、モニタ４１にて撮像情報を左右反転させているため、演奏者はいわば鏡を見ている状態で位置合わせを行うことが可能となっている。

カラオケ装置２では、撮像情報中、フレット、弦、指板を画像認識することで取得する。例えば、認識対象となる楽器の構成をパターンマッチングすることでその位置を認識することが可能である。演奏者による位置合わせに基づき、フレット、弦、指板が所定位置となったこと（Ｓ２０５：Ｙｅｓ）を条件として、楽器とカメラ４３の撮像位置の位置調整は完了する。なお、前述したように位置調整処理は、撮像情報中の弦楽器のフレット位置のみに基づいて判定することとしてもよい。

この楽器用演奏準備処理（Ｓ２００）による撮像位置と楽器の位置合わせ完了後、楽器用演奏処理（Ｓ３００）が開始する。図４には、この楽器用演奏処理を示すフロー図が示されている。この楽器用演奏処理では、まず、カメラ４３で撮像された撮像情報をモニタ４１などの表示手段に表示させる（Ｓ３０１）。図７は楽器用演奏処理でのモニタ４１の表示画面を示した図である。この図に示されるように本実施形態では、カメラ４３で撮像された撮像情報を複数（２つ）のウィンドウにて表示させている。各ウィンドウに表示される撮像情報には、押弦画像が重畳されて表示される。左側に表示されるウィンドウは、現在の運指を指示するためのウィンドウであり、撮像情報に対して現在の押弦画像が重畳されて表示される。一方、右に小さく表示されるウィンドウは、次の運指を指示するためのウィンドウであり、撮像情報に対して次の押弦画像が重畳されて表示される。本実施形態では、現在と次の運指を指示する２つのウィンドウとしているが、さらなるウィンドウを設けることで、更に次の運指を指示することとしてもよい。なお、これらウィンドウ内で表示される撮像情報は、左右反転した状態となっており、演奏者は、鏡を見ているような状態で違和感なく、自分の運指状態を確認することが可能となっている。

また、この楽器用演奏処理では、運指指示用の２つのウィンドウの下に、演奏進行を示す情報が表示されている。本実施形態では、バーの進行にて演奏進行を表現している。このバーの下部には楽曲の歌詞が表示され、バーの上部にはコード情報が表示されている。さらに、運指指示の各ウィンドウ上部には、運指に対応するコード情報が表示されている。

演奏開始当初は、現在の運指を指示するウィンドウ（図７の左側のウィンドウ）には、撮像情報に対して、最初の押弦画像が重畳された状態で表示されており、次の運指を指示
するウィンドウ（図７の右側のウィンドウ）には、撮像情報に対して、２番目の押弦画像が重畳された状態で表示された状態となっている。ここで、押弦画像とは、演奏者に対して運指を指示するための画像であって、押弦画像情報に基づいて表示される画像である。

図７の各ウィンドウには、写真で示される撮像情報に対して、押弦画像（フレット番号、並びに、白い輪郭で示される押弦する手の形（輪郭）、並びに、斜線部にて示される弦の押下位置）を重畳させている。本実施形態では、楽器用演奏準備処理にて撮像位置に対する楽器の位置決めが行われているため、撮像範囲の所定位置にこれら押弦画像を表示させることで、撮像された楽器の所定位置に押弦画像を位置させることが可能となっている。押弦画像として表示させる手の形は、輪郭にて表示しているが、半透明の状態で表示させることとしてもよい。演奏者は撮像情報中の自分の手の形と比較することで運指を確認することが可能となる。なお、本実施形態では、押弦画像としてフレット番号、手の形、弦の押下位置を示しているが、少なくとも手の形、弦の押下位置の一方を表示することで、演奏者は運指状態を確認することが可能である。

なお、本実施形態では、現在の運指を指示するウィンドウ（図７の左側）と次の運指を指示するウィンドウ（図７の右側）について、押弦画像を表示させているが、弦楽器の演奏では、現在の運指状態に対して次にどのように運指するかが重要である。そのため、運指状態の表示は、次の運指の指示のみを表示させることとしてもよい。演奏者は撮像情報にて表示される現在の運指状態に対して、次にどのように運指すればよいかを事前に確認し、スムースな運指（楽器演奏）を行うことが可能となる。

このような画面構成にて演奏者は運指を確認しつつ、演奏を行うことが可能となっている。運指指示用の画面を表示（Ｓ３０２）後、演奏手段としての音響制御部７０に演奏情報を演奏開始させる（Ｓ３０３）。本実施形態では、演奏開始後、位置追従処理（Ｓ３５０）を実行することで、撮像情報に対して押弦画像を適切な位置に重畳させている。押弦画像を表示させている期間中、カメラ４３にて撮像される楽器の位置が移動することが考えられる。そのため、この位置追従処理（Ｓ３５０）を行うことで、楽器の位置が移動した場合においても楽器の位置と押弦画像の位置を適切に保つこととしている。詳細については、後で詳しく説明する。

また、カラオケ装置２は、楽曲情報中の押弦情報に基づいてコード情報が変更される期間（コード期間）を監視し、１つのコード期間が終了する毎（Ｓ３０４：Ｙｅｓ）に以降の処理を実行する。１つのコード期間が終了した場合（Ｓ３０４：Ｙｅｓ）、押弦画像を消去し（Ｓ３０６）、新しい押弦画像を表示させる（Ｓ３０７）。図７の例では、現在の運指を指示するウィンドウ（図７の左側）で表示させていた押弦画像を消去し、当該ウィンドウに、次の運指を指示するウィンドウ（図７の右側）で表示させていた押弦画像を表示させる。次の運指を指示するウィンドウ（図７の右側）には、新たな押弦画像が表示されることとなる。このような処理を最終コード期間が終了する（Ｓ３０５：Ｙｅｓ）まで繰り返し実行することで、各ウィンドウに適切に運指を指示する押弦画像を表示させることが可能となる。最終コード期間が終了した場合（Ｓ３０５：Ｙｅｓ）には、カメラ４３からの撮像情報を取得終了し（Ｓ３０８）、楽器用演奏処理を終了する。

図５には、この位置追従処理を示すフロー図が示されている。本実施形態の位置追従処理では、楽器の傾き、サイズ、移動を検知することで、カメラ４３の撮像範囲中、楽器の位置が適切な位置となるように調整し、楽器の位置に対して押弦画像を一致させている。

この位置追従処理では、撮像情報を画像認識することで、楽器の位置を検出する（Ｓ３５１）。楽器の位置（ここでは、フレット、弦、指板（フィンガーボード）の位置）を検出する処理について順に説明する。フレット、弦と、それらを備える指板（フィンガーボ
ード）とは、それぞれが、ほぼ直交や並行する直線であるため、交差する形状は、碁盤目状の長方形状となる（例えば、図７参照）。長方形の傾きを抽出しておけば、後述する、Ｓ３５２での判定処理（楽器の傾きは特定）は実行可能である。また、画像のサイズは、撮像情報の中で、複数の平行する長い側の直線形状を弦、複数の平行する短い側の直線形状をフレットと判断し、フレットの間隔が所定の間隔になっているかを判断しておけば、後述する、Ｓ３５６での判定処理（サイズの大小は特定）は実行可能である。更に、位置がずれているかは、表示部１１の表示画像内の、所定の位置に例えば１フレットの基準位置表示（例えば、図７の“１”参照）として表示を表示し、基準位置から順に２〜６の位置とフレットが一致しているか判断すればよいので、後述するＳ３６０での判定処理も実行可能である。２次元の画像形状を識別したり認識する技術（例えば、製造ラインなどで物品形状や、位置を特定する技術など）は周知であるため詳細には述べない。

このように、本実施形態では、楽器の位置としてフレット、弦、指板の位置を使用しているが、押弦画像を楽器の適切な位置に重畳可能であれば、楽器の適宜な構成の位置を使用することが可能である。Ｓ３５２では、検出した楽器の位置（傾き）が、所定の傾きと一致しているか否かを判定する。楽器の傾きが一致しない場合、Ｓ３５３〜Ｓ３５５に示す押弦画像に対する傾き調整を実行する。楽器が右に傾いていた場合（Ｓ３５３：Ｙｅｓ）、押弦画像を右に傾けることで撮像情報中の楽器と押弦画像の傾きを一致させる。一方、楽器が左に傾いていた場合（Ｓ３５３：Ｎｏ）、押弦画像を左に傾けることで撮像情報中の楽器と押弦画像の傾きを一致させる。

検出した楽器サイズが、所定の大きさで無いと判定した場合（Ｓ３５６：Ｎｏ）には、カメラ４３のズーム比を変更することで、撮像情報中、撮像される楽器サイズを所定の大きさに維持する。Ｓ３５７にて、撮像情報中の楽器サイズが所定の大きさに対して小さい場合（Ｓ３５７：Ｙｅｓ）には、カメラ４３をズームインすることで所定の大きさとなるように変更する（Ｓ３５８）。一方、撮像情報中の楽器サイズが所定の大きさに対して大きい場合（Ｓ３５７：Ｎｏ）には、カメラ４３をズームアウトすることで所定の大きさとなるように変更する（Ｓ３５９）。

Ｓ３６０では、撮像情報中の楽器の位置ずれの検出を行う。楽器の位置が所定位置でない場合（Ｓ３６０：Ｎｏ）、カメラ４３の撮像範囲を変更することで、撮像情報中の楽器位置が適正位置となるように調整を行う。カメラ４３自体の撮像方向を変更することの他、撮像情報中、表示する部分を切り出す場合には、その切り出し範囲を変更することが考えられる。また、楽器の位置が撮像範囲内から外れてしまうことも考えられる。このような場合、楽器を撮像範囲に入れる、あるいは、撮像範囲中の所定位置に位置させるよう注意を促す表示をモニタ４１に表示させることとしてもよい。

本実施形態では、楽器の傾きについては押弦画像の傾きを調整することで、楽器のサイズ、位置ずれについては撮像範囲を変更することで、押弦画像と楽器の位置の適正化が図られている。

以上、本実施形態の楽曲演奏装置によれば、カメラ４３で撮像された弦楽器上に半透過の状態で表示させることで、ユーザはどのように運指を行えばよいか確認することが可能となる。特に、カメラ４３で撮像された弦楽器は左右に反転して表示されるため、ユーザが感じる違和感を抑え、直感的にどのように運指すればよいかを確認することが可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。本実施形態においては、映像制御部３１のオーバレイの設定（画像を重畳する前後関係）は、前面画
像を弦画像、位置決め画像とし、後面画像を撮像情報の画像として説明した。映像制御部３１の他のオーバレイ設定として、前面画像を、半透明化を行なった撮像情報の画像とし、後面画像を弦画像、位置決め画像として、更に後面画像のコントラストを十分に高くなるよう設定すれば、ユーザは自分の運指を、楽曲演奏の進行中に、楽器を演奏しながらモニタ装置４１から確認することができる。

１ａ、１ｂ…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像演奏部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ装置、４２…スピーカ、４４ａ…歌唱用マイク、４４ｂ〜４４ｄ…外部楽器、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ、５…カラオケ用ホスト、５１…記憶部、５２…送受信手段、５３…サーバ側制御手段、５４…楽曲演奏部、５４１…演奏手段、５４２…演奏手段、５４３…演奏音量調整ボリューム、５４４…ミキシング部、５４５…演奏音量調整ボリューム、５４６…圧縮手段、７０…音響制御部、７１…Ａ／Ｄ変換器、７２…出力音量調整ボリューム、７３…Ｄ／Ａ変換器、７４…楽曲演奏部、７４１…演奏手段、７４２…演奏手段、７４３…演奏音量調整ボリューム、７４４…ミキシング部、７５…演奏音量調整ボリューム、７６…Ｄ／Ａ変換器、７７…ミキシング部

Claims (6)

1. 楽曲情報に基づいて楽曲を演奏する楽曲演奏装置において、
   演奏情報に基づいて演奏を行う演奏手段と、
   演奏処理と、前記演奏処理と同期して実行される押弦表示処理と、を実行可能な制御手段と、を備え、
   前記楽曲情報は、前記演奏情報と、前記演奏情報の進行に同期した押弦情報と、を含んで構成され、
   前記演奏処理は、指定された前記楽曲情報の前記演奏情報を前記演奏手段に表示させ、
   前記押弦表示処理は、前記演奏処理の進行に同期して前記押弦情報に対応する押弦画像情報を読み出し、撮像手段が撮像する撮像情報を左右反転して反転撮像情報を形成し、前記反転撮像情報に対して、読み出された前記押弦画像情報を重畳して表示手段に表示させることを特徴とする
   楽曲演奏装置。
2. 前記押弦表示処理は、前記演奏処理の進行上、次の前記押弦情報に対応する前記押弦画像情報を表示することを特徴とする
   請求項１に記載の楽曲演奏装置。
3. 前記押弦表示処理は、前記演奏処理の進行上、現在の前記押弦情報に対応する前記押弦画像情報を表示することを特徴とする
   請求項１または請求項２に記載の楽曲演奏装置。
4. 前記押弦画像情報は、押弦する手の形、もしくは、弦の押下位置の少なくとも一方を含んだものであることを特徴とする
   請求項１から請求項３の何れか１項に記載の楽曲演奏装置。
5. 前記演奏処理の開始前に、前記撮像手段にて撮像された弦楽器の位置と、前記押弦画像情報の表示位置とを位置合わせする位置合わせ処理を実行することを特徴とする
   請求項１から請求項４の何れか１項に記載の楽曲演奏装置。
6. 前記押弦表示処理の実行中、前記撮像手段にて撮像された弦楽器の位置と、前記押弦画像情報の表示位置とを位置合わせする位置追従処理を実行することを特徴とする
   請求項１から請求項５の何れか１項に記載の楽曲演奏装置。