JP2023154236A - 情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】他の演奏者による演奏を視覚的に参照しながら鍵盤楽器を演奏することを可能にする。
【解決手段】情報処理システム１００は、現実空間の鍵盤楽器１０の鍵盤を含む観測画像を撮像装置２１から取得する画像取得部４１と、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、参照演奏者の手指が観測画像における鍵盤に重なるように、表示装置２２に表示する表示制御部４２とを具備する。
【選択図】図５

Description

本開示は、鍵盤楽器の演奏を支援する技術に関する。

鍵盤楽器等の楽器の演奏を支援するための各種の技術が従来から提案されている。例えば特許文献１には、鍵盤楽器を演奏する利用者の手指の画像を解析することで、手指の姿勢に関する時系列情報を推定する技術が開示されている。

国際公開第２０２１／１５７６９１号

例えば鍵盤楽器の演奏を練習する場面では、練習者の近傍に指導者が所在する状況が好適である。しかし、練習者の近傍に指導者が常に所在することは現実的には困難である。なお、以上の説明においては練習者による鍵盤楽器の練習を想定したが、複数の利用者が鍵盤楽器等を連弾する場面等においても同様の問題が発生する。以上の事情を考慮して、本開示のひとつの態様は、他の演奏者による演奏を視覚的に参照しながら鍵盤楽器を演奏することが可能な技術の提供を目的とする。

以上の課題を解決するために、本開示のひとつの態様に係る情報処理システムは、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部と、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部とを具備する。

本開示のひとつの態様に係る情報処理方法は、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得することと、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示することとを含む。

本開示のひとつの態様に係るプログラムは、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部、および、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部、としてコンピュータシステムを機能させる。

演奏システムの構成図である。 映像システムの構成を例示するブロック図である。 情報処理システムの動作の説明図である。 情報処理システムの構成を例示するブロック図である。 情報処理システムの機能的な構成を例示するブロック図である。 画像生成処理のフローチャートである。 制御処理のフローチャートである。 第２実施形態における観測画像の模式図である。 第４実施形態における画像生成処理のフローチャートである。 第５実施形態における画像生成処理のフローチャートである。 第６実施形態における演奏システムの構成を例示するブロック図である。 第６実施形態における情報処理システムの機能的な構成を例示するブロック図である。

Ａ：第１実施形態
図１は、第１実施形態における演奏システム１００の構成を例示するブロック図である。演奏システム１００は、利用者Ｕによる鍵盤楽器１０の演奏を支援するコンピュータシステムである。利用者Ｕは、演奏システム１００を利用して鍵盤楽器１０の演奏を練習する。演奏システム１００は、鍵盤楽器１０と映像システム２０と情報処理システム３０とを具備する。鍵盤楽器１０および映像システム２０の各々は、有線または無線により情報処理システム３０と通信可能である。

鍵盤楽器１０は、利用者Ｕが所在する現実空間に設置された電子楽器であり、鍵盤Ｂxと筐体１１とを具備する。鍵盤Ｂxは、相異なる音高に対応する複数の鍵Ｋx（白鍵および黒鍵）で構成される。利用者Ｕは、鍵盤楽器１０の各鍵Ｋxを順次に操作することで特定の楽曲（以下「目標楽曲」という）を演奏する。鍵盤楽器１０は、利用者Ｕによる演奏に並行して、当該演奏を表す演奏データＰを情報処理システム３０に供給する。演奏データＰは、利用者Ｕが演奏した音符を表すデータである。利用者Ｕによる鍵盤Ｂxの操作毎（例えば押鍵毎）に、演奏データＰが鍵盤楽器１０から順次に出力される。例えば、演奏データＰは、利用者Ｕが操作した鍵Ｋxに対応する音高と押鍵の強度とを指定する。演奏データＰは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠したイベントデータである。

映像システム２０は、利用者Ｕの頭部に装着される映像機器（ＨＭＤ：Head Mounted Display）である。例えばゴーグル型またはメガネ型のＨＭＤが、映像システム２０として利用される。

図２は、映像システム２０の構成を例示するブロック図である。映像システム２０は、撮像装置２１と表示装置２２とを具備する。すなわち、撮像装置２１と表示装置２２とは利用者Ｕの頭部に装着される。したがって、撮像装置２１および表示装置２２の各々の位置および方向は、利用者Ｕの頭部の動作に応じて変化する。

撮像装置２１は、現実空間内の所定の範囲を撮像する。具体的には、撮像装置２１は、利用者Ｕの頭部の前方（すなわち視線の方向）に位置する所定の範囲を撮像する。鍵盤楽器１０を演奏する利用者Ｕは、当該利用者Ｕの手指Ｈxと鍵盤Ｂxとを視認する。したがって、撮像装置２１は、図３に例示される通り、利用者Ｕの左右の手指Ｈxと鍵盤楽器１０の鍵盤Ｂxとを含む動画（以下「観測画像」という）Ｘを撮像する。撮像装置２１が撮像する範囲は、利用者Ｕの頭部の動作に応じて変化する。撮像装置２１は、利用者Ｕによる鍵盤楽器１０の演奏に並行して、観測画像Ｘを表す観測画像データＤxを生成する。撮像装置２１は、例えば、撮影レンズ等の光学系と、光学系からの入射光を受光する撮像素子と、撮像素子による受光量に応じた観測画像データＤxを生成する処理回路とを具備する。撮像装置２１は、例えば鍵盤Ｂxの白鍵および黒鍵と利用者Ｕの手指Ｈxとの境界が明確になるように露出を自動的に調整する。

図２の表示装置２２は、情報処理システム３０による制御のもとで各種の画像を表示する。例えば、液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが、表示装置２２として利用される。表示装置２２は、利用者Ｕの両眼の前方に設置される。第１実施形態の表示装置２２は、現実空間からの到来光が透過しない非透過型の表示パネルである。

第１実施形態の表示装置２２は、図３の案内画像Ｚを表示する。案内画像Ｚは、観測画像Ｘと参照画像Ｙとを含む動画である。参照画像Ｙは、演奏動作を実行する仮想的な演奏者（以下「参照演奏者」という）の手指Ｈyと、参照演奏者が演奏する鍵盤Ｂyとを含む立体動画である。参照演奏者は、利用者Ｕに演奏を指導する仮想的な指導者である。なお、利用者Ｕと連弾する他の演奏者を参照演奏者としてもよい。鍵盤Ｂyは、現実空間の鍵盤Ｂxと同様に、横方向に配列された複数の鍵Ｋyを含む。参照画像Ｙは、参照演奏者が鍵盤Ｂyを手指Ｈyにより操作することで目標楽曲を演奏する様子を表す動画である。すなわち、参照画像Ｙは、目標楽曲に関する模範的な運指を表す。

案内画像Ｚにおいて、参照画像Ｙは、観測画像Ｘの鍵盤Ｂxに重なるように表示される。すなわち、参照画像Ｙにおける参照演奏者の手指Ｈyと鍵盤Ｂyとが、観測画像Ｘにおける鍵盤Ｂxに重なるように、案内画像Ｚが表示装置２２に表示される。具体的には、参照画像Ｙにおける手指Ｈyおよび鍵盤Ｂyのサイズおよび方向は、観測画像Ｘの鍵盤Ｂxのサイズおよび方向に応じて設定される。例えば、鍵盤Ｂyの各鍵Ｋyと観測画像Ｘの鍵盤Ｂxの各鍵Ｋxとが同等のサイズとなるように、参照画像Ｙが拡大または縮小される。また、鍵盤Ｂyの表面と観測画像Ｘの鍵盤Ｂxの表面とが相互に平行となるように、参照画像Ｙにおける手指Ｈyおよび鍵盤Ｂyの角度が制御される。したがって、利用者Ｕは、参照演奏者が恰も現実空間に存在するかのような感覚で鍵盤楽器１０を演奏できる。

図４は、情報処理システム３０の構成を例示するブロック図である。情報処理システム３０は、映像システム２０を制御するためのコンピュータシステムである。具体的には、情報処理システム３０は、案内画像Ｚを表示装置２２に表示する。

情報処理システム３０は、制御装置３１と記憶装置３２と操作装置３３と放音装置３４とを具備する。情報処理システム３０は、例えばスマートフォンまたはタブレット端末等の可搬型の情報装置、またはパーソナルコンピュータ等の可搬型または据置型の情報装置により実現される。なお、情報処理システム３０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。また、情報処理システム３０は、鍵盤楽器１０または映像システム２０に搭載されてもよい。

制御装置３１は、情報処理システム３０の動作を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置３１が構成される。

記憶装置３２は、制御装置３１が実行するプログラムと、制御装置３１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置３２として利用される。なお、例えば、情報処理システム３０に対して着脱される可搬型の記録媒体、または、制御装置３１が通信網を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置３２として利用されてもよい。

第１実施形態の記憶装置３２は、楽曲データＭと参照画像データＤyとを複数の楽曲の各々について記憶する。各楽曲の楽曲データＭは、当該楽曲の模範的または標準的な演奏を表すデータである。具体的には、各楽曲の楽曲データＭは、当該楽曲を構成する音符の時系列を指定する時系列データである。例えばＭＩＤＩ規格に準拠した音楽ファイルが楽曲データＭとして例示される。

各楽曲の参照画像データＤyは、当該楽曲の参照画像Ｙを表す動画データである。すなわち、各楽曲の参照画像Ｙは、参照演奏者が当該楽曲を演奏する様子を表す立体動画である。各楽曲の参照画像Ｙは、当該楽曲に関する運指を表す動画とも表現される。

参照画像データＤyは、任意の形式の３ＤＣＧ（3 Dimensional Computer Graphics）データである。例えば、参照演奏者の手指Ｈyと鍵盤Ｂyとを点群で表現する点群データが参照画像データＤyとして利用される。また、手指Ｈyおよび鍵盤Ｂyの骨格または関節を表すスケルトンデータが参照画像データＤyとして利用されてもよい。例えば、現実の演奏者による楽曲の演奏に並行して手指Ｈyと鍵盤Ｂyとを複数の方向から撮像した結果に応じて、参照画像データＤyが生成される。したがって、参照画像Ｙにおける鍵盤Ｂyの複数の鍵Ｋyの各々は、参照演奏者による演奏に連動して変位する。すなわち、参照画像Ｙを視認した利用者Ｕは、参照演奏者による押鍵で鍵Ｋyが変位する様子を確認できる。

操作装置３３は、利用者Ｕによる操作を受付ける入力機器である。例えば、利用者Ｕは、操作装置３３を操作することで複数の楽曲から目標楽曲を選択する。例えば、利用者Ｕが操作する操作子、または、利用者Ｕによる接触を検知するタッチパネルが、操作装置３３として利用される。なお、情報処理システム３０とは別体の操作装置３３が、情報処理システム３０に対して有線または無線により接続されてもよい。

放音装置３４は、制御装置３１による制御のもとで音響を放射する。放音装置３４は、例えばスピーカまたはヘッドホンである。例えば、利用者Ｕによる演奏動作に応じた楽音の波形を表す音響信号Ａが放音装置３４に供給される。なお、音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器と、音響信号Ａを増幅する増幅器とについては、便宜的に図示が省略されている。また、情報処理システム３０とは別体の放音装置３４を、情報処理システム３０に対して有線または無線により接続してもよい。

図５は、情報処理システム３０の機能的な構成を例示するブロック図である。制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、案内画像Ｚを表示装置２２に表示するための複数の機能（画像取得部４１，表示制御部４２，基準特定部４３，音源処理部４４，演奏解析部４５）を実現する。

画像取得部４１は、観測画像Ｘを撮像装置２１から取得する。具体的には、画像取得部４１は、撮像装置２１が生成する観測画像データＤxを映像システム２０から受信する。

表示制御部４２は、案内画像Ｚを表示装置２２に表示する。具体的には、表示制御部４２は、案内画像Ｚを表す案内画像データＤzを表示装置２２に出力することで、当該案内画像Ｚを表示装置２２に表示する。表示制御部４２は、画像取得部４１が取得した観測画像Ｘと記憶装置３２に記憶された目標楽曲の参照画像Ｙとを合成することで案内画像Ｚを生成する。

前述の通り、表示制御部４２は、参照演奏者の手指Ｈyと鍵盤Ｂyとが観測画像Ｘの鍵盤Ｂxに重なるように、参照画像Ｙを観測画像Ｘに合成することで、案内画像Ｚを生成する。参照画像Ｙにおける手指Ｈyおよび鍵盤Ｂyのサイズおよび方向は、観測画像Ｘの鍵盤Ｂxのサイズおよび方向に応じて設定される。具体的には、表示制御部４２は、鍵盤Ｂyの各鍵Ｋyと観測画像Ｘの鍵盤Ｂxの各鍵Ｋxとが同等のサイズとなるように、参照画像Ｙを拡大または縮小する。また、表示制御部４２は、鍵盤Ｂyの表面と観測画像Ｘの鍵盤Ｂxの表面とが相互に平行となるように、参照画像Ｙにおける手指Ｈyおよび鍵盤Ｂyの角度を制御する。

基準特定部４３は、観測画像Ｘにおいて参照画像Ｙの基準となる位置（以下「基準位置」という）Ｒを特定する。観測画像Ｘにおいて基準位置Ｒに対応する位置に参照画像Ｙが配置されることで案内画像Ｚが生成される。すなわち、基準位置Ｒに対して所定の位置関係となるように参照画像Ｙが観測画像Ｘに合成される。

基準特定部４３は、観測画像Ｘの解析により基準位置Ｒを特定する。具体的には、図３に例示される通り、基準特定部４３は、観測画像Ｘにおける鍵盤Ｂxの端部１２を検出し、当該端部１２の位置を基準位置Ｒとして特定する。鍵盤Ｂxの左側の端部１２および右側の端部１２の一方または双方が検出される。鍵盤Ｂxの端部１２の検出には、公知の物体検出技術が任意に採用される。例えば、深層ニューラルネットワーク等の学習済モデルを利用した物体検出処理が、基準特定部４３による端部１２の検出（すなわち基準位置Ｒの特定）に利用される。なお、鍵盤楽器１０の端部１２と、鍵盤楽器１０の筐体１１のうち鍵盤Ｂxの両側に位置する部分とは、色彩または材質等の光学特性が顕著に相違する。したがって、観測画像Ｘから当該鍵盤Ｂxの端部１２を正確かつ容易に検出できる。

図５の音源処理部４４は、鍵盤Ｂxに対する利用者Ｕの操作に応じた音響信号Ａを生成する。前述の通り、利用者Ｕが操作した鍵Ｋxに対応する音高を指定する演奏データＰが、鍵盤楽器１０から情報処理システム３０に供給される。音源処理部４４は、演奏データＰが指定する音高に対応する音響信号Ａを生成するＭＩＤＩ音源である。すなわち、音響信号Ａは、利用者Ｕが操作した１以上の鍵Ｋxに対応する音高の楽音波形を表す信号である。なお、第１実施形態においては制御装置３１が実現するソフトウェア音源を音源処理部４４として例示するが、音響信号Ａの生成に専用されるハードウェア音源が音源処理部４４として利用されてもよい。

演奏解析部４５は、利用者Ｕによる鍵盤楽器１０の演奏を解析する。第１実施形態の演奏解析部４５は、鍵盤楽器１０から供給される演奏データＰを利用して利用者Ｕによる演奏を解析する。第１実施形態の演奏解析部４５は、演奏ポイントＱ1と演奏速度Ｑ2と操作位置Ｑ3とを特定する。演奏解析部４５による解析は、所定の周期で反復される。

演奏ポイントＱ1は、目標楽曲内において利用者Ｕが演奏している時間軸上の時点である。演奏ポイントＱ1の特定には公知の技術が任意に採用される。例えば、演奏解析部４５は、鍵盤楽器１０から供給される演奏データＰの時系列と目標楽曲の楽曲データＭとを相互に対比することで、演奏ポイントＱ1を特定する。また、演奏速度Ｑ2は、利用者Ｕが目標楽曲を演奏する速度（テンポ）である。演奏解析部４５は、演奏ポイントＱ1の時間的な変化から演奏速度Ｑ2を特定する。例えば、単位時間内における演奏ポイントＱ1の移動量が演奏速度Ｑ2として算定される。

操作位置Ｑ3は、鍵盤楽器１０の鍵盤Ｂxのうち利用者Ｕが演奏している空間的な位置である。前述の通り、演奏データＰは、利用者Ｕが演奏した音高を指定する。演奏解析部４５は、演奏データＰが指定する音高を操作位置Ｑ3として特定する。

表示制御部４２は、基準特定部４３が特定した基準位置Ｒと演奏解析部４５による解析結果（Ｑ1～Ｑ3）とを利用して案内画像Ｚを生成する。図６は、表示制御部４２が案内画像Ｚを生成する処理（以下「画像生成処理」という）Ｓ5のフローチャートである。

画像生成処理Ｓ5が開始されると、表示制御部４２は、演奏ポイントＱ1および演奏速度Ｑ2に応じて参照画像Ｙの再生を制御する（Ｓ51）。表示制御部４２は、目標楽曲の参照画像Ｙのうち演奏ポイントＱ1に対応する部分を、記憶装置３２から順次に取得する。例えば、演奏ポイントＱ1が目標楽曲の特定の音符を演奏した時点である場合、表示制御部４２は、参照画像Ｙのうち参照演奏者が当該音符を演奏した時点の画像を取得する。また、表示制御部４２は、参照画像Ｙの再生速度を演奏速度Ｑ2に応じて制御する。例えば、演奏速度Ｑ2が高いほど参照画像Ｙの再生速度は上昇する。すなわち、第１実施形態の表示制御部４２は、利用者Ｕによる目標楽曲の演奏に連動して参照画像Ｙの再生を進行する。具体的には、表示制御部４２は、利用者Ｕによる目標楽曲の演奏と参照画像Ｙの再生とが相互に同期するように、参照画像Ｙの再生を制御する。

表示制御部４２は、操作位置Ｑ3と基準位置Ｒとに応じて観測画像Ｘに対する参照画像Ｙの位置を設定する（Ｓ52）。具体的には、表示制御部４２は、基準位置Ｒ（すなわち鍵盤Ｂxの端部１２）を基準として鍵盤Ｂx内の操作位置Ｑ3を特定し、当該操作位置Ｑ3に対して所定の関係にある位置を、参照画像Ｙの位置として特定する。例えば、表示制御部４２は、鍵盤Ｂxのうち操作位置Ｑ3を含む所定の範囲に対して高音側または低音側の範囲内に、参照画像Ｙを配置する。操作位置Ｑ3を含む所定の範囲は、例えば操作位置Ｑ3を中心として高音側および低音側の１オクターブにわたる範囲である。したがって、例えば利用者Ｕが演奏する音高（操作位置Ｑ3）に対して１オクターブだけ高音側または低音側の位置に、参照画像Ｙが配置される。以上の説明から理解される通り、観測画像Ｘにおける利用者Ｕ自身の手指Ｈxに重ならないように、参照画像Ｙの位置が設定される。したがって、利用者Ｕは、鍵盤楽器１０を演奏しながら参照画像Ｙを確認し易い。

表示制御部４２は、観測画像Ｘに参照画像Ｙを合成することで案内画像Ｚを生成する（Ｓ53）。具体的には、参照画像Ｙのうち演奏ポイントＱ1および演奏速度Ｑ2に対応する部分が、観測画像Ｘのうち操作位置Ｑ3と基準位置Ｒとに応じて設定した位置に合成される。表示制御部４２は、観測画像Ｘにおける鍵盤Ｂxに重なるように参照画像Ｙのサイズおよび角度を制御する。

観測画像Ｘにおける鍵盤Ｂxの位置または角度は、利用者Ｕの頭部の動作に応じて変化する。参照画像Ｙは、観測画像Ｘにおける鍵盤Ｂxに重なるように配置されるから、表示装置２２が表示する参照演奏者の手指Ｈyおよび鍵盤Ｂyの位置および角度も、利用者Ｕの頭部の動作に応じて変化する。以上の説明から理解される通り、利用者Ｕは、頭部の位置および方向を適宜に変更することで、参照演奏者の手指Ｈyおよび鍵盤Ｂyを所望の位置および角度から確認できる。また、前述の通り、参照画像Ｙにおける鍵盤Ｂyの各鍵Ｋyは、参照演奏者による演奏動作に連動して変位する。したがって、表示装置２２が表示する案内画像Ｚにおいても、鍵盤Ｂyの各鍵Ｋyは手指Ｈyの演奏動作に応じて変位する。以上の構成によれば、参照演奏者が実際に鍵盤楽器１０の鍵盤Ｂxを操作しているような感覚で、利用者Ｕは参照演奏者の手指Ｈyを視覚的に参照できる。

図７は、制御装置３１が実行する処理（以下「制御処理」という）のフローチャートである。以下に例示する制御処理が、所定の周期で反復される。

制御処理が開始されると、制御装置３１（画像取得部４１）は、観測画像Ｘを取得する（Ｓ1）。基準特定部４３は、観測画像Ｘを解析することで基準位置Ｒを特定する（Ｓ2）。制御装置３１（音源処理部４４）は、鍵盤楽器１０から供給される演奏データＰに応じた音響信号Ａを生成する（Ｓ3）。制御装置３１（演奏解析部４５）は、利用者Ｕによる鍵盤楽器１０の演奏を解析することで、操作位置Ｑ3と演奏ポイントＱ1と演奏速度Ｑ2とを特定する（Ｓ4）。以上に例示した各処理（Ｓ1～Ｓ4）の順序は任意に変更されてよい。

制御装置３１（表示制御部４２）は、図６に例示した画像生成処理Ｓ5を実行することで案内画像Ｚを生成する。すなわち、前述の通り、観測画像Ｘと参照画像Ｙとの合成により案内画像Ｚが生成される。制御装置３１（表示制御部４２）は、案内画像Ｚを表す案内画像データＤzを表示装置２２に出力することで、表示装置２２に案内画像Ｚを表示する（Ｓ6）。

以上に説明した通り、第１実施形態によれば、観測画像Ｘにおける鍵盤Ｂxに重なるように参照画像Ｙにおける参照演奏者の手指Ｈyが表示される。したがって、利用者Ｕは、鍵盤楽器１０の鍵盤Ｂxに重ねて表示された参照演奏者の手指Ｈyを視覚的に参照しながら当該鍵盤楽器１０を演奏する、という有効な顧客体験を享受できる。第１実施形態においては特に、利用者Ｕの頭部の位置および角度に応じて撮像装置２１および表示装置２２の位置および角度が変化する。したがって、利用者Ｕの頭部の動作（例えば移動または回転）に連動して、表示装置２２に表示される参照画像Ｙにおける鍵盤Ｂyの位置および角度が変化する。したがって、利用者は、参照演奏者が恰も現実空間に存在するかのような感覚で鍵盤楽器１０を演奏するという顧客体験を享受できる。

また、第１実施形態においては、観測画像Ｘのうち鍵盤楽器１０の基準位置Ｒに対応する位置に参照画像Ｙが表示される。したがって、現実空間の鍵盤楽器１０に対して適切な位置に、参照演奏者の手指Ｈyを配置できる。

第１実施形態においては、演奏ポイントＱ1および演奏速度Ｑ2に応じて参照画像Ｙの再生が制御される。すなわち、利用者Ｕによる楽曲の演奏に連動して参照画像Ｙの再生が進行する。したがって、利用者Ｕは、参照演奏者と協調して鍵盤楽器１０を演奏しているような感覚で目標楽曲を演奏できる。

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。第１実施形態においては、観測画像Ｘにおける鍵盤Ｂxの端部１２を基準位置Ｒとして特定した。第２実施形態および第３実施形態は、基準位置Ｒの特定の方法が第１実施形態とは相違する。基準位置Ｒの特定以外の構成および動作は第１実施形態と同様である。

図８は、第２実施形態における観測画像Ｘの模式図である。第２実施形態の鍵盤楽器１０には標章１３が付加される。図８においては星型の標章１３が例示されている。標章１３は、鍵盤楽器１０の外装に形成される。例えば、鍵盤楽器１０の筐体１１における横方向の中央部に標章１３が形成される。標章１３は、鍵盤楽器１０の商品名または提供者（製造者または販売者）を視覚的に識別するための図形または記号等の標識である。標章１３は、典型的には商標である。標章１３は、例えば筐体１１に対する塗装または印刷により形成される。また、標章１３が表面に形成された板状部材が筐体１１に固定された形態、または標章１３の形状に成形された板状部材が筐体１１に固定された形態も想定される。

基準特定部４３は、観測画像Ｘの解析により基準位置Ｒを特定する（Ｓ2）。第２実施形態の基準特定部４３は、観測画像Ｘにおける鍵盤楽器１０の標章１３を検出し、当該標章１３の位置を基準位置Ｒとして特定する。標章１３の検出には、公知の物体検出処理が任意に採用される。例えば、深層ニューラルネットワーク等の学習済モデルを利用した物体検出処理が、基準特定部４３による標章１３の検出（すなわち基準位置Ｒの特定）に利用される。基準位置Ｒを基準として観測画像Ｘに対する参照画像Ｙの位置を設定する処理（Ｓ52）は、第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。なお、鍵盤楽器１０の標章１３は鍵盤楽器１０の特定の位置に形成される場合が多い。鍵盤楽器１０の標章１３の位置を基準位置Ｒとして特定する第２実施形態によれば、例えば鍵盤Ｂxの端部１２を検出できない状況でも、基準位置Ｒを適切に特定できる。例えば、鍵盤Ｂxの端部１２が撮像装置２１による撮像範囲の外側にある場合（観測画像Ｘに端部１２が含まれない場合）でも、基準位置Ｒを特定できる。

Ｃ：第３実施形態
第３実施形態の基準特定部４３は、鍵盤楽器１０の鍵盤Ｂxのうち予め決定された特定の鍵（以下「特定鍵」という）Ｋxの位置を基準位置Ｒとして特定する。

利用者Ｕは、案内画像Ｚの表示に先立ち、鍵盤Ｂxの特定鍵Ｋxを操作する。基準特定部４３は、観測画像Ｘの解析により基準位置Ｒを特定する（Ｓ2）。第３実施形態の基準特定部４３は、観測画像Ｘを解析することで、当該観測画像Ｘにおいて利用者Ｕが操作した鍵Ｋx（すなわち特定鍵Ｋx）を検出し、当該鍵Ｋxの位置を基準位置Ｒとして特定する。例えば、観測画像Ｘの複数の鍵Ｋxのうち利用者Ｕによる操作で階調が変化した鍵Ｋxが特定鍵Ｋxとして検出される。基準位置Ｒを基準として観測画像Ｘに対する参照画像Ｙの位置を設定する処理（Ｓ52）は、第１実施形態と同様である。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、利用者Ｕが操作した特定鍵Ｋxの位置が基準位置Ｒとして特定される。したがって、鍵盤楽器１０の端部１２または標章１３を検出できない状態でも、基準位置Ｒを適切に特定できる。例えば、鍵盤楽器１０の端部１２および標章１３が撮像装置２１による撮像範囲の外側にある場合でも、基準位置Ｒを特定することが可能である

Ｄ：第４実施形態
第４実施形態においては、演奏解析部４５および表示制御部４２の動作が第１実施形態とは相違する。第４実施形態の演奏解析部４５は、第１実施形態と同様の情報（Ｑ1～Ｑ3）を生成するほか、利用者Ｕが鍵盤楽器１０を演奏しているか否かを判定する。具体的には、演奏解析部４５は、鍵盤楽器１０から演奏データＰが供給されている場合には鍵盤楽器１０が演奏されていると判定し、鍵盤楽器１０から演奏データＰが供給されていない場合には鍵盤楽器１０が演奏されていないと判定する。なお、演奏解析部４５による判定の方法は以上の例示に限定されない。例えば、演奏解析部４５は、観測画像Ｘの解析により鍵盤楽器１０に対する演奏の有無を判定してもよい。

表示制御部４２は、第１実施形態と同様に、観測画像Ｘと参照画像Ｙとの合成により案内画像Ｚを生成する。第４実施形態の表示制御部４２は、案内画像Ｚの生成において、参照画像Ｙに関する透過パラメータαの数値を制御する。透過パラメータαは、参照画像Ｙの背後の要素が当該参照画像Ｙを透過する度合に関する指標（アルファ値）である。第４実施形態の透過パラメータαは透明度である。すなわち、透過パラメータαの数値が大きいほど、参照画像Ｙの背後の要素が当該参照画像Ｙを透過する度合は高い。例えば、透過パラメータαが０％に設定された場合、参照画像Ｙは不透明な画像として表示される。他方、透過パラメータαが５０％に設定された場合、参照画像Ｙは半透明な画像として表示される。参照画像Ｙが半透明で表示された場合、利用者Ｕは、観測画像Ｘのうち参照画像Ｙの背後に位置する部分を視認できる。

表示制御部４２は、鍵盤楽器１０に対する演奏の有無に応じて透過パラメータαの数値を制御する。図９は、第４実施形態における画像生成処理Ｓ5のフローチャートである。参照画像Ｙの再生を制御する処理（Ｓ51）と参照画像Ｙの位置を制御する処理（Ｓ52）とは、第１実施形態と同様である。

制御装置３１（演奏解析部４５）は、鍵盤楽器１０が演奏されているか否かを判定する（Ｓ54）。鍵盤楽器１０が演奏されていない場合（Ｓ54：NO）、制御装置３１（表示制御部４２）は、透過パラメータαを数値α1に設定する（Ｓ55）。他方、鍵盤楽器１０が演奏されている場合（Ｓ54：YES）、制御装置３１（表示制御部４２）は、透過パラメータαを数値α2に設定する（Ｓ56）。制御装置３１（表示制御部４２）は、以上の処理により設定された透過パラメータαのもとで参照画像Ｙを観測画像Ｘに合成することで、案内画像Ｚを生成する（Ｓ53）。画像生成処理Ｓ5以外の動作は第１実施形態と同様である。

透過パラメータαの数値α2は、数値α1と比較して透過の度合が高いことを意味する。前述の通り、第４実施形態の透過パラメータαは透明度であるから、数値α2は、数値α1よりも大きい数値に設定される。例えば、数値α2は５０％（半透明）に設定され、数値α1は０％（不透明）に設定される。以上の通り、鍵盤楽器１０が演奏されていない場合には参照画像Ｙが不透明（α＝α1）で表示され、鍵盤楽器１０が演奏されている場合には参照画像Ｙが半透明（α＝α2）で表示される。すなわち、利用者Ｕが鍵盤楽器１０を演奏している状態では、鍵盤楽器１０が演奏されていない場合と比較して、参照画像Ｙの透過の度合が高い。なお、数値α1は「第１値」の一例であり、数値α2は「第２値」の一例である。

第４実施形態においても第１実施形態と同様の効果が実現される。第４実施形態においては特に、参照画像Ｙの透過パラメータαの数値が制御される。したがって、透過パラメータαの数値が固定された構成と比較して、参照画像Ｙを優先的に視認する使用形態と、利用者Ｕ自身の手指Ｈxを優先的に視認する使用形態とを切替可能である。

例えば、第４実施形態においては、利用者Ｕが鍵盤楽器１０を演奏している場合に、透過パラメータαが、数値α1よりも透過の度合が高い数値α2に設定される。したがって、透過パラメータαが数値α1に固定された構成（参照画像Ｙが常に不透明で表示される構成）と比較して、利用者Ｕは自身の手指Ｈxを優先的に視認できる。他方、利用者Ｕが鍵盤楽器１０を演奏していない場合には、透過パラメータαが、数値α2よりも透過の度合が低い数値α1に設定される。したがって、透過パラメータαが数値α2に固定された構成（参照画像Ｙが常に半透明で表示される構成）と比較して、利用者Ｕは参照画像Ｙを容易に視認できる。なお、第２実施形態または第３実施形態は、第４実施形態にも同様に適用される。

Ｅ：第５実施形態
第５実施形態においても第４実施形態と同様に、参照画像Ｙに適用される透過パラメータαの数値が可変に制御される。第４実施形態においては、鍵盤楽器１０に対する演奏の有無に応じて透過パラメータαを制御したが、第５実施形態においては、動作モードに応じて透過パラメータαを制御する。第５実施形態の透過パラメータαは、第４実施形態と同様に透明度である。すなわち、透過パラメータαの数値が大きいほど、参照画像Ｙの背後の要素が当該参照画像Ｙを透過する度合は高い。

表示制御部４２は、第１動作モードおよび第２動作モードの何れかを動作モードとして設定する。第１動作モードは、参照画像Ｙの視認を優先する参照モードであり、第２動作モードは、利用者Ｕの手指Ｈxの視認を優先する練習モードである。例えば、表示制御部４２は、操作装置３３に対する利用者Ｕからの指示に応じて動作モードを設定する。例えば、動作モードの切替が利用者Ｕから指示されるたびに、表示制御部４２は、動作モードを第１動作モードおよび第２動作モードの一方から他方に変更する。

図１０は、第５実施形態における画像生成処理Ｓ5のフローチャートである。参照画像Ｙの再生を制御する処理（Ｓ51）と参照画像Ｙの位置を制御する処理（Ｓ52）とは、第１実施形態と同様である。

制御装置３１（表示制御部４２）は、動作モードが第１動作モードであるか否かを判定する（Ｓ57）。動作モードが第１動作モードである場合（Ｓ57：YES）、制御装置３１（表示制御部４２）は、透過パラメータαを数値α1に設定する（Ｓ58）。他方、動作モードが第２動作モードである場合（Ｓ57：NO）、制御装置３１（表示制御部４２）は、透過パラメータαを数値α2に設定する（Ｓ59）。制御装置３１（表示制御部４２）は、以上の処理により設定された透過パラメータαのもとで参照画像Ｙを観測画像Ｘに合成することで、案内画像Ｚを生成する（Ｓ53）。画像生成処理Ｓ5以外の動作は第１実施形態と同様である。

第４実施形態と同様に、透過パラメータαの数値α2は、数値α1と比較して透過の度合が高いことを意味する。具体的には、数値α2は、数値α1よりも大きい数値に設定される。例えば、数値α2は５０％（半透明）に設定され、数値α1は０％（不透明）に設定される。以上の通り、第１動作モードにおいては参照画像Ｙが不透明（α＝α1）で表示され、第２動作モードにおいては参照画像Ｙが半透明（α＝α2）で表示される。すなわち、第１動作モードでは、第２動作モードと比較して、参照画像Ｙの透過の度合が高い。なお、数値α1は「第１値」の一例であり、数値α2は「第２値」の一例である。

第５実施形態においても第１実施形態と同様の効果が実現される。第５実施形態においては特に、参照画像Ｙの透過パラメータαの数値が制御される。したがって、第４実施形態と同様に、参照画像Ｙを優先的に視認する使用形態と、利用者Ｕ自身の手指Ｈxを優先的に視認する使用形態とを切替可能である。

例えば、第５実施形態においては、第２動作モードにおいて、透過パラメータαが、数値α1よりも透過の度合が高い数値α2に設定される。したがって、透過パラメータαが数値α1に固定された構成（参照画像Ｙが常に不透明で表示される構成）と比較して、利用者Ｕは自身の手指Ｈxを優先的に視認できる。他方、第１動作モードにおいては、透過パラメータαが、数値α2よりも透過の度合が低い数値α1に設定される。したがって、透過パラメータαが数値α2に固定された構成（参照画像Ｙが常に半透明で表示される構成）と比較して、利用者Ｕは参照画像Ｙを容易に視認できる。なお、第２実施形態または第３実施形態は、第５実施形態にも同様に適用される。

Ｆ：第６実施形態
図１１は、第６実施形態における演奏システム１００の構成を例示するブロック図である。第６実施形態の演奏システム１００における情報処理システム３０は、第１実施形態と同様の要素（制御装置３１，記憶装置３２，操作装置３３，放音装置３４）に加えて通信装置３５を具備する。通信装置３５は、例えばインターネット等の通信網２００を介して外部装置と通信する。なお、通信装置３５と通信網２００との間の通信は有線および無線の何れでもよい。また、情報処理システム３０とは別体の通信装置３５を、情報処理システム３０に対して有線または無線により接続してもよい。

図１１の収録システム６０は、参照画像Ｙを収録するコンピュータシステムであり、鍵盤楽器１０の演奏を指導者Ｔが利用者Ｕに指導するために使用される。指導者Ｔは、参照演奏者に相当する。すなわち、第６実施形態の参照画像Ｙは、指導者Ｔが鍵盤楽器６３を演奏する様子を表す動画である。鍵盤楽器６３は、例えば鍵盤Ｂyを具備する自然楽器または電子楽器である。収録システム６０は、撮像装置６１と通信装置６２とを具備する。

撮像装置６１は、指導者Ｔが鍵盤楽器６３を演奏する様子を撮像する。すなわち、撮像装置６１は、指導者Ｔの左右の手指Ｈyと鍵盤楽器６３の鍵盤Ｂyとを含む参照画像Ｙを撮像する。通信装置６２は、例えばスマートフォンまたはタブレット端末等の可搬型の情報装置、またはパーソナルコンピュータ等の可搬型または据置型の情報装置である。撮像装置６１は、通信装置６２に搭載されてもよい。

通信装置６２は、参照画像Ｙを表す参照画像データＤyを情報処理システム３０に送信する。参照画像データＤyは、指導者Ｔ（参照演奏者）による演奏動作を表す動画データである。例えば、第１実施形態と同様に、指導者Ｔの手指Ｈyと鍵盤Ｂyとを表す点群データまたはスケルトンデータが、参照画像データＤyとして例示される。指導者Ｔによる鍵盤楽器６３の演奏に並行して参照画像データＤyが収録システム６０から演奏システム１００に送信される。参照画像データＤyは、通信網２００を経由して情報処理システム３０の通信装置３５により受信される。

図１２は、第６実施形態における情報処理システム３０の機能的な構成を例示するブロック図である。第６実施形態の制御装置３１は、第１実施形態と同様の要素（画像取得部４１，表示制御部４２，基準特定部４３，音源処理部４４，演奏解析部４５）に加えて受信制御部４６として機能する。受信制御部４６は、収録システム６０から送信された参照画像データＤyを通信装置３５により受信する。

第１実施形態の表示制御部４２は、記憶装置３２に記憶された参照画像データＤyの参照画像Ｙを観測画像Ｘに合成することで、案内画像Ｚを生成する。第６実施形態の表示制御部４２は、受信制御部４６が取得した参照画像データＤyの参照画像Ｙを観測画像Ｘに合成することで、案内画像Ｚを生成する（Ｓ5）。すなわち、表示制御部４２は、参照画像データＤyが表す参照画像Ｙを表示装置２２に表示する。以上の通り、第６実施形態の案内画像Ｚは、利用者Ｕが鍵盤楽器１０を演奏する様子を表す観測画像Ｘと、指導者Ｔが鍵盤楽器６３を演奏する様子を表す参照画像Ｙとで構成される。指導者Ｔによる鍵盤楽器６３の演奏に並行して実時間的に、当該演奏の参照画像Ｙを含む案内画像Ｚが表示装置２２に表示される。

第６実施形態においても第１実施形態と同様の効果が実現される。また、第６実施形態においては、指導者Ｔ（参照演奏者）による演奏動作の撮像に並行して、利用者Ｕが使用する表示装置２２に当該演奏動作の参照画像Ｙを表示できる。したがって、利用者Ｕは、実際には遠隔に所在する指導者Ｔが恰も近傍に存在するかのような感覚で、鍵盤楽器１０を演奏できる。

Ｇ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。前述の実施形態および以下に例示する変形例から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態においては、非透過型の表示パネルを表示装置２２として例示したが、現実空間からの到来光が透過する透過型の表示パネルが、表示装置２２として利用されてもよい。透過型の表示装置２２が利用される形態では、観測画像Ｘを表示装置２２に表示することは必須ではない。すなわち、表示制御部４２は、参照画像Ｙを案内画像Ｚとして表示装置２２に表示する。利用者Ｕは、現実空間からの透過光により鍵盤楽器１０の鍵盤Ｂxを視認しながら、当該鍵盤Ｂxに重なる参照画像Ｙを視認できる。透過型の表示装置２２が利用される形態においても、参照画像Ｙの基準位置Ｒを特定するために観測画像Ｘが利用される。以上の説明から理解される通り、観測画像Ｘの表示は省略されてよい。表示装置２２は、拡張現実（ＡＲ：Augmented Reality）または複合現実（ＭＲ：Mixed Reality）により参照画像Ｙを表示する。

（２）第４実施形態および第５実施形態においては、透過パラメータαが透明度である場合を例示したが、透過パラメータαが不透明度である形態も想定される。透過パラメータαが不透明度である形態では、透過パラメータαの数値が大きいほど、参照画像Ｙの背後の要素が当該参照画像Ｙを透過する度合は低い。以上の形態においても、第４実施形態と同様に、鍵盤楽器１０が演奏されていない場合に透過パラメータαが数値α1に設定され、鍵盤楽器１０が演奏されている場合に透過パラメータαが数値α2に設定される。また、第５実施形態と同様に、第１動作モードにおいて透過パラメータαが数値α1に設定され、第２動作モードにおいて透過パラメータαが数値α2に設定される。ただし、透過パラメータαが不透明度である場合、数値α2は数値α1よりも小さい数値に設定される。例えば、数値α2は５０％（半透明）に設定され、数値α1は１００％（不透明）に設定される。以上の例示から理解される通り、透過パラメータαが透明度および不透明度の何れであっても、数値α2は、数値α1と比較して透過の度合が高い数値として包括的に表現される。透過パラメータαの数値の大小と参照画像Ｙの透過度の高低との関係は任意である。

（３）前述の各形態においては、演奏データＰを出力可能な電子楽器を鍵盤楽器１０として例示したが、演奏データＰを出力しない自然楽器が、鍵盤楽器１０として利用されてもよい。自然楽器の鍵盤楽器１０から放射される楽音をマイクロホンにより収音することで音響信号Ａが生成される。演奏解析部４５は、音響信号Ａを利用して利用者Ｕによる鍵盤楽器１０の演奏を解析する。例えば、演奏解析部４５は、音響信号Ａの解析により演奏データＰの時系列を生成し、演奏データＰの時系列と目標楽曲の楽曲データＭとを相互に対比することで、演奏ポイントＱ1を特定する。演奏速度Ｑ2および操作位置Ｑ3も同様に、音響信号Ａの解析により特定される。

（４）前述の各形態においては、演奏解析部４５が演奏データＰを利用して利用者Ｕによる演奏を解析する形態を例示したが、演奏解析部４５は、観測画像Ｘを利用して利用者Ｕによる演奏を解析してもよい。例えば、演奏解析部４５は、観測画像Ｘを解析することで操作位置Ｑ3を特定する。例えば、演奏解析部４５は、観測画像Ｘから利用者Ｕの手指Ｈxを検出し、基準位置Ｒに対する当該手指Ｈxの位置関係に応じて操作位置Ｑ3を特定する。

（５）前述の各形態においては、撮像装置２１および表示装置２２が利用者Ｕの頭部に装着される形態を例示したが、撮像装置２１および表示装置２２が利用者Ｕの頭部に装着されることは必須ではない。例えば、撮像装置２１および表示装置２２の一方または双方が鍵盤楽器１０の近傍に設置された形態も想定される。ただし、撮像装置２１および表示装置２２が利用者Ｕの頭部に装着される形態においては、利用者Ｕの頭部の位置および角度に応じて撮像装置２１および表示装置２２の位置および角度が変化する。すなわち、利用者Ｕの頭部の動作に連動して、表示装置２２に表示される観測画像Ｘおよび参照画像Ｙが変化する。したがって、利用者Ｕは、参照演奏者が恰も現実空間に存在するかのような感覚で鍵盤楽器１０を演奏できる。

（６）前述の各形態においては、参照演奏者（指導者Ｔ）の手指Ｈyが表示装置２２に表示される形態を例示したが、参照演奏者の上半身または全身が参照画像Ｙとして表示装置２２に表示されてもよい。また、前述の各形態においては、参照画像Ｙが参照演奏者の手指Ｈyと鍵盤Ｂyとを含む形態を例示したが、鍵盤Ｂyは参照画像Ｙから省略されてよい。

（７）前述の各形態においては、利用者Ｕと参照演奏者とが共通の目標楽曲を演奏する場合を想定したが、利用者Ｕによる演奏内容と参照演奏者による演奏内容とは相違してもよい。例えば、目標楽曲の複数の演奏パートのうち第１パートを利用者Ｕが演奏し、第２パートを参照演奏者が演奏してもよい。第１パートおよび第２パートの各々は、目標楽曲の１以上の演奏パートである。

（８）例えばスマートフォンまたはタブレット端末等の端末装置との間で通信するサーバ装置により、情報処理システム３０が実現されてもよい。撮像装置２１は、端末装置に搭載または接続される。端末装置は、撮像装置２１が生成する観測画像データＤxと鍵盤楽器１０が生成する演奏データＰとを情報処理システム３０に送信する。情報処理システム３０は、前述の各形態と同様に、観測画像データＤxと演奏データＰとから案内画像データＤzを生成し、当該案内画像データＤzを端末装置に送信する。端末装置は、案内画像データＤzが表す案内画像Ｚを表示装置２２に表示する。表示装置２２は、例えば端末装置に搭載されてもよい。

（９）前述の各形態に係る情報処理システム３０の機能は、前述の通り、制御装置３１を構成する単数または複数のプロセッサと、記憶装置３２に記憶されたプログラムとの協働により実現される。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

Ｈ：付記
以上に例示した形態から、例えば以下の構成が把握される。

本開示のひとつの態様（態様１）に係る情報処理システムは、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部と、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部とを具備する。以上の構成によれば、観測画像における鍵盤に重なるように、参照画像における参照演奏者の手指が表示される。したがって、利用者は、鍵盤楽器の鍵盤に重ねて表示された参照演奏者の手指を視覚的に参照しながら、当該鍵盤楽器を演奏できる。

態様１の具体例（態様２）において、前記撮像装置および前記表示装置は、前記利用者の頭部に装着される。以上の態様においては、利用者の頭部の位置および角度に応じて撮像装置および表示装置の位置および角度が変化する。すなわち、利用者の頭部の動作に連動して、表示装置に表示される参照画像における鍵盤の位置および角度が変化する。したがって、利用者は、参照演奏者が恰も現実空間に存在するかのような感覚で鍵盤楽器を演奏できる。

態様１または態様２の具体例（態様３）において、前記参照画像は、前記参照演奏者が演奏する参照鍵盤を含み、前記参照鍵盤は、前記参照演奏者による演奏動作に応じて変位する複数の鍵を含み、前記表示制御部は、前記観測画像における前記鍵盤に前記参照鍵盤が重なるように、前記参照画像を前記表示装置に表示する。以上の態様によれば、参照演奏者による演奏動作に応じて各鍵が変位する参照鍵盤が、現実空間内の鍵盤に重ねて表示される。したがって、参照演奏者が実際に鍵盤を操作しているような感覚で、利用者は参照演奏者の手指を視覚的に参照できる。

態様１から態様３の何れかの具体例（態様４）において、前記観測画像における前記鍵盤楽器に対する基準位置を、前記観測画像の解析により特定する基準特定部、をさらに具備し、前記表示制御部は、前記基準位置に対応する位置に前記参照画像を表示する。以上の態様によれば、鍵盤楽器に対する基準位置に対応する位置に参照画像が表示される。したがって、現実空間の鍵盤楽器に対して適切な位置に、参照演奏者の手指を配置できる。

態様４の具体例（態様５）において、前記基準特定部は、前記観測画像における前記鍵盤の端部を検出し、当該端部の位置を前記基準位置として特定する。鍵盤楽器の端部（左端または右端）と、鍵盤楽器において鍵盤の両側に位置する部品（拍子木または腕木）とは、色彩等の光学特性が顕著に相違する。したがって、鍵盤の画像から当該鍵盤の端部は正確かつ容易に検出される。すなわち、鍵盤の端部の位置を基準位置として特定する構成によれば、基準位置を正確かつ容易に特定できる。

態様４の具体例（態様６）において、前記基準特定部は、前記観測画像における前記鍵盤楽器の標章を検出し、当該標章の位置を前記基準位置として特定する。鍵盤楽器の商標等の標章は鍵盤楽器の特定の位置（例えば横方向における筐体の中央部）に表示される場合が多い。したがって、鍵盤楽器の標章の位置を基準位置として特定する構成によれば、例えば鍵盤の端部を検出できない状態でも、基準位置を適切に特定できる。

態様４の具体例（態様７）において、前記基準特定部は、前記観測画像における前記鍵盤の複数の鍵のうち操作された鍵を検出し、当該鍵の位置を前記基準位置として特定する。以上の態様によれば、利用者が操作した鍵の位置が基準位置として特定される。したがって、鍵盤楽器の端部または標章を検出できない状態でも、基準位置を適切に特定できる。

態様１から態様７の何れかの具体例（態様８）において、前記表示制御部は、前記参照画像の透過パラメータの数値を制御する。以上の態様においては、参照画像の透過パラメータの数値が制御される。したがって、参照画像の透過パラメータの数値が固定された構成と比較して、参照演奏者の手指を優先的に視認する使用形態と、利用者自身を優先的に視認する使用形態とを切替可能である。

態様８の具体例（態様９）において、前記鍵盤楽器が演奏されているか否かを判定する演奏解析部をさらに具備し、前記表示制御部は、前記鍵盤楽器が演奏されていないと判定された場合に、前記透過パラメータを第１値に設定し、前記鍵盤楽器が演奏されていると判定された場合に、前記透過パラメータを、前記第１値と比較して透過の度合が高い第２値に設定する。以上の態様においては、利用者が鍵盤楽器を演奏している場合に、透過パラメータが、第１値よりも透過の度合が高い第２値に設定される。したがって、透過パラメータが第１値に固定された構成と比較して、利用者は自身の手指を優先的に視認できる。他方、利用者が鍵盤楽器を演奏していない場合には、透過パラメータが、第２値よりも透過の度合が低い第１値に設定される。したがって、透過パラメータが第２値に固定された構成と比較して、利用者は参照画像を容易に視認できる。

態様８の具体例（態様１０）において、前記表示制御部は、第１動作モードにおいて、前記透過パラメータを第１値に設定し、第２動作モードにおいて、前記透過パラメータを、前記第１値と比較して透過の度合が高い第２値に設定する。以上の態様においては、第２動作モードにおいて、透過パラメータが、第１値よりも透過の度合が高い第２値に設定される。したがって、透過パラメータが第１値に固定された構成と比較して、利用者は自身の手指を優先的に視認できる。他方、第１動作モードにおいては、透過パラメータが、第２値よりも透過の度合が低い第１値に設定される。したがって、透過パラメータが第２値に固定された構成と比較して、利用者は参照画像を容易に視認できる。

態様１から態様１０の何れかの具体例（態様１１）において、前記鍵盤楽器の前記鍵盤における操作位置を特定する演奏解析部をさらに具備し、前記表示制御部は、前記鍵盤のうち前記操作位置を含む範囲に対して高音側または低音側の範囲内に、前記参照画像を表示する。以上の態様によれば、利用者による操作位置に対して高音側または低音側の範囲内に参照画像が表示される。すなわち、利用者の手指に重複しない状態で参照画像が表示される。したがって、利用者は、鍵盤楽器を演奏しながら参照画像を確認し易い。

態様１から態様１１の何れかの具体例（態様１２）において、楽曲内における演奏ポイントを特定する演奏解析部をさらに具備し、前記表示制御部は、前記楽曲に対応する前記参照画像のうち前記演奏ポイントに対応する部分を前記表示装置に表示する。以上の態様によれば、利用者による楽曲の演奏に連動して参照画像の再生が進行する。したがって、利用者は、参照演奏者と協調して鍵盤楽器を演奏しているような感覚で楽曲を演奏できる。

態様１２の具体例（態様１３）において、前記演奏解析部は、演奏速度をさらに特定し、前記表示制御部は、前記参照画像の再生速度を前記演奏速度に応じて制御する。以上の態様によれば、利用者による楽曲の演奏に連動して参照画像の再生が進行する。したがって、利用者は、参照演奏者と協調して鍵盤楽器を演奏しているような感覚で楽曲を演奏できる。

態様１から態様１３の何れかの具体例（態様１４）において、前記参照演奏者による演奏動作を表す動画データを通信装置により受信する受信制御部をさらに具備し、前記表示制御部は、前記動画データが表す前記参照画像を前記表示装置に表示する。以上の態様によれば、参照演奏者による演奏動作の撮像に並行して、利用者が使用する表示装置に当該演奏動作の参照画像を表示できる。したがって、利用者は、実際には遠隔に所在する参照演奏者が恰も近傍に存在するかのような感覚で、鍵盤楽器を演奏できる。

本開示のひとつの態様に係る情報処理方法は、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得することと、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示することと、を含む。

本開示のひとつの態様に係るプログラムは、現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部、および、演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部、としてコンピュータシステムを機能させる。

１００…演奏システム、１０…鍵盤楽器、２０…映像システム、２１…撮像装置、２２…表示装置、３０…情報処理システム、３１…制御装置、３２…記憶装置、３３…操作装置、３４…放音装置、３５…通信装置、４１…画像取得部、４２…表示制御部、４３…基準特定部、４４…音源処理部、４５…演奏解析部、４６…受信制御部、６０…収録システム、６１…撮像装置、６２…通信装置、６３…鍵盤楽器、２００…通信網。

Claims (16)

1. 現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部と、
   演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部と
   を具備する情報処理システム。
2. 前記撮像装置および前記表示装置は、利用者の頭部に装着される
   請求項１の情報処理システム。
3. 前記参照画像は、前記参照演奏者が演奏する参照鍵盤を含み、
   前記参照鍵盤は、前記参照演奏者による演奏動作に応じて変位する複数の鍵を含み、
   前記表示制御部は、前記観測画像における前記鍵盤に前記参照鍵盤が重なるように、前記参照画像を前記表示装置に表示する
   請求項１の情報処理システム。
4. 前記観測画像における前記鍵盤楽器に対する基準位置を、前記観測画像の解析により特定する基準特定部、をさらに具備し、
   前記表示制御部は、前記基準位置に対応する位置に前記参照画像を表示する
   請求項１の情報処理システム。
5. 前記基準特定部は、前記観測画像における前記鍵盤の端部を検出し、当該端部の位置を前記基準位置として特定する
   請求項４の情報処理システム。
6. 前記基準特定部は、前記観測画像における前記鍵盤楽器の標章を検出し、当該標章の位置を前記基準位置として特定する
   請求項４の情報処理システム。
7. 前記基準特定部は、前記観測画像における前記鍵盤の複数の鍵のうち操作された鍵を検出し、当該鍵の位置を前記基準位置として特定する
   請求項４の情報処理システム。
8. 前記表示制御部は、前記参照画像の透過パラメータの数値を制御する
   請求項１の情報処理システム。
9. 前記鍵盤楽器が演奏されているか否かを判定する演奏解析部をさらに具備し、
   前記表示制御部は、
   前記鍵盤楽器が演奏されていないと判定された場合に、前記透過パラメータを第１値に設定し、
   前記鍵盤楽器が演奏されていると判定された場合に、前記透過パラメータを、前記第１値と比較して透過の度合が高い第２値に設定する
   請求項８の情報処理システム。
10. 前記表示制御部は、
    第１動作モードにおいて、前記透過パラメータを第１値に設定し、
    第２動作モードにおいて、前記透過パラメータを、前記第１値と比較して透過の度合が高い第２値に設定する
    請求項８の情報処理システム。
11. 前記鍵盤楽器の前記鍵盤における操作位置を特定する演奏解析部をさらに具備し、
    前記表示制御部は、前記鍵盤のうち前記操作位置を含む範囲に対して高音側または低音側の範囲内に、前記参照画像を表示する
    請求項１の情報処理システム。
12. 楽曲内における演奏ポイントを特定する演奏解析部をさらに具備し、
    前記表示制御部は、前記楽曲に対応する前記参照画像のうち前記演奏ポイントに対応する部分を前記表示装置に表示する
    請求項１の情報処理システム。
13. 前記演奏解析部は、演奏速度をさらに特定し、
    前記表示制御部は、前記参照画像の再生速度を前記演奏速度に応じて制御する
    請求項１２の情報処理システム。
14. 前記参照演奏者による演奏動作を表す動画データを通信装置により受信する受信制御部をさらに具備し、
    前記表示制御部は、前記動画データが表す前記参照画像を前記表示装置に表示する
    請求項１の情報処理システム。
15. 現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得することと、
    演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示することと
    を含む、コンピュータシステムにより実現される情報処理方法。
16. 現実空間の鍵盤楽器の鍵盤を含む観測画像を撮像装置から取得する画像取得部、および、
    演奏動作を実行する参照演奏者の手指を含む動画である参照画像を、前記参照演奏者の手指が前記観測画像における前記鍵盤に重なるように、表示装置に表示する表示制御部、
    としてコンピュータシステムを機能させるプログラム。

Images