JP2016071291A - 写像推定装置 - Google Patents

Abstract

【課題】 全体集合データと複数の部分集合データとの間で各集合データ内における集合の元の位置（例えば時間位置）を共有する。
【解決手段】 記憶部１０には、複数の部分集合データであるパート譜データＰ_ｉ（ｉ＝１〜Ｎ）と、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）の和集合を示す総譜データＳが記憶されている。写像調整部２１は、総譜データＳが和集合となる複数の終域データを総譜データＳから選択し、かつ、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）を各々始域として写像Ａ_ｉ（ｉ＝１〜Ｎ）を各々施した各データが複数の終域データを各々示す確率が最大となるように、総譜データＳから複数の終域データを選択する態様およびパート譜データＰ_ｉ（ｉ＝１〜Ｎ）に施す各写像Ａ_ｉ（ｉ＝１〜Ｎ）の態様の調整を繰り返す。
【選択図】図１

Description

本発明は、パート譜の総譜への写像等、部分集合データの全体集合データへの写像を推定する写像推定装置に関する。

通常、合奏では、指揮者は総譜を見て指揮を行い、各パートの演奏者はパート毎に作成されたパート譜を見て楽器演奏を行う。この合奏の練習の際には、指揮者が各パートの演奏者に演奏位置を指示することが必要になる。その際の演奏位置の指示方法として、総譜と各パート譜に点在するリハーサルマークと呼ばれるマーカを利用する方法がある。すなわち、例えば「リハーサルマークＡの２７小節前から」という具合に指揮者が各パートの演奏者に演奏位置を指示するのである。また、楽譜に小節番号が記載されている場合には、この小節番号により演奏位置を指示することも可能である。特許文献１は、総譜を表示する親機と、パート譜を表示する子機とからなるシステムにおいて、親機における総譜のページめくりに子機におけるパート譜のページめくりを同期させる技術を開示している。この特許文献１に開示の技術では、ページめくりを同期させるために、ページめくり後のページを示す情報が親機から子機に送られる。この技術によれば、演奏位置を含むページを子機に表示させることができる。

国際公開第２０１２／０９０２７９号 特開２００９−２１６７６９号公報 特開２００９−２２３０７８号公報

しかしながら、リハーサルマークを利用して演奏位置を指示した場合、各パートの演奏者は、パート譜のページをめくることにより、指示されたリハーサルマークの記載されたページを見つけ、そのページのリハーサルマークから指示された小節数を数えて演奏位置を見つける必要がある。また、小節番号は譜表の先頭のみに記載されている。従って、譜表の途中の小節番号が指示された場合に、各パートの演奏者は指示された小節番号の小節を見つけるのに手間が掛かる。特許文献１の技術では、親機と子機とで楽譜のページめくりを同期させることができる。しかし、この技術を利用したとしても、親機の使用者によって指示された総譜上の任意の位置に対応した位置を子機の使用者がパート譜の中から見つけ出すのは困難である。このように、現状、各パートの演奏者は、指揮者から指示された演奏位置を見つけるのに手間が掛かるという問題がある。以上、総譜とパート譜を例に説明したが、この問題は、楽譜以外の情報を取り扱う場合にも起こり得る。例えば各々時系列データである複数の部分集合データ（音符の部分集合である複数のパート譜に対応）と、それらの部分集合データの和集合である全体集合データ（総譜に対応）を各々別個のユーザが使用する場合において、全体集合データを使用するユーザがその全体集合データにおける特定の時間位置を複数の部分集合データのユーザに伝えたい場合がある。この場合において、全体集合データおよび各部分集合データが時間軸に相当する情報を含んでいないと、全体集合データにおける特定の時間位置が指定されても、各部分集合データにおいてその時間位置に位置する集合の元（楽譜の例では音符）を見つけることは困難である。

この発明は、以上説明した事情に鑑みてなされたものであり、全体集合データと複数の部分集合データとの間で各集合データ内における集合の元の位置（上記の例では時間位置）を共有することを可能にする技術的手段を提供することにある。

この発明は、複数の部分集合データと、前記複数の部分集合データの和集合を示す全体集合データとに基づいて、前記複数の部分集合データを前記全体集合データの各部に対応付ける写像を各々推定する写像推定装置であって、前記全体集合データが和集合となる複数の終域データを前記全体集合データから選択し、かつ、前記複数の部分集合データを各々始域として写像を各々施した各データが前記複数の終域データを各々示す確率が最大となるように、前記全体集合データから複数の終域データを選択する態様および前記複数の部分集合データに施す各写像の態様を推定することを特徴とする写像推定装置を提供する。

かかる発明によれば、複数の部分集合データを各々始域とし、全体集合データが和集合となる複数の終域データを各々終域とする写像であって、複数の部分集合データに写像を各々施したデータが複数の終域データを示す確率が最大となるような各写像を推定することができる。従って、これらの写像に基づいて、全体集合データと複数の部分集合データとの間で各集合データ内における集合の元の位置を共有することを可能になる。

この発明の第１実施形態である写像推定装置を利用した楽譜表示システムの構成を示すブロック図である。 同実施形態におけるパート譜データと総譜データとの対応付けの例を示す図である。 同実施形態において使用するＴＤＷの処理内容を例示する図である。 同実施形態の動作例を示す図である。 同実施形態において使用するマスクを説明する図である。 同実施形態の動作を示すフローチャートである。 この発明の第２実施形態である写像推定装置の動作例を示す図である。 同写像推定装置の他の動作例を示す図である。 同写像推定装置の他の動作例を示す図である。 この発明の他の実施形態である写像推定装置の動作例を示す図である。 同写像推定装置の他の動作例を示す図である。 同写像推定装置の他の動作例を示す図である。

以下、図面を参照し、この発明の実施の形態を説明する。

＜第１実施形態＞
図１はこの発明の第１実施形態である写像推定装置２０を利用した楽譜表示システムの構成例を示すブロック図である。この楽譜表示システムは、マスタ譜面台１と、このマスタ譜面台１にネットワーク２を介して接続された複数のスレーブ譜面台３とにより構成されている。ここで、マスタ譜面台１は、例えばオーケストラの指揮者によって使用され、スレーブ譜面台３は、例えば複数のパートから構成されたアンサンブルの各パートを演奏する演奏者によって使用される。

マスタ譜面台１は、記憶部１０と、本実施形態による写像推定装置２０と、操作部３０と、表示制御部４０と、表示部５０と、通信制御部６０とを有する。記憶部１０は、図示の例では、総譜データＳと、複数のパート譜データＰ_ｉ（ｉ＝１〜Ｎ）を記憶している。ここで、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）は、アンサンブルを構成する各パートの各音符を示す時系列の部分集合データである。総譜データＳは、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）が示す各部分集合の和集合である総譜の各音符を示す時系列の全体集合データである。総譜データＳおよびパート譜データＰ_ｉ（ｉ＝１〜Ｎ）は、光学楽譜認識（ＯＭＲ）などの手段により総譜やパート譜の音符の音高、音長、発生順序を認識することにより生成したデータであってもよいし、例えばＳＭＡＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）形式の楽譜データであってもよい。

表示制御部４０は、操作部３０の操作に従って、記憶部１０内の総譜データＳが示す総譜の画像やパート譜データＰ_ｉ（ｉ＝１〜Ｎ）が示すパート譜の画像を表示部５０に表示させる。また、表示制御部４０は、通信制御部６０を介してパート譜データＰ_ｉ（ｉ＝１〜Ｎ）を複数のスレーブ譜面台３に送信し、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）が示すパート譜の画像を各スレーブ譜面台３に表示させる。

さらに本実施形態において、表示制御部４０は、表示部５０に例えば総譜が表示されている状態において、この総譜上の任意の時間位置が操作部３０の操作により指示された場合に、この総譜上の指示時間位置に対応した各パート譜上の時間位置を写像推定装置２０により求める。そして、表示制御部４０は、通信制御部６０により、そのパート譜上の時間位置を示す位置データを各パート譜を表示しているスレーブ譜面台３に送信する。この位置データを受信したスレーブ譜面台３は、パート譜において位置データによって指示された位置を表示する。また、本実施形態では、例えばスレーブ譜面台３を使用する演奏者がスレーブ譜面台３に表示されたパート譜上の任意の時間位置を指示した場合、スレーブ譜面台３はこのパート譜上の指示時間位置を示す位置データをマスタ譜面台１に送信する。この場合、マスタ譜面台１では、通信制御部６０がこの位置データを受信すると、表示制御部４０は、その位置データが示すパート譜上の指示時間位置に対応した総譜上の時間位置を写像推定装置２０により求め、この総譜上の時間位置を表示部５０に表示された総譜に重ね表示する。

このように本実施形態では、総譜上での時間位置とパート譜上での時間位置との間の相互の変換を行うための手段が写像推定装置２０に備わっており、表示制御部４０は、この写像推定装置２０を利用して、総譜および複数のパート譜間の時間軸の共有化（同期化）を図っている。

図１に示すように、写像推定装置２０は、写像調整部２１と、位置変換部２２を有する。写像調整部２１は、記憶部１０に記憶された全体集合データである総譜データＳおよび部分集合データであるパート譜データＰ_ｉ（ｉ＝１〜Ｎ）を参照し、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）に写像Ａ_ｉ（ｉ＝１〜Ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｉ＝１〜Ｎ）の和集合が総譜データＳとなる確率が最大となるような写像Ａ_ｉ（ｉ＝１〜Ｎ）を推定する手段である。位置変換部２２は、写像調整部２１により推定された写像Ａ_ｉ（ｉ＝１〜Ｎ）に従い、表示制御部４０から供給される総譜上の時間位置を示す位置データｎｓを任意のパート譜上の時間位置を示す位置データｎｐ_ｉに変換し、あるいは表示制御部４０から供給されるパート譜上の時間位置を示す位置データｎｐ_ｉを総譜上の位置を示す位置データｎｓに変換する手段である。

ここで、写像調整部２１の詳細について説明する。まず、写像調整部２１の処理対象となる総譜データＳおよびパート譜データＰ_ｉ（ｉ＝１〜Ｎ）について説明する。

図２（ａ）、（ｂ）および（ｃ）は写像調整部２１の処理対象である総譜データＳ、パート譜データＰ_１およびＰ_２を各々例示する図である。これらの図では、総譜データまたはパート譜データが示す各音符が時刻軸（ｎ軸）と音高軸（ｐ軸）からなる座標平面に各々マッピングされている。図２（ａ）に示すように、この例では総譜データＳがパート１のデータとパート２のデータにより構成されている。

理想的には、総譜データＳにおけるパート１のデータは図２（ｂ）に示すパート譜データＰ_１に対応し、総譜データＳにおけるパート２のデータは図２（ｃ）に示すパート譜データＰ_２に対応する。しかしながら、本実施形態では、総譜データおよびパート譜データについて次のことを前提としている。

前提１：総譜データおよびパート譜データでは、音長情報に誤り、欠落が発生する可能がある。従って、総譜データおよびパート譜データでは、音符の発生時刻（発音開始時刻）に誤りが発生する可能性がある。

図２（ｂ）に示すパート譜データＰ_１では、左から４番目の２個の音符の音長を図２（ａ）に示す総譜データＳよりも短く誤推定している。このため、それ以降のパート１の音符の発生時刻が総譜データＳとパート譜データＰ_１とでずれている。また、図２（ｃ）に示すパート譜データＰ_２では、最初の音符の音長を図２（ａ）に示す総譜データＳよりも長く誤推定している。このため、それ以降のパート２の音符の発生時刻が総譜データＳとパート譜データＰ_２とでずれている。

前提２：総譜データおよびパート譜データでは、音符の音高情報に誤りが発生する可能性がある。

前提３：総譜データは、パート間の区切りを示す情報を含んでいない。例えば図２（ａ）では、パート１とパート２を区切る破線が示されているが、総譜データは、この破線に相当する情報を含んでいない。従って、総譜データから各パートのデータを分離して取り出すことができない。

ここで、仮に総譜データから任意のパートｉのデータを分離して取り出すことができれば、パートｉのパート譜データＰ_ｉを総譜データＳから取り出したデータに対応付ける写像Ａ_ｉをＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）等のツールにより容易に推定することができる。

図３はＤＴＷの処理内容を例示する図である。このＤＴＷでは、各時刻ｎｓにおいて総譜データＳが示すパートｉの音高ｐと、各時刻ｎｐにおいてパート譜データＰ_ｉが示すパートｉの音高ｐとが与えられた場合に、図示のように、総譜データＳが存在する時間軸上の各時刻ｎｓとパート譜データＰ_ｉが存在する時間軸上の各時刻ｎｐとを対応付ける写像Ａ_ｉを生成する。

総譜データＳから各パートｉのデータを分離して取り出すことができれば、このようなＤＴＷを活用して、写像Ａ_ｉを推定することができる。しかしながら、本実施形態において総譜データＳは、各パートを区別する情報を含んでいない。そこで、本実施形態における写像調整部２１は、次のようにして総譜データＳとパート譜データＰ_ｉ（ｉ＝１〜Ｎ）から写像Ａ_ｉ（ｉ＝１〜Ｎ）を推定する。

まず、本実施形態における写像調整部２１の処理は、図４（ａ）に示すように、総譜データＳが各終域データの和集合となるようなＮパートの終域データを総譜データＳから選択する第１ステップと、図４（ｂ）に示すように、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）を始域として写像Ａ_ｉ（ｉ＝１〜Ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｉ＝１〜Ｎ）がＮパートの終域データとなる確率が最大となる写像Ａ_ｉ（ｉ＝１〜Ｎ）を推定する第２ステップの２段構成になっている。

これらの第１および第２ステップは同時に進行させる必要がある。何故ならば、第２ステップにおいてパート譜データＰ_ｉ（ｉ＝１〜Ｎ）に写像Ａ_ｉ（ｉ＝１〜Ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｉ＝１〜Ｎ）がＮパートの終域データとなる確率を高めるためには、第１ステップの選択が適切であることが必要である一方、第１ステップでは、総譜データがパートの区分に関する情報を含まないため、第２ステップにおいて求められる確率によってしか第１ステップにおけるＮパートの終域データの選択の適否を判断することができないからである。

そこで、本実施形態では、パートｉ毎にマスクＺ_ｉ（ｎ，ｐ）を仮定する。このマスクＺ_ｉ（ｎ，ｐ）は、図５に示すように、総譜データＳ（ｎ，ｐ）が存在するｎ軸ｐ軸座標系の各グリッド（ｎ，ｐ）において、パートｉの終域データが占めるグリッド（ｎ，ｐ）についてはＺ_ｉ（ｎ，ｐ）＝１となり、それ以外のグリッド（ｎ，ｐ）についてはＺ_ｉ（ｎ，ｐ）＝０となるマスクである。

また、本実施形態において、総譜データＳ（ｎ，ｐ）は、ｎ軸ｐ軸座標系の各グリッド（ｎ，ｐ）に発音（あるいは音符）がある場合はＳ（ｎ，ｐ）＝１、発音がない場合はＳ（ｎ，ｐ）＝０となる。パート譜データＰ_ｉ（ｉ＝１〜Ｎ）に写像Ａ_ｉ（ｉ＝１〜ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）（ｉ＝１〜Ｎ）も同様である。

マスクＺ_ｉ（ｎ，ｐ）を利用すると、総譜データＳ（ｎ，ｐ）において値が１であるパートｉの終域データＳ（ｎ，ｐ）が、パートｉのパート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）であって、値が１のＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）である確率ｐ（Ａ，Ｐ，Ｓ，Ｚ）を次式により算出することができる。

総譜データＳ（ｎ，ｐ）が存在するｎ軸ｐ軸座標系の各グリッド（ｎ，ｐ）において、パートｉの終域データが占める領域では、上記式（１）においてｐ（Ｓ（ｎ，ｐ）｜（Ａ_ｉ（Ｐ_ｉ）（ｎ，ｐ））^{Ｚｉ（ｎ，ｐ）}＝ｐ（Ｓ（ｎ，ｐ）｜（Ａ_ｉ（Ｐ_ｉ）（ｎ，ｐ））となり、それ以外の領域では、ｐ（Ｓ（ｎ，ｐ）｜（Ａ_ｉ（Ｐ_ｉ）（ｎ，ｐ））^{Ｚｉ（ｎ，ｐ）}＝１となる。従って、上記式（１）の右辺は、総譜データＳ（ｎ，ｐ）において値が１であるパートｉの終域データＳ（ｎ，ｐ）が、パートｉのパート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）であって、値が１のＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）である確率を示す。

なお、音高の推定誤りに対する頑健性を高めたい場合は、上記式（１）に代えて、下記式（２）を使用してもよい。

上記式（２）において、Ｕ_ｑ（ｐ）は、パート譜データＰ_ｉにおけるピッチｐが総譜データＳにおけるピッチｑと混同されるか否かを示す２値関数であり、ｃ_ｑ（ｐ）は、ピッチｐがピッチｑと混同される確率である。この場合、ｃ_ｑ（ｐ）は、｜ｐ−ｑ｜が大きくなるほど小さくなるように設定するか、楽譜のスキャン技術の特性に基づいて算出することが望ましい。

確率ｐ（Ａ，Ｐ，Ｓ，Ｚ）を算出するための式として、上記式（１）を使用する場合、本実施形態では、次式によりマスクＺ_ｉ（ｎ，ｐ）の期待値＜Ｚ_ｉ（ｎ，ｐ）＞を算出する。

すなわち、マスクＺ_ｉ（ｎ，ｐ）の期待値＜Ｚ_ｉ（ｎ，ｐ）＞として、パート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）がグリッド（ｎ，ｐ）の総譜データＳ（ｎ，ｐ）である場合に、グリッド（ｎ，ｐ）の総譜データＳ（ｎ，ｐ）が１となる確率ｐ（Ｓ（ｎ，ｐ）｜Ａ_ｉ（Ｐ_ｉ）（ｎ，ｐ））に比例した値を算出する。

そして、このマスクＺ_ｉ（ｎ，ｐ）の期待値＜Ｚ_ｉ（ｎ，ｐ）＞を利用し、次式によりパート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）が総譜データＳのパートｉの終域データである確率が最大となる写像Ａ_ｉを推定することが可能である。

すなわち、総譜データＳ（ｎ，ｐ）の存在するｎ軸ｐ軸座標系の各グリッド（ｎ，ｐ）について、パート譜データＰ_ｉに写像Ａ_ｉ’を施したデータＡ_ｉ’（Ｐ_ｉ）があることを前提とした場合に、当該グリッド（ｐ，ｎ）の総譜データＳ（ｎ，ｐ）が１となる確率の対数値ｌｏｇｐ（Ｓ（ｎ，ｐ）｜Ａ_ｉ’（Ｐｉ）（ｎ、ｐ））を求め、この対数値にグリッド（ｎ，ｐ）に対応したマスクの期待値＜Ｚ_ｉ（ｎ，ｐ）＞を乗算し、この乗算結果の全グリッド（ｎ，ｐ）についての総和を求め、この総和が最大となる写像Ａ_ｉ’を写像Ａ_ｉとする。

ここで、ｌｏｇｐ（Ｓ｜Ｘ）∝ＳＸと仮定すると、上記式（４）は次式のように変形することができる。

そこで、本実施形態では、上記式（４）に示す演算の代わりに式（５）に示す演算を行う。すなわち、本実施形態では、総譜データＳ（ｎ，ｐ）の存在するｎ軸ｐ軸座標系において、パート譜データＰ_ｉに写像Ａ_ｉ’を施したデータＡ_ｉ’（Ｐ_ｉ）（ｎ，ｐ）が１となるグリッド（ｎ，ｐ）についてのマスクの期待値＜Ｚ_ｉ（ｎ，ｐ）＞の総和を求め、この総和が最大となる写像Ａ_ｉ’を写像Ａ_ｉとする。

そして、本実施形態において、写像調整部２１は、ＥＭアルゴリズムにより写像Ａ_ｉ（ｉ＝１〜Ｎ）の最尤推定を行う。さらに詳述すると、写像調整部２１は、図６に示すように、写像Ａ_ｉ（ｉ＝１〜Ｎ）等の各種のデータの初期化を行った後、パートｉ＝１〜Ｎの各々について上記式（３）の演算を行うＥステップと上記式（５）の演算を行うＭステップを実行する。また、写像調整部２１は、全パートｉ（ｉ＝１〜Ｎ）についてのＥステップおよびＭステップの実行を所定回数繰り返す。

この全パートについてのＥステップおよびＭステップの実行が繰り返される結果、Ｅステップにおいて得られるマスクＺ_ｉ（ｎ，ｐ）と、Ｍステップにおいて得られる写像Ａ_ｉ（ｉ＝１〜Ｎ）が逐次改善され、総譜データＳから選択されたパートｉ（ｉ＝１〜Ｎ）の終域データが、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）に写像Ａ_ｉ（ｉ＝１〜Ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）（ｉ＝１〜Ｎ）である確率が次第に高まって行く。

これにより各パート譜データＰ_ｉ（ｉ＝１〜Ｎ）を総譜データＳが和集合となる各パートの終域データに対応付ける最適な写像Ａ_ｉ（ｉ＝１〜Ｎ）が得られる。従って、本実施形態によれば、この写像Ａ_ｉ（ｉ＝１〜Ｎ）を利用して総譜および複数のパート譜間の時間軸の共有化（同期化）を図ることができる。

＜第２実施形態＞
上記第１実施形態では、ＥステップにおいてマスクＺ_ｉ（ｎ，ｐ）を算出し、このマスクＺ_ｉ（ｎ，ｐ）を利用してＭステップを実行した。ここでは、マスクＺ_ｉを利用せず、その代わりに次式に示すＭ（ｎ，ｐ）を利用する。

上記式（６）では、ｎ軸ｐ軸座標系の各グリッド（ｎ，ｐ）において、総譜データＳ（ｎ，ｐ）が１であり、かつ、パート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）が１であるパートｉをＭ（ｎ，ｐ）とする。

ここで、複数種類のｉにおいて、Ｓ（ｎ，ｐ）（Ａ_ｉ（Ｐ_ｉ））（ｎ，ｐ）が１となる場合があり得る。このような場合、Ｓ（ｎ，ｐ）（Ａ_ｉ（Ｐ_ｉ））（ｎ，ｐ）が１となる複数種類のｉの中から選択した１つのｉをＭ（ｎ，ｐ）とする。

また、Ｍステップにおいて、このＭ（ｎ，ｐ）を利用し、次式に従って写像Ａ_ｉを算出することを検討する。

ここで、δ（Ｍ（ｎ，ｐ），ｉ）はＭ（ｎ，ｐ）＝ｉである場合に１となり、Ｍ（ｎ，ｐ）≠ｉである場合に０となる。従って、パートｉに対応したＭステップの実行時、上記式（７）では、Ｍ（ｎ，ｐ）＝ｉであるグリッド（ｎ，ｐ）のうち、総譜データＳ（ｎ，ｐ）が１であり、かつ、パート譜データＰ_ｉに写像Ａ_ｉを施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）が１であるグリッド（ｎ，ｐ）の個数が最大となる写像Ａ_ｉ’を写像Ａ_ｉとすることとなる。

ところで、上記式（６）において、Ｍ（ｎ，ｐ）がｉ＝１〜Ｎのいずれになるかは、Ｓ（ｎ，ｐ）は依存しない。従って、上記式（６）を次式のように簡略化することができる。

また、上記式（６）におけるＭ（ｎ，ｐ）へのｉの割り振りを次のようなルールに従って行うものとする。すなわち、パートｉに対応したＭステップでは、Ｓ（ｎ，ｐ）＝１ならば、ｉ以外のインデックスをＭ（ｎ，ｐ）に割り振り、Ｓ（ｎ，ｐ）＝０ならばｉをＭ（ｎ，ｐ）に割り振る。この場合、上記式（７）におけるδ（Ｍ（ｎ，ｐ），ｉ）Ｓ（ｎ，ｐ）を次のように表すことができる。

上記式（９）において、右辺の大括弧［］の中の演算子１（ｃ）は、条件ｃが満たされた場合に１、そうでない場合に０となる演算子である。この演算子１（ｃ）の括弧内のｃは、パートｉ以外の全てのパートｊ（ｊ≠ｉ）のパート譜データＰ_ｊに写像Ａ_ｊを施したデータＡ_ｊ（Ｐ_ｊ）（ｎ，ｐ）において、Ａ_ｊ（Ｐ_ｊ）（ｎ，ｐ）＝１となっているデータの和集合となっている。従って、上記式（９）の右辺において、Ｓ（ｎ，ｐ）に乗算される数値は、パートｉ以外の全てのパートｊ（ｊ≠ｉ）のパート譜データＰ_ｊに写像Ａ_ｊを施したデータＡ_ｊ（Ｐ_ｊ）が１となっているグリッド（ｎ，ｐ）において０となり、それ以外のグリッド（ｎ，ｐ）において１となる。

そこで、本実施形態における写像調整部２１は、インデックスｉを１〜Ｎまで切り換えつつ次式に示す演算を繰り返すことにより写像Ａ_ｉ（ｉ＝１〜Ｎ）を推定する処理を所定回数繰り返す。

上記式（１０）では、パートｉに対応した演算において、パートｉ以外の全てのパートｊ（ｊ≠ｉ）のパート譜データＰ_ｊに写像Ａ_ｊを施したデータＡ_ｊ（Ｐ_ｊ）（ｎ，ｐ）のうち値が１であるものの和集合を求める。そして、総譜データＳにおいて、この和集合に属しない残差データＳ（ｎ，ｐ）が１であり、かつ、パート譜データＰ_ｉに写像Ａ_ｉ’を施したデータＡ_ｉ’（Ｐ_ｉ）（ｎ，ｐ）が１であるグリッド（ｎ，ｐ）の個数が最大となる写像Ａ_ｉ’を推定し、この写像Ａ_ｉ’を写像Ａ_ｉとする。この式（１０）の演算は、上記第１実施形態のＥステップとＭステップを合わせたものに相当する。

本実施形態においても、全パートｉ＝１〜Ｎについての式（１０）の演算が繰り返される過程において、写像Ａ_ｉ’（ｉ＝１〜Ｎ）が次第に改善され、総譜データＳから選択されたパートｉ（ｉ＝１〜Ｎ）の終域データが、パート譜データＰ_ｉ（ｉ＝１〜Ｎ）に写像Ａ_ｉ（ｉ＝１〜Ｎ）を施したデータＡ_ｉ（Ｐ_ｉ）（ｎ，ｐ）（ｉ＝１〜Ｎ）である確率が次第に高まって行く。従って、本実施形態においても上記第１実施形態と同様の効果が得られる。

図７〜図９は各々本実施形態の動作例を示すものである。これらの図において、横軸はｎ軸（時間軸）、縦軸はｐ軸（音高軸）である。

図７（ａ）には総譜データＳと、この総譜データＳに含まれるヴァイオリンパートのデータＰ_１’が示されている。図７（ｂ）には、総譜データＳからピアノパートのデータＰ_２’を除外したデータＵＰ_２と、このデータＵＰ_２から推定されたヴァイオリンパートのデータＰ_１’が示されている。この例では、データＵＰ_２が不適切であるため、ヴァイオリンパートのデータＰ_１’の推定が誤っている。

図８（ａ）には総譜データＳと、この総譜データＳにおけるピアノパート以外のデータＵＰ_２が示されている。図８（ｂ）には、総譜データＳからデータＵＰ_２を差し引いたデータの中から推定されたピアノパートのデータＰ_２’が示されている。この例では、ピアノパート以外のデータＵＰ_２の指定が適切であったため、ほぼ正確にピアノパートのデータＰ_２’が推定されている。

図９（ａ）には総譜データＳと、この総譜データＳに含まれるヴァイオリンパートのデータＰ_１’が示されている。図９（ｂ）には、総譜データＳから図８（ｂ）において推定されたピアノパートのデータＰ_２’を差し引き、残ったデータから推定されたヴァイオリンパートのデータＰ_１’が示されている。この例では、ピアノパートのデータＰ_２’の推定が適切であったため、ほぼ正確にヴァイオリンパートのデータＰ_１’が推定されている。

以上のように、本実施形態では、パート譜データから推定されたデータを総譜データから差し引く処理と、パート譜データに対応した総譜データ内のデータを推定する処理を交互に繰り返すので、パート譜データに対応した総譜データ内のデータを推定する精度を高めることができる。

＜他の実施形態＞
以上、この発明の第１および第２実施形態について説明したが、この発明には他にも実施形態が考えられる。

（１）楽譜に示されたリハーサル記号や小節線を光学認識により正確に読み取れる場合、ＤＴＷの計算においてリハーサル記号や小節線の情報を活用してもよい。具体的には、総譜データＳの時間軸ｎｓの領域とパート譜データＰ_ｉの時間軸ｎｐの領域のうち対応づけてよい領域間でのみＤＴＷを実行する。

例えば図１０に示す例において、総譜データＳおよびパート譜データＰ_ｉは、リハーサルマークＡを示す情報を各々含んでいる。この場合、総譜データＳのリハーサルマークＡと、パート譜データＰ_ｉのリハーサルマークＡは、曲中の同じタイミングを示している。従って、パート譜データＰ_ｉのリハーサルマークＡ以前の時間位置を総譜データＳにおけるリハーサルマークＡ以後の時間位置に対応付け、あるいはパート譜データＰ_ｉのリハーサルマークＡ以後の時間位置を総譜データＳにおけるリハーサルマークＡ以前の時間位置に対応付ける写像Ａ_ｉは不適切である。そこで、ＤＴＷでは、図１０においてハッチングを施した領域内の対応付け、すなわち、パート譜データＰ_ｉのリハーサルマークＡ以前の時間位置を総譜データＳにおけるリハーサルマークＡ以前の時間位置に対応付け、パート譜データＰ_ｉのリハーサルマークＡ以後の時間位置を総譜データＳにおけるリハーサルマークＡ以後の時間位置に対応付ける写像Ａ_ｉのみを推定する。

また、図１１に示す例において、総譜データＳは、小節情報Ｂａｒ１０、Ｂａｒ１５、Ｂａｒ２０を含み、パート譜データＰ_ｉは、小節情報Ｂａｒ８、Ｂａｒ１２、Ｂａｒ１８、Ｂａｒ２５を含んでいる。ここで、小節情報Ｂａｒｋは、小節番号ｋの小節線の位置を示す情報である。図１１に示す例においても、不適切な写像が算出されるのを防ぐため、ＤＴＷでは、ハッチング領域内の写像Ａ_ｉのみを評価する。例えばパート譜データＰ_ｉにおける小節番号１２〜１８の区間内の時間位置については、総譜データＳの小節番号１０〜１５の区間内の時間位置に対応付ける写像Ａ_ｉのみを推定する。他の区間も同様である。

また、総譜データＳおよびパート譜データＰ_ｉが小節情報を含む場合には、総譜データＳおよびパート譜データＰ_ｉの一方の時間位置が小節線を跨いだ場合には、他方の時間位置も小節線を跨いでよいというルールに従って、一方の時間位置を他方の時間位置に対応付ける写像Ａｉを推定してもよい。図１２はその例を示すものである。この図１２では、総譜データＳにおけるデータの時間位置とパート譜データＰ_ｉにおけるデータの時間位置とを対応付ける写像Ａ_ｉにおいて、写像Ａ_ｉの始域の時間位置と終域の時間位置の対に関して許される変化が矢印により示されている。このような写像の始域と終域の対に関して許容される範囲を示す写像推定制御情報を総譜データＳおよびパート譜データＰ_ｉ内の小節情報に基づいて生成し、この写像推定制御情報に従って、写像の推定の制御を行ってもよい。

このように総譜データＳおよびパート譜データＰ_ｉ間で対応付けの許可される範囲に制限を設けることにより、不適切な写像Ａ_ｉが算出されるのを防止することができ、かつ、ＤＴＷの演算時間を短縮することができる。

（２）この発明は、五線譜に記載された楽譜のみならず、コード進行とメロディが記載された楽譜やタブ譜といった楽譜にも適用可能である。また、この発明は、バンドスコアのように、ドラムやギターパートが記載されているような楽譜にも適用可能である。

（３）この発明は、楽譜だけでなく、演奏を収録したデータに対しても適用可能である。例えば上記実施形態のパート譜データに代えて、ＭＩＤＩ対応電子楽器によってパート譜を演奏することにより得られたパート譜のＭＩＤＩデータを使用してもよい。あるいはアコースティック楽器によりパート譜を演奏し、その際の演奏音を収音して解析してパート譜のＭＩＤＩデータを生成し、上記実施形態のパート譜データとして使用してもよい。また、総譜データとしても、上記のようなＭＩＤＩデータの集合や、全楽器のオーディオデータを解析することにより得られるＭＩＤＩデータを用いても良い。なお、演奏音のオーディオ信号をＭＩＤＩデータに変換する技術は例えば特許文献２および３に開示されている。

（４）上記実施形態では、全体集合データおよび部分集合データとして、楽譜データを取り扱う写像推定装置を説明したが、全体集合データおよび部分集合データは、例えば画像データ等、楽譜データ以外のデータであってもよい。

（５）上記実施形態において、位置変換部２２は、総譜データＳにおけるデータの時間位置ｎｓとパート譜データＰ_ｉにおけるデータの時間位置ｎｐ_ｉとの相互変換を行ったが、これに加えて、異種のパート譜データＰ_ｉ間の時間位置の相互変換を行ってもよい。例えば、まず、写像Ａ_１を利用してパート譜データＰ_１のデータの時間位置ｎｐ_１を総譜データＳのデータの時間位置ｎｓに変換する。次に、写像Ａ_２を利用して総譜データＳのデータの時間位置ｎｓをパート譜データＰ_２のデータの時間位置ｎｐ_２に変換する。このようにすることにより、パート譜データＰ_１のデータの時間位置ｎｐ_１をパート譜データＰ_２のデータの時間位置ｎｐ_２に変換することができ、パート１とパート２とで時間位置を共有することが可能になる。

（６）上記実施形態では、全体集合データが和集合となる複数の終域データを全体集合データから選択し、かつ、複数の部分集合データを各々始域として写像を各々施した各データが複数の終域データを各々示す確率が最大となるように、全体集合データから複数の終域データを選択する態様および複数の部分集合データに施す各写像の態様の調整を繰り返した。しかし、このような調整の繰り返しを行うことなく、上記確率が最大となる複数の終域データの選択の態様および複数の部分集合データに施す各写像の態様の推定を行ってもよい。例えば、総譜データ（全体集合データ）から全てのパート譜データ（部分集合データ）への全ての分解の態様を検討し、かつ、それらの全ての分解方法の各々において全ての写像の可能性について評価関数を評価する総当たり法を実行し、最も優れた評価関数値の得られる上記選択の態様および写像の態様を選択してもよい。

（７）この発明は、上記実施形態の写像推定装置２０が実行する処理をコンピュータに実行させるプログラムとして実現してもよい。

１…マスタ譜面台、２…ネットワーク、３…スレーブ譜面台、１０…記憶部、２０…写像推定装置、３０…操作部、４０…表示制御部、５０…表示部、６０…通信制御部、２１…写像調整部、２２…位置変換部。

Claims (5)

1. 複数の部分集合データと、前記複数の部分集合データの和集合を示す全体集合データとに基づいて、前記複数の部分集合データを前記全体集合データの各部に対応付ける写像を各々推定する写像推定装置であって、
   前記全体集合データが和集合となる複数の終域データを前記全体集合データから選択し、かつ、前記複数の部分集合データを各々始域として写像を各々施した各データが前記複数の終域データを各々示す確率が最大となるように、前記全体集合データから複数の終域データを選択する態様および前記複数の部分集合データに施す各写像の態様を推定することを特徴とする写像推定装置。
2. 前記写像推定装置は、前記複数の部分集合データから１つの部分集合データを選択しつつ、選択した部分集合データについて写像の推定を行うものであり、写像の推定を終えた各部分集合データに対して推定した各写像を各々施したデータの和集合を前記全体集合データから差し引いた残差データを求め、選択した部分集合データについて写像の推定を行う際には、選択した部分集合データに写像を施したデータが前記残差データを示す確率が最大となる写像を推定することを特徴とする請求項１に記載の写像推定装置。
3. 前記全体集合データおよび前記複数の部分集合データは各々時系列データであり、前記写像推定装置は、前記部分集合データの各データの時間軸の位置を前記全体集合データの各データの時間軸上の位置に対応付ける写像を推定することを特徴とする請求項１または２に記載の写像推定装置。
4. 前記複数の部分集合データは、複数の演奏パートの楽譜を示すパート譜データであり、前記全体集合データは前記複数の演奏パートの楽譜の和集合を示す総譜データであることを特徴とする請求項３に記載の写像推定装置。
5. 前記複数の部分集合データについて得られた各写像に基づいて、前記全体集合データにおける位置と前記複数の部分集合データにおける各位置との相互変換を行う位置変換手段を具備することを特徴とする請求項１〜４のいずれか１の請求項に記載の写像推定装置。
   

Images