JP2017069843A - 楽譜画像解析装置 - Google Patents

Abstract

【課題】利用者が撮影の指示をすることなく、適切な撮影方向から楽譜を撮影した画像を取得する。
【解決手段】楽譜画像解析装置１００は、相互に並列された複数の譜表と各譜表に対して所定の位置に配置された楽譜記号７２(ｎ)とを含む楽譜を撮影装置１０による動画撮影で時系列に生成された各楽譜画像７０から楽譜記号７２(ｎ)を検出する記号検出部５１０と、記号検出部５１０が検出した複数の楽譜記号７２(ｎ)の配列である記号列を特定する記号列特定部５２０と、楽譜に対する撮影方向の適否の指標である姿勢指標Ｚを記号列に応じて算出する指標算出部５３０と、姿勢指標Ｚが所定の条件を満たす場合に撮影装置に楽譜画像７０Aの静止画撮影を指示する撮影制御部５７０とを具備する。
【選択図】図１３

Description

本発明は、楽譜を撮影する技術に関する。

書籍を撮影する技術が従来から提案されている。例えば、特許文献１には、利用者がデジタルカメラ等の撮像装置を利用して撮影した書籍の画像の湾曲歪を補正する技術が公開されている。

特開２０１３−９３７０４号公報

特許文献１の技術を利用すれば、撮影画像の湾曲歪の補正が可能であるが、本来的には、撮影画像の歪みが低減される適切な撮影方向から撮影されることが重要である。しかし、利用者が、デジタルカメラ等のモニタで表示される書籍の歪みを目視により確認しながら撮影装置の撮影方向を調整し、撮影装置を適切な撮影方向に維持した状態で撮影の指示を付与することは、実際には容易ではない。以上の事情を考慮して、本発明は、利用者が撮影の指示をすることなく、適切な撮影方向から楽譜を撮影した画像を取得することを目的とする。

以上の課題を解決するために、本発明に係る楽譜画像解析装置は、相互に並列された複数の譜表と各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影装置による動画撮影で時系列に生成された各楽譜画像から楽譜記号を検出する記号検出部と、記号検出部が検出した複数の楽譜記号の配列である記号列を特定する記号列特定部と、楽譜に対する撮影方向の適否の指標である姿勢指標を記号列に応じて算出する指標算出部と、姿勢指標が所定の条件を満たす場合に撮影装置に楽譜画像の静止画撮影を指示する撮影制御部とを具備する。以上の構成では、楽譜に対する撮影方向の適否の指標である姿勢指標が所定の条件を満たす場合に撮影制御部が撮影装置に静止画撮影を指示する。したがって、利用者が撮影の指示をすることなく、適切な撮影方向で撮影した楽譜画像を取得することが可能である。

本発明の好適な態様において、指標算出部は、楽譜記号の位置で記号列に交差する単位領域を設定する単位領域設定部と、楽譜記号が配置された譜表のうち単位領域に含まれる割合に応じた第１指標を算出する第１指標算出部とを含み、第１指標に応じた姿勢指標を設定する。以上の構成では、複数の楽譜記号の配列である記号列に交差する単位領域を設定し、単位領域に含まれる譜表の割合に応じた第１指標が算出されて姿勢指標に反映される。したがって、楽譜に対する撮影方向の適否を定量的に評価した姿勢指標を、静止画撮影の指示に適用できる。

本発明の好適な態様において、指標算出部は、記号列の角度に応じた第２指標を算出する第２指標算出部を含み、第２指標に応じた姿勢指標を設定する。以上の構成では、記号列の角度に応じた第２指標が算出されて姿勢指標に反映される。したがって、楽譜に対する撮影方向の適否を定量的に評価した姿勢指標を、静止画撮影の指示に適用できる。

本発明の好適な態様において、姿勢指標は、撮影範囲の横方向が楽譜の横方向に平行となる状態に近いほど大きい数値となる指標であり、所定の条件は、姿勢指標が所定の閾値を上回ることである。以上の構成では、撮影範囲の横方向が楽譜の横方向に平行となる状態に近いほど姿勢指標は大きい数値となる構成のもとで、姿勢指標が所定の閾値を上回る場合に撮影制御部が撮影装置に楽譜画像の静止画撮影を指示する。したがって、撮影範囲の横方向が楽譜の横方向に平行となる状態に近い適切な撮影方向で撮影した楽譜画像を取得することが可能である。

第１実施形態の楽譜画像解析装置の構成図である。 撮影方向が楽譜の法線方向に対して平行な場合の楽譜画像の表示例である。 撮影方向が楽譜の法線方向に対して傾斜した場合の楽譜画像の表示例である。 記号検出部の処理の説明図である。 記号列特定部の処理の説明図である。 単位領域設定部の処理の説明図である。 第１指標算出部が第１指標を算出する処理のフローチャートである。 第１指標算出部の処理の説明図である。 第２指標算出部が第２指標を算出する処理のフローチャートである。 ベクトルを説明するための記号列図形の拡大図である。 楽譜画像の表示装置への表示例である。 第１実施形態の制御装置が楽譜画像を解析する処理のフローチャートである。 第２実施形態の楽譜画像解析装置の構成図である。 第２実施形態の制御装置が楽譜画像を解析する処理のフローチャートである。

＜第１実施形態＞
図１は、第１実施形態に係る楽譜画像解析装置１００の構成図である。楽譜画像解析装置１００は、利用者が撮影した楽譜の画像を解析する装置であり、例えばスマートフォンやタブレット等の可搬型の装置で実現される。図１に例示される通り、第１実施形態の楽譜画像解析装置１００は、撮影装置１０と入力装置２０と記憶装置３０と表示装置４０と制御装置５０とを具備する。

撮影装置１０は、画像を撮影するための装置であり、被写体からの到来光を電気信号に変換する撮像素子を含んで構成される。利用者は、印刷物等に記載された楽譜に対して所望の位置および方向に撮影装置１０を保持した状態で楽譜を撮影する。撮影装置１０は、所定の範囲（以下「撮影範囲」という）内の楽譜の画像（以下「楽譜画像」という）７０を生成および出力する。第１実施形態の撮影装置１０は動画撮影および静止画撮影が可能である。具体的には、撮影装置１０は、動画撮影時には複数の楽譜画像７０を所定の周期で時系列に生成し、静止画撮影時には１個の楽譜画像７０を生成する。図２に例示される通り、以下の説明では、楽譜画像７０の横方向（撮影範囲の横方向）をｘ軸方向と表記し、縦方向（撮影範囲の縦方向）をｙ軸方向と表記する。なお、第１実施形態では、撮影装置１０が楽譜画像解析装置１００に一体に搭載された構成を例示する。

楽譜には、図２に例示される通り、相互に平行な複数の直線の集合（以下「譜表」という）６２(１)〜６２(Ｎ)と、各譜表６２(ｎ)（ｎ＝１〜Ｎ）に対して所定の位置に配置された楽譜記号７２(ｎ)との複数組（Ｎ組）が縦方向に並列される。第１実施形態の譜表６２(ｎ)は、相異なる音高を表象する５本の直線で構成される五線譜である。楽曲を表現する音符や休符，変化記号等の符号は譜表６２(ｎ)に対して任意の位置に配置される。第１実施形態では、楽譜の譜表６２(ｎ)に対して左端付近に位置するト音記号およびへ音記号を楽譜記号７２(ｎ)として例示する。

利用者は、楽譜（１頁分）の全体が撮影範囲に包含されるように撮影装置１０（楽譜画像解析装置１００）を保持して撮影する。具体的には、利用者は、撮影方向が楽譜の法線方向に対して平行となり、かつ、楽譜画像７０のｘ軸方向が楽譜の横方向に平行となる状態（以下「基準状態」という）となるように撮影方向を調整する。基準状態では、図２に例示される通り、複数の楽譜記号７２(１)〜７２(Ｎ)が破線１５で示すようにｙ軸方向に平行に配列し、かつ、複数の譜表６２(ｎ)の各々がｘ軸方向に平行となる。しかし、実際には、利用者が撮影装置１０を基準状態に継続的に保持することは容易ではなく、撮影方向が楽譜の法線方向に対して傾斜した状態、または、撮影範囲が楽譜の法線方向を軸として基準状態から回転した状態（楽譜画像７０のｘ軸方向が楽譜の横方向に平行とならない状態）となり得る。以上のように撮影方向が傾斜した状態（以下「傾斜状態」という）や撮影範囲が回転した状態（以下「回転状態」という）では、図３に破線１５で例示される通り、楽譜画像７０において複数の楽譜記号７２(１)〜７２(Ｎ)の配列がｙ軸方向に平行にならない場合があり得る。

図１の表示装置４０は、例えば液晶表示パネルであり、制御装置５０から指示された画像を表示する。例えば撮影装置１０による動画撮影で生成された複数の楽譜画像７０が表示装置４０に順次に表示（ライブビュー表示）される。入力装置２０は、楽譜画像解析装置１００に対する各種の指示のために利用者が操作する操作機器であり、例えば利用者が操作する複数の操作子を含んで構成される。具体的には、利用者は、入力装置２０を適宜に操作することで動画撮影や静止画撮影を楽譜画像解析装置１００に指示することが可能である。表示装置４０と一体に構成されたタッチパネルを入力装置２０として採用することも可能である。

記憶装置３０は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、制御装置５０が実行するプログラムや制御装置５０が使用する各種のデータを記憶する。例えば、撮影装置１０が静止画撮影で生成した静止画像の楽譜画像７０Aが記憶装置３０に記憶される。

制御装置５０は、例えばＣＰＵ（Central Processing Unit）等の処理装置で構成され、記憶装置３０に記憶されたプログラムを実行することで、図１に例示される通り、撮影装置１０が撮影した楽譜画像７０を解析する複数の要素（記号検出部５１０、記号列特定部５２０、単位領域設定部５３２、第１指標算出部５３４、第２指標算出部５４４、姿勢指標算出部５５０、表示制御部５６０、撮影制御部５７０）として機能する。なお、制御装置５０の一部の機能を専用の電子回路で実現した構成や、制御装置５０の機能を複数の装置に分散した構成も採用され得る。

制御装置５０が実現する各要素について詳述する。以下に説明する各要素による処理は、実際には撮影装置１０による動画撮影に並行して楽譜画像７０毎に順次に実行されるが（詳細は後述）、以下の説明では便宜的に１個の楽譜画像７０に着目する。

記号検出部５１０は、撮影装置１０が動画撮影で時系列に生成した各楽譜画像７０から複数（Ｎ個）の楽譜記号７２(１)〜７２(Ｎ)を検出する。記号検出部５１０による楽譜記号７２(ｎ)の検出には、公知の画像認識（例えばパターン認識）技術が任意に採用され得る。図４は、第１実施形態の楽譜画像７０に対する記号検出部５１０の処理の説明図である。図４に例示される通り、記号検出部５１０は、楽譜画像７０から検出した各楽譜記号７２(ｎ)を含むように記号領域７６(ｎ)を設定する。記号領域７６(ｎ)は、ｘ軸に平行な直線とｙ軸に平行な直線とで構成される矩形状の領域である。

楽譜記号７２(１)〜７２(Ｎ)が譜表６２(ｎ)に対して左端付近にあること、および、楽譜（１頁分）の全体が撮影範囲に包含されるように利用者が撮影することを考慮すると、Ｎ個の楽譜記号７２(１)〜７２(Ｎ)は、楽譜画像７０内で左側に位置する縦方向の領域内に位置する可能性が高い。そこで、第１実施形態の記号検出部５１０は、図４に例示される通り、楽譜画像７０のうち楽譜記号７２(１)〜７２(Ｎ)が位置すると予想される所定の範囲７４内を対象として楽譜記号７２(１)〜７２(Ｎ)を検出する。すなわち、範囲７４の外側の領域は楽譜記号７２(ｎ)の探索範囲から除外される。範囲７４は、楽譜画像７０の左端にｘ軸に平行な直線とｙ軸に平行な直線とで構成され、ｙ軸方向に長尺な短形状の領域である。なお、範囲７４に楽譜記号７２(１)〜７２(Ｎ)が含まれるように撮影装置１０による撮影範囲（楽譜と撮影装置１０との距離）を利用者が調整する、ということも可能である。以上の通り、第１実施形態では、楽譜画像７０の所定の範囲７４内を楽譜記号７２(ｎ)の探索対象とする一方で、所定の範囲７４外は楽譜記号７２(ｎ)の探索を行わない。したがって、楽譜画像７０の全範囲を楽譜記号７２(ｎ)の探索対象とする構成と比較して、記号検出部５１０にかかる処理負荷（ひいては楽譜画像解析装置１００全体の処理負荷）を軽減することが可能である。

図１の記号列特定部５２０は、記号検出部５１０が検出したＮ個の楽譜記号７２(１)〜７２(Ｎ)の配列（以下「記号列」という）を特定する。図５は、第１実施形態に係る楽譜画像７０に対する記号列特定部５２０の処理の説明図である。図５に例示される通り、第１実施形態の記号列特定部５２０は、記号列を表す記号列図形７８を設定する。具体的には、記号列特定部５２０は、Ｎ個の記号領域７６(１)〜７６(Ｎ)の各々の頂点を内包し、かつ、面積が最小となる矩形状の記号列図形７８を設定する。前述の通り、傾斜状態や回転状態では、記号列がｘ軸方向およびｙ軸方向に対して傾斜する。したがって、図５から理解される通り、記号列特定部５２０が特定する記号列図形７８は、楽譜の法線方向に対する撮影方向の傾斜や楽譜に対する撮影範囲の回転の度合に応じて、ｘ軸方向およびｙ軸方向に対して傾斜し得る。

図１の単位領域設定部５３２は、図６に例示される通り、記号検出部５１０が検出した各楽譜記号７２(ｎ)に対応するＮ個の単位領域Ａ(１)〜Ａ(Ｎ)を設定する。任意の１個の楽譜記号７２(ｎ)に対応する単位領域Ａ(ｎ)は、記号列特定部５２０が特定した記号列図形７８に当該楽譜記号７２(ｎ)の位置で交差する矩形状の領域である。具体的には、単位領域Ａ(ｎ)は、楽譜記号７２(ｎ)を端点として、記号列図形７８の長辺に直交する方向に延在する矩形状の領域である。単位領域Ａ(ｎ)の横幅（記号列図形７８に直交する方向のサイズ）は、楽譜画像７０の横幅に対して所定の比率（例えば９５％）に設定され、単位領域Ａ(ｎ)の縦幅（記号列図形７８に平行な方向のサイズ）は、記号領域７６(ｎ)の縦幅に対して所定の比率（例えば１２０〜１３０％）に設定される。図６から理解される通り、記号列図形７８が傾斜している場合は、単位領域Ａ(ｎ)も同様にｘ軸方向およびｙ軸方向に対して傾斜する。

図１の第１指標算出部５３４は、第１指標Ｘ1を算出する。第１指標Ｘ1は、撮影方向が楽譜の法線方向に対して傾斜する度合の指標である。具体的には、第１指標算出部５３４は、単位領域設定部５３２が設定した単位領域Ａ(ｎ)について、単位領域Ａ(ｎ)に対応する楽譜記号７２(ｎ)が配置された譜表６２(ｎ)のうち単位領域Ａ(ｎ)に含まれる割合Ｒ(ｎ)を算出し、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)における割合Ｒ(１)〜Ｒ(Ｎ)に応じた第１指標Ｘ1を算出する。

図７は、第１実施形態の第１指標算出部５３４が第１指標Ｘ1を算出する処理（以下「第１指標算出処理」という）Ｓ5のフローチャートであり、図８は、第１指標算出処理Ｓ5の説明図である。単位領域設定部５３２の単位領域Ａ(ｎ)の設定を契機として第１指標算出処理Ｓ5が開始される。

第１指標算出処理Ｓ5を開始すると、第１指標算出部５３４は、楽譜画像７０に注目領域Ｂを設定する（Ｓ5-1）。注目領域Ｂは、図８に例示される通り、ｘ軸に平行な直線とｙ軸に平行な直線とで構成される矩形状の領域である。具体的には、注目領域Ｂの横幅は、楽譜画像７０の横幅に対して所定の比率（例えば９５％）に設定され、注目領域Ｂの縦幅は、記号列図形７８の全ての頂点を含むサイズに設定される。

第１指標算出部５３４は、楽譜画像７０のうち図７のステップＳ5-1で設定した注目領域Ｂの内側を対象として直線６３の検出（以下「直線検出」という）を行う（Ｓ5-2）。具体的には、図８に例示される通り、楽譜画像７０の注目領域Ｂ内に対して直線検出を行い、楽譜画像７０内の譜表６２(１)〜６２(Ｎ)を含む図形から複数の直線６３を検出する。直線検出には、公知の特徴検出（例えばハフ変換）処理が任意に採用され得る。なお、注目領域Ｂの外側は楽譜ではない可能性が高いから、第１指標算出部５３４による直線検出の対象から除外される。

第１指標算出部５３４は、図７のステップＳ5-2で検出した複数の直線６３を譜表６２(ｎ)毎（楽譜記号７２(ｎ)毎）に複数の集合６４(ｎ)に分類する（Ｓ5-3）。直線６３の分類には、公知のクラスタリング技術（例えばk-means法）が任意に採用され得る。具体的には、第１指標算出部５３４は、楽譜画像７０から検出した複数の直線６３を、記号検出部５１０が検出した楽譜記号７２(ｎ)と同数の集合６４(ｎ)に分類する。例えば、楽譜記号７２(ｎ)の個数Ｎを分類数として指定したクラスタリングにより、複数の直線６３をＮ個の集合６４(ｎ)に分類することが可能である。また、前述の通り、譜表６２(ｎ)は、相互に平行な複数の直線の集合であるので、任意の１個の譜表６２(ｎ)から検出された複数の直線６３は、相互に近接した位置に分布する。したがって、図８に例示される通り、楽譜記号７２(ｎ)が配置された譜表６２(ｎ)から検出された複数の直線６３は、同一の集合６４(ｎ)に分類され得る。したがって、例えば１個の単位領域Ａ(ｎ)が複数の譜表６２(ｎ)に跨るようにｘ軸方向に対して傾斜した状態でも、単位領域Ａ(ｎ)に含まれる譜表６２(ｎ)の割合Ｒ(ｎ)を譜表６２(ｎ)毎に高精度に特定することが可能である。また、複数の譜表６２(ｎ)から検出される複数の直線６３が楽譜記号７２(ｎ)と同数の集合６４(ｎ)に分類されるので、複数の直線６３の分類数が未知である構成と比較して、複数の直線６３を適切に分類できるという利点がある。

第１指標算出部５３４は、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)の各々について、図７のステップＳ5-3で集合６４(ｎ)に分類された複数の直線６３が当該単位領域Ａ(ｎ)に含まれる割合Ｒ(ｎ)を算出する（Ｓ5-4）。具体的には、集合６４(ｎ)に分類された複数の直線６３の各々の線上の点（例えば端点や中点）のうち単位領域Ａ(ｎ)内に含まれる点の個数の割合Ｒ(ｎ)を算出する。以上のように各直線６３上の点を計数する構成によれば、例えば各直線６３のうち単位領域Ａ(ｎ)内に位置する長さの比率を算定する構成と比較して、割合Ｒ(ｎ)の算出が容易であるという利点がある。

撮影方向が楽譜の法線方向に平行な基準状態では、各譜表６２(ｎ)はｘ軸方向に延在する一方、記号列図形７８がｙ軸方向に略平行になることで各単位領域Ａ(ｎ)はｘ軸方向に略平行な方向（すなわち譜表６２(ｎ)に略平行な方向）に延在する。したがって、集合６４(ｎ)に分類された直線６３の殆どが単位領域Ａ(ｎ)に内包されるので、割合Ｒ(ｎ)は、大きい値となる。他方、撮影方向が楽譜の法線方向に対して傾斜した傾斜状態では、例えば、図６に例示される通り、各譜表６２(ｎ)はｘ軸方向に延在する一方、記号列図形７８がｘ軸およびｙ軸方向に傾斜することで各単位領域Ａ(ｎ)もｘ軸およびｙ軸方向に対して傾斜した方向に延在する。したがって、図８に例示される通り、集合６４(ｎ)に分類された直線６３のうち、単位領域Ａ(ｎ)に内包されない直線６３が多くなり、割合Ｒ(ｎ)は、小さい値となる。つまり、撮影方向が楽譜の法線方向に対して傾斜する度合の指標として割合Ｒ(ｎ)を利用可能である。

第１指標算出部５３４は、図７のステップＳ5-4で算出したＮ個の単位領域Ａ(１)〜Ａ(Ｎ)における各々の割合Ｒ(ｎ)に応じた第１指標Ｘ1を算出する（Ｓ5-5）。具体的には、Ｎ個の割合Ｒ(１)〜Ｒ(Ｎ)の合計や加重和が第１指標Ｘ1として算出される。以上の通り、第１実施形態では、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)にわたる割合Ｒ(ｎ)に応じて第１指標Ｘ1を算出するので、撮影方向の楽譜の法線方向に対する傾斜の度合を楽譜画像７０の広範囲にわたり総合的に評価することができる。以上が第１指標算出処理Ｓ5の具体例である。

図１の第２指標算出部５４４は、第２指標Ｘ2を算出する。第２指標Ｘ2は、楽譜の法線方向に対する撮影方向の傾斜や楽譜に対する撮影範囲の回転の度合の指標である。具体的には、第２指標算出部５４４は、記号列特定部５２０が特定した記号列（Ｎ個の楽譜記号７２(１)〜７２(Ｎ)の配列）の角度に応じて第２指標Ｘ2を算出する。図９は、第１実施形態の第２指標算出部５４４が第２指標Ｘ2を算出する処理（以下「第２指標算出処理」という）Ｓ6のフローチャートである。例えば記号列特定部５２０による記号列の特定を契機として第２指標算出処理Ｓ6が開始される。

第２指標算出処理Ｓ6を開始すると、第２指標算出部５４４は、記号列特定部５２０が特定した記号列に平行なベクトルＣを求める（Ｓ6-1）。具体的には、記号列特定部５２０は、記号列図形７８を構成する直線に平行なベクトルＣを求める。図１０は、ベクトルＣを説明するための記号列図形７８の拡大図である。例えば、記号列図形７８の頂点のうちｘ軸に最も近い位置にある頂点を始点Ｐとして、記号列図形７８の長辺に平行でｘ軸に対して角度θをなすベクトルＣを求める。ベクトルＣは、大きさ（絶対値）が１に正規化された単位ベクトルである。ベクトルＣの角度θは、ｘ軸に対する記号列の角度とも換言され得る。

第２指標算出部５４４は、ベクトルＣにおけるｙ軸方向の成分Ｃyの絶対値|Ｃy|（０≦|Ｃy|≦１）を第２指標Ｘ2として算出する（Ｓ6-2）。基準状態では、記号列図形７８がｙ軸方向に略平行になるため、ベクトルＣも同様にｙ軸に略平行となる。したがって、ベクトルＣの成分Ｃyの絶対値|Ｃy|、つまり第２指標Ｘ2は、最大値である１に近い値となる。他方、傾斜状態や回転状態では、記号列図形７８はｘ軸およびｙ軸方向に対して傾斜する。したがって、第２指標Ｘ2は１より小さくなる。以上の説明から理解される通り、傾斜状態において撮影方向が楽譜の法線方向に対して傾斜する度合、および、回転状態において撮影範囲が基準状態から回転する度合の指標として第２指標Ｘ2を利用可能である。

図１の姿勢指標算出部５５０は、姿勢指標Ｚを算出する。姿勢指標Ｚは、撮影装置１０を保持する利用者の姿勢（撮影装置１０の撮影方向）が基準状態に近いか否かを表す指標である。具体的には、姿勢指標算出部５５０は、第１指標算出部５３４が算出した第１指標Ｘ1と第２指標算出部５４４が算出した第２指標Ｘ2とに応じて姿勢指標Ｚを算出する。例えば、第１指標Ｘ1と第２指標Ｘ2との積が姿勢指標Ｚとして算出される。前述の通り、第１指標Ｘ1も第２指標Ｘ2も基準状態に近い（すなわち、撮影範囲のｘ軸方向が楽譜の横方向に平行となる状態に近い）ほど大きい値をとるので、第１指標Ｘ1と第２指標Ｘ2の積である姿勢指標Ｚは、撮影方向が基準状態に近いほど大きくなる。つまり、撮影装置１０の撮影方向が基準状態に近いか否かの指標として姿勢指標Ｚを利用可能である。

以上の説明から理解される通り、図１の単位領域設定部５３２と第１指標算出部５３４と第２指標算出部５４４と姿勢指標算出部５５０とは、楽譜に対する撮影方向の適否の指標である姿勢指標Ｚを算出する指標算出部５３０として機能する。

図１の表示制御部５６０は、楽譜画像７０の解析結果を表示装置４０に表示させる。具体的には、第１実施形態の表示制御部５６０は、図１１に例示される通り、記号列特定部５２０が設定した記号列図形７８と、記号列図形７８の基準となる基準図形８０と、姿勢指標算出部５５０が算出した姿勢指標Ｚとを表示装置４０に表示させる。第１実施形態では、基準図形８０は、楽譜記号７２(ｎ)の探索対象となる範囲７４の概形である。具体的には、表示制御部５６０は、図１１に例示される通り、記号列図形７８と基準図形８０とを楽譜画像７０に重ねて表示装置４０に表示させる。また、姿勢指標Ｚを表示装置４０に表示させる。記号列図形７８と基準図形８０と姿勢指標Ｚとは、撮影装置１０による楽譜の動画撮影に並行して表示装置４０に表示される。なお、表示制御部５６０が表示装置４０に表示させる項目は任意であるので、例えば、図１１に例示される通り、姿勢指標Ｚの値（スコア）を利用者が調整する目安とするために、「スコアを高くしてください。」等の文字列を表示させることも可能である。

図１の撮影制御部５７０は、撮影装置１０の撮影動作を制御する。具体的には、第１実施形態の撮影制御部５７０は、動画撮影の指示を利用者が入力装置２０に付与した場合には撮影装置１０に動画撮影を指示し、静止画撮影の指示を利用者が入力装置２０に付与した場合には撮影装置１０に静止画撮影を指示する。利用者は、動画撮影中の任意の時点で静止画撮影の指示を入力装置２０に付与することが可能である。静止画撮影で生成された静止画像の楽譜画像７０Aは撮影制御部５７０により記憶装置３０に格納される。

図１２は、第１実施形態の制御装置５０が楽譜画像７０を解析する処理（以下「楽譜画像解析処理」という）のフローチャートである。利用者からの動画撮影の指示を契機として楽譜画像解析処理が開始される。楽譜画像解析処理を開始すると、制御装置５０は、撮影装置１０が動画撮影で生成する複数の楽譜画像７０の各々を順次に取得する（Ｓ1）。

記号検出部５１０は、撮影装置１０が生成した楽譜画像７０から楽譜記号７２(ｎ)を検出する（Ｓ2）。記号列特定部５２０は、記号検出部５１０が検出した複数の楽譜記号７２(１)〜７２(Ｎ)の配列である記号列（記号列図形７８）を特定する（Ｓ3）。単位領域設定部５３２は、記号列特定部５２０が特定した記号列に楽譜記号７２(ｎ)の位置で交差する単位領域Ａ(ｎ)を設定する（Ｓ4）。第１指標算出部５３４は、楽譜記号７２(ｎ)が配置された譜表６２(ｎ)のうち単位領域Ａ(ｎ)に含まれる割合Ｒ(ｎ)を算出し、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)における割合Ｒ(１)〜Ｒ(Ｎ)に応じた第１指標Ｘ1を算出する（Ｓ5）。第１指標算出処理Ｓ5の具体例は、前掲の図７を参照して前述した通りである。第２指標算出部５４４は、前掲の図９を参照して前述した通り、記号列特定部５２０が特定した記号列の角度θに応じた第２指標Ｘ2を算出する（Ｓ6）。

姿勢指標算出部５５０は、第１指標算出部５３４が算出した第１指標Ｘ1と第２指標算出部５４４が算出した第２指標Ｘ2とに応じた姿勢指標Ｚを算出する（Ｓ7）。表示制御部５６０は、記号列特定部５２０が設定した記号列図形７８と、記号列図形７８の基準となる基準図形８０と、姿勢指標算出部５５０が算出した姿勢指標Ｚとを楽譜の動画撮影に並行して楽譜画像７０に重ねて表示装置４０に表示させる（Ｓ8）。

利用者は、表示装置４０に表示された記号列図形７８や姿勢指標Ｚを確認しながら撮影装置１０の方向を適宜に調整し、記号列図形７８が基準図形８０に沿う状態または姿勢指標Ｚが大きい数値になった状態で、入力装置２０を操作して静止画撮影を指示する。撮影制御部５７０は、静止画撮影の指示が利用者から入力装置２０に付与されたか否かを判定する（Ｓ9）。静止画撮影が利用者から指示された場合（Ｓ9；ＹＥＳ）、撮影制御部５７０は、撮影装置１０に静止画撮影を指示し（Ｓ10）、指示に応じて撮影装置１０が撮影した静止画像の楽譜画像７０Aを記憶装置３０に格納する（Ｓ11）。他方、利用者から静止画撮影が指示されない場合（Ｓ9；ＮＯ）、図１２に例示される通り、ステップＳ10とステップＳ11の処理は実行されずに、ステップＳ12の処理が実行される。

楽譜の動画撮影を終了する場合（Ｓ12；ＹＥＳ）、例えば、利用者が楽譜の動画撮影の終了を入力装置２０に付与した場合、図１２の楽譜画像解析処理は終了する。他方、撮影を終了しない場合（Ｓ12；ＮＯ）、撮影装置１０から取得される新たな楽譜画像７０についてステップＳ1からステップＳ12の処理が実行される。なお、ステップＳ6の処理は、ステップＳ4の処理の前に行ってもよい。つまり、第１指標Ｘ1を算出する処理（Ｓ4〜Ｓ5）と第２指標Ｘ2を算出する処理（Ｓ6）との先後関係は任意である。

以上の説明から理解される通り、動画撮影の終了が指示されるまで（Ｓ12；ＹＥＳ）ステップＳ1からステップＳ11の処理は繰り返し実行される。つまり、記号検出部５１０による楽譜記号７２(ｎ)の検出（Ｓ2）と、記号列特定部５２０による記号列の特定（Ｓ3）と、指標算出部５３０による姿勢指標Ｚの算出（Ｓ4〜Ｓ7）とは、撮影装置１０による動画撮影に並行して順次に実行される。

また、表示制御部５６０が記号列図形７８と基準図形８０と姿勢指標Ｚとを表示装置４０に表示させる動作も動画撮影に並行して順次に実行される。利用者は、記号列図形７８を基準図形８０に合わせるように撮影装置１０の撮影方向を適宜に調整するので、楽譜画像７０（例えば楽譜記号７２(ｎ)の位置や大きさ）も刻々と変化する。したがって、記号列図形７８や姿勢指標Ｚは経時的に変化する。つまり、表示制御部５６０は、記号列特定部５２０による記号列の特定結果に応じて記号列図形７８と姿勢指標Ｚとを経時的に（Ｓ1〜Ｓ7の処理が実行される度に）変更する。したがって、記号列図形７８と基準図形８０と楽譜画像７０との関係を目視により確認しながら、利用者が撮影方向を適切な方向に調整することが可能である。

以上に説明した通り、第１実施形態では、楽譜画像７０から検出された複数の楽譜記号７２(ｎ)の配列である記号列に交差する単位領域Ａ(ｎ)を設定し、単位領域Ａ(ｎ)に含まれる譜表６２(ｎ)の割合に応じた第１指標Ｘ1が算出される。撮影方向が楽譜の法線方向に対して傾斜するほど単位領域Ａ(ｎ)内の譜表６２(ｎ)の割合が低下するので、第１指標Ｘ1も低下する。また、記号列の角度θに応じた第２指標Ｘ2が算出される。楽譜の法線方向に対する撮影方向の傾斜角度または楽譜に対する撮影範囲の回転角度（楽譜に平行な面内での撮影装置１０の回転角度）に応じて記号列の角度θは変化するので、角度θに伴い第２指標Ｘ2も変化する。したがって、楽譜に対する撮影方向の適否を定量的に評価することが可能である。

なお、撮影方向が楽譜の法線方向に平行に維持されたまま、撮影範囲が基準状態と比較して回転した回転状態では、記号列はｘ軸方向またはｙ軸方向に対して傾斜する一方で、各譜表６２(ｎ)は記号列に対して直交する。したがって、第２指標Ｘ2は小さい数値となる一方、第１指標Ｘ1は大きい数値となる。他方、撮影方向が楽譜の法線方向に対して傾斜した傾斜状態では、第１指標Ｘ1および第２指標Ｘ2の双方が小さい数値となる。以上の説明から理解される通り、第２指標Ｘ2には、傾斜状態および回転状態の双方の状態における記号列の傾斜が反映されるのに対し、第１指標Ｘ1には、傾斜状態における撮影方向の傾斜は反映されるが、撮影範囲の回転に起因した記号列の傾斜は反映されない。以上の傾向を考慮すると、撮影方向が楽譜の法線方向に対して傾斜する度合（傾斜状態）の指標としては、第１指標Ｘ1が特に好適である。

＜第２実施形態＞
本発明の第２実施形態を説明する。以下に例示する各態様において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

図１３は、第２実施形態の楽譜画像解析装置１００の構成図である。第１実施形態では、入力装置２０に対する利用者からの操作を契機として撮影制御部５７０が撮影装置１０に静止画撮影を指示した（Ｓ10）。図１３に例示される通り、第２実施形態の撮影制御部５７０は、指標算出部５３０が算出した姿勢指標Ｚが所定の条件を満たす場合に、撮影装置１０に楽譜画像７０Aの静止画撮影を指示する。

具体的には、指標算出部５３０が算出した姿勢指標Ｚと所定の閾値ＺTとの比較結果に応じて、撮影制御部５７０は撮影装置１０に静止画撮影を指示する。例えば、姿勢指標Ｚが閾値ＺTを上回る場合に、撮影装置１０に静止画撮影が指示される。姿勢指標Ｚと対比される閾値ＺTは、実験的または統計的に選定される。また、入力装置２０に対する利用者からの指示に応じて閾値ＺTを可変に設定することも可能である。

図１４は、第２実施形態の制御装置５０が楽譜画像７０を解析する処理のフローチャートである。楽譜画像７０の取得（Ｓ1）から解析結果の表示（Ｓ8）は、第１実施形態と同様である。撮影制御部５７０は、指標算出部５３０が算出した姿勢指標Ｚが閾値ＺTを上回るか否かを判定する（Ｓ9）。撮影装置１０の撮影方向が基準状態に近いほど姿勢指標Ｚは大きい数値となる。姿勢指標Ｚが閾値ＺTを上回る場合（Ｓ9；ＹＥＳ）、すなわち、撮影装置１０の撮影方向が適切である場合、撮影制御部５７０は、撮影装置１０に静止画撮影を指示し（Ｓ10）、指示に応じて撮影装置１０が撮影した静止画像の楽譜画像７０Aを記憶装置３０に格納する（Ｓ11）。他方、姿勢指標Ｚが閾値ＺTを下回る場合（Ｓ9；ＮＯ）、図１４に例示される通り、ステップＳ10とステップＳ11の処理は実行されずに、ステップＳ12の処理が実行される。動画撮影の終了が利用者から指示されるまでステップＳ1からステップＳ11の処理が反復される点は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、姿勢指標Ｚが所定の条件を満たす場合に撮影装置１０に楽譜画像７０Aの静止画撮影が指示される。したがって、利用者が撮影の指示をすることなく、楽譜の撮影に適している撮影方向で撮影した楽譜の静止画像（楽譜画像７０A）を取得することが可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)における割合Ｒ(１)〜Ｒ(Ｎ)の合計や加重和を第１指標Ｘ1として算出したが、第１指標Ｘ1の算出方法は以上の例示に限定されない。例えば、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)がｘ軸方向に対して傾斜する角度は概ね共通することを考慮すると、Ｎ個の割合Ｒ(１)〜Ｒ(Ｎ)は相互に近い数値になると予想される。したがって、Ｎ個の単位領域Ａ(１)〜Ａ(Ｎ)のうち特定の１個の単位領域Ａ(ｎ)における割合Ｒ(ｎ)を第１指標Ｘ1とすることも可能である。

（２）前述の各形態では、記号列図形７８の長辺に平行でｘ軸に対して角度θをなすベクトルＣのｙ軸方向の成分Ｃyの絶対値|Ｃy|を第２指標Ｘ2として算出したが、第２指標Ｘ2の算出方法は以上の例示に限定されない。例えば、記号列に垂直なベクトルＣのｘ軸方向（またはｙ軸方向）の絶対値を第２指標Ｘ2として算出する構成や、ｘ軸方向に対する記号列の角度θに対する所定の演算で第２指標Ｘ2を算出する構成（したがって、ベクトルＣの特定は不要である）も採用され得る。以上の説明から理解される通り、第２指標Ｘ2は、記号列の角度θに応じた指標として包括的に表現され、具体的な算出方法の如何は不問である。

（３）前述の各形態では、第１指標Ｘ1と第２指標Ｘ2との積を姿勢指標Ｚとして算出したが、姿勢指標Ｚの算出方法は以上の例示に限定されない。例えば、第１指標Ｘ1と第２指標Ｘ2との合計や加重和を姿勢指標Ｚとすることも可能である。また、第１指標Ｘ1を姿勢指標Ｚとして設定する構成（第２指標Ｘ2の算出は省略される）や、第２指標Ｘ2を姿勢指標Ｚとして設定する構成（第１指標Ｘ1の算出は省略される）も採用され得る。

（４）前述の各形態では、撮影装置１０の撮影方向が基準状態に近いほど第１指標Ｘ1および第２指標Ｘ2が増加する場合を例示したが、撮影方向の適否と第１指標Ｘ1および第２指標Ｘ2の大小との関係は反転され得る。例えば、Ｎ個の割合Ｒ(１)〜Ｒ(Ｎ)の合計や加重和の逆数を第１指標Ｘ1として算定する構成では、撮影装置１０の撮影方向が基準状態に近いほど第１指標Ｘ1は小さい数値となる。第２指標Ｘ2についても同様に、例えばベクトルＣのｘ軸方向の成分Ｃxの絶対値|Ｃx|を第２指標Ｘ2として算出する構成では、撮影装置１０の撮影方向が基準状態に近いほど第２指標Ｘ2は小さい数値となる。

（５）前述の各形態では、楽譜記号７２(ｎ)の探索対象となる範囲７４の概形を基準図形８０としたが、基準図形８０の形状や位置は以上の例示に限定されない。例えば、ｙ軸に平行な直線を基準図形８０とすることも可能である。以上の例示から理解される通り、基準図形８０は、記号列図形７８（記号列）の基準となる図形として包括的に表現される。

（６）前述の各形態では、Ｎ個の記号領域７６(１)〜７６(Ｎ)の各々の頂点を内包し、かつ、面積が最小となる矩形状の記号列図形７８を設定したが、記号列図形７８の形状や設定方法は以上の例示に限定されない。例えば、記号領域７６(１)と７６(Ｎ)との各々の重心を通る直線や当該直線に沿う矩形を記号列図形７８とすることも可能である。

（７）前述の各形態では、ト音記号およびへ音記号を楽譜記号７２(ｎ)として検出したが、楽譜記号７２(ｎ)の種類は以上の例示に限定されない。例えば、ト音記号やへ音記号のどちらか一方やハ音記号を楽譜記号７２(ｎ)として検出することも可能である。また、前述の各形態では、相異なる音高を表象する５本の直線の組を譜表６２(ｎ)とした五線譜を楽譜として例示したが、楽譜の種類（表記法）は以上の例示に限定されない。例えば、弦楽器の各弦に対応する６本の直線で構成される譜表６２(ｎ)に奏法（具体的には運指）を表記したタブ譜を楽譜として本発明を適用することも可能である。タブ譜を撮影対象とした場合、各譜表６２(ｎ)の左端に縦書きされた「ＴＡＢ」の文字列を楽譜記号７２(ｎ)として検出することが可能である。

（８）前述の各形態では、動画撮影により時系列に生成された複数の楽譜画像７０の各々を処理対象としたが、例えば静止画撮影で生成された１個の楽譜画像７０を対象として第１指標Ｘ1や第２指標Ｘ2を算出することも可能である。以上の説明から理解される通り、本発明では、楽譜の動画撮影は必須ではない。

（９）移動体通信網やインターネット等の通信網を介して端末装置（例えば携帯電話機やスマートフォン）と通信するサーバ装置と端末装置との協働で楽譜画像解析装置１００を実現することも可能である。例えば、指標算出部５３０をサーバ装置に設置するとともに、それ以外の要素（記号検出部５１０、記号列特定部５２０、表示制御部５６０、撮影制御部５７０）を端末装置に設置することも可能である。以上の説明から理解される通り、楽譜画像解析装置１００は、相互に別体で構成される複数の装置の集合（システム）でも実現され、各装置で実行する処理の切り分けは任意である。

（１０）第２実施形態では、姿勢指標Ｚが閾値ＺTを上回る場合に撮影装置１０に静止画撮影を指示したが、静止画撮影を指示すべき姿勢指標Ｚの条件は以上の例示に限定されない。具体的には、閾値ＺTを上回る範囲で姿勢指標Ｚが所定の時間にわたり安定に推移することを条件として撮影装置１０に静止画撮影を指示することも可能である。例えば、時系列に算定される複数の姿勢指標Ｚの散布度（例えば分散）が所定値を下回る場合に姿勢指標Ｚが安定した状態と判定できる。また、姿勢指標Ｚの時間的な変動を監視し、姿勢指標Ｚが極大となったことを検出した場合に撮影装置１０に静止画撮影を指示する構成も採用される。以上の説明から理解される通り、撮影制御部５７０は、姿勢指標Ｚが所定の条件を満たす場合に撮影装置１０に楽譜画像７０Aの静止画撮影を指示する要素として包括的に表現され、当該指示の発生条件の具体的な内容は不問である。

（１１）前述の各形態で例示した楽譜画像解析装置１００は、前述の各形態の例示の通り、制御装置５０とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、相互に並列されたＮ個の譜表６２(１)〜６２(Ｎ)と各譜表６２(ｎ)に対して所定の位置に配置された楽譜記号７２(ｎ)とを含む楽譜を撮影した楽譜画像７０から楽譜記号７２(１)〜７２(Ｎ)を検出する記号検出部５１０、記号検出部５１０が検出したＮ個の楽譜記号７２(１)〜７２(Ｎ)の配列である記号列を特定する記号列特定部５２０、楽譜記号７２(ｎ)の位置で記号列に交差する単位領域Ａ(ｎ)を設定する単位領域設定部５３２、および、楽譜記号７２(ｎ)が配置された譜表６２(ｎ)のうち単位領域Ａ(ｎ)に含まれる割合Ｒ(ｎ)に応じた第１指標Ｘ1を算出する第１指標算出部５３４としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。

（１２）本発明は、前述の各形態に係る楽譜画像解析装置１００の動作方法（楽譜画像解析方法）としても特定される。例えば、本発明の一態様に係る楽譜画像解析方法は、相互に並列されたＮ個の譜表６２(１)〜６２(Ｎ)と各譜表６２(ｎ)に対して所定の位置に配置された楽譜記号７２(ｎ)とを含む楽譜を撮影した楽譜画像７０から楽譜記号７２(１)〜７２(Ｎ)を検出し（Ｓ2）、検出したＮ個の楽譜記号７２(１)〜７２(Ｎ)の配列である記号列を特定し（Ｓ3）、楽譜記号７２(ｎ)の位置で記号列に交差する単位領域Ａ(ｎ)を設定し（Ｓ4）、楽譜記号７２(ｎ)が配置された譜表６２(ｎ)のうち単位領域Ａ(ｎ)に含まれる割合Ｒ(ｎ)に応じた第１指標Ｘ1を算出する（Ｓ5）。

１００……楽譜画像解析装置、１０……撮影装置、２０……入力装置、３０……記憶装置、４０……表示装置、５０……制御装置、６２……譜表、６３……直線、６４……集合、７０，７０A……楽譜画像、７２……楽譜記号、７４……範囲、７６……記号領域、７８……記号列図形、８０……基準図形、５１０……記号検出部、５２０……記号列特定部、５３０……指標算出部、５３２……単位領域設定部、５３４……第１指標算出部、５４４……第２指標算出部、５５０……姿勢指標算出部、５６０……表示制御部、５７０……撮影制御部

Claims (4)

1. 相互に並列された複数の譜表と前記各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影装置による動画撮影で時系列に生成された各楽譜画像から前記楽譜記号を検出する記号検出部と、
   前記記号検出部が検出した複数の楽譜記号の配列である記号列を特定する記号列特定部と、
   前記楽譜に対する撮影方向の適否の指標である姿勢指標を前記記号列に応じて算出する指標算出部と、
   前記姿勢指標が所定の条件を満たす場合に前記撮影装置に前記楽譜画像の静止画撮影を指示する撮影制御部と
   を具備する楽譜画像解析装置。
2. 前記指標算出部は、
   前記楽譜記号の位置で前記記号列に交差する単位領域を設定する単位領域設定部と、
   前記楽譜記号が配置された前記譜表のうち前記単位領域に含まれる割合に応じた第１指標を算出する第１指標算出部とを含み、
   前記第１指標に応じた前記姿勢指標を設定する
   請求項１の楽譜画像解析装置。
3. 前記指標算出部は、
   前記記号列の角度に応じた第２指標を算出する第２指標算出部を含み、
   前記第２指標に応じた前記姿勢指標を設定する
   請求項１または請求項２の楽譜画像解析装置。
4. 前記姿勢指標は、撮影範囲の横方向が前記楽譜の横方向に平行となる状態に近いほど大きい数値となる指標であり、
   前記所定の条件は、前記姿勢指標が所定の閾値を上回ることである
   請求項１から請求項３の何れかの楽譜画像解析装置。
   

Images