JP2007121563A

JP2007121563A - Musical score recognition device and musical score recognition program

Info

Publication number: JP2007121563A
Application number: JP2005311788A
Authority: JP
Inventors: Seiji Nakano; 誠至中野; Naoyuki Tanaka; 直行田中
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2005-10-26
Filing date: 2005-10-26
Publication date: 2007-05-17
Anticipated expiration: 2025-10-26
Also published as: JP4738135B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a musical score recognition device that corrects a musical score more suitably. <P>SOLUTION: The musical score recognition device is provided with: a measure length calculation unit 18 which calculates measure lengths lasping when each of a plurality of measures obtained by sectioning staff notation described in a musical score representing a musical piece with a plurality of measure bars are played; and a rhythm pattern correction section 22 which corrects a wrong rhythm pattern of a misrecognized measure whose measure length which does not correspond to beat symbols described in the staff notation among the plurality of measures so that the measure length corresponds to the beat symbols. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、楽譜認識装置および楽譜認識プログラムに関し、特に、楽譜を正しく認識するときに利用される楽譜認識装置および楽譜認識プログラムに関する。 The present invention relates to a score recognition device and a score recognition program, and more particularly to a score recognition device and a score recognition program used when a score is correctly recognized.

イメージスキャナで楽譜を取り込み、パソコンで編集、印刷、演奏することができる楽譜認識ソフトウェアが知られている。その楽譜認識ソフトウェアとしては、河合楽器製作所製「スコアメーカー」が例示される。その楽譜認識ソフトウェアは、誤認識により小節内に音符または休符の過不足があるときに、その小節を着色し、エラーリストで表示することができる。その楽譜認識ソフトウェアは、ユーザの操作により、その誤認識された小節を正しいものに修正することができる。その楽譜認識ソフトウェアは、個々の記号の認識精度を向上させることにより誤認識を低減している。楽譜をより適切に認識する楽譜認識装置が望まれている。 2. Description of the Related Art Music score recognition software is known that can capture music with an image scanner and edit, print, and play it on a personal computer. As the score recognition software, “Score Maker” manufactured by Kawai Gakki Seisakusho is exemplified. The music score recognition software can color a bar and display it in an error list when there is an excess or deficiency of notes or rests in the bar due to misrecognition. The score recognition software can correct the erroneously recognized measure to a correct one by a user operation. The score recognition software reduces false recognition by improving the recognition accuracy of individual symbols. There is a demand for a score recognition device that more appropriately recognizes a score.

特許３４５４３０７号公報には、任意の２旋律間の類似度判定に際し、人間特有の聴感特性（音を記憶して後続の音と関連づける能力＝記憶残響効果）を応用した比較手法を用いることで実感覚に則した結果が得られる合理的かつ多角的な類似度判定を可能にする旋律類似度判定方法が開示されている。その旋律類似度判定方法は、旋律データベースに予め格納された照合旋律と、判定旋律とを比較することにより、前記判定旋律の前記照合旋律に対する類似度を判定する楽曲の旋律類似度判定方法において、前記判定旋律の対象となる楽曲の原譜から音程順列聴感譜と時間分割聴感譜とを作成する第１のステップと、前記音程順列聴感譜に基づく照合により音程順列比較を行い、予め定めた音列一致率を上回る前記照合旋律を比較対象照合旋律として抽出する第２のステップと、前記時間分割聴感譜に基づく照合により前記比較対象照合旋律に対して、音程時間比較に基づく音程時間一致率と発音点比較に基づく発音点一致率とを算出し、これを前記比較対象照合旋律に情報付加する第３のステップと、前記音列一致率、前記音程時間一致率及び前記発音点一致率に基づいて前記判定旋律と前記比較対象照合旋律との間の類似率を算出し、これを前記比較対象照合旋律に情報付加する第４のステップと、前記音列一致率、音程時間一致率、発音点一致率及び比較音数間に現われる一定の傾向を類型別に分類した類型別一致率分布データと前記比較対象照合旋律の前記音列一致率、前記音程時間一致率及び前記発音点一致率とを類型照合し、照合結果を類似パターンとして前記比較対象照合旋律に情報付加する第５のステップと、前記比較対象照合旋律に対して、前記音列一致率、前記音程時間一致率、前記発音点一致率、前記類似率及び前記類似パターンを判定要素として判定処理を行い、判定結果を判定評価データとして前記比較対象照合旋律に付加し、評価対象照合旋律として抽出する第６のステップとを備え、前記判定評価データに基づき前記判定旋律と前記照合旋律との間の類似度を判定することを特徴としている。 In Japanese Patent No. 3454307, when a similarity between two arbitrary melodies is determined, a comparison method applying a human-specific auditory characteristic (the ability to memorize a sound and associate it with a subsequent sound = memory reverberation effect) is used. A melody similarity determination method is disclosed that enables rational and multi-faceted similarity determination that can provide a result in accordance with a sense. The melody similarity determination method is a melody similarity determination method for a song that determines the similarity of the determination melody to the verification melody by comparing the verification melody stored in advance in the melody database with the determination melody. A first step of creating a pitch permutation perception score and a time-division perception score from the original music of the music subject to the determination melody, a pitch permutation comparison is performed by collation based on the pitch permutation perception score, and a predetermined sound A second step of extracting the collation melody exceeding a column coincidence rate as a comparison collation melody, and a pitch time coincidence rate based on a pitch time comparison with respect to the comparison collation melody by collation based on the time-division auditory score; A third step of calculating a pronunciation point matching rate based on the pronunciation point comparison and adding the information to the comparison target melody; the pitch sequence matching rate; and the pitch time matching rate And a fourth step of calculating a similarity rate between the determination melody and the comparison target matching melody based on the pronunciation point matching rate, and adding information to the comparison target matching melody; , Pitch time match rate, pronunciation point match rate, and a certain tendency appearing between the comparison number of sounds classified by type, the tone string match rate of the comparison target melody, the pitch time match rate, A fifth step of performing type matching with the pronunciation point matching rate, and adding information to the comparison target matching melody as a matching pattern as a matching pattern; and for the comparison target matching melody, the tone string matching rate, the pitch time A determination process is performed using the matching rate, the pronunciation point matching rate, the similarity rate, and the similar pattern as determination elements, and the determination result is added as determination evaluation data to the comparison target verification melody, as an evaluation target verification melody And a sixth step of leaving, is characterized by determining the similarity between the determined melody and the verification melody based on the determination evaluation data.

特許３４６６８９４号公報には、楽譜上の混在する斜体文字、標準文字からなる音楽記号について文字単位の字体判別処理を行う構成を提供し、それによって、これらの字体の混在する音楽記号に対し高い認識率が得られるようにせんとする楽譜認識方法が開示されている。その楽譜認識方法は、楽譜イメージを読み取ってその音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識方法において、認識すべき音楽記号のうち、文字記号或いは文字を含む記号に対し、そのラベルを抽出してパターンマッチングにより認識を行い、その後該ラベル上のこれらの記号の推定回帰直線の傾きを検出し、その傾きの違いにより、前記記号の字体が斜体であるか否かを判別することを特徴としている。 Japanese Patent No. 3466894 provides a configuration for performing character-type character discrimination processing for music symbols composed of mixed italic characters and standard characters on a musical score, thereby highly recognizing music symbols containing these characters. A music score recognition method is disclosed in which a rate is obtained. The musical score recognition method is a musical score recognition method that reads a musical score image, recognizes the musical symbol, and creates data for performance or musical score display. On the other hand, the label is extracted and recognized by pattern matching, and then the inclination of the estimated regression line of these symbols on the label is detected, and whether or not the font of the symbol is italic due to the difference in the inclination. It is characterized by distinguishing.

特許３４５４３０７号公報Japanese Patent No. 3454307 特許３４６６８９４号公報Japanese Patent No. 3466894

本発明の課題は、楽譜をより適切に認識する楽譜認識装置および楽譜認識プログラムを提供することにある。
本発明の他の課題は、楽譜をより適切に修正する楽譜認識装置および楽譜認識プログラムを提供することにある。
本発明のさらに他の課題は、印刷物を光学的に読み取る処理の精度を変更させること無く楽譜をより適切に認識する楽譜認識装置および楽譜認識プログラムを提供することにある。 An object of the present invention is to provide a score recognition device and a score recognition program for more appropriately recognizing a score.
Another object of the present invention is to provide a score recognition device and a score recognition program for more appropriately correcting a score.
Still another object of the present invention is to provide a score recognition device and a score recognition program for more appropriately recognizing a score without changing the accuracy of the process of optically reading a printed matter.

以下に、発明を実施するための最良の形態・実施例で使用される符号を括弧付きで用いて、課題を解決するための手段を記載する。この符号は、特許請求の範囲の記載と発明を実施するための最良の形態・実施例の記載との対応を明らかにするために付加されたものであり、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。 In the following, means for solving the problems will be described using the reference numerals used in the best modes and embodiments for carrying out the invention in parentheses. This reference numeral is added to clarify the correspondence between the description of the claims and the description of the best mode for carrying out the invention / example, and is described in the claims. It should not be used to interpret the technical scope of the invention.

本発明による楽譜認識装置（１）は、楽曲を表現する楽譜に記載される譜表を複数小節線により区切られた複数小節の各々が演奏されるときに経過する小節長さを算出する小節長算出部（１８）と、複数小節のうちの小節長さが譜表に記載される拍子記号に対応しない誤認小節の誤認リズムパターンを拍子記号に対応するように修正するリズムパターン修正部（２２）とを備えている。 A score recognition apparatus (1) according to the present invention calculates a measure length for calculating a measure length that elapses when each of a plurality of measures in which a staff described in a score representing music is divided by a plurality of measure lines is played. And a rhythm pattern correction unit (22) that corrects the misidentified rhythm pattern of a misidentified measure whose bar length does not correspond to the time signature described in the staff so as to correspond to the time signature. I have.

本発明による楽譜認識装置（１）は、複数リズムパターン（３２）を記憶装置に記録するリズムパターン辞書データベース（１１）をさらに備えている。このとき、リズムパターン修正部（２２）は、複数リズムパターン（３２）から誤認リズムパターンに類似する類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更する。 The musical score recognition apparatus (1) according to the present invention further includes a rhythm pattern dictionary database (11) for recording a plurality of rhythm patterns (32) in a storage device. At this time, the rhythm pattern correction unit (22) searches the plurality of rhythm patterns (32) for a similar rhythm pattern similar to the misidentified rhythm pattern and changes the misidentified rhythm pattern to a similar rhythm pattern.

リズムパターン辞書データベース（１１）は、複数リズムパターン（３２）に複数符号横位置パターン（３３）を対応付けている。リズムパターン修正部（２２）は、複数符号横位置パターン（３３）から誤認小節に記載される複数の符号（音符、休符）の横位置のパターンに類似する類似符号横位置パターンを検索し、その類似符号横位置パターンに対応する類似リズムパターンに誤認リズムパターンを変更する。 The rhythm pattern dictionary database (11) associates a plurality of horizontal position patterns (33) with a plurality of rhythm patterns (32). The rhythm pattern correction unit (22) searches for a similar code horizontal position pattern similar to the horizontal position pattern of a plurality of codes (notes, rests) described in the misidentified measure from the multiple code horizontal position pattern (33), The misidentified rhythm pattern is changed to a similar rhythm pattern corresponding to the similar code lateral position pattern.

楽譜は、複数声部に対応する複数譜表を表現するスコアである。このとき、リズムパターン辞書データベース（１１）は、複数声部（３７）を複数リズムパターン（３２）に対応付けている。リズムパターン修正部（２２）は、複数リズムパターン（３２）のうちの誤認小節の声部に対応するリズムパターンから類似リズムパターンを検索する。 The score is a score representing a plurality of staffs corresponding to a plurality of voice parts. At this time, the rhythm pattern dictionary database (11) associates the plurality of voice parts (37) with the plurality of rhythm patterns (32). The rhythm pattern correction unit (22) searches for a similar rhythm pattern from the rhythm patterns corresponding to the voice part of the misidentified measure out of the plurality of rhythm patterns (32).

リズムパターン辞書データベース（１１）は、複数リズムパターン（３２）を複数所定記号パターン（３４、３６）に対応付けている。リズムパターン修正部（２２）は、複数リズムパターン（３２）のうちの誤認小節に記載される所定記号のパターンに対応するリズムパターンから類似リズムパターンを検索する。 The rhythm pattern dictionary database (11) associates a plurality of rhythm patterns (32) with a plurality of predetermined symbol patterns (34, 36). A rhythm pattern correction unit (22) searches for a similar rhythm pattern from rhythm patterns corresponding to a pattern of a predetermined symbol described in a misidentified measure of the plurality of rhythm patterns (32).

本発明による楽譜認識装置（１）は、複数小節のうちの小節長さが拍子記号に対応する小節のリズムパターンにしたがって複数リズムパターン（３２）を作成するリズムパターン辞書登録部（２１）をさらに備えている。 The musical score recognition apparatus (1) according to the present invention further includes a rhythm pattern dictionary registration unit (21) for creating a plurality of rhythm patterns (32) according to a rhythm pattern of a measure whose measure length corresponds to a time signature among the measures. I have.

リズムパターン辞書データベース（１１）は、複数リズムパターン（３２）を複数頻度（３８）に対応付けている。複数頻度（３８）は、それぞれ、複数リズムパターン（３２）に対応する小節が複数小節に出現する頻度を示している。リズムパターン修正部（２２）は、複数リズムパターン（３２）のうちの所定の値より大きい頻度に対応するリズムパターンから類似リズムパターンを検索する。 The rhythm pattern dictionary database (11) associates a plurality of rhythm patterns (32) with a plurality of frequencies (38). The multiple frequency (38) indicates the frequency at which bars corresponding to the multiple rhythm pattern (32) appear in the multiple bars. The rhythm pattern correction unit (22) searches for a similar rhythm pattern from rhythm patterns corresponding to a frequency greater than a predetermined value among the plurality of rhythm patterns (32).

本発明による楽譜認識装置（１）は、複数拍子記号（４２）に他の複数リズムパターン（４３）を対応付ける他のリズムパターン辞書データベース（１２）をさらに備えている。このとき、リズムパターン修正部（２２）は、複数リズムパターン（３２）が誤認リズムパターンに類似したリズムパターンを含まないときに、他の複数リズムパターン（４３）のうちの拍子記号に対応するリズムパターンから類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更する。 The score recognition apparatus (1) according to the present invention further includes another rhythm pattern dictionary database (12) that associates a plurality of time signatures (42) with another plurality of rhythm patterns (43). At this time, when the plurality of rhythm patterns (32) do not include a rhythm pattern similar to the misidentified rhythm pattern, the rhythm pattern correction unit (22) corresponds to the rhythm corresponding to the time signature of the other plurality of rhythm patterns (43). A similar rhythm pattern is searched from the pattern and the misidentified rhythm pattern is changed to a similar rhythm pattern.

本発明による楽譜認識装置（１）は、複数変更内容（６３）を優先順位（６２）に対応付ける優先順位データベース（１４）をさらに備えている。このとき、リズムパターン修正部（２２）は、類似リズムパターンが複数検索されるときに、類似リズムパターンのうちの優先順位が最も高い変更内容で変更されるリズムパターンに誤認リズムパターンを変更する。 The score recognition apparatus (1) according to the present invention further includes a priority database (14) for associating a plurality of changes (63) with a priority (62). At this time, when a plurality of similar rhythm patterns are searched, the rhythm pattern correction unit (22) changes the misidentified rhythm pattern to a rhythm pattern that is changed with the change content having the highest priority among the similar rhythm patterns.

本発明による楽譜認識装置（１）は、複数小節のうちの小節長さが拍子記号に対応する小節が所定の割合より少ないときに拍子記号を修正する拍子記号修正部（１９）をさらに備えている。 The musical score recognition apparatus (1) according to the present invention further includes a time signature correction unit (19) that corrects the time signature when the measure length of the plurality of measures is less than a predetermined ratio corresponding to the time signature. Yes.

本発明による楽譜認識装置（１）は、誤認小節の小節長さが所定の条件を満足するときに誤認小節を区切る小節線を修正する小節線修正部（２０）をさらに備えている。 The musical score recognition apparatus (1) according to the present invention further includes a measure line correcting unit (20) for correcting a measure line that divides a misidentified measure when the measure length of the misidentified measure satisfies a predetermined condition.

本発明による楽譜認識装置（１）は、楽譜を示す楽譜イメージを外部装置（５）から収集する楽譜イメージ収集部（１５）と、楽譜イメージを楽譜に画像認識する記号認識部（１６）とをさらに備えている。 A score recognition device (1) according to the present invention includes a score image collection unit (15) that collects a score image indicating a score from an external device (5), and a symbol recognition unit (16) that recognizes a score image as a score. It has more.

本発明による楽譜認識装置（１）は、楽譜イメージを形成する複数図形に複数有効度テーブルを対応付けるマッチング有効度データベース（１３）を備えている。このとき、複数有効度テーブルは、それぞれ、複数記号を複数有効度に対応付けている。記号認識部（１６）は、複数有効度テーブルのうちの複数図形の各々に対応する有効度テーブルを参照して、各々を複数記号のうちの有効度の最大値に対応する記号に認識する。リズムパターン修正部（２２）は、複数有効度テーブルのうちの誤認小節に認識される誤認図形に対応する誤認有効度テーブルを参照して、複数記号のうちの有効度が第１値より大きいものに対応する記号を誤認小節に追加することにより、または、複数記号のうちの有効度が第２値より小さいものに対応する記号を誤認小節から削除することにより誤認リズムパターンを類似リズムパターンに変更する。 The score recognition apparatus (1) according to the present invention includes a matching effectiveness database (13) for associating a plurality of effectiveness tables with a plurality of figures forming a score image. At this time, the multiple effectiveness table associates multiple symbols with multiple effectiveness, respectively. The symbol recognizing unit (16) refers to the effectiveness table corresponding to each of the plurality of figures in the plurality of effectiveness tables, and recognizes each as a symbol corresponding to the maximum value of the effectiveness of the plurality of symbols. The rhythm pattern correction unit (22) refers to the misperception effectiveness table corresponding to the misidentified figure recognized in the misidentified measure in the plurality of validity tables, and the effectiveness of the plurality of symbols is greater than the first value. Change the misidentified rhythm pattern to a similar rhythm pattern by adding a symbol corresponding to to the misidentified measure, or by deleting a symbol corresponding to a symbol whose effectiveness is less than the second value from the misidentified measure To do.

本発明による楽譜認識装置（１）は、入力装置（６）の操作に基づいて楽譜を編集する楽譜編集部（１７）とをさらに備えている。 The score recognition device (1) according to the present invention further includes a score editing unit (17) that edits a score based on an operation of the input device (6).

本発明による楽譜認識プログラムは、楽曲を表現する楽譜に記載される譜表を複数小節線により区切られた複数小節の各々が演奏されるときに経過する小節長さを算出する小節長算出部（１８）と、複数小節のうちの小節長さが譜表に記載される拍子記号に対応しない誤認小節の誤認リズムパターンを拍子記号に対応するように修正するリズムパターン修正部（２２）とを備えている。 The score recognition program according to the present invention is a measure length calculation unit (18) that calculates a measure length that elapses when each of a plurality of measures in which a staff described in a score representing music is divided by a plurality of measure lines is played. ) And a rhythm pattern correction unit (22) that corrects a misidentified rhythm pattern of a misidentified measure whose bar length does not correspond to the time signature described in the staff so as to correspond to the time signature. .

本発明による楽譜認識プログラムは、複数リズムパターン（３２）を記憶装置に記録するリズムパターン辞書データベース（１１）をさらに備えている。このとき、リズムパターン修正部（２２）は、複数リズムパターン（３２）から誤認リズムパターンに類似する類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更する。 The score recognition program according to the present invention further includes a rhythm pattern dictionary database (11) for recording a plurality of rhythm patterns (32) in a storage device. At this time, the rhythm pattern correction unit (22) searches the plurality of rhythm patterns (32) for a similar rhythm pattern similar to the misidentified rhythm pattern and changes the misidentified rhythm pattern to a similar rhythm pattern.

本発明による楽譜認識プログラムは、複数小節のうちの小節長さが拍子記号に対応する小節のリズムパターンにしたがって複数リズムパターン（３２）を作成するリズムパターン辞書登録部（２１）をさらに備えている。 The musical score recognition program according to the present invention further includes a rhythm pattern dictionary registration unit (21) for creating a plurality of rhythm patterns (32) according to a rhythm pattern of a measure whose measure length corresponds to a time signature among the measures. .

本発明による楽譜認識プログラムは、複数拍子記号（４２）に他の複数リズムパターン（４３）を対応付ける他のリズムパターン辞書データベース（１２）をさらに備えている。このとき、リズムパターン修正部（２２）は、複数リズムパターン（３２）が誤認リズムパターンに類似したリズムパターンを含まないときに、他の複数リズムパターン（４３）のうちの拍子記号に対応するリズムパターンから類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更する。 The musical score recognition program according to the present invention further includes another rhythm pattern dictionary database (12) that associates a plurality of time signatures (42) with another plurality of rhythm patterns (43). At this time, when the plurality of rhythm patterns (32) do not include a rhythm pattern similar to the misidentified rhythm pattern, the rhythm pattern correction unit (22) corresponds to the rhythm corresponding to the time signature of the other plurality of rhythm patterns (43). A similar rhythm pattern is searched from the pattern and the misidentified rhythm pattern is changed to a similar rhythm pattern.

本発明による楽譜認識プログラムは、複数変更内容（６３）を優先順位（６２）に対応付ける優先順位データベース（１４）をさらに備えている。このとき、リズムパターン修正部（２２）は、類似リズムパターンが複数検索されるときに、類似リズムパターンのうちの優先順位が最も高い変更内容で変更されるリズムパターンに誤認リズムパターンを変更する。 The score recognition program according to the present invention further includes a priority database (14) for associating a plurality of changes (63) with a priority (62). At this time, when a plurality of similar rhythm patterns are searched, the rhythm pattern correction unit (22) changes the misidentified rhythm pattern to a rhythm pattern that is changed with the change content having the highest priority among the similar rhythm patterns.

本発明による楽譜認識プログラムは、複数小節のうちの小節長さが拍子記号に対応する小節が所定の割合より少ないときに拍子記号を修正する拍子記号修正部（１９）をさらに備えている。 The score recognition program according to the present invention further includes a time signature correction unit (19) for correcting the time signature when the measure length of the plurality of measures is less than a predetermined ratio.

本発明による楽譜認識プログラムは、誤認小節の小節長さが所定の条件を満足するときに誤認小節を区切る小節線を修正する小節線修正部（２０）をさらに備えている。 The musical score recognition program according to the present invention further includes a measure line correcting section (20) for correcting a measure line that divides a misidentified measure when the measure length of the misidentified measure satisfies a predetermined condition.

本発明による楽譜認識プログラムは、楽譜を示す楽譜イメージを外部装置（５）から収集する楽譜イメージ収集部（１５）と、楽譜イメージを楽譜に画像認識する記号認識部（１６）とをさらに備えている。 The score recognition program according to the present invention further includes a score image collection unit (15) that collects a score image indicating a score from an external device (5), and a symbol recognition unit (16) that recognizes the score image as a score. Yes.

本発明による楽譜認識プログラムは、楽譜イメージを形成する複数図形に複数有効度テーブルを対応付けるマッチング有効度データベース（１３）を備えている。このとき、複数有効度テーブルは、それぞれ、複数記号を複数有効度に対応付けている。記号認識部（１６）は、複数有効度テーブルのうちの複数図形の各々に対応する有効度テーブルを参照して、各々を複数記号のうちの有効度の最大値に対応する記号に認識する。リズムパターン修正部（２２）は、複数有効度テーブルのうちの誤認小節に認識される誤認図形に対応する誤認有効度テーブルを参照して、複数記号のうちの有効度が第１値より大きいものに対応する記号を誤認小節に追加することにより、または、複数記号のうちの有効度が第２値より小さいものに対応する記号を誤認小節から削除することにより誤認リズムパターンを類似リズムパターンに変更する。 The score recognition program according to the present invention includes a matching effectiveness database (13) for associating a plurality of effectiveness tables with a plurality of figures forming a score image. At this time, the multiple effectiveness table associates multiple symbols with multiple effectiveness, respectively. The symbol recognizing unit (16) refers to the effectiveness table corresponding to each of the plurality of figures in the plurality of effectiveness tables, and recognizes each as a symbol corresponding to the maximum value of the effectiveness of the plurality of symbols. The rhythm pattern correction unit (22) refers to the misperception effectiveness table corresponding to the misidentified figure recognized in the misidentified measure in the plurality of validity tables, and the effectiveness of the plurality of symbols is greater than the first value. Change the misidentified rhythm pattern to a similar rhythm pattern by adding a symbol corresponding to to the misidentified measure, or by deleting a symbol corresponding to a symbol whose effectiveness is less than the second value from the misidentified measure To do.

本発明による楽譜認識プログラムは、入力装置（６）の操作に基づいて楽譜を編集する楽譜編集部（１７）とをさらに備えている。 The score recognition program according to the present invention further includes a score editing section (17) for editing a score based on an operation of the input device (6).

本発明による楽譜認識装置および楽譜認識プログラムは、楽譜をより適切に認識することができる。 The score recognition apparatus and score recognition program according to the present invention can recognize a score more appropriately.

図面を参照して、本発明による電子楽器の実施の形態を記載する。その楽譜認識装置１は、図１に示されているように、楽譜認識装置本体２がスキャナ５と編集用入力装置６と出力装置７とを備えている。スキャナ５は、楽曲を表現する楽譜が印刷された印刷物を撮像し、その楽譜の楽譜イメージを生成して楽譜認識装置本体２に出力する。編集用入力装置６は、たとえば、マウス、キーボードであり、ユーザにより操作されて生成される情報を楽譜認識装置本体２に出力する。出力装置７としては、ディスプレイ、スピーカが例示される。そのディスプレイは、表示面を備え、楽譜認識装置本体２により生成された画面をその表示面に表示する。そのスピーカは、楽譜認識装置本体２により生成された電気信号を楽音に変換する。 An embodiment of an electronic musical instrument according to the present invention will be described with reference to the drawings. In the score recognition apparatus 1, as shown in FIG. 1, the score recognition apparatus main body 2 includes a scanner 5, an input device 6 for editing, and an output device 7. The scanner 5 captures a printed matter on which a score representing music is printed, generates a score image of the score, and outputs the score image to the score recognition apparatus body 2. The editing input device 6 is, for example, a mouse or a keyboard, and outputs information generated by being operated by the user to the score recognition device main body 2. Examples of the output device 7 include a display and a speaker. The display includes a display surface, and displays a screen generated by the score recognition apparatus main body 2 on the display surface. The speaker converts the electric signal generated by the score recognition apparatus main body 2 into a musical sound.

楽譜認識装置本体２は、コンピュータであり、図示されていないＣＰＵと記憶装置とを備えている。そのＣＰＵは、楽譜認識装置本体２にインストールされるコンピュータプログラムを実行して、その記憶装置とスキャナ５と編集用入力装置６と出力装置７とを制御する。その記憶装置は、そのコンピュータプログラムを記録し、そのＣＰＵにより生成される情報を一時的に記録する。 The score recognition apparatus main body 2 is a computer, and includes a CPU and a storage device (not shown). The CPU executes a computer program installed in the score recognition apparatus main body 2 and controls the storage device, the scanner 5, the editing input device 6, and the output device 7. The storage device records the computer program and temporarily records information generated by the CPU.

楽譜認識装置本体２は、そのコンピュータプログラムとして、第１リズムパターン辞書データベース１１と第２リズムパターン辞書データベース１２とマッチング有効度データベース１３と優先順位データベース１４と楽譜イメージ収集部１５と記号認識部１６と楽譜編集部１７と小節長算出部１８と拍子記号修正部１９と小節線修正部２０とリズムパターン辞書登録部２１とリズムパターン修正部２２と楽譜出力部２３とがインストールされている。 The score recognition device main body 2 includes, as its computer program, a first rhythm pattern dictionary database 11, a second rhythm pattern dictionary database 12, a matching effectiveness database 13, a priority database 14, a score image collection unit 15, and a symbol recognition unit 16. A score editing unit 17, a bar length calculation unit 18, a time signature correction unit 19, a bar line correction unit 20, a rhythm pattern dictionary registration unit 21, a rhythm pattern correction unit 22, and a score output unit 23 are installed.

第１リズムパターン辞書データベース１１は、第１リズムパターン辞書を他のコンピュータプログラムにより検索可能に更新可能に記憶装置に記録する。第２リズムパターン辞書データベース１２は、第２リズムパターン辞書を他のコンピュータプログラムにより検索可能に記憶装置に記録する。マッチング有効度データベース１３は、マッチング有効度テーブルを他のコンピュータプログラムにより検索可能に更新可能に記憶装置に記録する。優先順位データベース１４は、優先順位テーブルを他のコンピュータプログラムにより検索可能に記憶装置に記録する。 The first rhythm pattern dictionary database 11 records the first rhythm pattern dictionary in a storage device so as to be searchable and updateable by another computer program. The second rhythm pattern dictionary database 12 records the second rhythm pattern dictionary in a storage device so that it can be searched by other computer programs. The matching effectiveness database 13 records the matching effectiveness table in a storage device so as to be searchable and updateable by other computer programs. The priority order database 14 records the priority order table in a storage device so as to be searchable by other computer programs.

楽譜イメージ収集部１５は、スキャナ５により生成された楽譜イメージをスキャナ５から収集する。記号認識部１６は、楽譜イメージ収集部１５により収集される楽譜イメージに基づいて楽譜を生成する。楽譜編集部１７は、編集用入力装置６の操作に基づいて楽譜を生成する。 The score image collecting unit 15 collects the score image generated by the scanner 5 from the scanner 5. The symbol recognition unit 16 generates a score based on the score image collected by the score image collecting unit 15. The score editing unit 17 generates a score based on the operation of the editing input device 6.

小節長算出部１８は、記号認識部１６または楽譜編集部１７により生成される楽譜の譜表を小節線により複数の小節に分割し、その小節に記入される符号（音符と休符と）に基づいて小節長さを算出する。その小節長さは、その楽譜が示す楽曲が演奏されたときに、その小節が演奏される時間（拍数）を示している。 The measure length calculation unit 18 divides the staff of the score generated by the symbol recognition unit 16 or the score editing unit 17 into a plurality of measures using measure lines, and is based on codes (notes and rests) written in the measures. To calculate the bar length. The measure length indicates the time (number of beats) in which the measure is played when the music indicated by the score is played.

拍子記号修正部１９は、記号認識部１６または楽譜編集部１７により生成される楽譜が備える複数の小節のうちの間違いと考えられる誤認小節の個数を計数する。その誤認小節は、小節長算出部１８により算出された小節長さがその楽譜に記載される拍子記号に対応していない小節である。拍子記号修正部１９は、さらに、その誤認小節の個数が全体に対して所定の割合より多いときに、その全部の小節で最も多く算出される小節長さに対応する拍子記号に修正する。その所定の割合としては、９割が例示される。拍子記号修正部１９は、さらに、その誤認小節が所定の個数以上に連続し、かつ、その誤認小節の小節長さが１つの値を示しているときに、その１つの値に対応する拍子記号をその誤認小節の先頭の小節に追記する。 The time signature correction unit 19 counts the number of erroneously recognized measures among the plurality of measures included in the score generated by the symbol recognition unit 16 or the score editing unit 17. The misidentified measure is a measure whose measure length calculated by the measure length calculation unit 18 does not correspond to the time signature described in the score. The time signature correcting unit 19 further corrects the time signature corresponding to the measure length calculated most in all the bars when the number of misidentified bars is larger than a predetermined ratio with respect to the whole. As the predetermined ratio, 90% is exemplified. The time signature correction unit 19 further includes a time signature corresponding to one value when the number of misidentified measures is equal to or greater than a predetermined number and the measure length of the misidentified measure indicates one value. Is added to the first measure of the misidentified measure.

小節線修正部２０は、記号認識部１６または楽譜編集部１７により生成される楽譜に記載される拍子記号と小節長算出部１８により算出された小節長さとの関係が所定の条件を満足しているかどうかを判別する。その条件は、その小節長さがその拍子記号に対応する小節長さの整数倍であること、ある小節の小節長さとその小節に隣接する小節の小節長さとの和がその拍子記号に対応する小節長さに等しいことが例示される。小節線修正部２０は、その条件を満足しているときに、その小節を区切る小節線を修正する。すなわち、小節線修正部２０は、ある小節の小節長さがその拍子記号に対応する小節長さの２倍以上の整数倍であるときに、その拍子記号に対応する小節長さでその小節を区切る小節線を追加する。小節線修正部２０は、ある小節の小節長さとその小節に隣接する小節の小節長さとの和がその拍子記号に対応する小節長さに等しいときに、その小節とその隣接する小節とを区切る小節線を削除する。 The bar line correction unit 20 satisfies a predetermined condition when the relationship between the time signature described in the score generated by the symbol recognition unit 16 or the score editing unit 17 and the bar length calculated by the bar length calculation unit 18 is satisfied. Determine whether or not. The condition is that the measure length is an integral multiple of the measure length corresponding to the time signature, and the sum of the measure length of a measure and the measure length of the measure adjacent to the measure corresponds to the time signature. It is exemplified that it is equal to the bar length. The bar line correcting unit 20 corrects bar lines that delimit the bar when the condition is satisfied. That is, when the measure length of a measure is an integer multiple of twice or more the measure length corresponding to the time signature, the measure line correcting unit 20 selects the measure with the measure length corresponding to the time signature. Add a bar line to separate. The measure line correcting unit 20 divides the measure from the adjacent measure when the sum of the measure length of a measure and the measure length of the measure adjacent to the measure is equal to the measure length corresponding to the time signature. Delete bar lines.

リズムパターン辞書登録部２１は、小節長算出部１８により算出される小節長さが所定の小節長さに等しい小節に基づいて第１リズムパターン辞書データベース１１の第１リズムパターン辞書を作成する。その所定の小節長さは、記号認識部１６または楽譜編集部１７により生成される楽譜に記載される拍子記号に対応する小節長さ、または、拍子記号修正部１９により修正された拍子記号に対応する小節長さを示している。 The rhythm pattern dictionary registration unit 21 creates the first rhythm pattern dictionary of the first rhythm pattern dictionary database 11 based on the bars whose bar length calculated by the bar length calculation unit 18 is equal to a predetermined bar length. The predetermined measure length corresponds to the measure length corresponding to the time signature described in the score generated by the symbol recognition unit 16 or the score editing unit 17 or the time signature corrected by the time signature correction unit 19. The bar length is shown.

リズムパターン修正部２２は、記号認識部１６または楽譜編集部１７により生成される楽譜に記載される小節のうち、小節長算出部１８により算出される小節長さが所定の小節長さと異なる誤認小節を抽出する。その所定の小節長さは、記号認識部１６または楽譜編集部１７により生成される楽譜に記載される拍子記号に対応する小節長さを示し、または、拍子記号修正部１９により拍子記号が修正されたときにはその修正された拍子記号に対応する小節長さを示している。リズムパターン修正部２２は、さらに、その誤認小節のリズムパターンを小節長さがその所定の小節長さに等しくなるように修正する。 The rhythm pattern correction unit 22 is a misidentified measure in which the measure length calculated by the measure length calculation unit 18 is different from a predetermined measure length among the measures described in the score generated by the symbol recognition unit 16 or the score editing unit 17. To extract. The predetermined bar length indicates a bar length corresponding to the time signature described in the score generated by the symbol recognition unit 16 or the score editing unit 17, or the time signature correction unit 19 corrects the time signature. Shows the measure length corresponding to the corrected time signature. The rhythm pattern correction unit 22 further corrects the rhythm pattern of the misidentified measure so that the measure length becomes equal to the predetermined measure length.

楽譜出力部２３は、記号認識部１６または楽譜編集部１７により生成される楽譜を出力装置７に出力する。すなわち、楽譜出力部２３は、その楽譜により表現される楽曲を作成してスピーカから出力し、その楽譜を示す画面を作成してディスプレイに表示する。楽譜出力部２３は、さらに、拍子記号修正部１９と小節線修正部２０とリズムパターン修正部２２とにより修正された楽譜を出力装置７に出力する。すなわち、楽譜出力部２３は、その楽譜により表現される楽曲を作成してスピーカから出力し、その楽譜を示す画面を作成してディスプレイに表示する。このとき、楽譜出力部２３は、拍子記号修正部１９と小節線修正部２０とリズムパターン修正部２２とにより修正された箇所がユーザに認識可能にその楽譜をディスプレイに表示する。 The score output unit 23 outputs the score generated by the symbol recognition unit 16 or the score editing unit 17 to the output device 7. That is, the score output unit 23 creates a music represented by the score and outputs it from the speaker, creates a screen showing the score, and displays it on the display. The score output unit 23 further outputs the score corrected by the time signature correction unit 19, the bar line correction unit 20, and the rhythm pattern correction unit 22 to the output device 7. That is, the score output unit 23 creates a music represented by the score and outputs it from the speaker, creates a screen showing the score, and displays it on the display. At this time, the score output unit 23 displays the score on the display so that the location corrected by the time signature correction unit 19, the bar line correction unit 20, and the rhythm pattern correction unit 22 can be recognized by the user.

図２は、第１リズムパターン辞書データベース１１により記録される第１リズムパターン辞書を示している。その第１リズムパターン辞書３１は、小節情報を頻度３８に対応付けている。その小節情報は、その楽譜に記載される複数の小節のうちの小節長さが所定の小節長さに等しい小節を示している。頻度３８は、その小節情報に示される小節の個数の割合を示している。 FIG. 2 shows a first rhythm pattern dictionary recorded by the first rhythm pattern dictionary database 11. The first rhythm pattern dictionary 31 associates bar information with the frequency 38. The bar information indicates a bar whose bar length is equal to a predetermined bar length among a plurality of bars described in the score. The frequency 38 indicates the ratio of the number of bars indicated in the bar information.

その小節情報は、リズムパターン３２と横位置３３と連桁情報３４と連符情報３５とその他の記号３６とパート３７とから形成されている。リズムパターン３２は、小節に記載される符号の順列を示し、その小節で演奏される複数の楽音の発音位置をそれぞれ示している。その符号は、音符と休符とから形成されている。このとき、その音符は、音の長さを示しているが、音の高さを示していない。その発音位置は、その複数の楽音が発音される発音順を示し、その複数の楽音がそれぞれ発音されるオンタイミングと長さとを示している。リズムパターン３２は、１つの譜表に複数のリズムパターンが記載されているときに、たとえば、譜表が大譜表であるときに、その複数のリズムパターンを示している。横位置３３は、リズムパターン３２により示される複数の符号が譜表に記載されている位置を示し、符号毎にその小節の始まりからその符号までの距離をその小節の幅で割ったパーセンテージを示している。連桁情報３４は、リズムパターン３２により示される符号が連符を含んでいるときに、その連符に属する複数の音符を関連付ける連桁の種類を示している。その連桁は、音符同士を繋げている１本の太線または複数の太線である。連符情報３５は、リズムパターン３２により示される符号が連符を含んでいるときに、その連符に添付される連符数字とその連符に属する複数の音符とを示している。その他の記号３６は、リズムパターン３２により示されるリズムパターンを備える小節に付加されている所定の記号を示し、または、リズムパターン３２により示される符号に付加されている所定の記号を示している。その所定の記号としては、タイ、スラー、アクセント、スタッカート、ブレス記号、トレモロが例示される。パート３７は、リズムパターン３２により示されるリズムパターンを備える小節に割り当てられているパートを示している。 The bar information is formed of a rhythm pattern 32, a horizontal position 33, continuous beam information 34, tuplet information 35, other symbols 36, and a part 37. The rhythm pattern 32 indicates a permutation of codes described in a measure, and indicates the sound generation positions of a plurality of musical sounds played in that measure. The code is formed from notes and rests. At this time, the note indicates the length of the sound but does not indicate the pitch of the sound. The sounding position indicates the sounding order in which the plurality of musical sounds are generated, and indicates the on timing and length at which the plurality of musical sounds are generated. The rhythm pattern 32 indicates a plurality of rhythm patterns when a plurality of rhythm patterns are described in one staff, for example, when the staff is a grand staff. The horizontal position 33 indicates a position where a plurality of codes indicated by the rhythm pattern 32 are described in the staff, and indicates a percentage obtained by dividing the distance from the start of the bar to the code by the width of the bar for each code. Yes. The beam information 34 indicates the type of beam that associates a plurality of notes belonging to the tuplet when the code indicated by the rhythm pattern 32 includes the tuplet. The beam is one thick line or a plurality of thick lines connecting the notes. The tuplet information 35 indicates tuplet numbers attached to the tuplet and a plurality of notes belonging to the tuplet when the code indicated by the rhythm pattern 32 includes a tuplet. The other symbol 36 indicates a predetermined symbol added to a measure including the rhythm pattern indicated by the rhythm pattern 32 or indicates a predetermined symbol added to the reference indicated by the rhythm pattern 32. Examples of the predetermined symbol include tie, slur, accent, staccato, breath symbol, and tremolo. Part 37 indicates a part assigned to a measure having a rhythm pattern indicated by the rhythm pattern 32.

このとき、リズムパターン辞書登録部２１は、小節長算出部１８により算出される小節長さが所定の小節長さに等しいときに、第１リズムパターン辞書３１の小節情報（リズムパターン３２と横位置３３と連桁情報３４と連符情報３５とその他の記号３６とパート３７と）をその小節にしたがって登録する。その所定の小節長さは、記号認識部１６または楽譜編集部１７により生成される楽譜に記載される拍子記号に対応する小節長さ、または、拍子記号修正部１９により修正された拍子記号に対応する小節長さを示している。リズムパターン辞書登録部２１は、さらに、その楽譜のうちのその小節情報に示される小節の個数を計数し、第１リズムパターン辞書３１の頻度３８を登録する。 At this time, when the measure length calculated by the measure length calculation unit 18 is equal to the predetermined measure length, the rhythm pattern dictionary registration unit 21 sets the measure information (the rhythm pattern 32 and the lateral position) of the first rhythm pattern dictionary 31. 33, the digit information 34, the tuplet information 35, the other symbols 36, and the part 37) are registered according to the measure. The predetermined measure length corresponds to the measure length corresponding to the time signature described in the score generated by the symbol recognition unit 16 or the score editing unit 17 or the time signature corrected by the time signature correction unit 19. The bar length is shown. The rhythm pattern dictionary registration unit 21 further counts the number of measures indicated by the measure information in the score and registers the frequency 38 of the first rhythm pattern dictionary 31.

このとき、リズムパターン修正部２２は、まず、第１リズムパターン辞書３１を参照して、頻度３８が所定の頻度以上を示す小節情報を抽出する。リズムパターン修正部２２は、その誤認小節が抽出された後に、第１リズムパターン辞書３１を参照して、さらに、その抽出された小節情報からその誤認小節のパートに対応する小節情報を抽出する。リズムパターン修正部２２は、その抽出された小節情報のリズムパターン３２からその誤認小節のリズムパターンに類似する小節情報を候補小節として抽出する。リズムパターン修正部２２は、さらに、その抽出された候補小節の横位置３３からその誤認小節の符号の横位置に類似する候補小節を抽出する。リズムパターン修正部２２は、さらに、その誤認小節が連符を含んでいるときに、その抽出された候補小節の連桁情報３４と連符情報３５とからその誤認小節の連符に類似する候補小節を抽出する。リズムパターン修正部２２は、さらに、その誤認小節が特定の記号を含むときに、その抽出された候補小節のその他の記号３６からその誤認小節に記載される特定の記号を示す候補小節を抽出する。リズムパターン修正部２２は、さらに、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する変更内容を算出する。その変更方法は、その候補小節が複数であるときに、複数である。 At this time, the rhythm pattern correction unit 22 first extracts measure information in which the frequency 38 indicates a predetermined frequency or higher with reference to the first rhythm pattern dictionary 31. After the misidentified measure is extracted, the rhythm pattern correcting unit 22 refers to the first rhythm pattern dictionary 31 and further extracts measure information corresponding to the part of the misidentified measure from the extracted measure information. The rhythm pattern correction unit 22 extracts measure information similar to the rhythm pattern of the misidentified measure from the rhythm pattern 32 of the extracted measure information as a candidate measure. The rhythm pattern correction unit 22 further extracts a candidate measure similar to the horizontal position of the code of the misidentified measure from the horizontal position 33 of the extracted candidate measure. The rhythm pattern correction unit 22 further selects candidates similar to the tuplet of the misidentified measure from the extracted tally information 34 and tuplet information 35 of the candidate measure when the misidentified measure includes a tuplet. Extract bars. When the misidentified measure includes a specific symbol, the rhythm pattern correcting unit 22 further extracts a candidate measure indicating the specific symbol described in the misidentified measure from the other symbols 36 of the extracted candidate measure. . The rhythm pattern correction unit 22 further calculates a change content for changing the rhythm pattern of the erroneous measure to the rhythm pattern of the candidate measure. There are a plurality of changing methods when there are a plurality of candidate bars.

図３は、第２リズムパターン辞書データベース１２により記録される第２リズムパターン辞書を示している。その第２リズムパターン辞書４１は、拍子４２をリズムパターン４３に対応付けている。拍子４２は、拍子記号を識別している。リズムパターン４３は、拍子４２により識別される拍子記号が示す拍子で構成される一般的な楽曲で頻出する複数のリズムパターンを示している。第２リズムパターン辞書４１は、楽譜認識装置１の設計者により予め設定され、第１リズムパターン辞書３１と独立に作成されている。 FIG. 3 shows a second rhythm pattern dictionary recorded by the second rhythm pattern dictionary database 12. The second rhythm pattern dictionary 41 associates the time signature 42 with the rhythm pattern 43. The time signature 42 identifies a time signature. The rhythm pattern 43 indicates a plurality of rhythm patterns that frequently appear in general music composed of the time signature indicated by the time signature identified by the time signature 42. The second rhythm pattern dictionary 41 is set in advance by the designer of the score recognition device 1 and is created independently of the first rhythm pattern dictionary 31.

リズムパターン修正部２２は、その誤認小節に類似する小節が第１リズムパターン辞書３１から検索されないときに、第２リズムパターン辞書４１を参照してその誤認小節に類似する候補小節を検索する。リズムパターン修正部２２は、さらに、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する変更内容を算出する。その変更方法は、その候補小節が複数であるときに、複数である。 When a measure similar to the misidentified measure is not retrieved from the first rhythm pattern dictionary 31, the rhythm pattern correction unit 22 refers to the second rhythm pattern dictionary 41 to retrieve a candidate measure similar to the misidentified measure. The rhythm pattern correction unit 22 further calculates a change content for changing the rhythm pattern of the erroneous measure to the rhythm pattern of the candidate measure. There are a plurality of changing methods when there are a plurality of candidate bars.

図４は、マッチング有効度データベース１３により記録されるマッチング有効度テーブルを示している。そのマッチング有効度テーブル５１は、図形ＩＤ５２と記号ＩＤ５３とを有効度５４に対応付けている。図形ＩＤ５２は、楽譜イメージ収集部１５により収集される楽譜イメージに記載される複数の図形を識別し、その図形にそれぞれ割り当てられた番号を示している。記号ＩＤ５３は、楽譜に記載され得るすべての記号を識別し、その記号に割り当てられる番号を示している。有効度５４は、図形ＩＤ５２により識別される図形が記号ＩＤ５３により識別される記号に類似している程度を示す有効度を示している。その有効度は、値が大きいほどその図形がその記号に類似していることを示している。 FIG. 4 shows a matching effectiveness table recorded by the matching effectiveness database 13. The matching effectiveness table 51 associates the graphic ID 52 and the symbol ID 53 with the effectiveness 54. The graphic ID 52 identifies a plurality of graphics described in the musical score image collected by the musical score image collecting unit 15 and indicates a number assigned to each graphic. The symbol ID 53 identifies all symbols that can be described in the score and indicates a number assigned to the symbol. The effectiveness 54 indicates the effectiveness indicating the degree to which the graphic identified by the graphic ID 52 is similar to the symbol identified by the symbol ID 53. The effectiveness indicates that the larger the value is, the more similar the figure is to the symbol.

記号ＩＤ５３により識別される記号としては、譜表、拍子記号、小節線、符号が例示される。その譜表としては、高音部譜表、低音部譜表、大譜表、ドラム譜表が例示される。その拍子記号としては、分数形式で表現される拍子記号、ｃ、アラブレーベが例示される。その小節線としては、縦線、複縦線、終止線が例示される。その符号としては、音符、休符が例示される。その音符としては、全音符、２分音符、４分音符、８分音符、１６分音符、３２分音符、６４分音符が例示される。その休符としては、全休符、２分休符、４分休符、８分休符、１６分休符、３２分休符、６４分休符、長休符が例示される。記号ＩＤ５３により識別される記号としては、さらに、タイ、スラー、アクセント、スタッカート、メッゾスタッカート、ブレス記号、トレモロが例示される。 Examples of symbols identified by the symbol ID 53 include staffs, time signatures, bar lines, and codes. Examples of the staff include a treble staff, a bass staff, a grand staff, and a drum staff. As the time signature, a time signature expressed in a fractional format, c, and an Arab label are exemplified. Examples of the bar line include a vertical line, a double vertical line, and a stop line. Examples of the code include a note and a rest. Examples of the notes include all notes, half notes, quarter notes, eighth notes, sixteenth notes, thirty-second notes, and sixty-fourth notes. Examples of the rest include a full rest, a 2-minute rest, a 4-minute rest, an 8-minute rest, a 16-minute rest, a 32-minute rest, a 64-minute rest, and a long rest. Examples of the symbol identified by the symbol ID 53 further include tie, slur, accent, staccato, mezzo staccato, breath symbol, and tremolo.

このとき、記号認識部１６は、楽譜イメージ収集部１５により収集される楽譜イメージから複数の図形を抽出し、その複数の図形にそれぞれ図形ＩＤを割り当てる。記号認識部１６は、さらに、その複数の図形の各々をその複数の記号の各々に比較して、その各図形とその各記号とに対応する有効度を算出し、その図形を識別する図形ＩＤとその記号を識別する記号ＩＤとに対応付けてその有効度をマッチング有効度テーブル５１に記載する。記号認識部１６は、さらに、１つの図形に対応する有効度の最大値が所定の値より大きいときに、その図形をその最大値に対応する記号に暫定的に認識する。 At this time, the symbol recognizing unit 16 extracts a plurality of figures from the score image collected by the score image collecting unit 15 and assigns a figure ID to each of the plurality of figures. The symbol recognition unit 16 further compares each of the plurality of graphics with each of the plurality of symbols, calculates the effectiveness corresponding to each of the graphics and each of the symbols, and identifies the graphic ID The matching effectiveness is listed in the matching effectiveness table 51 in association with the symbol ID for identifying the symbol. The symbol recognition unit 16 further tentatively recognizes the graphic as a symbol corresponding to the maximum value when the maximum value of the effectiveness corresponding to the single graphic is larger than a predetermined value.

たとえば、記号認識部１６は、ある図形を斜体の数字に暫定的に認識した場合であっても、その図形に関して斜体の数字に対応する有効度と斜体でない数字に対応する有効度とを算出し、その有効度の両方をマッチング有効度テーブル５１に記録する。記号認識部１６は、ある図形を８分音符に暫定的に認識した場合であっても、その図形に関して８分音符に対応する有効度と１６分音符に対応する有効度とを算出し、その有効度の両方をマッチング有効度テーブル５１に記録する。 For example, even if the symbol recognition unit 16 tentatively recognizes a certain figure as an italic number, the symbol recognition unit 16 calculates the effectiveness corresponding to the italic number and the validity corresponding to the non-italic number for the figure. Both of the effectiveness are recorded in the matching effectiveness table 51. Even if the symbol recognition unit 16 tentatively recognizes a certain figure as an eighth note, the symbol recognition unit 16 calculates the effectiveness corresponding to the eighth note and the validity corresponding to the sixteenth note with respect to the figure, Both effectiveness levels are recorded in the matching effectiveness level table 51.

このとき、小節線修正部２０は、ある小節の小節長さがその拍子記号に対応する小節長さの２倍以上の整数倍である場合で、その拍子記号に対応する小節長さでその小節を区切る箇所に記載される図形を小節線に認識するときの有効度がある値以上であるときに、その小節をその箇所で区切る小節線を追加する。小節線修正部２０は、ある小節の小節長さとその小節に隣接する小節の小節長さとの和がその拍子記号に対応する小節長さに等しい場合で、その２つの小節を区切る小節線に認識された図形を小節線に認識したときの有効度がある値未満であるときに、その小節とその隣接する小節とを区切る小節線を削除する。 At this time, the bar line correcting unit 20 is a bar having a bar length corresponding to the time signature when the bar length of the bar is an integer multiple of twice or more the bar length corresponding to the time signature. When the figure described in the part that separates the characters is more than a certain value when the figure line is recognized as a bar line, a bar line that separates the bar at that part is added. The measure line correcting unit 20 recognizes a measure line separating the two measures when the sum of the measure length of a measure and the measure length of a measure adjacent to the measure is equal to the measure length corresponding to the time signature. When the effectiveness when the figure is recognized as a bar line is less than a certain value, the bar line that separates the bar from the adjacent bar is deleted.

リズムパターン修正部２２は、マッチング有効度テーブル５１を参照して、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する複数の変更内容から適切な変更内容を選択する。すなわち、リズムパターン修正部２２は、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する変更内容が記号を追加することを示すときに、その記号に対応する有効度が所定の値より高い変更内容だけを選択する。リズムパターン修正部２２は、その変更内容が記号を削除することを示すときに、その記号に対応する有効度が所定の値より低い変更内容だけを選択する。リズムパターン修正部２２は、その変更内容が記号を他の記号に変更することを示すときに、その他の記号に対応する有効度が所定の値より高い変更内容だけを選択する。 The rhythm pattern correction unit 22 refers to the matching effectiveness table 51 and selects appropriate change contents from a plurality of change contents for changing the rhythm pattern of the misidentified measure to the rhythm pattern of the candidate measure. That is, the rhythm pattern correction unit 22 indicates that the change corresponding to changing the rhythm pattern of the misidentified measure to the rhythm pattern of the candidate measure indicates that a symbol is added, the effectiveness corresponding to the symbol is greater than a predetermined value. Select only high changes. When the change content indicates that the symbol is to be deleted, the rhythm pattern correction unit 22 selects only the change content whose effectiveness corresponding to the symbol is lower than a predetermined value. When the change content indicates that the symbol is changed to another symbol, the rhythm pattern correction unit 22 selects only the change content whose effectiveness corresponding to the other symbol is higher than a predetermined value.

図５は、優先順位データベース１４により記録される優先順位テーブルを示している。その優先順位テーブル６１は、優先順位６２に変更内容６３を対応付けている。変更内容６３は、小節長さが変更するように小節を変更する変更内容を示している。その変更内容としては、音符の付点を追記すること、音符の付点を削除すること、音符（休符）を他の音符（休符）に置換すること（音符の付点をスタッカートに置換すること、スタッカートを音符の付点に置換することを含む）、連符を追記すること、連符を削除すること、斜体の数字を斜体でない数字に置換すること（すなわち、連符を連符でない音符にすること）、斜体でない数字を斜体の数字に置換すること（すなわち、連符でない音符を連符にすること）が例示される。優先順位６２は、変更内容６３により示される変更内容の優先順位を示している。その優先順位は、記号認識部１６により誤認識されやすいものほど上位を示し、人が誤入力しやすいものほど上位を示している。 FIG. 5 shows a priority table recorded by the priority database 14. The priority order table 61 associates the change contents 63 with the priority order 62. The change content 63 indicates the change content for changing the measure so that the measure length is changed. The changes include adding note notes, deleting note notes, replacing notes (rests) with other notes (rests) (replace note notes with staccato) Including replacing staccato with dotted notes, adding tuplets, deleting tuplets, replacing italic numbers with non-italic numbers (ie, tuplets Non-italic numbers) and non-italic numbers are replaced with italic numbers (ie, non-tuplet notes are tupleted). The priority order 62 indicates the priority order of the change contents indicated by the change contents 63. As for the priorities, those that are more likely to be erroneously recognized by the symbol recognition unit 16 indicate higher ranks, and those that are likely to be erroneously input by a person indicate higher ranks.

このとき、リズムパターン修正部２２は、その選択された変更内容が複数であるときに、優先順位テーブル６１を参照して、その変更内容のうちの優先順位が最も高い変更内容でその誤認小節のリズムパターンを変更する。リズムパターン修正部２２は、その選択された変更内容が単数であるときに、その変更内容でその誤認小節のリズムパターンを変更する。 At this time, when there are a plurality of selected change contents, the rhythm pattern correction unit 22 refers to the priority order table 61, and the change contents with the highest priority among the change contents have the misidentified measure. Change the rhythm pattern. When the selected change content is singular, the rhythm pattern correction unit 22 changes the rhythm pattern of the misidentified measure with the change content.

なお、リズムパターン修正部２２は、第１リズムパターン辞書３１または第２リズムパターン辞書３２を参照しないで、その誤認小節のリズムパターンを小節長さがその所定の小節長さに等しくなるように修正することもできる。すなわち、リズムパターン修正部２２は、優先順位テーブル６１を参照して、所定の順位より上位の変更内容により小節長さが拍子記号に対応する小節長さに等しくなるときにその変更内容に基づいてその誤認小節のリズムパターンを修正する。 The rhythm pattern correction unit 22 does not refer to the first rhythm pattern dictionary 31 or the second rhythm pattern dictionary 32, and corrects the rhythm pattern of the misidentified measure so that the measure length is equal to the predetermined measure length. You can also That is, the rhythm pattern correction unit 22 refers to the priority table 61, and when the measure length becomes equal to the measure length corresponding to the time signature by the change content higher than the predetermined order, the rhythm pattern correction unit 22 is based on the change content. Correct the rhythm pattern of the misidentified measure.

楽譜認識装置１の動作は、楽譜を認識する動作と楽譜を編集する動作と楽譜を修正する動作とを備えている。 The operation of the score recognition apparatus 1 includes an operation for recognizing a score, an operation for editing a score, and an operation for correcting a score.

図６は、楽譜を認識する動作を示している。ユーザは、スキャナ５を用いて楽譜が印刷された印刷物を撮像する。楽譜認識装置１は、その楽譜の楽譜イメージをスキャナ５から収集する（ステップＳ１）。楽譜認識装置１は、その楽譜イメージに基づいて楽譜を生成する（ステップＳ２）。すなわち、楽譜認識装置１は、その楽譜イメージから複数の図形を抽出し、その複数の図形にそれぞれ図形ＩＤを割り当てる。楽譜認識装置１は、さらに、その複数の図形の各々をその複数の記号の各々に比較して、その各図形とその各記号とに対応する有効度を算出し、その図形を識別する図形ＩＤとその記号を識別する記号ＩＤとに対応付けてその有効度をマッチング有効度テーブル５１に記載する。楽譜認識装置１は、さらに、１つの図形に対応する有効度の最大値が所定の値より大きいときに、その図形をその最大値に対応する記号に暫定的に認識する。 FIG. 6 shows an operation for recognizing a score. The user images the printed matter on which the score is printed using the scanner 5. The score recognition apparatus 1 collects score images of the score from the scanner 5 (step S1). The score recognition device 1 generates a score based on the score image (step S2). That is, the score recognition apparatus 1 extracts a plurality of figures from the score image, and assigns a figure ID to each of the figures. The score recognition apparatus 1 further compares each of the plurality of graphics with each of the plurality of symbols, calculates the effectiveness corresponding to each of the graphics and each of the symbols, and identifies a graphic ID for identifying the graphic The matching effectiveness is listed in the matching effectiveness table 51 in association with the symbol ID for identifying the symbol. The musical score recognition apparatus 1 further tentatively recognizes the graphic as a symbol corresponding to the maximum value when the maximum value of the effectiveness corresponding to the single graphic is larger than a predetermined value.

その楽譜を編集する動作では、ユーザは、編集用入力装置６を操作して楽譜を作成する。楽譜認識装置１は、編集用入力装置６の操作に基づいて楽譜を生成する。 In the operation of editing the score, the user operates the editing input device 6 to create a score. The score recognition device 1 generates a score based on the operation of the editing input device 6.

図７は、その楽譜を修正する動作を示している。その楽譜を修正する動作は、その楽譜を認識する動作の後に、または、その楽譜を編集する動作の後に実行される。楽譜認識装置１は、その楽譜を認識する動作またはその楽譜を編集する動作が実行された後に、まず、その生成された楽譜の譜表を小節線により複数の小節に分割し、その小節に記入される符号（音符と休符と）に基づいて小節長さを算出する（ステップＳ１１）。 FIG. 7 shows an operation for correcting the score. The operation of correcting the score is executed after the operation of recognizing the score or after the operation of editing the score. After the operation of recognizing the score or the operation of editing the score is performed, the score recognition device 1 first divides the generated score staff into a plurality of bars by bar lines, and is written in the bars. The bar length is calculated based on the code (note and rest) (step S11).

楽譜認識装置１は、その楽譜に記載される複数の小節のうち、小節長さが所定の小節長さと異なる誤認小節を抽出する。その所定の小節長さは、その楽譜に記載される拍子記号に対応する小節長さを示し、または、拍子記号が修正されたときにはその修正された拍子記号に対応する小節長さを示している。楽譜認識装置１は、その楽譜が備える複数の小節のうちの間違いと考えられる誤認小節の個数を計数する（ステップＳ１２）。その誤認小節は、小節長さがその楽譜の拍子記号に対応していない小節である。楽譜認識装置１は、さらに、その誤認小節の個数が全体に対して所定の割合より多いときに（ステップＳ１２、ＹＥＳ）、その全部の小節で最も多く算出される小節長さに対応する拍子記号に修正する（ステップＳ１３）。楽譜認識装置１は、さらに、その誤認小節が所定の個数以上に連続し、かつ、その誤認小節の小節長さが１つの値を示しているときに、その１つの値に対応する拍子記号をその誤認小節の先頭の小節に追記する。 The score recognizing device 1 extracts a misidentified measure whose measure length is different from a predetermined measure length among a plurality of measures described in the score. The predetermined bar length indicates the bar length corresponding to the time signature described in the score, or the bar length corresponding to the corrected time signature when the time signature is corrected. . The score recognizing device 1 counts the number of misidentified measures that are considered to be mistaken among the plurality of measures included in the score (step S12). The misidentified measure is a measure whose measure length does not correspond to the time signature of the score. The score recognizing device 1 further determines the time signature corresponding to the measure length calculated most in all the measures when the number of misidentified measures is larger than a predetermined ratio with respect to the whole (step S12, YES). (Step S13). The score recognizing device 1 further selects a time signature corresponding to one misvalued measure when the misidentified measure continues to a predetermined number or more and the measure length of the misidentified measure indicates one value. Add to the first measure of the misidentified measure.

楽譜認識装置１は、その誤認小節の各々に関して、その拍子記号と小節長さとの関係が所定の条件を満足しているかどうかを判別する（ステップＳ１４）。楽譜認識装置１は、ある誤認小節の小節長さがその拍子記号に対応する小節長さの２倍以上の整数倍であるときに（ステップＳ１４、ＹＥＳ）、その拍子記号に対応する小節長さでその誤認小節を区切る小節線を追加する（ステップＳ１５）。このとき、楽譜認識装置１は、その小節線を追加しようとする箇所に記載される図形を小節線に認識するときの有効度がある値未満であるときに、その小節線を追加しない。楽譜認識装置１は、ある誤認小節の小節長さとその誤認小節に隣接する小節の小節長さとの和がその拍子記号に対応する小節長さに等しいときに（ステップＳ１４）、その誤認小節とその隣接する小節とを区切る小節線を削除する（ステップＳ１５）。このとき、楽譜認識装置１は、その削除しようとする小節線に認識された図形を小節線に認識したときの有効度がある値以上であるときに、その小節線を削除しない。 The score recognition device 1 determines whether or not the relationship between the time signature and the bar length satisfies a predetermined condition for each of the misidentified bars (step S14). When the measure length of a certain misidentified measure is an integer multiple of twice or more the measure length corresponding to the time signature (step S14, YES), the score recognition apparatus 1 determines the measure length corresponding to the time signature. In step S15, a bar line is added to delimit the misidentified bar. At this time, the score recognizing apparatus 1 does not add the bar line when the effectiveness of recognizing the figure described in the place where the bar line is to be added to the bar line is less than a certain value. When the sum of the measure length of a certain misidentified measure and the measure length of a measure adjacent to the misidentified measure is equal to the measure length corresponding to the time signature (step S14), the score recognizing device 1 recognizes the misidentified measure and its measure. A bar line that separates adjacent bars is deleted (step S15). At this time, the score recognizing device 1 does not delete the bar line when the figure recognized as the bar line to be deleted is more than a certain value when the figure is recognized as the bar line.

楽譜認識装置１は、優先順位テーブル６１を参照して、所定の順位より上位の変更内容により小節長さが拍子記号に対応する小節長さに等しくなるときに（ステップＳ１６、ＹＥＳ）、その変更内容に基づいてその誤認小節のリズムパターンを修正する（ステップＳ１７）。 The score recognizing device 1 refers to the priority table 61, and when the measure length becomes equal to the measure length corresponding to the time signature due to the change contents higher than the predetermined order (step S16, YES), the change is made. Based on the content, the rhythm pattern of the misidentified measure is corrected (step S17).

楽譜認識装置１は、その楽譜のうちの誤認小節を除く正しい小節に基づいて第１リズムパターン辞書３１を作成する（ステップＳ１８）。すなわち、楽譜認識装置１は、第１リズムパターン辞書３１の小節情報（リズムパターン３２と横位置３３と連桁情報３４と連符情報３５とその他の記号３６とパート３７と）をその正しい小節にしたがって登録する。楽譜認識装置１は、さらに、その正しい小節を計数し、第１リズムパターン辞書３１の頻度３８を登録する。 The score recognizing device 1 creates the first rhythm pattern dictionary 31 based on the correct measure excluding the misidentified measure in the score (step S18). That is, the score recognition apparatus 1 converts the bar information (the rhythm pattern 32, the horizontal position 33, the beam information 34, the tuplet information 35, the other symbols 36, and the part 37) of the first rhythm pattern dictionary 31 into the correct bar. Therefore, register. The musical score recognition apparatus 1 further counts the correct measures and registers the frequency 38 of the first rhythm pattern dictionary 31.

楽譜認識装置１は、さらに、その誤認小節のリズムパターンを小節長さがその所定の小節長さに等しくなるように修正する（ステップＳ１９）。すなわち、楽譜認識装置１は、まず、第１リズムパターン辞書３１を参照して、頻度３８が所定の頻度以上を示す小節情報を抽出する。楽譜認識装置１は、その誤認小節を抽出した後に、第１リズムパターン辞書３１を参照して、その抽出された小節情報からその誤認小節のパートに対応する小節情報をさらに抽出する。楽譜認識装置１は、その抽出された小節情報からリズムパターン３２からその誤認小節のリズムパターンに類似する候補小節を候補小節として抽出する。楽譜認識装置１は、さらに、その抽出された候補小節からその誤認小節の符号の横位置が大きく異なる小節を除外する。楽譜認識装置１は、さらに、その誤認小節が連符を含んでいるときに、その候補小節からその誤認小節の連符に類似しない小節を除外する。楽譜認識装置１は、さらに、その誤認小節が特定の記号を含むときに、その候補小節からその特定の記号を含まない小節を除外する。 The musical score recognition apparatus 1 further corrects the rhythm pattern of the misidentified measure so that the measure length becomes equal to the predetermined measure length (step S19). That is, the musical score recognition apparatus 1 first extracts bar information whose frequency 38 indicates a predetermined frequency or higher with reference to the first rhythm pattern dictionary 31. After extracting the misidentified measure, the score recognizing device 1 refers to the first rhythm pattern dictionary 31 and further extracts measure information corresponding to the part of the misidentified measure from the extracted measure information. The score recognition apparatus 1 extracts candidate measures similar to the rhythm pattern of the misidentified measure from the rhythm pattern 32 as candidate measures from the extracted measure information. The score recognizing device 1 further excludes the extracted candidate measures from the extracted candidate measures that have greatly different horizontal positions of the codes of the misidentified measures. The musical score recognition apparatus 1 further excludes a measure that is not similar to the tuplet of the misidentified measure from the candidate measure when the misidentified measure includes a tuplet. Furthermore, when the misidentified measure includes a specific symbol, the score recognition device 1 excludes the measure that does not include the specific symbol from the candidate measure.

楽譜認識装置１は、その誤認小節に類似する小節が第１リズムパターン辞書３１から検索されないときに、第２リズムパターン辞書４１を参照してその誤認小節に類似する候補小節を検索する。楽譜認識装置１は、さらに、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する変更内容を算出する。その変更方法は、その候補小節が複数であるときに、複数である。 When a measure similar to the misidentified measure is not retrieved from the first rhythm pattern dictionary 31, the score recognition device 1 refers to the second rhythm pattern dictionary 41 to retrieve a candidate measure similar to the misidentified measure. The musical score recognition apparatus 1 further calculates a change content for changing the rhythm pattern of the misidentified measure to the rhythm pattern of the candidate measure. There are a plurality of changing methods when there are a plurality of candidate bars.

楽譜認識装置１は、その誤認小節のリズムパターンをその候補小節のリズムパターンに変更する変更内容が記号を追加することを示すときに、マッチング有効度テーブル５１を参照して、その記号に対応する有効度が所定の値より高い変更内容だけを選択する。楽譜認識装置１は、その変更内容が記号を削除することを示すときに、マッチング有効度テーブル５１を参照して、その記号に対応する有効度が所定の値より低い変更内容だけを選択する。楽譜認識装置１は、その変更内容が記号を他の記号に変更することを示すときに、マッチング有効度テーブル５１を参照して、その他の記号に対応する有効度が所定の値より高い変更内容だけを選択する。 When the change content for changing the rhythm pattern of the misidentified measure to the rhythm pattern of the candidate measure indicates that a symbol is added, the score recognition device 1 refers to the matching effectiveness table 51 and corresponds to the symbol. Only changes whose effectiveness is higher than a predetermined value are selected. When the change content indicates that the symbol is to be deleted, the score recognition device 1 refers to the matching effectiveness table 51 and selects only the change content whose effectiveness corresponding to the symbol is lower than a predetermined value. The score recognition device 1 refers to the matching effectiveness table 51 when the change content indicates that the symbol is changed to another symbol, and the change content whose effectiveness corresponding to the other symbol is higher than a predetermined value. Just select.

楽譜認識装置１は、その選択された変更内容が複数であるときに、優先順位テーブル６１を参照して、その変更内容のうちの優先順位が最も高い変更内容でその誤認小節のリズムパターンを変更する。楽譜認識装置１は、その選択された変更内容が単数であるときに、その変更内容でその誤認小節のリズムパターンを変更する。 When there are a plurality of selected changes, the score recognition device 1 refers to the priority table 61 and changes the rhythm pattern of the misidentified measure with the change having the highest priority among the changes. To do. When the selected change content is singular, the score recognition apparatus 1 changes the rhythm pattern of the misidentified measure with the change content.

このような動作によれば、楽譜認識装置１は、印刷物を光学的に読み取る処理の精度を変更させること無く、その楽譜をより適切に認識することができる。楽譜認識装置１は、さらに、ユーザにより作成された楽譜をより適切に修正することができる。 According to such an operation, the score recognition apparatus 1 can recognize the score more appropriately without changing the accuracy of the process of optically reading the printed matter. The score recognition apparatus 1 can further appropriately correct a score created by a user.

図１は、本発明による楽譜認識装置の実施の形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a score recognition apparatus according to the present invention. 図２は、第１リズムパターン辞書を示す図である。FIG. 2 is a diagram showing the first rhythm pattern dictionary. 図３は、第２リズムパターン辞書を示す図である。FIG. 3 is a diagram showing the second rhythm pattern dictionary. 図４は、マッチング有効度テーブルを示す図である。FIG. 4 is a diagram showing a matching effectiveness table. 図５は、優先順位テーブルを示す図である。FIG. 5 is a diagram illustrating a priority table. 図６は、楽譜を認識する動作を示すフローチャートである。FIG. 6 is a flowchart showing an operation for recognizing a score. 図７は、楽譜を修正する動作を示すフローチャートである。FIG. 7 is a flowchart showing an operation for correcting a score.

Explanation of symbols

１：楽譜認識装置
５：スキャナ
６：編集用入力装置
７：出力装置
１１：第１リズムパターン辞書データベース
１２：第２リズムパターン辞書データベース
１３：マッチング有効度データベース
１４：優先順位データベース
１５：楽譜イメージ収集部
１６：記号認識部
１７：楽譜編集部
１８：小節長算出部
１９：拍子記号修正部
２０：小節線修正部
２１：リズムパターン辞書登録部
２２：リズムパターン修正部
２３：楽譜出力部
３１：第１リズムパターン辞書
３２：リズムパターン
３３：横位置
３４：連桁情報
３５：連符情報
３６：その他の記号
３７：パート
３８：頻度
４１：第２リズムパターン辞書
４２：拍子
４３：リズムパターン
５１：マッチング有効度テーブル
５２：図形ＩＤ
５３：記号ＩＤ
５４：有効度
６１：優先順位テーブル
６２：優先順位
６３：変更内容 1: Score recognition device 5: Scanner 6: Editing input device 7: Output device 11: First rhythm pattern dictionary database 12: Second rhythm pattern dictionary database 13: Matching effectiveness database 14: Priority ranking database 15: Score image collection Section 16: Symbol recognition section 17: Score editing section 18: Bar length calculation section 19: Time signature correction section 20: Bar line correction section 21: Rhythm pattern dictionary registration section 22: Rhythm pattern correction section 23: Score output section 31: No. 1 rhythm pattern dictionary 32: rhythm pattern 33: horizontal position 34: continuous digit information 35: tuplet information 36: other symbols 37: part 38: frequency 41: second rhythm pattern dictionary 42: time signature 43: rhythm pattern 51: matching Effectiveness table 52: Graphic ID
53: Symbol ID
54: Effectiveness 61: Priority order table 62: Priority order 63: Contents of change

Claims

A measure length calculation unit that calculates a measure length that elapses when each of a plurality of measures divided by a plurality of measure lines in a staff that is described in a score that represents a song;
A rhythm pattern correcting unit that corrects a misidentified rhythm pattern of a misidentified measure whose bar length does not correspond to the time signature described in the staff so as to correspond to the time signature.

In claim 1,
A rhythm pattern dictionary database that records a plurality of rhythm patterns in a storage device;
The rhythm pattern correction unit searches for a similar rhythm pattern similar to the misidentified rhythm pattern from the plurality of rhythm patterns and changes the misidentified rhythm pattern to the similar rhythm pattern.

In claim 2,
The rhythm pattern dictionary database associates a plurality of code lateral position patterns with the plurality of rhythm patterns,
The rhythm pattern correction unit searches for a similar code horizontal position pattern similar to a horizontal position pattern of a plurality of codes described in the misidentified measure from the multiple code horizontal position pattern, and corresponds to the similar code horizontal position pattern A musical score recognition apparatus that changes the misidentified rhythm pattern to the similar rhythm pattern.

In either claim 2 or claim 3,
The score is a score representing a plurality of staffs corresponding to a plurality of voice parts,
The rhythm pattern dictionary database associates the plurality of voice parts with the plurality of rhythm patterns,
The musical score recognition device, wherein the rhythm pattern correction unit searches for the similar rhythm pattern from a rhythm pattern corresponding to a voice part of the misidentified measure among the plurality of rhythm patterns.

In any one of Claims 2-4,
The rhythm pattern dictionary database associates the plurality of rhythm patterns with a plurality of predetermined symbol patterns,
The rhythm pattern correction unit searches for the similar rhythm pattern from a rhythm pattern corresponding to a pattern of a predetermined symbol described in the misidentified measure among the plurality of rhythm patterns.

In any one of Claims 2-5,
A musical score recognition apparatus further comprising: a rhythm pattern dictionary registration unit that creates the plurality of rhythm patterns in accordance with a rhythm pattern of a bar whose bar length corresponds to the time signature among the plurality of bars.

In claim 6,
The rhythm pattern dictionary database associates the plurality of rhythm patterns with a plurality of frequencies,
Each of the plurality of frequencies indicates a frequency at which bars corresponding to the plurality of rhythm patterns appear in the plurality of bars,
The rhythm pattern correction unit retrieves the similar rhythm pattern from rhythm patterns corresponding to a frequency greater than a predetermined value among the plurality of rhythm patterns.

In either claim 6 or claim 7,
Further comprising another rhythm pattern dictionary database that associates multiple time signatures with other multiple rhythm patterns;
When the plurality of rhythm patterns do not include a rhythm pattern similar to the misidentified rhythm pattern, the rhythm pattern correction unit obtains the similar rhythm pattern from the rhythm pattern corresponding to the time signature among the plurality of other rhythm patterns. A musical score recognition apparatus that searches and changes the misidentified rhythm pattern to the similar rhythm pattern.

In any one of Claims 2-8,
A priority database that associates multiple changes with priorities;
The rhythm pattern correction unit changes the misidentified rhythm pattern to a rhythm pattern that is changed with the highest priority change content among the similar rhythm patterns when a plurality of the similar rhythm patterns are searched. apparatus.

In any one of Claims 2-9,
A musical score recognition apparatus, further comprising: a time signature correction unit that corrects the time signature when a measure length of the plurality of measures is less than a predetermined ratio corresponding to the time signature.

In any one of Claims 2-10,
A musical score recognition apparatus further comprising: a measure line correcting unit that corrects a measure line that divides the misidentified measure when a measure length of the misidentified measure satisfies a predetermined condition.

In any one of Claims 1-11,
A score image collecting unit that collects a score image indicating the score from an external device;
A score recognition device further comprising: a symbol recognition unit that recognizes the score image as the score.

In claim 12,
A matching effectiveness database for associating a plurality of effectiveness tables with a plurality of figures forming the score image;
Each of the multiple effectiveness tables associates multiple symbols with multiple effectiveness,
The symbol recognition unit refers to an effectiveness table corresponding to each of the plurality of figures in the plurality of effectiveness tables, and each of the symbols is a symbol corresponding to the maximum value of the effectiveness of the plurality of symbols. Recognized,
The rhythm pattern correction unit refers to a misidentification validity table corresponding to a misidentification figure recognized in the misidentification measure in the plurality of validity tables, and the validity of the plurality of symbols is greater than a first value. The misidentification rhythm is added by adding a symbol corresponding to a larger one to the misidentification measure, or by deleting a symbol corresponding to one of the plurality of symbols whose effectiveness is smaller than a second value from the misidentification measure. A musical score recognition apparatus for changing a pattern to the similar rhythm pattern.

In any one of Claims 1-11,
A score recognition apparatus further comprising: a score editing section that edits the score based on an operation of an input device.

A measure length calculation unit that calculates a measure length that elapses when each of a plurality of measures divided by a plurality of measure lines in a staff that is described in a score that represents a song;
A score recognition program comprising: a rhythm pattern correction unit that corrects a misidentified rhythm pattern of a misidentified measure whose bar length does not correspond to the time signature described in the staff so as to correspond to the time signature.

In claim 15,
A rhythm pattern dictionary database that records a plurality of rhythm patterns in a storage device;
The rhythm pattern correction unit searches for a similar rhythm pattern similar to the misidentified rhythm pattern from the plurality of rhythm patterns, and changes the misidentified rhythm pattern to the similar rhythm pattern.

In claim 16,
The rhythm pattern dictionary database associates a plurality of code lateral position patterns with the plurality of rhythm patterns,
The rhythm pattern correction unit searches for a similar code horizontal position pattern similar to a horizontal position pattern of a plurality of codes described in the misidentified measure from the multiple code horizontal position pattern, and corresponds to the similar code horizontal position pattern A musical score recognition program for changing the misidentified rhythm pattern to the similar rhythm pattern.

In either claim 16 or claim 17,
The score is a score representing a plurality of staffs corresponding to a plurality of voice parts,
The rhythm pattern dictionary database associates the plurality of voice parts with the plurality of rhythm patterns,
The rhythm pattern correction unit retrieves the similar rhythm pattern from rhythm patterns corresponding to the voice part of the misidentified measure among the plurality of rhythm patterns.

In any one of Claims 16-18,
The rhythm pattern dictionary database associates the plurality of rhythm patterns with a plurality of predetermined symbol patterns,
The rhythm pattern correction unit retrieves the similar rhythm pattern from a rhythm pattern corresponding to a pattern of a predetermined symbol described in the misidentified measure among the plurality of rhythm patterns.

In any one of Claims 16-19,
A musical score recognition program, further comprising: a rhythm pattern dictionary registration unit that creates the plurality of rhythm patterns according to a rhythm pattern of a bar whose bar length corresponds to the time signature.

In claim 20,
The rhythm pattern dictionary database associates the plurality of rhythm patterns with a plurality of frequencies,
Each of the plurality of frequencies indicates a frequency at which bars corresponding to the plurality of rhythm patterns appear in the plurality of bars,
The rhythm pattern correction unit retrieves the similar rhythm pattern from rhythm patterns corresponding to a frequency greater than a predetermined value among the plurality of rhythm patterns.

In either claim 20 or claim 21,
Further comprising another rhythm pattern dictionary database that associates multiple time signatures with other multiple rhythm patterns;
When the plurality of rhythm patterns do not include a rhythm pattern similar to the misidentified rhythm pattern, the rhythm pattern correction unit obtains the similar rhythm pattern from the rhythm pattern corresponding to the time signature among the plurality of other rhythm patterns. A music score recognition program for searching and changing the misidentified rhythm pattern to the similar rhythm pattern.

In any one of Claims 16-22,
A priority database that associates multiple changes with priorities;
The rhythm pattern correction unit changes the misidentified rhythm pattern to a rhythm pattern that is changed with the highest priority change content among the similar rhythm patterns when a plurality of the similar rhythm patterns are searched. program.

In any one of Claims 16-23,
A musical score recognition program, further comprising: a time signature correction unit that corrects the time signature when a measure length of the plurality of measures is less than a predetermined ratio corresponding to the time signature.

In any one of Claims 16-24,
A musical score recognition program, further comprising: a bar line correcting unit that corrects a bar line that divides the erroneous bar when the bar length of the erroneous bar satisfies a predetermined condition.

In any one of Claims 15-25,
A score image collecting unit for collecting a score image indicating the score from an external device;
A score recognition program further comprising: a symbol recognition unit that recognizes the score image as the score.

In claim 26,
A matching effectiveness database for associating a plurality of effectiveness tables with a plurality of figures forming the score image;
Each of the multiple effectiveness tables associates multiple symbols with multiple effectiveness,
The symbol recognition unit refers to an effectiveness table corresponding to each of the plurality of figures in the plurality of effectiveness tables, and each of the symbols is a symbol corresponding to the maximum value of the effectiveness of the plurality of symbols. Recognized,
The rhythm pattern correction unit refers to a misidentification validity table corresponding to a misidentification figure recognized in the misidentification measure in the plurality of validity tables, and the validity of the plurality of symbols is greater than a first value. The misidentification rhythm is added by adding a symbol corresponding to a larger one to the misidentification measure, or by deleting a symbol corresponding to one of the plurality of symbols whose effectiveness is smaller than a second value from the misidentification measure. A musical score recognition program for changing a pattern to the similar rhythm pattern.

In any one of Claims 15-25,
A score recognition program further comprising: a score editing section that edits the score based on an operation of an input device.