JP2007086571A - 曲情報表示装置及びプログラム - Google Patents

Abstract

【課題】ユーザが弾き始めたり歌い始めた曲に対応する曲情報を自動的に表示すること。
【解決手段】この曲情報表示装置では、多数の楽曲について楽曲データが楽曲データベースＤに記憶され、各楽曲に対応して、楽曲演奏の補助として表示される楽譜、歌詞、コード名などの曲情報を表示するための曲情報表示データが曲情報データベースＨに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がＭＩＤＩデータで入力され（Ａ〜Ｃ）、ＭＩＤＩデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースＤから抽出されて、ユーザが演奏し始めた楽曲が認識され、ＭＩＤＩデータのテンポや移調量、進行位置（小節線タイミング等）などが検出される（Ｅ）。そして、認識された楽曲に対応する曲情報表示データが曲情報データベースＨから自動選択され、検出されたテンポや進行位置タイミングに合わせて曲情報が表示される（Ｊ）。
【選択図】図３

Description

この発明は、ユーザが歌唱や楽器で曲を演奏し始めると、その楽曲を認識し楽曲に合う情報を順次出力することができる電子音楽システム、より詳しくいうと、演奏し始めた楽曲を認識して楽曲に対応する楽譜や歌詞などの曲情報を表示する曲情報表示システムに関する。

電子楽器等の電子音楽装置において楽譜や歌詞の表示機能を備えるものは、例えば、特許文献１により知られている。このような表示装置では、表示すべき楽譜や歌詞の曲を指定して選択したり、表示開始をユーザが指定する必要があり、操作が面倒である。
特開２００２−２５８８３８号公報

この発明は、このような事情に鑑み、ユーザが弾き始めたり歌い始めた曲に対応する楽譜や歌詞などの曲情報を自動的に表示することができる曲情報表示装置を提供することを目的とする。

この発明の主たる特徴に従うと、楽曲の演奏の補助となる曲情報を表示するための曲情報表示データを当該楽曲に関連付けて記憶している曲情報表示データ記憶手段（Ｈ）と、ユーザ演奏に基づく演奏データ（ＭＩＤＩデータ）を入力する演奏データ入力手段（Ａ〜Ｃ）と、演奏データ入力手段（Ａ〜Ｃ）により入力された演奏データに基づいて楽曲を認識する楽曲認識手段（Ｅ；Ｒ１〜Ｒ８）と、楽曲認識手段（Ｅ）により認識された楽曲に関連付けられている曲情報表示データを曲情報表示データ記憶手段（Ｈ）から選択し、選択された曲情報表示データに基づいて曲情報を表示する表示手段（Ｊ）とを具備する曲情報表示装置（電子音楽装置、コンピュータ）〔請求項１〕が提供され、楽曲の演奏の補助となる曲情報を表示するための曲情報表示データを当該楽曲に関連付けて記憶している曲情報表示データ記憶手段（Ｈ）を具備するコンピュータ（電子音楽装置）に、ユーザ演奏に基づく演奏データ（ＭＩＤＩデータ）を入力する演奏データ入力ステップ（Ａ〜Ｃ）と、演奏データ入力ステップ（Ａ〜Ｃ）で入力された演奏データに基づいて楽曲を認識する楽曲認識ステップ（Ｅ；Ｒ１〜Ｒ８）と、楽曲認識ステップ（Ｅ）で認識された楽曲に関連付けられている曲情報表示データを曲情報表示データ記憶手段（Ｈ）から選択し、選択された曲情報表示データに基づいて曲情報を表示する表示ステップ（Ｊ）とから成る手順を実行させる曲情報表示プログラム〔請求項５〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号、用語等を表わし、以下においても同様である。

この発明による曲情報表示装置の表示手段（Ｊ）は、曲情報表示データが選択された後、入力された演奏データ（ＭＩＤＩデータ）の進行に合わせて自動的に曲情報の表示を開始する（Ｒ６）〔請求項２〕ように構成することができる。

この発明による曲情報表示装置において、楽曲認識手段（Ｅ；Ｒ１〜Ｒ８）は、演奏データ入力手段（Ａ〜Ｃ）により入力された演奏データ（ＭＩＤＩデータ）のテンポを認識し（Ｒ２，Ｒ７）、表示手段（Ｊ）は、認識されたテンポに応じて曲情報の表示を進行する〔請求項３〕ように構成することができる。また、この発明による曲情報表示装置において、楽曲認識手段（Ｅ；Ｒ１〜Ｒ８）は、演奏データ入力手段（Ａ〜Ｃ）により入力された演奏データ（ＭＩＤＩデータ）の移調量を認識し（Ｒ３）、表示手段（Ｊ）は、認識された移調量に応じた曲情報を表示する〔請求項４〕ように構成することができる。

この発明の主たる特徴による曲情報表示システムでは（請求項１，５）、予め楽曲と関連付けて、楽譜、歌詞、コード名などの、楽曲演奏の補助となる曲情報を表示するための曲情報表示データが曲情報表示データ記憶手段（Ｈ）に用意されており、ユーザが曲の演奏を始めると、ユーザ演奏に基づく演奏データ（ＭＩＤＩデータ）が入力され（Ａ〜Ｃ）、まず、入力された演奏データに基づいて楽曲が認識される（Ｅ；Ｒ１）。ここで、ユーザが歌唱の演奏により音声を発生したり楽器の演奏により楽器音を発生した場合は、歌唱や楽器の演奏音に基づく音信号（音声／音響信号）は、楽曲の認識処理が可能なＭＩＤＩ等の演奏データに変換されてからシステムに入力され（Ａ，Ｂ）、ユーザが電子的演奏操作子を演奏操作した場合には、演奏操作に基づき発生される認識処理が可能なＭＩＤＩ等の演奏データがそのまま入力にされる（Ｃ）。次いで、入力された演奏データに対応して認識された楽曲に関連付けられている曲情報表示データが曲情報表示データ記憶手段（Ｈ）から自動的に選択され、選択された曲情報表示データに基づいて曲情報が表示される（Ｊ）。従って、この発明によれば、ユーザが歌唱により曲を歌い始めたり楽器により曲を弾き始めたりするだけで、演奏し始めた曲に関連する楽譜、歌詞、コード名などの曲情報を自動的に選ぶことができ、ユーザによる曲情報の指定が不要になる。

また、この発明による曲情報表示装置では、曲情報表示データが選択された後、入力された演奏データ（ＭＩＤＩデータ）の進行に合わせて自動的に曲情報の表示を開始する（Ｒ６）ように構成される（請求項２）。例えば、曲情報表示データが選択された後、楽曲進行上の所定位置（例えば、小節などの音楽的区切り位置）から自動的に曲情報表示を開始する〔図６（ａ）〕。従って、この発明によれば、楽譜、歌詞、コード名などの曲情報の表示開始を指示する手間を省くことができる。

さらに、この発明による曲情報表示装置においては、入力された演奏データ（ＭＩＤＩデータ）のテンポを認識し（Ｒ２，Ｒ７）、認識されたテンポで曲情報の表示を進行するようにしているので（請求項３）、入力演奏データの進行に合わせた適切な速度で、楽譜、歌詞、コード名などの曲情報のページめくりやワイプを実行することができる。また、入力された演奏データ（ＭＩＤＩデータ）の移調量を認識し（Ｒ３）、認識された移調量に応じた曲情報を表示するようにしているので（請求項４）、楽譜やコード名などの曲情報については、入力演奏データの音高に合わせた適切な調で表示することができる。

〔電子音楽装置の概要〕
図１は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置には、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ（ＰＣ）のように電子楽器と同等の音楽情報処理機能を有する音楽情報処理装置が用いられる。この電子音楽装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、音データ入力インターフェース（Ｉ／Ｆ）１０、通信インターフェース（Ｉ／Ｆ）１１、ＭＩＤＩインターフェース（Ｉ／Ｆ）１２などを備え、これらの要素１〜１２はバス１３を介して互いに接続される。

ＣＰＵ１は、ＲＡＭ２及びＲＯＭ３と共にデータ処理回路ＤＰを構成し、所定の制御プログラムに従い、タイマ１４によるクロックを利用して楽曲認識処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶される。

外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、制御プログラムを含む任意のデータを任意の外部記憶装置４に記憶することができる。また、所定の外部記憶装置（例えば、ＨＤ）４を利用して、楽曲データベース、伴奏データベース、曲情報データベース、画像データベースなどを構築することができる。

演奏操作検出回路５は、鍵盤などの演奏操作子１５の演奏操作内容を検出し、これに対応するＭＩＤＩ形式の演奏データ（ＭＩＤＩデータという）をデータ処理回路ＤＰに導入する。設定操作検出回路６は、キースイッチやマウス等の設定操作子１６の設定操作内容を検出し、これに対応する設定データをデータ処理回路ＤＰに導入する。設定操作子１６には、例えば、音源回路８及び効果回路９における楽音信号生成の条件を設定する機能の外に、楽曲認識モード等のモードを設定するためのモードスイッチや、楽曲認識モードにおいて、伴奏、曲情報表示、画像表示などの出力を選択的に指示するための出力選択スイッチ、伴奏などの出力開始に対して「すぐにフェードインでスタート」を指示するためのフェードインスイッチ、曲情報表示の出力時に、楽譜、歌詞、コード名などの表示を選択的に指定するための表示選択スイッチ等がある。表示回路７は、画面表示用ＬＣＤ等のディスプレイ（表示器）１７や各種インジケータ（図示せず）の表示／点灯内容をＣＰＵ１からの指令に従って制御し、各操作子１５，１６の操作に対する表示援助を行う。

音源回路８及び効果回路９は、楽音信号生成部（音源部とも呼ばれる）として機能し、設定操作子１６により設定された条件に従って、音源回路８により演奏操作検出回路５からの実演奏ＭＩＤＩデータに応じた楽音データを発生し、効果付与ＤＳＰを有する効果回路９により楽音データに所定の効果を付与し、実演奏の楽音信号を生成する。楽音信号生成部８，９は、また、楽曲認識処理の際は、実演奏ＭＩＤＩデータに対応して決定される伴奏データに従って伴奏の楽音信号を発生したり、自動演奏の際には記憶手段（３，４）等からの演奏データに従って自動演奏の楽音信号を発生することもできる。効果回路９に後続するサウンドシステム１７は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果回路９からの楽音信号に基づく楽音を発生する。

音データ入力Ｉ／Ｆ１０には、マイクやエレクトリックギター等の音信号発生機器及び音信号処理回路を含む音響入力機器３０が接続される。音響入力機器３０は、マイクや音信号発生機器からの入力音信号を音信号処理回路でディジタル化して音データに変換し、ディジタル化された音データは、音データ入力Ｉ／Ｆ１０を通じてデータ処理回路ＤＰに導入される。なお、データ処理回路ＤＰに導入された音データは、マイクや音信号発生機器からの入力音信号を拡声するために、効果回路９を通じ出力音信号に再変換してサウンドシステム１７から放音することができる。

通信Ｉ／Ｆ１１には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワーク４０が接続され、外部のサーバコンピュータ５０等から制御プログラムをダウンロードしたり演奏データを記憶装置４に保存してこの電子音楽装置で利用することができる。

ＭＩＤＩＩ／Ｆ１２には、この電子音楽装置と同様のＭＩＤＩ音楽情報処理機能を有する外部ＭＩＤＩ機器６０が接続され、ＭＩＤＩＩ／Ｆ１１を通じてこの電子音楽装置と外部ＭＩＤＩ機器６０との間でＭＩＤＩデータを授受することができる。また、外部ＭＩＤＩ機器６０における演奏操作子の操作に基づく外部ＭＩＤＩ機器６０からのＭＩＤＩデータは、この電子音楽装置の演奏操作子１５の操作に基づく実演奏ＭＩＤＩデータと同様に、楽音信号生成部８，９を通じて実演奏の楽音信号を生成するのに用いることができる。

〔各実施形態〕
この発明の一実施例による電子音楽装置は、設定操作子のモードスイッチ操作で楽曲認識モードがセットされた際に楽曲認識処理を実行し、ユーザが歌やメロディを演奏し始めると、演奏し始めた歌やメロディの楽曲を自動認識すると共に、楽曲に合った情報を順次出力することができる。この電子音楽装置の第１実施形態では、楽曲の進行に合わせて自動的に伴奏を演奏する自動伴奏装置として動作し、第２実施形態では、楽曲の進行に合わせて、楽譜、歌詞、コード名などの曲情報を順次表示していく曲情報表示装置として動作し、第３実施形態では、楽曲の進行に合わせて進行中の楽曲に相応しい画像を順次表示していく画像表示装置として動作する。図２〜図４は、この発明の第１〜第３実施形態による電子音楽装置の機能を説明するための概略機能ブロック図である。

〔第１実施形態〕
第１実施形態による自動伴奏装置は、設定操作子の出力選択スイッチで伴奏出力を選択した際に機能し、ユーザが歌い始めたり楽器で弾き始めた楽曲を認識すると共に、認識された楽曲に関連した伴奏を自動的に演奏することができる。この自動伴奏装置を機能ブロックで概略的に表わすと、図２のように、音声／音響入力部Ａ、ＭＩＤＩ化部Ｂ、ＭＩＤＩ入力部Ｃ、楽曲データベースＤ、楽曲認識部Ｅ、伴奏データベースＦ及び伴奏制御部Ｇから成り、機能部Ａ〜Ｃは、楽曲認識部Ｅでの楽曲の認識処理が可能なＭＩＤＩ形式の演奏データ（ＭＩＤＩデータ）を入力するための演奏データ入力手段を構成する。

音声／音響入力部Ａは、音響入力機器３０及び音データ入力Ｉ／Ｆ１０の機能に対応しており、ユーザが、例えば、歌やハミングなどを唄ったりギター等の楽器でメロディを弾いたりすると、ユーザの演奏音が音響入力機器３０のマイクから入力され、歌唱やハミング等による音声や楽器演奏による音響の波形を表わす音信号が音響入力機器３０の音信号処理回路でディジタル化され、ディジタル化された音データは音データ入力Ｉ／Ｆ１０を介してデータ処理回路ＤＰに入力される。ＭＩＤＩ化部Ｂは、データ処理回路ＤＰのＭＩＤＩ化機能部に対応しており、音声／音響入力部Ａから入力された音データから音高やタイミング、音長等を検出してＭＩＤＩ化を行い、音データをＭＩＤＩデータに変換する。

ＭＩＤＩ入力部Ｃは、演奏操作子１５及び演奏操作検出回路５或いは外部ＭＩＤＩ機器６０及びＭＩＤＩＩ／Ｆ１２の機能に対応しており、演奏操作子１５のユーザ操作により発生されるＭＩＤＩデータ或いは外部ＭＩＤＩ機器６０から受信されるＭＩＤＩデータをそのままデータ処理回路ＤＰに入力する。

楽曲データベースＤは、外部記憶装置４の楽曲データベース構築部に対応しており、多数の楽曲に関する楽曲データを記憶している。各楽曲データは、例えば、楽曲の名称を表わす楽曲名データ、楽曲を特定するための楽曲ＩＤ等の楽曲識別データ、楽曲演奏時の基準テンポ値を表わす基準テンポデータ、楽曲を構成する各楽音の音高と音長を音高−時間座標で表わす「音長＋音高」情報を時間軸に沿って時系列的に並べた音長＋音高列データ（単に「音列データ」ともいう）などから成る。

楽曲認識部Ｅは、データ処理回路ＤＰの楽曲認識機能部に対応しており、ＭＩＤＩ化部Ｂで音データから変換されたＭＩＤＩデータや、ＭＩＤＩ入力部ＣからのＭＩＤＩデータが供給される。なお、図示のように、音声／音響入力部Ａ及びＭＩＤＩ化部Ｂから成るＭＩＤＩデータ入力系列及びＭＩＤＩ入力部ＢによるＭＩＤＩデータ入力系列の双方を備えるものに限らず、どちらか一方のみのＭＩＤＩデータ入力系列を備えていてもよい。

楽曲認識部Ｅは、楽曲認識処理プログラムに従って、まず、供給されたＭＩＤＩデータを、楽曲データベースＤに記憶されている楽曲データに含まれる音長＋音高列データと同様の形式に変換する（「音長＋音高列化」という）。次いで、このＭＩＤＩデータのうち冒頭の所定区間（例えば、最初の数小節程度）の音長＋音高列データが表わす音長＋音高列パターン（単に「音列パターン」ともいう）について、楽曲データベースＤ内の楽曲データとマッチング処理を行い、ＭＩＤＩデータが何れの楽曲を表わしているかを認識する。すなわち、ＭＩＤＩデータの冒頭の音長＋音高列パターンに対して最も高いマッチング度の音長＋音高列パターンを持つ楽曲データが、ＭＩＤＩデータに対応しユーザが演奏している楽曲を表わしているものとして、楽曲データベースＤから抽出される。

楽曲認識部Ｅは、テンポ値や音高値を考慮しないで音長＋音高列データのパターン・マッチング処理を行うので、入力されたＭＩＤＩデータと決定された楽曲データとの間で音長＋音高列データの音長列及び音高列を比較することにより、ＭＩＤＩデータのテンポ及び移調量を決定（検出）する。例えば、両データでマッチングが採られた音長＋音高列データ全体の時間長を比較してテンポの比又は差を検出し、検出されたテンポの比又は差と当該楽曲データの基準テンポに基づいてＭＩＤＩデータのテンポを決定する。また、音長＋音高列データに含まれる各「音長＋音高」情報の音高からＭＩＤＩデータと楽曲データとの（平均）音高差を検出し、検出された音高差に基づいて、楽曲データに対するＭＩＤＩデータの移調量を決定する。楽曲認識部Ｅは、さらに、ＭＩＤＩデータのテンポと演奏経過時間に基づいて、拍位置や小節位置などの楽曲上の進行位置を決定（検出）する。

そして、楽曲認識部Ｅは、楽曲データベースＤから抽出された楽曲データの楽曲識別データ、当該楽曲データから得られたＭＩＤＩデータのテンポ、移調量及び進行位置を示すデータ、並びに、設定操作子１６のフェードインスイッチの操作の有無に基づく出力開始指令を、制御データとして伴奏制御部Ｇに出力する。なお、このような制御データは、後述する第２及び第３実施形態〔図５及び図６〕の出力制御部Ｊ，Ｌにも出力される。

図５は、ＭＩＤＩデータの入力例を表わし、各白抜きブロックＰａ〜Ｐｅは、入力されたＭＩＤＩデータの先頭の所定部分を占める音長＋音高列データを構成する「音長＋音高」情報を表わす。各斜線塗りブロックＳａ〜Ｓｅは、このＭＩＤＩデータに対応する楽曲データの音長＋音高列データを構成する「音長＋音高」情報を表わし、図示のように、入力ＭＩＤＩデータの音長＋音高列パターンＰａ〜Ｐｅは、基準となった楽曲データの音長＋音高列パターンＳａ〜Ｓｅにマッチングしている。

図５（ａ）の例は、ＭＩＤＩデータが楽曲データより早いテンポで入力された場合における両データの音長＋音高列パターンの時間軸成分（音長列）を示しており、ＭＩＤＩデータ先頭部分の音長情報で表わされる音長列の時間即ちパターンＰａ〜Ｐｅ全体の時間長ｔ０〜ｔｐは、楽曲データの対応部分の全音長情報で表わされる音長列の総時間即ちパターンＳａ〜Ｓｅ全体の時間長ｔ０〜ｔｓより短い。このように両データのテンポが異なる場合、例えば、（楽曲データの基準テンポ値）×（入力音長列の時間長ｔｐ／基準音長列の時間長ｔｓ）〔但し、ｔ０＝０〕により入力データのテンポ値を求めることができる。

図５（ｂ）は、ＭＩＤＩデータが楽曲データに対して移調された状態で入力された場合における両データの音長＋音高列パターン例を示しており、ＭＩＤＩデータ先頭部分の音高情報で表わされる音高列の音高は、音長＋音高列パターンＰａ〜Ｐｅの縦方向位置で示され、楽曲データの対応部分の各音高情報で表わされる音高列の音高も、音長＋音高列パターンＳａ〜Ｓｅの縦方向位置で示される。この例では、入力ＭＩＤＩデータのパターンＰａ〜Ｐｅの音高は、基準となる楽曲データのパターンＳａ〜Ｓｅより低い。このように両データ間に音高差がある場合は、入力音高列と基準音高列との音高差（両データの音高列パターンが完全一致していない場合は平均音高差）に対応する移調量を求める。

伴奏データベースＦは、外部記憶装置４の伴奏データベース構築部に対応しており、楽曲データベースＤ中の各楽曲データに関連付けられた伴奏データを多数記憶している。各楽曲データと１対１で伴奏データを記憶してもよいし、複数の楽曲データに対して１つの伴奏データを共用してもよい。前者のように１対１で記憶される伴奏データは、特定の楽曲のみを意図して作成された伴奏データであり、通常の１曲分の伴奏パートのＭＩＤＩデータとすることができる。後者のように複数の楽曲データに共用される伴奏データは、汎用の伴奏スタイルデータである。なお、伴奏データに汎用伴奏スタイルを用いる場合、各楽曲ごとにコード進行データやセクション切替えデータ（イントロ、メイン、フィルイン、エンディング等の各伴奏セクションをどのタイミングで切り替えるかを示すデータ）を別途持たせることにより、各楽曲ごとに適した伴奏を行うことができるので、好ましい。

伴奏制御部Ｇは、データ処理回路ＤＰの伴奏制御機能部に対応しており、楽曲認識部Ｅからの制御データに従って、認識された楽曲に関連付けられた伴奏データを自動的に選択し、選択された伴奏データに従って自動的に伴奏の再生を開始する。つまり、楽曲認識部ＥにおいてＭＩＤＩデータに対応すると決定された楽曲データの楽曲識別データに従って、認識された楽曲に関連付けられた伴奏データを伴奏データベースＦから選択的に読み出して楽音生成部８，９に送って伴奏の楽音信号を生成させ、サウンドシステム１４を通じて、ユーザにより入力されたＭＩＤＩデータに相応しい伴奏音を発生させる。この場合、楽曲認識部Ｅからの制御データに含まれる出力開始指令に従って演奏進行上の所定の音楽的区切り位置から極く自然に伴奏を開始し、制御データ中のテンポ、移調量及び進行位置（セクション切替え位置）に応じて、伴奏音のテンポ、移調量及び進行位置を制御する。

図６は、伴奏制御部Ｇ等の出力制御部（Ｇ，Ｊ，Ｌ）による伴奏等の出力開始例を表わし、図６（ａ）は、フェードインスイッチ（１６）の操作がないときの出力開始指令に従って、楽曲認識部Ｅで楽曲認識した後、所定の音楽的区切り位置から伴奏等の出力を開始させる場合の例であり、図６（ｂ）は、フェードインスイッチが操作されたときの出力開始指令に従って、楽曲認識部Ｅでの楽曲認識の後、直ちにフェードインを施して伴奏等の出力を開始させる場合（「すぐにフェードインでスタート」と呼ぶ）の例である。各図において、上段は、進行位置が決定された入力ＭＩＤＩデータを小節線タイミングで区切って表わしたものであり、中段は、楽曲認識に必要な時間を表わす楽曲認識期間を示し、下段は、伴奏等が出力されている状態を小節線タイミングで区切って表わしている。

伴奏制御部Ｇは、通常の設定では所定位置から伴奏をスタートし、図６（ａ）の例のように、ＭＩＤＩデータの入力を開始した時点ｔ０から楽曲認識期間が経過した時点ｔ１の後、次に現れる小節線タイミングｔ２から伴奏を開始する。一方、「すぐにフェードインでスタート」が設定されている場合は、図６（ｂ）のように、入力開始時点ｔ０から楽曲認識期間が経過した時点ｔ１で直ちに伴奏を開始し、しかも、時点ｔ１から次の小節線タイミングｔ２までは、「０」から「１」に漸増する音量係数値により伴奏出力の音量にフェードインをかけて更に自然な伴奏開始を行う。

以上説明したように、第１実施形態の自動伴奏装置では、多数の楽曲について楽曲データが楽曲データベースＤに記憶され、各楽曲に対応して伴奏スタイルなどの伴奏データが伴奏データベースＦに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がＭＩＤＩデータで入力され（Ａ〜Ｃ）、ＭＩＤＩデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースＤから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、ＭＩＤＩデータのテンポや移調量、進行位置（小節線タイミング等）などが検出される（Ｅ）。そして、認識された楽曲に適した伴奏データが伴奏データベースＦから自動的に選択され、検出されたテンポや移調量に応じ且つ進行位置タイミングに合わせた自動伴奏が実行される（Ｇ）。また、この自動伴奏は、所定の位置（小節線タイミング等）から開始したりフェードインにより開始したりすることで、自然な伴奏開始を実現することができる。

〔第２実施形態〕
第２実施形態による曲情報表示装置は、出力選択スイッチ（１６）の操作により曲情報表示出力を選択した際に機能し、ユーザが歌い始めたり楽器で弾き始めた楽曲を認識し、認識された楽曲に関連した楽譜及び／又は歌詞及び／又はコード（名）を表示する機能を有する。この曲情報表示装置を機能ブロックで概略的に表わすと、図３のように、音声／音響入力部Ａ、ＭＩＤＩ化部Ｂ、ＭＩＤＩ入力部Ｃ、楽曲データベースＤ、楽曲認識部Ｅ、曲情報データベースＨ及び曲情報表示制御部Ｊから成り、演奏データ入力手段Ａ〜Ｃ及び楽曲認識手段Ｄ，Ｅの機能は第１実施形態と変わらないが、出力実行手段が曲情報データベースＨ及び曲情報表示制御部Ｊで構成される。

曲情報データベースＨは、外部記憶装置４の曲情報データベース構築部に対応し、楽曲データベースＤ中の各楽曲データに関連付けられた曲情報表示データを多数記憶している。曲情報表示データには、楽譜データや歌詞データ、コードデータがあり、曲情報データベースＨには、楽譜＋歌詞＋コードのセットで記憶してもよいし、楽譜＋歌詞、歌詞＋コード、楽譜＋コードのセットでも、楽譜のみ、歌詞のみ、コードのみで記憶してもよい。

曲情報データベースＨに記憶される楽譜データは、ビットマップのような楽譜画像データでもよいし、楽譜記号にその表示位置又は発生タイミングを示す論理楽譜データでもよいし、楽譜画像データを生成する元になるＭＩＤＩ演奏データでもよい。また、歌詞データは、画像データであってもよいし、改ページや歌詞タイミングデータ等を含むテキストデータであってもよい。さらに、コードデータは、テキスト形式のデータが好ましい。

曲情報表示制御部Ｊは、データ処理回路ＤＰの曲情報表示制御機能部に対応しており、楽曲認識部Ｅからの制御データに従って、認識された楽曲に関連付けられた曲情報表示データ（表示選択スイッチにより、楽譜データ、歌詞データ及びコードデータの少なくとも何れか１つを指定することができる）を自動的に選択し、選択された曲情報表示データに従って自動的に曲情報表示を開始する。つまり、楽曲認識部ＥにおいてＭＩＤＩデータに対応すると決定された楽曲データの楽曲識別データに従って、認識された楽曲に関連付けられた曲情報表示データを曲情報データベースＨから選択的に読み出して表示回路７に送り、ユーザにより入力されたＭＩＤＩデータに対応する楽曲の曲情報をディスプレイ１７に表示させる。曲情報表示の際には、楽曲認識部Ｅで検出されたテンポ、移調量乃至進行位置に応じて表示制御を行い、ＭＩＤＩデータの進行に合わせて最適の曲情報を順次表示していく。例えば、テンポに応じて各曲情報表示に対するワイプスピードを変化し、移調量に応じて楽譜やコード名の表示を変更し、進行位置に応じてページを切り替える。

なお、曲情報表示の開始態様については、第１実施形態の自動伴奏装置と同様に、図６（ａ）のように楽曲認識が完了した後の所定タイミングから表示を開始してもよいし、楽曲認識を完了した後、直ちに表示を開始してもよい。さらに、後者のように楽曲認識の直後から表示する場合は、図６（ｂ）の「すぐにフェードインでスタート」のように表示のフェードインを用いても、このようなフェードインを用いなくてもよい。また、第２実施形態による曲情報表示は、単独で行われてもよいし、出力選択スイッチの同時選択により第１実施形態の自動伴奏を伴うようにしてもよい。

以上説明したように、第２実施形態の曲情報表示装置では、多数の楽曲について楽曲データが楽曲データベースＤに記憶され、各楽曲に対応して、楽曲演奏の補助として表示される楽譜、歌詞、コード名などの曲情報を表示するための曲情報表示データが曲情報データベースＨに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がＭＩＤＩデータで入力され（Ａ〜Ｃ）、ＭＩＤＩデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースＤから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、ＭＩＤＩデータのテンポや移調量、進行位置（小節線タイミング等）などが検出される（Ｅ）。そして、認識された楽曲に対応する曲情報表示データが曲情報データベースＨから自動的に選択され、検出されたテンポや進行位置タイミングに合わせて、楽譜、歌詞、コード名などの曲情報が表示される（Ｊ）。

〔第３実施形態〕
第３実施形態による画像表示装置は、ユーザが楽器で弾き始めたり歌い始めた楽曲を認識し、認識された楽曲に関連した画像（動画又は静止画）を自動的に表示する機能を有する。この自動伴奏装置を機能ブロックで概略的に表わすと、図４のように、音声／音響入力部Ａ、ＭＩＤＩ化部Ｂ、ＭＩＤＩ入力部Ｃ、楽曲データベースＤ、楽曲認識部Ｅ、画像データベースＫ及び画像表示制御部Ｌから成り、演奏データ入力手段Ａ〜Ｃ及び楽曲認識手段Ｄ，Ｅの機能は第１或いは第２実施形態と変わらないが、出力実行手段が画像データベースＫ及び画像表示制御部Ｌで構成される。

画像データベースＫは、外部記憶装置４の画像データベース構築部に対応し、楽曲データベースＤ中の各楽曲データに関連付けられた画像データを多数記憶している。画像データには、楽曲のアーティストの映像やカラオケの背景映像、楽曲に合ったアニメーション等の動画でもよいし、楽曲のアーティストの写真や楽曲に合った背景画、楽曲に合った絵本や紙芝居（例えば、楽曲が童謡「浦島太郎」なら浦島太郎の紙芝居画像）等の順次切換え表示可能な複数枚の静止画でもよい。曲情報データベースＨには、各楽曲と１対１で画像データを記憶してもよいし、複数の楽曲に対し１つの画像データを共用してもよい。

表示制御部Ｌは、データ処理回路ＤＰの画像表示制御機能部に対応しており、楽曲認識部Ｅからの制御データに従って、認識された楽曲に関連付けられた画像データを自動的に選択し、選択された画像データに従って自動的に画像表示を開始する。つまり、楽曲認識部ＥでＭＩＤＩデータに対応すると決定された楽曲データの楽曲識別データに従い、認識された楽曲に関連付けられた画像データを画像データベースＫから選択的に読み出して表示回路７に送り、ユーザ演奏によるＭＩＤＩデータに対応する楽曲に適した画像をディスプレイ１７に表示させる。画像表示の際には、楽曲認識部Ｅで検出されたテンポ及び進行位置（進行上のタイミング）に応じて表示制御を行い、ＭＩＤＩデータの進行に合わせて最適の画像を順次表示していく。例えば、テンポに応じて動画の再生スピードを制御し、進行位置に応じて静止画のページ切替えを制御する。

なお、楽曲認識部Ｅで検出された移調量は画像表示の制御には使われない。さらに、曲情報表示の開始態様については、第１実施形態の自動伴奏装置と同様に、図６（ａ）のように楽曲認識が完了した後の所定タイミングから表示を開始してもよいし、楽曲認識の完了直後から表示を開始してもよく、後者の場合、図６（ｂ）の「すぐにフェードインでスタート」のように表示のフェードインを用いても、フェードインを用いなくてもよい。

また、第３実施形態による画像表示は、単独で行われてもよいし、出力選択スイッチの同時選択により、第１実施形態の自動伴奏や第２実施形態による曲情報表示を伴うようにしてもよい。また、絵本や紙芝居の画像を表示する場合は、語りの音声データを記憶しておき、画像の再生に加えて語りの音声データを再生するようにしてもよい。

以上説明したように、第３実施形態の画像表示装置では、多数の楽曲について楽曲データが楽曲データベースＤに記憶され、各楽曲に対応して動画や複数枚の静止画などの画像データが画像データベースＫに用意される。ユーザが或る曲を楽器や歌唱で演奏し始めると、演奏内容がＭＩＤＩデータで入力され（Ａ〜Ｃ）、ＭＩＤＩデータの音列パターンに一致する音列パターンを有する楽曲データが楽曲データベースＤから抽出されて、ユーザが演奏し始めた楽曲が認識されると共に、ＭＩＤＩデータのテンポや進行位置（小節線タイミング等）などが検出される（Ｅ）。そして、認識された楽曲に関連する画像データが画像データベースＫから自動的に選択され、検出されたテンポや進行位置タイミングに合わせてＭＩＤＩデータに相応しい画像が順次表示されていく（Ｌ）。

〔処理フロー例〕
図７は、この発明の一実施例による楽曲認識処理を表わすフローチャートを示す。この楽曲認識処理フローは、ユーザによる設定操作子１６のモードスイッチの操作に基づいてこの電子音楽装置に楽曲認識モードがセットされ、出力選択スイッチを操作して、伴奏、曲情報表示、画像表示などが指示されると開始し、楽曲認識部Ｅで実行される。

最初のステップＲ１では、ＣＰＵ１は、演奏データ入力手段Ａ〜Ｃにより入力されたＭＩＤＩデータを音長＋音高列データに変換し（音長＋音高列化）、この音長＋音高列データの先頭の所定部分について、楽曲データベースＤ内の楽曲データと音長＋音高列パターンのマッチング処理を行い（テンポ違いや移調されたものは許容）、当該所定部分の音長＋音高列パターンと最もマッチする音長＋音高列パターンを有する楽曲データを楽曲データベースＤから抽出し、当該楽曲データの楽曲識別データが示す楽曲であると認識する。

次のステップＲ２では、入力ＭＩＤＩデータにおける所定部分の音長列と抽出された楽曲データにおける対応部分の音長列との時間比に応じて、入力ＭＩＤＩデータのテンポを決定し〔図５（ａ）〕、続くステップＲ３では、入力ＭＩＤＩデータ音高列と基準楽曲データ音高列との音高差に応じて入力ＭＩＤＩデータの移調量を決定する〔図５（ｂ）〕。

そして、ステップＲ４で、抽出された楽曲データ中の楽曲識別データやステップＲ２，Ｒ３で決定されたテンポ及び移調量を表わすデータを制御データとして、出力選択スイッチの選択操作に対応して指定される出力制御部Ｇ，Ｊ，Ｌに供給する。例えば、出力選択スイッチ操作で伴奏が指示された場合、この指示に対応して指定される伴奏制御部Ｇにこれらの制御データを供給し、曲情報表示が指示された場合は曲情報表示部Ｊに制御データを供給し、画像表示が指示された場合には画像制御部Ｌに制御データを供給する。

次いで、ステップＲ５で、入力ＭＩＤＩデータについて、現在、ステップＲ１で認識された楽曲内における進行位置を求め、求められた現在の進行位置が所定位置であるか否かを判定し、入力ＭＩＤＩデータの進行位置が所定位置に到達しない間は（Ｒ５→ＮＯ）、ステップＲ５に戻って所定位置に到達するまで待機する。そして、ユーザ演奏の進行位置が当該楽曲内の所定位置に到達すると（Ｒ５→ＹＥＳ）、ステップＲ６に進み、出力選択スイッチで指定された出力制御部Ｇ，Ｊ，Ｌに出力開始指令を送って情報出力のスタートを指示する。例えば、出力選択スイッチ操作で伴奏が指示された場合は伴奏制御部Ｇに伴奏スタートを指示し、曲情報表示が指示された場合はデータを曲情報表示部Ｊに曲情報表示（楽譜、歌詞乃至コード名表示）のスタートを指示し、画像表示が指示された場合には画像制御部Ｌに画像表示スタートを指示する。

なお、フェードインスイッチ（１６）の操作で「すぐにフェードインでスタート」が指示された場合は、破線で示すように、ステップＲ４で、楽曲識別データ、テンポデータ、移調量データ等の制御データを伴奏制御部Ｇに供給した後、直ちにステップＲＡに進み、伴奏制御部Ｇや他の出力制御部Ｊ，Ｌに対する制御データとして、図６（ｂ）で説明した「すぐにフェードインでスタート」を指示する出力開始指令を供給する。

ステップＲ６或いはステップＲＡで情報出力スタートを指示した後は、ステップＲ７に進んで、演奏データ入力手段Ａ〜Ｃから入力されたＭＩＤＩデータを、順次、音長＋音高列音長＋音高列化して入力ＭＩＤＩデータのテンポ及び進行位置を検出し、検出されたテンポ及び進行位置を表わすデータを制御データとして指定の出力制御部Ｇ，Ｊ，Ｌに供給する。続くステップＲ８で、入力ＭＩＤＩデータの進行位置が楽曲の末尾に達したか否かを判定し、入力ＭＩＤＩデータの進行位置が楽曲末尾に達しないときは（Ｒ８→ＮＯ）、ステップＲ７に戻って、進行位置が楽曲末尾に達するまで（Ｒ８→ＹＥＳ）、指定された出力制御部Ｇ，Ｊ，Ｌに制御データを順次供給する。

これにより、出力制御部即ち伴奏制御部Ｇ、曲情報表示制御部Ｊ或いは画像表示制御部Ｌでは、供給された制御データに基づいて、出力開始指令に応じた所定の態様でスタートし、入力ＭＩＤＩデータのテンポや進行位置タイミングに合った伴奏、曲情報表示（楽譜、歌詞乃至コード名表示）或いは画像表示が自動的に実行される。そして、入力ＭＩＤＩデータの進行位置が楽曲末尾に到達すると（Ｒ８→ＹＥＳ）この楽曲認識を終了する。

〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、実施例では、入力されたＭＩＤＩデータを音列パターンに変換し、楽曲データベースＤ内に記憶されている楽曲データの音列パターンと比較することで、楽曲認識をするようにしたが、これに限らず、楽曲データベースＤ内の楽曲データをＭＩＤＩデータ形式で記憶しておき、入力されたＭＩＤＩデータと直接比較することで楽曲認識をしてもよい。

また、楽曲データベースＤ内の楽曲データを音列パターン、ＭＩＤＩデータ以外のデータ形式（例えば、楽音波形の特徴を示す波形特徴データ）で記憶しておき、入力されたＭＩＤＩデータ或いは音データを当該データ形式（波形特徴データ等）に変換して楽曲認識をしてもよい。要するに、入力されたＭＩＤＩデータや音データを、楽曲データベースＤ内に記憶されているデータ形式に揃えた後に、比較することで、楽曲認識をするものであれば、そのデータ形式は問わない

また、音響入力機器３０にて入力信号をディジタル化し、ディジタルの音データとして音データ入力１／Ｆ１０へ入力するものに限らず、音響入力機器３０側にはデイジタル化のための音信号処理回路を持たず、アナログの音信号のまま音データ入力１／Ｆ１０へと入力後、電子音楽装置側に備えたディジタル化のための音信号処理回路にてディジタルの音データに変換してもよい。

また、楽曲認識が完了した後、自動的に自動伴奏、曲情報表示、画像表示をするものに限らず、自動伴奏データ、曲情報表示データ、画像データを選択するところまでを行い、その後のユーザによる開始指示に従って自動伴奏、曲情報表示、画像表示を開始するようにしてもよい。その場合、楽曲認識のために入力するユーザ演奏、歌唱の部分は、楽曲の冒頭に限らず任意の部分とすることができる。

また、データべースについては、楽曲データべースと、伴奏データベース、曲情報データベース、画像データベースを別データベースで構成したが、これに限らず、楽曲データと、伴奏データ、曲情報表示データ及び画像データとが対応付けられた単一のデータベースとして構成してもよい。

この発明の一実施例による電子音楽装置のハードウエア構成例を表わすブロック図である。 この発明の第１実施形態による電子音楽装置（自動伴奏装置）の機能的構成例を表わすブロック図である。 この発明の第２実施形態による電子音楽装置（曲情報表示装置）の機能的構成例を表わすブロック図である。 この発明の第３実施形態による電子音楽装置（画像表示装置）の機能的構成例を表わすブロック図である。 この発明の各実施形態におけるＭＩＤＩデータの入力例を表わす図である。 この発明の各実施形態における伴奏及び表示の開始例を表わす図である。 この発明の一実施例による楽曲認識処理を表わすフローチャートである。

符号の説明

Ａ〜Ｃ 音声／音響入力部、ＭＩＤＩ化部及びＭＩＤＩ入力部（演奏データ入力手段）、
Ｄ，Ｅ 楽曲データベース及び楽曲認識部（楽曲認識手段）、
Ｇ，Ｊ，Ｌ 伴奏制御部、曲情報表示制御部及び画像表示制御部（出力制御部）、
Ｐａ〜Ｐｅ 入力されたＭＩＤＩデータの「音長＋音高」パターン、
Ｓａ〜Ｓｅ 楽曲データベースＤから抽出された楽曲データの「音長＋音高」パターン。

Claims (5)

1. 楽曲の演奏の補助となる曲情報を表示するための曲情報表示データを当該楽曲に関連付けて記憶している曲情報表示データ記憶手段と、
   ユーザ演奏に基づく演奏データを入力する演奏データ入力手段と、
   演奏データ入力手段により入力された演奏データに基づいて楽曲を認識する楽曲認識手段と、
   楽曲認識手段により認識された楽曲に関連付けられている曲情報表示データを曲情報表示データ記憶手段から選択し、選択された曲情報表示データに基づいて曲情報を表示する表示手段と
   を具備することを特徴とする曲情報表示装置。
2. 前記表示手段は、曲情報表示データが選択された後、入力された演奏データの進行に合わせて自動的に曲情報の表示を開始することを特徴とする請求項１に記載の曲情報表示装置。
3. 前記楽曲認識手段は、前記演奏データ入力手段により入力された演奏データのテンポを認識し、
   前記表示手段は、認識されたテンポに応じて曲情報の表示を進行する
   ことを特徴とする請求項１又は２に記載の曲情報表示装置。
4. 前記楽曲認識手段は、前記演奏データ入力手段により入力された演奏データの移調量を認識し、
   前記表示手段は、認識された移調量に応じた曲情報を表示する
   ことを特徴とする請求項１〜３の何れか１項に記載の曲情報表示装置。
5. 楽曲の演奏の補助となる曲情報を表示するための曲情報表示データを当該楽曲に関連付けて記憶している曲情報表示データ記憶手段を具備するコンピュータに、
   ユーザ演奏に基づく演奏データを入力する演奏データ入力ステップと、
   演奏データ入力ステップで入力された演奏データに基づいて楽曲を認識する楽曲認識ステップと、
   楽曲認識ステップで認識された楽曲に関連付けられている曲情報表示データを曲情報表示データ記憶手段から選択し、選択された曲情報表示データに基づいて曲情報を表示する表示ステップと
   から成る手順を実行させる曲情報表示プログラム。
   

Images