JP2004220208A

JP2004220208A - Basic program and recording medium capable of easily switching program environment

Info

Publication number: JP2004220208A
Application number: JP2003005114A
Authority: JP
Inventors: Tsutomu Miyaki; 強宮木
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2003-01-10
Filing date: 2003-01-10
Publication date: 2004-08-05
Anticipated expiration: 2023-01-10
Also published as: JP4400051B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a program for allowing a user to easily select a program use environment constituted of only necessary functions according to the purpose of use of the user in a condition that a plurality of mutually associated programs are simultaneously used. <P>SOLUTION: Environment data are registered with the information of a user interface. Any of the processing of a plurality of extended programs is linked to the user interface. A CPU displays the image of the user interface shown by the environment data at a display part according to a basic program. When a user performs an operation to the user interface displayed at the display part, the CPU executes the extended program linked to the user interface, and executes processing corresponding to the operation. The user switches the environment data to make the CPU display a screen constituted of a different user interface. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のプログラムから一部のプログラムが選択され利用されるプログラム利用環境において、プログラムの選択作業を容易化し、かつ選択されたプログラムに応じてユーザインタフェースの変更処理を行うプログラムに関する。
【０００２】
【従来の技術】
近年、特定機能を実現するための電子機器（以下、「特定電子機器」と呼ぶ）の多くが、パーソナルコンピュータやゲーム機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｃｅ）等（以下、単に「汎用コンピュータ」と呼ぶ）に必要なアプリケーションプログラム（以下、単に「アプリケーション」と呼ぶ）をインストールすることにより実現可能となっている。特に、汎用コンピュータの音声データおよび画像データの処理能力が向上しているため、音響映像機器の機能の多くが汎用コンピュータにより実現可能となっている。
【０００３】
特定電子機器はＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）や液晶ディスプレイ等、同種の部品を多く有している。それに対し、汎用コンピュータに異なるアプリケーションをインストールすることにより、１台の汎用コンピュータに複数の特定電子機器の機能を実現させる場合、ＤＳＰや液晶ディスプレイ等の部品を汎用コンピュータが１つ有すれば足り、コストの低減がはかられる。
【０００４】
上記のように、汎用コンピュータを用いて特定電子機器の機能を実現させる従来技術の例として、例えばネットワークに接続された複数のコンピュータ資源を用いて電子楽器を実現する技術が、特許文献１に開示されている。
【０００５】
【特許文献１】
特開平７−２６１７５６号公報
【０００６】
【発明が解決しようとする課題】
ところで、汎用コンピュータにより互いに関連する複数の特定電子機器の機能が実現可能な場合、それらの機能を連携させることができればユーザの利便性が向上する。
【０００７】
汎用コンピュータにおいて複数機能の連携を実現するために、まずそれらの複数機能を１つのアプリケーションに統合することが考えられる。例えば、汎用コンピュータにミュージックシンセサイザの機能を実現するアプリケーション（以下、「シンセソフト」と呼ぶ）と、汎用コンピュータに音声データに対する音響効果を付加するエフェクタの機能を実現させるアプリケーション（以下、「エフェクタソフト」と呼ぶ）の両方の機能を有するアプリケーション（以下、「エフェクタ機能付シンセソフト」と呼ぶ）を開発すれば、ユーザはミュージックシンセサイザによって再生される音声に対し、容易にエフェクタによる音響効果を付加することができる。
【０００８】
しかしながら、上記のように異なる機能を有する複数のアプリケーションを単純に統合すると、一方のアプリケーションの機能のみを必要とするユーザには不便である。例えば、エフェクタ機能を必要としないユーザも、エフェクタ機能付シンセソフトを購入しなければならず、そのために不要な費用を払わなければならない。その不便さを解消するために、もしシンセソフト、エフェクタソフトおよびエフェクタ機能付シンセソフトを個別に販売するならば、今度はアプリケーションの開発者の開発コストが増大する。
【０００９】
上記の問題に対し、複数のプログラムの制御等を行う基本的なプログラム（以下、「基本プログラム」と呼ぶ）と、この基本的プログラムと共に動作し、特定の機能を実現するためのプログラム（以下、「拡張プログラム」と呼ぶ）とを組み合わせることにより、複数の機能を有するアプリケーションを構築する方法が考えられる。例えば、汎用コンピュータにミュージックシーケンサの機能を実現させるアプリケーション（以下、「シーケンサソフト」と呼ぶ）を基本プログラムとして開発し、シンセソフトおよびエフェクタソフトはシーケンサソフトの拡張プログラムとして開発する。この場合、ユーザはシーケンサソフトを購入した後、必要な拡張プログラムのみを購入すればよい。また、アプリケーションの開発者は、各拡張プログラムを個別に開発できるため、開発コストも最小限ですむ。
【００１０】
上記の基本プログラムと拡張プログラムを用いる方法の効果は、各拡張プログラムの機能が細分化される程、大きい。しかしながら、各拡張プログラムの機能が細分化されると、ユーザがそれら多くの拡張プログラムを管理するための負担が増大する。例えば、エフェクタソフトの機能を実現する拡張プログラムが、リバーブおよびディストーションの機能を実現させる拡張プログラム（以下、それぞれ「リバーブソフト」および「ディストーションソフト」と呼ぶ）に細分化されたとする。リバーブソフトとディストーションソフトの両方を購入したユーザが、例えばリバーブソフトのみを利用したい場合、不要なディストーションソフトに関するコマンドボタン等が汎用コンピュータの画面に表示されると邪魔である。
【００１１】
ユーザは画面に表示される邪魔なコマンドボタン等を非表示にすることができる。しかしユーザがアプリケーションの使用目的に応じていちいち不要なコマンドボタン等の非表示化の操作をするのは面倒である。また、複数の拡張プログラムの各種の機能の間には、関連性が高いものと関連性が低いものが存在する。従って、ユーザはある画面においていずれのコマンドボタン等が不要であるかを判断することも容易ではない。
【００１２】
しかしながら、もしプログラムの開発者がアプリケーションにおける望ましい画面表示の構成を決定してユーザに提供し、ユーザはプログラム開発者により決定された画面表示の構成しか利用できないとすれば、そのアプリケーションは様々なユーザの使用目的を満たすアプリケーションの使用環境を提供することができない。
【００１３】
上記のような事情に鑑み、本発明は、複数の関連するプログラムを含み、それらを同時に利用可能なプログラムにおいて、開発者およびユーザがそれら複数のプログラムを利用する際の画面構成を使用目的に応じて柔軟に変更でき、かつそのように変更された複数の画面構成の中からユーザが望ましいものを容易に選択できるプログラムを提供することを目的としている。
【００１４】
【課題を解決するための手段】
以上説明した課題を解決するため、本発明は、１または複数の拡張プログラムと、ユーザから指示を受け取るための１または複数のユーザインタフェースを定義するユーザインタフェースデータと、前記１または複数のユーザインタフェースの各々を前記１または複数の拡張プログラムの実行制御に関連付けるリンクデータとを含んだ複数の環境データを記憶したメモリを有するコンピュータに、前記複数の環境データのうち１の環境データを選択する環境データ選択処理と、選択した環境データに従って１または複数のユーザインタフェースを提供するユーザインタフェース提供処理と、提供した１または複数のユーザインタフェースのいずれかに対するユーザの操作が行われた場合、選択した環境データに含まれるリンクデータによって当該ユーザインタフェースに関連付けられた拡張プログラムの実行制御を行う拡張プログラム制御処理とを実行させる基本プログラムを提供する。
【００１５】
かかる構成による基本プログラムを用いると、使用目的に応じた環境データが選択されることにより、使用目的に必要な処理に対応付けられたユーザインタフェースのみが画面に表示される。その結果、ユーザが複数の処理を有する複数の拡張プログラムを同時に利用し、使用目的に応じてそれらを使い分ける必要がある場合であっても、ユーザは環境データを切り替えることにより、容易に使用目的に応じた画面をコンピュータに表示させることができる。
【００１６】
また、前記複数の環境データの各々は、前記１または複数の拡張プログラムに従って実行される各処理が必要とする入力データが、前記１または複数の拡張プログラムに従って行われるいずれの処理の出力データであるかを示す入出力関係データを含み、前記基本プログラムは、前記コンピュータが前記１または複数の拡張プログラムに従って、ある処理を実行し、その処理において出力データが得られた場合、前記環境データ選択処理において選択された環境データに含まれる入出力関係データに従って、当該出力データを入力データとする処理を前記コンピュータに実行させてもよい。
【００１７】
かかる構成による基本プログラムを用いると、複数の拡張プログラム間におけるデータの入力および出力の関係が、環境データの選択により自動的に決定される。
【００１８】
また、前記基本プログラムは、前記メモリに、ある拡張プログラムが新たに記憶された場合、前記コンピュータに、前記複数の環境データの各々に対し、新たに記憶された拡張プログラムに関連するデータを追加させ、前記メモリに記憶されている前記１または複数の拡張プログラムのいずれかが前記メモリから削除された場合、前記コンピュータに、前記複数の環境データの各々から、削除された拡張プログラムに関連するデータを削除させてもよい。
【００１９】
かかる構成による基本プログラムを用いると、コンピュータにおいて利用可能な拡張プログラムの構成に変更があった場合に、環境データにおけるデータインタフェースデータおよびリンクデータがその変更に応じて自動的に更新される。
【００２０】
また、前記コンピュータは、１または複数の外部機器から前記１または複数の外部機器の各々を識別するデバイスＩＤを受信可能であり、前記メモリには、前記デバイスＩＤと前記環境データとの対応関係を示すデバイス環境関係データが記憶されており、前記基本プログラムは、前記コンピュータが前記１または複数の外部機器のいずれかからデバイスＩＤを受信した場合、前記環境データ選択処理において、前記コンピュータに、前記デバイス環境関係データによって受信したデバイスＩＤに対応付けられた環境データを選択させてもよい。
【００２１】
かかる構成による基本プログラムを用いると、外部機器からコンピュータに送信されるデバイスＩＤに応じて環境データが自動的に選択されるため、ユーザは外部機器をコンピュータに接続するだけで、使用目的に応じた画面をコンピュータに表示させることができる。
【００２２】
また、前記コンピュータは、外部機器から音声情報を取得可能であり、前記メモリには、１または複数の音声情報の特徴を示す情報である音声特徴データと前記環境データとの対応関係を示す音声環境関係データが記憶されており、前記基本プログラムは、前記コンピュータが前記外部機器から音声情報を受信した場合、前記コンピュータに、受信した音声情報から該音声情報の特徴を示す音声特徴データを生成させる音声特徴データ生成処理を実行させ、前記環境データ選択処理において、前記コンピュータに、前記音声環境関係データによって、前記音声特徴データ生成処理において生成した音声特徴データに対応付けられた環境データを選択させてもよい。
【００２３】
かかる構成による基本プログラムを用いると、外部機器からコンピュータに入力される音声情報に応じて環境データが自動的に選択されるため、ユーザは外部機器から音声情報をコンピュータに対し送信させるだけで、使用目的に応じた画面をコンピュータに表示させることができる。
【００２４】
前記１または複数の拡張プログラムの少なくとも１つは、前記コンピュータに、音声データを電子的に生成する音声データ生成処理を実行させてもよい。
【００２５】
かかる構成による基本プログラムを用いると、コンピュータは複数のデジタル音響機器の機能を実現可能となり、ユーザは環境データを切り替えることにより、それらデジタル音響機器の機能を容易に使い分けることができる。
【００２６】
【発明の実施の形態】
［１：第１実施形態］
以下、本発明の好適な実施形態として、あるアプリケーションの構成および動作を説明する。このアプリケーションは、コンピュータに電子ピアノ音源およびギターアンプの機能を実現させ、さらにそれらの機能をユーザが手動で容易に切り替えることを可能とするものである。なお、以下の説明において、「アプリケーション」は、複数の関連するプログラムの集合体を意味する言葉として用いる。
【００２７】
［１．１：コンピュータおよび外部機器の構成および動作］
まず、第１実施形態に係るアプリケーション（以下、「音楽アプリケーション１」と呼ぶ）の実行環境であるコンピュータ１およびこれに接続される外部機器の構成および動作を、図１を用いて説明する。
【００２８】
コンピュータ１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１０２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０４、ＨＤ（ＨａｒｄＤｉｓｋ）１０５、表示部１０６、操作部１０７、ＮＷ（Ｎｅｔｗｏｒｋ）入出力部１０８、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）入出力部１０９、アナログ音声入力部１１０、Ａ／Ｄ（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌ）コンバータ１１１、Ｄ／Ａ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇ）コンバータ１１２、アンプ１１３およびスピーカ１１４を有している。コンピュータ１において、アナログ音声入力部１１０、アンプ１１３およびスピーカ１１４以外の各構成部は、バス１１５を介して互いに接続されている。
【００２９】
ＣＰＵ１０１は汎用的なデータ処理を行うマイクロプロセッサであり、ＲＯＭ１０３に記憶された制御用プログラムに従いコンピュータ１の他の構成部の制御等の処理を行う。また、ＣＰＵ１０１は、ＨＤ１０５に記録された音楽アプリケーション１をＲＡＭ１０４に読み込み、音楽アプリケーション１に従った各種処理を行う。
【００３０】
ＤＳＰ１０２はデジタル音声データやデジタル画像データを高速に処理可能なマイクロプロセッサであり、ＲＡＭ１０４からデータを読み込んで加工処理を行い、その結果生成されるデータをＲＡＭ１０４に記録する。
【００３１】
ＲＯＭ１０３は各種の制御用プログラムを格納する不揮発性メモリである。ＲＡＭ１０４はＣＰＵ１０１や他の構成部が利用するデータを一時的に記憶するための揮発性メモリである。ＨＤ１０５は大容量の記憶領域を有する不揮発性のメモリであり、ＨＤ１０５に格納されるデータは書き換え可能である。ＨＤ１０５には、音楽アプリケーション１および音楽アプリケーション１と共に利用される各種データが格納される。ＨＤ１０５に格納されるアプリケーションおよびデータは、必要に応じてＲＡＭ１０４に読み出された後、ＣＰＵ１０１等に読み込まれて利用される。
【００３２】
表示部１０６は液晶ディスプレイ、駆動回路等を有し、文字、図形等の情報を表示する。操作部１０７はキーパッドやマウス等を有し、ユーザの操作に応じて所定のデータをＣＰＵ１０１に送信する。
【００３３】
ＮＷ入出力部１０８はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）に接続された他の通信機器とコンピュータ１との間で送受信されるデータの中継を行う。ＮＷ入出力部１０８はＬＡＮを介してインターネット１２０に接続されている。
【００３４】
ＭＩＤＩ入出力部１０９は外部機器からＭＩＤＩ規格に従ったデータ（以下、「ＭＩＤＩデータ」と呼ぶ）を受信し、受信したＭＩＤＩデータをＣＰＵ１０１に転送したり、ＣＰＵ１０１により生成されたＭＩＤＩデータを外部機器に送信したりする。第１実施形態においては、ＭＩＤＩ入出力部１０９にはＭＩＤＩキーボード１２１が接続されている。ＭＩＤＩキーボード１２１は、鍵盤、スライダー等の各種操作子を有し、ユーザの操作に応じてＭＩＤＩデータをＭＩＤＩ入出力部１０９に送信する。
【００３５】
アナログ音声入力部１１０はコンピュータ１の内部においてＡ／Ｄコンバータ１１１およびアンプ１１３と接続され、外部機器から入力されるアナログ音声信号をＡ／Ｄコンバータ１１１およびアンプ１１３に出力する。第１実施形態においては、アナログ音声入力部１１０にはエレクトリックギター１２２が接続されている。エレクトリックギター１２２は、本体に張られたスチールの弦と、弦の振動をピックアップするセンサ等を有し、ユーザの演奏による弦の振動をアナログ音声信号に変換し、アナログ音声入力部１１０に出力する。Ａ／Ｄコンバータ１１１はアナログ音声入力部１１０を介して入力されるアナログ音声信号をデジタル音声データに変換しＲＡＭ１０４に記録する。
【００３６】
Ｄ／Ａコンバータ１１２は、ＣＰＵ１０１またはＤＳＰ１０２によってＲＡＭ１０４から読み出されるデジタル音声データをアナログ音声信号に変換し、アンプ１１３に出力する。アンプ１１３はアナログ音声入力部１１０およびＤ／Ａコンバータ１１２から入力されるアナログ音声信号を増幅し、スピーカ１１４に出力する。スピーカ１１４はアンプ１１３から入力されるアナログ音声信号を空気振動に変換することにより、発音する。
【００３７】
［１．２：音楽アプリケーションの構成および動作］
続いて、音楽アプリケーション１の構成および動作を説明する。音楽アプリケーション１は、図２に示す基本パッケージと複数の拡張パッケージの複合体である。これらの各パッケージは、ユーザからの指示に従い、インターネット１２０を介してコンピュータ１にダウンロードされ、ＨＤ１０５にインストールされる。
【００３８】
基本パッケージには、基本プログラムおよび関連データが含まれている。また、各拡張パッケージには、拡張プログラムおよび関連データが含まれている。ＣＰＵ１０１は、基本プログラムに従い、拡張プログラムの実行管理を行う。従って、拡張プログラムのインストールに先立ち、基本プログラムは必ずコンピュータ１にインストールされなければならない。拡張プログラムは基本プログラムのインストールの後にコンピュータ１にインストールされるが、ユーザは複数の拡張パッケージから利用を希望するものを選び、選んだ拡張パッケージに含まれる拡張プログラムのみをコンピュータ１にインストールすることができる。
【００３９】
図３は基本プログラムと拡張プログラムの関係を模式的に示した図である。まず、ユーザによってコンピュータ１もしくはコンピュータ１に接続された外部機器に対する操作が行われた場合、基本プログラムは、この操作を表すデータを、コンピュータ１のＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）を介して受信し、受信したデータを拡張プログラムに受け渡す（データフローＦ３０１）。また、基本プログラムは、拡張プログラムによりデータが生成された場合、ＯＳを介して、その生成されたデータに応じた処理、例えば拡張プログラムにより生成された音声データの再生等をコンピュータ１に実行させる（データフローＦ３０５、データフローＦ３０６）。また、基本プログラムは、ある拡張プログラムに従ってコンピュータ１が生成したデータを、他の拡張プログラムに従って実行されるコンピュータ１の処理において利用させる（データフローＦ３０７、データフローＦ３０８およびデータフローＦ３０９）。すなわち、基本プログラムはプログラム間のデータの受け渡しを行う手段として働く。
【００４０】
ユーザがコンピュータ１に何らかのプログラムを実行させたり、あるいは実行中のプログラムとユーザとの間で情報の授受を行わせるに当たり、いずれのプログラムをその対象とするかについてユーザに指示を求める必要が生じることがある。このユーザからの指示を得るために、本実施形態における基本プログラムは、コンピュータ１の表示部１０６に、複数のユーザインタフェースを配置した画面を表示する。ここで、ユーザインタフェースとは、コンピュータ１の表示部１０６に表示される画面の構成要素、すなわちコマンドボタン、テキストボックス、リストボックス等を表す。
【００４１】
これらのユーザインタフェースは、コンピュータ１が実行可能な何らかの拡張プログラムの処理に関連付けられている。ユーザがあるユーザインタフェースに対し、クリック等の操作を行うと、基本プログラムは、そのユーザインタフェースに関連付けられている処理をコンピュータ１に実行させる（データフローＦ３０２）。また、コンピュータ１がある拡張プログラムに従い特定の処理を実行し、データを生成すると、基本プログラムは、コンピュータ１に、その処理が関連付けられているユーザインタフェースにそのデータの内容を表示させる（データフローＦ３０３、データフローＦ３０４）。このように、基本プログラムはユーザインタフェースを介してユーザとプログラムとの間の指示またはデータの受け渡しを行う手段としても働く。
【００４２】
上記のように、基本プログラムは、各プログラムとその環境を構成する他のプログラムとの間のデータの受け渡し手段としての機能を持つ。この機能を実行するために、本実施形態における基本プログラムは、予め用意された入出力関係表を参照する。この入出力関係表は、コンピュータ１が実行可能な基本プログラムおよび拡張プログラムの各々について、各プログラムに従って実行される処理において得られる出力データが、他のプログラムに従って実行されるいずれの処理の入力データとなるかを定義した表である。
【００４３】
また、本実施形態における基本プログラムは、ユーザインタフェースとプログラムとの間のデータの受け渡し手段としての機能を果たすために、予め用意された構成要素表を参照する。この構成要素表は、表示部１０６にユーザインタフェースを表示させるためのユーザインタフェースデータおよび各ユーザインタフェースに何らかの処理を関連づけるリンク先処理ＩＤ（リンクデータ）により構成されている。基本プログラムは、構成要素表に従い、ユーザインタフェースを表示部１０６に表示させると同時に、ユーザインタフェースをプログラムに従って実行される何らかの処理に関連付け、ユーザとプログラムとの間のデータの受け渡しを行う。
【００４４】
上述した入出力関係表および構成要素表は、基本パッケージに基本プログラムの関連データとして含まれる環境雛形データ、および拡張パッケージに拡張プログラムの関連データとして含まれる環境雛形データとして、音楽アプリケーション１のプロバイダから提供される。基本パッケージに含まれる環境雛形データには、基本プログラムとＯＳとの間のデータの受け渡しに関する入出力関係表と、基本プログラムの起動時に表示されるユーザインタフェースに関する構成要素表が含まれている。
【００４５】
また、拡張パッケージに含まれる環境雛形データは、仮に音楽アプリケーション１のプロバイダによって提供される全ての拡張プログラムがコンピュータ１にインストールされた、いわばフル装備状態を想定して作成されている。さらに詳述すると、拡張パッケージに含まれる環境雛形データには、その拡張パッケージに含まれる拡張プログラムと、基本プログラムおよび他のあらゆる拡張プログラムとの間のデータの受け渡しに関する入出力関係表が含まれている。また、拡張パッケージに含まれる環境雛形データには、その拡張パッケージに含まれる拡張プログラムと関係を持つあらゆる処理について、その処理の実行制御のための情報の授受をユーザと行うためのユーザインタフェースを関連付けた構成要素表が含まれている。
【００４６】
このように、環境雛形データは、コンピュータのＯＳがあらゆる種類の機能を提供可能であり、またコンピュータに全ての拡張プログラムがインストールされている場合を想定してデザインされている。しかし、実際にユーザが利用するコンピュータ１を考えると、環境雛形データに含まれるデータの中には、コンピュータ１のＯＳが提供できない機能や、コンピュータ１にインストールされていない拡張プログラムに関連するデータもあり、そのようなデータは不要である。そこで、本実施形態においては、基本プログラムおよび拡張プログラムがコンピュータ１にインストールされる際に、環境雛形データから、コンピュータ１において利用可能なＯＳの機能および拡張プログラムに関するデータのみを抽出した環境データが生成され、この環境データが実際に基本プログラムにより利用される。
【００４７】
図４は、図３に示した例と比較し、ＯＳが提供する機能およびコンピュータにインストールされている拡張プログラムが少ない場合のデータフローを示している。すなわち、図４におけるコンピュータにおいては、ＯＳはＭＩＤＩデータの入力処理を行うことができないためＭＩＤＩキーボード１２１が接続されておらず、また拡張プログラム「コーラス」がインストールされていない。環境雛形データは、図３に示される全てのデータフロー、すなわちデータフローＦ３０１からデータフローＦ３０９に関するデータを含んでいる。しかしながら、図４に示されるコンピュータにおいて実際に利用される環境データには、利用できないデータフローＦ３０１、データフローＦ３０４等に関するデータは含まれない。その結果、表示部１０６には、利用できないデータフローＦ３０４が関連付けられているユーザインタフェースが表示されることはない。
【００４８】
続いて、ユーザがコンピュータ１に、基本プログラム、拡張プログラムの順でそれらのプログラムをインストールし、音楽アプリケーション１を利用する場合のコンピュータ１の動作の詳細を説明する。ユーザはインターネットを介し、音楽アプリケーション１のプロバイダのＨＰ（ＨｏｍｅＰａｇｅ）から音楽アプリケーション１の基本パッケージをコンピュータ１にダウンロードすることができる。基本パッケージには、基本プログラムに加え、複数の環境雛形データおよび複数の部品データが含まれている。
【００４９】
ユーザは、ダウンロードした基本パッケージに含まれる基本プログラムをコンピュータ１にインストールすることができる。この基本プログラムのインストールの際、ＣＰＵ１０１はコンピュータ１の環境等を調査し、プログラムデータベース、入出力データベース、処理データベース、部品データデータベース、複数の環境データ、および環境データデータベースを作成する。ＣＰＵ１０１はこれらの各データベース等を、ＨＤ１０５に格納する。以下、上記の各データベース等の構成および内容を説明する。
【００５０】
図５は、基本プログラムのみがインストールされた段階におけるプログラムデータベースの内容を示す図である。プログラムデータベースは、ＨＤ１０５に格納されているプログラムの情報が登録されたデータベースである。この段階において、プログラムデータベースには、インストールされた基本プログラムのプログラムＩＤ、プログラム名、バージョン情報およびプログラムファイル名が登録されている。図５に示す例では、基本プログラムのバージョンは１．０であり、ＨＤ１０５における格納先はｃ：￥ｍｕｓｉｃｓｙｓｔｅｍ￥ｐｒｏｇｒａｍ￥ｐ０００１．ｅｘｅである。
【００５１】
図６には基本プログラムのみがインストールされた段階における入出力データベースの内容が例示されている。入出力データベースは、ＨＤ１０５に格納されている各プログラムについて、如何なるデータの入出力が行われるかを定義するデータベースである。この図に示すように、入出力データベースには、基本プログラムおよびこれに関連する各プログラムのプログラムＩＤおよびプログラム名が登録されている。これらの各プログラムは入出力可能な１または複数種類のデータを有している。そこで、入出力データベースには、各プログラムが入出力可能な各データについて各々のデータタイプおよび入出力ＩＤが登録されている。１つの入出力ＩＤのフィールドは入力および出力のサブフィールドに分かれている。
【００５２】
図６のデータ例においては、「マイクロフォン」、「スピーカ」、「ディスプレイ」および「ＭＩＤＩインタフェース」はＯＳに属するプログラムである。例えばプログラム「マイクロフォン」は外部機器から入力されるアナログ音声信号を、アナログ音声入力部１１０およびＡ／Ｄコンバータ１１１によりデジタル音声データに変換した後、他のプログラムに出力する。このようにプログラム「マイクロフォン」は他のプログラムに音声データを出力するが、他のプログラムがプログラム「マイクロフォン」に音声データを入力することはない。そこで、プログラム「マイクロフォン」には出力用の入出力ＩＤしか割り当てられていない。入出力ＩＤは各プログラムごとに独立して割り当てられる。
【００５３】
図７は基本プログラムのみがインストールされた段階における処理データベースの内容を示す図である。プログラムデータベースに登録されているプログラムは、ＣＰＵ１０１に１または複数の処理を行わせる。処理データベースには、このプログラムデータベースに登録されたプログラムに従って実行される各処理のうち、ユーザからパラメータの指定等を受けたり、結果をユーザに対し表示したりするものについて、各処理を実行するプログラムのプログラムＩＤおよびプログラム名と、各処理の処理ＩＤ、処理名および設定範囲が登録されている。設定範囲とは、処理に対しユーザが与えることが可能なパラメータの範囲を示す情報であり、具体的には数値の範囲やＯＮまたはＯＦＦ等が登録される。
【００５４】
図７のデータ例によれば、基本プログラムが行う各処理のうち、音楽アプリケーション１の終了、音楽アプリケーション１の環境設定の起動およびブラウザの起動が登録されている。このデータベースにおいて、処理ＩＤは各プログラムごとに独立して割り当てられる。
【００５５】
図８は基本プログラムのみがインストールされた段階における部品データデータベースの内容を示す図である。部品データデータベースには音楽アプリケーション１において利用可能な部品データの部品データＩＤ、部品スタイル名、部品タイプおよび部品データファイル名が登録されている。部品データは、プログラムと共にコンピュータ１にダウンロードされるデータであり、コマンドボタンやテキストボックス等、画面の構成要素、すなわちユーザインタフェースとなり得る部品を表すデータである。この部品データは、その部品をユーザインタフェースとして画面に表示させるための画像データと、その表示されたユーザインタフェースに対して、マウスによるクリックなど、ユーザの操作が行われた場合にその操作に応じて実行されるプログラムモジュール等から構成される。
【００５６】
図９は基本プログラムのみがインストールされた段階における環境データデータベースの内容を示す図である。環境データデータベースには音楽アプリケーション１において利用可能な環境データに関し、環境データＩＤ、環境データ名および環境データファイル名が登録されている。図９に示す環境データデータベースに登録されている環境データは全て、基本パッケージに含まれる環境雛形データに基づき、基本プログラムのインストール時に生成された環境データである。以下、基本パッケージに含まれる環境雛形データから環境データが生成される処理を説明する。
【００５７】
図１０は環境雛形データ「メインメニュー用ツールバー」の内容を示す図である。この図に示すように、環境雛形データは、プログラム間のデータの入出力関係を示す入出力関係表と、画面の構成要素、すなわちユーザインタフェースと、それらのユーザインタフェースに関連付けられる処理を示す構成要素表から構成されている。
【００５８】
入出力関係表には、複数の入出力関係データの集合体である。個々の入出力関係データは、出力と入力のフィールドを有しており、出力フィールドによって指定された、あるプログラムのある出力データが、入力フィールドによって指定された、あるプログラムのある入力データとなることを示す。出力フィールドは、出力データの発生元であるプログラムのプログラムＩＤおよびプログラム名と、出力データのデータタイプおよび入出力ＩＤとからなる。一方、入力フィールドは、出力フィールドによって示された出力データの供給先であるプログラムのプログラムＩＤおよびプログラム名を有する。さらに入力フィールドは、出力フィールドによって指定された出力データがその供給先のプログラムにおいて如何なる入力データとして取り扱われるかを表す情報、具体的にはその入力データのデータタイプおよび入出力ＩＤを有している。例えば、図１０の入出力関係表の第５行の入出力関係データは、基本プログラムから出力される音声がスピーカに音声として入力されることを示している。
【００５９】
一方、構成要素表には、画面に配置される個々のユーザインタフェースを表す複数の構成要素データによって構成されている。そして、１つの構成要素データは、構成要素ＩＤ、部品データＩＤ、部品タイプ、表示位置情報およびリンク先処理ＩＤによって構成されている。構成要素データにおける部品データＩＤ、部品タイプおよび表示位置情報はユーザインタフェースの表示に関するデータであり、これらを総称してユーザインタフェースデータと呼ぶ。一方、リンク先処理ＩＤはユーザインタフェースに関連付けられる処理に関するデータであり、リンクデータと呼ぶ。これらのデータの具体的な役割は、以下の環境データの説明において併せて説明する。
【００６０】
図１１は環境データ「メインメニュー用ツールバー」の内容を示す図である。環境データは既述のように、環境雛形データに含まれるデータから、コンピュータ１において現在、利用可能なものが抽出されて生成されたものである。また、環境雛形データから環境データが生成される際、必要であれば環境雛形データにおける表示位置情報に修正が加えられ、修正後の表示位置情報が環境データに登録される。ここで、環境データは、元となる環境雛形データと同じ名称を持つ。従って、環境雛形データ「メインメニュー用ツールバー」から生成された環境データの名称は「メインメニュー用ツールバー」となる。
【００６１】
続いて、環境雛形データ「メインメニュー用ツールバー」および環境データ「メインメニュー用ツールバー」を例に、環境データの生成処理の具体例を示す。まず、基本パッケージから基本プログラムがインストールされると、ＣＰＵ１０１は、この基本プログラムに従い、基本パッケージから環境雛形データ「メインメニュー用ツールバー」を読み込む。続いて、ＣＰＵ１０１は、環境雛形データの入出力関係表を構成する各入出力関係データについて、各々を環境データに組み込むか否かを判定する。さらに詳述すると、ＣＰＵ１０１は、判定対象である入出力関係データの出力フィールドのプログラムＩＤと入出力ＩＤの組と、入力フィールドのプログラムＩＤと入出力ＩＤの組の両方が、入出力データベースに登録されているか否かを判定する。この判定結果が肯定的である場合に、ＣＰＵ１０１は、その入出力関係データを環境データに組み込む対象とし、そうでない場合には環境データに組み込まない。
【００６２】
例えば、図１０の入出力関係表の第４行に示される入出力関係データは、基本プログラムからＭＩＤＩインタフェースへのデータの流れを示すものであり、出力フィールドに基本プログラムのプログラムＩＤ「Ｐ０００１」とＭＩＤＩの入出力ＩＤ「ＭＯ０１」を有し、かつ、入力フィ−ルドにＭＩＤＩインタフェースのプログラムＩＤ「Ｓ００８５」とＭＩＤＩの入出力ＩＤ「ＭＩ０１」を有している。しかし、この入出力関係データにおいて入力フィールドにあるプログラムＩＤ「Ｓ００８５」および入出力ＩＤ「ＭＩ０１」の組は、入出力データベース（図６）に登録されていない。これは、コンピュータ１がＭＩＤＩ出力用のインタフェースを有しておらず、ＭＩＤＩインタフェースに対して他のプログラムがＭＩＤＩデータの入力を行うことができないためである。従って、ＣＰＵ１０１はこの第４行を入出力関係データを環境データに組み込む対象から除外する。ＣＰＵ１０１は、上記のような処理を入出力関係表における全ての入出力関係データについて実施し、環境データを作成する。
【００６３】
続いて、ＣＰＵ１０１は、環境雛形データに含まれる各構成要素データのリンク先処理ＩＤが、処理データベース（図７）に登録されているか否かを判定する。ＣＰＵ１０１は、この判定結果が肯定的である場合には判定対象である構成要素データを環境データに組み込み、否定的である場合にはその構成要素データを環境データに組み込まない。
【００６４】
例えば、図１０の構成要素表の第２行にはＰ０００１−ＣＢ１０１がリンク先処理ＩＤとして登録されているが、この処理ＩＤは処理データベースに登録されているため、環境データに組み込まれる。ＣＰＵ１０１は同様の処理を構成要素表の全ての構成要素データについて行う。以上のような処理により、環境雛形データから環境データが生成される。
【００６５】
続いて、上記のように生成された環境データの役割を説明する。まず、環境データの入出力関係表は、環境雛形データにおいて既に説明したように、プログラム間のデータの入出力関係を示している。ＣＰＵ１０１は、あるプログラムに従い出力データを生成した場合、入出力関係表を参照し、その生成したデータを入出力関係表により指定されるプログラムに入力データとして引き渡す。
【００６６】
環境データの構成要素表は、複数の構成要素データによって構成されている。各構成要素データは、環境雛形データにおいて既に説明したように、画面に表示される個々の構成要素、すなわちユーザインタフェースに関連するデータであり、構成要素ＩＤ、部品データＩＤ、部品タイプ、表示位置情報およびリンク先処理ＩＤにより構成されている。環境雛形データにおける場合と同様に、これらのうち、ユーザインタフェースの表示に関する部品データＩＤ、部品タイプおよび表示位置情報はユーザインタフェースデータと呼ばれ、ユーザインタフェースに関連づけられる処理に関するリンク先処理ＩＤはリンクデータと呼ばれる。
【００６７】
構成要素ＩＤは、各ユーザインタフェースを一意に識別するためのＩＤである。各ユーザインタフェースの画像を画面に表示するためには、部品データデータベース内のいずれかの部品データを参照する必要がある。構成要素データにおける部品データＩＤと部品タイプは、構成要素ＩＤによって特定されるユーザインタフェースの画像を表示するために部品データデータベース内のどの部品データを参照すべきかを特定するものである。
【００６８】
表示位置情報は、ユーザインタフェースの表示位置と表示サイズを特定する情報であり、４つの数値からなる。表示位置情報における第１および第２の各数値は、構成要素ＩＤによって特定されるユーザインタフェースの表示画像において、最も左上にある代表点の画面内でのＸ座標値およびＹ座標値を各々特定するものである。また、表示位置情報における第３の数値は、ユーザインタフェースの表示画像のＹ軸方向のサイズ、第４の数値はＸ軸方向のサイズを各々特定するものである。
【００６９】
リンク先処理ＩＤは、ユーザインタフェースの表示画像に対してマウスによるクリックなどの操作が行われた場合に実行される処理を示す情報で、処理データベース（図７）に登録されている処理をプログラムＩＤと処理ＩＤの組み合わせにより特定している。なお、すべてのユーザインタフェースがいずれかの処理にリンクされる必要はない。
【００７０】
続いて、構成要素表における各構成要素データの役割および関係を説明する。まず、構成要素表の先頭行の構成要素データは、表示部１０６に表示される画面の背景に対応するデータである。この先頭行の構成要素データは、表示位置情報として、表示部１０６に表示される画面の背景の左上端の位置のＸ、Ｙ座標値を含んでいる。そして、構成要素表の第２行以降の構成要素データは、背景の上に表示されるユーザインタフェースに対応するデータであり、これに含まれるＸ、Ｙ座標値は、背景の左上端を原点としたＸＹ座標系における当該ユーザインタフェースのＸ座標値およびＹ座標値である。
【００７１】
図１１の構成要素表によれば、まず先頭行のデータは、部品データＩＤがＩＭ１０１であるイメージを画面の背景として指定している。部品データ「ＩＭ１０１」は、部品データデータベース（図８）によれば、透明長方形である。続いて、第２行のデータは、コマンドボタンを背景の上に表示し、そのコマンドボタンに処理「Ｐ０００１−ＣＢ１０１」をリンクすることを指定している。処理データベース（図７）によれば、この処理は基本プログラムによる音楽アプリケーション１の終了処理である。同様に、第３行および第４行のデータは、さらに２つのコマンドボタンを背景の上に表示し、それらに音楽アプリケーション１の環境設定の起動処理およびブラウザの起動処理をリンクすることを指定している。
【００７２】
続いて、図１２は環境データ「メインメニュー・クラシック」の内容を示す図である。図１２の入出力関係表は環境データ「メインメニュー用ツールバー」（図１１）の入出力関係表と同じであるが、構成要素表は環境データ「メインメニュー用ツールバー」のものと異なっている。まず、先頭行のデータは、部品データ「ＩＭ０８９」を画面の背景として指定している。部品データ「ＩＭ０８９」は、部品データデータベース（図８）によれば、水色長方形である。続いて、第２行のデータは、部品データ「ＣＷ０３５」を背景の上に表示することを指定している。部品データ「ＣＷ０３５」の部品タイプである子ウィンドウは、各処理がユーザに対し情報を表示するために用いる画面領域である。
【００７３】
続いて、第３行のデータは、部品データ「ＥＶ２０１」を画面を背景の上に表示することを指定している。しかしながら、部品データデータベース（図８）には部品タイプが環境データである部品データは登録されていない。このように、構成要素表において部品タイプが環境データである構成要素を指定するデータがある場合、そのデータはその環境データにより構成される画面を、全体画面の一部として表示することを指定している。
【００７４】
以下の説明において、ある環境データの構成要素表が、他の環境データで構成される画面を構成要素として指定している場合、前者の環境データを親環境データ、後者の環境データを子環境データと呼ぶ。環境データデータベース（図９）によれば、環境データＩＤがＥＶ２０１である環境データは、環境データ「メインメニュー用ツールバー」（図１１）である。この環境データ「メインメニュー用ツールバー」は環境データ「メインメニュー・クラシック」の子環境データである。逆に、環境データ「メインメニュー・クラシック」は環境データ「メインメニュー用ツールバー」の親環境データである。
【００７５】
図１３は、環境データ「メインメニュー・クラシック」の構成要素表に従い、ＣＰＵ１０１が表示部１０６に表示する画面を示している。図１３におけるコマンドボタン群１４１は、図１２の構成要素表の第３行の構成要素データにより参照される、図１１の環境データ「メインメニュー用ツールバー」に対応している。また、図１３における子ウィンドウ１４２は、図１２の構成要素表の第２行の構成要素データに対応している。
【００７６】
なお、基本パッケージには環境データ「メインメニュー・クラシック」および「メインメニュー用ツールバー」以外の環境データも含まれている。例えば、環境データデータベース（図９）には環境データ「メインメニュー・カジュアル」が登録されているが、これは環境データ「メインメニュー・クラシック」とは異なる部品データ等を指定することにより、図１３に示した画面とは異なる外観の画面を構成する環境データである。
【００７７】
続いて、基本プログラムが有する音楽アプリケーション１の環境設定の機能概要を説明する。図１４は音楽アプリケーション１の環境設定の画面である。図１４によれば、環境設定の項目は「環境データ」、「パッケージ」および「その他」に分類されている。
【００７８】
環境設定「環境データ」の画面においては、ユーザは音楽アプリケーション１の起動時に選択される環境データを、環境データデータベース（図９）に登録されているものから指定できる。図１４に示した例によれば、環境データ「メインメニュー・クラシック」が起動時に選択される環境データとして指定されている。また、この画面において、ユーザは環境データの追加、削除および編集をすることができる。
【００７９】
環境設定「パッケージ」の画面（図示略）においては、ユーザは拡張パッケージの追加や削除、基本パッケージおよび拡張パッケージのバージョンアップ等を行うことができる。その際、プログラムデータベース（図５）が更新および参照される。また、環境設定「その他」の画面（図示略）においては、ユーザはデータフォーマットに関する設定、ＭＩＤＩに関する設定、ユーザアカウントの設定、セキュリティに関する設定等を行うことができる。
【００８０】
続いて、図１５を用いて、音楽アプリケーション１が起動される際のＣＰＵ１０１の動作を説明する。まずユーザがコンピュータ１に対し音楽アプリケーション１の起動の指示を与えると（ステップＳ１０１）、ＣＰＵ１０１は基本プログラムをＨＤ１０５からＲＡＭ１０４に読み出し、基本プログラムに従い、起動時の環境データとして指定されている環境データの環境データＩＤを取得する（ステップＳ１０２）。上記の図５から図１４までの各図に示した具体例（以下、単に「具体例」と呼ぶ）によれば、ステップＳ１０２においてＣＰＵ１０１が取得する環境データＩＤは環境データ「メインメニュー・クラシック」のＩＤであるＥＶ３０１である。
【００８１】
続いて、ＣＰＵ１０１は環境データデータベース（図９）を参照し、取得した環境データＩＤから環境データファイル名を取得する（ステップＳ１０３）。具体例によれば、ステップＳ１０３においてＣＰＵ１０１が取得する環境データファイル名はｃ：￥ｍｕｓｉｃｓｙｓｔｅｍ￥ｅｎｖｉｒｏｎｍｅｎｔ￥３０１．ｅｎｖである。
【００８２】
続いて、ＣＰＵ１０１は取得した環境データファイル名で指定される環境データを読み出し、読み出した環境データの構成要素表の先頭の構成要素データに含まれる部品タイプが環境データか否かを判定する（ステップＳ１０４）。
【００８３】
ステップＳ１０４の判定の結果、先頭行の部品タイプが環境データでない場合、ＣＰＵ１０１はその行の部品データＩＤを取得する（ステップＳ１０５）。具体例によれば、ステップＳ１０５においてＣＰＵ１０１は環境データ「メインメニュー・クラシック」（図１２）の先頭行の部品データＩＤとしてＩＭ０８９を取得する。
【００８４】
続いて、ＣＰＵ１０１は部品データデータベース（図８）を参照し、部品データＩＤから部品データファイル名を取得する（ステップＳ１０６）。具体例によれば、ステップＳ１０６においてＣＰＵ１０１が取得する部品データファイル名はｃ：￥ｍｕｓｉｃｓｙｓｔｅｍ￥ｐａｒｔ￥０８９．ｉｍｇである。
【００８５】
続いて、ＣＰＵ１０１は部品データファイル名で指定される部品データを読み込み、読み込んだ部品データの画像データを環境データの表示位置情報で指定される位置に指定されるサイズで表示する（ステップＳ１０７）。なお、最初に表示される背景の構成要素に関しては、表示位置情報により指定される位置をＸＹ座標系の原点とする代わりに、例えば音楽アプリケーション１の前回終了時の画面位置に基づく可変位置を基準位置としてもよい。具体例によれば、ステップＳ１０７においてＣＰＵ１０１は背景として水色長方形を表示部１０６の適当な位置に表示させる。
【００８６】
続いて、ＣＰＵ１０１は構成要素表に処理すべき次の構成要素データがあるか否かを判定し（ステップＳ１０８）、次の構成要素データがある場合にはそのデータに関して、ステップＳ１０４からステップＳ１０８の処理を繰り返す。具体例においては、環境データ「メインメニュー・クラシック」の構成要素表には３行の構成要素データがあるため、先頭行の構成要素データに関する処理に続き、第２行の構成要素データに関してステップＳ１０４からステップＳ１０８の処理が行われ、再度ステップＳ１０４に処理が戻される。このような過程を経ることにより、ＣＰＵ１０１は子ウィンドウを表示部１０６に表示させる。なお、ステップＳ１０４からステップＳ１０７までの一連の処理を、以下、「構成要素表示処理」と呼ぶ。
【００８７】
ステップＳ１０４において、判定対象となった構成要素データが部品タイプとして環境データを指定している場合、その構成要素データにおける部品データＩＤは、現在読み込んでいる環境データを親環境データとする子環境データを指定している。その場合、ＣＰＵ１０１はその部品データＩＤを、子環境データの環境データＩＤとして取得する（ステップＳ１０９）。具体例によれば、環境データ「メインメニュー・クラシック」の構成要素表の第３行における部品タイプが環境データであるため、ＣＰＵ１０１はそのデータ行の部品データＩＤの値、すなわちＥＶ２０１を子環境データの環境データＩＤとして取得する。
【００８８】
続いて、ＣＰＵ１０１は環境データデータベース（図９）を参照し、子環境データの環境データＩＤから、子環境データの環境データファイル名を取得する（ステップＳ１１０）。具体例によれば、ステップＳ１１０においてＣＰＵ１０１が取得する環境データファイル名はｃ：￥ｍｕｓｉｃｓｙｓｔｅｍ￥ｅｎｖｉｒｏｎｍｅｎｔ￥２０１．ｅｎｖである。
【００８９】
続いて、ＣＰＵ１０１は取得した環境データファイル名を用いて、構成要素表示処理、すなわちステップＳ１０４からステップＳ１０７までの一連の処理を行う（ステップＳ１１１）。その結果、子環境データの構成要素表の先頭行のデータが示す背景のイメージが画面に表示される。続いて、ＣＰＵ１０１は子環境データの構成要素表に処理すべき次の構成要素データがあるか否かを判定し（ステップＳ１１２）、次の構成要素データがある場合にはそのデータに関して、構成要素表示処理を繰り返す（ステップＳ１１１）。具体例によれば、ステップＳ１１１が環境データ「メインメニュー用ツールバー」（図１１）の構成要素表の第１行から第４行の構成要素データに関して繰り返され、このような過程を経て、ＣＰＵ１０１は表示部１０６に３つのコマンドボタンを表示する。
【００９０】
ステップＳ１１２における判定において、子環境データの構成要素表に処理すべき次の構成要素データがない場合、ＣＰＵ１０１はさらに親環境データの構成要素表に関し、処理すべき次の構成要素データがあるか否かを判定する（ステップＳ１１３）。親環境データの構成要素表に次の構成要素データがある場合には、ＣＰＵ１０１は処理をステップＳ１０４に戻し、ステップＳ１０８の判定において処理すべき次の構成要素データがないと判定されるまで、ステップＳ１０４からステップＳ１０８の処理を繰り返す。そして、ＣＰＵ１０１は親環境データの構成要素表の最終行の構成要素データを処理した後、上記の一連の処理を終了する。
【００９１】
また、ステップＳ１１３の判定において親環境データの構成要素表に処理すべき次の構成要素データがない場合、ＣＰＵ１０１は上記の一連の処理を終了する。具体例によれば、子環境データ「メインメニュー用ツールバー」の構成要素表の最終行の構成要素データに関する構成要素表示処理が終了した後、親環境データ「メインメニュー・クラシック」の構成要素表には処理すべき構成要素データが残っていないので、ＣＰＵ１０１は一連の処理を終了する。
【００９２】
上記の一連の処理の結果、音楽アプリケーション１の表示画面として、図１３に例示した画面が表示部１０６に表示される。なお、子環境データの構成要素表がさらに別の環境データを指定している場合、ステップＳ１０９からステップＳ１１３の処理が再帰的に実行される。その結果、複数の環境データにより構成される画面が階層的に組み合わされ、より複雑な画面が構成される。
【００９３】
次に、音楽アプリケーション１の表示画面において、ユーザがいずれかの画面の構成要素、すなわちユーザインタフェースに対し操作を行う場合の、音楽アプリケーション１の動作について説明する。音楽アプリケーション１の画面が表示されている間、基本プログラムに従い、ＣＰＵ１０１はきわめて短い時間間隔で定期的に、ユーザによる操作部１０７を用いた操作の検出処理を行っている。ユーザが音楽アプリケーション１の画面において、特定のユーザインタフェースをマウスでクリックしたり、キーボードから文字等を入力したりした場合、ＣＰＵ１０１は現在表示されている画面の構成に用いられた環境データの構成要素表を参照し、操作が行われた際のカーソルの位置情報から操作の対象となったユーザインタフェースを特定する。
【００９４】
続いて、ＣＰＵ１０１は、構成要素表において、特定されたユーザインタフェースにリンクされる処理が示されている場合、そのリンクされる処理を実行する。その際、ユーザにより行われた操作の内容、すなわちクリックやダブルクリック等の操作の種類や、入力されたデータ等をパラメータとして処理に利用する。
【００９５】
例えば、図１４の画面においてコマンドボタン「ブラウザ」がクリックされた場合、ＣＰＵ１０１は親環境データ「メインメニュー・クラシック」（図１２）の構成要素表を参照し、続いて子環境データ「メインメニュー用ツールバー」（図１１）の構成要素表を参照し、クリックされた位置が、ユーザインタフェース「ＣＢ００３」の表示位置であることを特定する。
【００９６】
続いてＣＰＵ１０１は、ユーザインタフェース「ＣＢ００３」の部品タイプがコマンドボタンであることから、コマンドボタンがクリックされた場合の処理、すなわちコマンドボタンの押下状態への表示変更およびクリック音の発音を行う。同時に、ＣＰＵ１０１は構成要素表においてユーザインタフェース「ＣＢ００３」のリンク先処理ＩＤ「Ｐ０００１−ＣＢ１０３」を用いて、処理データベース（図７）を参照して、基本プログラムのブラウザの起動処理を実行する。その結果、表示部１０６には図１３に示した画面が表示される。
【００９７】
上記のように、基本パッケージのみで構成される音楽アプリケーション１はブラウザ機能等の基本機能しか持たない。従って、これのみでは満足することができないユーザは、インターネットを介し、音楽アプリケーション１のプロバイダのＨＰから図２に示した拡張パッケージのうち、利用を希望するものをコンピュータ１にダウンロードすることができる。拡張パッケージには拡張プログラム、複数の環境雛形データ、複数の部品データおよび拡張プログラムが利用する音声データ、静止画データおよび動画データ、ＭＩＤＩデータ、楽譜データ、音源データおよび伴奏パターンデータ等が含まれている。
【００９８】
図２に示したように、拡張パッケージは内容に応じて「一般」、「楽器」、「楽曲」等に分類されている。「一般」に分類される拡張パッケージは、いずれの楽器の演奏者にとっても共通に利用可能な機能をコンピュータ１に実現させる拡張プログラムを含んでいる。例えば「一般」の「エフェクタ」に分類される拡張パッケージ「リバーブ」に含まれる拡張プログラムに従って、コンピュータ１は入力される音声情報に対し、残響音を付加する機能を実現する。
【００９９】
より具体的に説明すると、本実施形態では、ＣＰＵ１０１の制御のもとで、Ａ／Ｄコンバータ１１１はアナログ音声入力部１１０から入力されるアナログ音声信号をデジタル音声データに変換して、ＲＡＭ１０４に記録する。そして、ＣＰＵ１０１は拡張プログラム「リバーブ」の実行が指示されると、この拡張プログラム「リバーブ」に従い、ＤＳＰ１０２に対してリバーブ処理を指示する。ＤＳＰ１０２はＣＰＵ１０１の指示に従い、ＲＡＭ１０４から音声データを読み出し、先行する音声データを加工して残響音に対応する音声データを生成し、後続の音声データに順次加算することにより再生用の音声データを生成する。ＤＳＰ１０２により生成された再生用の音声データはＤ／Ａコンバータ１１２、アンプ１１３およびスピーカ１１４を介して楽音として発音される。なお、このリバーブ処理はＤＳＰ１０２によらず、ＣＰＵ１０１が行っても良い。
【０１００】
「楽器」に分類される拡張パッケージは、コンピュータ１に音源モジュールやギターアンプ等の音響機器の機能を実現させることにより、コンピュータ１を楽器もしくは楽器の一部として機能させる拡張プログラムを含んでいる。例えば拡張プログラム「電子ピアノ」に従って、コンピュータ１は電子ピアノ音源の機能を実現する。
【０１０１】
より具体的に説明すると、まず拡張パッケージにはアコースティックピアノの各音高の音をサンプリングして得られる音声データが波形データとして含まれている。ＣＰＵ１０１は、拡張プログラム「電子ピアノ」の実行を指示されると、この拡張プログラム「電子ピアノ」に従い、ＭＩＤＩキーボード１２１等からＭＩＤＩデータを受信し、このＭＩＤＩデータにより指定される音高に対応する波形データを再生処理するよう、ＤＳＰ１０２に指示する。ＤＳＰ１０２はＣＰＵ１０１の指示に従い、ＲＡＭ１０４から指定された波形データを読み出し、その波形データに対し音高調整等の処理を行い、再生用の音声データを生成する。ＤＳＰ１０２により生成された再生用の音声データはＤ／Ａコンバータ１１２、アンプ１１３およびスピーカ１１４を介して楽音として発音される。なお、このＤＳＰ１０２により行われる処理は、ＣＰＵ１０１により行われても良い。
【０１０２】
なお、コンピュータ１に音源モジュールの機能を実現させる拡張プログラムには、コンピュータ１に電子的な楽音を生成させる際、上記のように実際の楽器音から得られる音声データを用いる方式以外に、減算方式、加算方式、ＦＭ（ＦｒｅｑｕｅｎｃｙＭｏｄｕｌａｔｉｏｎ）方式、物理モデリング方式、およびそれらの組み合わせ等の様々な方式を用いるものがある。
【０１０３】
「楽曲」に分類される拡張パッケージには、ユーザに対し楽曲演奏の支援を行う拡張プログラムが含まれている。例えば、「楽曲」の「クラシックピアノ」に分類される拡張パッケージ「エリーゼのために」に含まれる拡張プログラムに従って、コンピュータ１は楽曲「エリーゼのために」の楽譜の表示、伴奏の再生、ユーザの演奏の評価等を行う。
【０１０４】
続いて、ユーザが「一般」に分類される拡張パッケージ「シーケンサ」、「楽器」に分類される拡張パッケージ「電子ピアノ」および「エレクトリックギター」に含まれる拡張プログラムをインストールする場合を例に、拡張プログラムがコンピュータ１にインストールされる際のコンピュータ１の動作を説明する。
【０１０５】
ユーザは、拡張パッケージ「シーケンサ」、「電子ピアノ」および「エレクトリックギター」をプロバイダのＨＰからコンピュータ１にダウンロードした後、これらの拡張パッケージに含まれる拡張プログラムをコンピュータ１にインストールする。
【０１０６】
拡張プログラムのインストールの際、プログラムデータベース（図５）に、インストールされた拡張プログラムに関する情報が登録される。また、入出力データベース（図６）に、インストールされた拡張プログラムが扱うことが可能なデータの入力および出力に関する情報が登録される。また、処理データベース（図７）に、インストールされた拡張プログラムが行うことが可能な処理に関する情報が登録される。また、部品データデータベース（図８）に、インストールされた拡張プログラムと共に拡張パッケージからコンピュータ１にインストールされた部品データに関する情報が登録される。図１６、図１７、図１８および図１９は、それぞれ、３つの拡張プログラムがインストールされた結果、更新されたプログラムデータベース、入出力データベース、処理データベースおよび部品データデータベースを示している。
【０１０７】
続いて、拡張パッケージに含まれる環境雛形データから新たな環境データが生成される。拡張パッケージに含まれる環境雛形データの構成および役割、環境雛形データから環境データが生成される際の処理は基本パッケージに含まれる環境雛形データと同様である。以下、具体例を用いて、環境データの生成処理を補足的に説明する。
【０１０８】
図２０は、拡張パッケージ「電子ピアノ」に含まれる環境雛形データ「ピアノ・クラシック」の内容を示した図である。この環境雛形データがコンピュータ１にダウンロードされた時点では、コンピュータ１のハードウェアの構成および既にインストールされている拡張プログラムの構成が不明である。従って、環境雛形データの入出力関係表には、拡張プログラム「電子ピアノ」の実行時に利用される可能性のあるあらゆるデータの入出力関係に関し、それらを指定する入出力関係データがリストアップされている。
【０１０９】
同様に、環境雛形データの構成要素表には、拡張プログラム「電子ピアノ」と共に利用される可能性のあるあらゆる他のプログラムの処理に関し、それらにリンクされたユーザインタフェースを指定する構成要素データがリストアップされている。
【０１１０】
上記の環境雛形データの各入出力関係データおよび各構成要素データのうち、コンピュータ１において利用できるもののみが抽出されて、環境データが生成される。また、その抽出処理に伴い、必要であれば環境雛形データにおける表示位置情報に修正が加えられ、修正後の表示位置情報が環境データの表示位置情報として用いられる。
【０１１１】
図２１は環境雛形データ「ピアノ・クラシック」（図２０）から生成される環境データ「ピアノ・クラシック」の内容を示す図である。例えば、環境雛形データ「ピアノ・クラシック」に含まれる各データのうち、コンピュータ１にインストールされていない拡張プログラム「リバーブ」等に関連する入出力関係データは、環境データ「ピアノ・クラシック」に含まれていない。また、例えばユーザインタフェース「ＳＫ００１」等の表示位置情報は、環境データ「ピアノ・クラシック」において環境雛形データ「ピアノ・クラシック」におけるものから変更されている。
【０１１２】
上記のように新たに環境データが生成されると、新たな環境データに応じて、環境データデータベース（図９）が更新される。図２２は更新後の環境データデータベースの内容を示す図である。さらに、新たな拡張プログラムがインストールされると、基本プログラムにより、既存の環境データの全てが更新される。なぜなら、既存の拡張プログラムと新たな拡張プログラムとの間で新たに利用可能なデータの入出力関係や処理が生じ、それらの入出力関係や処理に対応するデータを、改めて環境雛形データから抽出して環境データに含める必要があるためである。
【０１１３】
図２３は、基本プログラムがインストールされた後、３つの拡張プログラム「シーケンサ」、「電子ピアノ」および「エレクトリックギター」がインストールされた場合に、これらの拡張プログラムのインストールに伴って更新された環境データ「メインメニュー・クラシック」の内容を示す図である。図２３に示す環境データは、更新前の環境データ「メインメニュー・クラシック」（図１２）と比較し、更新後の環境データ「メインメニュー・クラシック」の構成要素表には、構成要素ＩＤが各々「ＣＢ００１」、「ＣＢ００２」および「ＣＢ００３」である３行の構成要素データが追加されている。これらは、新たにインストールされた３つの拡張プログラム「シーケンサ」、「電子ピアノ」および「エレクトリックギター」に対応している。
【０１１４】
図２３において、例えば、ユーザインタフェース「ＣＢ００２」にはリンク先処理ＩＤに「Ｐ０００１−ＥＶ４５１」が指定されている。「Ｐ０００１−ＥＶ４５１」は環境データ「ＥＶ４５１」を示しており、環境データデータベース（図２２）によれば、環境データＩＤがＥＶ４５１である環境データは環境データ「ピアノ・クラシック」である。すなわち、更新後の環境データ「メインメニュー・クラシック」におけるユーザインタフェース「ＣＢ００２」の構成要素データは、環境データ「メインメニュー・クラシック」により構成される画面から、環境データ「ピアノ・クラシック」により構成される画面を表示させるためのコマンドボタンを示している。
【０１１５】
続いて、拡張プログラムがインストールされた後の音楽アプリケーション１に従ったＣＰＵ１０１の動作を説明する。ユーザにより音楽アプリケーション１の起動が指示されると、ＣＰＵ１０１は、基本プログラムに従い、環境データ「メインメニュー・クラシック」（図２３）を読み込み、その環境データに従い図２４に示す画面を表示部１０６に表示させる。図２４に示す画面には図１３に示した画面に対し、新たにインストールされた拡張プログラムに対応するコマンドボタン群１４３が追加されている。
【０１１６】
ユーザが図２４の画面において、コマンドボタン「シーケンサ」をクリックすると、ＣＰＵ１０１は基本プログラムに従い、環境データ「メインメニュー・クラシック」を参照し、クリックされたコマンドボタンのリンク先処理ＩＤ「Ｐ０００１−ＥＶ４０１」を取得する。ＣＰＵ１０１はこのＩＤの後半の値がＥＶで始まっていることから、このＩＤが環境データを示していることを認識し、環境データデータベース（図２２）を参照して、環境データＩＤがＥＶ４０１である環境データの環境データファイル名として、ｃ：￥ｍｕｓｉｃｓｙｓｔｅｍ￥ｅｎｖｉｒｏｎｍｅｎｔ￥４０１．ｅｎｖを取得する。
【０１１７】
ＣＰＵ１０１は取得した環境データファイル名で示される環境データ「シーケンサ・オリジナル」を読み込み、図１５のフロー図を用いて説明した、ステップＳ１０４以降の処理を行う。その結果、表示部１０６には図２５に示す画面が表示される。
【０１１８】
図２５の画面において、ユーザはＭＩＤＩデータおよび音声データの再生、記録、編集等を行うことができる。すなわち、ユーザは図２５の画面から拡張プログラム「シーケンサ」の各種機能を利用することにより、コンピュータ１をミュージックシーケンサとして利用することができる。なお、拡張プログラム「シーケンサ」が実現できるミュージックシーケンサの機能は一般的なミュージックシーケンサと同様であるので、詳細な説明は省略する。
【０１１９】
同様に、ユーザが図２４の画面において、コマンドボタン「電子ピアノ」をクリックすると、表示部１０６には図２６に示す画面が表示される。その際、利用される環境データは環境データ「ピアノ・クラシック」である。図２６の画面において、ユーザは例えばＭＩＤＩキーボード１２１を用いて演奏を行い、その演奏により生成されるＭＩＤＩデータに従って電子的に生成されるピアノ音をコンピュータ１のスピーカ１１４から発音させることができる。
【０１２０】
すなわち、ユーザは図２６の画面から拡張プログラム「電子ピアノ」の各種機能を利用することにより、コンピュータ１を電子ピアノ音源として利用することができる。なお、拡張プログラム「電子ピアノ」が実現できる電子ピアノ音源の機能は一般的な電子ピアノ音源の機能と同様であるので、詳細な説明は省略する。
【０１２１】
同様に、ユーザが図２４の画面において、コマンドボタン「エレクトリックギター」をクリックすると、表示部１０６には図２７に示す画面が表示される。その際、利用される環境データは環境データ「ギター・ソリッド」である。図２７の画面において、ユーザはコンピュータ１をアンプシミュレータとして利用することができる。
【０１２２】
例えば図２７の画面が表示されている状態において、ユーザはエレクトリックギター１２２を用いて演奏を行う。エレクトリックギター１２２から出力されるアナログ音声信号は、Ａ／Ｄコンバータ１１１においてデジタル音声データに変換される。そのデジタル音声データはＤＳＰ１０２において音響的な歪み処理や周波数成分の増幅等の処理を施され、再生用音声データとして生成される。ＤＳＰ１０２により生成された再生用音声データは、Ｄ／Ａコンバータ１１２、アンプ１１３およびスピーカ１１４を介して発音される。その結果、ユーザはエレクトリックギター１２２の生成する楽音をギターアンプにより発音した場合と類似の楽音を聴くことができる。なお、拡張プログラム「エレクトリックギター」が実現できるギターアンプの機能は、一般的なアンプシミュレータの機能と同様であるので、詳細な説明は省略する。なお、このＤＳＰ１０２が行う処理は、ＣＰＵ１０１により行われても良い。
【０１２３】
上記のように、図２５、図２６および図２７に示した画面は、それぞれ拡張プログラム「シーケンサ」、「電子ピアノ」および「エレクトリックギター」に対応しており、ユーザはこれらの画面を切り替えることにより、異なる複数のアプリケーションを利用する場合と同様に、コンピュータ１を異なる特定電子機器のように用いることができる。以下、音楽アプリケーション１の特徴をさらに詳しく述べる。
【０１２４】
まず、音楽アプリケーション１の各画面において、ユーザは異なる複数の拡張プログラムの機能を利用できる。例えば、図２６のユーザインタフェース群１５１は、ユーザが電子ピアノ音源の生成する音の明るさや、鍵盤の重さの感覚を調整するためのスライダ群であり、拡張プログラム「電子ピアノ」の処理にリンクされている。一方、図２６のユーザインタフェース群１５２は、ユーザが演奏の記録および伴奏等の再生に用いるコマンドボタン等であり、拡張プログラム「シーケンサ」の処理にリンクされている。
【０１２５】
上記のように、音楽アプリケーション１の各画面において、ユーザは異なる複数の拡張プログラムの機能を利用できるが、ユーザは個々の拡張プログラムを意識する必要はない。例えば、図２６のユーザインタフェース群１５２と図２７のユーザインタフェース群１５３とにリンクされている処理は、同じ拡張プログラム「シーケンサ」の処理である。しかしながら、ユーザインタフェース群１５２とユーザインタフェース群１５３は外観が異なり、各画面の使用目的に適するようアレンジされているため、ユーザはこれらの複数の拡張プログラムの機能を、１つのプログラムの機能を利用する感覚で利用できる。
【０１２６】
音楽アプリケーション１はユーザが必要な拡張プログラムをインストールすることにより、その機能を拡大することができるが、ユーザは新たにインストールした拡張プログラムの機能を各画面で利用するために、面倒な設定操作等を行う必要はない。
【０１２７】
図２８および図２９は、ユーザがさらにコンピュータ１に拡張パッケージ「エリーゼのために」、「コーラス」、「リバーブ」、「ディレイ」および「ディストーション」をインストールした際に、環境データ「ピアノ・クラシック」および「ギター・ソリッド」によって表示される画面を示している。
【０１２８】
図２６の画面に対し、図２８の画面にはユーザインタフェース群１５５、ユーザインタフェース群１５６およびユーザインタフェース群１５７が追加されている。同様に、図２７の画面に対し、図２９の画面にはユーザインタフェース群１５８が追加されている。また、図２８および図２９の画面においては、ユーザインタフェースの配置位置およびサイズが調整され、自然な画面構成となっている。これらのユーザインタフェースの追加は、新たな拡張プログラムのインストール時に、環境データが環境雛形データから生成されることにより自動的に実現される。
【０１２９】
ところで、図２８には新たにインストールされた拡張プログラム「ディレイ」および「ディストーション」の処理にリンクされたユーザインタフェースが配置されていない。これは環境データ「ピアノ・クラシック」の生成に用いられた環境雛形データ「ピアノ・クラシック」が、主にクラシックのピアノ楽曲を演奏するユーザにより利用されることを想定してデザインされており、ピアノ楽曲の演奏には通常用いられない拡張プログラム「ディレイ」および「ディストーション」に関するデータ行を有していないためである。同様に、エレキギター楽曲を演奏するユーザにより利用されることが想定されている図２９の画面には、新たにインストールされた拡張プログラム「エリーゼのために」および「リバーブ」の処理にリンクされたユーザインタフェースが配置されず、代わりに拡張プログラム「ディレイ」および「ディストーション」の処理にリンクされたユーザインタフェースが配置されている。
【０１３０】
上記のように、新たな拡張プログラムがインストールされた場合であっても、既存の拡張プログラムの処理と新たな拡張プログラムの処理との関連性に応じて、必要と思われる処理にリンクされたユーザインタフェースのみが各画面に追加される。その結果、拡張プログラムの追加により不要なコマンドボタン等が画面に追加されることがなく、ユーザの使い勝手が損なわれない。これらのユーザインタフェースの選択も、拡張プログラムのインストール時に、環境データが環境雛形データから生成されることにより自動的に実現される。
【０１３１】
既に述べたように、１つの画面には、複数の拡張プログラムの処理をリンクすることができる。それはすなわち、１つの拡張プログラムの処理を複数の画面にリンクすることができることを意味する。例えば、図３０は拡張パッケージ「エレクトリックギター」に含まれる環境雛形データ「ギター・エレアコ」から生成された環境データ「ギター・エレアコ」に従い表示される画面である。
【０１３２】
図３０の画面の基本的な構成や利用可能な処理は図２９の画面のものと同じであるが、図３０の画面はエレクトリックアコースティックギターの演奏者に適するようにアレンジされており、利用可能なエフェクタの種類等が異なっている。従って、ユーザはたとえ同じ拡張プログラムを主として利用する際であっても、使用目的に応じてより使い勝手のよいアプリケーションの環境を選ぶことができる。
【０１３３】
なお、上記の説明において詳細な説明は省略したが、ユーザは音楽アプリケーション１の環境設定「環境データ」の画面において、既存の環境データを自由に編集することができる。また、ユーザは全く新しい環境データを作成することもできる。その場合、ユーザは部品データデータベースに登録されている部品データおよび処理データベースに登録されている処理を選択し、画面に配置してゆくだけで自分の希望する画面構成の構築および各画面において利用できる処理が選択を行うことができる。
【０１３４】
［２：第２実施形態］
以下、本発明の第２の好適な実施形態として、コンピュータに電子ピアノ音源およびギターアンプの機能を実現させ、それらのプログラムをコンピュータに接続される外部機器に応じて自動的に切り替えることを可能とするアプリケーションの構成および動作を説明する。
【０１３５】
［２．１：コンピュータおよび外部機器の構成および動作］
まず、第２実施形態に係るアプリケーション（以下、「音楽アプリケーション２」と呼ぶ）の実行環境であるコンピュータ２、およびコンピュータ２に接続される外部機器の構成および動作を、図３１を用いて説明する。
【０１３６】
コンピュータ２は第１実施形態のコンピュータ１と多くの共通する構成部を有するため、図３１においてはその共通する構成部に関しては図１における符号と同じ符号を付している。以下、コンピュータ２がコンピュータ１と異なる点のみを説明する。なお、図３１には、以下の説明において利用されないＭＩＤＩ入出力部１０９、アナログ音声入力部１１０およびＡ／Ｄコンバータ１１１は示されていない。
【０１３７】
コンピュータ２は、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェース２０１を有している。ＵＳＢインタフェース２０１はコンピュータ２と外部機器との間で、ＵＳＢ規格に従って構成されたデータの送受信を中継する。
【０１３８】
ＵＳＢ規格は汎用的なデータ伝送のための規格であり、ＵＳＢ規格に従い、コンピュータ等の情報機器は音声データや画像データを含むあらゆるタイプのデータを送受信することができる。ＵＳＢ規格に従って構成された情報機器（以下、「ＵＳＢ機器」と呼ぶ）どうしでデータの送受信が行われる場合、それらのＵＳＢ機器の片方がマスタの役割を、他方がスレーブの役割を受け持つ。マスタ側のＵＳＢ機器が主としてデータ伝送の管理を行うため、マスタ側のＵＳＢ機器としてはデータ処理能力の高いコンピュータ等が用いられる。
【０１３９】
スレーブ側のＵＳＢ機器がマスタ側のＵＳＢ機器に接続されると、スレーブ側のＵＳＢ機器はマスタ側のＵＳＢ機器に、スレーブ側のＵＳＢ機器の識別子であるデバイスＩＤを送信する。マスタ側のＵＳＢ機器はスレーブ側のＵＳＢ機器から送信されるデバイスＩＤに応じて、スレーブ側のＵＳＢ機器とのデータ伝送に必要なドライバプログラムの読み込み等を行う。ＵＳＢインタフェース２０１は上記のマスタ側のＵＳＢ機器の処理を行うインタフェースであり、ＵＳＢホストコントローラ等から構成される。なお、デバイスＩＤは、ＵＳＢ機器の種類を示すクラスＩＤ、同じ型のＵＳＢ機器の新旧を示すリビジョンＩＤ、ＵＳＢ機器の製造者を示すベンダＩＤなどからなり、マスタ側のＵＳＢ機器は、スレーブ側のＵＳＢ機器に関するそれらのＩＤの１または複数の組み合わせにより、必要なドライバプログラムの組み込みを行っても良い。
【０１４０】
第１実施形態におけるＭＩＤＩキーボード１２１およびエレクトリックギター１２２の代わりに、第２実施形態においてはＵＳＢキーボード２０２およびＵＳＢギター２０３がコンピュータ２に接続される。なお、これらの構成要素はＵＳＢインタフェース２０１に接続される。
【０１４１】
ＵＳＢキーボード２０２は第１実施形態のＭＩＤＩキーボード１２１とほぼ同様の構成および機能を有するが、ＭＩＤＩキーボード１２１と異なり、スレーブ側のＵＳＢ機器の通信処理を行うＵＳＢインタフェース２０２１を有している。ＵＳＢインタフェース２０２１はＵＳＢスレーブコントローラ等から構成される。ＵＳＢキーボード２０２はユーザの鍵盤等の操作に応じてＭＩＤＩデータを生成し、生成したＭＩＤＩデータをＵＳＢ規格に従ったデータフォーマットに変換した後、ＵＳＢインタフェース２０２１を介し送信する。
【０１４２】
ＵＳＢギター２０３は本体に張られたスチールの弦、弦の振動をピックアップしアナログ音声信号に変換するセンサ２０３１、センサ２０３１から出力されるアナログ音声信号をデジタル音声データに変換するＡ／Ｄコンバータ２０３２およびスレーブ側のＵＳＢ機器の通信処理を行うＵＳＢインタフェース２０３３を有している。ＵＳＢインタフェース２０３３はＵＳＢスレーブコントローラ等から構成される。ＵＳＢギター２０３はＡ／Ｄコンバータ２０３２によりデジタル音声データに変換された弦の振動による音声情報を、ＵＳＢ規格に従ったデータフォーマットにさらに変換した後、ＵＳＢインタフェース２０３３を介して送信する。
【０１４３】
［２．２：音楽アプリケーションの構成および動作］
音楽アプリケーション２の構成および動作は多くの点で音楽アプリケーション１と共通している。従って、以下、音楽アプリケーション２が音楽アプリケーション１と異なる点のみを説明する。なお、以下の説明においては、コンピュータ２には、第１実施形態において説明に用いた全ての拡張プログラムがインストールされているものとする。
【０１４４】
第２実施形態の音楽アプリケーション２においては、第１実施形態の音楽アプリケーション１において利用される環境データデータベースの代わりに、図３２に示す環境データデータベースが利用される。図３２の環境データデータベースには、第１実施形態における環境データデータベースに加え、種別のフィールドがある。種別のフィールドには、各環境データが表示される際にコンピュータ２に接続されるＵＳＢ機器の種別を示す情報が登録されている。
【０１４５】
また、音楽アプリケーション２においては、第１実施形態におけるデータベース等に加え、図３３に示すデバイス環境関係データが利用される。デバイス環境関係データには、音楽アプリケーション２を利用するユーザのユーザＩＤ、コンピュータ２に接続されるＵＳＢ機器のデバイスＩＤおよび環境データＩＤが登録される。ただし、図３３に示されるデバイスＩＤは、説明のため簡略化されており、実際にはＵＳＢ規格に従ったデバイスＩＤが用いられる。
【０１４６】
なお、基本プログラムがコンピュータ２にインストールされた段階ではデバイス環境関係データには何も登録されておらず、後述するＵＳＢ機器の登録処理により順次、データが登録される。また、コンピュータ２がユーザＩＤを取得する方法については、後述するＵＳＢ機器の登録処理の説明において併せて説明する。
【０１４７】
また、第２実施形態における基本パッケージは、第１実施形態における基本パッケージに加え、図３４に示すデバイスデータベースを含んでおり、基本プログラムのインストール時に、このデバイスデータベースがＨＤ１０５に格納される。デバイスデータベースにはデバイスＩＤおよび種別のフィールドがある。デバイスデータベースにはコンピュータに接続され、音楽アプリケーション２の実行の際に利用可能なあらゆるＵＳＢ機器のデバイスＩＤが、そのＵＳＢ機器の種別を示す情報と共にリストアップされている。
【０１４８】
続いて、音楽アプリケーション２の動作を説明する。ユーザが音楽アプリケーション２を利用する際、ユーザは以下に説明するＵＳＢ機器の登録処理を行う必要がある。まず、ユーザが音楽アプリケーション２の起動の操作を行うと、基本プログラムに従い、ＣＰＵ１０１は表示部１０６にユーザＩＤの入力を求める画面を表示させる。その画面に対し、ユーザは自分のユーザＩＤを入力する。例として、ユーザがＪＯＥ００５というユーザＩＤを入力したとする。その後、ＣＰＵ１０１は起動時の環境データとして指定されている環境データに従い、図２４に示した画面を表示部１０６に表示させる。
【０１４９】
続いて、ユーザはＵＳＢキーボード２０２をＵＳＢインタフェース２０１に接続する。ＵＳＢキーボード２０２は、コンピュータ２に接続されるとその接続を検出し、ＵＳＢキーボード２０２のデバイスＩＤをコンピュータ２に送信する。例として、ＵＳＢキーボード２０２のデバイスＩＤはＵＳＢＫＢ００３５であるとする。
【０１５０】
ＣＰＵ１０１はＵＳＢキーボード２０２からデバイスＩＤを受信すると、デバイスデータベース（図３４）を参照し、そのデバイスＩＤがデバイスデータベースに登録されているか否かを判定する。受信したデバイスＩＤがデバイスデータベースに登録されていない場合、ＣＰＵ１０１は特に処理を行わない。この場合、ＵＳＢＫＢ００３５はデバイスデータベースに登録されているので、ＣＰＵ１０１はデバイス「ＵＳＢＫＢ００３５」の種別の値、すなわち「キーボード」をＲＡＭ１０４に一時的に記録する。ＣＰＵ１０１は続いてデバイス環境関係データ（図３３）を参照し、ユーザＩＤがＪＯＥ００５、デバイスＩＤがＵＳＢＫＢ００３５であるデータが登録されているか否かを判定する。
【０１５１】
この場合、デバイス環境関係データにはユーザＩＤがＪＯＥ００５、デバイスＩＤがＵＳＢＫＢ００３５であるデータは登録されていない。その場合、ＣＰＵ１０１は図３５に示す画面を表示する。すなわち、図３５の画面は、あるユーザが音楽アプリケーション２の利用中に、音楽アプリケーション２において利用可能なあるＵＳＢ機器を初めてコンピュータ２に接続した場合に表示される。
【０１５２】
図３５の画面を表示する際、ＣＰＵ１０１はＲＡＭ１０４に一時的に記録した種別の値「キーボード」を読み出し、環境データデータベース（図３２）を参照し、環境データデータベースの種別の値が、先にＲＡＭ１０４から読み出した種別の値と一致するデータを抽出する。そして、ＣＰＵ１０１はその抽出結果として得られる環境データの環境データ名をリストボックス２５１に表示する。
【０１５３】
ユーザは図３５の画面において、ＵＳＢキーボード２０２と共に通常利用する画面に対応する環境データを選択し、コマンドボタン「ＯＫ」をクリックする。例として、ユーザは環境データ「ピアノ・クラシック」を選択するものとする。
【０１５４】
図３５のコマンドボタン「ＯＫ」がクリックされると、ＣＰＵ１０１は環境データデータベース（図３２）を参照し、ユーザにより選択された環境データの環境データＩＤ「ＥＶ４５１」を、デバイス環境関係データ（図３３）にユーザＩＤおよびデバイスＩＤと共に登録する。続いて、ＣＰＵ１０１はユーザにより選択された環境データに基づいて、図２８に示した画面を表示部１０６に表示させる。以上の処理により、音楽アプリケーション２にＵＳＢキーボード２０２が登録される。
【０１５５】
続いて、ユーザは音楽アプリケーション２にＵＳＢギター２０３の登録を行う。その場合、ユーザはＵＳＢキーボード２０２とコンピュータ２の接続を取り外し、ＵＳＢギター２０３をコンピュータ２に接続する。その後、上記のＵＳＢキーボード２０２に関する処理と同様の処理がＵＳＢギター２０３に関しても行われ、ＵＳＢギター２０３の登録処理がなされる。
【０１５６】
例として、ＵＳＢギター２０３のデバイスＩＤはＵＳＢＧＴ１２０８であり、ユーザはＵＳＢギター２０３を用いる際に利用する環境データとして「ギター・エレアコ」を選択するものとする。その結果、ＣＰＵ１０１は図３０に示した画面を表示部１０６に表示させる。なお、上記のような処理の結果、デバイス環境関係データ（図３３）は図３６に示すように更新される。
【０１５７】
デバイス環境関係データに上記に示したようにＵＳＢ機器が登録されている場合、音楽アプリケーション２において、ユーザは画面の切り替えをＵＳＢ機器の接続のみによって行うことができる。以下、音楽アプリケーション２による画面の切り替え動作を説明する。
【０１５８】
ユーザは、音楽アプリケーション２を起動し、画面の指示に従ってユーザＩＤ「ＪＯＥ００５」を入力する。続いて、ユーザはＵＳＢキーボード２０２をコンピュータ２に接続する。ＵＳＢキーボード２０２はデバイスＩＤ「ＵＳＢＫＢ００３５」をコンピュータ２に送信する。
【０１５９】
ＣＰＵ１０１はＵＳＢキーボード２０２からデバイスＩＤを受信すると、デバイスデータベース（図３４）を参照し、受信したデバイスＩＤが登録されているか否かを判定する。この場合、受信されるデバイスＩＤはデバイスデータベースに登録されているので、続いてＣＰＵ１０１はデバイス環境関係データ（図３６）を参照し、ユーザＩＤがＪＯＥ００５、デバイスＩＤがＵＳＢＫＢ００３５であるデータが登録されているか否かを判定する。
【０１６０】
この場合、ユーザＩＤがＪＯＥ００５、デバイスＩＤがＵＳＢＫＢ００３５であるデータがデバイス環境関係データに登録されているので、ＣＰＵ１０１はユーザＩＤがＪＯＥ００５、デバイスＩＤがＵＳＢＫＢ００３５であるデータの環境データＩＤ「ＥＶ４５１」を取得する。続いて、ＣＰＵ１０１は環境データデータベース（図３２）を参照し、取得した環境データＩＤ「ＥＶ４５１」で示される環境データ「ピアノ・クラシック」に基づいて、図２８に示した画面を表示部１０６に表示させる。
【０１６１】
その後、ユーザがＵＳＢキーボード２０２を用いての音楽アプリケーション２の利用を終え、ＵＳＢギター２０３を用いて音楽アプリケーション２を利用したいと考えたとする。その場合、ユーザはＵＳＢキーボード２０２の接続をコンピュータ２から外し、ＵＳＢギター２０３をコンピュータ２に接続する。ＵＳＢギター２０３がコンピュータ２に接続されると、上記のＵＳＢキーボード２０２に関する処理と同様の処理がＵＳＢギター２０３に関しても行われ、ＣＰＵ１０１は環境データ「ギター・エレアコ」に基づいて、図３０に示した画面を表示部１０６に表示させる。
【０１６２】
上記のように、ユーザはコンピュータにＵＳＢ機器を接続するだけで、画面の表示、すなわちアプリケーションの環境を切り替えることができる。すなわち、接続されるＵＳＢ機器に応じてアプリケーションの環境が自動的に変化するため、ユーザはコンピュータをあたかも個々のＵＳＢ機器の一部であるかのように利用することができる。
【０１６３】
次に、ユーザＩＤがＫＥＮ１０２である、上記のユーザとは異なるユーザが音楽アプリケーション２を利用する場合の動作を説明する。なお、このユーザは既にＵＳＢキーボード２０２およびＵＳＢギター２０３に関し、上記のＵＳＢ機器の登録処理を行っており、その登録処理により、図３６の第１行および第２行のデータとしてユーザＩＤ、デバイスＩＤおよび環境データＩＤがデバイス環境関係データに登録されているものとする。
【０１６４】
このユーザは、音楽アプリケーション２を起動し、画面の指示に従ってユーザＩＤ「ＫＥＮ１０２」を入力する。その後、ユーザは例えばＵＳＢギター２０３をコンピュータ２に接続する。ＵＳＢギター２０３はその接続を検出し、ＵＳＢギター２０３のデバイスＩＤ「ＵＳＢＧＴ１２０８」をコンピュータ２に送信する。続いて、上記のユーザＩＤがＪＯＥ００５であるユーザがコンピュータ２にＵＳＢギター２０３を接続した場合と同様の処理が行われるが、この場合はユーザＩＤがＫＥＮ１０２であるため、ＣＰＵ１０１はデバイス環境関係データ（図３６）から環境データＩＤ「ＥＶ５０１」を取得する。その結果、ＣＰＵ１０１は環境データＩＤ「ＥＶ５０１」で示される環境データ「ギター・ソリッド」に基づいて、図２９に示した画面を表示部１０６に表示させる。
【０１６５】
上記のように、同じＵＳＢ機器を用いてアプリケーションが利用される場合であっても、アプリケーションを利用するユーザによってアプリケーションの環境が自動的に変化するため、ユーザはコンピュータをあたかも自分専用に構成されたＵＳＢ機器の一部であるかのように利用することができる。
【０１６６】
［２．３：第２実施形態の変形例］
上述した例では、コンピュータとコンピュータに接続される外部機器との間のデータ伝送方式として、ＵＳＢ規格に従ったデータ伝送方式が用いられている。しかしながら、本発明において採用可能なデータ伝送方式はＵＳＢ規格に従ったものに限られない。
【０１６７】
例えば、ＩＥＥＥ（ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ）１３９４規格に従ったデータ伝送方式のように、コンピュータと外部機器が接続された場合、コンピュータもしくは外部機器のいずれかがその接続を自動的に検出し、外部機器がコンピュータに自分のデバイスＩＤを送信するしくみを規定しているあらゆるデータ伝送方式が採用可能である。
【０１６８】
さらに、自動的にデバイスＩＤを送信するしくみが規定されていないデータ伝送方式であっても、例えばコンピュータが定期的に外部機器に対しデバイスＩＤの送信要求を行い、外部機器からデバイスＩＤを取得することが可能な環境においては、本発明の実施が可能である。
【０１６９】
例えば、ＭＩＤＩ規格は電子機器が自動的にデバイスＩＤを接続先の電子機器に送信するしくみを規定していない。しかし、ＭＩＤＩ規格においてはデバイスＩＤの要求メッセージであるアイデンティティリクエストおよび送信メッセージであるアイデンティティリプライが利用可能である。従って、ＭＩＤＩデータの入出力を行うＭＩＤＩインタフェースを有するコンピュータは、アプリケーションを実行している間、十分に短い間隔で、アイデンティティリクエストをＭＩＤＩインタフェースから送信する。ＭＩＤＩインタフェースに外部機器が接続されている場合、その外部機器はアイデンティティリクエストに対しアイデンティティリプライを送信する。その結果、コンピュータは外部に接続されている機器の機種等を識別することができる。
【０１７０】
［３：第３実施形態］
以下、本発明の第３の好適な実施形態として、コンピュータにボーカルおよびエレクトリックギターの楽曲演奏の練習室を仮想的に実現させ、それらのアプリケーションの環境をコンピュータに入力される音声情報に応じて自動的に切り替えることを可能とするアプリケーションの構成および動作を説明する。
【０１７１】
［３．１：コンピュータおよび外部機器の構成および動作］
まず、第３実施形態に係るアプリケーション（以下、「音楽アプリケーション３」と呼ぶ）の実行環境としてのコンピュータ３、およびコンピュータ３に接続される外部機器の構成および動作を、図３７を用いて説明する。
【０１７２】
コンピュータ３は第１実施形態のコンピュータ１と多くの共通する構成部を有するため、図３７においてはその共通する構成部に関しては図１における符号と同じ符号を付している。なお、第３実施形態においては、ＭＩＤＩ入出力部１０９は利用されないため、図３７にはＭＩＤＩ入出力部１０９が示されていない。その他の構成部に関しては、コンピュータ１の構成部と同じであるので、その説明を省略する。
【０１７３】
第３実施形態においては、エレクトリックギター１２２に加え、マイクロフォン３０１がアナログ音声入力部１１０に接続される。マイクロフォン３０１はボーカル用のマイクロフォンであり、振動板、ボイスコイル等を有し、音声をアナログ電気信号に変換して出力する。
【０１７４】
［３．２：音楽アプリケーションの構成および動作］
音楽アプリケーション３の構成および動作は多くの点で音楽アプリケーション１と共通している。従って、以下、音楽アプリケーション３が音楽アプリケーション１と異なる点のみを説明する。
【０１７５】
音楽アプリケーション３においては、第１実施形態における各種データベース等に加え、図３８に示す音声環境関係データが利用される。音声環境関係データには、音声の特徴を示す音声特徴データが環境データＩＤと共に登録される。音声特徴データの内容および役割は後述する。なお、基本プログラムがコンピュータ３にインストールされた段階では、音声環境関係データには何も登録されておらず、後述する音声の登録処理により、順次データが登録される。
【０１７６】
以下の説明において、コンピュータ３には、第１実施形態において説明に用いた全ての拡張プログラムに加え、図２で示した、「楽曲」の「ボーカル」に分類される拡張パッケージ「さくらさくら」と、「楽曲」の「エレクトリックギター」に分類される拡張パッケージ「Ｓｏｏｎ」の各拡張プログラムがインストールされているものとする。図３９は、これらの拡張プログラムがコンピュータ３にインストールされた状態における、環境データデータベースを示している。
【０１７７】
以下、「楽曲」に分類される拡張プログラムの動作の概要を、拡張プログラム「さくらさくら」を例に説明する。なお、拡張パッケージ「さくらさくら」は、拡張プログラム、環境雛形データおよび部品データ以外に、楽譜の画像データ、伴奏用のＭＩＤＩデータ、ボーカルの各パートのデジタル音声データ、歌唱演奏の評点に応じたコメントデータ等を含んでいる。
【０１７８】
図４０は、基本プログラムに従い、ＣＰＵ１０１が環境データ「ボーカル・クラシック」に基づいて表示部１０６に表示させる画面である。図４０の画面において、まずユーザはマイクロフォン３０１を音楽アプリケーション３のアナログ音声入力部１１０に接続した後、例えばユーザインタフェース群３５２のチェックボックス「ピアノ」および「メロディー２」をチェックする。続いて、ユーザがユーザインタフェース群３５３のコマンドボタン「再生」をクリックすると、ＣＰＵ１０１は拡張プログラム「シーケンサ」に従って、ピアノ伴奏用のＭＩＤＩデータおよびボーカルの第２パートの音声データを再生する。さらに、ＣＰＵ１０１は拡張プログラム「さくらさくら」に従い、楽譜の画像データの内容をユーザインタフェース群３５１の子ウィンドウに表示させる。
【０１７９】
ユーザはスピーカ１１４から発音されるピアノ伴奏および第２パートの音声を聞き、また表示部１０６に表示される楽譜を読みながら、マイクロフォン３０１を用いて第１パートの歌唱演奏を行う。ユーザの歌唱演奏による音声はマイクロフォン３０１およびＡ／Ｄコンバータ１１１を介してデジタル音声データとしてＲＡＭ１０４に順次記録される。ＣＰＵ１０１は拡張プログラム「さくらさくら」に従い、ボーカルの第１パートのデジタル音声データ（以下、「見本データ」と呼ぶ）と、ユーザの歌唱演奏により生成されたデジタル音声データ（以下、「演奏データ」と呼ぶ）とを比較し、ユーザの歌唱演奏のリズム、音程および強弱を評点する。
【０１８０】
すなわち、ＣＰＵ１０１は、例えば見本データが示す音声の周波数の変化タイミングと、演奏データが示す音声の周波数の変化タイミングを比較し、リズムのずれを数値化する。またＣＰＵ１０１は、例えば周波数の変化タイミングに基づいて対応づけられる見本データの特定部分と演奏データの特定部分の平均周波数のずれおよびボリュームのずれをそれぞれ数値化する。
【０１８１】
ユーザが歌唱演奏を終え、ユーザインタフェース群３５３のコマンドボタン「停止」をクリックすると、ＣＰＵ１０１は上記の評点の結果およびその結果に対応するコメントデータの内容をユーザインタフェース群３５４に表示する。このように、拡張プログラム「さくらさくら」に従い、コンピュータ３はユーザの歌唱演奏の練習支援を実現する。
【０１８２】
図４１は、基本プログラムに従い、ＣＰＵ１０１が環境データ「ギター・ソリッド」に基づいて表示部１０６に表示させる画面の例である。図４１の画面には、第１実施形態における環境データ「ギター・ソリッド」に基づく画面（図２９）に対し、拡張プログラム「Ｓｏｏｎ」の処理にリンクされたユーザインタフェース群３６１、ユーザインタフェース群３６２およびユーザインタフェース群３６３が追加されている。それらのユーザインタフェース群の役割は、それぞれ図４０におけるユーザインタフェース群３５１、ユーザインタフェース群３５２およびユーザインタフェース群３５４の役割と同じである。また、拡張プログラム「Ｓｏｏｎ」の動作は拡張プログラム「さくらさくら」の動作と同じである。
【０１８３】
続いて、音楽アプリケーション３の動作を説明する。ユーザが音楽アプリケーション３を利用する際、ユーザは以下に説明する音声の登録処理を行う必要がある。まず、ユーザが音楽アプリケーション３を起動すると、基本プログラムに従い、ＣＰＵ１０１は起動時の環境データとして指定されている環境データに従い、表示部１０６に図４２に示す画面を表示部１０６に表示させる。音楽アプリケーション３の起動時の画面には、音楽アプリケーション１の起動時の画面（図２４）に対し、コマンドボタン「音声登録」が追加されている。
【０１８４】
ユーザはマイクロフォン３０１をコンピュータ２のアナログ音声入力部１１０に接続する。続いて、ユーザが図４２のコマンドボタン「音声登録」をクリックすると、基本プログラムに従い、ＣＰＵ１０１は図４３に示す画面を表示部１０６に表示させる。ユーザは図４３の画面の指示に従い、コマンドボタン「スタート」をクリックした後、マイクロフォン３０１に対し３秒以上の発声を行う。
【０１８５】
ユーザの音声はマイクロフォン３０１およびＡ／Ｄコンバータ１１１を介してデジタル音声データ（以下、「サンプルデータ」と呼ぶ）としてＲＡＭ１０４に記録される。続いて、ＣＰＵ１０１はサンプルデータが示す音声のフォルマント周波数を求める。
【０１８６】
フォルマント周波数は、音声の特徴を示す指標の一種である。図４４はある音声をサンプリングして得られるデジタル音声データを模式的に示した図である。図４４の横軸は時間、縦軸は音圧のレベルである。このように、デジタル音声データは全体として音声の波形を示している。
【０１８７】
図４５は高速フーリエ変換法を用いて、図４４に示したデジタル音声データの周波数成分を算出した結果を模式的に示した図である。図４５の横軸は周波数、縦軸は音声が含む各周波数成分の振幅を示している。また、図４６はローパスフィルタ等を用いて、図４５に示した周波数成分の振幅を平滑化した結果を模式的に示した図である。図４６の縦軸および横軸は図４５のものと同様である。
【０１８８】
図４６のデータによれば、０．４２ｋＨｚ、１．２１ｋＨｚ、３．３７ｋＨｚおよび３．８３ｋＨｚの各周波数においてピークが確認される。これらのピークに対応する周波数がフォルマント周波数であり、低周波数側からそれぞれ第１フォルマント周波数、第２フォルマント周波数、のように呼ぶ。
【０１８９】
すなわち、ＣＰＵ１０１は、ＤＳＰ１０２に対し、ＲＡＭ１０４に記録されたサンプルデータを用いて高速フーリエ変換処理、ローパスフィルタによるフィルタ処理等を行うよう指示する。ＤＳＰ１０２はＣＰＵ１０１の指示に従い、ＲＡＭ１０４からサンプルデータを読み込み、図４６のデータを生成してＲＡＭ１０４に記録する。ＣＰＵ１０１はＤＳＰ１０２によりＲＡＭ１０４に記録されたデータを読み込み、読み込んだデータに対する微分処理等を行って、上記のフォルマント周波数を第３フォルマント周波数まで算出する。なお、このＤＳＰ１０２により行われる処理は、ＣＰＵ１０１により行われても良い。
【０１９０】
ＣＰＵ１０１はフォルマント周波数の算出を終えると、図４７に示す画面を表示部１０６に表示させる。ユーザは図４７の画面の指示に従い、例えば環境データ「ボーカル・クラシック」を選択し、コマンドボタン「ＯＫ」をクリックする。
【０１９１】
ＣＰＵ１０１は環境データデータベース（図３９）を参照し、ユーザにより選択された環境データの環境データＩＤ「ＥＶ６０１」を音声環境関係データ（図３８）の環境データＩＤのフィールドに登録する。また、ＣＰＵ１０１は音声環境関係データの同じデータ行の音声特徴データのフィールドに、先に算出した第１から第３のフォルマント周波数の値を登録する。続いて、ＣＰＵ１０１はユーザにより選択された環境データ「ボーカル・クラシック」に基づいて、図４０に示した画面を表示部１０６に表示させる。以上の処理により、音楽アプリケーション３にユーザの発声による音声が登録される。
【０１９２】
続いて、ユーザは音楽アプリケーション３にエレクトリックギター１２２の音声の登録を行う。その場合、ユーザはマイクロフォン３０１とコンピュータ３の接続を取り外し、エレクトリックギター１２２をコンピュータ３に接続する。その後、ユーザは図４０の画面のコマンドボタン「メインメニュー」をクリックする。その結果、表示部１０６には図４２に示した画面が表示される。図４２の画面においてユーザはコマンドボタン「音声登録」をクリックする。続いて、表示部１０６には図４３に示した画面が表示される。
【０１９３】
図４３の画面において、ユーザはエレクトリックギター１２２の弦を弾き、エレクトリックギター１２２の生成するアナログ音声信号をコンピュータ３に入力する。その後、上記のマイクロフォン３０１を用いた場合の処理と同様の処理がエレクトリックギター１２２に関しても行われる。その際、例として、ユーザは図４７の画面において環境データ「ギター・ソリッド」を選択するものとする。その結果、ＣＰＵ１０１は環境データ「ギター・ソリッド」に基づいて、図４１に示した画面を表示部１０６に表示させる。
【０１９４】
上記のような処理の結果、音声環境関係データ（図３８）は図４８に示すように更新される。図４８において、音声ＩＤがＷＡＶ２０７であるデータがこのユーザの発声による音声に対応するデータであり、一方、音声ＩＤがＷＡＶ２０８であるデータがエレクトリックギター１２２の生成する音声に対応するデータである。
【０１９５】
音声環境関係データに上記に示したように音声が登録されている場合、音楽アプリケーション３において、ユーザは画面の切り替えを音声の入力のみによって行うことができる。以下、音楽アプリケーション３による画面の切り替え動作を説明する。
【０１９６】
ユーザは、まず音楽アプリケーション３を起動し、マイクロフォン３０１をコンピュータ３に接続した後、マイクロフォン３０１に向かい、上記の図４３における登録時に発声した声と同様の声を発声する。ユーザの発声による音声は、マイクロフォン３０１、アナログ音声入力部１１０およびＡ／Ｄコンバータ１１１を介してデジタル音声データとしてＲＡＭ１０４に順次記録される。一方、ＣＰＵ１０１は基本プログラムに従い、過去一定時間、例えば３秒間にＲＡＭ１０４に記録されたデジタル音声データを用いて、上述したフォルマント周波数を求める処理を常時繰り返している。
【０１９７】
ＣＰＵ１０１はＲＡＭ１０４に記録された３秒間分のデジタル音声データからフォルマント周波数を算出すると、音声環境関係データ（図４８）を参照し、新たに算出したフォルマント周波数（以下、「サンプル周波数」と呼ぶ）と、音声環境関係データに登録されている各フォルマント周波数（以下、「登録周波数」と呼ぶ）を用いて、以下の式（１）に示されるＥｒｒの値を求める。ただし、サンプル周波数を（Ｓ１，Ｓ２，Ｓ３）、登録周波数を（Ｒ１，Ｒ２，Ｒ３）とする。
【数１】

【０１９８】
式（１）のＥｒｒは、各登録周波数とサンプル周波数とのずれを示す指標である。Ｅｒｒの値が小さいほど、サンプル周波数と登録周波数が類似しており、従って現在ユーザによりコンピュータ３に入力されている音声と、音声環境関係データに対する登録に用いられた音声が類似している。なお、式（１）以外にもサンプル周波数と登録周波数の類似性を示す指標としては、さまざまなものが考えられる。例えば、式（１）におけるサンプル周波数および登録周波数の各項の差の二乗の代わりに、絶対値を用いてもよい。また、サンプル周波数と登録周波数の第１項を組とし、第２項を組とし、さらに第３項を組として、これらの組に関して相関係数を求めてもよい。
【０１９９】
ＣＰＵ１０１は音声環境関係データの各データに関し、式（１）のＥｒｒの値を求めると、求めたＥｒｒの値が所定の値、例えば０．０１以下であるか否かを判定する。今、例としてユーザの発声により得られたサンプル周波数が（０．４１，１．２２，３．７３）であるとする。この値は、音声環境関係データにおいて音声ＩＤがＷＡＶ２０７のデータ行に登録されている登録周波数と類似している。なぜなら、それらの周波数が同じユーザが同様の発声によって生成した音声から算出されたものであるからである。従って、音声「ＷＡＶ２０７」の登録周波数を用いて算出されたＥｒｒの値が、所定の値である０．０１以下となる。
【０２００】
ＣＰＵ１０１は、Ｅｒｒの値が所定の値以下であると、音声環境関係データを参照し、Ｅｒｒの算出に用いられた登録周波数を音声特徴データとするデータ行の環境データＩＤ「ＥＶ６０１」を取得する。続いて、ＣＰＵ１０１は環境データデータベース（図３９）を参照し、環境データＩＤ「ＥＶ６０１」で示される環境データ「ボーカル・クラシック」に基づいて、図４０に示した画面を表示部１０６に表示させる。
【０２０１】
その後、ユーザがマイクロフォン３０１を用いての音楽アプリケーション３の利用を終え、エレクトリックギター１２２を用いて音楽アプリケーション３を利用したいと考えたとする。その場合、ユーザはマイクロフォン３０１の接続をコンピュータ３から取り外し、エレクトリックギター１２２をコンピュータ３に接続する。ユーザがエレクトリックギター１２２を用いて図４３の画面における登録時のものと同様の音声信号をコンピュータ３に入力すると、ＣＰＵ１０１は上記のマイクロフォン３０１から入力された音声信号に関する処理と同様の処理をエレクトリックギター１２２から入力される音声信号に関して行う。この場合、音声環境関係データにおける音声「ＷＡＶ２０８」の音声特徴データに関し、Ｅｒｒの値が０．０１以下となり、その結果、ＣＰＵ１０１は環境データＩＤ「ＥＶ５０１」が示す環境データ「ギター・ソリッド」に基づいて、図４１に示した画面を表示部１０６に表示させる。
【０２０２】
上記のように、第３実施形態によれば、コンピュータに入力される音声信号に応じてアプリケーションの環境が自動的に切り替わる。従って、異なるユーザが同じアプリケーションを利用する場合、ユーザは自分の声をマイクロフォンでコンピュータに入力するだけで、アプリケーションの環境を切り替えることができる。また、ユーザがコンピュータに対し異なる音響機器を接続してアプリケーションを利用する場合、ユーザは音響機器からコンピュータに対し音声信号を入力するだけで、アプリケーションの環境を切り替えることができる。
【０２０３】
従って、ユーザはコンピュータをあたかも自分専用に構成された電子機器のように利用したり、コンピュータをあたかも音響機器の一部であるかのように利用することができる。
【０２０４】
［３．３：第３実施形態の変形例］
上述した例では、フォルマント周波数を用いて音声の類似性が算出されている。しかしながら、本発明において採用可能な音声の類似性を示す指標はフォルマント周波数に限られず、確率モデルによる音声認識法等のさまざまな音声認識手法の採用が可能である。また、フォルマント周波数の算出方法も、上述した方法に限られない。例えば高速フーリエ変換ではなく、通常のフーリエ変換が用いられてもよい。
【０２０５】
［４：変形例］
上述した第１から第３の実施形態は、それぞれ本発明の実施形態の例示であり、上記実施形態に対しては、本発明の主旨から逸脱しない範囲で様々な変形を加えることができる。以下、変形例を示す。
【０２０６】
［４．１：第１変形例］
第１変形例においては、コンピュータの各構成部は必ずしも同じ筐体の中に配置されておらず、一部の構成部は他の構成部から分離して配置されている。例えば、ＨＤ、表示部、操作部、アンプ、スピーカ等はコンピュータに対する外部機器として接続されていてもよい。また、互いにＬＡＮ等で接続された異なる情報機器、例えば高い処理能力のＤＳＰを有するコンピュータと、それとは異なる高い処理能力のＣＰＵを有するコンピュータが協働して上記の各実施形態で示したコンピュータの処理を行ってもよい。
【０２０７】
第１変形例によれば、ユーザは分散して配置されている各種の情報機器の資源を有効に活用して、本発明に係るアプリケーションの実行をコンピュータに行わせることができる。
【０２０８】
［４．２：第２変形例］
第２変形例においては、コンピュータは無線通信インタフェースを有し、この無線通信インタフェースを介して、無線通信機能を有する外部機器からのデータを受信することができる。そして、コンピュータは、外部機器から無線を介して受信されるデータに応じて、環境データの選択および画面の切り替え等を行う。第２変形例によれば、ユーザはコンピュータと外部機器との間のケーブルの接続および接続の解除に要する手間を省くことができ、利便性が高まる。
【０２０９】
［４．３：第３変形例］
第３変形例においては、コンピュータはさらにＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）ドライブ等の外部記録媒体からデータを読み込む構成部を有し、ＣＤ−ＲＯＭ等に格納されている基本パッケージ、拡張パッケージ等を読み込んで、それらに含まれるプログラムのインストール等を行うことができる。第３変形例によれば、インターネットへの接続が困難なコンピュータの利用時においても、ユーザは本発明に係るアプリケーションの実行をコンピュータに行わせることができる。
【０２１０】
［４．４：第４変形例］
第４変形例においては、基本プログラムおよび拡張プログラムはＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）等のブラウザソフトで実行可能な言語により記述されている。さらに、環境データ等の各種データおよびデータベースの内容は、ＸＭＬ等のデータ構造の定義が可能な言語により記述されている。
【０２１１】
第４変形例によれば、基本プログラムおよび拡張プログラムの複合体であるアプリケーションは、ブラウザソフトにおいて実行可能となるため、プログラム開発者は既存のブラウザソフトの機能を利用することにより各プログラムにおける内容表示や音声データ等の再生などの各種機能をプログラムに実現させることができ、開発における負担を軽減することができる。また、基本プログラムおよび拡張プログラムに関する画面表示を、例えば関連するＨＰの画面の中に埋め込む処理など、ＸＭＬ等の言語により記述された他のデータとの連携処理が容易に実現される。
【０２１２】
【発明の効果】
以上示したように、本発明にかかるプログラムによれば、プログラムの開発および管理が拡張パッケージ単位で行われるため、プログラムの開発者のプログラム開発および管理が容易となる。また、ユーザは利用を希望する拡張プログラムのみを選択して購入できるため、ユーザのプログラム購入の費用負担が削減される。
【０２１３】
同時に、本発明にかかるプログラムによれば、多くの拡張プログラムがインストールされたとしても、それら多くの拡張プログラムの機能に関するコマンドボタン等が表示され、ユーザが必要な機能を探し出すことが困難になる等の不都合が生じることはない。
【０２１４】
さらに、本発明にかかるプログラムによれば、互いに関連する複数の拡張プログラムの処理が同じ画面から利用できるため、ユーザは異なる拡張プログラムを意識する必要がない。
【０２１５】
さらに、本発明にかかるプログラムによれば、使用目的に応じて必要な処理にリンクされたユーザインタフェースのみを集めた画面が表示されるため、ユーザは各画面ごとに異なるアプリケーションを利用する感覚でアプリケーションを利用することができる。その際、ユーザは画面を切り替えるだけで容易にアプリケーションの環境を変更することができる。
【０２１６】
さらに、本発明にかかるプログラムによれば、ユーザは画面の構成を示す環境データを編集することで、容易にアプリケーションの環境を自分の使用目的に適したものに調整することができる。
【０２１７】
また、本発明にかかるプログラムによれば、ユーザはコンピュータに外部機器を接続するだけで、アプリケーションの環境を変更することができる。また、本発明にかかるプログラムによれば、ユーザはコンピュータに音声情報を入力するだけで、アプリケーションの環境を変更することができる。
【図面の簡単な説明】
【図１】第１実施形態にかかる、コンピュータおよびコンピュータに接続される外部機器の構成を示す図である。
【図２】第１実施形態、第２実施形態および第３実施形態にかかる、音楽アプリケーションの構成を示す図である。
【図３】第１実施形態、第２実施形態および第３実施形態にかかる、基本プログラムと拡張プログラムの関係を示す図である。
【図４】第１実施形態、第２実施形態および第３実施形態にかかる、基本プログラムと拡張プログラムの関係を示す図である。
【図５】第１実施形態、第２実施形態および第３実施形態にかかる、プログラムデータベースの内容を示す図である。
【図６】第１実施形態、第２実施形態および第３実施形態にかかる、入出力データベースの内容を示す図である。
【図７】第１実施形態、第２実施形態および第３実施形態にかかる、処理データベースの内容を示す図である。
【図８】第１実施形態、第２実施形態および第３実施形態にかかる、部品データデータベースの内容を示す図である。
【図９】第１実施形態および第３実施形態にかかる、環境データデータベースの内容を示す図である。
【図１０】第１実施形態にかかる、環境雛形データの内容を示す図である。
【図１１】第１実施形態にかかる、環境データの内容を示す図である。
【図１２】第１実施形態にかかる、環境データの内容を示す図である。
【図１３】第１実施形態にかかる、画面表示を示す図である。
【図１４】第１実施形態にかかる、画面表示を示す図である。
【図１５】第１実施形態、第２実施形態および第３実施形態にかかる、画面表示の処理を示すフロー図である。
【図１６】第１実施形態にかかる、プログラムデータベースの内容を示す図である。
【図１７】第１実施形態にかかる、入出力データベースの内容を示す図である。
【図１８】第１実施形態にかかる、処理データベースの内容を示す図である。
【図１９】第１実施形態にかかる、部品データデータベースの内容を示す図である。
【図２０】第１実施形態にかかる、環境雛形データの内容を示す図である。
【図２１】第１実施形態にかかる、環境データの内容を示す図である。
【図２２】第１実施形態にかかる、環境データデータベースの内容を示す図である。
【図２３】第１実施形態にかかる、環境データの内容を示す図である。
【図２４】第１実施形態および第２実施形態にかかる、画面表示を示す図である。
【図２５】第１実施形態にかかる、画面表示を示す図である。
【図２６】第１実施形態にかかる、画面表示を示す図である。
【図２７】第１実施形態にかかる、画面表示を示す図である。
【図２８】第１実施形態および第２実施形態にかかる、画面表示を示す図である。
【図２９】第１実施形態および第２実施形態にかかる、画面表示を示す図である。
【図３０】第１実施形態および第２実施形態にかかる、画面表示を示す図である。
【図３１】第２実施形態にかかる、コンピュータおよびコンピュータに接続される外部機器の構成を示す図である。
【図３２】第２実施形態にかかる、環境データデータベースの内容を示す図である。
【図３３】第２実施形態にかかる、デバイス環境関係データの内容を示す図である。
【図３４】第２実施形態にかかる、デバイスデータベースの内容を示す図である。
【図３５】第２実施形態にかかる、画面表示を示す図である。
【図３６】第２実施形態にかかる、デバイス環境関係データの内容を示す図である。
【図３７】第３実施形態にかかる、コンピュータおよびコンピュータに接続される外部機器の構成を示す図である。
【図３８】第３実施形態にかかる、音声環境関係データの内容を示す図である。
【図３９】第３実施形態にかかる、環境データデータベースの内容を示す図である。
【図４０】第３実施形態にかかる、画面表示を示す図である。
【図４１】第３実施形態にかかる、画面表示を示す図である。
【図４２】第３実施形態にかかる、画面表示を示す図である。
【図４３】第３実施形態にかかる、画面表示を示す図である。
【図４４】フォルマント周波数の説明のための音声データの例を示す図である。
【図４５】フォルマント周波数の説明のための音声データの周波数成分の例を示す図である。
【図４６】フォルマント周波数の説明のための平滑化された音声データの周波数成分の例を示す図である。
【図４７】第３実施形態にかかる、画面表示を示す図である。
【図４８】第３実施形態にかかる、音声環境関係データの内容を示す図である。
【符号の説明】
１、２、３・・・コンピュータ、１０１・・・ＣＰＵ、１０２・・・ＤＳＰ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・ＨＤ、１０６・・・表示部、１０７・・・操作部、１０８・・・ＮＷ入出力部、１０９・・・ＭＩＤＩ入出力部、１１０・・・アナログ音声入力部、１１１、２０３２・・・Ａ／Ｄコンバータ、１１２・・・Ｄ／Ａコンバータ、１１３・・・アンプ、１１４・・・スピーカ、１１５・・・バス、１２０・・・インターネット、１２１・・・ＭＩＤＩキーボード、１２２・・・エレクトリックギター、２０１、２０２１、２０３３・・・ＵＳＢインタフェース、２０２・・・ＵＳＢキーボード、２０３・・・ＵＳＢギター、２０３１・・・センサ、３０１・・・マイクロフォン。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a program for facilitating the operation of selecting a program and changing a user interface according to the selected program in a program use environment in which some programs are selected and used from a plurality of programs.
[0002]
[Prior art]
2. Description of the Related Art In recent years, most of electronic devices for realizing specific functions (hereinafter, referred to as “specific electronic devices”) are personal computers, game machines, PDAs (Personal Digital Assistance), and the like (hereinafter, simply referred to as “general-purpose computers”). Can be realized by installing an application program (hereinafter simply referred to as “application”) necessary for the application. In particular, since the processing capability of general-purpose computers for audio data and image data has been improved, many functions of audiovisual equipment can be realized by general-purpose computers.
[0003]
Specific electronic devices have many components of the same kind, such as a DSP (Digital Signal Processor) and a liquid crystal display. On the other hand, when a single general-purpose computer realizes the functions of a plurality of specific electronic devices by installing different applications on the general-purpose computer, it is sufficient that the general-purpose computer has one component such as a DSP and a liquid crystal display. Cost can be reduced.
[0004]
As an example of a conventional technique for realizing the function of a specific electronic device using a general-purpose computer as described above, for example, a technique for realizing an electronic musical instrument using a plurality of computer resources connected to a network is disclosed in Patent Document 1. Have been.
[0005]
[Patent Document 1]
JP-A-7-261756
[0006]
[Problems to be solved by the invention]
By the way, when functions of a plurality of specific electronic devices related to each other can be realized by a general-purpose computer, convenience of the user is improved if those functions can be linked.
[0007]
In order to realize cooperation of a plurality of functions in a general-purpose computer, it is conceivable to first integrate the plurality of functions into one application. For example, an application that realizes a function of a music synthesizer on a general-purpose computer (hereinafter, referred to as “synthesizer software”) and an application that realizes a function of an effector that adds an acoustic effect to audio data to a general-purpose computer (hereinafter, “effector software”) (Hereinafter referred to as "synthesizer software with effector function"), the user can easily add the sound effect by the effector to the sound reproduced by the music synthesizer. Can be.
[0008]
However, simply integrating a plurality of applications having different functions as described above is inconvenient for a user who needs only the functions of one application. For example, a user who does not need an effector function must purchase synth software with an effector function, and must pay an unnecessary cost for that purpose. If synthesizing software, effector software and synth software with effector functions are sold separately to eliminate the inconvenience, the development cost of the application developer will increase.
[0009]
To solve the above problem, a basic program (hereinafter, referred to as a “basic program”) for controlling a plurality of programs and a program (hereinafter, referred to as a “basic program”) that operates together with the basic program to realize a specific function A method of constructing an application having a plurality of functions can be considered by combining this with an "extended program". For example, an application (hereinafter, referred to as “sequencer software”) for realizing the function of a music sequencer on a general-purpose computer is developed as a basic program, and the synth software and the effector software are developed as extension programs of the sequencer software. In this case, after purchasing the sequencer software, the user may purchase only necessary extension programs. In addition, application developers can develop each extension program individually, minimizing development costs.
[0010]
The effect of the method using the basic program and the extension program is greater as the function of each extension program is subdivided. However, when the functions of each extension program are subdivided, the burden for the user to manage many extension programs increases. For example, it is assumed that the extension program that realizes the function of the effector software is subdivided into extension programs that realize the functions of reverb and distortion (hereinafter, referred to as “reverb software” and “distortion software”, respectively). If the user who has purchased both the reverb software and the distortion software wants to use only the reverb software, for example, a command button or the like relating to unnecessary distortion software is displayed on the screen of the general-purpose computer.
[0011]
The user can hide the disturbing command buttons and the like displayed on the screen. However, it is troublesome for the user to perform an operation of hiding unnecessary command buttons or the like depending on the purpose of use of the application. Also, among the various functions of the plurality of extension programs, there are those having high relevance and those having low relevance. Therefore, it is not easy for the user to determine which command button or the like is unnecessary on a certain screen.
[0012]
However, if the program developer determines the desired screen display configuration in the application and provides it to the user, and the user can use only the screen display configuration determined by the program developer, the application can be used by various users. Use environment of the application that satisfies the purpose of use.
[0013]
In view of the above circumstances, the present invention includes a plurality of related programs, and in a program that can use them at the same time, a screen configuration when a developer and a user use the plurality of programs is determined according to a purpose of use. It is an object of the present invention to provide a program that can be flexibly changed by a user and that allows a user to easily select a desired one from a plurality of screen configurations thus changed.
[0014]
[Means for Solving the Problems]
In order to solve the problems described above, the present invention provides one or more extension programs, user interface data defining one or more user interfaces for receiving instructions from a user, and one or more user interface data. An environment data selection unit for selecting one of the plurality of environment data from a computer having a memory storing a plurality of environment data including link data relating each to execution control of the one or more extension programs; A process, a user interface providing process of providing one or more user interfaces according to the selected environment data, and a case where a user operation on any of the provided one or more user interfaces is included in the selected environment data. Depending on the link data Providing a basic program for executing the extended program control process and performing execution control of the extended program associated with the user interface.
[0015]
When the basic program having such a configuration is used, only the user interface associated with the processing necessary for the intended purpose is displayed on the screen by selecting the environmental data according to the intended purpose. As a result, even when the user needs to use a plurality of extension programs having a plurality of processes at the same time and needs to use them properly according to the purpose of use, the user can easily switch to the environment data to easily achieve the purpose of use. The corresponding screen can be displayed on the computer.
[0016]
Further, each of the plurality of environment data is output data of any of the processes performed by the input data required by each process executed according to the one or more extension programs according to the one or more extension programs. The input / output relation data indicating that the basic program is executed by the computer in accordance with the one or more extended programs, and when output data is obtained in the processing, According to the input / output relation data included in the selected environment data, the computer may be caused to execute a process of using the output data as input data.
[0017]
When a basic program having such a configuration is used, the relationship between data input and output among a plurality of extension programs is automatically determined by selecting environmental data.
[0018]
Further, the basic program, when a certain extension program is newly stored in the memory, causes the computer to add data relating to the newly stored extension program to each of the plurality of environment data. When any one of the one or more extension programs stored in the memory is deleted from the memory, the computer transmits, from each of the plurality of environment data, data related to the deleted extension program. You may delete it.
[0019]
When the basic program having such a configuration is used, when the configuration of the extension program that can be used in the computer is changed, the data interface data and the link data in the environment data are automatically updated according to the change.
[0020]
The computer can receive a device ID for identifying each of the one or more external devices from one or more external devices, and the memory stores a correspondence between the device ID and the environmental data. Device environment-related data to be stored, and the basic program, when the computer receives a device ID from one of the one or more external devices, in the environment data selection processing, the computer The environment data associated with the device ID received by the environment-related data may be selected.
[0021]
When the basic program having such a configuration is used, environmental data is automatically selected in accordance with the device ID transmitted from the external device to the computer. The screen can be displayed on a computer.
[0022]
Further, the computer can acquire audio information from an external device, and the memory stores an audio environment indicating a correspondence between audio characteristic data, which is information indicating characteristics of one or a plurality of audio information, and the environment data. Relational data is stored, and the basic program is configured to, when the computer receives voice information from the external device, cause the computer to generate voice feature data indicating characteristics of the voice information from the received voice information. Executing the feature data generation process, and in the environment data selection process, the computer may select environment data associated with the voice feature data generated in the voice feature data generation process by the voice environment related data. Good.
[0023]
When the basic program having such a configuration is used, environmental data is automatically selected in accordance with audio information input from an external device to a computer. A screen suitable for the purpose can be displayed on the computer.
[0024]
At least one of the one or more extension programs may cause the computer to execute audio data generation processing for electronically generating audio data.
[0025]
By using the basic program having such a configuration, the computer can realize the functions of a plurality of digital audio devices, and the user can easily use the functions of the digital audio devices by switching environmental data.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
[1: First Embodiment]
Hereinafter, a configuration and operation of an application will be described as a preferred embodiment of the present invention. This application allows a computer to realize the functions of an electronic piano sound source and a guitar amplifier, and also allows the user to easily switch between these functions manually. In the following description, “application” is used as a word meaning an aggregate of a plurality of related programs.
[0027]
[1.1: Configuration and operation of computer and external device]
First, the configuration and operation of a computer 1 as an execution environment of an application (hereinafter, referred to as “music application 1”) according to the first embodiment and external devices connected thereto will be described with reference to FIG.
[0028]
The computer 1 includes a CPU (Central Processing Unit) 101, a DSP (Digital Signal Processor) 102, a ROM (Read Only Memory) 103, a RAM (Random Access Memory) 104, an HD (Hard Disk) 104, a display unit 106, a display unit 106. , NW (Network) input / output unit 108, MIDI (Musical Instrument Digital Interface) input / output unit 109, analog audio input unit 110, A / D (Analog to Digital) converter 111, D / A (Digital to Analog) converter 112, amplifier 113 and a speaker 114. In the computer 1, components other than the analog audio input unit 110, the amplifier 113, and the speaker 114 are connected to each other via a bus 115.
[0029]
The CPU 101 is a microprocessor that performs general-purpose data processing, and performs processing such as control of other components of the computer 1 according to a control program stored in the ROM 103. Further, the CPU 101 reads the music application 1 recorded on the HD 105 into the RAM 104 and performs various processes according to the music application 1.
[0030]
The DSP 102 is a microprocessor that can process digital audio data and digital image data at high speed, reads data from the RAM 104 and performs processing, and records data generated as a result in the RAM 104.
[0031]
The ROM 103 is a non-volatile memory that stores various control programs. The RAM 104 is a volatile memory for temporarily storing data used by the CPU 101 and other components. The HD 105 is a non-volatile memory having a large-capacity storage area, and data stored in the HD 105 is rewritable. The HD 105 stores the music application 1 and various data used together with the music application 1. The applications and data stored in the HD 105 are read out to the RAM 104 as needed, and then read and used by the CPU 101 and the like.
[0032]
The display unit 106 has a liquid crystal display, a driving circuit, and the like, and displays information such as characters and figures. The operation unit 107 includes a keypad, a mouse, and the like, and transmits predetermined data to the CPU 101 according to a user operation.
[0033]
The NW input / output unit 108 relays data transmitted and received between the computer 1 and another communication device connected to a LAN (Local Area Network). The NW input / output unit 108 is connected to the Internet 120 via a LAN.
[0034]
The MIDI input / output unit 109 receives data conforming to the MIDI standard (hereinafter referred to as “MIDI data”) from an external device, transfers the received MIDI data to the CPU 101, and transmits the MIDI data generated by the CPU 101 to the external device. Or send it to In the first embodiment, a MIDI keyboard 121 is connected to the MIDI input / output unit 109. The MIDI keyboard 121 has various controls such as a keyboard and a slider, and transmits MIDI data to the MIDI input / output unit 109 in response to a user operation.
[0035]
The analog audio input unit 110 is connected to the A / D converter 111 and the amplifier 113 inside the computer 1 and outputs an analog audio signal input from an external device to the A / D converter 111 and the amplifier 113. In the first embodiment, an electric guitar 122 is connected to the analog audio input unit 110. The electric guitar 122 includes a steel string stretched on a main body, a sensor for picking up vibration of the string, and the like. The string vibration caused by the user's performance is converted into an analog audio signal, which is output to the analog audio input unit 110. . The A / D converter 111 converts an analog audio signal input via the analog audio input unit 110 into digital audio data and records the digital audio data in the RAM 104.
[0036]
The D / A converter 112 converts digital audio data read from the RAM 104 by the CPU 101 or the DSP 102 into an analog audio signal and outputs the analog audio signal to the amplifier 113. Amplifier 113 amplifies the analog audio signal input from analog audio input unit 110 and D / A converter 112 and outputs the amplified analog audio signal to speaker 114. The speaker 114 generates sound by converting an analog audio signal input from the amplifier 113 into air vibration.
[0037]
[1.2: Configuration and operation of music application]
Next, the configuration and operation of the music application 1 will be described. The music application 1 is a composite of the basic package shown in FIG. 2 and a plurality of extension packages. Each of these packages is downloaded to the computer 1 via the Internet 120 and installed on the HD 105 in accordance with an instruction from the user.
[0038]
The basic package includes a basic program and related data. Each extension package contains an extension program and related data. The CPU 101 manages the execution of the extension program according to the basic program. Therefore, the basic program must be installed on the computer 1 before the installation of the extension program. The extension program is installed on the computer 1 after the installation of the basic program. However, the user can select a desired extension package from a plurality of extension packages and install only the extension program included in the selected extension package on the computer 1. it can.
[0039]
FIG. 3 is a diagram schematically showing the relationship between the basic program and the extension program. First, when an operation is performed on the computer 1 or an external device connected to the computer 1 by a user, the basic program receives data representing the operation via the OS (Operating System) of the computer 1 and receives the data. The data is transferred to the extension program (data flow F301). In addition, when data is generated by the extension program, the basic program causes the computer 1 to execute a process corresponding to the generated data, such as reproduction of audio data generated by the extension program, via the OS ( Data flow F305, data flow F306). Further, the basic program causes data generated by the computer 1 according to a certain extension program to be used in processing of the computer 1 executed according to another extension program (data flow F307, data flow F308, and data flow F309). That is, the basic program functions as a means for transferring data between programs.
[0040]
When the user causes the computer 1 to execute a certain program or exchange information between the running program and the user, it is necessary to ask the user for an instruction as to which program is the target. There is. In order to obtain an instruction from the user, the basic program according to the present embodiment displays a screen on which a plurality of user interfaces are arranged on the display unit 106 of the computer 1. Here, the user interface represents a component of a screen displayed on the display unit 106 of the computer 1, that is, a command button, a text box, a list box, or the like.
[0041]
These user interfaces are associated with the processing of some extension programs that can be executed by the computer 1. When the user performs an operation such as a click on a certain user interface, the basic program causes the computer 1 to execute a process associated with the user interface (data flow F302). When the computer 1 executes a specific process according to an extension program and generates data, the basic program causes the computer 1 to display the content of the data on a user interface associated with the process (data flow F303). , Data flow F304). In this way, the basic program also functions as a means for transferring instructions or data between the user and the program via the user interface.
[0042]
As described above, the basic program has a function as a means for transferring data between each program and other programs constituting its environment. To execute this function, the basic program in the present embodiment refers to an input / output relation table prepared in advance. This input / output relation table indicates that, for each of the basic program and the extension program that can be executed by the computer 1, output data obtained in a process executed according to each program is input data of any process executed according to another program. Is a table that defines
[0043]
Further, the basic program in the present embodiment refers to a component table prepared in advance in order to function as a data transfer unit between the user interface and the program. This component table is composed of user interface data for displaying a user interface on the display unit 106 and a link destination process ID (link data) for associating some processing with each user interface. The basic program displays a user interface on the display unit 106 in accordance with the component table and, at the same time, associates the user interface with some processing executed in accordance with the program and transfers data between the user and the program.
[0044]
The input / output relation table and the component element table described above are provided from the provider of the music application 1 as environment template data included in the basic package as related data of the basic program and environmental template data included as related data of the extended program in the extension package. Provided. The environment template data included in the basic package includes an input / output relation table relating to data transfer between the basic program and the OS, and a component table relating to a user interface displayed when the basic program is started.
[0045]
The environment template data included in the extension package is created on the assumption that all extension programs provided by the provider of the music application 1 are installed in the computer 1, so to speak, in a fully equipped state. More specifically, the environment template data included in the extension package includes an input / output relation table regarding data transfer between the extension program included in the extension package, the basic program, and any other extension programs. I have. In addition, the environment template data included in the extension package is associated with a user interface for sending and receiving information for controlling the execution of the process for all processes related to the extension program included in the extension package. Component table is included.
[0046]
As described above, the environment template data is designed on the assumption that the OS of the computer can provide all kinds of functions and that all the extension programs are installed on the computer. However, considering the computer 1 actually used by the user, some of the data included in the environment template data include functions that cannot be provided by the OS of the computer 1 and data related to an extension program that is not installed in the computer 1. Yes, such data is unnecessary. Therefore, in the present embodiment, when the basic program and the extension program are installed in the computer 1, environment data is generated by extracting only data relating to the functions of the OS and the extension program that can be used in the computer 1 from the environment template data. This environmental data is actually used by the basic program.
[0047]
FIG. 4 shows a data flow in a case where the number of functions provided by the OS and the number of extension programs installed in the computer are smaller than those in the example shown in FIG. That is, in the computer shown in FIG. 4, the OS cannot perform MIDI data input processing, so that the MIDI keyboard 121 is not connected, and the extension program “Chorus” is not installed. The environment template data includes all data flows shown in FIG. 3, that is, data relating to data flows F301 to F309. However, the environmental data actually used in the computer shown in FIG. 4 does not include data relating to the unusable data flow F301, the data flow F304, and the like. As a result, the display unit 106 does not display the user interface associated with the unusable data flow F304.
[0048]
Next, the details of the operation of the computer 1 when the user installs the basic program and the extension program in the computer 1 in order and uses the music application 1 will be described. The user can download the basic package of the music application 1 to the computer 1 from the HP (Home Page) of the music application 1 via the Internet. The basic package includes a plurality of environment template data and a plurality of component data in addition to the basic program.
[0049]
The user can install the basic program included in the downloaded basic package on the computer 1. When installing the basic program, the CPU 101 checks the environment of the computer 1 and creates a program database, an input / output database, a processing database, a component data database, a plurality of environment data, and an environment data database. The CPU 101 stores these databases and the like in the HD 105. Hereinafter, the configuration and contents of each of the above databases will be described.
[0050]
FIG. 5 is a diagram showing the contents of the program database when only the basic program is installed. The program database is a database in which information of programs stored in the HD 105 is registered. At this stage, the program ID, program name, version information, and program file name of the installed basic program are registered in the program database. In the example shown in FIG. 5, the version of the basic program is 1.0, and the storage destination in the HD 105 is c: \ musicsystem \ program \ p0001. exe.
[0051]
FIG. 6 illustrates the contents of the input / output database when only the basic program is installed. The input / output database is a database that defines what data is input and output for each program stored in the HD 105. As shown in this figure, a program ID and a program name of a basic program and each program related thereto are registered in the input / output database. Each of these programs has one or more types of data that can be input and output. Therefore, in the input / output database, each data type and input / output ID are registered for each data that can be input / output by each program. One input / output ID field is divided into input and output subfields.
[0052]
In the data example of FIG. 6, “microphone”, “speaker”, “display” and “MIDI interface” are programs belonging to the OS. For example, the program “microphone” converts an analog audio signal input from an external device into digital audio data by the analog audio input unit 110 and the A / D converter 111, and outputs the digital audio data to another program. As described above, the program “microphone” outputs audio data to another program, but the other program does not input audio data to the program “microphone”. Therefore, only the input / output ID for output is assigned to the program “microphone”. The input / output ID is assigned independently for each program.
[0053]
FIG. 7 is a diagram showing the contents of the processing database when only the basic program is installed. The programs registered in the program database cause the CPU 101 to perform one or more processes. The processing database includes, for each of the processes executed in accordance with the programs registered in the program database, a program for executing the respective processes for receiving a parameter designation or the like from a user or displaying a result to a user. , And a process ID, a process name, and a setting range of each process are registered. The setting range is information indicating a range of parameters that can be given by the user to the process, and specifically, a range of numerical values, ON or OFF, and the like are registered.
[0054]
According to the data example in FIG. 7, among the processes performed by the basic program, the termination of the music application 1, the activation of the environment setting of the music application 1, and the activation of the browser are registered. In this database, the processing ID is independently assigned to each program.
[0055]
FIG. 8 is a diagram showing the contents of the component data database when only the basic program is installed. In the component data database, component data IDs, component style names, component types, and component data file names of component data usable in the music application 1 are registered. The component data is data that is downloaded to the computer 1 together with the program, and is data representing a component of a screen, such as a command button or a text box, that is, a component that can be a user interface. The component data includes image data for displaying the component on the screen as a user interface and, when a user operation such as clicking with a mouse is performed on the displayed user interface, in accordance with the operation. It comprises a program module to be executed.
[0056]
FIG. 9 is a diagram showing the contents of the environment data database when only the basic program is installed. In the environment data database, environment data IDs, environment data names, and environment data file names are registered with respect to environment data usable in the music application 1. All the environment data registered in the environment data database shown in FIG. 9 are environment data generated when the basic program is installed, based on the environment template data included in the basic package. Hereinafter, a process of generating environment data from environment template data included in the basic package will be described.
[0057]
FIG. 10 is a diagram showing the contents of the environment template data “toolbar for main menu”. As shown in this figure, the environment template data includes an input / output relationship table indicating data input / output relationships between programs, components of a screen, that is, user interfaces, and components indicating processes associated with those user interfaces. It consists of a table.
[0058]
The input / output relation table is an aggregate of a plurality of input / output relation data. Each input / output relation data has an output field and an input field, and certain output data of a certain program specified by the output field becomes certain input data of a certain program specified by the input field. Is shown. The output field includes a program ID and a program name of a program that is a source of output data, and a data type and an input / output ID of the output data. On the other hand, the input field has a program ID and a program name of a program to which the output data indicated by the output field is supplied. Further, the input field has information representing what output data specified by the output field is handled as input data in the program of the supply destination, specifically, the data type and input / output ID of the input data. . For example, the input / output relation data in the fifth row of the input / output relation table in FIG. 10 indicates that the sound output from the basic program is input to the speaker as the sound.
[0059]
On the other hand, the component table is composed of a plurality of component data representing individual user interfaces arranged on the screen. One component data is composed of a component ID, a component data ID, a component type, display position information, and a link destination process ID. The component data ID, component type, and display position information in the component data are data relating to the display of the user interface, and these are collectively referred to as user interface data. On the other hand, the link destination process ID is data relating to a process associated with the user interface, and is referred to as link data. The specific role of these data will be explained together in the following description of the environmental data.
[0060]
FIG. 11 is a diagram showing the contents of the environment data “toolbar for main menu”. As described above, the environment data is generated by extracting data currently available in the computer 1 from data included in the environment template data. Further, when the environment data is generated from the environment template data, the display position information in the environment template data is corrected if necessary, and the corrected display position information is registered in the environment data. Here, the environment data has the same name as the original environment template data. Therefore, the name of the environment data generated from the environment template data “toolbar for main menu” is “toolbar for main menu”.
[0061]
Next, a specific example of environment data generation processing will be described using the environment template data “toolbar for main menu” and the environment data “toolbar for main menu” as examples. First, when the basic program is installed from the basic package, the CPU 101 reads the environment template data “main menu toolbar” from the basic package according to the basic program. Subsequently, the CPU 101 determines whether or not each input / output relation data constituting the input / output relation table of the environment template data is to be incorporated into the environment data. More specifically, the CPU 101 registers in the input / output database both the set of the program ID and the input / output ID of the output field of the input / output relation data to be determined and the set of the program ID and the input / output ID of the input field. It is determined whether or not it has been performed. If this determination result is affirmative, the CPU 101 sets the input / output relation data as the target to be incorporated into the environment data, and otherwise, does not incorporate it into the environment data.
[0062]
For example, the input / output relation data shown in the fourth row of the input / output relation table of FIG. 10 indicates the flow of data from the basic program to the MIDI interface, and the program ID “P0001” of the basic program is displayed in the output field. It has a MIDI input / output ID "MO01", and has a MIDI interface program ID "S0085" and a MIDI input / output ID "MI01" in the input fields. However, in this input / output relation data, the set of the program ID “S0085” and the input / output ID “MI01” in the input field is not registered in the input / output database (FIG. 6). This is because the computer 1 does not have an interface for MIDI output, and other programs cannot input MIDI data to the MIDI interface. Therefore, the CPU 101 excludes the fourth line from the target for incorporating the input / output-related data into the environmental data. The CPU 101 performs the above-described processing on all the input / output relation data in the input / output relation table to create environment data.
[0063]
Subsequently, the CPU 101 determines whether or not the link destination process ID of each component element data included in the environment template data is registered in the process database (FIG. 7). When the determination result is affirmative, the CPU 101 incorporates the component data to be determined into the environment data, and when the determination result is negative, does not incorporate the component data into the environment data.
[0064]
For example, P0001-CB101 is registered as a link destination process ID in the second row of the component table in FIG. 10, but since this process ID is registered in the process database, it is incorporated in the environment data. The CPU 101 performs the same processing for all the component data in the component table. With the above processing, the environment data is generated from the environment template data.
[0065]
Next, the role of the environment data generated as described above will be described. First, the input / output relation table of the environment data indicates the input / output relation of data between programs, as already described in the environment template data. When generating the output data according to a certain program, the CPU 101 refers to the input / output relation table and transfers the generated data to the program specified by the input / output relation table as input data.
[0066]
The component table of the environment data is composed of a plurality of component data. Each component data is data related to an individual component displayed on the screen, that is, data related to the user interface, as described in the environment template data, and includes component ID, component data ID, component type, and display position information. And a link destination processing ID. As in the case of the environment template data, the component data ID, component type, and display position information related to the display of the user interface are called user interface data, and the link destination process ID related to the process associated with the user interface is the link data. Called.
[0067]
The component ID is an ID for uniquely identifying each user interface. In order to display the image of each user interface on the screen, it is necessary to refer to any component data in the component data database. The component data ID and the component type in the component data specify which component data in the component data database should be referred to in order to display the image of the user interface specified by the component ID.
[0068]
The display position information is information for specifying a display position and a display size of the user interface, and includes four numerical values. The first and second numerical values in the display position information specify the X coordinate value and the Y coordinate value of the most upper left representative point on the screen in the display image of the user interface specified by the component ID. Things. The third numerical value in the display position information specifies the size of the display image on the user interface in the Y-axis direction, and the fourth numerical value specifies the size in the X-axis direction.
[0069]
The link destination process ID is information indicating a process to be executed when an operation such as a mouse click is performed on a display image of the user interface. The process ID registered in the process database (FIG. 7) is a program ID. And the processing ID. Note that not all user interfaces need to be linked to any process.
[0070]
Next, the role and relationship of each component data in the component table will be described. First, the component data in the first row of the component table is data corresponding to the background of the screen displayed on the display unit 106. The component data of the first row includes the X and Y coordinate values of the upper left position of the background of the screen displayed on the display unit 106 as the display position information. The component data in the second and subsequent rows of the component table are data corresponding to the user interface displayed on the background, and the X and Y coordinate values included in the data are the origin at the upper left corner of the background. X and Y coordinate values of the user interface in the obtained XY coordinate system.
[0071]
According to the component table shown in FIG. 11, the data in the first row specifies an image whose component data ID is IM101 as the background of the screen. The component data “IM101” is a transparent rectangle according to the component data database (FIG. 8). Subsequently, the data in the second line indicates that the command button is displayed on the background and that the processing “P0001-CB101” is linked to the command button. According to the processing database (FIG. 7), this processing is termination processing of the music application 1 by the basic program. Similarly, the data in the third and fourth lines indicates that two more command buttons are displayed on the background, and that the linking of the process for starting the environment setting of the music application 1 and the process for starting the browser is performed. ing.
[0072]
Next, FIG. 12 is a diagram showing the contents of the environment data “Main Menu Classic”. The input / output relation table of FIG. 12 is the same as the input / output relation table of the environment data “toolbar for main menu” (FIG. 11), but the constituent element table is different from that of the environment data “toolbar for main menu”. First, the data in the first row specifies the component data “IM089” as the background of the screen. The component data “IM089” is a light blue rectangle according to the component data database (FIG. 8). Subsequently, the data on the second line specifies that the component data “CW035” is to be displayed on the background. The child window which is the component type of the component data “CW035” is a screen area used by each process to display information to the user.
[0073]
Subsequently, the data in the third line specifies that the component data “EV201” is to be displayed on the screen on the background. However, component data whose component type is environmental data is not registered in the component data database (FIG. 8). In this way, when there is data specifying a component whose component type is environmental data in the component table, the data specifies that a screen constituted by the environmental data is to be displayed as a part of the entire screen. ing.
[0074]
In the following description, if a component table of a certain environment data specifies a screen composed of other environment data as a component, the former environment data is the parent environment data, and the latter is the child environment data. Call. According to the environment data database (FIG. 9), the environment data whose environment data ID is EV201 is the environment data “main menu toolbar” (FIG. 11). This environment data “main menu toolbar” is a child environment data of the environment data “main menu classic”. Conversely, the environment data “Main Menu Classic” is the parent environment data of the environment data “Main Menu Toolbar”.
[0075]
FIG. 13 shows a screen displayed on the display unit 106 by the CPU 101 according to the component table of the environment data “Main Menu Classic”. The command button group 141 in FIG. 13 corresponds to the environment data “toolbar for main menu” in FIG. 11 referred to by the component data in the third row of the component table in FIG. The child window 142 in FIG. 13 corresponds to the component data in the second row of the component table in FIG.
[0076]
The basic package also includes environment data other than the environment data “Main Menu Classic” and “Tool Bar for Main Menu”. For example, the environment data “main menu / casual” is registered in the environment data database (FIG. 9). By specifying part data different from the environment data “main menu / classic”, the environment data shown in FIG. Is environmental data constituting a screen having a different appearance from the screen shown in FIG.
[0077]
Subsequently, an outline of the function of the environment setting of the music application 1 included in the basic program will be described. FIG. 14 is a screen for setting the environment of the music application 1. According to FIG. 14, the items of the environment setting are classified into “environment data”, “package”, and “other”.
[0078]
On the screen of the environment setting “environmental data”, the user can specify the environment data to be selected at the time of starting the music application 1 from those registered in the environment data database (FIG. 9). According to the example shown in FIG. 14, the environment data “main menu / classic” is specified as the environment data selected at the time of startup. Further, on this screen, the user can add, delete, and edit environmental data.
[0079]
On the environment setting “package” screen (not shown), the user can add or delete an extension package, upgrade the basic package and the extension package, and the like. At that time, the program database (FIG. 5) is updated and referenced. On the environment setting “others” screen (not shown), the user can perform settings related to data format, settings related to MIDI, settings of a user account, settings related to security, and the like.
[0080]
Next, the operation of the CPU 101 when the music application 1 is activated will be described with reference to FIG. First, when the user gives an instruction to start the music application 1 to the computer 1 (step S101), the CPU 101 reads out the basic program from the HD 105 to the RAM 104, and according to the basic program, reads out the environmental data specified as the environmental data at the time of startup. An environment data ID is obtained (step S102). According to the specific examples (hereinafter, simply referred to as “specific examples”) shown in each of FIGS. 5 to 14 above, the environment data ID acquired by the CPU 101 in step S102 is the environment data “Main Menu Classic”. EV301, which is the ID of the device.
[0081]
Subsequently, the CPU 101 refers to the environment data database (FIG. 9) and acquires an environment data file name from the acquired environment data ID (step S103). According to a specific example, the environment data file name obtained by the CPU 101 in step S103 is c: \ musicsystem \ environment \ 301. env.
[0082]
Subsequently, the CPU 101 reads the environment data specified by the obtained environment data file name, and determines whether the component type included in the first component data of the component table of the read environment data is environmental data (step S104).
[0083]
If the result of determination in step S104 is that the component type of the first row is not environmental data, the CPU 101 acquires the component data ID of that row (step S105). According to a specific example, in step S105, the CPU 101 acquires IM089 as the component data ID of the first line of the environment data “Main Menu Classic” (FIG. 12).
[0084]
Next, the CPU 101 refers to the component data database (FIG. 8) and acquires a component data file name from the component data ID (step S106). According to a specific example, the component data file name acquired by the CPU 101 in step S106 is c: \ musicsystem \ part \ 089. img.
[0085]
Subsequently, the CPU 101 reads the component data specified by the component data file name, and displays the image data of the read component data at the position specified by the display position information of the environment data with the size specified (step S107). For the background component displayed first, instead of using the position specified by the display position information as the origin of the XY coordinate system, for example, a variable position based on the screen position of the music application 1 at the previous end is used as a reference. It may be a position. According to a specific example, in step S107, the CPU 101 displays a light blue rectangle at an appropriate position on the display unit 106 as a background.
[0086]
Subsequently, the CPU 101 determines whether or not there is next component data to be processed in the component table (step S108). If there is the next component data, the CPU 101 determines whether there is the next component data in steps S104 to S108. Repeat the process. In the specific example, since the component table of the environment data “Main Menu / Classic” has three rows of component data, the process for the component data of the first row is followed by the processing of step S104 for the component data of the second row. The process from step S108 is performed, and the process returns to step S104 again. Through such a process, the CPU 101 causes the display unit 106 to display the child window. Note that a series of processing from step S104 to step S107 is hereinafter referred to as “component display processing”.
[0087]
In step S104, if the component data to be determined specifies environment data as the component type, the component data ID in the component data is the child environment data in which the currently read environment data is the parent environment data. Is specified. In that case, the CPU 101 acquires the component data ID as the environment data ID of the child environment data (step S109). According to the specific example, since the component type in the third row of the component table of the environment data “Main Menu Classic” is environment data, the CPU 101 sets the value of the component data ID of the data row, that is, the EV 201 to the child environment data. As the environmental data ID.
[0088]
Subsequently, the CPU 101 acquires the environment data file name of the child environment data from the environment data ID of the child environment data with reference to the environment data database (FIG. 9) (step S110). According to a specific example, the environment data file name acquired by the CPU 101 in step S110 is c: \ musicsystem \ environment \ 201. env.
[0089]
Subsequently, the CPU 101 performs a component display process, that is, a series of processes from step S104 to step S107, using the acquired environment data file name (step S111). As a result, the background image indicated by the data in the first row of the component table of the child environment data is displayed on the screen. Subsequently, the CPU 101 determines whether or not there is the next component data to be processed in the component table of the child environment data (step S112). The display process is repeated (step S111). According to the specific example, step S111 is repeated with respect to the component data of the first to fourth rows of the component table of the environment data “toolbar for main menu” (FIG. 11). The display unit 106 displays three command buttons.
[0090]
If it is determined in step S112 that there is no next component data to be processed in the component table of the child environment data, the CPU 101 further determines whether there is the next component data to be processed in the component table of the parent environment data. Is determined (step S113). If there is the next component data in the component table of the parent environment data, the CPU 101 returns the process to step S104, and continues to step S104 until it is determined in step S108 that there is no next component data to be processed. The processing from step S104 to step S108 is repeated. Then, after processing the component data of the last row of the component table of the parent environment data, the CPU 101 ends the above-described series of processes.
[0091]
If there is no next component data to be processed in the component table of the parent environment data in the determination of step S113, the CPU 101 ends the above series of processes. According to the specific example, after the component display processing for the component data in the last row of the component table of the child environment data “Main Menu Toolbar” is completed, the parent environment data “Main Menu Classic” is displayed in the component table. Since there is no remaining component data to be processed, the CPU 101 ends a series of processes.
[0092]
As a result of the above series of processing, the screen illustrated in FIG. 13 is displayed on the display unit 106 as the display screen of the music application 1. If the component table of the child environment data specifies yet another environment data, the processing from step S109 to step S113 is executed recursively. As a result, a screen composed of a plurality of environment data is hierarchically combined to form a more complicated screen.
[0093]
Next, the operation of the music application 1 when the user operates a component of any screen, that is, a user interface on the display screen of the music application 1 will be described. While the screen of the music application 1 is displayed, the CPU 101 periodically performs a process of detecting an operation performed by the user using the operation unit 107 at an extremely short time interval according to the basic program. When the user clicks a specific user interface with the mouse or inputs characters or the like from the keyboard on the screen of the music application 1, the CPU 101 determines the components of the environmental data used for the configuration of the currently displayed screen. Referring to the table, the user interface that is the target of the operation is specified from the position information of the cursor when the operation is performed.
[0094]
Subsequently, when the component table indicates a process linked to the specified user interface, the CPU 101 executes the linked process. At this time, the content of the operation performed by the user, that is, the type of operation such as a click or a double click, the input data, and the like are used for processing as parameters.
[0095]
For example, when the command button “Browser” is clicked on the screen of FIG. 14, the CPU 101 refers to the component table of the parent environment data “Main Menu Classic” (FIG. 12), and subsequently, the child environment data “Main Menu Referring to the component table of the "toolbar" (FIG. 11), it is specified that the clicked position is the display position of the user interface "CB003".
[0096]
Subsequently, since the component type of the user interface “CB003” is the command button, the CPU 101 performs processing when the command button is clicked, that is, changes the display to the pressed state of the command button and generates a click sound. At the same time, the CPU 101 uses the link destination process ID “P0001-CB103” of the user interface “CB003” in the component table and refers to the process database (FIG. 7) to execute the browser startup process of the basic program. As a result, the screen shown in FIG. 13 is displayed on the display unit 106.
[0097]
As described above, the music application 1 including only the basic package has only basic functions such as a browser function. Therefore, a user who cannot be satisfied with this alone can download to the computer 1 a desired extension package among the extension packages shown in FIG. 2 from the HP of the provider of the music application 1 via the Internet. The extension package includes an extension program, a plurality of environment template data, a plurality of component data, audio data used by the extension program, still image data and moving image data, MIDI data, musical score data, sound source data, accompaniment pattern data, and the like. I have.
[0098]
As shown in FIG. 2, the extension packages are classified into “general”, “instrument”, “music”, and the like according to the content. The extension package classified as “general” includes an extension program that causes the computer 1 to realize a function that can be commonly used by players of all musical instruments. For example, the computer 1 realizes a function of adding reverberation to input audio information according to an extension program included in an extension package “reverb” classified as “effector” of “general”.
[0099]
More specifically, in the present embodiment, under the control of the CPU 101, the A / D converter 111 converts an analog audio signal input from the analog audio input unit 110 into digital audio data and records the digital audio data in the RAM 104. I do. When the execution of the extension program “reverb” is instructed, the CPU 101 instructs the DSP 102 to perform reverb processing according to the extension program “reverb”. The DSP 102 reads audio data from the RAM 104 in accordance with an instruction from the CPU 101, generates audio data corresponding to the reverberant sound by processing the preceding audio data, and sequentially adds the audio data to the subsequent audio data to generate audio data for reproduction. I do. The audio data for reproduction generated by the DSP 102 is generated as a musical tone through a D / A converter 112, an amplifier 113, and a speaker 114. The reverb process may be performed by the CPU 101 without using the DSP 102.
[0100]
The extension package categorized as “musical instrument” includes an extension program that causes the computer 1 to function as a musical instrument or a part of a musical instrument by realizing the functions of an audio device such as a sound source module and a guitar amplifier. For example, the computer 1 realizes the function of an electronic piano sound source according to the extension program “electronic piano”.
[0101]
More specifically, first, the expansion package includes, as waveform data, audio data obtained by sampling each pitch of the acoustic piano. When instructed to execute the extension program “electronic piano”, the CPU 101 receives MIDI data from the MIDI keyboard 121 or the like according to the extension program “electronic piano”, and generates a waveform corresponding to a pitch specified by the MIDI data. It instructs the DSP 102 to reproduce the data. The DSP 102 reads designated waveform data from the RAM 104 in accordance with an instruction from the CPU 101, performs processing such as pitch adjustment on the waveform data, and generates audio data for reproduction. The audio data for reproduction generated by the DSP 102 is generated as a musical tone through a D / A converter 112, an amplifier 113, and a speaker 114. The processing performed by the DSP 102 may be performed by the CPU 101.
[0102]
The extension program that causes the computer 1 to realize the function of the sound source module includes a subtraction method other than the method of using the sound data obtained from the actual instrument sound as described above when the computer 1 generates the electronic musical sound. , An addition method, an FM (Frequency Modulation) method, a physical modeling method, and a combination thereof.
[0103]
The extension package classified as "music" includes an extension program for assisting the user in performing music. For example, in accordance with an extension program included in an extension package “for Elise” classified as “classical piano” of “song”, the computer 1 displays a score of the song “for Elise”, plays an accompaniment, Perform performance evaluation.
[0104]
Next, an example in which the user installs the extension programs included in the extension package “Sequencer” classified as “General”, the expansion package “Electronic Piano” classified as “Musical Instrument”, and the “Electric Guitar” will be described. The operation of the computer 1 when the program is installed in the computer 1 will be described.
[0105]
The user downloads the extension packages “Sequencer”, “Electronic Piano”, and “Electric Guitar” from the provider's HP to the computer 1, and then installs the extension programs included in these extension packages on the computer 1.
[0106]
When the extension program is installed, information on the installed extension program is registered in the program database (FIG. 5). Further, information relating to input and output of data that can be handled by the installed extension program is registered in the input / output database (FIG. 6). Further, information relating to processing that can be performed by the installed extension program is registered in the processing database (FIG. 7). In the component data database (FIG. 8), information on the component data installed on the computer 1 from the extension package is registered together with the installed extension program. FIGS. 16, 17, 18, and 19 show a program database, an input / output database, a processing database, and a component data database, respectively, updated as a result of the installation of three extension programs.
[0107]
Subsequently, new environment data is generated from the environment template data included in the extension package. The configuration and role of the environment template data included in the extension package and the processing when the environment data is generated from the environment template data are the same as the environment template data included in the basic package. Hereinafter, the process of generating environment data will be supplementarily described using a specific example.
[0108]
FIG. 20 is a diagram showing the contents of environment template data “Piano Classic” included in the extension package “Electronic Piano”. When the environment template data is downloaded to the computer 1, the configuration of the hardware of the computer 1 and the configuration of the already installed extension program are unknown. Therefore, in the input / output relation table of the environment template data, the input / output relation data that specifies the input / output relation of all data that may be used when executing the extension program “electronic piano” is listed. I have.
[0109]
Similarly, the component table of the environment template data includes a list of component data specifying the user interface linked to the processing of any other programs that may be used together with the extension program “electronic piano”. Has been up.
[0110]
Of the input / output relation data and the component data of the environment template data, only data that can be used in the computer 1 is extracted to generate environment data. In addition, with the extraction process, if necessary, the display position information in the environment template data is corrected, and the corrected display position information is used as the display position information of the environment data.
[0111]
FIG. 21 is a diagram showing the contents of environment data "Piano Classic" generated from environment template data "Piano Classic" (FIG. 20). For example, among the data included in the environmental template data “Piano Classic”, the input / output relation data related to the extension program “Reverb” and the like not installed in the computer 1 is included in the environmental data “Piano Classic”. Not. Further, for example, the display position information of the user interface “SK001” or the like is changed in the environment data “Piano Classic” from that in the environment template data “Piano Classic”.
[0112]
When new environment data is generated as described above, the environment data database (FIG. 9) is updated according to the new environment data. FIG. 22 is a diagram showing the contents of the environment data database after updating. Further, when a new extension program is installed, all of the existing environment data is updated by the basic program. Because new input / output relations and processing of available data occur between the existing extension program and new extension program, data corresponding to those input / output relations and processing must be extracted from the environment template data again. It is necessary to include it in environmental data.
[0113]
FIG. 23 shows the case where three extension programs “Sequencer”, “Electronic Piano” and “Electric Guitar” are installed after the basic program is installed, and environmental data updated with the installation of these extension programs. It is a figure showing the contents of "main menu classic." The environment data shown in FIG. 23 is compared with the environment data “Main Menu Classic” before the update (FIG. 12), and the component ID of the environment data “Main Menu Classic” after the update has each of the component IDs. Three rows of component data “CB001”, “CB002” and “CB003” are added. These correspond to the three newly installed extension programs "Sequencer", "Electronic Piano" and "Electric Guitar".
[0114]
In FIG. 23, for example, “P0001-EV451” is designated as the link destination processing ID in the user interface “CB002”. “P0001-EV451” indicates the environment data “EV451”. According to the environment data database (FIG. 22), the environment data whose environment data ID is EV451 is the environment data “piano classic”. That is, the component data of the user interface “CB002” in the updated environment data “Main Menu Classic” is configured by the environment data “Piano Classic” from the screen configured by the environment data “Main Menu Classic”. Command buttons for displaying a screen to be displayed.
[0115]
Next, an operation of the CPU 101 according to the music application 1 after the extension program is installed will be described. When the user instructs to start the music application 1, the CPU 101 reads the environment data “Main Menu Classic” (FIG. 23) according to the basic program, and displays the screen shown in FIG. 24 on the display unit 106 according to the environment data. Let it. 24, a command button group 143 corresponding to the newly installed extension program is added to the screen shown in FIG.
[0116]
When the user clicks the command button “sequencer” on the screen of FIG. 24, the CPU 101 refers to the environment data “main menu / classic” according to the basic program, and the link destination processing ID “P0001-EV401” of the clicked command button. To get. Since the latter half of the ID starts with EV, the CPU 101 recognizes that this ID indicates environmental data, and refers to the environmental data database (FIG. 22), and the environmental data ID is EV401. As the environment data file name of the environment data, c: \ musicsystem \ environment \ 401. Get env.
[0117]
The CPU 101 reads the environment data “Sequencer Original” indicated by the acquired environment data file name, and performs the processing from step S104 described with reference to the flowchart of FIG. As a result, the screen shown in FIG. 25 is displayed on the display unit 106.
[0118]
On the screen of FIG. 25, the user can play, record, edit, and the like MIDI data and audio data. That is, the user can use the computer 1 as a music sequencer by using various functions of the extension program “sequencer” from the screen of FIG. The functions of the music sequencer that can realize the extension program “sequencer” are the same as those of a general music sequencer, and a detailed description thereof will be omitted.
[0119]
Similarly, when the user clicks the command button “electronic piano” on the screen of FIG. 24, the screen shown in FIG. At this time, the environmental data used is the environmental data “Piano Classic”. On the screen shown in FIG. 26, the user can perform a performance using, for example, the MIDI keyboard 121, and can generate a piano sound that is electronically generated according to MIDI data generated by the performance from the speaker 114 of the computer 1.
[0120]
That is, the user can use the computer 1 as an electronic piano sound source by using various functions of the extension program “electronic piano” from the screen of FIG. Since the function of the electronic piano sound source that can realize the extension program “electronic piano” is the same as the function of a general electronic piano sound source, detailed description will be omitted.
[0121]
Similarly, when the user clicks the command button “Electric Guitar” on the screen of FIG. 24, the screen shown in FIG. At this time, the environmental data used is the environmental data “guitar solid”. On the screen of FIG. 27, the user can use the computer 1 as an amplifier simulator.
[0122]
For example, in a state where the screen of FIG. 27 is displayed, the user plays using the electric guitar 122. An analog audio signal output from electric guitar 122 is converted to digital audio data in A / D converter 111. The digital audio data is subjected to processing such as acoustic distortion processing and amplification of frequency components in the DSP 102, and is generated as audio data for reproduction. The reproduction audio data generated by the DSP 102 is generated via a D / A converter 112, an amplifier 113, and a speaker 114. As a result, the user can hear a tone similar to that produced when the tone generated by the electric guitar 122 is generated by the guitar amplifier. Note that the function of the guitar amplifier that can realize the extension program “Electric Guitar” is the same as the function of a general amplifier simulator, and a detailed description thereof will be omitted. The processing performed by the DSP 102 may be performed by the CPU 101.
[0123]
As described above, the screens shown in FIGS. 25, 26, and 27 correspond to the extension programs “sequencer”, “electronic piano”, and “electric guitar”, respectively, and the user can switch between these screens. As in the case where a plurality of different applications are used, the computer 1 can be used like different specific electronic devices. Hereinafter, the features of the music application 1 will be described in more detail.
[0124]
First, on each screen of the music application 1, the user can use functions of a plurality of different extension programs. For example, the user interface group 151 in FIG. 26 is a slider group for the user to adjust the brightness of the sound generated by the electronic piano sound source and the sense of the weight of the keyboard, and is linked to the processing of the extension program “electronic piano”. Have been. On the other hand, the user interface group 152 in FIG. 26 is a command button or the like used by the user for recording a performance and playing back an accompaniment and the like, and is linked to processing of the extension program “sequencer”.
[0125]
As described above, on each screen of the music application 1, the user can use the functions of a plurality of different extension programs, but the user does not need to be aware of the individual extension programs. For example, the processes linked to the user interface group 152 in FIG. 26 and the user interface group 153 in FIG. 27 are processes of the same extended program “sequencer”. However, since the user interface group 152 and the user interface group 153 have different appearances and are arranged so as to be suitable for the purpose of use of each screen, the user uses the functions of these extended programs and the functions of one program. Available with a sense.
[0126]
The music application 1 can expand its functions by installing a necessary extension program by the user. However, the user needs to perform complicated setting operations and the like in order to use the function of the newly installed extension program on each screen. No need to do.
[0127]
FIGS. 28 and 29 show the environmental data “Piano Classic” when the user further installs the extension packages “for Elise”, “Chorus”, “Reverb”, “Delay” and “Distortion” on the computer 1. And a screen displayed by “Guitar Solid”.
[0128]
26, a user interface group 155, a user interface group 156, and a user interface group 157 are added to the screen of FIG. Similarly, a user interface group 158 is added to the screen of FIG. 29 in addition to the screen of FIG. In the screens of FIGS. 28 and 29, the arrangement position and the size of the user interface are adjusted, and a natural screen configuration is obtained. The addition of these user interfaces is automatically realized when environment data is generated from environment template data when a new extension program is installed.
[0129]
By the way, in FIG. 28, a user interface linked to the processing of the newly installed extension programs “delay” and “distortion” is not arranged. This is designed on the assumption that the environmental template data "Piano Classic" used to generate the environmental data "Piano Classic" is mainly used by users who play classical piano music. This is because there is no data line related to the extension programs “delay” and “distortion” which are not usually used for playing music. Similarly, the screen of FIG. 29, which is assumed to be used by the user playing the electric guitar music, is linked to the processing of the newly installed extension programs “for Elise” and “Reverb”. No user interface is provided, but instead a user interface linked to the processing of the extension programs “delay” and “distortion” is provided.
[0130]
As described above, even when a new extension program is installed, a user linked to a process that is deemed necessary according to the relationship between the processing of the existing extension program and the processing of the new extension program. Only the interface is added to each screen. As a result, unnecessary command buttons and the like are not added to the screen by the addition of the extension program, and the usability of the user is not impaired. Selection of these user interfaces is also automatically realized when environment data is generated from environment template data when the extension program is installed.
[0131]
As described above, processing of a plurality of extension programs can be linked to one screen. That means that the processing of one extended program can be linked to a plurality of screens. For example, FIG. 30 is a screen displayed in accordance with environment data “guitar / eleako” generated from environment template data “guitar / eleako” included in the extension package “electric guitar”.
[0132]
Although the basic configuration and available processing of the screen of FIG. 30 are the same as those of the screen of FIG. 29, the screen of FIG. 30 is arranged so as to be suitable for a player of an electric acoustic guitar, and The effector types are different. Therefore, even when mainly using the same extension program, the user can select a more convenient application environment according to the purpose of use.
[0133]
Although detailed description is omitted in the above description, the user can freely edit existing environment data on the screen of the environment setting “environment data” of the music application 1. The user can also create completely new environmental data. In that case, the user can select the component data registered in the component data database and the process registered in the processing database, construct the desired screen configuration and use it on each screen simply by arranging them on the screen. The process can make a selection.
[0134]
[2: Second Embodiment]
Hereinafter, as a second preferred embodiment of the present invention, it is possible to make a computer realize the functions of an electronic piano sound source and a guitar amplifier, and to automatically switch those programs according to external devices connected to the computer. The configuration and operation of the application to be executed will be described.
[0135]
[2.1: Configuration and operation of computer and external device]
First, the configuration and operation of the computer 2 which is an execution environment of the application according to the second embodiment (hereinafter, referred to as “music application 2”) and external devices connected to the computer 2 will be described with reference to FIG. .
[0136]
Since the computer 2 has many common components with the computer 1 of the first embodiment, in FIG. 31, the same components are denoted by the same reference numerals as those in FIG. Hereinafter, only the differences between the computer 2 and the computer 1 will be described. FIG. 31 does not show the MIDI input / output unit 109, analog audio input unit 110, and A / D converter 111 which are not used in the following description.
[0137]
The computer 2 has a USB (Universal Serial Bus) interface 201. The USB interface 201 relays transmission and reception of data configured according to the USB standard between the computer 2 and an external device.
[0138]
The USB standard is a standard for general-purpose data transmission. According to the USB standard, an information device such as a computer can transmit and receive all types of data including audio data and image data. When data is transmitted and received between information devices (hereinafter, referred to as “USB devices”) configured according to the USB standard, one of the USB devices plays a role of a master and the other plays a role of a slave. Since the master USB device mainly manages data transmission, a computer or the like having a high data processing capability is used as the master USB device.
[0139]
When the slave USB device is connected to the master USB device, the slave USB device transmits a device ID, which is an identifier of the slave USB device, to the master USB device. The USB device on the master side reads a driver program necessary for data transmission with the USB device on the slave side in accordance with the device ID transmitted from the USB device on the slave side. The USB interface 201 is an interface that performs processing of the above-described master-side USB device, and includes a USB host controller and the like. The device ID includes a class ID indicating the type of the USB device, a revision ID indicating the new or old USB device of the same type, a vendor ID indicating the manufacturer of the USB device, and the like. A necessary driver program may be incorporated by using one or a combination of the IDs of the USB devices.
[0140]
Instead of the MIDI keyboard 121 and the electric guitar 122 in the first embodiment, a USB keyboard 202 and a USB guitar 203 are connected to the computer 2 in the second embodiment. These components are connected to the USB interface 201.
[0141]
The USB keyboard 202 has substantially the same configuration and function as the MIDI keyboard 121 of the first embodiment, but has a USB interface 2021 for performing communication processing of a USB device on the slave side, unlike the MIDI keyboard 121. The USB interface 2021 includes a USB slave controller and the like. The USB keyboard 202 generates MIDI data in accordance with a user's operation of a keyboard or the like, converts the generated MIDI data into a data format conforming to the USB standard, and transmits the data via the USB interface 2021.
[0142]
The USB guitar 203 includes a steel string attached to a main body, a sensor 2031 that picks up vibration of the string and converts the vibration into an analog audio signal, an A / D converter 2032 that converts an analog audio signal output from the sensor 2031 into digital audio data, and It has a USB interface 2033 that performs communication processing of the USB device on the slave side. The USB interface 2033 includes a USB slave controller and the like. The USB guitar 203 further converts the audio information based on the vibration of the strings converted into digital audio data by the A / D converter 2032 into a data format in accordance with the USB standard, and then transmits the converted data via the USB interface 2033.
[0143]
[2.2: Configuration and operation of music application]
The configuration and operation of the music application 2 are common to the music application 1 in many points. Therefore, only the points where the music application 2 differs from the music application 1 will be described below. In the following description, it is assumed that all the extension programs used in the description of the first embodiment are installed in the computer 2.
[0144]
In the music application 2 of the second embodiment, an environment data database shown in FIG. 32 is used instead of the environment data database used in the music application 1 of the first embodiment. The environment data database of FIG. 32 has a type field in addition to the environment data database in the first embodiment. In the type field, information indicating the type of the USB device connected to the computer 2 when each environmental data is displayed is registered.
[0145]
The music application 2 uses the device environment-related data shown in FIG. 33 in addition to the database and the like in the first embodiment. In the device environment related data, a user ID of a user using the music application 2, a device ID of a USB device connected to the computer 2, and an environment data ID are registered. However, the device ID shown in FIG. 33 is simplified for the sake of explanation, and a device ID according to the USB standard is actually used.
[0146]
At the stage when the basic program is installed in the computer 2, nothing is registered in the device environment related data, and the data is sequentially registered by a USB device registration process described later. The method by which the computer 2 acquires the user ID will also be described later in the description of the USB device registration process.
[0147]
The basic package in the second embodiment includes the device database shown in FIG. 34 in addition to the basic package in the first embodiment, and this device database is stored in the HD 105 when the basic program is installed. The device database has device ID and type fields. In the device database, device IDs of all USB devices that are connected to the computer and can be used when the music application 2 is executed are listed together with information indicating the type of the USB device.
[0148]
Next, the operation of the music application 2 will be described. When the user uses the music application 2, the user needs to perform a USB device registration process described below. First, when the user performs an operation of activating the music application 2, the CPU 101 causes the display unit 106 to display a screen for requesting input of a user ID according to the basic program. On the screen, the user inputs his or her user ID. As an example, assume that the user has input a user ID of JOE005. Thereafter, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 24 according to the environment data specified as the environment data at the time of startup.
[0149]
Subsequently, the user connects the USB keyboard 202 to the USB interface 201. When connected to the computer 2, the USB keyboard 202 detects the connection and transmits the device ID of the USB keyboard 202 to the computer 2. As an example, it is assumed that the device ID of the USB keyboard 202 is USBKB0035.
[0150]
When receiving the device ID from the USB keyboard 202, the CPU 101 refers to the device database (FIG. 34) and determines whether or not the device ID is registered in the device database. If the received device ID is not registered in the device database, the CPU 101 does not perform any processing. In this case, since USBKB0035 is registered in the device database, the CPU 101 temporarily stores the value of the type of the device “USBKB0035”, that is, “keyboard” in the RAM 104. Subsequently, the CPU 101 refers to the device environment-related data (FIG. 33) and determines whether or not data having a user ID of JOE005 and a device ID of USBKB0035 is registered.
[0151]
In this case, no data with the user ID JOE005 and the device ID USBKB0035 is registered in the device environment-related data. In that case, the CPU 101 displays the screen shown in FIG. That is, the screen of FIG. 35 is displayed when a certain user connects to the computer 2 for the first time while using a music application 2 with a certain USB device usable in the music application 2.
[0152]
When the screen of FIG. 35 is displayed, the CPU 101 reads out the type value “keyboard” temporarily recorded in the RAM 104 and refers to the environment data database (FIG. 32). The data that matches the value of the type read from is extracted. Then, the CPU 101 displays the environment data name of the environment data obtained as the extraction result in the list box 251.
[0153]
The user selects environmental data corresponding to a screen normally used together with the USB keyboard 202 on the screen of FIG. 35, and clicks a command button “OK”. As an example, it is assumed that the user selects the environment data “piano classic”.
[0154]
When the command button “OK” in FIG. 35 is clicked, the CPU 101 refers to the environment data database (FIG. 32) and replaces the environment data ID “EV451” of the environment data selected by the user with the device environment related data (FIG. 33). ) Is registered together with the user ID and the device ID. Subsequently, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 28 based on the environment data selected by the user. Through the above processing, the USB keyboard 202 is registered in the music application 2.
[0155]
Subsequently, the user registers the USB guitar 203 in the music application 2. In that case, the user disconnects the USB keyboard 202 from the computer 2 and connects the USB guitar 203 to the computer 2. After that, the same processing as the above-described processing for the USB keyboard 202 is performed for the USB guitar 203, and the registration processing of the USB guitar 203 is performed.
[0156]
As an example, it is assumed that the device ID of the USB guitar 203 is USBGT1208, and the user selects “guitar / eleaco” as environment data used when using the USB guitar 203. As a result, the CPU 101 causes the display unit 106 to display the screen shown in FIG. As a result of the above processing, the device environment related data (FIG. 33) is updated as shown in FIG.
[0157]
When the USB device is registered in the device environment-related data as described above, in the music application 2, the user can switch the screen only by connecting the USB device. Hereinafter, a screen switching operation by the music application 2 will be described.
[0158]
The user activates the music application 2 and inputs the user ID “JOE005” according to the instructions on the screen. Subsequently, the user connects the USB keyboard 202 to the computer 2. The USB keyboard 202 transmits the device ID “USBKB0035” to the computer 2.
[0159]
Upon receiving the device ID from the USB keyboard 202, the CPU 101 refers to the device database (FIG. 34) and determines whether or not the received device ID is registered. In this case, since the received device ID is registered in the device database, the CPU 101 subsequently refers to the device environment-related data (FIG. 36), and data having a user ID of JOE005 and a device ID of USBKB0035 is registered. Is determined.
[0160]
In this case, since the data having the user ID of JOE005 and the device ID of USBKB0035 are registered in the device environment-related data, the CPU 101 acquires the environment data ID “EV451” of the data having the user ID of JOE005 and the device ID of USBKB0035. I do. Subsequently, the CPU 101 refers to the environment data database (FIG. 32) and displays the screen shown in FIG. 28 on the display unit 106 based on the environment data “Piano Classic” indicated by the acquired environment data ID “EV451”. Let it.
[0161]
Thereafter, it is assumed that the user has finished using the music application 2 using the USB keyboard 202 and wishes to use the music application 2 using the USB guitar 203. In that case, the user disconnects the USB keyboard 202 from the computer 2 and connects the USB guitar 203 to the computer 2. When the USB guitar 203 is connected to the computer 2, the same processing as that for the USB keyboard 202 described above is performed for the USB guitar 203, and the CPU 101 performs the processing shown in FIG. 30 based on the environmental data “guitar and electric piano”. The screen is displayed on the display unit 106.
[0162]
As described above, the user can switch the screen display, that is, the application environment, simply by connecting the USB device to the computer. That is, since the environment of the application automatically changes according to the connected USB device, the user can use the computer as if it were a part of each USB device.
[0163]
Next, an operation when a user different from the above-mentioned user whose user ID is KEN102 uses the music application 2 will be described. Note that this user has already performed the above-described USB device registration processing for the USB keyboard 202 and the USB guitar 203, and by the registration processing, the user ID and the device ID are stored as data in the first and second rows in FIG. And the environment data ID are registered in the device environment related data.
[0164]
This user starts the music application 2 and inputs the user ID “KEN102” according to the instructions on the screen. Thereafter, the user connects, for example, the USB guitar 203 to the computer 2. The USB guitar 203 detects the connection, and transmits the device ID “USBGT1208” of the USB guitar 203 to the computer 2. Subsequently, the same processing as when the user whose user ID is JOE005 connects the USB guitar 203 to the computer 2 is performed. In this case, since the user ID is KEN102, the CPU 101 The environment data ID “EV501” is acquired from FIG. 36). As a result, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 29 based on the environment data “guitar solid” indicated by the environment data ID “EV501”.
[0165]
As described above, even when an application is used using the same USB device, the user of the application automatically changes the environment of the application. It can be used as if it were part of a USB device.
[0166]
[2.3: Modification of Second Embodiment]
In the example described above, a data transmission method according to the USB standard is used as a data transmission method between a computer and an external device connected to the computer. However, the data transmission method that can be adopted in the present invention is not limited to the method according to the USB standard.
[0167]
For example, when a computer and an external device are connected, such as a data transmission method according to the IEEE (Institute of Electrical and Electronics Engineers) 1394 standard, either the computer or the external device automatically detects the connection, Any data transmission method that defines the mechanism by which the external device transmits its own device ID to the computer can be adopted.
[0168]
Further, even in a data transmission method in which a mechanism for automatically transmitting a device ID is not specified, for example, a computer periodically sends a request for transmission of a device ID to an external device and acquires a device ID from the external device. Where possible, the invention can be implemented.
[0169]
For example, the MIDI standard does not specify a mechanism by which an electronic device automatically transmits a device ID to a connected electronic device. However, in the MIDI standard, an identity request that is a request message for a device ID and an identity reply that is a transmission message can be used. Accordingly, a computer having a MIDI interface for inputting and outputting MIDI data transmits an identity request from the MIDI interface at sufficiently short intervals while executing an application. When an external device is connected to the MIDI interface, the external device sends an identity reply to the identity request. As a result, the computer can identify the model of the externally connected device.
[0170]
[3: Third Embodiment]
Hereinafter, as a third preferred embodiment of the present invention, a computer virtually implements a practice room for music performance of vocals and electric guitars, and the environment of these applications is automatically adjusted in accordance with audio information input to the computer. A configuration and an operation of an application that can be selectively switched will be described.
[0171]
[3.1: Configuration and operation of computer and external device]
First, the configuration and operation of the computer 3 as an execution environment of the application according to the third embodiment (hereinafter, referred to as “music application 3”) and external devices connected to the computer 3 will be described with reference to FIG. .
[0172]
Since the computer 3 has many common components with the computer 1 of the first embodiment, in FIG. 37, the common components are denoted by the same reference numerals as those in FIG. Note that the MIDI input / output unit 109 is not used in the third embodiment, and thus the MIDI input / output unit 109 is not shown in FIG. The other components are the same as the components of the computer 1, and the description thereof is omitted.
[0173]
In the third embodiment, a microphone 301 is connected to the analog audio input unit 110 in addition to the electric guitar 122. The microphone 301 is a microphone for vocals, has a diaphragm, a voice coil, and the like, and converts sound into an analog electric signal and outputs the signal.
[0174]
[3.2: Configuration and operation of music application]
The configuration and operation of the music application 3 are common to the music application 1 in many points. Therefore, only the points where the music application 3 is different from the music application 1 will be described below.
[0175]
The music application 3 uses the voice environment-related data shown in FIG. 38 in addition to the various databases and the like in the first embodiment. In the sound environment-related data, sound feature data indicating a sound feature is registered together with the environment data ID. The content and role of the audio feature data will be described later. When the basic program is installed in the computer 3, nothing is registered in the voice environment related data, and the data is sequentially registered by a voice registration process described later.
[0176]
In the following description, the computer 3 includes, in addition to all the extension programs used in the description of the first embodiment, an extension package “Sakura Sakura” shown in FIG. It is assumed that each extension program of the extension package "Soon" classified as "Electric Guitar" of "Song" is installed. FIG. 39 shows an environment data database in a state where these extension programs are installed in the computer 3.
[0177]
Hereinafter, the outline of the operation of the extension program classified as “music” will be described by taking the extension program “Sakura Sakura” as an example. The extended package "Sakura Sakura" includes, in addition to the extended program, environmental template data and parts data, image data of musical score, MIDI data for accompaniment, digital voice data of each part of vocal, comment data according to the score of singing performance. Etc. are included.
[0178]
FIG. 40 is a screen displayed by the CPU 101 on the display unit 106 based on the environmental data “vocal classic” according to the basic program. In the screen of FIG. 40, first, the user connects the microphone 301 to the analog voice input unit 110 of the music application 3, and then checks, for example, the check boxes “piano” and “melody 2” of the user interface group 352. Subsequently, when the user clicks the command button “play” of the user interface group 353, the CPU 101 plays the MIDI data for piano accompaniment and the audio data of the second part of the vocal according to the extension program “sequencer”. Further, the CPU 101 causes the contents of the image data of the musical score to be displayed in the child window of the user interface group 351 according to the extension program “Sakura Sakura”.
[0179]
The user listens to the piano accompaniment and the sound of the second part, which are pronounced from the speaker 114, and performs the singing performance of the first part using the microphone 301 while reading the musical score displayed on the display unit 106. The voice of the user's singing performance is sequentially recorded in the RAM 104 as digital voice data via the microphone 301 and the A / D converter 111. In accordance with the extension program “Sakura Sakura”, the CPU 101 reads digital voice data of the first part of the vocal (hereinafter referred to as “sample data”) and digital voice data generated by the user's singing performance (hereinafter referred to as “performance data”). ) And evaluate the rhythm, pitch and strength of the user's singing performance.
[0180]
That is, for example, the CPU 101 compares the change timing of the frequency of the sound indicated by the sample data with the change timing of the frequency of the sound indicated by the performance data, and quantifies the rhythm deviation. Further, the CPU 101 quantifies, for example, the average frequency shift and the volume shift between the specific portion of the sample data and the specific portion of the performance data associated with each other based on the frequency change timing.
[0181]
When the user finishes the singing performance and clicks the command button “stop” of the user interface group 353, the CPU 101 displays the result of the above-mentioned score and the content of the comment data corresponding to the result on the user interface group 354. In this way, the computer 3 realizes the practice support of the singing performance of the user according to the extension program “Sakura Sakura”.
[0182]
FIG. 41 is an example of a screen displayed on the display unit 106 by the CPU 101 based on the environmental data “guitar solid” according to the basic program. The screen shown in FIG. 41 includes a user interface group 361, a user interface group 362, and a user interface group 361 linked to the processing of the extension program "Soon" in addition to the screen (FIG. 29) based on the environmental data "guitar solid" in the first embodiment. A user interface group 363 has been added. The roles of these user interface groups are the same as the roles of the user interface group 351, the user interface group 352, and the user interface group 354 in FIG. The operation of the extension program "Soon" is the same as the operation of the extension program "Sakura Sakura".
[0183]
Next, the operation of the music application 3 will be described. When the user uses the music application 3, the user needs to perform a voice registration process described below. First, when the user starts the music application 3, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 42 on the display unit 106 according to the environment data designated as the environment data at the time of startup according to the basic program. The screen at the start of the music application 3 is different from the screen at the start of the music application 1 (FIG. 24) in that a command button “register voice” is added.
[0184]
The user connects the microphone 301 to the analog audio input unit 110 of the computer 2. Subsequently, when the user clicks the command button “voice registration” in FIG. 42, the CPU 101 causes the display unit 106 to display the screen shown in FIG. The user follows the instructions on the screen of FIG. 43 and clicks the command button “Start”, and then speaks to the microphone 301 for three seconds or more.
[0185]
The user's voice is recorded in the RAM 104 as digital voice data (hereinafter, referred to as “sample data”) via the microphone 301 and the A / D converter 111. Subsequently, the CPU 101 obtains the formant frequency of the sound indicated by the sample data.
[0186]
The formant frequency is a kind of an index indicating a feature of a sound. FIG. 44 is a diagram schematically showing digital audio data obtained by sampling a certain audio. In FIG. 44, the horizontal axis represents time, and the vertical axis represents sound pressure level. As described above, the digital audio data shows an audio waveform as a whole.
[0187]
FIG. 45 is a diagram schematically showing the result of calculating the frequency components of the digital audio data shown in FIG. 44 using the fast Fourier transform method. In FIG. 45, the horizontal axis indicates frequency, and the vertical axis indicates the amplitude of each frequency component included in the voice. FIG. 46 is a diagram schematically showing the result of smoothing the amplitude of the frequency component shown in FIG. 45 using a low-pass filter or the like. The vertical and horizontal axes in FIG. 46 are the same as those in FIG.
[0188]
According to the data in FIG. 46, peaks are confirmed at the respective frequencies of 0.42 kHz, 1.21 kHz, 3.37 kHz and 3.83 kHz. The frequencies corresponding to these peaks are formant frequencies, and are referred to as a first formant frequency and a second formant frequency, respectively, from the lower frequency side.
[0189]
That is, the CPU 101 instructs the DSP 102 to perform a fast Fourier transform process, a filter process using a low-pass filter, and the like using the sample data recorded in the RAM 104. The DSP 102 reads the sample data from the RAM 104 according to the instruction of the CPU 101, generates the data shown in FIG. The CPU 101 reads the data recorded in the RAM 104 by the DSP 102, performs a differentiation process on the read data, and calculates the above-mentioned formant frequency up to the third formant frequency. The processing performed by the DSP 102 may be performed by the CPU 101.
[0190]
After completing the calculation of the formant frequency, the CPU 101 causes the display unit 106 to display a screen shown in FIG. The user selects, for example, environmental data “vocal classic” according to the instructions on the screen in FIG. 47, and clicks the command button “OK”.
[0191]
The CPU 101 refers to the environment data database (FIG. 39) and registers the environment data ID “EV601” of the environment data selected by the user in the environment data ID field of the voice environment related data (FIG. 38). Further, the CPU 101 registers the values of the first to third formant frequencies calculated previously in the field of the audio feature data in the same data row of the audio environment related data. Subsequently, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 40 based on the environment data “vocal classic” selected by the user. Through the above processing, the voice generated by the user is registered in the music application 3.
[0192]
Subsequently, the user registers the sound of the electric guitar 122 in the music application 3. In that case, the user disconnects the microphone 301 from the computer 3 and connects the electric guitar 122 to the computer 3. Thereafter, the user clicks the command button “Main Menu” on the screen of FIG. As a result, the screen shown in FIG. 42 is displayed on the display unit 106. On the screen in FIG. 42, the user clicks the command button “voice registration”. Subsequently, the screen shown in FIG. 43 is displayed on the display unit 106.
[0193]
On the screen of FIG. 43, the user plays the strings of the electric guitar 122 and inputs the analog audio signal generated by the electric guitar 122 to the computer 3. After that, the same processing as that performed when the microphone 301 is used is also performed on the electric guitar 122. At this time, as an example, it is assumed that the user selects the environmental data “guitar solid” on the screen in FIG. As a result, the CPU 101 causes the display unit 106 to display the screen shown in FIG. 41 based on the environmental data “guitar solid”.
[0194]
As a result of the above processing, the voice environment related data (FIG. 38) is updated as shown in FIG. In FIG. 48, data having a voice ID of WAV 207 is data corresponding to voice generated by the user, while data having a voice ID of WAV 208 is data corresponding to voice generated by electric guitar 122.
[0195]
When the voice is registered in the voice environment-related data as described above, in the music application 3, the user can switch the screen only by inputting the voice. Hereinafter, the screen switching operation by the music application 3 will be described.
[0196]
The user first activates the music application 3, connects the microphone 301 to the computer 3, and then goes to the microphone 301 and utters a voice similar to the voice uttered at the time of registration in FIG. The voice generated by the user is sequentially recorded in the RAM 104 as digital voice data via the microphone 301, the analog voice input unit 110, and the A / D converter 111. On the other hand, according to the basic program, the CPU 101 constantly repeats the above-described process of obtaining the formant frequency using digital audio data recorded in the RAM 104 for a predetermined period of time, for example, three seconds.
[0197]
When the CPU 101 calculates the formant frequency from the digital audio data for three seconds recorded in the RAM 104, the CPU 101 refers to the audio environment-related data (FIG. 48) and uses the newly calculated formant frequency (hereinafter, referred to as "sample frequency"). Using the formant frequencies registered in the voice environment-related data (hereinafter, referred to as “registered frequencies”), the value of Err shown in the following equation (1) is obtained. Here, the sample frequency is (S1, S2, S3) and the registered frequency is (R1, R2, R3).
(Equation 1)

[0198]
Err in Expression (1) is an index indicating a deviation between each registered frequency and the sample frequency. The smaller the value of Err, the more similar the sample frequency and the registered frequency are. Therefore, the voice currently input to the computer 3 by the user is similar to the voice used for registration of the voice environment related data. In addition to the equation (1), various indices indicating the similarity between the sample frequency and the registered frequency can be considered. For example, an absolute value may be used instead of the square of the difference between each term of the sample frequency and the registered frequency in Expression (1). Further, the first term of the sample frequency and the registered frequency may be set as a set, the second term may be set as a set, and the third term may be set as a set, and the correlation coefficient may be obtained for these sets.
[0199]
When obtaining the value of Err in Expression (1) with respect to each data of the voice environment related data, the CPU 101 determines whether or not the obtained value of Err is a predetermined value, for example, 0.01 or less. Now, as an example, it is assumed that the sample frequency obtained by the utterance of the user is (0.41, 1.22, 3.73). This value is similar to the registered frequency whose audio ID is registered in the data line of WAV207 in the audio environment related data. This is because those frequencies are calculated from voices generated by the same user with the same utterance. Therefore, the value of Err calculated using the registered frequency of the sound “WAV207” is equal to or less than the predetermined value of 0.01.
[0200]
When the value of Err is equal to or less than a predetermined value, the CPU 101 refers to the voice environment related data and acquires the environment data ID “EV601” of the data row in which the registered frequency used for calculating Err is the voice feature data. . Subsequently, the CPU 101 refers to the environment data database (FIG. 39) and causes the display unit 106 to display the screen shown in FIG. 40 based on the environment data “vocal classic” indicated by the environment data ID “EV601”.
[0201]
Thereafter, it is assumed that the user has finished using the music application 3 using the microphone 301 and wishes to use the music application 3 using the electric guitar 122. In that case, the user disconnects the microphone 301 from the computer 3 and connects the electric guitar 122 to the computer 3. When the user uses the electric guitar 122 to input an audio signal similar to that at the time of registration on the screen of FIG. 43 to the computer 3, the CPU 101 performs the same processing as that for the audio signal input from the microphone 301 described above. This is performed for the audio signal input from the input terminal 122. In this case, regarding the audio feature data of the audio “WAV208” in the audio environment-related data, the value of Err becomes 0.01 or less. Then, the screen shown in FIG. 41 is displayed on the display unit 106.
[0202]
As described above, according to the third embodiment, the environment of the application is automatically switched according to the audio signal input to the computer. Therefore, when different users use the same application, the user can switch the environment of the application only by inputting his / her voice into the computer with the microphone. Further, when the user uses an application by connecting a different audio device to the computer, the user can switch the environment of the application only by inputting an audio signal from the audio device to the computer.
[0203]
Accordingly, the user can use the computer as if it were an electronic device configured for himself, or use the computer as if it were part of an audio device.
[0204]
[3.3: Modification of Third Embodiment]
In the example described above, the similarity of speech is calculated using the formant frequency. However, the index indicating the similarity of speech that can be adopted in the present invention is not limited to the formant frequency, and various speech recognition methods such as a speech recognition method using a stochastic model can be adopted. Also, the method of calculating the formant frequency is not limited to the method described above. For example, a normal Fourier transform may be used instead of the fast Fourier transform.
[0205]
[4: Modification]
The above-described first to third embodiments are exemplifications of the embodiments of the present invention, and various modifications can be made to the above-described embodiments without departing from the gist of the present invention. Hereinafter, modified examples will be described.
[0206]
[4.1: First Modification]
In the first modification, each component of the computer is not necessarily arranged in the same housing, and some components are arranged separately from other components. For example, the HD, the display unit, the operation unit, the amplifier, the speaker, and the like may be connected as external devices to the computer. Further, different information devices connected to each other via a LAN or the like, for example, a computer having a DSP having a high processing capability and a computer having a CPU having a different high processing capability cooperate with the computer shown in each of the above embodiments. Processing may be performed.
[0207]
According to the first modification, the user can cause the computer to execute the application according to the present invention by effectively utilizing the resources of various information devices that are distributed and arranged.
[0208]
[4.2: Second Modification]
In the second modification, the computer has a wireless communication interface, and can receive data from an external device having a wireless communication function via the wireless communication interface. The computer selects environmental data, switches screens, and the like in accordance with data received from an external device via wireless communication. According to the second modification, the user can save time and effort required to connect and disconnect the cable between the computer and the external device, and the convenience is improved.
[0209]
[4.3: Third Modification]
In the third modification, the computer further includes a component for reading data from an external recording medium such as a CD-ROM (Compact Disc Only Memory) drive, and includes a basic package, an extension package, and the like stored in a CD-ROM or the like. Can be read, and the programs included in them can be installed. According to the third modification, the user can cause the computer to execute the application according to the present invention even when using a computer that is difficult to connect to the Internet.
[0210]
[4.4: Fourth Modification]
In the fourth modification, the basic program and the extension program are described in a language executable by browser software such as XML (Extensible Markup Language). Further, various data such as environmental data and the contents of the database are described in a language capable of defining a data structure such as XML.
[0211]
According to the fourth modification, an application that is a composite of the basic program and the extension program can be executed in the browser software. Therefore, the program developer uses the functions of the existing browser software to display the contents in each program. And various functions such as reproduction of audio data and the like can be realized in the program, and the burden on development can be reduced. Further, cooperative processing with other data described in a language such as XML, such as processing for embedding a screen display related to the basic program and the extended program in a screen of a related HP, is easily realized.
[0212]
【The invention's effect】
As described above, according to the program of the present invention, the development and management of the program are performed in units of extension packages, so that the developer of the program can easily develop and manage the program. In addition, since the user can select and purchase only the extension program desired to be used, the cost burden of the user purchasing the program is reduced.
[0213]
At the same time, according to the program of the present invention, even if many extension programs are installed, command buttons and the like related to the functions of the many extension programs are displayed, and it becomes difficult for the user to find necessary functions. There is no inconvenience.
[0214]
Further, according to the program of the present invention, since the processes of a plurality of extension programs related to each other can be used from the same screen, the user does not need to be aware of different extension programs.
[0215]
Furthermore, according to the program of the present invention, a screen is displayed in which only the user interface linked to the necessary processing according to the purpose of use is displayed, so that the user can use the application as if using a different application for each screen. Can be used. At that time, the user can easily change the environment of the application only by switching the screen.
[0216]
Furthermore, according to the program of the present invention, the user can easily adjust the environment of the application to one suitable for his / her own purpose by editing the environment data indicating the configuration of the screen.
[0219]
Further, according to the program of the present invention, the user can change the environment of the application only by connecting the external device to the computer. Further, according to the program of the present invention, the user can change the environment of the application only by inputting audio information to the computer.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a computer and external devices connected to the computer according to a first embodiment.
FIG. 2 is a diagram illustrating a configuration of a music application according to the first, second, and third embodiments.
FIG. 3 is a diagram illustrating a relationship between a basic program and an extension program according to the first embodiment, the second embodiment, and the third embodiment.
FIG. 4 is a diagram showing a relationship between a basic program and an extension program according to the first embodiment, the second embodiment, and the third embodiment.
FIG. 5 is a diagram showing contents of a program database according to the first embodiment, the second embodiment and the third embodiment.
FIG. 6 is a diagram showing contents of an input / output database according to the first embodiment, the second embodiment, and the third embodiment.
FIG. 7 is a diagram showing contents of a processing database according to the first embodiment, the second embodiment, and the third embodiment.
FIG. 8 is a diagram showing contents of a component data database according to the first, second, and third embodiments.
FIG. 9 is a diagram showing contents of an environment data database according to the first embodiment and the third embodiment.
FIG. 10 is a diagram showing contents of environment template data according to the first embodiment.
FIG. 11 is a diagram showing contents of environment data according to the first embodiment.
FIG. 12 is a diagram showing contents of environment data according to the first embodiment.
FIG. 13 is a diagram showing a screen display according to the first embodiment.
FIG. 14 is a diagram showing a screen display according to the first embodiment.
FIG. 15 is a flowchart showing screen display processing according to the first, second, and third embodiments.
FIG. 16 is a diagram showing contents of a program database according to the first embodiment.
FIG. 17 is a diagram showing contents of an input / output database according to the first embodiment.
FIG. 18 is a diagram showing contents of a processing database according to the first embodiment.
FIG. 19 is a diagram showing contents of a component data database according to the first embodiment.
FIG. 20 is a diagram showing the contents of environment template data according to the first embodiment.
FIG. 21 is a diagram showing contents of environment data according to the first embodiment.
FIG. 22 is a diagram showing contents of an environment data database according to the first embodiment.
FIG. 23 is a diagram showing contents of environment data according to the first embodiment.
FIG. 24 is a diagram showing a screen display according to the first embodiment and the second embodiment.
FIG. 25 is a diagram showing a screen display according to the first embodiment.
FIG. 26 is a diagram showing a screen display according to the first embodiment.
FIG. 27 is a diagram showing a screen display according to the first embodiment.
FIG. 28 is a diagram showing a screen display according to the first embodiment and the second embodiment.
FIG. 29 is a diagram showing a screen display according to the first embodiment and the second embodiment.
FIG. 30 is a diagram showing a screen display according to the first embodiment and the second embodiment.
FIG. 31 is a diagram illustrating a configuration of a computer and external devices connected to the computer according to the second embodiment.
FIG. 32 is a diagram showing contents of an environment data database according to the second embodiment.
FIG. 33 is a diagram showing contents of device environment related data according to the second embodiment.
FIG. 34 is a diagram showing contents of a device database according to the second embodiment.
FIG. 35 is a diagram showing a screen display according to the second embodiment.
FIG. 36 is a diagram showing contents of device environment related data according to the second embodiment.
FIG. 37 is a diagram illustrating a configuration of a computer and external devices connected to the computer according to the third embodiment.
FIG. 38 is a diagram showing contents of audio environment related data according to the third embodiment.
FIG. 39 is a diagram showing contents of an environment data database according to the third embodiment.
FIG. 40 is a diagram showing a screen display according to the third embodiment.
FIG. 41 is a diagram showing a screen display according to the third embodiment.
FIG. 42 is a diagram showing a screen display according to the third embodiment.
FIG. 43 is a diagram showing a screen display according to the third embodiment.
FIG. 44 is a diagram showing an example of audio data for explaining a formant frequency.
FIG. 45 is a diagram illustrating an example of frequency components of audio data for describing a formant frequency.
FIG. 46 is a diagram illustrating an example of frequency components of smoothed audio data for explaining a formant frequency.
FIG. 47 is a diagram showing a screen display according to the third embodiment.
FIG. 48 is a diagram showing the contents of voice environment related data according to the third embodiment.
[Explanation of symbols]
1, 2, 3 ... computer, 101 ... CPU, 102 ... DSP, 103 ... ROM, 104 ... RAM, 105 ... HD, 106 ... display unit, 107 ... -Operation unit, 108: NW input / output unit, 109: MIDI input / output unit, 110: Analog audio input unit, 111, 2032: A / D converter, 112: D / A converter 113, an amplifier, 114, a speaker, 115, a bus, 120, an Internet, 121, a MIDI keyboard, 122, an electric guitar, 201, 2021, 2033, a USB interface, 202 USB keyboard, 203 USB guitar, 2031 sensor, 301 microphone.

Claims

One or more extension programs, user interface data defining one or more user interfaces for receiving instructions from a user, and each of the one or more user interfaces for execution control of the one or more extension programs A computer having a memory storing a plurality of environment data including link data to be associated;
Environmental data selection processing for selecting one environmental data from the plurality of environmental data;
A user interface providing process for providing one or more user interfaces according to the selected environment data;
An extended program control process for controlling execution of an extended program associated with the user interface by link data included in the selected environment data when a user operation is performed on one of the provided one or more user interfaces; Basic program to execute

Each of the plurality of environment data indicates whether input data required by each process executed according to the one or more extension programs is output data of any process performed according to the one or more extension programs. Including input-output related data shown,
When the computer executes a certain process according to the one or more extended programs and obtains output data in the process, the basic program includes input / output data included in the environment data selected in the environment data selection process. The basic program according to claim 1, wherein the basic program causes the computer to execute a process of using the output data as input data in accordance with the relation data.

The basic program is:
In the memory, when a certain extension program is newly stored, the computer, for each of the plurality of environment data, to add data related to the newly stored extension program,
When any of the one or more extension programs stored in the memory is deleted from the memory, the computer deletes data related to the deleted extension program from each of the plurality of environment data. The basic program according to claim 1 or 2, wherein the basic program is executed.

The computer can receive a device ID for identifying each of the one or more external devices from one or more external devices,
In the memory, device environment relation data indicating a correspondence between the device ID and the environment data is stored,
When the computer receives a device ID from one of the one or more external devices, the basic program associates the computer with the device ID received by the device environment-related data in the environment data selection process. The basic program according to any one of claims 1 to 3, wherein the selected environment data is selected.

The computer can acquire audio information from an external device,
In the memory, audio environment relationship data indicating a correspondence between the audio feature data and the environment data, which are information indicating characteristics of one or a plurality of audio information, is stored.
The basic program is:
When the computer receives voice information from the external device, the computer causes the computer to execute voice feature data generation processing for generating voice feature data indicating a feature of the voice information from the received voice information,
4. The computer according to claim 1, wherein, in the environment data selection processing, the computer selects environment data associated with the voice feature data generated in the voice feature data generation processing based on the voice environment related data. 5. Basic program described in.

The basic program according to claim 1, wherein at least one of the one or more extension programs causes the computer to execute audio data generation processing for electronically generating audio data.

A recording medium on which the basic program according to claim 1 is recorded.