JP2007256502A - 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム - Google Patents

Abstract

【課題】ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムを提供する。
【解決手段】ユーザの顔を撮像して得られた撮像データから、特徴抽出部１０２により、ユーザの顔の特徴が抽出され、この抽出された特徴から、表情抽出部１０３により、ユーザの顔の表情が抽出され、この抽出された顔の表情を示す表情情報が、合成部１０６により、演奏データと合成されて、送信部１０８を介して、他の端末２００に送信される。一方、他の端末２００から送信されてきた演奏データは、受信部１１０を介して受信され、分離部１１１により、受信した演奏データから演奏情報と表情情報とが分離され、演奏情報は、音源回路１０９により、楽音信号に変換され、表情情報は、キャラクタ合成部１１２により、キャラクタに反映されて、表情の反映されたキャラクタが、表示装置１１３上に表示される。
【選択図】図２

Description

本発明は、通信ネットワークを介して相互に接続された複数の端末間で、演奏データの送受信を行う演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムに関する。

通信ネットワークを介して相互に接続された複数の端末間で、演奏データの送受信を行う演奏データ遠隔通信システムは、従来から知られている。

このような演奏データ遠隔通信システムとして、演奏データに加えて、音声データや画像データを各端末間で送受信するようにしたものがある（たとえば、特許文献１参照）。この従来の演奏データ遠隔通信システムでは、複数の端末のうちの一部端末は、カメラを備え、そのユーザの演奏状況などを、カメラを用いて撮像し、生成した撮像データを、通信ネットワークを介して他の端末に送信することができるように構成されている。
特開２００３−２５５９３５号公報

しかし、上記従来の演奏データ遠隔通信システムでは、端末間で撮像データの送受信がなされるので、通信時のデータ量が多くなってしまう。

さらに、上記従来の演奏データ遠隔通信システムでは、ユーザの演奏状況などをそのまま撮像しているので、その結果得られた撮像データには、ユーザの顔や背景がそのまま入ることになる。そして、このような撮像データが他の端末に送信されることになるので、ユーザのプライバシーが守られない。もちろん、ユーザによっては、この程度のプライバシーについては気にしないという人もいるが、そのようなユーザでも、他のユーザに「見られている」という意識が働き、演奏に影響が出てしまう虞はあり得る。

ところで、ユーザを撮像して得られた撮像データから表情などの情報を抽出し、表情に合ったキャラクタ画像を生成する技術も知られている。たとえば、特開２００３−１６４７５号公報には、生成したキャラクタ画像を、ネットワークを介して他の端末に送信したり、表情特徴情報を、ネットワークを介して他の端末に送信後、他の端末において、キャラクタ画像を生成するようにしたものが記載されている。このような技術によれば、データ量の増大とプライバシーが守られないという、２つの問題を解決することができる。

しかし、演奏データと同時にキャラクタ画像や表情特徴情報を送信することについては、何ら考慮されていない。

本発明は、この点に着目してなされたものであり、ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の演奏データ遠隔通信システムは、通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末を含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、前記第１の端末は、前記第１のユーザの顔を撮像して、撮像データを生成する撮像手段と、該撮像手段によって生成された撮像データから、前記第１のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第１のユーザの感情を示す感情情報を生成する情報生成手段と、該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、該合成手段によって、前記特徴情報または前記感情情報が合成された演奏データを前記第２の端末に送信する送信手段とを有し、前記第２の端末は、前記第１の端末の前記送信手段によって送信された演奏データを受信する受信手段と、該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出し手段と、該取り出し手段によって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段とを有することを特徴とする。

好ましくは、前記第１の端末は、前記第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第２の情報生成手段をさらに有し、前記合成手段は、前記情報生成手段によって生成された特徴情報または感情情報に代えて、前記第２の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成することを特徴とする。

上記目的を達成するため、請求項３に記載の演奏データ遠隔通信システムは、通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末を含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、前記第１の端末は、前記第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成手段と、該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、該合成手段によって、前記特徴情報または感情情報が合成された演奏データを前記第２の端末に送信する送信手段とを有し、前記第２の端末は、前記第１の端末の前記送信手段によって送信された演奏データを受信する受信手段と、該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出し手段と、該取り出し手段によって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段とを有することを特徴とする。

上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。

上記目的を達成するため、請求項５に記載のプログラムは、請求項３と同様の技術的思想によって実現できる。

請求項１または４に記載の発明によれば、第１のユーザの顔を撮像して得られた撮像データから、顔の特徴や感情が抽出され、抽出された顔の特徴や感情をそれぞれ示す特徴情報または感情情報が、演奏データと合成されて、第２の端末に送信され、第２の端末では、第１の端末から送信されてきた演奏データから、特徴情報または感情情報が取り出され、取り出された特徴情報または感情情報に基づいて、当該感情の反映されたキャラクタが生成されて表示されるので、ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる。そして、感情情報のデータ量は、画像データのデータ量とは比較にならないほど小さいので、通信時のデータ量を削減することができる。さらに、データの送受信については、演奏データについての送受信だけでよいので、データの送受信の仕組みを簡単化することができる。

請求項２に記載の発明によれば、第１の端末は、第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第２の情報生成手段をさらに有し、前記第１の端末の合成手段は、前記撮像に基づいて生成された特徴情報または感情情報に代えて、前記第２の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成するので、第１のユーザの実際の顔の特徴または感情とは異なった特徴または感情を示す特徴情報または感情情報を、第２の端末に送信することができる。具体的には、第１のユーザが、実際には泣いた顔をしていたとしても、第２のユーザに泣いていることを悟られないように、笑う、平常などの他の顔の特徴または感情を示す特徴情報または感情情報を第２の端末に送信することができる。

請求項３または５に記載の発明によれば、請求項１または４に記載の発明と同様に、ユーザのプライバシーを守り、かつ通信時のデータ量を削減しつつ、データの送受信の仕組みを簡単化することができ、さらに、請求項２に記載の発明と同様に、第１のユーザの実際の顔の特徴または感情とは異なった特徴または感情を示す特徴情報または感情情報を、第２の端末に送信することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

本発明の一実施の形態に係る演奏データ遠隔通信システムは、同様に構成された、複数（たとえば、２つ）の端末であって、通信ネットワークを介して相互に接続されたものによって構成されている。

図１は、本実施の形態に係る演奏データ遠隔通信システムに含まれる１つの端末１００の概略構成を示すブロック図である。

同図に示すように、端末１００は、音高情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、主にユーザの顔を撮像する撮像装置５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ９と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１１と、外部からのＭＩＤＩ（Musical Instrument Digital Interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１２と、通信ネットワーク４００を介して、たとえば他の端末２００やサーバコンピュータ（以下、「サーバ」と略して言う）３００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１３と、演奏操作子１から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する音源回路１４と、該音源回路１４からの楽音信号に各種効果を付与するための効果回路１５と、該効果回路１５からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１６とにより構成されている。

上記構成要素３〜１５は、バス１７を介して相互に接続され、ＣＰＵ６にはタイマ９が接続され、ＭＩＤＩＩ／Ｆ１２には他のＭＩＤＩ機器５００が接続され、通信Ｉ／Ｆ１３には通信ネットワーク４００が接続され、音源回路１４には効果回路１５が接続され、効果回路１５にはサウンドシステム１６が接続されている。ここで、通信Ｉ／Ｆ１３および通信ネットワーク４００は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。

外部記憶装置１１としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１１には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この外部記憶装置１１に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。

通信Ｉ／Ｆ１３は、上述のように、たとえばＬＡＮ（Local Area Network）やインターネット、電話回線等の通信ネットワーク４００に接続されており、該通信ネットワーク４００を介して、サーバ３００に接続される。外部記憶装置１１に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１３は、サーバ３００からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子音楽装置は、通信Ｉ／Ｆ１３および通信ネットワーク４００を介してサーバ３００へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ３００は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク４００を介して電子音楽装置へと配信し、電子音楽装置が通信Ｉ／Ｆ１３を介して、これらプログラムやパラメータを受信して外部記憶装置１１に蓄積することにより、ダウンロードが完了する。

他の端末２００は、端末１００と同様の構成要素によって構成されている。

なお、端末１００および２００は、上述の構成から分かるように、電子鍵盤楽器の実施形態を採用しているが、その実施形態は、鍵盤楽器に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の形態でもよい。

以上のように構成された演奏データ遠隔通信システムが実行する制御処理を、図２および図３を参照して詳細に説明する。

図２は、本実施の形態の演奏データ遠隔通信システムが実行する制御処理を説明するための図であり、同図には、本実施の形態の演奏データ遠隔通信システムの制御処理が、端末１００が実行する制御処理を中心に記載されている。

端末１００、特にＣＰＵ６は、主として、
（１）ユーザの顔の特徴から表情を抽出し、抽出した表情を示す表情情報を演奏データと合成し、合成した演奏データを他の端末２００に送信する演奏データ送信処理
（２）他の端末２００から送信されてきた演奏データを受信し、受信した演奏データに合成されている、表情情報を取り出し、その取り出した表情情報に基づいて、当該表情を反映したキャラクタを生成して表示するとともに、受信した演奏データから演奏情報を取り出し、その取り出した演奏情報に基づいて、楽音信号を生成する演奏データ受信処理
の２種類の処理を実行する。

上記（１）の演奏データ送信処理は、図２の制御ブロック１０１〜１０８によって行われ、上記（２）の演奏データ受信処理は、図２の制御ブロック１０９〜１１３によって行われる。ここで、制御ブロック１０２，１０３，１０５，１０６，１１１および１１２は、ＣＰＵ６に相当し、制御ブロック１０４は、前記設定操作子２に相当し、制御ブロック１０８および１１０は、通信Ｉ／Ｆ１３に相当する。

まず、上記（１）の演奏データ送信処理について説明する。

ユーザが、撮像装置５（＝１０１）を用いて、自分の顔を撮像すると、撮像装置５は、ユーザの顔を含む撮像画像を、デジタルデータである、撮像データに変換し、この撮像データに所定の画像変換（たとえば、画質を改善するための画像変換）を施した後、前記ＲＡＭ８の所定位置に確保された撮像データ格納領域（図示せず）に格納する。本実施の形態では、撮像装置５として、デジタルビデオカメラを採用するため、撮像データは、動画像データ（つまり、１フレーム分の撮像データが一定間隔で順次供給されるようなデータ）である。したがって、撮像データ格納領域は、多数フレーム分の撮像データを格納できるように構成されている。

特徴抽出部１０２は、撮像データ格納領域に格納された、複数フレーム分の撮像データに基づいて、ユーザの顔の特徴を抽出し、抽出した特徴を示す特徴情報を生成する。顔の特徴の抽出とは、たとえば、目や口などの、顔の所定の部位がどのような状態になっているかを抽出することである。具体的には、顔の部位として、口が特定された場合、その口が、開いているか、閉じているか、もし開いているなら、どの程度開いているかといった状態を抽出する。抽出方法は、本発明の特徴ではないので、公知のもの、たとえば、エッジ検出を用いればよい。また、顔の輪郭の検出や顔の部位の特定も、エッジ検出を用いて行えばよい。なお、特徴情報のデータフォーマットとしては、たとえば、抽出した特徴を文字コードで表現したテキスト形式を挙げることができる。もちろん、データ量の少ないフォーマットであれば、これに限られる訳ではない。

次に、表情抽出部１０３は、特徴抽出部１０２によって抽出されて生成された特徴情報に基づいて、ユーザの表情を抽出し、抽出した表情を示す表情情報を生成した後、その表情情報を選択部１０５に供給する。たとえば、特徴抽出部１０２から、ユーザの口の開き具合を示す特徴情報が供給された場合、表情抽出部１０３は、そのユーザの口の開き具合から、ユーザの表情（笑っている、怒っている、泣いている、平常など）を抽出（推定）する。なお、表情情報のデータフォーマットも、上記特徴情報のデータフォーマットと同様に、抽出した表情を文字コードで表現したテキスト形式を採用すればよい。

選択部１０５には、表情抽出部１０３から供給された表情情報だけでなく、表情指定部１０４から任意に指定された表情情報も供給される。具体的には、ユーザが選択しそうな表情情報を多数、端末内に予め記憶しておき、該多数の表情情報を表示装置上に一覧表示し、その中から表情指定部１０４にて選択したものを、選択部１０５へと供給する。選択部１０５は、通常は表情抽出部１０３から供給された撮像データに基づく表情情報を選択するが、表情指定部１０４による選択がある場合に限り、表情抽出部１０３からの表情情報に代えて、表情指定部１０４にて選択指定された表情情報を選択して、合成部１０６へと供給する。これにより、送信側の端末は、そのユーザの実際の感情とは異なった感情を示す感情情報を、受信側の端末に送信することができる。具体的には、送信側の端末のユーザが、実際には泣いた顔をしていたとしても、受信側の端末のユーザに泣いていることを悟られないように、送信側の端末は、笑う、平常などの他の感情を示す感情情報を受信側の端末に送信することができる。

なお、表示装置上に表情一覧を表示し、この中からいずれかの表情を表情指定部１０４にて選択指定するものに限らず、選択指定できる表情種類があまり多くない場合には、表情指定部１０４として複数の表情種類をそれぞれ指定するための専用の表情選択操作子を設け、いずれかの操作子の操作に応じて直接表情種類を選択指定するようにしてもよい。

また、表情抽出部１０３にて、１つの表情に特定できない場合もあり得る。具体的には、撮像データに基づいて抽出され生成された特徴情報からは、複数種類の表情のうちのどれに該当するか一意に特定できない場合がある。このような場合には、表示装置上に複数種類の表情候補を表示し、いずれか１つを表情指定部１０４にて選択指定させるようにしてもよい。

合成部１０６には、ユーザが前記演奏操作子１（＝１０７）を用いて行った演奏に応じて発生した演奏情報も供給され、合成部１０６は、供給された表情情報を、供給された演奏情報に基づいて生成した演奏データと合成し、合成した演奏データを送信部１０８に供給する。本実施の形態では、演奏データとして、ＭＩＤＩ形式のデータを採用しているので、表情情報は、ＭＩＤＩメッセージの１つである、システムエクスクルーシブメッセージ中に埋め込まれる。もちろん、演奏データとして、他のフォーマットのものを採用してもよいが、その場合には、どのようにして表情情報を演奏データと合成するかを予め決めておく必要があるとともに、該演奏データでサポートされているデータ形式にて表情情報を埋め込むようにする。

送信部１０８は、供給された演奏データを、通信ネットワーク４００を介して、リアルタイムに他の端末２００に送信する。演奏データをリアルタイムに通信ネットワーク経由で伝達する技術は、たとえば特開平１０−２４０２４２などで公知であり、ここでの詳細説明は省略する。

なお、ユーザが演奏操作子１を用いて行った演奏に応じて発生した演奏情報は、音源回路１４（＝１０９）にも供給され、音源回路１４は、供給された演奏情報に基づいて楽音信号を生成し、生成した楽音信号を前記効果回路１５に供給する。これにより、ユーザは、他の端末２００に送信した、自分の演奏がどのようなものであるかを確認することができる。

次に、前記（２）の演奏データ受信処理について説明する。

前述のように、他の端末２００も、端末１００と同様の構成であるため、他の端末２００からも、表情情報の合成された演奏データが送信されてくる。他の端末２００が、端末１００に向けて、表情情報の合成された演奏データを送信すると、端末１００は、受信部１１０を介して、その演奏データを受信し、受信部１１０は、受信した演奏データを分離部１１１に供給する。

分離部１１１は、受信した演奏データから、演奏情報と表情情報を分離して取り出し、取り出した演奏情報を音源回路１４に供給するとともに、取り出した表情情報をキャラクタ合成部１１２に供給する。

音源回路１４は、供給された演奏情報に基づいて楽音信号を生成し、生成した楽音信号を効果回路１５に供給する。

キャラクタ合成部１１２は、供給された表情情報に基づいて、その表情情報が示す表情を反映させたキャラクタ（を示す画像データ）を生成し、そのキャラクタを表示装置１０（＝１１３）に供給する。表示装置１０は、供給されたキャラクタをそのまま表示する。

図３は、表情の反映されたクマのキャラクタを、表示装置１０上に表示させたときの表示例を示し、同図（ａ）は、平常時の表情を反映させたキャラクタを示し、同図（ｂ）は、怒ったときの表情を反映させたキャラクタを示している。ここで、キャラクタは、１種類のみ存在し、選択の余地がないと、面白味に欠けるため、通常は、複数のキャラクタの中から選択されたものを使用する。その選択の方法としては、たとえば、端末１００の前記ＲＯＭ７あるいは前記外部記憶装置１１内に、多数のキャラクタが予め記憶され、その中から、ユーザがいずれかを選択する方法や、他の端末２００からの演奏データに埋め込まれている表情情報中に、選択されるキャラクタを示す選択情報が書き込まれ、その選択情報が示すキャラクタを、端末１００内の多数のキャラクタから自動的に選択する方法などが考えられる。なお、キャラクタは、端末１００内に予め記憶されたものをそのまま使うのではなく、ユーザが端末１００を用いて自由に作成でき、その作成したものを使うようにしてもよい。

このように、本実施の形態では、ユーザの顔を含むその周辺の画像データをそのまま他の端末に送るのではなく、ユーザの表情を示す表情情報（そのデータ量は、画像データのデータ量とは比較にならないほど小さい）を他の端末に送るようにしたので、送信時のデータ量を削減することができる。また、表情情報の送られた他の端末では、表情情報に基づいて、当該表情の反映されたキャラクタが表示されるので、送信側のユーザのプライバシーが守られる。さらに、表情情報は、演奏データと合成され、表情情報の合成された演奏データが他の端末に送信されるので、他の端末では、送信側のユーザの演奏を聴きながら、そのユーザの表情までうかがうことができ、他の端末のユーザは、単調になりがちな演奏を興味を持って聴くことができる。また、表情情報は、演奏データと合成された状態で、端末間を送受信されるので、各端末は、演奏データを送受信する仕組みだけ備えていれば、別途表情情報を送受信する仕組みを備えていなくてもよく、これにより、データの送受信の仕組みを簡単化することができる。

なお、本実施の形態では、撮像データとして、動画像データを採用したが、静止画像データを採用してもよい。静止画像データを採用した場合には、取り扱うデータの量が、動画像データより少なくなるので、ＣＰＵ６として、演算能力の低いものを採用したときには、静止画像データを採用した方が、好ましい。

また、本実施の形態では、抽出した特徴情報から表情を抽出し、あるいは表情指定部１０４にて表情を指定し、抽出したあるいは指定した表情を示す表情情報を、演奏データと合成し、合成した演奏データを他の端末に送信するようにしたが、これに限らず、抽出した特徴情報あるいは予め端末内に記憶され、図示しない特徴指定部にて指定された顔の特徴情報を、演奏データと合成して、他の端末に送信し、他の端末側で、演奏データから、特徴情報を取り出し、この特徴情報から表情を抽出し、抽出した表情をキャラクタに反映させるようにしてもよい。

また、本実施の形態では、送信側の端末のユーザの顔の表情を抽出するようにしたが、表情より意味の広い、感情（親しみや憎しみなどを含む）を、顔を含むユーザの身振りから抽出し、抽出した感情を示す感情情報を、演奏データと合成するようにしてもよい。

なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施の形態に係る演奏データ遠隔通信システムに含まれる１つの端末の概略構成を示すブロック図である。 本実施の形態の演奏データ遠隔通信システムが実行する制御処理を説明するための図である。 表情の反映されたクマのキャラクタを、図１中の表示装置上に表示させたときの表示例を示す図である。

符号の説明

５…撮像装置（撮像手段），６…ＣＰＵ（情報生成手段、合成手段、送信手段、受信手段、取り出し手段、表示手段、楽音信号生成手段、第２の情報生成手段），１０…表示装置（表示手段），１４…音源回路（楽音信号生成手段），１３…通信Ｉ／Ｆ（送信手段、受信手段），１００…端末（第１の端末），２００…他の端末（第２の端末）

Claims (5)

1. 通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末を含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、
   前記第１の端末は、
   前記第１のユーザの顔を撮像して、撮像データを生成する撮像手段と、
   該撮像手段によって生成された撮像データから、前記第１のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第１のユーザの感情を示す感情情報を生成する情報生成手段と、
   該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、
   該合成手段によって、前記特徴情報または前記感情情報が合成された演奏データを前記第２の端末に送信する送信手段と
   を有し、
   前記第２の端末は、
   前記第１の端末の前記送信手段によって送信された演奏データを受信する受信手段と、
   該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出し手段と、
   該取り出し手段によって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、
   前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段と
   を有する
   ことを特徴とする演奏データ遠隔通信システム。
2. 前記第１の端末は、前記第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第２の情報生成手段をさらに有し、前記合成手段は、前記情報生成手段によって生成された特徴情報または感情情報に代えて、前記第２の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成することを特徴とする請求項１に記載の演奏データ遠隔通信システム。
3. 通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末を含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、
   前記第１の端末は、
   前記第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成手段と、
   該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、
   該合成手段によって、前記特徴情報または感情情報が合成された演奏データを前記第２の端末に送信する送信手段と
   を有し、
   前記第２の端末は、
   前記第１の端末の前記送信手段によって送信された演奏データを受信する受信手段と、
   該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出し手段と、
   該取り出し手段によって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、
   前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段と
   を有する
   ことを特徴とする演奏データ遠隔通信システム。
4. 通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末をそれぞれ制御する制御モジュールを含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムを制御する制御モジュールをコンピュータに実行させるためのプログラムであって、
   前記第１の端末を制御する制御モジュールは、
   前記第１のユーザの顔を撮像して、撮像データを生成する撮像手段によって生成された撮像データから、前記第１のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第１のユーザの感情を示す感情情報を生成する情報生成モジュールと、
   該情報生成モジュールによって生成された特徴情報または感情情報を演奏データと合成する合成モジュールと、
   該合成モジュールによって、前記特徴情報または前記感情情報が合成された演奏データを、送信手段を介して前記第２の端末に送信する送信モジュールと
   を有し、
   前記第２の端末を制御する制御モジュールは、
   前記第１の端末の前記送信手段によって送信された演奏データを、受信手段を介して受信する受信モジュールと、
   該受信モジュールによって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出しモジュールと、
   該取り出しモジュールによって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して、表示手段上に表示する表示モジュールと、
   前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成モジュールと
   を有する
   ことを特徴とするプログラム。
5. 通信回線を介して相互に接続され、第１および第２のユーザによってそれぞれ操作される第１および第２の端末をそれぞれ制御する制御モジュールを含み、該第１の端末と該第２の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムを制御する制御モジュールをコンピュータに実行させるためのプログラムであって、
   前記第１の端末を制御する制御モジュールは、
   前記第１のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成モジュールと、
   該情報生成モジュールによって生成された特徴情報または感情情報を演奏データと合成する合成モジュールと、
   該合成モジュールによって、前記特徴情報または感情情報が合成された演奏データを、送信手段を介して前記第２の端末に送信する送信モジュールと
   を有し、
   前記第２の端末を制御する制御モジュールは、
   前記第１の端末の前記送信手段によって送信された演奏データを、受信手段を介して受信する受信モジュールと、
   該受信モジュールによって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出しモジュールと、
   該取り出しモジュールによって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して、表示手段上に表示する表示モジュールと、
   前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成モジュールと
   を有する
   ことを特徴とするプログラム。

Images