JP2004157394A - 音情報生成システム及び音情報生成方法 - Google Patents

Abstract

【課題】本来は楽器ではない一般物体を入力デバイスとして使用した音楽の演奏などを可能にする音情報生成システムを提供すること。
【解決手段】ユーザが干渉できる対象物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する取得部１１１０，１１２０と、これにより計測された第１及び第２の特徴情報をリアルタイムに解釈する解釈部１２１０，１２２０と、これにより解釈された第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成部１２５０と、これにより生成された音情報を出力する情報呈示装置１３００とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の入力に基づいて音情報を生成する音情報生成システム及び音情報生成方法に関する。
【０００２】
【従来の技術】
楽器ではない一般物体を使って音楽の演奏を行う方法に関する従来技術には以下のものが挙げられる。
【０００３】
第１の従来技術は最も原始的な手段であり、単純に物体同士を衝突させた時の音を利用するものが挙げられる。
【０００４】
しかし、衝突させる物体の大きさや材質に制限があり、音色や音程を自由に変化させることは困難である。
【０００５】
第２の従来技術は、対象物体に発音装置を付加する方法である。楽器ではない一般物体に、物理的または電子的に発音する装置を取り付け、対象物体の運動に対応して発音させる。この技術では、装置の構造が簡単である、物体の運動に忠実に対応して発音できる等の長所を持つ。
【０００６】
しかし、演奏に使用する物体には予め発音装置を取り付けておく必要があり、任意の物体を自由に利用することは出来ない。また、物体の形状や外観的などの外的特徴情報を捉えられず、これらの外的特徴情報の変化に対応した発音が困難である。
【０００７】
第３の従来技術は、対象物体にセンサー類を付加する方法である（例えば、非特許文献１，２参照）。楽器ではない一般物体に加速度センサーや無線タグなどを取り付け、これらのセンサーが計測した情報を情報処理装置に送信して処理することで音情報を生成して発音する。この技術では、音情報を情報処理装置内で合成するため、音色や音階を自由に設定出来るという長所を持つ。
【０００８】
しかし、演奏に使用する物体には予めセンサー類を取り付けておく必要があり、任意の物体を自由に利用することは出来ない。また、物体の形状や外観的な特徴情報を捉えられず、これらの外的特徴情報の変化に対応した発音が困難である。
【０００９】
【非特許文献１】
ｈｔｔｐ：／／ｓｅｇａ．ｊｐ／ｄｃ／ｄｂ／０００４０１．ｈｔｍｌ
【００１０】
【非特許文献２】
ｈｔｔｐ：／／ｓｅｇａ．ｊｐ／ａｒｃａｄｅ／ｓｙａｋａｃｈｕ／ｈｏｍｅ．ｈｔｍｌ
【００１１】
【発明が解決しようとする課題】
楽器ではない一般物体を使って音楽の演奏を行う方法を考えた場合、従来技術には以下の問題点が存在する。
【００１２】
第１の従来技術は非常に原始的なもので、利用できる物体および発音される音質の両方に大きな制限が有る。
【００１３】
第２の従来技術および第３の従来技術においては、物体側に仕掛けが必要であるため、任意の物体を自由に利用することは出来ない。
【００１４】
また、第２の従来技術、第３の従来技術においては、物体の外観情報を取得していないため、例えば物体の色の違いを発音される音の質に反映させることが出来ない。
【００１５】
本発明は、上記事情を考慮してなされたもので、本来は楽器ではない一般物体を入力デバイスとして使用した音楽あるいは楽器の演奏などを可能にする音情報生成システム及び音情報生成方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明に係る音情報生成システムは、物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測手段と、前記計測手段により計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈手段と、前記解釈手段により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成手段と、前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする。
【００１７】
また、本発明に係る音情報生成システムは、互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測手段と、前記計測手段により前記複数の物体の各々について計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈手段と、前記解釈手段により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成手段と、前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする。
【００１８】
好ましくは、前記音情報生成手段が前記音情報を生成するにあたって基とする前記第１及び第２の特徴情報と、当該第１及び第２の特徴情報に基づいて生成される前記音情報との間の関係（関連性、規則性）が、利用者に秘匿されているようにしてもよい。
【００１９】
好ましくは、前記計測手段は、自然光のみに照らされた前記物体からの自然光画像と、照射光のみに照らされた前記物体からの反射光画像との両方を同時に撮影し、前記自然光画像から前記第１の特徴情報を取得し、前記反射光画像から前記第２の特徴情報を取得するものであるようにしてもよい。
【００２０】
また、本発明に係る音情報生成方法は、物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測し、これにより得られた前記第１及び第２の特徴情報をリアルタイムに解釈し、これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、生成された前記音情報を出力することを特徴とする。
【００２１】
また、本発明に係る音情報生成方法は、互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測し、これにより前記複数の物体の各々について得られた前記第１及び第２の特徴情報をリアルタイムに解釈し、これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、生成された前記音情報を出力することを特徴とする。
【００２２】
また、本発明は、コンピュータを音情報生成システムとして機能させるためのプログラムであって、物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測機能と、前記計測機能により計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈機能と、前記解釈機能により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成機能と、前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラムである。
【００２３】
また、本発明は、コンピュータを音情報生成システムとして機能させるためのプログラムであって、互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測機能と、前記計測機能により前記複数の物体の各々について計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈機能と、前記解釈機能により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成機能と、前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラムである。
【００２４】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００２５】
本発明では、楽器ではない一般物体の外観、立体形状、運動などの外的特徴情報を簡便かつ安定的に取得し、それらの変化を捉えて、対応する音情報を生成、発音することで、本来は楽器のように扱えない一般物体を利用して、例えば一般物体を楽器のように利用して楽しむなど、仮想的に音色を楽しむことが可能になる。
【００２６】
また、外的特徴情報を高速に連続して取得することで、外的特徴情報の計測から音情報に変換して発音するまでの処理を即時化することができる。例えば、反射光による測距技術を用いて、楽器ではない一般物体の形状や運動の外的特徴情報を取得し、およびまたは楽器ではない一般物体の画像を動画として連続撮影し、情報処理装置を用いて画像を解析することで、物体の外観などの外的特徴情報を取得し、それらの変化を捉えて対応する音情報を生成して発音する。これによって、本来は楽器ではない一般物体を使って、音楽演奏の様に即時性が要求される用途にも対応するなど、今までに無い娯楽性や芸術性を提供、向上することができ、その効果は絶大である。
【００２７】
また、本発明では、対象物側に仕組みを必要としないため、任意の物体を自由に利用出来るという長所を持つ。また、音情報を情報処理装置内で合成するため、音色や音階を自由に設定出来るという長所も持つ。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００２９】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る情報処理システムの構成例を示す。また、図２に、本実施形態の概観図の一例を示す。また、図３に、本情報処理システムの動作手順の一例を示す。
【００３０】
図１に示されるように、本情報処理システムは、反射光画像取得部１１１０と自然光画像取得部１１２０を含む情報取得装置１１００、形状情報解析部１２１０と外観情報解析部１２２０と形状情報記憶部１２３０と形状情報記憶部１２４０と音情報生成部１２５０とデジタル−アナログ変換部１２６０を含む情報処理装置１２００、アンプ部１３１０とスピーカー部１３２０とを含む情報呈示装置１３００を備えている。なお、図１の例では、デジタル−アナログ変換部１２６０は情報処理装置１２００に含まれるが、デジタル−アナログ変換部１２６０を情報呈示装置１３００に含ませる構成例も可能である。
【００３１】
まず、本実施形態の音情報生成システムの基本的な構成について説明する。
【００３２】
対象物体１０００は、本実施形態の音情報生成システムの利用者が任意に選択する被写物体であり、情報取得装置１１００で情報取得が可能な物体であれば何でもよい。本実施形態では、一例として、対象物体１０００は、高さ２０ｃｍ程度のぬいぐるみとする。
【００３３】
情報取得装置１１００は、反射光画像と通常の自然光画像の両方を撮像する撮像装置である。情報取得装置１１００において、反射光画像取得部１１１０は、対象に対して光を照射し、その反射光による画像を取得するためのものである。他方、自然光画像取得部１１２０は、通常の自然光による画像を取得するためのものである。
【００３４】
情報処理装置１２００は、マイクロプロセッサー等の論理演算回路によって実現されるコンピュータ等の情報処理装置である。情報処理装置１２００において、形状情報解析部１２１０は、反射光画像から対象物体の立体的な形状情報を取得するためのものである。外観情報解析部１２２０は、自然光画像から対象物体の見かけの画像情報を取得するためのものである。形状情報記憶部１２３０は、対象物体の立体的な形状情報を蓄積するためのものである。形状情報記憶部１２４０は、対象物体の見かけの画像情報を蓄積するためのものである。音情報生成部１２５０は、上記の蓄積された立体的な形状情報および見かけの画像情報を参照し、任意に定められた手順に従って、音情報を生成する。デジタル−アナログ変換部１２６０は、デジタル信号で構成される音情報をアナログの音波信号に変換するためのものである。本実施形態では、一例として、情報処理装置１２００は、マイクロプロセッサーを搭載するゲーム機とする。
【００３５】
なお、反射光画像から対象の立体的な形状情報を取得する原理については後述する。
【００３６】
情報呈示装置１３００は、情報処理装置１２００が出力する音情報を外部に呈示するための装置である。情報呈示装置１３００において、アンプ部１３１０は、アナログの音波信号を増幅するためのものである。スピーカー部１３２０は、音波信号を物理的な音波として出力するためのものである。なお、情報呈示装置１３００は、音情報以外の情報を呈示する機構を併せて持つ構成であっても構わない。本実施形態では、一例として、情報呈示装置１３００は、ゲーム機を接続するテレビとする。
【００３７】
次に、反射光画像から対象の立体的な形状情報を取得する原理について説明する。
【００３８】
一般に、反射光の強度は距離の２乗に反比例する性質がある。これにより、対象物体に光を照射してその反射光の強弱を測定すると、光源から対象の各部までの距離が算出可能となる。しかし、自然光が存在する通常の環境下では反射光画像だけを撮影することが出来ない。よって、対象が自然光と照射光の両方に照らされている状態、および対象が自然光のみに照らされている状態の２種類の画像を撮影し、２種類の画像の差分を取ることによって、照射光のみによって照らされた対象の反射光画像を得る。これにより、自然光が存在する通常の環境下でも反射光による画像を撮影し、対象の各部分の距離情報が取得出来る。
【００３９】
次に、情報取得装置１１００の構成例について説明する。
【００４０】
図４に、情報取得装置１１００の構成例を示す。
【００４１】
図４に示されるように、本情報取得装置１１００は、反射光画像を取得するための反射光画像取得部１１１０、自然光画像を取得するための自然光画像取得部１１２０、反射光画像を撮像するために必要な照射光を照射する発光部１１４０、それら各部の動作を制御する撮像動作制御部１１３０を備えている。また、反射光画像取得部１１１０は、反射光画像撮像部１１１１と反射光画像処理部１１１２と反射光画像出力部１１１３を含み、自然光画像取得部１１２０は、自然光画像撮像部１１２１と自然光画像出力部１１２２を含む。
【００４２】
自然光画像取得部１１２０は、対象物体が自然光に照らされた状態の画像を取得し、これを出力する。まず、自然光画像撮像部１１２１が撮像動作制御部１１３０からの制御信号に従って、自然光に照らされた状態の対象物体の画像を撮像し、これを自然光画像出力部１１２２に送信する。
【００４３】
自然光画像出力部１１２２は、自然光画像撮像部１１２１が撮像した画像を、外部のシステムおよび反射光画像処理部１１１２に対して画像データとして出力する。
【００４４】
反射光画像取得部１１１０は、対象物体が照射光に照らされた状態の画像を取得し、これを出力する。まず、反射光画像撮像部１１１１が撮像動作制御部１１３０からの制御信号に従って、照射光および自然光の両方に照らされた状態の対象物体の画像を撮像し、これを反射光画像処理部１１１２に送信する。
【００４５】
反射光画像処理部１１１２は、反射光画像撮像部１１１１が撮影した画像データと、自然光画像撮像部１１２１が撮像した画像のデータの両方を参照し、差分処理を行うことで、発光部１１４０が対象に対して照射した光のみによって照らされた状態の対象物体の反射光画像データを生成する。
【００４６】
反射光画像出力部１１１３は、反射光画像処理部１１１２で生成された反射光画像データを外部のシステムに対して出力する。
【００４７】
次に、本実施形態における音情報生成システムの動作について説明する。
【００４８】
まず、情報取得装置１１００が対象物体であるぬいぐるみの反射光画像と自然光画像を撮影し、情報処理装置１２００に送信する（ステップＳ１）。
【００４９】
情報処理装置１２００内部では、情報取得装置１１００から送信された反射光画像と自然光画像の情報を処理し、対象物体であるぬいぐるみの外観、立体形状の情報として整理し、記憶蓄積する（ステップＳ１）。
【００５０】
情報処理装置１２００内部では、さらに、逐次更新される対象物体の立体形状および外観の情報を、記憶蓄積されている過去の立体形状および外観の情報と比較し、対象物体の移動や変形などの変化を算定する（ステップＳ２）。
【００５１】
ここで、対象物体であるぬいぐるみの立体形状や外観に関してしきい値以上の変化が計算された場合、予め定められた手順（例えば、ユーザにより対象物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された情報が得られた場合に、該特定の箇所に対する特定の操作について、予め規定された音情報を生成すべきことを規定した生成規則）、もしくは別の即興的な手順により、上記の変化の情報に対応した音の情報を発生させる（ステップＳ３）。
【００５２】
上記の音の情報を、情報呈示装置１３００等を通じて人間が聞くことのできる一般的な音波として出力する（ステップＳ４）ことで、利用者側からは対象物体であるぬいぐるみの形状や外観の変化が音の発生を引き起こしたかのように認識される。
【００５３】
情報取得装置１１００及び情報処理装置１２００は、即時的に連続して動作するため、利用者が対象物体であるぬいぐるみを叩いたり引っ張ったりした際にも、ほぼ遅延無しで発音可能であるため、音楽演奏の様に即時性が要求される用途にも対応可能である。
【００５４】
以上で述べたように、本実施形態による音情報生成システムを使用することで、楽器ではない、ぬいぐるみのような一般物体を使って発生させた音で音楽の演奏を行うなど、今までに無い娯楽性の提供が可能となる。
【００５５】
もちろん、本実施形態における音情報生成の方法によれば、これまで示した作用効果にとどまらない。
【００５６】
情報処理装置１２００は、立体形状および外観の両方の情報を連続的に処理しているため、例えば、対象物体であるぬいぐるみの変形に対して、変形した部位やその変化量、変化ベクトルなどの情報を抽出することが可能である。
【００５７】
これにより、利用者がぬいぐるみを引っ張った際の変形の情報の詳細を参照して、例えば頭に近い部位を引っ張れば高い音程の音が発音され（図５（ａ）の３１００）、足を引っ張った場合には低い音程の音が発音される（図５（ｂ）の３２００）などの脚色が可能となる。
【００５８】
ところで、ユーザが対象物体に何らかの操作を加えたときの音情報の発生の方法には、種々のバリエーションが可能である。
【００５９】
例えば、対象物体の立体形状などの形状のみが変化した場合に、音情報を生成するものとし、この場合に、その形状の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の形状が変化したか、色、色の変化、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。また、例えば、対象物体の色などの外観のみが変化した場合に、音情報を生成するものとし、この場合に、その外観の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の外観が変化したか、形状、形状の変化、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。また、例えば、対象物体の立体形状などの形状および色などの外観の両方が変化した場合に、音情報を生成するものとし、この場合に、その形状および外観の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の形状が変化したか、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。
【００６０】
また、対象物体が予め定められた特徴（例えば、形状およびまたは外観）を有する部位を持つものである場合に、当該予め定められた特徴の部位にユーザからの特定の操作が加えられたことが解析されたときに、対応する音情報を生成する方法も可能である。
【００６１】
また、対象物体として予め定められた種類のものを想定し、当該予め定められた種類の対象物体の特定の部位にユーザからの特定の操作が加えられたことが解析されたときに、対応する音情報を生成する方法も可能である。
【００６２】
また、例えば、現実の１又は複数種類の特定の楽器と同一若しくは類似の音情報を生成するものであってもよい。この場合、特定の楽器を音階の出せる楽器とし、ユーザが対象物体のどの部位を操作するかおよびまたはどのような動きを加えるか、などに応じて、異なる音程や音量や音色の音情報を生成するようにしてもよい。複数種類の特定の楽器と同一若しくは類似の音情報を生成する場合には、ユーザが対象物体のどの部位を操作するかおよびまたはどのような動きを加えるか、などに応じて、どの楽器と同一若しくは類似の音情報を生成するかを決定するようにしてもよい。もちろん、特定の楽器は、音階を出せない楽器であってもよい。また、複数種類の特定の楽器と同一若しくは類似の音情報を生成する場合に、音階の出せる楽器と音階を出せない楽器が混在してもよい。
【００６３】
また、例えば、現実の楽器とは異なる音を用いて、現存しない仮想的な楽器のような音情報を生成するものであってもよい。
【００６４】
上記の他にも、種々のバリエーションが可能である。
【００６５】
以上説明してきたように、本実施形態による音情報生成システムを使用することで、例えば、手持ちのぬいぐるみを使って様々な音程の音を出すという対話的な操作を楽しんだり、さらに音程の違いを利用して音楽を演奏するなど、対象物体単体では実現不可能な娯楽性や芸術性を実現することとなり、その効果は絶大である。
【００６６】
（第２の実施形態）
図６に、本発明の第２の実施形態に係る情報処理システムの構成例を示す。また、図７に、本実施形態の概観図の一例を示す。本情報処理システムの動作手順の一例は図３と同様である。
【００６７】
図６に示されるように、本情報処理システムは、反射光画像取得部５１１０と自然光画像取得部５１２０を含む情報取得装置５１００、形状情報解析部５２１０と外観情報解析部５２２０と形状情報記憶部５２３０と形状情報記憶部５２４０と音情報生成部５２５０を含む情報処理装置５２００、デジタル−アナログ変換部５３１０とアンプ部５３２０とスピーカー部５３３０とを含む情報呈示装置５３００を備えている。なお、図６の例では、デジタル−アナログ変換部５３１０は情報呈示装置５３００に含まれるが、デジタル−アナログ変換部５３１０を情報処理装置５２００に含ませる構成例も可能である。
【００６８】
まず、本実施形態の音情報生成システムの基本的な構成について説明する。
【００６９】
対象物体５０００は、第１の実施形態における対象物体１０００と同様に、音情報生成システムの利用者が任意に選択する被写物体であり、音情報生成システムで情報取得が可能な物体であれば何でもよいが、本実施形態では、複数個を同時に使用するものとする。本実施形態では、一例として、対象物体５０００は、高さ５〜２０ｃｍ程度の複数のぬいぐるみ（図６、図７では、４つのぬいぐるみ５０１０〜５０４０）とする。
【００７０】
情報取得装置５１００の基本構成は、第１の実施形態における情報取得装置１１００の基本構成と同じである。
【００７１】
情報処理装置５２００は、マイクロプロセッサー等の論理演算回路によって実現されるコンピュータ等の情報処理装置である。情報処理装置５２００において、形状情報解析部５２１０は、反射光画像から対象物体の立体的な形状情報を取得するためのものである。外観情報解析部５２２０は、自然光画像から対象物体の見かけの画像情報を取得するためのものである。形状情報記憶部５２３０は、対象物体の立体的な形状情報を蓄積するためのものである。形状情報記憶部５２４０は、対象物体の見かけの画像情報を蓄積するためのものである。音情報生成部５２５０は、上記の蓄積された立体的な形状情報および見かけの画像情報を参照し、任意に定められた手順に従って音情報を生成するためのものである。
【００７２】
本実施形態では、一例として、情報処理装置５２００は、パーソナルコンピュータ（ＰＣ）の一式とする。
【００７３】
なお、反射光画像から対象の立体的な形状情報を取得する原理については、第１の実施形態で説明した内容と同じである。
【００７４】
情報呈示装置５３００は、情報処理装置１２００が出力する音情報を外部に呈示するための装置である。情報呈示装置５３００は、デジタル−アナログ変換部５３１０は、デジタル信号で構成される音情報をアナログの音波信号に変換するためのものである。アンプ部５３２０は、アナログの音波信号を増幅するためのものである。スピーカー部５３３０は、音波信号を物理的な音波として出力するためのものである。本実施形態では、一例として、情報呈示装置５３００は、ＰＣ本体のＵＳＢ端子に接続するデジタルオーディオスピーカーとする。
【００７５】
次に、本実施形態における音情報生成システムの動作について説明する。
【００７６】
まず、情報取得装置５１００が対象物体であるぬいぐるみの反射光画像と自然光画像を撮影し、情報処理装置５２００に送信する（ステップＳ１）。
【００７７】
情報処理装置５２００では、情報取得装置５１００から送信された反射光画像および自然光画像の情報を処理し（ステップＳ２）、音情報の生成に必要な参照情報の抽出および音情報の生成を行う（ステップＳ３）。
【００７８】
具体的な処理手順は以下の通りである。
（１）反射光画像から画像中の奥行き情報を取得する。
（２）取得した奥行き情報を利用して、画像中の背景領域と物体領域を切り分ける。
（３）切り分けた物体領域の情報と自然光画像の情報の両方を参照し、画像中の物体領域を物体それぞれの領域に切り分ける。
（４）それぞれの物体の形状や外観の情報に注目し、連続的に記録する。
（５）それぞれの物体の形状や外観の情報に変化が発生した場合、その変化の内容や量を算定する。
（６）算定された変化の量がしきい値以上であった場合、予め決められた手順に従い、変化に対応した音情報を生成する。
【００７９】
情報呈示装置５３００は、情報処理装置５２００が生成した音情報をデジタル信号として受信し、内部でデジタル−アナログ変換を行ってアナログの音波波形に変換した後、アンプ、スピーカーを経由して人間が聞くことのできる一般的な音波として出力する（ステップＳ４）。
【００８０】
これにより、利用者側からは対象物体であるぬいぐるみの形状や外観の変化に連動して音が発生したかのように認識される。
【００８１】
情報取得装置５１００及び情報処理装置５２００は即時的に連続して動作するため、利用者が対象物体である複数のぬいぐるみを個別に叩いたり引っ張ったりした際にも、ほぼ遅延無しでそれぞれのぬいぐるみに対応した音が発音可能である。
【００８２】
これにより、音楽演奏の様に即時性が要求される用途にも対応可能である。
【００８３】
本実施形態では、例えば小さいぬいぐるみ（図７の５０１０）には高い音程を割り当て、大きいぬいぐるみ（図７の５０４０）には低い音程を割り当てておくことで、それぞれのぬいぐるみが叩かれたり振られたりした時に、それぞれのぬいぐるみに設定された音程で発音されることとなり、ハンドベルやグラスハープのように同種の複数の物体を鳴らし分ける形態での音楽演奏が可能となる。
【００８４】
ところで、ユーザが対象物体に何らかの操作を加えたときの音情報の発生の方法には、種々のバリエーションが可能である。本実施形態では、第１の実施形態で述べたものに加えて、複数の対象物体の利用方法のバリエーションが存在する。
【００８５】
例えば、同一の楽器の音情報を生成するものとし、異なる対象物体に異なる音（例えば、音階、音色、音量の少なくとも一つが異なるもの）を割り当てることも可能である。この場合に、１つの対象物体に１つの音を割り当てることも可能であるし、１つの対象物体に複数の音を割り当てることも可能である。もちろん、同一の音が複数の対象物体に重複して割り当てられてもよいし、排他的に割り当てられてもよい。
【００８６】
また、例えば、複数の楽器の音情報を生成するものとし、複数の対象物体に、異なる楽器を割り当てることも可能である。もちろん、同一の楽器が複数の対象物体に重複して割り当てられてもよいし、排他的に割り当てられてもよい。
【００８７】
また、例えば、複数の楽器の音情報を生成するものとし、同一の楽器を複数の対象物体に割り当てるとともに、同一の楽器を割り当てられた複数の対象物体に異なる音を割り当てることも可能である。
【００８８】
また、例えば、１又は複数の対象物体に現実の楽器と同一若しくは類似の音情報を割り当て、他の１又は複数の対象物体に仮想的な楽器の音情報を割り当てるようにすることも可能である。
【００８９】
また、複数の対象物体は、同一の種類のものであってもよいし、その全部又は一部が互いに異なる種類のものであってもよい。
【００９０】
上記の他にも、種々のバリエーションが可能である。
【００９１】
以上説明してきたように、本実施形態による音情報生成システムを使用することで、例えばぬいぐるみのように、楽器ではない一般物体を複数個使って複数の音色を発生させ、ハンドベルやグラスハープのように音楽の演奏を行うことが可能になるなど、今までに無い娯楽性や芸術性の提供が可能となる。
【００９２】
（第３の実施形態）
本発明の第３の実施形態は、第１の実施形態や第２の実施形態において、対象物体に対する音色や音程の割り当て方法を変形したバリエーションである。
【００９３】
本実施形態における音情報生成システムの構成例は、第１または第２の実施形態における音情報生成システムの構成例と同じである。本情報処理システムの動作手順の一例は図３と同様である。また、本実施形態における音情報の生成方法は、第１または第２の実施形態における音情報の生成方法と同じである。
【００９４】
以下、本実施形態について、第１の実施形態や第２の実施形態と相違する点を中心に説明する。
【００９５】
第１、第２の実施形態の情報処理装置（第１の実施形態の場合、図１の１２００、第２の実施形態の場合、図６の５２００）は、対象物体に対して音色や音程を割り当てることが可能であるが、本実施形態においては、対象物に対する音色や音程の設定を情報処理装置（第１の実施形態の場合、図１の１２００、第２の実施形態の場合、図６の５２００）内で決定し、その規則を利用者に秘匿とする。
【００９６】
これにより、例えば、利用者が持ち込んだ物体が、利用者にも予想不可能な意外な音色を発生させることとなり、様々な物体を取り替えて望みの音色を探したり、音色や音程の設定規則を推理したりという音当てゲームのような使用方法が可能となる。
【００９７】
以上説明したように、本実施形態による音情報生成システムを使用することで、例えば新しく買ってきたぬいぐるみの音色を試してみるなど、音を使用したゲームとしての娯楽性を提供し、その効果は絶大である。
【００９８】
ところで、第１〜第３の実施形態では、対象物体を、本実施形態の構成との関係では何の仕掛けもない一般物体（上記した具体例では、一般のぬいぐるみ）として説明してきたが、もちろん、対象物体を、当該システムのための専用の物体として、当該専用の物体に、さらに各種の仕掛けを組み込んで、より娯楽性や芸術性などの効果を高めることも可能である（例えば、専用の対象物体（上記した具体例では、専用のぬいぐるみ）に、ユーザが当該システムに所定の指示を入力するための仕組みを設け、当該システムはユーザからの所定の指示の入力を受けた場合には、これに応じて所定の処理を行う、など）。
【００９９】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０１００】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０１０１】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１０２】
【発明の効果】
本発明によれば、本来は楽器ではない一般物体を入力デバイスとして使用した音楽あるいは楽器の演奏などが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る情報処理システムの構成例を示す図
【図２】同実施形態に係る情報処理システムの概観の一例を示す図
【図３】同実施形態に係る情報処理システムの動作手順の一例を示すフローチャート
【図４】同実施形態に係る情報処理システムの情報取得装置の内部構成例を示す図
【図５】同実施形態に係る情報処理システムの音情報生成の一例について説明するための図
【図６】同実施形態に係る情報処理システムの他の構成例を示す図
【図７】同実施形態に係る情報処理システムの概観の他の一例を示す図
【符号の説明】
１０００，５０００…対象物体
１１００，５１００…情報取得装置
１１１０…反射光画像取得部
１１１１…反射光画像撮像部
１１１２…反射光画像処理部
１１１３…反射光画像出力部
１１２０…自然光画像取得部
１１２１…自然光画像撮像部
１１２２…自然光画像出力部
１１３０…撮像動作制御部
１１４０…発光部
１２００，５２００…情報処理装置
１２１０，５２１０…形状情報解析部
１２２０，５２２０…外観情報解析部
１２３０，５２３０…形状情報記憶部
１２４０，５２４０…形状情報記憶部
１２５０，５２５０…音情報生成部
１２６０，５３１０…デジタル−アナログ変換部
１３００，５３００…情報呈示装置
１３１０，５３２０…アンプ部
１３２０，５３３０…スピーカー部

Claims (16)

1. 物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測手段と、
   前記計測手段により計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈手段と、
   前記解釈手段により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成手段と、
   前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする音情報生成システム。
2. 互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測手段と、
   前記計測手段により前記複数の物体の各々について計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈手段と、
   前記解釈手段により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成手段と、
   前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする音情報生成システム。
3. 前記音情報生成手段は、前記第１及び第２の特徴情報に対する解釈結果が、前記複数の物体のいずれがユーザにより操作されたかを示しているかに応じて、生成すべき前記音情報を異ならせることを特徴とする請求項２に記載の音情報生成システム。
4. 前記第１の特徴情報は、前記物体の色に関する特徴を示す情報又は前記物体の色の変化に関する特徴を示す情報のうち少なくとも一つであることを特徴とする請求項１ないし３のいずれか１項に記載の音情報生成システム。
5. 前記第２の特徴情報は、前記物体の立体形状に関する特徴を示す情報若しくは前記物体の立体形状の変化に関する特徴を示す情報又は前記物体の動きに関する特徴を示す情報のうち少なくとも一つであることを特徴とする請求項１ないし４のいずれか１項に記載の音情報生成システム。
6. 前記音情報生成手段は、第１及び第２の特徴情報と生成すべき音情報との関係について予め定められた生成規則を、前記解釈手段により解釈された第１及び第２の特徴情報に適用することによって、対応する音情報を生成することを特徴とする請求項１ないし５のいずれか１項に記載の情報入出力装置。
7. 前記生成規則は、ユーザにより前記物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された前記第１及び第２の特徴情報が得られた場合に、該特定の箇所に対する特定の操作について、予め規定された音情報を生成すべきことを示す規則であることを特徴とする請求項６に記載の音情報生成システム。
8. 前記生成規則は、ユーザにより前記物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された前記第１及び第２の特徴情報が得られた場合に、音情報を生成することを決定し、該特定の箇所に対する特定の操作の内容と当該物体に関する所定の属性情報及び又は当該物体とは関係のない他の所定の情報に基づいて決定される音情報を生成すべきことを示す規則であることを特徴とする請求項６に記載の音情報生成システム。
9. 前記音情報生成手段は、現実の１又は複数種類の特定の楽器と同一若しくは類似の音情報を生成するものであることを特徴とする請求項１ないし８のいずれか１項に記載の音情報生成システム。
10. 前記音情報生成手段は、現実の楽器とは異なる音を用いて、現実の楽器とは異なる仮想的な楽器のような音情報を生成するものであることを特徴とする請求項１ないし８のいずれか１項に記載の音情報生成システム。
11. 前記音情報生成手段が前記音情報を生成するにあたって基とする前記第１及び第２の特徴情報と、当該第１及び第２の特徴情報に基づいて生成される前記音情報との間の関係が、利用者に秘匿されていることを特徴とする請求項１ないし１０のいずれか１項に記載の音情報生成システム。
12. 前記計測手段は、自然光のみに照らされた前記物体からの自然光画像と、照射光のみに照らされた前記物体からの反射光画像との両方を同時に撮影し、前記自然光画像から前記第１の特徴情報を取得し、前記反射光画像から前記第２の特徴情報を取得するものであることを特徴とする請求項１ないし１１のいずれか１項に記載の音情報生成システム。
13. 物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測し、
    これにより得られた前記第１及び第２の特徴情報をリアルタイムに解釈し、
    これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、
    生成された前記音情報を出力することを特徴とする音情報生成方法。
14. 互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測し、
    これにより前記複数の物体の各々について得られた前記第１及び第２の特徴情報をリアルタイムに解釈し、
    これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、
    生成された前記音情報を出力することを特徴とする音情報生成方法。
15. コンピュータを音情報生成システムとして機能させるためのプログラムであって、
    物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測機能と、
    前記計測機能により計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈機能と、
    前記解釈機能により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成機能と、
    前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラム。
16. コンピュータを音情報生成システムとして機能させるためのプログラムであって、
    互いに独立した複数の物体の各々について、当該物体の外観に関する第１の特徴情報及び形状に関する第２の特徴情報をリアルタイムに計測する計測機能と、前記計測機能により前記複数の物体の各々について計測された前記第１及び第２の特徴情報をリアルタイムに解釈する解釈機能と、
    前記解釈機能により解釈された前記第１及び第２の特徴情報に基づいて、対応する音情報を生成する音情報生成機能と、
    前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラム。

Images