JP2000020058A

JP2000020058A - 情報処理装置および方法、並びに提供媒体

Info

Publication number: JP2000020058A
Application number: JP10184352A
Authority: JP
Inventors: Junichi Nagahara; 潤一永原; Norio Fujimori; 憲男藤森; Takahiko Sueyoshi; 隆彦末吉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2000-01-21
Anticipated expiration: 2018-06-30
Also published as: EP0969448B1; JP4305971B2; DE69933171T2; US20030053652A1; EP0969448A1; DE69933171D1; US6687382B2

Abstract

(57)【要約】【課題】簡単な設定だけで、音楽を生成する。【解決手段】サウンドオブジェクト１４１は、サウン
ドファイルを象徴したオブジェクトであり、ステージ１
１５内を設定されたパラメータに従って、動いている。
画像部１１２は、ＣＣＤカメラで撮像された画像を映し
出しており、その画像の所定の部分が、一定の明るさに
なったときに、サウンドオブジェクト１４１は音を発す
る。その音の発生は、ステージ１１５上に表示されてい
るサウンドオブジェクト１４１の動作、大きさなどにも
関係しているため、状況に応じてさまざまな音が発せら
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置および
方法、並びに提供媒体に関し、特に、入力された画像デ
ータに応じて、表示されているオブジェクトの動作を変
化させ、発せられる音も変化させる情報処理装置および
方法、並びに提供媒体に関する。

【０００２】

【従来の技術】従来からの音響再生装置には、レコード
プレーヤ、光ディスクを用いた再生装置、カセットテー
プレコードなどがある。これらの音響再生装置は、いず
れも予め記録媒体に記録されている音響データを再生す
るものである。

【０００３】ユーザは、このような記録媒体に記録され
た音響データを再生するだけでは物足りず、ハードウェ
アとソフトウェアを用いて音楽を奏でたり、その奏でた
音楽を記録媒体に記録したりといった、コンピュータミ
ュージックなどと称されていることが盛んになってきて
いる。このようなコンピュータミュージックには、楽器
を自動演奏させるといった楽しみもある。このように楽
器を自動演奏させた場合、予め記録されている音響再生
用のMIDI（Musical Instruments Dgital Interface）シ
ーケンスデータを音源装置に供給して、音を発音させて
いる。

【０００４】

【発明が解決しようとする課題】上述したコンピュータ
ミュージックには、パーソナルコンピュータが用いられ
るため、マウス、キーボード、タッチパネルなどの装置
を操作することにより、音楽を奏でたり、自動演奏させ
たりすることを実現させている。このため、コンピュー
タミュージックを楽しむためには、入力デバイスとして
直接手で操作できるものが必要となり、ライブパフォー
マンスのように、動きまわりながらたのしむといった場
合には不向きである。

【０００５】また、一般的に、音楽を奏でたり、自動演
奏させたりするには、その操作を行うためのさまざまな
知識や技術が必要となる。このため、コンピュータミュ
ージックを楽しむためには、まず知識や技術を学ばなく
てはならず、修得した人以外は、コンピュータミュージ
ックを楽しむことができず、受動的に再生された音楽を
聴くだけになってしまう。しかしながら、ユーザの中に
は、簡単に音楽をアレンジして楽しみたいといった希望
があった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、ＣＣＤビデオカメラなどで撮像した画像の
変化により、音を生成し、また、画面上に表示されてい
るオブジェクトの動きや形を変化させるようにするもの
である。

【０００７】

【課題を解決するための手段】請求項１に記載の情報処
理装置は、被写体の画像を撮像する撮像手段と、撮像手
段により撮像された画像から、所定の特徴のデータを抽
出する抽出手段と、再生する音響データを設定する設定
手段と、抽出手段により抽出されたデータに応じて、設
定手段により設定された音響データを再生する再生手段
とを備えたことを特徴とする。

【０００８】請求項５に記載の情報処理方法は、被写体
の画像を撮像する撮像ステップと、撮像ステップで撮像
された画像から、所定の特徴のデータを抽出する抽出ス
テップと、再生する音響データを設定する設定ステップ
と、抽出ステップで抽出されたデータに応じて、設定ス
テップで設定された音響データを再生する再生ステップ
とを含むことを特徴とする。

【０００９】請求項６に記載の提供媒体は、被写体の画
像を撮像する撮像ステップと、撮像ステップで撮像され
た画像から、所定の特徴のデータを抽出する抽出ステッ
プと、再生する音響データを設定する設定ステップと、
抽出ステップで抽出されたデータに応じて、定ステップ
で設定された音響データを再生する再生ステップとを含
む処理を情報処理装置に実行させるコンピュータが読み
取り可能なプログラムを提供することを特徴とする。

【００１０】請求項１に記載の情報処理装置、請求項５
に記載の情報処理方法、および請求項６に記載の提供媒
体においては、被写体の画像が撮像され、撮像された画
像から、所定の特徴のデータが抽出され、抽出されたデ
ータに応じて、設定された音響データが再生される。

【００１１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００１２】請求項１に記載の情報処理装置は、被写体
の画像を撮像する撮像手段（例えば、図１のＣＣＤビデ
オカメラ２３）と、撮像手段により撮像された画像か
ら、所定の特徴のデータを抽出する抽出手段（例えば、
図１８のステップＳ２２）と、再生する音響データを設
定する設定手段（例えば、図９のステップＳ２）と、抽
出手段により抽出されたデータに応じて、設定手段によ
り設定された音響データを再生する再生手段（例えば、
図１８のステップＳ２５）とを備えたことを特徴とす
る。

【００１３】請求項２に記載の情報処理装置は、設定手
段により設定された音響データに対応して生成されたオ
ブジェクトの動作を制御するためのパラメータを設定す
るパラメータ設定手段（例えば、図９のステップＳ３）
と、パラメータ設定手段により設定されたパラメータと
抽出手段により抽出されたデータに応じて、オブジェク
トの表示を制御する表示制御手段（例えば、図１７のス
テップＳ１２，Ｓ１３）とをさらに備えることを特徴と
する。

【００１４】請求項３に記載の情報処理装置は、設定手
段とパラメータ設定手段により設定されたデータを記録
する記録手段（例えば、図６のＨＤＤ５６）をさらに備
えることを特徴とする。

【００１５】図１乃至図６は、本発明を適用した携帯型
パーソナルコンピュータの構成例を表している。このパ
ーソナルコンピュータ１は、ミニノート型のパーソナル
コンピュータとされ、基本的に、本体２と、本体２に対
して開閉自在とされている表示部３により構成されてい
る。図１は、表示部３を本体２に対して開いた状態を示
す外観斜視図、図２は、図１の平面図、図３は、表示部
３を本体２に対して閉塞した状態を示す左側側面図、図
４は、表示部３を本体２に対して１８０度開いた状態を
示す右側側面図、図５は、図３の正面図、図６は、図４
の底面図である。

【００１６】本体２には、各種の文字や記号などを入力
するとき操作されるキーボード４、マウスカーソルを移
動させるときなどに操作されるトラックポイント（商
標）５が、その上面に設けられている。また、本体２の
上面には、音を出力するスピーカ８と、表示部３に設け
られているCCDビデオカメラ２３で撮像するとき操作さ
れるシャッタボタン１０がさらに設けられている。

【００１７】表示部３の上端部には、ツメ１３が設けら
れており、図３に示すように、表示部３を本体２に対し
て閉塞した状態において、ツメ１３に対向する位置にお
ける本体２には、ツメ１３が嵌合する孔部６が設けられ
ている。本体２の前面には、スライドレバー７が前面に
平行に移動可能に設けられており、スライドレバー７は
孔部６に嵌合したツメ１３と係合してロックし、またロ
ック解除することができるようになっている。ロックを
解除することにより、表示部３を本体２に対して回動す
ることができる。ツメ１３の隣りには、マイクロホン２
４が取り付けられている。このマイクロホン２４は、図
６にも示すように、背面からの音も収音できるようにな
されている。

【００１８】本体２の正面にはまた、プログラマブルパ
ワーキー（PPK）９が設けられている。本体２の右側面
には、図４に示すように、排気孔１１が設けられてお
り、本体２の前面下部には、図５に示すように、吸気孔
１４が設けられている。さらに、排気孔１１の右側に
は、PCMCIA（Personal Comuputer Memory Card Interna
tional Association）カード（ＰＣカード）を挿入する
ためのスロット１２が設けられている。

【００１９】表示部３の正面には、画像を表示するLCD
（Liquid Crystal Display）２１が設けられており、そ
の上端部には、撮像部２２が、表示部３に対して回動自
在に設けられている。すなわち、この撮像部２２は、LC
D２１と同一の方向と、その逆の方向（背面の方向）と
の間の１８０度の範囲の任意の位置に回動することがで
きるようになされている。撮像部２２には、CCDビデオ
カメラ２３が取り付けられている。

【００２０】表示部３の下側の本体側には、電源ランプ
PL、電池ランプBL、メッセージランプML、その他のLED
よりなるランプが設けられている。なお、図３に示す符
号４０は、本体２の左側面に設けられた電源スイッチで
あり、図５に示す符号２５は、CCDビデオカメラ２３の
フォーカスを調整する調整リングである。さらに、図６
に示す符号２６は、本体２内に増設メモリを取り付ける
ための開口部を被覆する蓋であり、符号４１は、蓋２６
のロックツメを外すためのピンを挿入する小孔である。

【００２１】図７は、パーソナルコンピュータ１の内部
の構成を表している。内部バス５１には、図７に示すよ
うに、CPU（Central Processing Unit）５２、必要に応
じて挿入されるＰＣカード５３、RAM（Random Access M
emory）５４、およびグラフィックチップ８１が接続さ
れている。この内部バス５１は、外部バス５５に接続さ
れており、外部バス５５には、ハードディスクドライブ
（HDD）５６、Ｉ／Ｏ（入出力）コントローラ５７、キ
ーボードコントローラ５８、トラックポイントコントロ
ーラ５９、サウンドチップ６０、LCDコントローラ８
３、モデム５０などが接続されている。

【００２２】CPU５２は、各機能を統括するコントロー
ラであり、ＰＣカード５３は、オプションの機能を付加
するとき適宜装着される。

【００２３】RAM５４の中には、起動が完了した時点に
おいて、電子メールプログラム（アプリケーションプロ
グラム）５４Ａ、オートパイロットプログラム（アプリ
ケーションプログラム）５４Ｂ、そしてＯＳ（基本プロ
グラム）５４Ｃが、HDD５６から転送され、記憶され
る。

【００２４】電子メールプログラム５４Ａは、電話回線
のような通信回線などからネットワーク経由で通信文を
授受するプログラムである。電子メールプログラム５４
Ａは、特定機能としての着信メール取得機能を有してい
る。この着信メール取得機能は、メールサーバ９３に対
して、そのメールボックス９３Ａ内に自分（利用者）宛
のメールが着信しているかどうかを確認して、自分宛の
メールがあれば取得する処理を実行する。

【００２５】オートパイロットプログラム５４Ｂは、予
め設定された複数の処理（またはプログラム）などを、
予め設定された順序で順次起動して、処理するプログラ
ムである。

【００２６】ＯＳ（基本プログラムソフトウェア）５４
Ｃは、Windows９５（商標）に代表される、コンピュー
タの基本的な動作を制御するものである。

【００２７】一方、外部バス５５側のハードディスクド
ライブ（HDD）５６には、電子メールプログラム５６
Ａ、オートパイロットプログラム５６Ｂ、ＯＳ（基本プ
ログラムソフトウェア）５６Ｃが記憶されている。ハー
ドディスクドライブ５６内のＯＳ５６Ｃ、オートパイロ
ットプログラム５６Ｂ、および電子メールプログラム５
６Ａは、起動（ブートアップ）処理の過程で、RAM５４
内に順次転送され、格納される。

【００２８】Ｉ／Ｏコントローラ５７は、マイクロコン
トローラ６１を有し、このマイクロコントローラ６１に
は、Ｉ／Ｏインタフェース６２が設けられている。この
マイクロコントローラ６１は、Ｉ／Ｏインタフェース６
２、CPU６３、RAM６４、ROM６９が相互に接続されて構
成されている。このRAM６４は、キー入力ステイタスレ
ジスタ６５、LED（発光ダイオード）制御レジスタ６
６、設定時刻レジスタ６７、レジスタ６８を有してい
る。設定時刻レジスタ６７は、ユーザが予め設定した時
刻（起動条件）になると起動シーケンス制御部７６の動
作を開始させる際に利用される。レジスタ６８は、予め
設定された操作キーの組み合わせ（起動条件）と、起動
すべきアプリケーションプログラムの対応を記憶するも
ので、その記憶された操作キーの組み合わせがユーザに
より入力されると、その記憶されたアプリケーションプ
ログラム（例えば電子メール）が起動されることにな
る。

【００２９】キー入力ステイタスレジスタ６５は、ワン
タッチ操作用のプログラマブルパワーキー（PPK）９が
押されると、操作キーフラグが格納されるようになって
いる。LED制御レジスタ６６は、レジスタ６８に記憶さ
れたアプリケーションプログラム（電子メール）の立ち
上げ状態を表示するメッセージランプMLの点灯を制御す
るものである。設定時刻レジスタ６７は、所定の時刻を
任意に設定することができるものである。

【００３０】なお、このマイクロコントローラ６１に
は、バックアップ用のバッテリ７４が接続されており、
各レジスタ６５，６６，６７の値は、本体２の電源がオ
フとされている状態においても保持されるようになって
いる。

【００３１】マイクロコントローラ６１内のROM６９の
中には、ウェイクアッププログラム７０、キー入力監視
プログラム７１、LED制御プログラム７２が予め格納さ
れている。このROM６９は、例えばEEPROM（electricall
y erasable and programmable read only memory）で構
成されている。このEEPROMはフラッシュメモリとも呼ば
れている。さらにマイクロコントローラ６１には、常時
現在時刻をカウントするRTC（Real-Time Clock）７５Ａ
が接続されている。

【００３２】ROM６９の中のウェイクアッププログラム
７０は、RTC７５から供給される現在時刻データに基づ
いて、設定時刻レジスタ６７に予め設定された時刻にな
ったかどうかをチェックして、設定された時刻になる
と、所定の処理（またはプログラム）などの起動をする
プログラムである。キー入力監視プログラム７１は、PP
K９が利用者により押されたかどうかを常時監視するプ
ログラムである。LED制御プログラム７２は、メッセー
ジランプMLの点灯を制御するプログラムである。

【００３３】ROM６９には、さらにBIOS（Basic Input/O
utput System）７３が書き込まれている。このBIOSと
は、基本入出力システムのことをいい、ＯＳやアプリケ
ーションソフトウェアと周辺機器（ディスプレイ、キー
ボード、ハードディスクドライブなど）の間でのデータ
の受け渡し（入出力）を制御するソフトウェアプログラ
ムである。

【００３４】外部バス５５に接続されているキーボード
コントローラ５８は、キーボード４からの入力をコント
ロールする。トラックポイントコントローラ５９は、ト
ラックポイント５の入力を制御する。

【００３５】サウンドチップ６０は、マイクロホン２４
からの入力を取り込み、あるいは内蔵スピーカ８に対し
て音声信号を供給する。

【００３６】モデム５０は、公衆電話回線９０、インタ
ーネットサービスプロバイダ９１を介して、インターネ
ットなどの通信ネットワーク９２やメールサーバ９３な
どに接続することができる。

【００３７】内部バス５１に接続されているグラフィッ
クチップ８１には、CCDビデオカメラ２３で取り込んだ
画像データが、処理部８２で処理された後、入力される
ようになされている。グラフィックチップ８１は、処理
部８２を介してCCDビデオカメラ２３より入力されたビ
デオデータを、内蔵するVRAM８１Ａに記憶し、適宜、こ
れを読み出して、LCDコントローラ８３に出力する。LCD
コントローラ８３は、グラフィックチップ８１より供給
された画像データをLCD２１に出力し、表示させる。バ
ックライト８４は、LCD２１を後方から照明するように
なされている。

【００３８】電源スイッチ４０は、電源をオンまたはオ
フするとき操作される。半押しスイッチ８５は、シャッ
タボタン１０が半押し状態にされたときオンされ、全押
しスイッチ８６は、シャッタボタン１０が全押し状態に
されたときオンされる。反転スイッチ８７は、撮像部２
２が１８０度回転されたとき（CCDビデオカメラ２３がL
CD２１の反対側を撮像する方向に回転されたとき）、オ
ンされるようになされている。

【００３９】図８はLCD２１に表示される画面の一例を
示している。この画面の構成例では、作曲ウインドウ１
１０とサウンドファイルウインド１２０の２つのウイン
ドウが開いている状態を示している。作曲ウインドウ１
１０は、サウンドファイルウインドウ１２０から選択さ
れたサウンドファイルと、ＣＣＤカメラ２３で撮像され
た画像とが用いられて、音楽を作り出されるときに表示
されるウインドウである。

【００４０】作曲ウインドウ１１０は、このウインドウ
の大きさを変えたり、表示を変える場合に操作される選
択部１１１、ＣＣＤカメラ２３で撮像された画像を表示
する画像部１１２、画像部１１２の表示やステージ１１
５に表示されるサウンドオブジェクト（後述）の動作を
設定する設定部１１３、および主に設定部１１３の画面
を切り換える時に操作されるコマンドボタン１１４から
構成されている。

【００４１】選択部１１１の”ファイル”は、このウイ
ンドウで設定したことをＨＤＤ５６に記録させたり、ま
たは記録されているデータを読み出したりする場合に操
作される。”表示”は、作曲ウインドウ１１０の表示画
面構成を変えたりする場合に操作される。”ヘルプ”
は、何かわからないことがあった場合に操作される。こ
れらの”ファイル”、”表示”、および”ヘルプ”は、
操作されるとプルダウンメニューが表示され、上述した
処理ができるようになされている。そして右端にある３
個のボックスは、この作曲ウインドウ１１０の大きさを
変えたり、閉じたりする時に操作される。

【００４２】画像部１１２は、設定部１１３により設定
されたデータに従って、ＣＣＤカメラ２３で撮像された
画像が表示されたり、格子状のメッシュが表示されたり
する。図８の画像部１１２の表示例では、ＣＣＤカメラ
２３で撮像された画像として、懐中電灯などの光を発す
る物体を持った人が表示されている。

【００４３】設定部１１３は、画像部１１２の表示を設
定する他に、後述するステージ１１５上に表示されたサ
ウンドオブジェクトの動作などを設定するための画面を
表示する。この設定部１１３の画像の表示例は、図１１
と図１４を参照して後述する。

【００４４】コマンドボタン１１４の”PLAY”は、設定
が終了し、音を作り出したという場合に操作されるボタ
ンであり。”EDIT”は設定部１１３に、音を鳴らすため
の条件（パラメータ）を設定したりするための画面を表
示させたいときに操作されるボタンであり、”Object”
は、ステージ１１５上に表示されるサウンドオブジェク
トの動作に関するパラメータを設定したい場合に操作さ
れるボタンである。

【００４５】ステージ１１５は、ユーザがサウンドファ
イルウインド１２０から選択したサウンドファイルに対
応するサウンドオブジェクトが表示され、この表示され
たサウンドオブジェクトが設定部１１３により設定され
たデータに従って、動作するところである。

【００４６】サウンドファイルウインドウ１２０は、選
択部１２１とファイル表示部１２２とから構成されてい
る。この選択部１２１は、この場合、選択部１１１と同
様の構成となされており、その動作も同様なので、その
説明は省略する。ファイル表示部１２２には、３つのサ
ウンドファイルのアイコン１２３−１乃至１２３−３
（以下、個々にアイコン１２３−１乃至１２３−３を区
別する必要がない場合、単にアイコン１２３と記述す
る）が表示され、それぞれのファイルは、”SOUND
１”、”SOUND２”、”SOUND３”と名付けられている。

【００４７】サウンドファイルは、例えば、WAVE形式の
データや、MIDIなどにより取り込まれたデータである。
その他にも、コンパクトディスクなどに記録されていた
データをサウンドファイルとして用いることも可能であ
る。

【００４８】カーソル１３０は、ユーザがトラックポイ
ント５を操作した場合、その操作に応じた移動をするよ
うになされている。

【００４９】なお、図８に示した画面は、一例であり、
例えば、選択部１１１（選択部１２１）に他の選択肢を
設けたり、アイコンなどで選択肢を表示したりしても良
いことは言うまでもない。

【００５０】次に、ユーザが行う設定について、図９の
フローチャートを参照して説明する。ユーザは、ステッ
プＳ１において、サウンドファイルウインドウ１２０の
ファイル表示部１２２に表示されているアイコン１２３
（サウンドファイル）から、１つのサウンドファイルを
選択する。この選択は、カーソル１３０を所望のサウン
ドファイルのアイコン１２３上に移動させ、ドラッグし
て、作曲ウインドウ１１０のステージ１１５上にドロッ
プすることにより行われる。

【００５１】図１０は、このようにしてアイコン１２３
が選択された場合の表示例を示している。ステージ１１
５上にドロップされたアイコン１２３は、アイコン１２
３とは異なる表示のサウンドオブジェクト１４１として
表示されている。いまの場合、サウンドオブジェクト１
４１は、音符の形で表示されている。

【００５２】このサウンドオブジェクト１４１は、アイ
コン１２３がステージ１１５上にドロップされた時点
で、デフォルトとして与えられた絵でもよいし、ユーザ
が作成した絵や、デジタルカメラなどから取り込んだ画
像でも良い。また、いまの場合、ステージ１１５の背景
の絵はないが、ユーザの好みの絵を背景として設定する
ことも可能である。これらの設定は、選択部１１１の”
表示”を操作し、表示されたプルダウンメニューから選
択、設定することにより行われる。

【００５３】ステップＳ１において、サウンドファイル
の選択が終了すると、ステップＳ２において、EDITの設
定が行われる。このEDITの設定は、カーソル１３０を用
いてコマンドボタン１１４のEDITボタンを操作されるこ
とにより始まる。EDITボタンが操作されると、設定部１
１３には、図１１に示すような画面が表示される。

【００５４】図１１（Ａ）は、明るさ（Brightness）に
よりサウンドオブジェクト１４１の動作と、その音を変
化させる場合の設定画面である。画面の左上に表示され
ている９個の四角形から構成されているマス１５０と、
付されている０乃至８の番号は、画像部１１２を９等分
したことを示している。すなわち図１２に示すように、
設定部１１３に図１１（Ａ）に示した画面が表示されて
いる時には、画像部１１２にも、９等分に分けられてい
ることがわかるような格子状の線が入る。以下、格子状
の線により作られた個々の四角形を、適宜、メッシュと
記述する。

【００５５】明るさ設定部１５１は、マス１５０に対応
する番号が付せられた９本のバーと１本の明るさ参照用
のバーとから構成されている。明るさ設定部１５１の１
番左に存在するグラデーションのかかったバーは、明る
さを参照するのに設けられたバーであり、ユーザがこの
バーを参照して、所望の明るさを選択する。

【００５６】ユーザは、図１１（Ａ）の画面において、
明るさの閾値の設定を行う。その設定は、音を鳴らさせ
たいメッシュに対応する番号のバーの所望の明るさのと
ころのボックスが、明るさ参照用のバーを参照して決定
され、クリックされることにより行われる。

【００５７】図１１（Ａ）の表示例では、マス１５０の
番号０の四角形に対応するバーの１番明るいところがク
リックされて選択された状態を示している。選択された
ボックスは、色が付けられて表示される。換言すれば、
明るさの閾値が設定されていないバーには、色が付けら
れて表示されているボックスはない。また、１つのサウ
ンドオブジェクト１４１に対して、複数のバーに明るさ
の閾値を設定することも可能である。

【００５８】マス１５０の下方には、ページ番号を表示
するページ表示部１５２がある。この明るさ設定画面
は、ページ１とされている。ページ表示部１５２の左側
には、前のページを表示させたい時に操作される前ペー
ジ表示ボタン１５３、右側には次のページを表示させた
い時に操作される次ページ表示ボタン１５４が、それぞ
れ表示されている。

【００５９】このようにして明るさの設定がされると、
次ページボタン１５４が操作され、設定部１１３に表示
される画面は、図１１（Ｂ）に示したような設定画面に
切り替えられる。この設定画面では、ステージ１１５の
仮想空間の設定が行われる。”PERSPECTIVE”は、ステ
ージ１１５を擬似的な３次元空間として扱う設定であ
る。すなわち、ステージ１１５に表示されたサウンドオ
ブジェクト１４１は、擬似的な３次元空間を上下左右、
そして、前後（手前と奥）に移動する。これに対し”FL
ANE”は、ステージ１１５を２次元空間として扱う設定
である。すなわち、ステージ１１５上に表示されたサウ
ンドオブジェクト１４１は、２次元空間を上下左右に移
動する。

【００６０】サウンドオブジェクト１４１は、同一平面
上（２次元空間）を上下左右に移動する場合は、その大
きさは変化しないが、３次元空間を移動しているとき、
手前に来たときには大きく、奥に行ったときには小さく
表示される。図１１（Ｂ）では、３次元空間としての”
PERSPECTIVE”が選択された状態を示している。

【００６１】次ページ表示ボタン１５４が操作される
と、設定部１１３の画面は、図１１（Ｃ）に示した設定
画面に切り替わる。この設定画面では、コマンドボタン
１１４のPlayボタンが操作された場合に、サウンドオブ
ジェクト１４１が始めに動き出す方向（初期値）が設定
される。この表示例では、上方に移動するように設定さ
れている。

【００６２】さらに次ページ表示ボタン１５４が操作さ
れると、図１１（Ｄ）に示したような設定画面に切り替
わる。この設定画面では、バブル（Bubble）を設定する
か否かが設定され、さらに設定した場合に、規則的に出
す（Continuous）のか、それとも不規則に出す（Rando
m）のかが設定される。図１１（Ｄ）の表示例では、バ
ブルを出すように設定され、そのバブルは不規則に出さ
れるように設定されている。

【００６３】このバブルが設定された場合、図１３に示
したように、ステージ１１５には、ポインタ１６０が表
示される。このポインタ１６０は、画像部１１２に表示
されている画像のうち、動きベクトルが最も早いと検出
されたところ、例えば、画像部１１２に表示されている
画像が、人が手を振っているような場合、手の動きに合
わせて移動するように表示される。このポインタ１６０
は、最も動きの早いところを指し示すと言った意味でポ
インタと言う言葉を用いている。

【００６４】このポインタ１６０の形は、どのような
形、色でも良いが、図１３では球状で示した。このポイ
ンタ１６０から、バブルと称する球状の玉が規則的（Co
ntinuous）、または不規則（Random）に発生される。ま
た、このバブルは、ステージ１１５の画面枠（壁）から
も発生される。サウンドオブジェクト１４１は、このバ
ブルに当たると跳ね返る。バブルは、サウンドオブジェ
クト１４１に当たる、ステージ１１５の壁から外に出
る、または一定の時間が過ぎると消えるようになってい
る。

【００６５】図９のフローチャートの説明に戻り、ステ
ップＳ２において、上述したような各種の設定が終了し
たら、ステップＳ３に進み、サウンドオブジェクト１４
１の動作の設定を行う。この設定は、まずコマンドボタ
ン１１４のObjectボタンが操作されることにより始めら
れる。Objectボタンが操作されると、設定部１１３に表
示される画面は、図１４（Ａ）に示したような画面に切
り替わる。

【００６６】図１４（Ａ）に示した設定画面では、サウ
ンドオブジェクト１４１の動作を左右するパラメータの
設定が行われる。”FRICTION”では、サウンドオブジェ
クト１４１とステージ１１５との間の摩擦が設定され
る。摩擦が大きいと、サウンドオブジェクト１４１が動
き出してからすぐに止まる設定となり、逆に摩擦が小さ
いと、サウンドオブジェクト１４１が動き出したら、な
かなか止まらないという設定になる。

【００６７】”MASS（BOUNCE）”では、サウンドオブジ
ェクト１４１に質量を持たすか否かが設定される。”Ｏ
Ｎ”のラジオボタンをクリックすることにより、サウン
ドオブジェクト１４１に質量を持たせる設定ができる。
質量がもたされたサウンドオブジェクト１４１は、他の
サウンドオブジェクトやバブルが衝突してきた時、反発
しない、または、その反発は小さいものとなる。

【００６８】一方、サウンドオブジェクト１４１に質量
がないという設定にすると（ラジオボタンの”ＯＦＦ”
をクリックすると）、設定されたサウンドオブジェクト
１４１に他のサウンドオブジェクトやバブルが衝突した
時、反発（他の移動方向に変化）する。

【００６９】このような設定が終了され、次ページ表示
ボタン１５４が操作されると、設定部１１３の画面は、
図１４（Ｂ）に示したような画面に切り替わる。この画
面では、音が鳴る時間が設定される。すなわち、サウン
ドオブジェクト１４１は、画像部１１２の所定のメッシ
ュが、一定の明るさに達したときに音が鳴るように設定
されているので、その音が鳴る長さ（SOUND LENGTH）が
設定される。

【００７０】図１４（Ｂ）の表示例では、１乃至５秒
（sec）の間で設定がされるようになっている。サウン
ドオブジェクト１４１は、対応するメッシュが設定され
た明るさに達したときに、この画面で設定された秒数だ
け音を鳴らす。図１４（Ｂ）の表示例では、５秒のとこ
ろのボタンがクリックされ、オンにされた状態を示して
いる。

【００７１】音の長さの設定が終了し、次ページボタン
１５４が操作されると、設定部１１３の画面は、図１４
（Ｃ）に示したような画面に切り替わる。この画面で
は、サウンドオブジェクト１４１の、ポインタ１６０に
対する動作が設定される。”Follow”のラジオボタンを
オンの状態にすると、サウンドオブジェクト１４１は、
ポインタ１６０にくっついて移動する。これに対し、”
Go Away”に設定すると、サウンドオブジェクト１４１
は、ポインタ１６０に対して逃げるようにして移動す
る。

【００７２】このような設定が、図９のステップＳ３に
おいて、終了されると、ステップＳ４に進む。ステップ
Ｓ４において、全ての所望のサウンドファイルに対し
て、上述したような設定が終了されたか否かが判断され
る。ステップＳ４において、全ての所望のサウンドファ
イルに対して設定が終了されていないと判断された場
合、ステップＳ１に戻り、それ以降の処理が繰り返され
る。

【００７３】上述した説明では、ステップＳ１における
処理は、サウンドファイルウインドウ１２０のファイル
表示部１２２に表示されているアイコン１２３をカーソ
ル１３０を用いてステージ１１５上にドラッグアンドド
ロップによって、サウンドファイルの選択をし、そし
て、この選択されたサウンドファイルに対してステップ
Ｓ２とステップＳ３の処理を行うようにした。このよう
にサウンドファイルを選択する仕方の他に、始めに複数
のサウンドファイルをステージ１１５上に選択し、サウ
ンドオブジェクト１４１として表示させておき、その表
示されているサウンドオブジェクト１４１の中から１つ
のサウンドオブジェクト１４１を選択し、その選択され
たサウンドオブジェクト１４１に対して、ステップＳ２
とステップＳ３の処理を施すようにしてもよい。

【００７４】また、ステップＳ２とステップＳ３の処理
は入れ替えても良い。さらに、EDITの設定として、例え
ば、明るさ以外の変化に対応してサウンドオブジェクト
１４１が音を鳴らすように設定したりする画面を設けて
も良いし、同様に、Objectの設定にも、上述したこと以
外を設定する画面を設けても良い。

【００７５】このように設定された各種のパラメータな
どのデータをＨＤＤ５６、または図示されていない記録
媒体に記録できるようにしておく。記録しておくことに
より、次回以降、上述した処理を繰り返さなくて良くな
り、もって、ユーザの使い勝手が良くなる。また、記録
されたデータは、テキストエディタとして開くことによ
り編集ができるようにしておき、パラメータを変更した
り、サウンドファイルを入れ替えたりすることもでき
る。

【００７６】ステップＳ４において、全ての所望のサウ
ンドファイルに対して設定が終了されたと判断された場
合、ステップＳ５に進む。ステップＳ５において、コマ
ンドボタン１１４のPLAYボタンが操作される。図１５
は、３つのサウンドファイルが選択され、それぞれのサ
ウンドファイルに対して各種の設定がされた結果、３つ
のサウンドオブジェクト１４１−１乃至１４１−３が表
示されている例を示している。

【００７７】図１５の表示例のように、PLAYボタンが操
作されると、設定部１１３には、ステージ１１５上に表
示されているサウンドオブジェクト１４１−１乃至１４
１−３に対応するサウンドファイル名が表示されてい
る。また、サウンドオブジェクト１４１−１乃至１４１
−３は、それぞれ設定されたデータに従って、ステージ
１１５上を移動している。そして、各サウンドオブジェ
クト１４１−１乃至１４１−３は、画像部１１２に表示
されている画像の所定のメッシュが、設定された明るさ
以上になったら音を出す。また、コマンドボタン１１４
のPLAYボタンは、STOPボタンになり、上述した動作を止
めたいときに操作されるボタンとなる。

【００７８】ここで、既に説明したこと以外のサウンド
オブジェクト１４１の動作について、図１６を参照して
説明する。図１６では、サウンドオブジェクト１４１を
丸として示している。図１６（Ａ）は、サウンドオブジ
ェクト１４１−１と１４１−２が衝突したときを示して
いる。このような場合、サウンドオブジェクト１４１−
１と１４１−２は、互いに跳ね返る（移動方向が変化す
る）。この跳ね返りの大きさは、上述したＭＡＳＳの設
定画面（図１４（Ａ））で設定されたパラメータにより
決定される。

【００７９】図１６（Ｂ）は、ステージ１１５の画面枠
（壁）に衝突したサウンドオブジェクト１４１が、跳ね
返る様子を示している。このようにサウンドオブジェク
ト１４１は、ステージ１１５の壁に衝突すると跳ね返る
ように設定されているので、ステージ１１５の外に出て
しまい、その結果表示されなくなるといった状況はな
い。但し、ステージ１１５が３次元空間として設定され
ている場合、奥に行くに従って、サウンドオブジェクト
１４１は小さく表示されるようになっているので、小さ
くなった結果、ステージ１１５上に表示されていないよ
うに見えるときもある。

【００８０】図１６（Ｃ）は、カーソル１３０によりサ
ウンドオブジェクト１４１をドラッグできることを示し
ている。このように、ユーザによる直接的なサウンドオ
ブジェクト１４１の動作の制御も可能である。また、カ
ーソル１３０を用いてサウンドオブジェクト１４１がド
ラッグされ、その結果、ステージ１１５の外に出された
場合、そのサウンドオブジェクト１４１は、ステージ１
１５上に再び表示されないように、換言すれば、消去さ
れるようにし、全ての関連するデータも消去されるよう
に設定しても良い。

【００８１】このようにサウンドオブジェクト１４１の
基本的な動作を設定するだけで、これらの動作の組み合
わせにより、さまざまな動作を行わせることが可能とな
る。その結果、ユーザは音を聴覚的に楽しむのみばかり
でなく、視覚的に楽しむことも可能となる。

【００８２】次に、図１７のフローチャートを参照し
て、サウンドオブジェクト１４１の表示の制御について
説明する。ステップＳ１１において、表示の制御対象と
なるサウンドオブジェクト１４１が設定される。ステッ
プＳ１２において、設定されたサウンドオブジェクト１
４１に対して、既にユーザにより設定されている、上述
したような表示を制御するためのデータに従って、サウ
ンドオブジェクト１４１の表示を制御するためのパラメ
ータの設定が行われる。

【００８３】まずコマンドボタン１１４のPLAYボタンが
操作された直後である場合、Motion画面（図１１
（Ｃ））で設定された方向にサウンドオブジェクト１４
１を移動させるためのパラメータが設定される。

【００８４】サウンドオブジェクト１４１が既にステー
ジ１１５上を移動している場合、他のサウンドオブジェ
クト１４１やポインタ１６０が発生するバブルに衝突し
たか否かが判断され、衝突したと判断された場合、MASS
設定画面（図１４（Ａ））で設定されたデータに従っ
て、跳ね返りをする表示をするか否かが判断される。そ
して、跳ね返る表示をすると判断された場合、ステージ
１１５上での移動先のＸＹＺ座標の設定が行われる。

【００８５】この座標の設定により、Ｚ座標の値の変化
がある場合、サウンドオブジェクト１４１の大きさを変
化させるためのパラメータも設定される。ＸＹＺ座標の
設定では、FRICTION設定画面（図１４（Ａ））で設定さ
れた摩擦の大小も考慮に入れて設定される。すなわち、
摩擦が大きく設定されていた場合、ＸＹＺ座標の変化は
小さく、摩擦が小さく設定されていた場合、ＸＹＺ座標
の変化は大きくなるように設定される。

【００８６】さらに、Script設定画面（図１４（Ｃ））
において、ポインタ１６０に対する動作が設定されてい
た場合、その設定に従って、表示を制御するようにパラ
メータが設定される。

【００８７】このようにして、サウンドオブジェクト１
４１の表示を制御するパラメータが設定されたら、ステ
ップＳ１３において、設定されたパラメータに従って、
サウンドオブジェクト１４１の表示が制御され、ステー
ジ１１５上に表示される。

【００８８】ステップＳ１３において、サウンドオブジ
ェクト１４１の表示が終了されると、ステップＳ１１に
戻り、他のサウンドオブジェクト１４１に表示の制御対
象が変更される。そして、ステップＳ１２以降の処理が
繰り返される。

【００８９】このフローチャートの処理は、コマンドボ
タン１１４のSTOPボタンが操作されるなどした場合に、
割り込み処理として終了される。

【００９０】次に、図１８のフローチャートを参照し
て、サウンドオブジェクト１４１が明るさに対応して発
音する場合について説明する。ステップＳ２１におい
て、ＣＣＤビデオカメラ２３で撮像された画像が、取り
込まれる。取り込まれたデータは、処理部８２に転送さ
れる。処理部８２は、ステップＳ２２において、転送さ
れた画像から特徴抽出を行う。ここで行う特徴抽出は、
明るさを抽出することである。

【００９１】抽出された明るさに関するデータは、グラ
フィックチップ８１を介して、マイクロコントローラ６
１に転送される。マイクロコントローラ６１のCPU６３
は、ステップＳ２３において、転送された明るさに関す
るデータを用いて、明るさ設定画面（図１１（Ａ））で
設定された明るさの閾値以上になったメッシュが存在す
るか否かを判断する。存在していないと判断された場
合、ステップＳ２１に戻り、それ以降の処理が繰り返さ
れる。

【００９２】一方、ステップＳ２３において、設定され
た明るさ以上に達したメッシュが存在すると判断された
場合、ステップＳ２４に進む。ステップＳ２４におい
て、ステップＳ２３において設定された明るさ以上に達
したと判断されたメッシュに対応するサウンドオブジェ
クト１４１が発音するように各種のパラメータが設定さ
れる。

【００９３】設定されるパラメータとしては、まず音の
大きさがある。音の大きさは、サウンドオブジェクト１
４１のステージ１１５上で表示されている大きさに関係
している。すなわち、サウンドオブジェクト１４１が、
３次元空間と仮想されたステージ１１５内で、奥に存在
しているために小さく表示されている場合、そのサウン
ドオブジェクト１４１から発音される音も小さく鳴るよ
うにパラメータが設定される。

【００９４】逆に、サウンドオブジェクト１４１が、３
次元空間と仮想されたステージ１１５内で、手前に存在
しており、大きく表示されている場合、そのサウンドオ
ブジェクト１４１から発音される音も大きく鳴るように
パラメータが設定される。また、例えば、サウンドオブ
ジェクト１４１が奥から手前に移動しているときに、発
音する場合、その発音される音は、小さい音から徐々に
大きな音になるようにパラメータが設定される。

【００９５】また、サウンドオブジェクト１４１がステ
ージ１１５上を右から左に移動している場合、その移動
に合わせて、音も右から左に移動するように発音、換言
すれば、音像の定位が右から左へと移るように音が発音
されるようにパラメータが設定される。このように音の
強弱と定位が設定され、さらに、発音時間が設定され
る。この時間は、音の長さ設定画面（図１４（Ｂ））で
設定された時間だけ鳴るように設定される。

【００９６】このように発音させるための各種のパラメ
ータが設定されたら、ステップＳ２５において、設定さ
れたパラメータに従って発音される。そして、発音さら
れたら、ステップＳ２１に戻り、それ以降の処理が繰り
返される。

【００９７】なお、このフローチャートの処理は、コマ
ンドボタン１１４のSTOPボタンが操作されるなどされた
場合に、割り込み処理として終了される。

【００９８】このように、ＣＣＤビデオカメラ２３で撮
像された画像にLCD２１に表示される画像が変化し、さ
らに、発音される音が変化する本発明の情報処理装置が
適用された装置の利用方法の一例を以下に示す。

【００９９】パーソナルコンピュータ１を、例えばワー
ドプロセッサとして用いているときに、上述したような
処理により発音される音をＢＧＭ（バックグラウンドミ
ュージック）として用い、ステージ１１５に表示されて
いるサウンドオブジェクト１４１をスクリーンセイバと
して用いることも可能である。

【０１００】ＣＣＤビデオカメラ２３をユーザ自身を撮
像するようにしておいた場合、ユーザは、自分の動作に
より、表示されているサウンドオブジェクト１４１の動
作を制御したり、発音させたりできるので、ライブパフ
ォーマンスなどに用いることも可能である。また、楽器
の一種として用いることもできる。さらにＣＣＤビデオ
カメラ２３を部屋のドアを撮像するようにした場合、ド
アを開けて入ってくる人に反応して音が発せられるの
で、お店などでは、入店してきたお客さんに対して”い
らっしゃいませ”といった言葉をかけるなどの設定も可
能である。

【０１０１】なお、本発明の情報処理装置は、パーソナ
ルコンピュータ１以外にも適用できることは言うまでも
ない。また本明細書中において、上記処理を実行するコ
ンピュータプログラムをユーザに提供する提供媒体に
は、磁気ディスク、CD-ROMなどの情報記録媒体の他、イ
ンターネット、デジタル衛星などのネットワークによる
伝送媒体も含まれる。

【０１０２】

【発明の効果】請求項１に記載の情報処理装置、請求項
５に記載の情報処理方法、および請求項６に記載の提供
媒体によれば、被写体の画像を撮像し、撮像された画像
から、所定の特徴のデータを抽出し、抽出されたデータ
に応じて、音響データを再生するようにしたので、ユー
ザは簡単な設定を行うだけで音楽をアレンジして楽しむ
ことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した携帯型パーソナルコンピュー
タの構成例の表示部を本体に対して開いた状態を示す外
観斜視図である。

【図２】図１の平面図である。

【図３】図１の表示部を本体に対して閉塞した状態を示
す左側側面図である。

【図４】図１の表示部を本体に対して１８０度開いた状
態を示す右側側面図である。

【図５】図３の正面図である。

【図６】図４の底面図である。

【図７】図１の電気回路の構成例を示すブロック図であ
る。

【図８】LCDに表示される画面の一例を示す図である。

【図９】ユーザが行う処理を説明するフローチャートで
ある。

【図１０】LCDに表示される画面の一例を示す図であ
る。

【図１１】設定部に表示される画面の一例を示す図であ
る。

【図１２】LCDに表示される画面の一例を示す図であ
る。

【図１３】ポインタとバブルについて説明する図であ
る。

【図１４】設定部に表示される画面の一例を示す図であ
る。

【図１５】LCDに表示される画面の一例を示す図であ
る。

【図１６】サウンドオブジェクトの動作を説明する図で
ある。

【図１７】サウンドオブジェクトを表示するために行わ
れる処理を説明するフローチャートである。

【図１８】サウンドオブジェクトが音を発するために行
われる処理を説明するフローチャートである。

【符号の説明】

１パーソナルコンピュータ，２３ＣＣＤビデオカ
メラ，１１０作曲ウインドウ，１１１選択部，
１１２画像部，１１３設定部，１１４コマ
ンドボタン，１１５ステージ，１２０サウンド
ファイルウインドウ，１２１選択部，１２２フ
ァイル表示部，１３０カーソル，１４１サウンド
オブジェクト，１６０ポインタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者末吉隆彦東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B057 BA02 DA20 DC22 5D378 KK11 KK37 KK39 MM51 MM91 PP01 PP03 PP05

Claims

【特許請求の範囲】

【請求項１】被写体の画像を撮像する撮像手段と、前
記撮像手段により撮像された画像から、所定の特徴のデ
ータを抽出する抽出手段と、再生する音響データを設定する設定手段と、前記抽出手段により抽出されたデータに応じて、前記設
定手段により設定された音響データを再生する再生手段
とを備えたことを特徴とする情報処理装置。
【請求項２】前記設定手段により設定された音響デー
タに対応して生成されたオブジェクトの動作を制御する
ためのパラメータを設定するパラメータ設定手段と、前記パラメータ設定手段により設定されたパラメータと
前記抽出手段により抽出されたデータに応じて、前記オ
ブジェクトの表示を制御する表示制御手段とをさらに備
えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】前記設定手段と前記パラメータ設定手段
により設定されたデータを記録する記録手段をさらに備
えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】前記抽出手段により抽出される特徴は、
明るさに関するデータであり、前記設定手段は、前記撮像手段により撮像された画像を
複数の画面に分割し、分割された画面毎に、音響データ
と明るさの閾値を設定し、前記再生手段は、前記分割された画面のうち前記閾値を
越えた画面に対応する音響データを再生することを特徴
とする請求項１に記載の情報処理装置。
【請求項５】被写体の画像を撮像する撮像ステップ
と、前記撮像ステップで撮像された画像から、所定の特徴の
データを抽出する抽出ステップと、再生する音響データを設定する設定ステップと、前記抽出ステップで抽出されたデータに応じて、前記設
定ステップで設定された音響データを再生する再生ステ
ップとを含むことを特徴とする情報処理方法。
【請求項６】被写体の画像を撮像する撮像ステップ
と、前記撮像ステップで撮像された画像から、所定の特徴の
データを抽出する抽出ステップと、再生する音響データを設定する設定ステップと、前記抽出ステップで抽出されたデータに応じて、前記設
定ステップで設定された音響データを再生する再生ステ
ップとを含む処理を情報処理装置に実行させるコンピュ
ータが読み取り可能なプログラムを提供することを特徴
とする提供媒体。