JP2000330600A - 音声可視化方法、可視化された音声情報の操作方法、これらの装置、及び、これらの方法を記録した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ディジタル化音声情報の計算機内仮想空間へ
の表示と、その仮想空間での音声編集を可能とする音声
可視化方法、操作方法、装置を提供する。 【解決手段】 まず音声信号解釈手段１１００により、
入力音声信号の持続時間等の値を取得し、座標決定手段
１２００により、それらの値を空間形状の座標値に対応
させる。区間分割手段１４００は音声信号を時間軸方向
にある区間幅で分割する。次に形状決定手段１６００に
より、区間毎の音声信号の代表特徴量を区間毎に幾何的
形状を対応づけ、形状サイズ決定手段１７００により、
その幾何的形状の大きさを決定する。時間軸配置手段１
８００は前記区間毎の形状を時間軸方向に対応した座標
軸に沿って配置し、表示する。このように表示された空
間形状への図形的な操作、例えば、位置や大きさ、色指
定の変更を入力として、逆に音声情報を変化させること
で、音声編集したディジタルデータを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル化され
た音データを、計算機で可視化表示する際に、音データ
の有するディジタル音声信号を色情報や空間形状に変換
するための音声可視化方法とその可視化された音声情報
を利用して元の音声信号を編集可能とする操作方法、及
びそれらの装置に関するものである。

【０００２】

【従来の技術】従来、計算機に入力・記録されたディジ
タル音声情報を可視化して表示する場合、例えば音声デ
ータであることを示すアイコン画像で表示したり、ある
いは音声データを編集する際に、縦軸に振幅を、横軸に
時間を取ってグラフ表示することがほとんどであり、実
際にどのような音声信号が含まれているかは何らかの手
段で音声信号を再生して聴くか、ファイル名から判断す
るしかないという問題があった。例えば、前記アイコン
に、任意な色を付けて他と区別することは可能である
が、内容（音声情報）とは無関係な色であった。

【０００３】また、例えばコンピュータ・グラフィック
スで作成された仮想空間に形状を有するデータを表示す
ることは可能であるが、音声データを表示することは困
難であるという問題があった。

【０００４】また、音声信号を編集する場合、時間軸に
沿った波形信号を編集する手段のみ存在し、空間図形や
空間形状のように、編集者が直感的に理解しやすい大域
的な編集作業が困難である、という問題があった。

【０００５】

【発明が解決しようとする課題】本発明の課題は、前記
問題点を解決した、ディジタル化された音声情報を、そ
のデータが有する音声信号の特徴を反映した色や形状に
変換する音声可視化方法とその操作方法、及び、それら
の装置を提供することにより、計算機内の仮想空間への
表示、計算機内の仮想空間での音声編集、を可能とする
ことにある。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は、ディジタル化された音声信号を可視化す
る方法において、前記音声信号の特徴を色情報または計
算機内の仮想的な空間における空間形状に対応づける段
階と、前記対応づけに基づいて前記音声信号を色情報ま
たは空間形状に変換する段階とを有することを特徴とす
る。

【０００７】あるいは、前記音声信号の特徴を色情報ま
たは空間形状に対応づける段階では、前記音声信号の振
幅に対して色情報を対応づけるか、または、前記音声信
号を周波数展開し、最も寄与の大きな有限個の周波数成
分の種類に対して色情報を対応づけるか、または、前記
音声信号の持続時間と前記音声信号のサンプル値とを、
前記空間形状を特徴づける幾何形状と大きさとに対応づ
けることを特徴とする。

【０００８】あるいは、前記音声信号の特徴を色情報ま
たは空間形状に対応づける段階では、前記音声信号を時
間軸方向のある区間に分割し、前記分割した各区間毎に
前記対応づけを行うことを特徴とする。

【０００９】あるいは、前記対応づけに基づいて前記音
声信号を色情報または空間形状に変換する段階では、前
記変換された各区間毎の色情報または空間形状を時間軸
方向に配置する段階を有することを特徴とする。

【００１０】あるいは、前記各区間毎の色情報または空
間形状を時間軸方向に配置する段階では、前記時間軸方
向に配置された色情報または空間形状を、該時間軸方向
に連続した色情報または空間形状に近似することを特徴
とする。

【００１１】また、以上の音声可視化方法のいずれかに
より、可視化された音声信号を操作する方法であって、
前記音声可視化方法における音声信号の特徴を色情報ま
たは空間形状に変換する段階において、前記変換の対象
となる音声信号と該変換された色情報または空間形状と
の対応関係を記憶する段階と、前記記憶された色情報ま
たは空間形状を変化させることにより、前記対応関係に
ある音声信号を変化させる段階とを有することを特徴と
する。

【００１２】また、同じく本発明は、ディジタル化され
た音声信号を可視化する装置において、前記音声信号の
特徴を色情報または計算機内の仮想的な空間における空
間形状に対応づける手段と、前記対応づけに基づいて前
記音声信号を色情報または空間形状に変換する手段とを
有することを特徴とする。

【００１３】あるいは、前記音声信号の特徴を色情報ま
たは空間形状に対応づける手段は、前記音声信号の振幅
に対して色情報を対応づける手段か、または前記音声信
号を周波数展開し、最も寄与の大きな有限個の周波数成
分の種類に対して色情報を対応づける手段か、または前
記音声信号の持続時間と前記音声信号のサンプル値と
を、前記空間形状を特徴づける幾何形状と大きさとに対
応づける手段であることを特徴とする。

【００１４】あるいは、前記音声信号の特徴を色情報ま
たは空間形状に対応づける手段は、前記音声信号を時間
軸方向のある区間に分割する手段と、前記分割した各区
間毎に前記対応づけを行う手段とを有することを特徴と
する。

【００１５】あるいは、前記対応づけに基づいて前記音
声信号を色情報または空間形状に変換する手段は、前記
変換された各区間毎の色情報または空間形状を時間軸方
向に配置する手段を有することを特徴とする。

【００１６】あるいは、前記各区間毎の色情報または空
間形状を時間軸方向に配置する手段は、前記時間軸方向
に配置された色情報または空間形状を、該時間軸方向に
連続した色情報または空間形状に近似することを特徴と
する。

【００１７】また、以上の音声可視化装置のいずれかを
有し、前記音声可視化装置における音声信号の特徴を色
情報または空間形状に変換する手段において、前記変換
の対象となる音声信号と該変換された色情報または空間
形状との対応関係を記憶する手段と、前記記憶された色
情報または空間形状を変化させることにより、前記対応
関係にある音声信号を変化させる手段とを有することを
特徴とする。

【００１８】さらには、上記の音声可視化方法を計算機
に実行させるためのプログラムを、該計算機が読取可能
な記憶媒体に記録したことを特徴とする。

【００１９】また、上記の音声情報の操作方法を計算機
に実行させるためのプログラムを、該計算機が読取可能
な記憶媒体に記録したことを特徴とする。

【００２０】本発明では、音の持つ各種の情報（継続時
間、残響時間、周波数成分、各周波数成分ごとの強度、
エネルギー比、ｐｓ時間（最初の音波が到着してから次
の音波が到着するまでの時間）など）をその音の特徴と
して識別し、識別された音声情報の特徴量を入力として
色情報や図形的な情報（多面体か球、表示位置、大き
さ、角度など）に写像演算し、この写像演算により得ら
れた図形的な情報を表示することにより、 （１）音声情報、特に効果音や音片をサンプリングした
ディジタルデータを入力として、２次元または３次元の
表示装置上に色情報あるいは、多面体や球などの空間形
状として音声情報を表示させる機能。 （２）表示された色情報あるいは、多面体や球などの空
間形状への操作、例えば、位置や大きさ、色指定の変更
を入力として、逆に音声情報、例えば効果音の心理的印
象を変化させたディジタルデータを生成する機能。を実
現する。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を、図
面を用いて詳細に説明する。

【００２２】［音・色変換の基本構成］図１は音・色変
換を行う場合の本発明の最も基本となる構成図である。
図１において、１００は音・色対応決定手段であり、本
発明の特徴である音声信号と色情報との対応を決定する
手段である。２００は音・色変換手段であり、音・色対
応決定手段１００で決定された対応に基づいて入力され
た音声信号から色への変換を実行する手段である。以
下、実施形態例にて詳しく説明する。

【００２３】以下の実施形態例において、色情報は赤、
緑、青の三原色で表示するＲＧＢを用い、透過率を表す
アルファ値を含む場合はＲＧＢＡで表す。もちろん、他
の表色法、例えばＣＭＹやＨＳＶなどを用いても良い。
また、ディジタル化された音声データは、ある離散化さ
れた時刻での音の値を、ある階調値で表現する。例え
ば、４４．１ＫＨｚのサンプリング・レートで階調値を
１６ビットでサンプリングする、などである。以下、離
散化された時刻のことを単に「時刻」、その時刻におけ
るサンプル値を「サンプル値」と称する。

【００２４】［実施形態例１］図２は本発明の第１の実
施形態例を示す構成図であり、音・色変換する場合の一
実施形態例を示すものである。

【００２５】１００は音・色対応決定手段であり、２０
０は音・色変換手段である。

【００２６】００１は音声情報入力手段であり、ディジ
タル化音声情報を入力する。

【００２７】音・色対応決定手段１００において、１１
０は表色系選択手段であり、音声信号をどのような表色
系、例えばＲＧＢ表色系やＣＭＹ表色系、ＨＳＶ表色系
などを選択する手段である。以下、説明では最も一般的
であるＲＧＢ表色系を用いるが、どの表色系を用いても
本質的に変りはない。もちろん、音声信号を色情報に変
換した後に、他の表色系に変換してもかまわない。もち
ろん他の表色系でもよい。

【００２８】１１１は非透過率変換選択手段であり、音
声信号の非透過率（以下、アルファ値と称する）への変
換を行うか行わないかを選択する手段である。

【００２９】１２０は階調数正規化手段である。音声信
号を色情報に対応づける際に、音声信号の階調数と色情
報の階調数が一致していれば１対１の対応が可能である
が、そうでない場合はどちらかの階調数（例えば階調数
の少ない方）で正規化することにより、１対１の対応づ
けを可能とする。

【００３０】１３０は対応付与手段であり、音声信号の
各離散化時刻でのサンプル値を色情報即ちＲＧＢあるい
はアルファ値にどう対応づけるかを決定する。

【００３１】この時、例えばＲＧＢと音声信号を対応づ
ける場合、図３（ａ）に示すように直線的に対応づける
方法でもよいし、図３（ｂ）に示すようにサンプル値の
大きさに従って、ＲＧＢそれぞれに分配して対応づける
方法でもよい。その際、ＲＧＢでの増加率を変化させて
も良い。

【００３２】また、図３（ｃ）に示すように、ＲＧＢと
の対応と独立に、各離散時刻のサンプル値と非透過率と
を対応づけてもよい。この対応によって、例えば大きな
音は不透明に、小さな音は透明で表現できる。

【００３３】また、音声信号のサンプル値と色情報の階
調値とを線形に対応づけても良いし、他の手法、例え
ば、それぞれの階調値範囲を［０，Ｓ_max］，［０，Ｃ
_max］としたときに、あるサンプル値ｓと対応づける色
の階調数ｃとの関係を、 ｃ＝Ｃ_max√（ｓ／Ｓ_max） …（１） としてもよいし、他の対応づけ手法を用いても良い。

【００３４】次に、音・色変換手段２００において、２
１０は音声情報解釈手段であり、入力された音声情報の
各難敵化時刻でのサンプル値や、音声情報の長さ（持続
時間）を解釈する手段である。

【００３５】２２０は音声情報を時間軸方向に分割する
区間分割手段である。例えば、音声信号の時間軸方向の
長さをＴとし、ＴをＮ個の適当な時間幅に分割し、各区
間を時間軸方向に並べたものをｔ₁，ｔ₂，…ｔ_Nとす
る。即ち、Σ_i=1 ^Nｔ_i＝Ｔである。各区間は同じだけの
幅でもよいし、各区間幅で異なっていてもよい。また、
区間数を１（Ｎ＝１）に取れば音声情報全体をひとつの
色情報に変換する実施形態例となり、区間数を複数に取
れば音声情報を分割区間毎に音・色変換する実施形態例
となる。

【００３６】区間でまとめず、音声信号の離散化数をそ
のままＮとしてもよいが、例えばサンプリング・レート
Ｒ（Ｈｚ）が大きい場合のように、全離散化時刻でのサ
ンプル値を色に変換しても可視化しにくい場合や、変換
後のデータの数が大きくなってしまうことがあるため、
あらかじめ離散化時刻をいくつかまとめて、代表値を決
定してから変換したり、あるいは一度各離散化時刻のサ
ンプル値を色情報に変換してから区間内の色情報の代表
値を決定することなどが有効となる。

【００３７】２２１は区間代表値決定手段であり、各区
間ｔ_i（ｉ＝１，２，…，Ｎ）内の離散化サンプル値の
代表値を決定する。例えば、サンプル値の区間内の平均
値などである。

【００３８】２３０は変換手段であり、１３０の対応付
与手段に基づいて実際の変換を行う。

【００３９】２３１は区間代表色決定手段であり、離散
化時刻でのサンプル値を色に変換した後に、各区間ｔ_i
（ｉ＝１，２，…，Ｎ）の色データの代表値を決定す
る。例えば、データ値の平均などである。その際、区間
代表決定手段２２１で一度サンプル値の区間代表値を決
定した後、変換手段２３０で変換し、さらに新たな区間
を設けて新たにｔ_i（ｉ＝１，２，…，Ｎ）とし、代表
色を決定しても良い。区間ごとの変換例を図４に示す。

【００４０】００２は色情報出力手段であり、変換され
た色情報を出力する。

【００４１】以上の処理の流れを図５に示す。

【００４２】本実施形態例により、ディジタル化された
音声情報を、音声情報の内容に応じた色情報で表現する
ことが可能となる。

【００４３】［実施形態例２］図６は本発明の第２の実
施形態例を示す構成図であり、同様に音・色変換する場
合の別の実施形態例である。

【００４４】００３，００４の意味は実施形態例１の０
０１，００２と同様である。また、３００は音・色対応
決定手段であり、４００は音・色変換手段であり、それ
ぞれ実施形態例１では１００，２００に対応する。

【００４５】音・色対応決定手段３００において、３１
０は表色系選択手段、３１１は非透過率変換選択手段で
あり、実施形態例１の同名の手段と同様の機能を有する
手段である。

【００４６】３２０は階調数正規化手段であり、音声信
号を色情報に対応づける際に、音声信号を周波数展開し
た場合の周波数の数と色情報の階調数が一致していれば
１対１の対応が可能であるが、そうでない場合はどちら
かの階調数（例えば階調数の少ない方）で正規化するこ
とにより、１対１の対応づけを可能とする。

【００４７】３３０は対応付与手段であり、音声信号の
各周波数成分に色情報即ちＲＧＢあるいはアルファ値に
どう対応づけるかを決定する。

【００４８】この時、例えば音声信号Ｆをある周波数関
数ｆ_kを用いて、 Ｆ＝Σ_k=1 ^Kｗ_kｆ_k …（２） のように展開する。ｗ_iは係数である。本実施形態例で
は、各周波数関数ｆ_kを色と対応づける。この周波数展
開は、例えばフーリエ展開でも良いし、ウェーブレット
展開でも良い。いずれにせよ展開の基底関数と色とを対
応づける。対応づけは実施形態例１と同様に、線形な対
応でもよいし非線型な対応でも良い。図７（ｂ）は対応
の一例を示している。

【００４９】次に、音・色変換手段４００において、４
１０は音声情報解釈手段であり、入力された音声信号の
持続時間や離散化時刻でのサンプル値を解釈する手段で
ある。

【００５０】４２０は音声情報を時間軸方向に分割する
区間分割手段であり、実施形態例１と同様の機能を有す
る。ここで、区間数Ｎを１に取れば音声情報全体をひと
つの色情報に変換する実施形態例となり、区間数を複数
に取れば音声情報を分割区間毎に音・色変換する実施形
態例となる。

【００５１】４３０は周波数展開手段であり、各区間ご
とに音声信号を周波数展開する。この時、有限個の基底
関数で展開して良い。

【００５２】４４０は変換成分決定手段であり、前記周
波数展開手段４３０で音声信号を展開した後、寄与の大
きい、即ち展開係数の絶対値の大きい周波数成分をある
有限な個数Ｍだけ選択する手段である。例えば、図７
（ａ）に示すような展開係数が得られてＭ＝３とした場
合、寄与の大きい順にｆ₁，ｆ₂，ｆ₃を選択する。それ
ぞれの周波数成分は、例えば図７（ｂ）に示すように対
応付与手段３３０において色に対応づけられている。

【００５３】４４１は区間代表値決定手段であり、前記
Ｍ個の周波数成分から１個の代表値を計算する手段であ
る。Ｍ＝１であればそのまま代表値となるし、あるいは
Ｍ個重み付け平均を取り、例えば ｆ＝Σ_k=1 ^M｜ｗ_k｜ｆ_k／Σ_k=1 ^M｜ｗ_k｜ …（３） で表しても良い。

【００５４】４５０は変換手段であり、３３０の対応付
与手段に基づいて実際の変換を行う。例えば区間代表値
決定手段４４１において代表周波数成分が決定されてい
る場合は対応付与手段３３０の対応付けにより色を対応
づけ、そうでない場合はＭ個の周波数成分に色を対応づ
ける。

【００５５】４５１は区間代表色決定手段であり、前記
変換手段４５０により区間に複数の色が対応づけられた
際に、区間の代表色を決定する手段である。また、区間
分割手段４２０で決定された区間を変更し、新しい区間
での代表色を決定しても良い。

【００５６】００４は色情報出力手段であり、変換され
た色情報を出力する。

【００５７】以上の処理の流れを図８、図９に示す。な
お、図８中の○印ａは図９中の○印ａに処理の流れが続
いていることを示している。

【００５８】本実施形態例により、ディジタル化された
音声情報を、音声情報の内容に応じた色情報で表現する
ことが可能となる。

【００５９】［音・形状変換の基本構成］図１０は音・
形状変換する場合の本発明の最も基本となる構成図であ
る。

【００６０】図１０において、１１００は音声信号解釈
手段であり、入力された音声信号の持続時間、サンプリ
ング・レート、離散化されたサンプル値などを取得する
手段である。

【００６１】１２００は座標決定手段であり、音声信号
の持続時間およびサンプル値を空間形状のどの座標値に
対応させるかを決定する手段である。

【００６２】１３００は単位決定手段であり、空間形状
の単位長さが音声信号のある情報量のどれだけの量に対
応するかを決定する。

【００６３】１４００は区間分割手段であり、音声信号
を時間軸方向にある区間幅で分割する。

【００６４】１５００は区間特徴量決定手段であり、前
記区間ごとの音声信号の特徴量をひとつの量で代表させ
る手段である。

【００６５】１６００は形状決定手段であり、前記区間
ごとに幾何的形状を対応づける手段である。

【００６６】１７００は形状サイズ決定手段であり、単
位決定手段１３００で決定された単位および区間特徴量
決定手段１５００で決定された特徴量に基づき、幾何的
形状の大きさを対応づける手段である。

【００６７】１８００は時間軸配置手段であり、前記区
間ごとの形状を時間軸方向に対応した座標軸に沿って配
置する手段である。

【００６８】また、１０１０は座標・単位記憶手段であ
り、必要に応じて座標決定手段１２００、単位決定手段
１３００の変換座標、および単位を記憶する手段であ
る。

【００６９】１０２０は区間形状・音声信号対応記憶手
段であり、必要に応じて区間毎の音声信号と、変換後の
空間形状との対応づけを行う。

【００７０】なお、１０１０，１０２０のブロックは、
元の音声情報に対し編集操作する場合（実施形態例５）
を考慮しないときは必ずしも必要ではない。以下、実施
形態例にて詳しく説明する。

【００７１】以下の実施形態例において、空間形状は３
次元空間での形状を仮定しているが、容易に推察され得
るように、２次元空間への射影を考慮すれば２次元空間
での形状への変換も可能である。

【００７２】［実施形態例３］以下は本発明の第３の実
施形態例であり、音・形状変換する場合の一実施形態例
である。本実施形態例は図１０の基本構成図と同様の構
成であり、本実施形態例のブロック番号は図１０に対応
している。

【００７３】まず、音声信号解釈手段１１００は入力さ
れた音声信号の持続時間Ｔ、入力された音声信号の持続
時間、サンプリング・レートＲ、離散化されたサンプル
値を取得する。

【００７４】次に、座標決定手段１２００によって、例
えば音声信号の時間軸を空間座標のＸ軸に、離散化時刻
における音声信号のサンプル値をＹＺ平面に対応づけ
る。

【００７５】次に、単位決定手段１３００によって、例
えばＴ秒をＸ方向の長さＴｃｍに対応づける。また、音
声信号のサンプル値をＹＺ平面における長さに対応づけ
るが、例えばサンプル値が階調数１６ビットで表現され
ている場合、最大の２¹⁶を例えば空間の１０ｃｍに対応
づける、などである。この対応づけは、絶対長さではな
く仮想空間の相対的な長さを用いて良いことはもちろん
である。

【００７６】ここで、例えば実施形態例５に示すよう
に、後にこれらの対応情報を用いて元の音声情報を操作
する際には、座標・単位記憶手段１０１０によって座標
決定手段１２００、単位決定手段１３００で決定され
た、音声信号と空間形状の座標および単位の変換を記憶
し、必要に応じて記憶装置へ出力する。

【００７７】次に、区間分割手段１４００によって、音
声信号を時間軸方向にある区間幅で分割する。即ち、時
間［０，Ｔ］で表される音声信号の長さをｔ₁，ｔ₂，…
ｔ_NにＮ分割する。各時間幅は同一でもよいし、異って
いても良い。また、Ｎ＝Ｒ×Ｔとすれば分割を行わない
ことと同一であり、音声情報全体をひとつの色情報に変
換する実施形態例となり、複数の場合は音声情報を分割
区毎に音・色変換する実施形態例となる。

【００７８】次に、区間特徴量決定手段１５００は、各
区間ｔ_i（ｉ＝１，２，…，Ｎ）ごとの音声信号サンプ
ル値の特徴量をひとつの量で代表させる。この時、例え
ば、 １）区間内のサンプル値の平均を取る。

【００７９】２）区間内のサンプル値の微分の平均を取
る。

【００８０】３）区間内のサンプル値を周波数展開し、
最も寄与の大きい周波数値で代表させる。などの方法に
よって代表値を決定する。

【００８１】次に、形状決定手段１６００において、区
間ｔ_iの幾何的形状を決定する。この時、例えば、区間
内において、時間軸（Ｘ軸）に垂直な断面図が全く同一
であるような柱状の形状としてもよい。また、断面図が
Ｘ軸を中心とする円でもよいし、Ｘ軸との交点を重心と
する矩形でもよいし、三角形でもよいし、その他任意の
多角形としてよい。この時、例えば、音声信号の表す意
味に応じて形状をあらかじめ決定しておいても良い。例
えば、自然音は円、ことばの音素（例えば「あ」や
「さ」）は正方形、音楽は六角形などである。

【００８２】また、区間特徴量決定手段１５００におけ
る区間特徴量を反映したものでもよい。以下では、正方
形で表すものとして説明を進めていく。

【００８３】次に、形状サイズ決定手段１７００におい
て、単位決定手段１３００で決定された単位、および区
間特徴量決定手段１５００で決定された特徴量に基づ
き、幾何的形状の大きさを対応づける。例えば、正方形
の一辺の長さなどである。

【００８４】次に、時間軸配置手段１８００は、前記区
間ごとの形状を時間軸方向に対応した座標軸に沿って配
置する。図１１に、変換例を示す。

【００８５】記憶手段１０２０は、区間分割された音声
信号と、前記区間を近似した形状との対応を記憶する。
例えば、図１１のように、（ａ）の音声信号を（ｂ）の
ように区分量子化し、（ｃ）のように空間形状に変換し
たような場合、区間分割手段、空間配置手段および実施
形態例４における形状近似化手段によって、空間形状に
属するある部分が、音声信号のどこからどこまでの区間
を表現しているかが特定できるため、本対応を記憶する
ものである。

【００８６】対応の付け方としては、例えば、音声信号
の区間分割した区間、前記区間を近似した形状にそれぞ
れ一意的な識別子を付与し、それぞれの識別子を対応づ
ける、などである。

【００８７】以上の処理の流れを図１２、図１３に示
す。

【００８８】本実施形態例により、音声信号を音声信号
の特徴を有する空間形状に変換することが可能となる。

【００８９】［実施形態例４］図１４は本発明の第４の
実施形態例を示す構成図であり、色・形状変換する別の
実施形態例である。以下の説明では、実施形態例３との
差異のみ示す。

【００９０】本実施形態例の特徴は、実施形態例３によ
って出力された形状を、図１４の１９００の形状近似化
手段により、空間的に連続な形状に近似することであ
る。あるいは、原音声信号（区分数ＲＴで表される）ま
たは区分分割された信号から、直接近似形状を生成して
も良い。

【００９１】形状近似の手法としては、例えば以下の処
理を行う。

【００９２】１）区間ごとに変換された形状を全て含む
ような形状で近似する。

【００９３】２）区間ごとに変換された形状を全て含
み、なめらかな曲面で構成される閉曲面で近似する。

【００９４】３）区間ごとに変換された形状を全て含
み、なめらかな曲面で構成される凸閉曲面で近似する。

【００９５】４）音声信号の区間代表値を連結して近似
し、時間軸（ｘ軸）の回りに回転体を生成する。

【００９６】５）音声信号の区間代表値を連結して近似
し、実施形態例１の形状を適用して形状を生成する。

【００９７】図１５（ａ），（ｂ１），（ｃ１）は、前
記４）の近似例を示し、また、図１５（ａ），（ｂ
２），（ｃ２）は、前記５）の近似例を示す。

【００９８】また、本実施形態例においては、１０２０
の区間形状・音声信号対応記憶手段では、近似後の空間
形状の、どの部分が音声信号の区間に相当するかを記憶
する。この場合、例えば変換図形のＸ座標値が、もとの
音声信号のどの時間幅に対応しているかによって決定づ
けられる。

【００９９】以上の処理の流れを図１６に示す。

【０１００】本実施形態例により、ディジタル化された
音声信号を、音声情報の内容に応じた空間形状で近似す
ることが可能となる。

【０１０１】［実施形態例５］図１７は本発明の第５の
実施形態例を示す構成図であり、以上のように可視化さ
れた音声情報を操作して元の音声情報を変更する実施形
態例である。なお、図１７では、空間形状に変換する手
段と、空間形状を編集して音声信号を修正する手段とを
結合する形でブロック図を示しているが、この結合はフ
ァイルやネットワークなどを介したものでもよい。

【０１０２】２０１０は、音声信号を入力する音声信号
入力手段である。

【０１０３】２０２０は、前記音声信号を表現する空間
形状を入力する空間形状入力手段である。

【０１０４】２０３０は、座標・単位情報入力手段であ
り、実施形態例３または実施形態例４で決定された音声
信号の時間軸と変換空間図形の座標軸との対応、および
変換単位の情報を入力する座標・単位変換情報入力手段
である。

【０１０５】２０４０は、区間形状・音声信号対応情報
を入力する区間形状・音声信号対応情報入力手段であ
り、空間図形あるいは空間図形の時間軸に相当する座標
軸の座標値と、音声信号の時間軸方向の変数との対応を
得る手段である。

【０１０６】２０５０は、入力された前記空間形状を変
形する空間形状変形手段である。空間形状の変形は、一
般によく知られたＣＧソフトウエア等で用いられている
変形を用いて良い。

【０１０７】２０６０は、形状・音声対応手段であり、
前記変形された部分が音声信号のどの区間に対応するか
を判定する手段であり、区間形状・音声信号対応情報入
力手段２０４０によって入力された対応情報を用いる。

【０１０８】２０７０は変位変換手段であり、前記空間
形状変形手段２０５０によって行われた空間形状の変位
を、前記形状・音声対応手段２０６０によって得られた
対応によって対応づけられた音声信号の区間における音
声信号の変化に変換する手段である。

【０１０９】例えば、図１８（ａ）に示すように、ある
音声信号を変換した空間形状の一部を変形したような場
合、この変形に相当する空間位置を図１８（ｂ）に示す
ように対応する音声信号の区間へと変換し、図１８
（ｃ）に示すように対応する区間の音声信号の修正を行
う。

【０１１０】空間図形の変形が複数区間にまたがる場合
も、例えば音声信号の区間の境界で連続性を保つように
変形しても良い。また、同一区間内で、空間変位の意味
に応じて、区間内の音声信号を全て同じ割合で増加・減
少するなど、一様に変化させても良いし、例えば区間の
境界付近の音声信号は隣接する前後の区間との連続性を
保つように変化させ、区間の中央では区間全体の平均が
変形の度合いに対応するように調整して修正しても良
い。

【０１１１】以上の処理の流れを図１９に示す。

【０１１２】本発明により、変換された形状を変化させ
ることによって、対応づけられた音声信号を編集するこ
とが可能となる。

【０１１３】［音声・色、形状変換の詳細な処理手順の
実施形態例における全般的な処理］まず、以下の音声・
色または形状変換処理の説明で用いる記号について説明
する。

【０１１４】ディジタル化されたある音声信号は１トラ
ックあたり、以下のフォーマットで記述される。・サン
プル周波数Ｒ、即ち単位時間（１秒間）あたりのサンプ
ル数。例えばＣＤ−ＲＯＭ程度の音質であれば、４４．
１ＫＨｚであり、１秒間を４４１００の区間に離散化
し、各離散時間毎に音声信号を量子化することになる。
・サンプル信号の階調数５。例えばＣＤ−ＲＯＭ程度の
音質であれば、１６ビット即ち２¹⁶階調である。

【０１１５】以上のフォーマットの基に、各サンプル時
刻におけるサンプル信号の階調値ｆを記述することによ
り、音声信号が記録される。このとき、音声信号の長さ
Ｔは時間軸方向の総サンプル数でも表現でき、その場合
はＲＴで表される。

【０１１６】なお、音の大きさは正規化されているもの
とし、音の大きさを増幅する際の倍率をＢとする。

【０１１７】以下、各サンプル時刻をτ_i，ｉ＝１，
２，…，で表し、サンプル時刻τ_iでのサンプル信号値
をｆ（τ_i）などと表すものとする。

【０１１８】また、音声信号を変換したものを配置する
仮想的な３次元空間（ユークリッド座標系ｘ，ｙ，ｚで
表す）において、色はＲＧＢ表色系で表すものとし、変
換後の色を（Ｒ，Ｇ，Ｂ）、変換後の色の非透過率をＡ
で表す。もちろん他の表色系でも良い。

【０１１９】本発明の特徴は、音声信号を表す、時間を
変数とする値ｆ＝ｆ（ｔ）を３次元空間における、ひと
つの座標軸を変数とする形状および色に変換することで
ある。即ち、以下のような対応を付ける。

【０１２０】１）時間変数と、空間の一座標との対応。

【０１２１】この一座標はｘ，ｙ，ｚのどれでもよい
が、一般性を失わないので以下の説明ではｘ軸とする。

【０１２２】ｔ←→ｘ ２）サンプル値と、ｙｚ平面（即ち、１）で選択した残
りの二座標で表される平面）上で表される空間図形との
対応。

【０１２３】ここでは、ｘ軸を重心とし、１つのパラメ
ータｒで表される図形に変換されるものとし、この図形
をＦ（ｙ，ｚ；ｒ）とする。例えば、半径ｒの円でもよ
いし、一辺の長さがｒであるような正方形でも正六角形
でも良い。半径ｒの円の場合、Ｆ（ｙ，ｚ；ｒ）はｙ²
＋ｚ²＝ｒ²で表される。

【０１２４】ｆ←→Ｆ（ｙ，ｚ；ｒ） ３）サンプル値と、色または非透過率との対応。

【０１２５】ｆ←→Ｒ，Ｇ，Ｂ，Ａ 以下、一般性を失わないので、変換後の３次元空間の座
標のスケールは正規化されているものとし、同じく変換
後の色および非透過率のスケールも正規化されているも
のとする。即ち、 ・時間ｔ（０≦ｔ≦Ｔ）はｘ軸方向の長さ０≦ｘ≦Ｔ）
に変換され、 ・サンプル値ｆ（０≦ｆ≦２^S）は０≦ｒ≦１．０）に
変換され、 ・サンプル値ｆ（０≦ｆ≦２^S）はＲＧＢ表色系のＲ値
またはＧ値またはＢ値の、０≦Ｒ，Ｇ，Ｂ≦１．０）に
変換され、また、非透過率０≦Ａ≦１．０）に変換され
る。ただし、非透過率０は完全な透明を表し、非透過率
１は完全な非透明を表す。

【０１２６】上記の変換後であれば、３次元空間内にお
いて変換後の形状に通常のアフィン変換を施すことによ
り、任意の位置に任意のスケールで配置することが可能
である。

【０１２７】また、もとの音声信号は１秒あたりのサン
プル数が多いため、離散化されたサンプリング区間τ_i
を新たなＮ個の区間ｔ_iに分割するのが効果的である。
新たな区間幅は一定でもよいし、等間隔でも良いが、以
下では簡単のため一定の区間幅Δｔを取る。即ち、Ｔ＝
Ｎ×Δｔ，ｔ_i+1＝ｔ_i＋Δｔとなる．特殊な場合とし
て、Ｎ＝１のときは、全区間を１区間とみなすことにな
る。結局、新たな区間［ｔ _i，ｔ_i+1］の代表値ｆ＾
（ｔ）を決定し、そのｆ＾（ｔ）と上記のｒあるいはＲ
ＧＢＡとを対応づけることになる。

【０１２８】新たな区間分割の区間幅や区間代表値の決
定方法は、形状への変換と色への変換で同一にしてもよ
いし、異っていてもよいが、一般性を失わないので以下
の説明では特に明記しない限り、区別しない。

【０１２９】［音声信号を３次元空間内の形状又は色に
変換する処理手順１の詳細な実施形態例］以下は、図２
０で示す処理の説明であり、音声信号を空間の形状また
は色に変換する省略できない処理手順である。

【０１３０】まず、Ａ１００において、音声信号を入力
し、Ｒ、Ｔ、各サンプル時刻τ_iでのサンプル値ｆ
（τ_i）を得る。

【０１３１】次に、Ａ１１０において、Ｔを新たにＮ区
間に分割する。特別な場合としてＮ＝１も含む。

【０１３２】次に、Ａ１２０において、区間Ｔｉ＝［ｔ
_i＋ｔ_i+1］の代表値ｆ＾（ｔ_i）を決定する。Ｔ_iに含ま
れるサンプル値の数はＲΔｔであるから、例えばサンプ
ル値の平均

【０１３３】

【数１】

【０１３４】で代表して良い。

【０１３５】次に、Ａ１３０において、（ｔ_i，ｆ＾
（ｔ_i））を空間のパラメータに変換する。

【０１３６】ｘ_i＝ｔ_i ｒ（ｘ_i）＝ｆ＾（ｔ_i） Ｒ（ｘ_i）＝ｗ_rｆ＾（ｔ_i） Ｇ（ｘ_i）＝ｗ_gｆ＾（ｔ_i） Ｂ（ｘ_i）＝ｗ_bｆ＾（ｔ_i） Ａ（ｘ_i）＝ｆ＾（ｔ_i） ただし、ｗ_r，ｗ_g，ｗ_bは重み付けパラメータであり、
（０≦ｗ_r，ｗ_g，ｗ_b≦１．０）である適当な値であ
る。

【０１３７】次に、Ａ１４０において、区間［ｘ_i，ｘ
_i+1］に以下の立体を生成する。

【０１３８】 Ｖ_i：Ｆ（ｙ，ｚ；ｒ（ｘ_i），ｘ_i≦ｘ≦ｘ_i+1 次に、Ａ１５０において、Ｖ_iの色を（Ｒ（ｘ_i）、Ｇ
（ｘ_i）、Ｂ（ｘ_i））とする。

【０１３９】以上のＡ１２０からＡ１５０までをｉ＝１
からＮまで繰り返し処理する。

【０１４０】次に、Ａ１６０において、ｘ軸にＶ_i（ｉ
＝１，２，…，Ｎ）を配置し、立体Ｖとする。

【０１４１】最後に、Ａ１７０において、３次元仮想空
間内の指定された位置にＶを表示する。

【０１４２】［音声信号を変換した３次元空間内の物体
の形状および色を変更した際に、もとの音声信号に変更
を加える処理手順２の詳細な実施形態例］以下は図２１
で示す処理の説明であり、音声信号を変換した３次元空
間内の物体Ｖの、形状および色を変更した際に もとの
音声信号に変更を加えるための省略できない処理手順で
ある。

【０１４３】なお、図２１において、Ａ１００〜Ａ１７
０は処理手順１と同様の処理内容である。ただし、Ａ１
２０〜Ａ１５０のｉ＝１からＮまで繰り返し処理手順の
後に、Ａ２００の区間代表値ｆ＾（ｔ_i）の最大値ｆ＾
_maxを求める処理手順を実行し、その後にＡ１６０〜Ａ
１７０の処理手順を実行する。

【０１４４】Ａ１７０の処理手順に続いて、Ｂ１００に
おいては、変更を加えた部位の、正規化された座標系に
おける区間を計算する。即ち、Ａ１７０で表示されてい
るＶに対して、形状あるいは色に何らかの変更を加えた
際に、変更を加えた部位の、Ａ１６０の立体における該
当部位Ｖ_iを見つけることに相当する。通常、これは使
用するコンピュータグラフィックス装置内の変換処理に
よって容易に可能である。

【０１４５】次に、Ｂ１１０において、立体Ｖ_iが立体
Ｖ′_iに変更されたものとして、Ｖ_iとＶ′_iとの差分を
計算する。差分の内容に応じて、ａを実数値とし、ｃａ
ｓｅ文による条件分岐などによりＢ１００〜Ｂ１７０の
いずれかを実行する。

【０１４６】ｒ（ｘ_i）がｒ′（ｘ_i）に変更された場合
には、Ｂ１２０において、ｔ_i＝ｘ_iとし、 ａ＝ｒ′（ｘ_i）／ｒ（ｘ_i），（ｒ（ｘ_i）≠０） ａ＝ｒ′（ｘ_i）／ｆ＾_max，（ｒ（ｘ_i）＝０） とし、Ｂ１８０を実行する。

【０１４７】Ｒ（ｘ_i）がＲ′（ｘ_i）に変更された場合
には、Ｂ１３０において、ｔ_i＝ｘ_iとし、 ａ＝Ｒ′（ｘ_i）／Ｒ（ｘ_i），（Ｒ（ｘ_i）≠０） ａ＝Ｒ′（ｘ_i）／ｆ＾_max，（Ｒ（ｘ_i）＝０） とし、Ｂ１８０を実行する。

【０１４８】Ｇ（ｘ_i）がＧ′（ｘ_i）に変更された場合
には、Ｂ１４０において、ｔ_i＝ｘ_iとし、 ａ＝Ｇ′（ｘ_i）／Ｇ（ｘ_i），（Ｇ（ｘ_i）≠０） ａ＝Ｇ′（ｘ_i）／ｆ＾_max，（Ｇ（ｘ_i）＝０） とし、Ｂ１８０を実行する。

【０１４９】Ｂ（ｘ_i）がＢ′（ｘ_i）に変更された場合
には、Ｂ１５０において、ｔ_i＝ｘ_iとし、 ａ＝Ｂ′（ｘ_i）／Ｂ（ｘ_i），（Ｂ（ｘ_i）≠０） ａ＝Ｂ′（ｘ_i）／ｆ＾_max，（Ｂ（ｘ_i）＝０） とし、Ｂ１８０を実行する。

【０１５０】Ａ（ｘ_i）がＡ′（ｘ_i）に変更された場合
には、Ｂ１６０において、ｔ_i＝ｘ_iとし、 ａ＝Ａ′（ｘ_i）／Ａ（ｘ_i），（Ａ（ｘ_i）≠０） ａ＝Ａ′（ｘ_i）／ｆ＾_max，（Ａ（ｘ_i）＝０） とし、Ｂ１８０を実行する。

【０１５１】［ｘ_i，ｘ_i+1］が［ｘ′_i，ｘ′_i+1］に変
更された場合には、Ｂ１７０において、ｔ′_i＝ｘ′_i，
ｔ′_i+1＝ｘ′_i+1，Δｔ′＝ｔ_i+1−ｔ_iとし、τ′_j∈
［ｔ′_i，ｔ′_i+1］である全てのτ′_jにわたり、τ′_j
＝ｔ′_i＋ｗΔｔ′となるｗを計算し、 ｆ（τ′_j）＝ｆ（ｔ_i＋ｗΔｔ） …（５） とし、Ｂ１９０を実行する。

【０１５２】以上でのＢ１８０においては、τ_j∈
［ｔ_i，ｔ_i+1］である全てのτ_jにわたり、 ｆ（τ_j）＝ａｆ（τ_j） …（６） を実行し、続いてＢ１９０を実行する。

【０１５３】Ｂ１９０では、変更されたｆ（τ）を、新
たな音声ファイルとして出力する。

【０１５４】［本発明の方法を記録した記録媒体の実施
形態例］図１、図２、図６、図１０、図１４、図１７で
示した装置各部の一部もしくは全部の機能は、計算機を
用いて実現することができること、あるいは、図５、図
８、図９、図１２、図１３、図１６、図１９、図２０で
示した処理手順を、計算機に実行させることができるこ
とはいうまでもなく、計算機でその各部の機能を実現す
るためのプログラム、あるいは、計算機にその処理手順
を実行させるためのプログラムを、その計算機が読み取
り可能な記憶媒体、例えば、ＦＤ（フロッピー（登録商
標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、Ｃ
Ｄ、ＤＶＤ（登録商標）、リムーバブルディスクなどに
記録し、提供し、配布することが可能である。

【０１５５】

【発明の効果】以上説明したように、本発明は、音声情
報を、その音声情報が有する音声信号の特徴を反映した
色情報や空間形状に変換することが可能となる、といっ
た効果があり、また、変換することによって音声情報を
計算機などの画面に表示することが可能となる。さら
に、変換された色情報や空間形状を変化させることによ
って元の音声信号を編集することが可能になる、という
効果がある。

【図面の簡単な説明】

【図１】本発明の基本構成図である。

【図２】本発明の実施形態例１の構成図である。

【図３】（ａ），（ｂ），（ｃ）は、実施形態例１にお
ける変換例を示す図である。

【図４】（ａ），（ｂ），（ｃ）は、実施形態例１にお
ける区間ごとの変換例を示す図である。

【図５】実施形態例１の処理の流れ図である。

【図６】本発明の実施形態例２の構成図である。

【図７】（ａ），（ｂ）は、実施形態例２における変換
例を示す図である。

【図８】実施形態例２の処理の流れ図である。

【図９】実施形態例２の処理の流れの続きを示す図であ
る。

【図１０】本発明の別の基本構成図である。

【図１１】（ａ），（ｂ），（ｃ）は、本発明の実施形
態例３の変換例を示す図である。

【図１２】実施形態例３の処理の流れ図である。

【図１３】実施形態例３の処理の流れの続きを示す図で
ある。

【図１４】本発明の実施形態例４の構成図である。

【図１５】実施形態例４の近似例を示す図である。

【図１６】実施形態例４の処理の流れ図である。

【図１７】本発明の実施形態例５の構成図である。

【図１８】（ａ），（ｂ），（ｃ）は、実施形態例５の
編集例を示す図である。

【図１９】実施形態例５の処理の流れ図である。

【図２０】本発明の音・色、形状変換方法の詳細な実施
形態例を示す処理手順１の流れ図である。

【図２１】本発明の編集操作方法の詳細な実施形態例を
示す処理手順２の流れ図である。

【符号の説明】

００１，００３…音声情報入力手段 ００２，００４…色情報出力手段 １００…音・色対応決定手段 １１０…表色系選択手段 １１１…非透過率変換選択手段 １２０…階調数正規化手段 １３０…対応付与手段 ２００…音・色変換手段 ２１０…音声情報解釈手段 ２２０…区間分割手段 ２２１…、区間代表値決定手段 ２３０…変換手段 ２３１…区間代表色決定手段 ３００…音・色対応決定手段 ３１０…表色系選択手段 ３２０…階調数正規化手段 ３３０…対応付与手段 ４００…音・色変換手段 ４１０…音声情報解釈手段 ４２０…区間分割手段 ４３０…周波数展開手段 ４４０…変換成分決定手段 ４４１…区間代表値決定手段 ４５０…変換手段 ４５１…区間代表色決定手段 １０１０…座標・単位記憶手段 １１００…音声信号解釈手段 １０２０…区間形状・音声信号対応記憶手段 １２００…座標決定手段 １３００…単位決定手段 １４００…区間分割手段 １５００…区間特徴量決定手段 １６００…形状決定手段 １７００…形状サイズ決定手段 １８００…時間軸配置手段 １９００…形状近似化手段 ２０１０…音声信号入力手段 ２０２０…空間形状入力手段 ２０３０…座標・単位情報入力手段 ２０４０…区間形状・音声信号対応情報入力手段 ２０５０…空間形状変形手段 ２０６０…形状・音声対応手段 ２０７０…変位変換手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 和弘 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5D015 CC01 5D045 AB01

Claims (14)

【特許請求の範囲】
1. 【請求項１】 ディジタル化された音声信号を可視化す
   る方法において、 前記音声信号の特徴を色情報または計算機内の仮想的な
   空間における空間形状に対応づける段階と、 前記対応づけに基づいて前記音声信号を色情報または空
   間形状に変換する段階とを有することを特徴とする音声
   可視化方法。
2. 【請求項２】 前記音声信号の特徴を色情報または空間
   形状に対応づける段階では、 前記音声信号の振幅に対して色情報を対応づけるか、 または、前記音声信号を周波数展開し、最も寄与の大き
   な有限個の周波数成分の種類に対して色情報を対応づけ
   るか、 または、前記音声信号の持続時間と前記音声信号のサン
   プル値とを、前記空間形状を特徴づける幾何形状と大き
   さとに対応づけることを特徴とする請求項１記載の音声
   可視化方法。
3. 【請求項３】 前記音声信号の特徴を色情報または空間
   形状に対応づける段階では、 前記音声信号を時間軸方向のある区間に分割し、 前記分割した各区間毎に前記対応づけを行うことを特徴
   とする請求項１または２記載の音声可視化方法。
4. 【請求項４】 前記対応づけに基づいて前記音声信号を
   色情報または空間形状に変換する段階では、 前記変換された各区間毎の色情報または空間形状を時間
   軸方向に配置する段階を有することを特徴とする請求項
   ３記載の音声可視化方法。
5. 【請求項５】 前記各区間毎の色情報または空間形状を
   時間軸方向に配置する段階では、 前記時間軸方向に配置された色情報または空間形状を、
   該時間軸方向に連続した色情報または空間形状に近似す
   ることを特徴とする請求項４記載の音声可視化方法。
6. 【請求項６】 請求項１〜５のいずれか１項記載の音声
   可視化方法により、可視化された音声信号を操作する方
   法であって、 前記音声可視化方法における音声信号の特徴を色情報ま
   たは空間形状に変換する段階において、前記変換の対象
   となる音声信号と該変換された色情報または空間形状と
   の対応関係を記憶する段階と、 前記記憶された色情報または空間形状を変化させること
   により、前記対応関係にある音声信号を変化させる段階
   とを有することを特徴とする可視化された音声情報の操
   作方法。
7. 【請求項７】 ディジタル化された音声信号を可視化す
   る装置において、 前記音声信号の特徴を色情報または計算機内の仮想的な
   空間における空間形状に対応づける手段と、 前記対応づけに基づいて前記音声信号を色情報または空
   間形状に変換する手段とを有することを特徴とする音声
   可視化装置。
8. 【請求項８】 前記音声信号の特徴を色情報または空間
   形状に対応づける手段は、 前記音声信号の振幅に対して色情報を対応づける手段
   か、 または前記音声信号を周波数展開し、最も寄与の大きな
   有限個の周波数成分の種類に対して色情報を対応づける
   手段か、 または前記音声信号の持続時間と前記音声信号のサンプ
   ル値とを、前記空間形状を特徴づける幾何形状と大きさ
   とに対応づける手段であることを特徴とする請求項７記
   載の音声可視化装置。
9. 【請求項９】 前記音声信号の特徴を色情報または空間
   形状に対応づける手段は、 前記音声信号を時間軸方向のある区間に分割する手段
   と、 前記分割した各区間毎に前記対応づけを行う手段とを有
   することを特徴とする請求項７または８記載の音声可視
   化装置。
10. 【請求項１０】 前記対応づけに基づいて前記音声信号
    を色情報または空間形状に変換する手段は、 前記変換された各区間毎の色情報または空間形状を時間
    軸方向に配置する手段を有することを特徴とする請求項
    ７〜９のいずれか１項記載の音声可視化装置。
11. 【請求項１１】 前記各区間毎の色情報または空間形状
    を時間軸方向に配置する手段は、 前記時間軸方向に配置された色情報または空間形状を、
    該時間軸方向に連続した色情報または空間形状に近似す
    ることを特徴とする請求項１０記載の音声可視化装置。
12. 【請求項１２】 請求項７〜１１のいずれか１項記載の
    音声可視化装置を有し、 前記音声可視化装置における音声信号の特徴を色情報ま
    たは空間形状に変換する手段において、前記変換の対象
    となる音声信号と該変換された色情報または空間形状と
    の対応関係を記憶する手段と、 前記記憶された色情報または空間形状を変化させること
    により、前記対応関係にある音声信号を変化させる手段
    とを有することを特徴とする可視化された音声情報の操
    作装置。
13. 【請求項１３】 請求項１〜５のいずれか１項記載の音
    声可視化方法を計算機に実行させるためのプログラム
    を、該計算機が読取可能な記憶媒体に記録したことを特
    徴とする音声可視化方法を記録した記憶媒体。
14. 【請求項１４】 請求項６記載の可視化された音声情報
    の操作方法を計算機に実行させるためのプログラムを、
    該計算機が読取可能な記憶媒体に記録したことを特徴と
    する可視化された音声情報の操作方法を記録した記憶媒
    体。