JP2002006900A - 音声還元再生システム及び音声還元再生方法 - Google Patents

Abstract

(57)【要約】 【課題】 音声によるストーカー等の悪意ある者からの
いやがらせ等に対して、元の人物の声質の音声に還元す
る。 【解決手段】 一の機器Ａ１でエフェクト処理された音
声データを他の機器Ａ２で再生する際に、エフェクト処
理に係る音声制御パラメータを音声データとともに他の
機器Ａ２に送信し、所定の条件に適合した場合に、他の
機器Ａ２側でエフェクト処理を解除する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声還元再生シ
ステム及び音声還元再生方法に関する。

【０００２】

【従来の技術】一般に、ＤＳＰ（デジタル信号処理）技
術を用いて、音声や楽器音等の音声を様々に変調するエ
フェクター（音声変調装置）が存在する。

【０００３】このエフェクターにおいては、ＤＳＰまた
は高速ＣＰＵにおいて、加減乗除演算や各種関数演算を
行いつつ、内外部のＲＡＭ等の記憶装置を用いた遅延回
路により、あらかじめ定められた動作プログラムのアル
ゴリズムに従って、音声を変調するための信号処理演算
を行う。この際、利用者の目的に合わせた制御パラメー
タを入力し、この制御パラメータに従って音声を変調す
る。

【０００４】図１０は、上記のエフェクターの機能構成
を示すブロック図である。図１０の如く、このエフェク
ターでは、音声情報１をアナログ式電気信号として入力
し、Ａ／Ｄ変換器２でディジタル信号に変換した後、か
かるディジタル信号の音声情報のピッチ検出３を行い、
デジタルフィルタ４を利用して音声周波数特性などを変
更して音質の変調処理を行ったり、デジタルディレイ５
で遅延処理を行って残響効果を付加したり、低周波オシ
レータ（ＬＦＯ）６により音声にゆっくりとしたゆらぎ
を与えるモジュレーション効果を与えたりする。あるい
は、各種演算処理７を行うことで、発振周波数を変換す
るピッチシフトを行うことも可能である。

【０００５】尚、一般のエフェクターのインターフェー
スはアナログ入出力となっており、アナログ式電気信号
をＡＤ変換器２に入力し、また種々のエフェクト処理を
行った後のディジタル信号をＤＡ変換器８でアナログ式
電気信号９に変換して出力しているが、この他、コンピ
ュータ上でのエフェクト処理や通信を通じた入出力を行
う場合は、入力信号としてディジタル信号を与えてその
ままエフェクト処理を行い、そのディジタル信号のまま
記録や通信などを継続する場合もある。

【０００６】図１０中の符号１０は変調係数等の制御パ
ラメータ入力部、符号１１は動作プログラム、符号１２
はＤＳＰまたはＣＰＵ（高速ＣＰＵ等）に搭載された内
部メモリまたは外部メモリを含むＲＡＭ（Random Acces
s Memory）をそれぞれ示している。

【０００７】

【発明が解決しようとする課題】従来のエフェクター
を、音楽演奏や歌唱以外の目的、例えばゲームや通信等
の娯楽に用いようとする場合、以下のような問題点があ
った。

【０００８】１）エフェクターにより変調・加工されて
再生される音声は、視聴者（聴取者・リスナー）側では
元の未加工の音声に戻すことはできない。このため、例
えば、大幅に声質を変化させたものを通信などに用いる
と、元の人物が特定できないため、犯罪などに用いられ
るなどの弊害がある。

【０００９】２）エフェクターによる変調・加工処理
は、通常は音楽製作者（演奏者）側で行われるため、音
楽再生側では、一般にそれ以上の加工を行うことは少な
い。音響再生装置（ステレオなど）によっては、残響
（リバーブ）付加装置などが入っている場合もあるが、
元の音声ソースに付加された残響音を（上記１の問題点
のように）消してから用いるわけではないので、効果が
過剰になってしまう。

【００１０】３）ゲームなどの娯楽の分野では、上記の
２）と同様に、図１１の如く、すでに変調加工されてい
る音声を用い、場合によっては必要に応じていくつかの
準備された音声データ（音声Ａ〜音声Ｆ）を選択する方
式を用いている。即ち、いくつかの音声データ（音声Ｄ
〜音声Ｆ）を音声再生端末１５内の所定の記憶媒体に保
有しておき、これらを必要に応じて読み出すか、あるい
は伝送路２１６を用いた通信を用い、必要に応じて音声
（音声データＡ〜Ｃ）を伝送していた。

【００１１】しかしながら、これらの方法では、利用者
の様々な操作や環境にインタラクティブに反応し、音声
の変調度合いが変化するようなシステムを構築するに
は、加工済み音声を大量に準備しておく必要があり、音
声再生端末１５内の記憶媒体や伝送路２１６の伝送容量
に多大な負荷がかかる。

【００１２】４）一般にエフェクターは、上記１）〜
３）のように音楽製作者または演奏者側で用いられるも
ののため、制御するためのパラメータも音響における学
術的な専門用語がならび、一般の利用者が理解すること
が非常に難しくなっている。例えば、一部の残響付加装
置などでは、遅延係数を時間軸のｍｓ（ミリセコンド）
単位ではなく、距離あるいは部屋の大きさの、長さ
（ｍ：メートル）などで表現を行っているが、それ以外
の、例えば、音声の各周波数における共振の度合い（ク
ォリティファクター）を示すＱ値、倍音等に係るフォル
マント、バンドパス、及びシェルビング等といった各種
パラメータの表現においては、依然容易に理解すること
はできない。

【００１３】そこで、この発明の課題は、音声情報を入
手した一般ユーザーが容易に音声情報のエフェクト処理
を行うことが可能な音声還元再生システム及び音声還元
再生方法を提供することにある。

【００１４】

【課題を解決するための手段】上記課題を解決すべく、
請求項１に記載の発明は、音声制御パラメータを用いて
音声データのエフェクト処理を行った後、所定の条件に
適合した場合に、前記音声データを前記音声制御パラメ
ータに基づいて前記エフェクト処理を行う前の状態に還
元し、この還元した音声データに基づいて音声の再生を
行うものである。

【００１５】請求項２に記載の発明は、請求項１に記載
の音声還元再生システムであって、前記条件が適合して
いるかどうかを判断する条件判断部と、前記条件判断部
で前記条件が適合していると判断された場合に前記音声
制御パラメータに基づいて、前記音声データを、前記エ
フェクト処理を行う前の状態に還元するエフェクト変換
回路とを備えるものである。

【００１６】請求項３に記載の発明は、請求項２に記載
の音声還元再生システムであって、送信元装置と送信先
装置とを備え、前記送信先装置は前記条件判断部及びエ
フェクト変換回路を備え、前記送信元装置は、前記送信
先装置で前記音声データの前記エフェクト処理を行う前
の状態への還元を許可するための条件情報を設定し、前
記条件判断部は、所定の操作子を用いて入力された入力
パラメータを前記条件情報に照らして条件適合の可否を
判断するものである。

【００１７】請求項４に記載の発明は、請求項３に記載
の音声還元再生システムであって、前記条件情報及び前
記入力パラメータはパスワードであるものである。

【００１８】請求項５に記載の発明は、請求項２に記載
の音声還元再生システムであって、前記エフェクト変換
回路は、前記音声データを、前記エフェクト処理を行う
前の状態に還元するとともに、還元後の音声データに対
してさらにエフェクト処理を実行するものである。

【００１９】請求項６に記載の発明は、請求項３または
請求項４に記載の音声還元再生システムであって、前記
入力パラメータは複数種類設定され、前記エフェクト変
換回路は、前記音声データを、前記エフェクト処理を行
う前の状態に還元するとともに、還元後の音声データに
対してさらに前記各入力パラメータに対応する前記エフ
ェクト処理を実行するものである。

【００２０】請求項７に記載の発明は、請求項１ないし
請求項６のいずれかに記載の音声還元再生システムであ
って、所定の条件に適合した場合に、所定の画像データ
を前記音声制御パラメータに基づいて変換するものであ
る。

【００２１】請求項８に記載の発明は、請求項６に記載
の音声還元再生システムであって、前記操作子は、操作
者の感情表現を、文章、文字、選択式ボタンまたは選択
式画像のうち少なくともいずれかで選択することが可能
とされたものである。尚、ここでいう「文章」とは、操
作者等の肉声をマイクロフォン装置で入力した後に、こ
の肉声を音声認識して文章化したものをも含む。

【００２２】請求項９に記載の発明は、音声制御パラメ
ータを用いて音声データのエフェクト処理を行った後、
所定の条件に適合した場合に、前記音声データを前記音
声制御パラメータに基づいて前記エフェクト処理を行う
前の状態に還元し、この還元した音声データに基づいて
音声の再生を行うものである。

【００２３】請求項１０に記載の発明は、送信元装置か
ら音声データを所定の伝送路または所定の記録媒体に出
力し、前記送信先装置で前記伝送路または前記記録媒体
を介して得られた前記音声データを再生する音声還元再
生方法であって、前記送信元装置は、音声制御パラメー
タを用いて音声データのエフェクト処理を行った後、前
記伝送路または前記記録媒体を通じて前記音声データ及
び前記音声制御パラメータを所定の伝送路または所定の
記録媒体に出力するとともに、前記送信先装置で前記音
声データの前記エフェクト処理を行う前の状態への還元
を許可するための条件情報を設定し、前記送信先装置
は、所定の操作子を用いて入力された入力パラメータを
前記条件情報に照らして、条件適合の可否を判断し、所
定の条件に適合した場合に、前記伝送路または前記記録
媒体を介して得られた前記音声データを前記音声制御パ
ラメータに基づいて前記エフェクト処理を行う前の状態
に還元し、この還元した音声データに基づいて音声の再
生を行う、ものである。

【００２４】請求項１１に記載の発明は、請求項１０に
記載の音声還元再生方法であって、前記条件情報及び前
記入力パラメータはパスワードであものである。

【００２５】請求項１２に記載の発明は、請求項１０に
記載の音声還元再生方法であって、前記送信先装置は、
前記音声データを、前記エフェクト処理を行う前の状態
に還元するとともに、還元後の音声データに対してさら
にエフェクト処理を実行するものである。

【００２６】請求項１３に記載の発明は、請求項１０な
いし請求項１２のいずれかに記載の音声還元再生方法で
あって、前記入力パラメータは複数種類設定され、前記
音声データを、前記エフェクト処理を行う前の状態に還
元するとともに、還元後の音声データに対してさらに前
記各入力パラメータに対応する前記エフェクト処理を実
行するものである。

【００２７】請求項１４に記載の発明は、請求項９ない
し請求項１３のいずれかに記載の音声還元再生方法であ
って、所定の条件に適合した場合に、所定の画像データ
を前記音声制御パラメータに基づいて変換するものであ
る。

【００２８】請求項１５に記載の発明は、請求項１３に
記載の音声還元再生方法であって、前記操作子によっ
て、操作者の感情表現を、文章、文字、選択式ボタンま
たは選択式画像のうち少なくともいずれかで選択するも
のである。

【００２９】尚、この明細書において、音声データにつ
いて「エフェクト処理」を行うことは、元の音声データ
自体をエフェクト処理後の音声データに変化させること
と、元の音声データはそのままで音声制御パラメータを
添付することによって音声再生装置でエフェクト処理効
果のかかった音声を再生できるようにすることの両方を
含むものとする。

【００３０】この場合、「エフェクト処理を行う前の状
態に還元」することは、音声データ自体を変化された場
合は音声制御パラメータに基づいて逆変換することをい
い、元の音声データはそのままで音声制御パラメータを
添付した場合は、元の音声データのみを抽出することを
いう。

【００３１】

【発明の実施の形態】図１はこの発明の一の実施の形態
に係る音声還元再生システムの概要を示すブロック図、
図２は送信元装置Ａ１を示すブロック図、図３は送信先
装置Ａ２を示すブロック図である。

【００３２】この音声還元再生システムは、通信・娯楽
・放送などの分野において、図１〜図３の如く、送信元
装置Ａ１と送信先装置Ａ２とがインターネット等の伝送
路２１を通じて接続され、送信元装置Ａ１で入力された
エフェクト処理後の音声データ２２に対して、この音声
データ２２がエフェクト処理されたときの音声制御パラ
メータ２３を併せて送信先装置Ａ２に送信するように
し、所定の条件等に応じて、送信された音声データ２２
を送信先装置Ａ２側でエフェクト処理前の状態に還元す
るようにしたものである。

【００３３】具体的に、この音声還元再生システムの送
信元装置Ａ１は、図２の如く、外部のマイクロフォン装
置（図示せず）等を通じて入力された音声データ２２に
対して、操作者の希望する音声制御パラメータ２３に従
って種々のエフェクト処理を実行するエフェクト装置ａ
１と、パスワード等の条件入力を行う条件入力装置ａ２
と、種々のデータを伝送路２１に送出する送信回路ａ３
とを備える。

【００３４】ここで、音声制御パラメータ２３の入力は
ディジタル信号としてエフェクト装置ａ１及び送信回路
ａ３に与えられる。

【００３５】そして、エフェクト装置ａ１では、図１０
に示した従来例と同様のピッチ検出機能、デジタルフィ
ルタ機能、デジタルディレイ機能、低周波オシレータ機
能及び各種演算処理機能をディジタル信号処理により実
現するようになっている。尚、このエフェクト装置ａ１
で実行されるエフェクト処理は、元の音声データ自体を
エフェクト処理後の音声データに変化させることと、元
の音声データはそのままで音声制御パラメータを添付す
ることによって音声再生装置でエフェクト処理効果のか
かった音声を再生できるようにすることの両方を含むも
のとする。この場合、「エフェクト処理を行う前の状態
に還元」することは、音声データ自体を変化された場合
は音声制御パラメータに基づいて逆変換することをい
い、元の音声データはそのままで音声制御パラメータを
添付した場合は、元の音声データのみを抽出することを
いう。例えば、イコライザー等による周波数特性の変更
等については、事後的に逆変換が可能であるが、リバー
ブ等の残響を除去することは現在の技術では困難であ
り、さらにディレイ（遅延）を逆に速めるといった処理
は原理的に不可能であるため、リバーブやディレイ等の
効果については、エフェクト装置ａ１において音声デー
タ２２自体を変化させるのではなく、元の音声データ２
２に音声制御パラメータ２３を添付するという方法を採
用する。エフェクト装置ａ１からの音声データ２２及び
音声制御パラメータ２３はディジタル信号として送信回
路ａ３に与えられる。

【００３６】また、条件入力装置ａ２での条件情報も、
ディジタル信号として与えられて送信回路ａ３に送信さ
れる。

【００３７】そして、送信回路ａ３は、エフェクト装置
ａ１でエフェクト処理された音声データ２２と、条件入
力装置ａ２で入力された条件情報と、音声制御パラメー
タ２３とを伝送路２１に送出するようになっている。

【００３８】送信先装置Ａ２は、例えば、コンピューテ
ィングシステムまたは家庭用ゲーム機等の通信可能な端
末機であって、音声データ２２及び音声制御パラメータ
２３を受信する受信回路２４と、受信回路２４で受信さ
れたエフェクト処理後の音声データ２２を所定の条件に
従って音声制御パラメータ２３に基づいてエフェクト処
理前の状態に還元するエフェクト変換回路２５と、エフ
ェクト変換回路２５から与えられた音声を出力する音声
再生装置２６とを備える。

【００３９】受信回路２４は、伝送路２１を通じて与え
られた信号（音声データ２２及び音声制御パラメータ２
３を含む）をディジタル信号としてエフェクト変換回路
２５に出力するようになっており、具体的に、モデムま
たはターミナルアダプタが使用される。また、受信回路
２４は、アナログ式電気信号としての音声入力２７があ
った場合に、このアナログ式電気信号をＡ／Ｄ変換２８
してエフェクト変換回路２５に出力する機能をも有して
いる。

【００４０】エフェクト変換回路２５は、キーボード装
置や操作パッド等の所定の操作子３１から入力された入
力パラメータについて当該入力パラメータが所定の条件
に適合しているか否かを判断する条件判断部３２と、こ
の条件判断部３２で条件に適合していると判断されたと
きに受信回路２４から与えられた音声制御パラメータ２
３に基づいて音声データ２２の変調解除の指示を与える
変調解除指示部３３と、変調解除指示部３３の指示に基
づいて音声データ２２の変調解除を行う音声変調機能部
３４と、この音声変調機能部３４から出力されたディジ
タル信号としての音声データ２２をアナログ式電気信号
に変換するＤ／Ａ変換部３５とを備える。

【００４１】尚、上記の操作子３１で入力される入力パ
ラメータは、例えばパスワードであって、送信元装置Ａ
１から伝送路２１を通じて与えられた条件情報に対応す
べきものである。そして、条件判断部３２では、操作子
３１で入力された入力パラメータと、伝送路２１から送
信されてきた条件情報とを照合し、これらが一致したと
きに、条件に適合したものと判断するようになってい
る。

【００４２】そして、音声変調機能部３４は、変調解除
指示部３３から音声の変調解除の指示があったときに、
音声制御パラメータ２３を用いて、送信元装置Ａ１で実
行されたエフェクト処理（即ち、デジタルフィルタ、低
周波オシレータ処理及び各種演算処理）の逆変換や、ま
たはリバーブやディレイ等の処理につ元の音声データ２
２から音声制御パラメータ２３を除去した処理（即ち、
音声制御パラメータ２３のオフ制御）を行い、音声デー
タ２２をエフェクト処理前の状態に還元するようになっ
ている。

【００４３】音声再生装置２６は、エフェクト変換回路
２５から与えられたアナログ式電気信号を増幅して音声
吹鳴するものであり、アンプリファイア装置及びスピー
カを備えてなる。

【００４４】尚、送信元装置Ａ１のエフェクト装置ａ１
及び送信先装置Ａ２のエフェクト変換回路２５は、所定
の記憶装置内に予め格納された所定のソフトウェアプロ
グラムに従ってＣＰＵが動作する機能要素である。

【００４５】上記構成の音声還元再生システムを画像音
声送受信システムに適用した場合のの動作例を説明す
る。

【００４６】尚、画像処理に関して画像変調を実現する
機能として、例えば、所謂ペイント系ソフトウェアアプ
リケーションプログラムで公知のモザイク処理、エンボ
ス処理、ソフト処理、セピア処理、変形処理及び光源反
射処理等があり、送信先装置Ａ２側のエフェクト変換回
路２５において、音声データ２２だけでなく、送信元装
置Ａ１から与えられた画像データに対しても他の代替画
像を代替して変換するようにしたものである。この場
合、代替画像を、簡単な線画（漫画）のような小容量の
ものを送信側で用意し、通常画像や音声と一緒に送付し
ても差し支えないものとする。さらに、送信先装置Ａ２
の所定の記憶装置内にいくつかの代替画像を予め用意し
ておき、送信元装置Ａ１からは、いずれの代替画像を選
択するかというインデクス情報のみを画像データとして
送信し、送信先装置Ａ２では、インデクス情報としての
画像データに基づいて代替画像のうちのひとつを選択し
て表示するようにしてもよい。

【００４７】また、パスワードについては、送信元装置
Ａ１の操作者が送信先装置Ａ２の操作者に対して電子メ
ールまたは口頭等により予め通知しているものとする。

【００４８】まず、図４及び図５の如く、送信元装置Ａ
１から話者の音声および画像データは、伝送路２１を通
じて送信先装置Ａ２に送信される。

【００４９】この際、音声還元再生システムでは、図２
のように、音声データ２２だけでなく、音声制御パラメ
ータ２３及び条件入力装置ａ２で入力された条件情報
（パスワード）が併せて送信先装置Ａ２へ送信される。

【００５０】送信先装置Ａ２では、図３の如く、伝送路
２１を通じて送信元装置Ａ１から与えられた音声データ
２２及び音声制御パラメータ２３を受信回路２４で受信
する。そして、エフェクト変換回路２５の条件判断部３
２では、操作子３１から入力された入力パラメータ（パ
スワード）と、伝送路２１から送信されてきた条件情報
（パスワード）とを照合し、これらが一致したときに、
条件に適合したものと判断する。

【００５１】このように、条件判断部３２で条件に適合
していると判断されたときには、変調解除指示部３３は
音声変調機能部３４に対して音声データ２２の変調解除
の指示を与える。音声変調機能部３４では、変調解除指
示部３３の指示に従って音声データ２２の変調解除を行
い、この音声変調機能部３４から出力されたディジタル
信号としての音声データ２２をＤ／Ａ変換部３５でアナ
ログ式電気信号に変換した後、音声再生装置２６で音声
吹鳴する。これにより、図４の如く、テレビ画面等の表
示装置３７に表示される画像は元の本人の画像であり、
吹鳴される音声は元の本人の声質の音声となる。

【００５２】一方、送信先装置Ａ２の操作子３１におい
て、入力パラメータ（パスワード）の入力が全くなかっ
たり、または入力パラメータが誤っており、条件判断部
３２で条件が適合しないと判断された場合は、変調解除
指示部３３では音声の変調解除を行わないようにする。
この場合、表示装置３７に映し出される画像は、元の本
人の画像ではなく、予め設定されている他のキャラクタ
ー等の画像が表示され、また吹鳴される音声も、本人の
声質の音声ではなく、送信元装置Ａ１でエフェクト処理
された音声となる。

【００５３】このように、送信元装置Ａ１から送信先装
置Ａ２に対して、エフェクト処理された音声データ２２
のみならず、音声制御パラメータ２３及び条件情報を併
せて送信し、条件情報に基づいて所定の条件に適合して
いる場合に、音声制御パラメータ２３を用いて音声デー
タ２２をエフェクト処理前の状態に還元するようにして
いるので、例えば音声再生装置２６に残響（リバーブ）
付加装置等のエフェクト処理機能が備えられている場合
に、通信によって与えられた音声データ２２を一旦エフ
ェクト処理前の状態に戻してから、音声再生装置２６の
エフェクト処理を行うことが可能となり、従来のように
効果が過剰になってしまうという事態を防止できる。

【００５４】特に、エフェクト処理された音声データ２
２を、エフェクト処理前の状態に戻す場合に、送信先装
置Ａ２の操作者（ユーザー）は、Ｑ値（クォリティファ
クター）、倍音等に係るフォルマント、バンドパス、及
びシェルビング等といった各種パラメータの知識を有さ
ずして、音声データ２２を容易にエフェクト処理前の状
態に戻すことができ、ユーザーフレンドリーな音声還元
再生システムを提供できる。

【００５５】尚、上記実施の形態では、送信元装置Ａ１
から送信先装置Ａ２に条件情報を送信し、操作子３１の
入力パラメータ（パスワード）と照合することで条件判
断部３２での判断を行っていたが、その他の特定の条件
への適合の可否を条件判断部３２で判断し、自動的に変
調解除されるような仕組みを用意しても良い。

【００５６】例えば、送話者の電話番号やアドレスが未
登録の場合（即ち、知らない人の場合）、変調をかける
ことが無効にする。これにより、例えばストーカー等が
肉声を人物の特定ができない程度にまで大幅に変調し
て、音声データ２２を嫌がらせで執拗に繰り返し送信し
てきた場合に、一定の条件に合致していれば、音声デー
タ２２をその人物の肉声に還元することが可能となる。

【００５７】また、送信先装置Ａ２側の操作者（ユーザ
ー）の希望で、操作子３１からの入力操作に基づいて、
任意に変調を解除するようにしてもよい。例えば、ゲー
ムなどの娯楽の分野では、ユーザーの好みによって音声
の変調度合いを変化させたい場合がある。この音声の変
調の際に、図６の如く、すでにエフェクト処理が施され
た音声データ２２（音声Ｘ）を一旦エフェクト処理前の
状態に戻してから、さらに送信先装置Ａ２側でエフェク
ト処理を施す。これにより、送信先装置Ａ２内で加工済
み音声データを大量に準備しておく必要がなくなり、種
々の記録装置の記憶容量やデータ伝送量の低減化を図る
ことができる。

【００５８】さらに、図７のように、送信元装置Ａ１か
ら与えられた音声データ２２に対する音声制御パラメー
タ２３だけでなく、これと同様に画像データ３８に対し
ても、送信元装置Ａ１から与えられた画像制御パラメー
タ３９により画像を変化させてもよい。例えば、音声制
御パラメータ２３として「仮面」を示すパラメータを設
定し、同様に画像データに関する画像制御パラメータと
して「仮面」を選択し、通信であるいは直接的に、テレ
ビゲーム機または通信機器としてのエフェクト変換回路
２５に入力する。すると、音声データ２２は、音声制御
パラメータ２３の「仮面」に相当するようにエフェクト
処理を行う。具体的には、高周波数帯域の振幅を抑える
ようなフィルター処理で、それらしい声に変調処理を行
う。また同時に、画像データについても、予め記憶装置
等に記憶された画像の中から「仮面」を選択し、話者の
画像の代替として表示する。このように、「仮面」など
の、キャラクターの概念や性格づけを行った情報に対
し、さらに音声と画像の変調パラメータをセットするこ
とで、変調の内容が非常に理解しやすくなる。

【００５９】この場合、例えば、ゲーム機としての送信
先装置Ａ２のゲームと、種々のキャラクターが記載され
た紙の媒体からなるカードを用いたカードゲームの内容
を複合させて、図８の如く、カードゲームのトレーディ
ングカード４１，４２の紙面にパスワード４３を印刷し
ておき、このトレーディングカード４１，４２に印刷さ
れたパスワード（音声制御パラメータ３を動作させるた
めのキー）４３を鍵（キー）として、エフェクト変換回
路２５で音声データ２をエフェクト処理前の状態に戻し
た後、パスワード４３に応じて、そのトレーディングカ
ード４１，４２に記載されたキャラクターの特性に応じ
た音声データのエフェクト処理を自動的に行い、音声再
生装置２６ａ，２６ｂで再生するようにする。尚、音声
再生装置２６ａは、図示しないテレビジョン受像機のビ
デオ端子に接続して画像データ及び音声データを出力す
るセットトップボックス（ＳＴＢ）であり、音声再生装
置２６ｂは液晶パネルからなる画像表示部を有する携帯
電話機である。

【００６０】この図８に示した例において、パスワード
４３の入力を行う操作子３１（図３）としては、数字や
アルファベット等の文字列を入力するキーボードまたは
操作パッドであってもよいし、あるいは、トレーディン
グカード４１，４２に印刷されたバーコードを読み取る
バーコードリーダーであってもよい。また、この場合に
おいて、トレーディングカード４１，４２の紙面のアイ
テム（物品）またはキャラクターが異なる毎に異なった
パスワードを予め付与しておき、またこの様々なパスワ
ード毎に異なった音声制御パラメータ２３のエフェクト
処理をエフェクト変換回路２５で実行するようになって
いる。これにより、トレーディングカード４１，４２を
収集すると、ユーザーが使用できるパスワードが増えて
いき、エフェクト変換回路２５で実行できるエフェクト
処理の音声制御パラメータ２３も増えていくことにな
る。したがって、パスワードの入力によりトレーディン
グカード４１，４２に描かれている様々なアイテムまた
はキャラクターに対応する音声の種類が増えていく楽し
さを得ることができる。例えば、「特定のモンスターへ
の変身魔法」のトレーディングカード４１，４２に印刷
されている所定のパスワードを操作子３１で入力操作す
ると、所定のテーブルファイルを参照して、所定のピッ
チシフトで変調幅を１オクターブ高く設定し、変調ディ
レイとして４５ｍｓの音声制御パラメータ２３を適用し
てエフェクト処理を実行すればよい。

【００６１】尚、図８に示した例においては、音声再生
装置２６ａ，２６ｂとしてセットトップボックスや画像
表示部を有する携帯電話機を採用しているため、画像を
パスワードに応じてそのパスワードに対応するキャラク
ターに変更すれば、音声と画像の両方により各キャラク
ターに変身することができる。これにより、ユーザーが
変調の制御を極めて安易に理解し得ると同時に、トレー
ディングカード４１，４２といった非ディジタルメディ
アに記述された情報をデジタル音声処理に利用すること
ができる。尚、ここではトレーディングカード４１，４
２を例示したが、その他、雑誌やＴＶ放送で同様のパス
ワードを各ユーザーに伝達するようにしてもよい。この
場合、画像としては動画であってもよいが、簡便には指
定された静止画などを代替として表示するだけでも良
い。

【００６２】さらに、いくつかの選択枝を画面上に表示
しながら、操作者がその選択枝のなかの「サングラス」
を図３に示した操作子３１を用いて選択することで、図
９のように、元の本人の画像５１に対してサングラスの
画像５２を合成して合成画像を作成し、さらに「サング
ラス」のコードに対応する音声制御パラメータ２３を用
いてエフェクト変換回路２５でエフェクト処理を行っ
て、元の音声データ２２としての本人の声質とはわから
なくなるようなフォルマント（声質）の大きな音声変調
を起こすようにしてもよい。これにより画像と音声から
本人であることが分からなくなり、「匿名」効果を発揮
できるようになる。

【００６３】ここでさらに、「ネクタイ」や「トレンチ
コート」といった画像を選択すれば、これらは通常単独
で用いれば男性的な音声に変換する機能を表すものであ
り、例えばピッチシフト効果により音声周波数を１〜２
オクターブ低めるようにする。これにより、元の画像及
び音声に係る本人が例えば女性であった場合であって
も、低い声の男性に変身することが可能となる。

【００６４】例えば「サングラス＝Ａ」と「ネクタイ＝
Ｂ」を同時に選択すると、相乗効果により例えば「ギャ
ング＝Ｃ」といった新たな意味を生成できるものとす
る。かかる生成は、予め設定されたデータベースとして
のテーブルファイルによって定義付けられている。操作
子３１での入力操作としては、例えば「Ａ＋Ｂ」と入力
することで、自動的に「Ｃ」であることを認識する。か
かる相乗効果により、「Ａ」単独でのフォルマント変調
効果と「Ｂ」単独のピッチシフト効果の併用ではなく、
あらたな「Ｃ」に相当する変調パラメータを（選択式
に）用いることができるようになる。この新しい「Ｃ」
の効果は、あたかもギャングの話し方のような、低音域
への大きなピッチシフト（例えば２オクターブ前後）
と、わずかなビブラートを加えた凄みのきいた音声へ変
調する音声制御パラメータ２３を得ることができる。こ
の手法によれば、テレビゲームなどにおいて、「サング
ラス」や「ネクタイ」等の種々のアイテム（物品）をゲ
ーム中で集めることで、単にそれぞれのアイテムの加算
ではなく、相乗効果を得るようなシナリオで操作者に楽
しんでもらうことができる。

【００６５】また、上記のように、エフェクト処理がな
された音声データ２２について、エフェクト変換回路２
５で一旦エフェクト処理前の状態に還元した後に、デジ
タルフィルタ処理、デジタルディレイ処理、低周波オシ
レータ処理及び各種演算処理等の好みのエフェクト処理
を施すことができるので、過剰にならない適正なレベル
の変調効果を得ることができる。また、異なる種類の変
調を選択したり、あるいは、さらに再生環境に応じた変
調パラメータに変更することも自由に可能となる。

【００６６】ところで、文字（文章）や、他の感情、状
況の表現手段に連携例えば、チャット（文字通信）やＥ
ｍａｉｌなどにおいて、文章の構文解析及び用語の辞書
検索を実行することで、その意味や感情表現を把握する
ことができる。また最近の電子通信においては、フェイ
スマークと呼ばれる、文字の組み合わせや絵文字で、感
情や状況などを表現する手法も一般的に行われている。
あるいは、ゲームやパーソナルコンピュータやペットロ
ボットなどを人間が操作するユーザーインターフェース
として、操作者の喜怒哀楽を表現しボタンや文字列など
で入力を行うことも、一般的に行われている。さらに、
文章のデータは、例えばマイクロフォン装置で入力され
た操作者等の肉声を音声認識して文章化し、さらにその
文章化された文章情報について構文解析及び用語の辞書
検索を実行することで、その意味や感情表現を把握する
ことができる。

【００６７】そこで、これらの様々な手法によって抽出
された操作者の感情や意味内容に応じて、適切な音声変
調を自動的に、あるいは利用者の好みにより自在にアサ
インしておくことで、音声変調をより効果的に利用する
ことができる。具体的には、例えば、利用者が、「怒っ
た」という感情表現を文章、文字、選択式ボタンまたは
選択式画像（アイコン）などで選ぶことにより、利用者
の音声または文章の音声変換による読み上げまたは記録
媒体からの音声の読み出しなどの音声入力に対し、雷が
落ちたような音声変調効果を加えることができる。

【００６８】また、画像の情報に、感情や情景・状況に
応じた音声変調パラメータを埋め込んでおくことによ
り、画像に同期して再生あるいは通信される音声にも、
そうした変調をかけることができる。例えば、動画像で
電話をかけるシーンがあると、実際にそれと同期して再
生する音声あるいは通信を行っている音声に対し、電話
器の狭い周波数帯域音声を模倣したフィルター処理を施
すことができる。

【００６９】尚、上記実施の形態では、送信元装置Ａ１
から送信先装置Ａ２へ音声データ２２等を一方向に送信
するようにする例について説明したが、送信元装置Ａ１
と送信先装置Ａ２が共に同様な構成を備えて双方向型通
信を実現してもよい。

【００７０】また、上記実施の形態では、伝送路２１を
通じた通信により音声データ２２等を送信するようにし
ていたが、光磁気メモリやディスク等の記憶媒体を介し
て音声データ２２等を手渡しまたは郵送等により送付し
てもよい。

【００７１】さらに、送信先装置Ａ２側での音声還元処
理及びエフェクト処理をＣＰＵによるソフトウェアプロ
グラムに基づいて実行する場合、この音声還元処理また
はエフェクト処理のためのソフトウェアプログラム自体
を音声データ２２等に添付して送付してもよい。これに
より、送信先装置Ａ２が事前に音声還元処理またはエフ
ェクト処理の機能を保有していない場合であっても、送
付されたソフトウェアプログラムによりエフェクト処理
を新たに付加させることが容易に可能となる。

【００７２】また、上記実施の形態では、伝送路２１を
通じて音声データ２２等を送信していたが、ＣＤ−ＲＯ
Ｍ等の所定の記録媒体を通じてデータの送信を行っても
差し支えない。

【００７３】

【発明の効果】請求項１、請求項２及び請求項９に記載
の発明によると、音声制御パラメータを用いて音声デー
タのエフェクト処理を行った後、所定の条件に適合した
場合に、音声データを音声制御パラメータに基づいてエ
フェクト処理を行う前の状態に還元し、この還元した音
声データに基づいて音声の再生を行うので、例えば、匿
名のストーカーや匿名の悪意のこもった者等からの音声
データの送信に対して、条件の適否によって元の人物の
声質の音声を再生することが可能となる。また、例え
ば、好みに応じて元音声と加工音声を切り替えたり、環
境や条件、目的に応じたインタラクティブな操作による
制御を行うことが可能となる。特に、エフェクト処理さ
れた音声データを、エフェクト処理前の状態に戻す場合
に、送信先装置の操作者（ユーザー）は、Ｑ値（クォリ
ティファクター）、倍音等に係るフォルマント、バンド
パス、及びシェルビング等といった各種パラメータの知
識を有さずして、音声データを容易にエフェクト処理前
の状態に戻すことができ、ユーザーフレンドリーな音声
還元再生システムを提供できる。

【００７４】請求項３及び請求項１０に記載の発明によ
ると、送信元装置で条件情報を発行し、送信先装置側の
操作子で入力した入力パラメータを条件情報に照らして
条件適否判断を行うので、例えば、請求項４及び請求項
１１のように入力パラメータとしてのパスワードの入力
により音声データを容易に復元することができる。

【００７５】請求項５及び請求項１２に記載の発明によ
ると、既にエフェクト処理された音声データについて、
一旦エフェクト処理を解除した後に、さらに所望のエフ
ェクト処理を実行することができるので、エフェクト処
理を過剰にかけてしまうことを防止できる。

【００７６】請求項６及び請求項１３に記載の発明によ
ると、複数種類の入力パラメータを用意しておき、還元
後の音声データに対してさらに各入力パラメータに対応
するエフェクト処理を実行するので、例えばカードゲー
ムのトレーディングカード等のように、ゲームのキャラ
クターやアイテム等に一意に対応した入力パラメータに
対応して音声データのエフェクト処理を実行することが
できる。したがって、例えば、あたかもキャラクターに
変身したかのような音声効果を与えたり、アイテムに対
応する声質に変化させて音声の再生を行うことができ、
ゲームの楽しさを向上することができる。また、この場
合に、複数の音声データ自体を用意するのではなく、音
声制御パラメータだけを複数種類用意すればよいので、
これらのデータの格納についての記憶容量等が少なくて
済む。

【００７７】請求項７及び請求項１４に記載の発明によ
ると、音声データだけでなく画像データをも扱う場合
に、所定の条件に適合した場合に、音声データだけでな
く画像データをも音声制御パラメータに基づいて変換す
るので、条件に応じて、画像と音声の両方を変更するこ
とができ、例えばゲーム等の娯楽の分野において、条件
に応じて変身したような効果を与えることが可能とな
る。

【００７８】請求項８及び請求項１５に記載の発明によ
ると、操作子で、操作者の感情表現を入力するようにし
ているので、その感情表現を元に複数の選択枝のなかか
ら音声制御パラメータを選択して有意に変調することが
可能となり、操作者が音声制御パラメータについての高
度な知識を有していない場合にも、容易に音声のエフェ
クト処理を実行することができるという効果がある。

【図面の簡単な説明】

【図１】この発明の一の実施の形態に係る音声還元再生
システムの全体的構成を示すブロック図である。

【図２】送信元装置を示すブロック図である。

【図３】送信先装置を示すブロック図である。

【図４】パスワードにより音声データ及び画像データの
エフェクト処理を解除している様子を示す図である。

【図５】音声データ及び画像データがエフェクト処理さ
れたままの状態で再生されている様子を示す図である。

【図６】送信先装置の動作を示す図である。

【図７】画像データと音声データの両方を変更した状態
を示す図である。

【図８】トレーディングカードを使用してパスワードの
入力を行っている動作を示す図である。

【図９】画像合成を行っている動作を示す図である。

【図１０】従来の音声還元再生システムを示すブロック
図である。

【図１１】従来において多くの音声データを予め用意し
ている様子を示す図である。

【符号の説明】

Ａ１ 送信元装置Ａ１ Ａ２ 送信先装置Ａ２ ａ１ エフェクト装置ａ１ ａ２ 条件入力装置ａ２ ａ３ 送信回路ａ３ ２ 音声データ２ ３ 音声制御パラメータ３ ２１ 伝送路２１ ２２ 音声データ２２ ２３ 音声制御パラメータ２３ ２４ 受信回路２４ ２５ エフェクト変換回路２５ ２６ 音声再生装置２６ ２６ａ 音声再生装置２６ａ ２６ｂ 音声再生装置２６ｂ ２７ 音声入力２７ ２８ Ａ／Ｄ変換２８ ３１ 操作子３１ ３２ 条件判断部３２ ３３ 変調解除指示部３３ ３４ 音声変調機能部３４ ３５ Ｄ／Ａ変換部３５ ３７ 表示装置３７ ３８ 画像データ３８ ３９ 画像制御パラメータ３９ ４１，４２ トレーディングカード４１ ４３ パスワード４３ ５１ 画像５１ ５２ 画像５２

Claims (15)

【特許請求の範囲】
1. 【請求項１】 音声制御パラメータを用いて音声データ
   のエフェクト処理を行った後、所定の条件に適合した場
   合に、前記音声データを前記音声制御パラメータに基づ
   いて前記エフェクト処理を行う前の状態に還元し、この
   還元した音声データに基づいて音声の再生を行う音声還
   元再生システム。
2. 【請求項２】 請求項１に記載の音声還元再生システム
   であって、 前記条件が適合しているかどうかを判断する条件判断部
   と、 前記条件判断部で前記条件が適合していると判断された
   場合に前記音声制御パラメータに基づいて、前記音声デ
   ータを、前記エフェクト処理を行う前の状態に還元する
   エフェクト変換回路とを備える音声還元再生システム。
3. 【請求項３】 請求項２に記載の音声還元再生システム
   であって、 送信元装置と送信先装置とを備え、 前記送信先装置は前記条件判断部及びエフェクト変換回
   路を備え、 前記送信元装置は、前記送信先装置で前記音声データの
   前記エフェクト処理を行う前の状態への還元を許可する
   ための条件情報を設定し、 前記条件判断部は、所定の操作子を用いて入力された入
   力パラメータを前記条件情報に照らして条件適合の可否
   を判断する音声還元再生システム。
4. 【請求項４】 請求項３に記載の音声還元再生システム
   であって、 前記条件情報及び前記入力パラメータはパスワードであ
   る音声還元再生システム。
5. 【請求項５】 請求項２に記載の音声還元再生システム
   であって、 前記エフェクト変換回路は、前記音声データを、前記エ
   フェクト処理を行う前の状態に還元するとともに、還元
   後の音声データに対してさらにエフェクト処理を実行す
   る音声還元再生システム。
6. 【請求項６】 請求項３または請求項４に記載の音声還
   元再生システムであって、 前記入力パラメータは複数種類設定され、 前記エフェクト変換回路は、前記音声データを、前記エ
   フェクト処理を行う前の状態に還元するとともに、還元
   後の音声データに対してさらに前記各入力パラメータに
   対応する前記エフェクト処理を実行する音声還元再生シ
   ステム。
7. 【請求項７】 請求項１ないし請求項６のいずれかに記
   載の音声還元再生システムであって、 所定の条件に適合した場合に、所定の画像データを前記
   音声制御パラメータに基づいて変換する音声還元再生シ
   ステム。
8. 【請求項８】 請求項６に記載の音声還元再生システム
   であって、 前記操作子は、操作者の感情表現を、文章、文字、選択
   式ボタンまたは選択式画像のうち少なくともいずれかで
   選択することが可能とされた音声還元再生システム。
9. 【請求項９】 音声制御パラメータを用いて音声データ
   のエフェクト処理を行った後、所定の条件に適合した場
   合に、前記音声データを前記音声制御パラメータに基づ
   いて前記エフェクト処理を行う前の状態に還元し、この
   還元した音声データに基づいて音声の再生を行う音声還
   元再生方法。
10. 【請求項１０】 送信元装置から音声データを所定の伝
    送路または所定の記録媒体に出力し、前記送信先装置で
    前記伝送路または前記記録媒体を介して得られた前記音
    声データを再生する音声還元再生方法であって、 前記送信元装置は、音声制御パラメータを用いて音声デ
    ータのエフェクト処理を行った後、前記伝送路または前
    記記録媒体を通じて前記音声データ及び前記音声制御パ
    ラメータを所定の伝送路または所定の記録媒体に出力す
    るとともに、前記送信先装置で前記音声データの前記エ
    フェクト処理を行う前の状態への還元を許可するための
    条件情報を設定し、 前記送信先装置は、所定の操作子を用いて入力された入
    力パラメータを前記条件情報に照らして、条件適合の可
    否を判断し、所定の条件に適合した場合に、前記伝送路
    または前記記録媒体を介して得られた前記音声データを
    前記音声制御パラメータに基づいて前記エフェクト処理
    を行う前の状態に還元し、この還元した音声データに基
    づいて音声の再生を行う、請求項９に記載の音声還元再
    生方法。
11. 【請求項１１】 請求項１０に記載の音声還元再生方法
    であって、 前記条件情報及び前記入力パラメータはパスワードであ
    る音声還元再生方法。
12. 【請求項１２】 請求項１０に記載の音声還元再生方法
    であって、 前記送信先装置は、前記音声データを、前記エフェクト
    処理を行う前の状態に還元するとともに、還元後の音声
    データに対してさらにエフェクト処理を実行する音声還
    元再生方法。
13. 【請求項１３】 請求項１０ないし請求項１２のいずれ
    かに記載の音声還元再生方法であって、 前記入力パラメータは複数種類設定され、 前記音声データを、前記エフェクト処理を行う前の状態
    に還元するとともに、還元後の音声データに対してさら
    に前記各入力パラメータに対応する前記エフェクト処理
    を実行する音声還元再生方法。
14. 【請求項１４】 請求項９ないし請求項１３のいずれか
    に記載の音声還元再生方法であって、 所定の条件に適合した場合に、所定の画像データを前記
    音声制御パラメータに基づいて変換する音声還元再生方
    法。
15. 【請求項１５】 請求項１３に記載の音声還元再生方法
    であって、 前記操作子によって、操作者の感情表現を、文章、文
    字、選択式ボタンまたは選択式画像のうち少なくともい
    ずれかで選択する音声還元再生方法。