JP2010109609A

JP2010109609A - 通信装置、効果音出力制御プログラム及び効果音出力制御方法

Info

Publication number: JP2010109609A
Application number: JP2008278741A
Authority: JP
Inventors: Katsumori Hagiwara; 克守萩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-10-29
Filing date: 2008-10-29
Publication date: 2010-05-13
Anticipated expiration: 2028-10-29
Also published as: JP5540492B2

Abstract

【課題】３Ｄサラウンド信号で臨場感に富んだ通話を実現する。
【解決手段】相手先の携帯電話機２との通信を実行する携帯電話機２であって、入力された音声信号を符号化して音声符号化データを取得する音声符号化部２１と、記憶中の複数の効果音の内、所望の効果音を選択する効果音選択部２３と、記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択部２５と、効果音選択部２３にて選択した効果音に定位情報選択部２５にて選択した音像定位情報を付加した効果音符号化データを取得する定位情報付き効果音取得部２６と、効果音及び音像定位情報に基づき生成する効果音の３Ｄサラウンド信号を相手先の携帯電話機２側で音響出力させるべく、音声符号化データの他に、効果音符号化データを多重化して相手先の携帯電話機２に伝送出力するデータ送信部１５Ａとを有している。
【選択図】図１

Description

本発明は、音声の他に、背景音等の効果音の効果音信号を受話側に提供する機能を備えた、例えば、携帯電話機等の通信装置、効果音出力制御プログラム及び効果音出力制御方法に関する。

従来、携帯電話機等では、通信回線を使用して日常的な通話が行われているが、携帯電話機から聞こえてくるのはお互いの通話音声のみである。

しかしながら、通話音声のみによる会話では、どうしても会話内容が事務的になりやすくなる。

そこで、近年の通話システムでは、通話音声の他に、背景音等の効果音を送話側から受話側に伝送出力することで、受話側では、その効果音に基づき臨場感のある通話を実現することができる。

特開２００２−１８５５７３号公報

しかしながら、上記従来の通話システムでは、通話音声の他に、効果音を送話側から受話側に伝送出力し、受話側では、その効果音をモノラル出力するようにしたが、その効果音を変えたとしても臨場感を出すには乏しく、しかも、通話音声と効果音との音声伝達方向が重なり合って聞き取りにくくなるといった事態も生じている。

そこで、本発明は上記点に鑑みてなされたものであり、その目的とするところは、効果音の他に、その効果音の音像定位情報を設定可能にし、音像定位情報を加味した効果音の効果音信号を受話側に提供して臨場感に富んだ通話を実現することができると共に、効果音で通話音声が聞き取りにくくなるような事態にも十分対処できる通信装置、効果音出力制御プログラム及び効果音出力制御方法を提供することにある。

開示装置は、相手先通信装置との通信を実行する通信装置であって、入力された音声信号を符号化して音声符号化データを取得する音声符号化部と、予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、前記効果音選択部にて選択した効果音に前記定位情報選択部にて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得部と、前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信部とを有するようにした。

また、開示装置は、相手先通信装置との通信を実行する通信装置であって、入力された音声を符号化して音声符号化データを取得する音声符号化部と、予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、前記選択された前記効果音に前記音像定位情報を反映させた、音像定位効果音信号を生成する効果音信号生成部と、前記音像定位効果音信号を符号化して音像定位効果音信号符号化データを取得する効果音信号符号化部と、前記音声符号化データと共に、前記音像定位効果音信号符号化データを前記相手先通信装置に伝送出力するデータ送信部とを有するようにした。

開示プログラムは、相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御プログラムであって、複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備手順と、入力された音声信号を符号化して音声符号化データを取得する音声符号化手順と、前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択手順と、前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択手順と、前記効果音選択手順にて選択した効果音に前記定位情報選択手順にて選択した音像定位情報を付加して効果音符号化データを取得する効果音符号化取得手順と、前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを作成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信手順とを含む処理プログラムを前記通信装置に実行させるようにした。

また、開示方法は、相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御方法であって、複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備ステップと、入力された音声信号を符号化して音声符号化データを取得する音声符号化ステップと、前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択ステップと、前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択ステップと、前記効果音選択ステップにて選択した効果音に前記定位情報選択ステップにて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得ステップと、前記効果音及び前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信ステップとを含むようにした。

開示装置、開示プログラム及び開示方法では、送信元の通信装置側で記憶している効果音及び音像定位情報から送りたい効果音と音像定位情報を選択可能にし、選択した効果音に選択した音像定位情報を付加した効果音符号化データを取得すると共に、選択した効果音及び音像定位情報に基づき生成する前記音像定位情報を加味した前記効果音の効果音信号を相手先通信装置側で音響出力させるべく、前記音声符号化データの他に、前記効果音符号化データを相手先通信装置に伝送出力する。その結果、相手先通信装置側では、前記効果音の他に、その効果音の音像定位情報を設定可能にし、効果音の音像定位方向を自由に変えることで、効果音信号を相手先通信装置に提供して臨場感に富んだ通話を実現すると共に、その効果音で音声が聞き取りにくくなるような事態にも十分対処することができる。

また、開示装置では、送信元の通信装置側で記憶している効果音及び音像定位情報から送りたい効果音と音像定位情報を選択可能にし、選択した効果音及び音像定位情報に基づき前記音像定位情報を加味した前記効果音の効果音信号を生成し、前記効果音信号を相手先通信装置側で音響出力させるべく、その効果音信号を符号化して効果音信号符号化データを相手先通信装置に伝送出力する。その結果、相手先通信装置側では、前記効果音の音像定位方向を自由に変えることで、効果音の効果音信号を相手先通信装置に提供して臨場感に富んだ通話を実現すると共に、相手先通信装置側では、効果音信号を生成する機能を備えなくても良く、しかも、その効果音で音声が聞き取りにくくなるような事態にも十分対処することができる。

以下、図面に基づき本発明の通信装置、効果音出力制御プログラム及び効果音出力制御方法に関わる実施例について詳細に説明する。

まず、最初に本実施例の概要を説明するとすれば、その概要は、送話側の携帯電話機で効果音及び効果音の音像定位情報を選択可能にし、選択した効果音に選択した音像定位情報を付加した効果音符号化データを受話側の携帯電話機に伝送出力する。

受話側の携帯電話機では、効果音符号化データを受信すると、効果音符号化データから効果音及び音像定位情報を抽出し、抽出した効果音及び音像定位情報に基づき、音像定位情報を加味した効果音の効果音信号を生成し、生成した効果音信号を音響出力する。

その結果、送話側の携帯電話機では、効果音の他に、その効果音の音像定位情報を設定可能にし、その効果音の音像定位方向を自由に変えることで、効果音の効果音信号を受話側の携帯電話機に提供して臨場感に富んだ通話を実現すると共に、その効果音で音声が聞き取りにくくなるような事態にも十分対処することができるというものである。

図１は、実施例１の携帯電話システムに関わる携帯電話機内部の概略構成を示すブロック図である。

図１に示す携帯電話システム１は、複数の携帯電話機２を有し、図示せぬ基地局経由で携帯電話機２間の通話を実現するものである。

携帯電話機２は、通話音声を送話する送話部１１と、通話音声を受話する受話部１２と、様々な情報を入力する操作部１３と、様々な情報を表示する表示部１４と、図示せぬ基地局経由で相手先の携帯電話機２との通信インタフェースを司る通信インタフェース部１５と、この携帯電話機２全体を制御する制御部１６とを有している。

送話部１１は、送話音声を収音するマイクロホン等に相当するものである。

受話部１２は、受話音声を音響出力するスピーカやハンズフリー用ヘッドホン等に相当するものである。

通信インタフェース部１５は、通話音声等の音声符号化データ等を相手先の携帯電話機２に送信するデータ送信部１５Ａと、相手先の携帯電話機２からの通話音声等の音声符号化データ等を受信するデータ受信部１５Ｂとを有している。

制御部１６は、送話部１１の送話制御を司る送話側制御部２０と、受話部１２の受話制御を司る受話側制御部３０とを有している。

送話側制御部２０は、送話部１１からの音声信号を音声符号化して音声符号化データを取得する音声符号化部２１と、複数の効果音を記憶する効果音メモリ部２２と、効果音メモリ部２２に記憶中の複数の効果音から任意の効果音を選択する効果音選択部２３と、複数の音像定位情報を記憶する定位情報メモリ部２４と、定位情報メモリ部２４に記憶中の複数の音像定位情報から任意の音像定位情報を選択する定位情報選択部２５とを有している。ここでは、効果音と定位情報を別々に記憶して選択しているが、効果音と定位情報を同じ名称で対応付けて記憶しておき、どちらか一方を選択するようにしても良い。

効果音メモリ部２２は、例えば、風の音、雨音、セミの泣き声等の複数の効果音を符号化データ形式で記憶しているものである。図２は、表示部１４に表示中の複数の効果音を端的に示す説明図である。

効果音選択部２３は、効果音メモリ部２２に記憶中の複数の効果音を識別する効果音識別情報を図２に示すように表示部１４に一覧表示し、その一覧表示した複数の効果音識別情報の中から所望の効果音識別情報を、操作部１３を通じて指定し、指定した効果音識別情報に対応した効果音メモリ部２２に記憶中の効果音を選択するものである。効果音と定位情報には、予め、内容を表すような名称がつけてあり、それにより、両面に表示して選択するものとする。

定位情報メモリ部２４は、複数の音像定位情報５０を記憶している。尚、音像定位情報５０は、効果音の音像定位方向を指定する情報に相当するものである。図３は、定位情報メモリ部２４のメモリ内容を端的に示す説明図である。

図３に示す定位情報メモリ部２４に記憶する音像定位情報５０は、音像定位情報を識別する音像定位識別情報５１毎に対応する定位情報識別ビット値５２を記憶している。

定位情報選択部２５は、定位情報メモリ部２４に記憶中の複数の音像定位情報を識別する音像定位識別情報を表示部１４に一覧表示し、その一覧表示した複数の音像定位識別情報の中から所望の音像定位識別情報を、操作部１３を通じて指定し、指定した音像定位識別情報５１に対応した定位情報メモリ部２４に記憶中の定位情報識別ビット値５２を選択するものである。

送話側制御部２０は、効果音選択部２３にて選択した効果音に、定位情報選択部２５にて選択した定位情報識別ビット値５２を付加した効果音符号化データを取得する定位情報付き効果音取得部２６と、定位情報付き効果音取得部２６にて取得した効果音符号化データ及び音声符号化部２１にて取得した音声符号化データを多重化して多重データを生成する多重化部２７とを有している。

尚、効果音符号化データがＭＰＥＧ２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ２）−ＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）（ＩＳＯ／ＩＥＣ１３１８−７）で符号化された場合、ＦＩＬＬエレメントの「ｏｔｈｅｒｓｂｉｔ」に定位情報識別ビット値５２を付加するものである。

図４は、多重化部２７の処理動作を端的に示す説明図である。

図４において多重化部２７は、音声符号化部２１にて取得した音声符号化データ６１と、定位情報付き効果音取得部２６にて取得した効果音符号化データ６２とを多重化した多重データ６０を生成し、生成した多重データ６０をデータ送信部１５Ａ経由で相手先の携帯電話機２に無線伝送するものである。尚、多重データ６０は、データ間を分離識別するフラグ６３を配置しているものとする。

また、図１に示す受話側制御部３０は、データ受信部１５Ｂを通じて受信した多重データ６０を音声符号化データ６１及び効果音符号化データ６２に分割する多重分割部３１を有している。

また、受話側制御部３０は、多重分割部３１にて分割した音声符号化データ６１を復号化して音声信号を取得する音声復号化部３２と、多重分割部３１にて分割した効果音符号化データ６２を復号化して定位情報識別ビット値５２及び効果音を抽出する定位情報付き効果音復号化部３３と、定位情報付き効果音復号化部３３にて抽出した定位情報識別ビット値５２及び効果音に基づき、音像定位情報を加味した効果音の３Ｄサラウンド信号を生成する３Ｄサラウンド処理部３４とを有している。

図５は、多重分割部３１の処理動作を端的に示す説明図である。

図５において多重分割部３１は、受信した多重データ６０をフラグ６３に基づき、音声符号化データ６１と効果音符号化データ６２とに分割し、音声符号化データ６１を音声復号化部３２に伝送すると共に、効果音符号化データ６２を定位情報付き効果音復号化部３３に伝送するものである。

図６は、３Ｄサラウンド処理部３４及び受話部１２内部の概略構成を示すブロック図、図７は、３Ｄサラウンド処理部３４内部の伝達関数テーブル３４Ａのテーブル内容を端的に示す説明図である。

図６に示す３Ｄサラウンド処理部３４は、図７に示すように、定位情報識別ビット値７１単位で左側及び右側の音像定位情報内容である左右の頭部伝達関数７２を管理する伝達関数テーブル３４Ａと、定位情報付き効果音復号化部３３にて取得した定位情報識別ビット値に対応する左右の頭部伝達関数７２を伝達関数テーブル３４Ａから取得する伝達関数決定回路３４Ｂと、この伝達関数決定回路３４Ｂにて取得した左右の頭部伝達関数７２と、定位情報付き効果音復号化部３３にて取得した効果音とに基づき、３Ｄサラウンド信号を生成する３Ｄサラウンド信号生成回路３４Ｃとを有している。

伝達関数決定回路３４Ｂは、定位情報付き効果音復号化部３３にて定位情報識別ビット値“０００００”を取得した場合、左耳の耳９０°の頭部伝達関数７２及び右耳の耳９０°の頭部伝達関数７２を取得するものである。

図６に示す受話部１２は、音声復号化部３２にて取得した音声信号及び３Ｄサラウンド信号生成回路３４Ｃにて生成した３Ｄサラウンド信号を加算するＬ側加算回路８１Ａと、Ｌ側加算回路８１Ａにて加算した音声信号及び３Ｄサラウンド信号をアナログ変換するＤ／Ａ変換回路８２Ａと、このＤ／Ａ変換回路８２Ａにてアナログ変換した音声信号及び３Ｄサラウンド信号を音響出力するＬ側スピーカ８３Ａと、音声復号化部３２にて取得した音声信号及び３Ｄサラウンド信号生成回路３４Ｃにて生成した３Ｄサラウンド信号を加算するＲ側加算回路８１Ｂと、Ｒ側加算回路８１Ｂにて加算した音声信号及び３Ｄサラウンド信号をアナログ変換するＤ／Ａ変換回路８２Ｂと、このＤ／Ａ変換回路８２Ｂにてアナログ変換した音声信号及び３Ｄサラウンド信号を音響出力するＲ側スピーカ８３Ｂとを有している。

Ｌ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂでは、音声信号及び、音像定位情報を加味した３Ｄサラウンド信号を音響出力することになる。ここでは、左右２つのスピーカを用いて３Ｄサラウンド信号を出力しているが、更にスピーカを増やし、５．１チャネル等に対応させるようにしても良い。

次に、実施例１の携帯電話システム１の動作について説明する。図８は、第１送話側効果音サラウンド処理に関わる送話側制御部２０内部の処理動作を示すフローチャートである。

図８に示す第１送話側効果音サラウンド処理は、送話側の携帯電話機２から音声符号化データ及び効果音符号化データを受話側の携帯電話機２に伝送出力する処理である。

図８において送話側制御部２０内部の効果音選択部２３は、操作部１３の指定操作に応じて効果音メモリ部２２に記憶中の複数の効果音の内、所望の効果音を選択する(ステップＳ１１)。ここでは、効果音や音像定位情報が予め、携帯電話のメモリに登録されていることが前提であるが、入力部を設けて、外部の装置から効果音や音像定位情報を登録できるようにしても良い。

送話側制御部２０内部の定位情報選択部２５は、操作部１３の指定操作に応じて定位情報メモリ部２４に記憶中の複数の音像定位情報の内、所望の音像定位情報に対応する定位情報識別ビット値を選択する(ステップＳ１２)。

送話側制御部２０内部の定位情報付き効果音取得部２６は、ステップＳ１１にて選択した効果音に、ステップＳ１２にて選択した定位情報識別ビット値を付加した効果音符号化データを取得する(ステップＳ１３)。

送話側制御部２０内部の多重化部２７は、音声符号化部２１にて取得した音声符号化データ６１及び定位情報付き効果音取得部２６にて取得した効果音符号化データ６２を多重化して多重データ６０を生成し(ステップＳ１４)、データ送信部１５Ａを通じて多重データを相手先の携帯電話機２に送信し(ステップＳ１５)、図８に示す処理動作を終了する。

図８に示す第１送話側効果音サラウンド処理では、所望の効果音及び音像定位情報（定位情報識別ビット値）を選択し、選択した効果音に選択した定位情報識別ビット値を付加した効果音符号化データ６２を取得し、取得した効果音符号化データ６２及び音声符号化データ６１を多重化して多重データ６０を生成し、生成した多重データ６０を相手先の携帯電話機２に伝送するようにしたので、送話側の携帯電話機２では、受話側である相手先の携帯電話機２で音響出力させる効果音の３Ｄサラウンド信号を自由に設定することができる。

図９は、第１受話側効果音サラウンド処理に関わる受話側制御部３０内部の処理動作を示すフローチャートである。

図９に示す第１受話側効果音サラウンド処理は、音声符号化データ６１及び効果音符号化データ６２を含む多重データ６０を受信すると、効果音符号化データ６２内の定位情報識別ビット値及び効果音に基づき効果音の３Ｄサラウンド信号を生成し、音声信号及び３Ｄサラウンド信号を受話側の携帯電話機２で音響出力する処理である。

図９において受話側である相手先の携帯電話機２内部のデータ受信部１５Ｂは、携帯電話機２から多重データ６０を受信したか否かを判定する(ステップＳ２１)。

受話側制御部３０内部の多重分割部３１は、多重データ６０を受信した場合(ステップＳ２１肯定)、多重データ６０から音声符号化データ６１及び効果音符号化データ６２を分離抽出する(ステップＳ２２)。

受話側制御部３０内部の定位情報付き効果音復号化部３３は、効果音符号化データ６２から定位情報識別ビット値及び効果音を分離抽出する(ステップＳ２３)。

受話側制御部３０内部の３Ｄサラウンド処理部３４は、分離抽出した定位情報識別ビット値７１に対応する左右の頭部伝達関数７２を取得し、取得した左右の頭部伝達関数７２及び効果音に基づき３Ｄサラウンド信号を生成する(ステップＳ２４)。尚、３Ｄサラウンド処理部３４内部の伝達関数決定回路３４Ｂは、定位情報識別ビット値７１に対応する左右の頭部伝達関数７２を伝達関数テーブル３４Ａから取得するものである。また、３Ｄサラウンド処理部３４内部の３Ｄサラウンド信号生成回路３４Ｃは、左右の頭部伝達関数７２及び効果音に基づき、効果音の３Ｄサラウンド信号を生成するものである。

受話部１２は、３Ｄサラウンド信号及び音声信号に対してＬ側及びＲ側のステレオ処理を施し(ステップＳ２５)、ステレオ処理を施した３Ｄサラウンド信号及び音声信号をＬ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂに音響出力し(ステップＳ２６)、図９に示す処理動作を終了する。

また、データ受信部１５Ｂは、多重データ６０を受信しなかった場合(ステップＳ２１否定)、図９に示す処理動作を終了する。

図９に示す第１受話側効果音サラウンド処理では、受話側である相手先の携帯電話機２側のデータ受信部１５Ｂを通じて多重データ６０を受信すると、多重データ６０から音声符号化データ６１及び効果音符号化データ６２に分割し、この効果音符号化データ６２から効果音及び定位情報識別ビット値を分離抽出し、これら抽出した効果音及び定位情報識別ビット値に基づき、効果音の３Ｄサラウンド信号を生成し、生成した３Ｄサラウンド信号及び音声信号をＬ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂに音響出力するようにしたので、その効果音の３Ｄサラウンド信号によって臨場感に富んだ通話を実現することができる。

実施例１では、送話側で効果音及び音像定位情報を選択可能にし、選択した効果音に選択した定位情報識別ビット値を付加した効果音符号化データを取得し、選択した効果音及び定位情報識別ビット値に基づき生成する音像定位情報を加味した効果音の３Ｄサラウンド信号を相手先の携帯電話機２側で音響出力させるべく、音声符号化データの他に、効果音符号化データを相手先の携帯電話機２に伝送出力する。その結果、送話側の携帯電話機２側では、効果音の他に、その効果音の音像定位情報を設定可能にし、効果音の音像定位方向を自由に変えることで、効果音の３Ｄサラウンド信号を相手先携帯電話機２に提供して臨場感に富んだ通話を実現すると共に、その効果音で音声が聞き取りにくくなるような事態にも十分対処することができる。

また、実施例１では、携帯電話機２から多重データ６０を受信した場合、その多重データ６０から音声符号化データ６１及び効果音符号化データ６２を分割し、分割した効果音符号化データ６２から効果音及び定位情報識別ビット値を分離抽出し、これら抽出した効果音及び定位情報識別ビット値に基づき効果音の３Ｄサラウンド信号を生成し、生成した３Ｄサラウンド信号及び音声信号をＬ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂに音響出力するようにしたので、受話側の携帯電話機２側では、その効果音の３Ｄサラウンド信号によって臨場感に富んだ通話を実現することができる。

また、実施例１では、操作部１３の指定操作に応じて、表示部１４に表示中の効果音や音像定位情報から所望の効果音や音像定位情報（定位情報識別ビット値）を自由に選択可能にしたので、バリエーションに富んだ効果音の３Ｄサラウンド信号を提供することができる。

尚、実施例１では、音声符号化データ６１及び効果音符号化データ６２を多重化した多重データ６０を携帯電話機２の送話側制御部２０から相手先の携帯電話機２の受話側制御部３０へ伝送出力する例をあげて説明したが、例えば、逆に相手先の携帯電話機２の送話側制御部２０から携帯電話機２の受話側制御部３０へ多重データ６０を伝送出力するようにしても同様の効果が得られることは言うまでもない。

次に、実施例１の携帯電話システム１では、送話側制御部２０にて音声符号化データ６１及び効果音符号化データ６２を多重化した多重データ６０を相手先の携帯電話機２内の受話側制御部３０に伝送し、受話側制御部３０では、多重データ６０内の効果音符号化データ６２内の定位情報識別ビット値及び効果音に基づき効果音の３Ｄサラウンド信号を生成するようにしたが、送話側制御部２０内部で定位情報識別ビット値及び効果音に基づき効果音の３Ｄサラウンド信号を生成し、生成した３Ｄサラウンド信号を符号化して相手先の携帯電話機２内部の受話側制御部２０に伝送出力するようにしても良く、この場合の実施例につき、実施例２として説明する。

図１０は、実施例２の携帯電話システムに関わる携帯電話機内部の概略構成を示すブロック図である。尚、実施例１の携帯電話システム１と同一の構成については同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図１０に示す携帯電話システム１Ａ内の携帯電話機２Ａが図１に示す携帯電話機２と異なるところは、定位情報付き効果音取得部２６の代わりに、制御部１６Ａの送話側制御部２０Ａ内部に、効果音及び定位情報識別ビット値に基づき３Ｄサラウンド信号を生成する送話側３Ｄサラウンド処理部２８を配置すると共に、制御部１６Ａの受話側制御部３０Ａ内部に３Ｄサラウンド処理部３４をなくした点にある。

図１０に示す携帯電話機２Ａ内部の送話側制御部２０Ａは、音声符号化部２１、効果音メモリ部２２、効果音選択部２３、定位情報メモリ部２４、定位情報選択部２５及び多重化部２７の他に、効果音選択部２３にて選択した効果音及び定位情報選択部２５にて選択した音像定位情報の定位情報識別ビット値に基づき３Ｄサラウンド信号を生成する送話側３Ｄサラウンド処理部２８を備え、多重化部２７は、音声符号化部２１にて取得した音声符号化データ及び送話側３Ｄサラウンド処理部２８にて生成した３Ｄサラウンド符号化データを多重化して多重データをデータ送信部１５Ａ経由で相手先の携帯電話機２Ａに伝送するものである。

送話側３Ｄサラウンド処理部２８は、効果音選択部２３にて選択した符号化データ形式の効果音を復号化する効果音復号化回路２８Ａと、定位情報識別ビット値５２（７１）単位で左右の頭部伝達関数７２を管理する伝達関数テーブル２８Ｂと、定位情報選択部２５にて選択した音像定位情報の定位情報識別ビット値７１に対応する左右の頭部伝達関数７２を伝達関数テーブル２８Ｂから取得する伝達関数決定回路２８Ｃとを有している。

さらに、送話側３Ｄサラウンド処理部２８は、効果音復号化回路２８Ａにて復号化した効果音及び、伝達関数決定回路２８Ｃにて取得した左右の頭部伝達関数７２に基づき、効果音の３Ｄサラウンド信号を生成する３Ｄサラウンド信号生成回路２８Ｄと、３Ｄサラウンド信号生成回路２８Ｄにて生成した３Ｄサラウンド信号を符号化して３Ｄサラウンド符号化データを取得する３Ｄサラウンド符号化回路２８Ｅとを有している。

図１１は、多重化部２７の処理動作を端的に示す説明図である。

図１１において多重化部２７は、音声符号化部２１にて取得した音声符号化データ６１と、３Ｄサラウンド符号化回路２８Ｅにて取得した３Ｄサラウンド符号化データ６２Ａとを多重化した多重データ６０Ａを生成し、生成した多重データ６０Ａをデータ送信部１５Ａ経由で相手先の携帯電話機２Ａに無線伝送するものである。尚、多重データ６０Ａは、データ間を分離識別するフラグ６３を配置しているものとする。

また、受話側制御部３０Ａは、多重分割部３１及び音声復号化部３２の他に、多重分割部３１にて分割した３Ｄサラウンド符号化データを復号化して効果音の３Ｄサラウンド信号を取得する３Ｄサラウンド復号化部３５を有している。

図１２は、多重分割部３１の処理動作を端的に示す説明図である。

図１２において多重分割部３１は、受信した多重データ６０Ａをフラグ６３に基づき、音声符号化データ６１と３Ｄサラウンド符号化データ６２Ａとに分割し、音声符号化データ６１を音声復号化部３２に伝送すると共に、３Ｄサラウンド符号化データ６２Ａを３Ｄサラウンド復号化部３５に伝送するものである。

図１３は、音声復号化部３２、３Ｄサラウンド復号化部３５及び受話部１２内部の概略構成を示すブロック図である。

図１３に示す受話部１２内部のＬ側加算回路８１Ａは、音声復号化部３２にて取得した音声信号及び３Ｄサラウンド復号化部３５にて取得した効果音の３Ｄサラウンド信号を加算し、その音声信号及び３Ｄサラウンド信号をＤ／Ａ変換回路８２Ａにてアナログ変換し、変換した音声信号及び効果音の３Ｄサラウンド信号をＬ側スピーカ８３Ａに音響出力するものである。

また、Ｒ側加算回路８１Ｂは、音声復号化部３２にて取得した音声信号及び３Ｄサラウンド復号化部３５にて取得した効果音の３Ｄサラウンド信号を加算し、その音声信号及び３Ｄサラウンド信号をＤ／Ａ変換回路８２Ｂにてアナログ変換し、変換した音声信号及び効果音の３Ｄサラウンド信号をＲ側スピーカ８３Ｂに音響出力するものである。

次に、実施例２の携帯電話システム１Ａの動作について説明する。図１４は、第２送話側効果音サラウンド処理に関わる送話側制御部２０Ａ内部の処理動作を示すフローチャートである。

図１４に示す第２送話側効果音サラウンド処理は、送話側の携帯電話機２Ａから音声符号化データ及び３Ｄサラウンド符号化データを受話側である相手先の携帯電話機２Ａに伝送出力する処理である。

図１４において送話側制御部２０Ａ内部の効果音選択部２３は、操作部１３の指定操作に応じて効果音メモリ部２２に記憶中の複数の効果音の内、所望の効果音を選択する(ステップＳ３１)。

送話側制御部２０Ａ内部の定位情報選択部２５は、操作部１３の指定操作に応じて定位情報メモリ部２４に記憶中の複数の音像定位情報の内、所望の音像定位情報に対応する定位情報識別ビット値５２を選択する(ステップＳ３２)。

送話側制御部２０Ａ内部の送話側３Ｄサラウンド処理部２８は、ステップＳ３１にて選択した効果音及びステップＳ３２にて選択した音像定位情報に基づき、効果音の３Ｄサラウンド信号を生成する(ステップＳ３３)。尚、送話側３Ｄサラウンド処理部２８内部の伝達関数決定回路２８Ｃは、定位情報選択部２５にて選択した音像定位情報の定位情報識別ビット値７１に対応する左右の頭部伝達関数７２を伝達関数テーブル２８Ｂから取得する。さらに、３Ｄサラウンド信号生成回路２８Ｄは、伝達関数決定回路２８Ｃにて取得した左右の頭部伝達関数７２及び、効果音選択部２３にて選択した効果音に基づき効果音の３Ｄサラウンド信号を生成するものである。

送話側３Ｄサラウンド処理部２８内部の３Ｄサラウンド符号化回路２８Ｅは、３Ｄサラウンド信号生成回路２８Ｄにて生成した効果音の３Ｄサラウンド信号を符号化して３Ｄサラウンド符号化データを取得する(ステップＳ３４)。

送話側制御部２０Ａ内部の多重化部２７は、音声符号化部２１にて取得した音声符号化データ６１及び３Ｄサラウンド符号化回路２８Ｅにて取得した３Ｄサラウンド符号化データ６２Ａを多重化して多重データ６０Ａを生成し(ステップＳ３５)、データ送信部１５Ａを通じて多重データ６０Ａを相手先の携帯電話機２Ａに送信し(ステップＳ３６)、図１４に示す処理動作を終了する。

図１４に示す第２送話側効果音サラウンド処理では、所望の効果音及び音像定位情報を選択し、選択した効果音及び音像定位情報（定位情報識別ビット値）に基づき効果音の３Ｄサラウンド信号を生成し、生成した３Ｄサラウンド信号を符号化して３Ｄサラウンド符号化データを取得し、取得した３Ｄサラウンド符号化データ６２Ａ及び音声符号化データ６１を多重化して多重データ６０Ａを相手先の携帯電話機２Ａに伝送する。その結果、携帯電話機２Ａ側では、相手先の携帯電話機２Ａで音響出力させる３Ｄサラウンド信号を自由に設定することができる。

図１５は、第２受話側効果音サラウンド処理に関わる受話側制御部３０Ａ内部の処理動作を示すフローチャートである。

図１５に示す第２受話側効果音サラウンド処理は、音声符号化データ６１及び３Ｄサラウンド符号化データ６２Ａを含む多重データ６０Ａを受信すると、３Ｄサラウンド符号化データ６２Ａに基づき効果音の３Ｄサラウンド信号を生成し、音声信号及び３Ｄサラウンド信号を音響出力する処理である。

図１５において受話側の相手先の携帯電話機２Ａ内部のデータ受信部１５Ｂは、携帯電話機２Ａから多重データ６０Ａを受信したか否かを判定する(ステップＳ４１)。

受話側制御部３０Ａ内部の多重分割部３１は、多重データ６０Ａを受信した場合(ステップＳ４１肯定)、多重データ６０Ａから音声符号化データ６１及び３Ｄサラウンド符号化データ６２Ａを分離抽出する(ステップＳ４２)。

受話側制御部３０Ａ内部の３Ｄサラウンド復号化部３５は、３Ｄサラウンド符号化データ６２Ａを復号化して効果音の３Ｄサラウンド信号を取得する(ステップＳ４３)。

受話部１２は、効果音の３Ｄサラウンド信号及び音声信号に対してＬ側及びＲ側のステレオ処理を施し(ステップＳ４４)、ステレオ処理を施した３Ｄサラウンド信号及び音声信号をＬ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂに音響出力し(ステップＳ４５)、図１５に示す処理動作を終了する。

また、データ受信部１５Ｂは、多重データ６０Ａを受信しなかった場合(ステップＳ４１否定)、図１５に示す処理動作を終了する。

図１５に示す第２受話側効果音サラウンド処理では、受話側である相手先の携帯電話機２Ａ側の多重データ６０Ａを受信すると、多重データ６０Ａから音声符号化データ６１及び３Ｄサラウンド符号化データ６２Ａを分離抽出し、分離抽出した３Ｄサラウンド符号化データ６２Ａを復号化して３Ｄサラウンド信号を取得し、取得した３Ｄサラウンド信号及び音声信号をＬ側スピーカ８３Ａ及びＲ側スピーカ８３Ｂに音響出力する。その結果、受話側では、効果音及び定位情報識別ビット値に基づく３Ｄサラウンド信号を生成する機能を備えなくても、効果音の３Ｄサラウンド信号を享受することができる。

実施例２では、携帯電話機２Ａの送話側で効果音及び音像定位情報を選択可能にし、選択した効果音及び音像定位情報（定位情報識別ビット値）に基づき効果音の３Ｄサラウンド信号を生成し、生成した３Ｄサラウンド信号を符号化して３Ｄサラウンド符号化データを相手先の携帯電話機２Ａ内の受話側に伝送出力する。その結果、送話側では、効果音の音像定位方向を自由に変えることで、臨場感に富んだ通話を実現すると共に、受話側では、３Ｄサラウンド信号を生成する機能を備えなくても、効果音の３Ｄサラウンド信号を享受することができ、しかも、効果音で音声が聞き取りにくくなるような事態にも十分対処することができる。

尚、上記実施例１及び２では、携帯電話機２（２Ａ）の通話音声に対して効果音の３Ｄサラウンド信号を提供するようにしたが、携帯電話機２（２Ａ）に限定するものではなく、固定電話機等であっても良いことは言うまでもない。

また、上記実施例１及び２では、効果音の音像定位情報を固定にするのではなく、例えば、自動車通過時の走行音の如く、音像定位位置が時間推移で変化するような音像定位情報を設定するようにしても良く、この場合、エンターテイメント性の向上を図ることができる。

以上、本発明の実施例について説明したが、本実施例によって本発明の技術的思想の範囲が限定されるものではなく、請求の範囲に記載した技術的思想の範囲を逸脱しない限り、各種様々な実施例が実施可能であることは言うまでもない。また、本実施例に記載した効果は、これに限定されるものではない。

また、本実施例で説明した各種処理の内、自動的に行われるものとして説明した処理の全部又は一部を手動で行うことも可能であることは勿論のこと、その逆に、手動で行われるものとして説明した処理の全部又は一部を自動で行うことも可能であることは言うまでもない。また、本実施例で説明した処理手順、制御手順、具体的名称、各種データやパラメータを含む情報についても、特記した場合を除き、適宜変更可能であることは言うまでもない。

また、図示した各装置の各構成要素は機能概念的に記載したものであって、必ずしも物理的に図示のように構成されるものではなく、その各装置の具体的な態様は図示のものに限縮されるものでは到底ないことは言うまでもない。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）（又はＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌｌｅｒＵｎｉｔ）等のマイクロ・コンピュータ）上、又は同ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしても良いことは言うまでもない。

以上、本実施例を含む実施の形態に関し、更に以下の付記を開示する。

（付記１）相手先通信装置との通信を実行する通信装置であって、
入力された音声信号を符号化して音声符号化データを取得する音声符号化部と、
予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、
予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、
前記効果音選択部にて選択した効果音に前記定位情報選択部にて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得部と、
前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信部と
を有することを特徴とする通信装置。

（付記２）相手先通信装置側の前記データ送信部から前記音声符号化データ及び前記効果音符号化データを受信するデータ受信部と、
前記データ受信部にて受信した前記音声符号化データを復号化して前記音声信号を取得する音声復号化部と、
前記データ受信部にて受信した前記音像定位情報付き効果音符号化データを復号化して前記効果音及び前記音像定位情報を抽出する効果音復号化部と、
前記効果音復号化部にて抽出した前記効果音及び前記音像定位情報に基づき、前記音像定位情報を加味した前記効果音の効果音信号を生成する効果音信号生成部と、
前記音声復号化部にて取得した前記音声信号及び前記効果音信号生成部にて生成した前記効果音信号を音響出力する音響出力部と
を有することを特徴とする付記１記載の通信装置。

（付記３）前記効果音選択部は、
前記効果音を複数記憶する効果音記憶部を有し、前記効果音記憶部に記憶中の複数の効果音から前記所望の効果音を選択すると共に、
前記定位情報選択部は、
前記音像定位情報を複数記憶する定位情報記憶部を有し、前記定位情報記憶部に記憶中の複数の音像定位情報から前記所望の音像定位情報を選択することを特徴とする付記１又は２記載の通信装置。

（付記４）前記効果音選択部は、
前記効果音記憶部に記憶中の複数の効果音を識別する効果音識別情報を表示部に一覧表示し、前記表示部に一覧表示中の効果音識別情報の内、所望の効果音識別情報を前記所望の効果音として選択する効果音識別情報選択部を有し、
前記定位情報選択部は、
前記定位情報記憶部に記憶中の複数の音像定位情報を識別する定位識別情報を前記表示部に一覧表示し、前記表示部に一覧表示中の定位識別情報の内、所望の定位識別情報を前記所望の音像定位情報として選択する定位識別情報選択部を有することを特徴とする付記３記載の通信装置。

（付記５）前記通信装置は、
無線通信網を通じて無線通信する携帯電話機であることを特徴とする付記４記載の通信装置。

（付記６）前記音響出力部は、
前記音声信号及び前記効果音信号をステレオ出力する複数のステレオ出力部を有することを特徴とする付記１記載の通信装置。

（付記７）相手先通信装置との通信を実行する通信装置であって、
入力された音声を符号化して音声符号化データを取得する音声符号化部と、
予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、
予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、
前記選択された前記効果音に前記音像定位情報を反映させた、音像定位効果音信号を生成する効果音信号生成部と、
前記音像定位効果音信号を符号化して音像定位効果音信号符号化データを取得する効果音信号符号化部と、
前記音声符号化データと共に、前記音像定位効果音信号符号化データを前記相手先通信装置に伝送出力するデータ送信部と
を有することを特徴とする通信装置。

（付記８）相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御プログラムであって、
複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備手順と、
入力された音声信号を符号化して音声符号化データを取得する音声符号化手順と、
前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択手順と、
前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択手順と、
前記効果音選択手順にて選択した効果音に前記定位情報選択手順にて選択した音像定位情報を付加して効果音符号化データを取得する効果音符号化取得手順と、
前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを作成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信手順と
を含む処理プログラムを前記通信装置に実行させることを特徴とする効果音出力制御プログラム。

（付記９）相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御方法であって、
複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備ステップと、
入力された音声信号を符号化して音声符号化データを取得する音声符号化ステップと、
前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択ステップと、
前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択ステップと、
前記効果音選択ステップにて選択した効果音に前記定位情報選択ステップにて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得ステップと、
前記効果音及び前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信ステップと
を含むことを特徴とする効果音出力制御方法。

実施例１の携帯電話システムに関わる携帯電話機内部の概略構成を示すブロック図である。携帯電話機の表示部に表示中の複数の効果音を端的に示す説明図である。定位情報メモリ部のメモリ内容を端的に示す説明図である。多重化部の処理動作を端的に示す説明図である。多重分割部の処理動作を端的に示す説明図である。音声符号化部、３Ｄサラウンド処理部及び受話部内部の概略構成を示すブロック図である。伝達関数テーブルのテーブル内容を端的に示す説明図である。第１送話側効果音サラウンド処理に関わる送話側制御部内部の処理動作を示すフローチャートである。第１受話側効果音サラウンド処理に関わる受話側制御部内部の処理動作を示すフローチャートである。実施例２の携帯電話システムに関わる携帯電話機内部の概略構成を示すブロック図である。多重化部の処理動作を端的に示す説明図である。多重分割部の処理動作を端的に示す説明図である。音声復号化部、３Ｄサラウンド復号化部及び受話部内部の概略構成を示すブロック図である。第２送話側効果音サラウンド処理に関わる送話側制御部内部の処理動作を示すフローチャートである。第２受話側効果音サラウンド処理に関わる受話側制御部内部の処理動作を示すフローチャートである。

符号の説明

１，１Ａ携帯電話システム
２，２Ａ携帯電話機
１４表示部
１５Ａデータ送信部
１５Ｂデータ受信部
２０，２０Ａ送話側制御部
２１音声符号化部
２２効果音メモリ部
２３効果音選択部
２４定位情報メモリ部
２５定位情報選択部
２６定位情報付き効果音取得部
２７多重化部
２８送話側３Ｄサラウンド処理部
３０，３０Ａ受話側制御部
３１多重分割部
３２音声復号化部
３３定位情報付き効果音復号化部
３４３Ｄサラウンド処理部
８３ＡＬ側スピーカ
８３ＢＲ側スピーカ

Claims

相手先通信装置との通信を実行する通信装置であって、
入力された音声信号を符号化して音声符号化データを取得する音声符号化部と、
予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、
予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、
前記効果音選択部にて選択した効果音に前記定位情報選択部にて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得部と、
前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信部と
を有することを特徴とする通信装置。
相手先通信装置側の前記データ送信部から前記音声符号化データ及び前記効果音符号化データを受信するデータ受信部と、
前記データ受信部にて受信した前記音声符号化データを復号化して前記音声信号を取得する音声復号化部と、
前記データ受信部にて受信した前記音像定位情報付き効果音符号化データを復号化して前記効果音及び前記音像定位情報を抽出する効果音復号化部と、
前記効果音復号化部にて抽出した前記効果音及び前記音像定位情報に基づき、前記音像定位情報を加味した前記効果音の効果音信号を生成する効果音信号生成部と、
前記音声復号化部にて取得した前記音声信号及び前記効果音信号生成部にて生成した前記効果音信号を音響出力する音響出力部と
を有することを特徴とする請求項１記載の通信装置。
前記効果音選択部は、
前記効果音を複数記憶する効果音記憶部を有し、前記効果音記憶部に記憶中の複数の効果音から前記所望の効果音を選択すると共に、
前記定位情報選択部は、
前記音像定位情報を複数記憶する定位情報記憶部を有し、前記定位情報記憶部に記憶中の複数の音像定位情報から前記所望の音像定位情報を選択することを特徴とする請求項１又は２記載の通信装置。
前記効果音選択部は、
前記効果音記憶部に記憶中の複数の効果音を識別する効果音識別情報を表示部に一覧表示し、前記表示部に一覧表示中の効果音識別情報の内、所望の効果音識別情報を前記所望の効果音として選択する効果音識別情報選択部を有し、
前記定位情報選択部は、
前記定位情報記憶部に記憶中の複数の音像定位情報を識別する定位識別情報を前記表示部に一覧表示し、前記表示部に一覧表示中の定位識別情報の内、所望の定位識別情報を前記所望の音像定位情報として選択する定位識別情報選択部を有することを特徴とする請求項３記載の通信装置。
相手先通信装置との通信を実行する通信装置であって、
入力された音声を符号化して音声符号化データを取得する音声符号化部と、
予め記憶されている複数の効果音の中から、所望の効果音を選択する効果音選択部と、
予め記憶されている複数の音像定位情報の中から、所望の音像定位情報を選択する定位情報選択部と、
前記選択された前記効果音に前記音像定位情報を反映させた、音像定位効果音信号を生成する効果音信号生成部と、
前記音像定位効果音信号を符号化して音像定位効果音信号符号化データを取得する効果音信号符号化部と、
前記音声符号化データと共に、前記音像定位効果音信号符号化データを前記相手先通信装置に伝送出力するデータ送信部と
を有することを特徴とする通信装置。
相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御プログラムであって、
複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備手順と、
入力された音声信号を符号化して音声符号化データを取得する音声符号化手順と、
前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択手順と、
前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択手順と、
前記効果音選択手順にて選択した効果音に前記定位情報選択手順にて選択した音像定位情報を付加して効果音符号化データを取得する効果音符号化取得手順と、
前記効果音に前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを作成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信手順と
を含む処理プログラムを前記通信装置に実行させることを特徴とする効果音出力制御プログラム。
相手先通信装置との通信を実行すると共に、前記相手先通信装置側に効果音を音響出力させる通信装置の効果音出力制御方法であって、
複数の効果音を記憶した効果音記憶部及び、前記効果音の音像定位情報を複数記憶した定位情報記憶部を準備する準備ステップと、
入力された音声信号を符号化して音声符号化データを取得する音声符号化ステップと、
前記効果音記憶部に記憶中の複数の効果音の内、所望の効果音を選択する効果音選択ステップと、
前記定位情報記憶部に記憶中の複数の音像定位情報の内、所望の音像定位情報を選択する定位情報選択ステップと、
前記効果音選択ステップにて選択した効果音に前記定位情報選択ステップにて選択した音像定位情報を付加した効果音符号化データを取得する効果音符号化取得ステップと、
前記効果音及び前記音像定位情報を付加し、符号化して音像定位情報付き効果音符号化データを生成し、前記音声符号化データと共に、前記音像定位情報付き効果音符号化データを前記相手先通信装置に伝送出力するデータ送信ステップと
を含むことを特徴とする効果音出力制御方法。