JP2014064093A - 信号処理装置およびプログラム - Google Patents

Abstract

【課題】ユーザの状況に応じて通話状態を変更することが可能な信号処理装置およびプログラムを提供する。
【解決手段】第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部と、を備える、信号処理装置。
【選択図】図１

Description

本開示は、信号処理装置およびプログラムに関する。

一般的に、携帯電話、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、固定電話等で通話する際、受話音量を手動で調整することが可能であるが、受話音量の設定は、全ての通話に共通して一設定しかできなかった。よって、ユーザは、通話開始直後に、通話相手に合わせて受話音量の設定を変更する必要があった。

ここで、下記特許文献１では、通話相手の電話番号と受話音量を対応付けて、通話相手に応じた受話音量のレベルを自動的に設定し、スムーズに会話を開始する技術が開示されている。

また、下記特許文献２では、操作音量設定値を予め複数段階設定し、これを電話番号と紐付けた送話音量フラグを利用して、通話中の送話音量変更を可能とする技術が開示されている。

特開２０１０−１３５９７８号公報 特開２０１０−１４１８０６号公報

しかしながら、上述したいずれの特許文献も、電話番号に予め対応付けられた受話／送話音量レベルに基づいて設定するものであって、予め受話／送話音量レベルが対応付けられていない場合は音量変更できなかった。

また、予め対応付けられる受話／送話音量レベルは、１つの電話番号に対して一設定であるので、ユーザの通話時の状況や、ユーザと相手ユーザ（通話相手）との関係に応じて受話／送話音量レベルを変更することは困難であった。

そこで、本開示では、ユーザの状況に応じて通話状態を変更することが可能な、新規かつ改良された照明装置およびプログラムを提案する。

本開示によれば、第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部と、を備える、信号処理装置を提案する。

本開示によれば、コンピュータを、第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、ユーザの状況に応じて通話状態を変更することが可能となる。

本開示の一実施形態による信号処理システムの概要を説明するための図である。 第１の実施形態による携帯電話端末の構成を説明するためのブロック図である。 第１の実施形態による携帯電話端末の第１の動作処理を示すフローチャートである。 第１の実施形態による携帯電話端末の第２の動作処理を示すフローチャートである。 携帯電話端末の他の使用例を示す図である。 本実施形態による記憶部に記憶される関係情報デーブルの一例を示す図である。 本実施形態による携帯電話端末の第３の動作処理を示すフローチャートである。 パーソナルスペースとユーザＢの音像定位位置について説明するための図である。 第２の実施形態による信号処理システムの概要について説明するための図である。 第２の実施形態による信号処理装置の構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による信号処理システムの概要
２．各実施形態
２−１．第１の実施形態
２−２．第２の実施形態
３．まとめ

＜１．本開示の一実施形態による信号処理システムの概要＞
まず、本開示の一実施形態による信号処理システムの概要について、図１を参照して説明する。

図１は、本開示の一実施形態による信号処理システムの概要を説明するための図である。図１に示すように、本実施形態では、ユーザＡ、ユーザＢが、信号処理装置の一例である携帯電話端末２Ａ、２Ｂにより通話している際の通話状態を、各ユーザの状態や、各ユーザの関係に応じて変更する。携帯電話端末２Ａ、２Ｂは、図１に示すように、マイクロフォン（以下、マイクとも称す）２３Ａ、２３Ｂ、スピーカ２４Ａ、２４Ｂ、表示部２１Ａ、２１Ｂ、および操作入力部２２Ａ、２２Ｂを有する。

ここで、上述したように、通常の携帯電話端末やスマートフォン、固定電話等では、受話音量の制御はユーザ自身が手動で行うが、全ての通話に共通して一設定しかできないので、通話の度に通話相手に合わせて受話音量の設定を変更する必要があった。

また、上述した特許文献１、２には、電話番号に予め対応付けられた受話／送話音量レベルに基づいて自動設定する通話端末装置が開示されているが、予め受話／送話音量レベルが対応付けられていない場合は音量変更できなかった。また、ユーザの通話時の状況や、ユーザと相手ユーザ（通話相手）との関係に応じて受話／送話音量レベルを変更することは困難であった。

そこで、上記事情を一着眼点にして本開示の各実施形態による信号処理システム（信号処理装置）を創作するに至った。本開示の各実施形態による信号処理システムは、ユーザの状況に応じて通話状態を自動的に変更することができる。

例えば、ユーザＢが、耳が遠い人であったり、通信状態が悪かったりした場合、ユーザＡの声が聞き取りにくいために、自分の声が大きくなってしまう現象が起こる。このような場合、ユーザＡは、ユーザＢの音声（受話音声）が大きすぎて不快に感じることがある。

よって、例えば携帯電話端末２Ａは、例えば耳が遠い人であるといったユーザＢの状態を認識し、携帯電話端末２Ｂのマイク２３Ｂから集音されて送信されたユーザＢの音声（受話音声）の音量を下げてスピーカ２４Ａから出力する。また、携帯電話端末２Ａは、マイク２３Ａにより集音したユーザＡの音声（送話音声）の音量を上げて携帯電話端末２Ｂに送信してもよい。

以上、本開示の一実施形態における信号処理システムの概要について説明した。続いて、本実施形態による信号処理システムについて、複数の実施形態を挙げて詳細に説明する。なお、図１に示す例では、本開示による信号処理装置の一例として携帯電話端末を挙げたが、本開示による信号処理装置はこれに限定されず、例えばスマートフォン、タブレット端末、ＰＨＳ、または固定電話であってもよい。また、本開示による信号処理装置は、インターネット電話サービスを提供する情報処理装置であってもよい。

＜２．各実施形態＞
［２−１．第１の実施形態］
第１の実施形態による信号処理システムは、図１に示す携帯電話端末２において、ユーザＡの状態、ユーザＢの状態、またはユーザＡとユーザＢの関係を認識し、認識結果に基づいて通話状態を自動的に変更する。以下、第１の実施形態による携帯電話端末２の構成について図２を参照して具体的に説明する。

（２−１−１．構成）
図２は、本実施形態による携帯電話端末の構成を説明するためのブロック図である。図２に示すように、本実施形態による携帯電話端末２は、制御部２０、表示部２１、操作入力部２２、マイクロフォン２３（以下、マイク２３と称す）、スピーカ２４、アンプ・ＡＤＣ（アナログ−デジタルコンバータ）部２５、ＤＡＣ（デジタル−アナログコンバータ）・アンプ部２６、信号処理部２７、カメラモジュール２８、記憶部２９、および通信Ｉ／Ｆ（インタフェース）３０を有する。

（表示部）
表示部２１は、制御部２０の制御に従って、メニュー画面や各種操作画面等を表示する。また、表示部２１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などにより実現される。

（操作入力部）
操作入力部２２は、ユーザによる操作入力を検出する。具体的には、操作入力部２２は、図１に示すような携帯電話端末２に物理的に設けられた各種のボタンにより実現されてもよいし、表示部２１に表示される画面に対するユーザのタッチ位置を検知するタッチパネルにより実現されてもよい。

（マイク）
マイク２３は、ユーザの音声を集音し、ユーザの音声に対応する音声情報（オーディオ信号）をアンプ・ＡＤＣ部２５に出力する。

（アンプ・ＡＤＣ部）
アンプ・ＡＤＣ部２５は、マイク２３から出力された音声情報を増幅するアンプと、アンプにより増幅された音声情報を、アナログ電気信号からデジタル電気信号に変換するＡＤＣを有する。また、アンプ・ＡＤＣ部２５は、デジタル電気信号に変換した音声情報を信号処理部２７に出力する。

（ＤＡＣ・アンプ部）
ＤＡＣ・アンプ部２６は、信号処理部２７から出力された通話相手の音声情報を、デジタル電気信号からアナログ電気信号に変換するＡＤＣと、アナログ電気信号に変換された音声情報を増幅するアンプを有する。また、ＤＡＣ・アンプ部２６は、アナログ電気信号に変換し、増幅した音声情報をスピーカ２４に出力する。

（スピーカ）
スピーカ２４は、ＤＡＣ・アンプ部２６から出力された音声情報を出力（再生）する機能を有する。

（信号処理部）
信号処理部２７は、制御部２０による制御にしたがって、マイク２３で集音されアンプ・ＡＤＣ部２５から出力された音声情報（送話音声）、または通信Ｉ／Ｆ３０により受信した音声情報（受話音声）に対して、所定の信号処理（通話状態の変更）を行う機能を有する。より具体的には、本実施形態による信号処理部２７は、図２に示すように、送話／受話音量処理部２７１、ノイズ除去処理部２７３、およびオーディオ信号処理部２７５として機能する。

・送話／受話音量処理部
送話／受話音量処理部２７１は、音声情報（送話音声／受話音声）の音量を変更する機能を有する。

・ノイズ除去処理部
ノイズ除去処理部２７３は、音声情報のうち背景雑音等のノイズを除去して、Ｓ／Ｎ（シグナル／ノイズ）比を向上させる機能を有する。具体的には、例えばノイズ除去処理部２７３は、低域通過フィルタ（ＬＰＦ）、帯域除去フィルタ（ＢＥＦ）、帯域通過フィルタ（ＢＰＦ）、または高域通過フィルタ（ＨＰＦ）等のフィルタ回路により実現される。

・オーディオ信号処理部
オーディオ信号処理部２７５は、音声情報（オーディオ信号）に対して、符号化処理、復号化処理、加工処理、または音像定位を実現するための信号処理（音像定位処理）等を行う。例えば、オーディオ信号処理部２７５は、マイク２３により集音したユーザＡの音声に対応する音声情報（送話音声）を符号化した上で、通信Ｉ／Ｆ３０に出力する。また、オーディオ信号処理部２７５は、通信Ｉ／Ｆ３０により受信したユーザＢの音声に対応する音声情報（受話音声）を復号化した上で、ＤＡＣ・アンプ部２６に出力する。

また、加工処理の具体例としては、音声情報の一部を強調する加工や、音声情報を変声させる加工が挙げられる。例えば、オーディオ信号処理部２７５は、マイク２３により集音した音声情報を周波数に変換した上で、ユーザＡの特徴を示す周波数成分を抽出し、抽出した周波数成分の電力値を高めることで、ユーザＡの音声を強調させる。

（カメラモジュール）
カメラモジュール２８は、撮像素子、撮像レンズを含む撮像光学系、および撮像画像信号処理部を含み、デジタル信号とされた撮像画像のデータを出力する。なお、撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。

また、カメラモジュール２８は、携帯電話端末２の表示部２１が設けられている面と反対側の面（外側）に設けられてもよいし、表示部２１が設けられている面と同じ面（内側）にインカメラとして設けられてもよい。

（記憶部）
記憶部２９は、氏名と電話番号が対応付けられたアドレスデータや、制御部２０による各種制御を実行するためのプログラム等を記憶する。

（通信Ｉ／Ｆ）
通信Ｉ／Ｆ３０は、外部装置とデータを送受信する機能を有する。具体的には、本実施形態による通信Ｉ／Ｆ３０は、信号処理部２７から出力された符号化済みの音声情報（送話音声）を、通話相手の通信端末に送信する。また、通信Ｉ／Ｆ３０は、通話相手の通信端末から通話相手の音声情報（受話音声）を受信し、信号処理部２７に出力する。

（制御部）
制御部２０は、携帯電話端末２の各構成を制御する機能を有する。具体的には、本実施形態による制御部２０は、図２に示すように、認識部２０１および信号処理制御部２０３として機能する。

・認識部
認識部２０１は、ユーザＡの状態、通話相手であるユーザＢの状態、またはユーザＡとユーザＢとの関係を認識する。具体的には、本実施形態による認識部２０１は、例えばカメラモジュール２８から出力されるユーザＡの顔を撮影した撮影画像や、マイク２３により集音されるユーザＡの音声情報に基づいて、ユーザＡの状態（良好、不調、耳が悪い、聞こえ難い状態、年齢等）を認識する。また、認識部２０１は、例えば通信Ｉ／Ｆ３０により受信したユーザＢの音声情報やユーザＢの顔を撮影した撮影画像に基づいて、ユーザＢの状態（耳が悪い、聞こえ難い状態、年齢等）を認識する。さらに、認識部２０１は、ユーザＡにより入力されたユーザＢに対する関係情報に基づいて、ユーザＡとユーザＢとの関係（友達、特別（夫婦、恋人）、会社、良好／不調、好意／悪意等）を認識する。

・信号処理制御部
信号処理制御部２０３は、信号処理部２７により音声情報に対して所定の信号処理を行うよう制御する。また、信号処理制御部２０３は、認識部２０１による認識結果に応じて、音声情報に対して所定の信号処理を行うよう信号処理部２７を制御してもよい。なお、認識結果に応じた所定の信号処理については、続く本実施形態の動作処理において詳細に説明する。

以上、本実施形態による携帯電話端末２の具体的な構成について詳細に説明した。続いて、本実施形態による携帯電話端末２の動作処理について説明する。本実施形態による携帯電話端末２は、上述したように、ユーザの状況（ユーザＡの状態、ユーザＢの状態、またはユーザＡとユーザＢとの関係）に応じて通話状態を自動的に変更することができる。以下、このような携帯電話端末２によるユーザの状況に応じた通話状態の変更処理に関し、第１〜第３の動作処理を用いて具体的に説明する。

（２−１−２．第１の動作処理）
第１の動作処理によれば、携帯電話端末２は、通話相手であるユーザＢが、耳が遠い状態（難聴、聴力が低い状態）であるか否かを認識し、認識結果に応じて通話状態を変更することができる。

一般的に、耳が遠い人は、相手の声が聞き取りにくいために、自分の声が大きくなってしまう現象が起こる。よって、携帯電話端末２は、例えば通話相手であるユーザＢの音声の大きさ（受話音量の大きさ）に基づいて、通話相手が耳が遠い状態であるか否かを認識することができる。以下、図３を参照して具体的に説明する。

図３は、本実施形態による携帯電話端末２の第１の動作処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０３において、携帯電話端末２は、ユーザＢの携帯電話端末と通話を開始する。具体的には、携帯電話端末２の制御部２０は、マイク２３で集音したユーザＡの音声情報を符号化してユーザＢの携帯電話端末に送信し、また、ユーザＢの携帯電話端末から受信した音声情報を復号化して、スピーカ２４から出力するよう制御する。

次いで、ステップＳ１０６において、制御部２０の認識部２０１は、受信したユーザＢの音声情報（受話音声）の音量が所定値より大きいか否かを判断する。受話音声が所定値を下回る場合、認識部２０１は、ユーザＢは耳が遠い状態ではないと認識する。一方、受話音声が所定値を上回る場合、認識部２０１は、ユーザＢは耳が遠い状態であると認識する。

次に、受話音声が所定値を下回る場合、すなわち認識部２０１により、ユーザＢは耳が遠い状態ではないと認識された場合（Ｓ１０６／ＮＯ）、ステップＳ１０９において、制御部２０は、特に受話／送話音声の音量は変更しない。

次いで、受話音声が所定値を上回る場合、すなわち認識部２０１により、ユーザＢは耳が遠い状態であると認識された場合（Ｓ１０６／ＹＥＳ）、ステップＳ１１２において、制御部２０は、送話音量を自動変更するか否かを判断する。例えば、制御部２０は、送話音量の自動変更がＯＮ（またはＯＫ）に設定されている場合、送話音量の自動変更を行うと判断する。また、送話音量の自動変更がＯＦＦ（またはＮＯ）に設定されている場合、制御部２０は、送話音量の自動変更は行わないと判断する。

次に、送話音量の自動変更を行うと判断された場合（Ｓ１１２／ＹＥＳ）、ステップＳ１１５において、信号処理制御部２０３は、送話音量を上げて、受話音量を下げるよう、信号処理部２７を制御する。これに応じて、信号処理部２７の送話／受話音量処理部２７１は、ユーザＢに送信するユーザＡの音声（送話音声）の音量を上げるよう信号処理し、また、受信したユーザＢの音声（受話音声）の音量を下げるよう信号処理する。

これにより、ユーザＡ側の携帯電話端末２は、耳が悪いために大きくなってしまったユーザＢの音声（受話音声）の音量を小さくして再生することができ、また、ユーザＡの音声（送話音声）の音量を大きくして耳が悪いユーザＢに送信することができる。よって、ユーザＡおよびユーザＢの双方にストレスを感じさせないよう、互いのニーズに合った通話状態に変更（改善）することができる。

一方、送話音量の自動変更は行わないと判断された場合（Ｓ１１２／ＮＯ）、ステップＳ１１８において、信号処理制御部２０３は、送話音量については特に信号処理せず、受話音量を下げるよう信号処理する。これにより、ユーザＡ側の携帯電話端末２は、耳が悪いために大きくなってしまったユーザＢの音声（受話音声）の音量を小さくして再生することができ、少なくともユーザＡにストレスを感じさせないようユーザＡのニーズに合った通話状態に変更（改善）することができる。

以上、第１の動作処理について詳細に説明した。これによれば、本実施形態による携帯電話端末２は、通話相手であるユーザＢが、耳が遠い状態であるか否かを認識することができる。そして、携帯電話端末２は、ユーザＢが耳が遠い状態である場合、集音したユーザＡの音声情報の音量を上げてユーザＢに送信し、また、受信したユーザＢの音声情報の音量を下げて再生することで、通話状態を改善することができる。

なお、図３に示すフローチャートでは、認識部２０１は、ユーザＢの耳が遠い状態であるか否かを、ユーザＢの音声情報（受話音声）の音量の大きさに基づいて認識しているが、本開示による認識方法はこれに限定されない。例えば、認識部２０１は、ユーザＢの年齢に基づいて、耳が遠い状態であるか否かを判断してもよい。一般的に、難聴は加齢によって始まり、多くの場合は５０歳〜６０歳頃から始まる。そこで、例えば認識部２０１は、ユーザＢの年齢が５０歳〜６０歳以上の場合、耳が遠い状態であると判断する。また、認識部２０１は、ユーザＢの年齢を、ユーザＢの音声情報を解析することにより判断してもよいし、ユーザＢの顔画像に基づいて判断してもよいし、予め入力されたユーザＢの年齢情報に基づいて判断してもよい。

また、図３に示すフローチャートでは、認識部２０１は、通話相手であるユーザＢが、耳が遠い状態であるか否かを認識しているが、本開示による認識対象は通話相手に限定されず、通話している本人であるユーザＡが認識対象であってもよい。具体的には、例えば認識部２０１は、マイク２３で集音したユーザＡの音声（送話音声）の音量の大きさに基づいて、ユーザＡが、耳が悪い状態（難聴）であるか否かを認識する。そして、ユーザＡが耳が悪い状態であると認識された場合、携帯電話端末２は、集音したユーザＡの音声情報の音量を下げてユーザＢに送信し、また、受信したユーザＢの音声情報の音量を上げて再生することで、通話状態を改善することができる。

（２−１−３．第２の動作処理）
次に、第２の動作処理について説明する。一般的に、耳が悪い人でなくても、通話中に通信状態の悪化や、背景雑音が大きいことにより、音声が聞こえ難い（聴力が低い）状態となる場合がある。そこで、第２の動作処理によれば、携帯電話端末２は、通話相手であるユーザＢが聞こえ難い状態であるか否かを認識し、認識結果に応じて通話状態を変更することができる。以下、図４を参照して具体的に説明する。

図４は、本実施形態による携帯電話端末２の第２の動作処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、携帯電話端末２は、ユーザＢの携帯電話端末と通話を開始する。

次いで、ステップＳ１０７において、制御部２０の認識部２０１は、受信したユーザＢの音声情報（受話音声）に、繰り返し表現等が含まれているか否かを判断する。繰り返し表現等とは、「え？」「もう一度」等の繰り返しを要求する表現や、「聞こえない」「聞こえ難い」「もう少し大きい声で」等の聞こえ難さを示す表現である。認識部２０１は、受信したユーザＢの音声情報（受話音声）を解析し、このような繰り返し表現等が含まれているか否かを判断する。繰り返し表現等が含まれている場合、認識部２０１は、ユーザＢが聞こえ難い状態であると認識することができる。

次に、受話音声に繰り返し表現等が含まれていないと判断された場合、すなわち認識部２０１により、ユーザＢが聞こえ難い状態ではないと認識された場合（Ｓ１０７／ＮＯ）、ステップＳ１１０において、制御部２０は、特に通話状態の変更は行わない。

次いで、受話音声に繰り返し表現等が含まれていると判断された場合、すなわち認識部２０１により、ユーザＢが聞こえ難い状態であると認識された場合（Ｓ１０７／ＹＥＳ）、ステップＳ１１３において、制御部２０は、送話状態を自動変更するか否かを判断する。例えば、制御部２０は、送話状態の自動変更がＯＮ（またはＯＫ）に設定されている場合、送話状態の自動変更を行うと判断する。また、送話状態の自動変更がＯＦＦ（またはＮＯ）に設定されている場合、制御部２０は、送話状態の自動変更は行わないと判断する。

次に、送話状態の自動変更を行うと判断された場合（Ｓ１１３／ＹＥＳ）、ステップＳ１１６において、信号処理制御部２０３は、送話音量を上げる信号処理および／または、送話音声から背景雑音を除去する信号処理を行うよう信号処理部２７を制御する。これに応じて、信号処理部２７の送話／受話音量処理部２７１は、ユーザＢに送信するユーザＡの音声（送話音声）の音量を上げるよう信号処理する。また、信号処理部２７のノイズ除去処理部２７３は、ユーザＢに送信するユーザＡの音声（送話音声）から、背景雑音を除去するよう信号処理する。

これにより、ユーザＢはユーザＡの音声が聞こえやすくなり、また、ユーザＡはユーザＢに何度も聞き返されることが無くなるので、互いのストレスが削減され、通話状態が改善される。

一方、送話状態の自動変更は行わないと判断された場合（Ｓ１１３／ＮＯ）、ステップＳ１１９において、信号処理制御部２０３は、送話音量については特に信号処理しない。

以上、第２の動作処理について詳細に説明した。これによれば、本実施形態による携帯電話端末２は、通話相手であるユーザＢが、聞こえ難い状態であるか否かを認識することができる。そして、携帯電話端末２は、ユーザＢが聞こえ難い状態である場合、集音したユーザＡの音声情報の音量を上げたり、ユーザＡの音声情報から背景雑音を除去したりした上でユーザＢに送信することで、通話状態を改善することができる。

なお、図３に示すフローチャートでは、認識部２０１は、通話相手であるユーザＢが、聞こえ難い状態であるか否かを認識しているが、本開示による認識対象は通話相手に限定されず、通話している本人であるユーザＡが認識対象であってもよい。具体的には、例えば認識部２０１は、マイク２３で集音したユーザＡの音声（送話音声）を解析し、繰り返し表現等が含まれているか否かに基づいて、ユーザＡが、聞こえ難い状態であるか否かを認識する。そして、ユーザＡが聞こえ難い状態であると認識された場合、携帯電話端末２は、受信したユーザＢの音声情報の音量を上げたり、ユーザＢの音声情報から背景雑音を除去したりした上で再生することで、通話状態を改善することができる。

（２−１−４．第３の動作処理）
次に、第３の動作処理について説明する。一般的に、好意的な相手の声は、近くで聞こえても不快ではないが、嫌悪感のある相手の声は、近くで聞こえると不快である。そこで、第３の動作処理によれば、携帯電話端末２は、ユーザＡと、通話相手であるユーザＢとの関係を認識し、認識結果に応じて通話状態を変更することで、快適な通話状態を提供することができる。具体的には、本実施形態による信号処理部２７のオーディオ信号処理部２７５が、ユーザＡとユーザＢとの関係に応じた距離からユーザＢの音声が聞こえるようユーザＢの音声（受話音声）を信号処理し、音像を定位させる。以下、図５〜図８を参照して詳細に説明する。

・音像定位処理
オーディオ信号処理部２７５は、図１に示すような携帯電話端末２の単一のスピーカ２４から音声情報が再生される場合にも、音声情報のうち高域成分を減衰することで、距離感を演出することが可能である。

また、図５に示すように、携帯電話端末２にヘッドホン３２が接続された状態でユーザＡが通話している状況も想定される。ここで、ヘッドホン３２は、例えば図５に示すように、コードの途中にマイク２３’が配置され、コードの終端に複数のスピーカ２４’が設けられている。これにより、ユーザＡの音声はマイク２３’により集音され、また、通話相手（ユーザＢ）の音声（音声情報）は、複数のスピーカ２４’から出力（再生）される。この場合、オーディオ信号処理部２７５は、モノラルの音源に対してＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；頭部伝達関数）を畳み込むことで、音像定位処理を実現することが可能である。なお、ヘッドホン３２は、図５に示すようなインナーイヤー型／カナル型の他、ヘッドバンド型やネックバンド型等であってもよい。

・音像定位位置
また、オーディオ信号処理部２７５は、音像定位位置については、ユーザＡとユーザＢとの関係に応じて決定してもよい。ここで、ユーザＡとユーザＢとの関係は、認識部２０１により認識されるところ、認識部２０１は、図５に示すように、携帯電話端末２に設けられたカメラモジュール２８（インカメラ）によりユーザＡの顔を撮影した撮影画像に基づいて認識してもよい。具体的には、例えばユーザＡが笑顔であれば、認識部２０１は、ユーザＡが通話相手であるユーザＢに対して好意的であると認識する。

また、認識部２０１は、ユーザＡにより入力されたユーザＡとユーザＢとの関係情報に基づいて認識してもよい。ここで、記憶部２９に記憶される関係情報デーブルの一例を図６に示す。図６に示すように、例えばユーザＡとユーザＢとの関係は友達であって、また、ユーザＡとユーザＣとの関係は特別（夫婦、恋人等）であって、また、ユーザＡとユーザＤとの関係は会社関係であるといった情報が、関係情報テーブル２９１として登録されている。

なお、認識部２０１は、ユーザＡにより設定されたアドレスデータのグループ分け（友達グループ、会社グループ、特別グループ等）に基づいて、ユーザＡとユーザＢとの関係を認識してもよい。

このように認識部２０１により認識されたユーザＡとユーザＢとの関係に応じて、信号処理制御部２０３は、ユーザＢの音像が所定の位置に定位されるよう、オーディオ信号処理部２７５を制御する。ユーザＢの音像定位位置は、例えばユーザＡとユーザＢとの関係が良好であるほどユーザＡに近く、ユーザＡとユーザＢとの関係が不調であるほどユーザＡから遠くしてもよい。

さらに、信号処理制御部２０３は、ユーザＡとユーザＢの関係に応じたユーザＡのパーソナルスペースを考慮してユーザＢの音像定位位置を制御してもよい。以下、図７〜図８を参照して具体的に説明する。

・パーソナルスペースを考慮した音像定位位置の制御
図７は、本実施形態による携帯電話端末２の第３の動作処理を示すフローチャートである。図７に示すように、まず、ステップＳ１０３において、携帯電話端末２は、ユーザＢの携帯電話端末と通話を開始する。

次いで、ステップＳ１０８において、制御部２０の認識部２０１は、ユーザＡとユーザＢとの関係を認識する。具体的には、認識部２０１は、上述したように、例えばユーザＡにより予め登録された関係情報テーブル２９１を参照して関係を認識してもよい。

次に、ステップＳ１２０において、信号処理制御部２０３は、ユーザＡとユーザＢの関係に応じたユーザＡのパーソナルスペースを考慮した適切な位置に音像定位されているか否かを判断する。例えば、制御部２０は、デフォルトでは、受信したユーザＢの音声情報に対して音像定位処理をせずにスピーカ２４から再生するよう制御する。そして、制御部２０は、ユーザＢの音像定位位置が、両者の関係に応じたパーソナルスペースを考慮した場合、適切な位置であるか否かを判断する。

ここで、パーソナルスペースとは、他人に近付かれると不快に感じる空間のことで、親密な相手ほど狭く、敵視している相手ほど広い。また、一般的に、パーソナルスペースは、密接距離、固体距離、社会距離、公衆距離といった４つのゾーンに大別される。以下、図８を参照して具体的に説明する。

図８は、パーソナルスペース（エリアＰ１〜Ｐ４）と、ユーザＢの音像４０の定位位置について説明するための図である。図８に示すように、ユーザＡを中心とした密接距離（約０〜４５センチ）のエリアＰ１は、ごく親しい人に許される空間である。また、ユーザＡを中心とした固体距離（約４５〜１２０センチ）のエリアＰ２は、個人的に親しい人と路上での立ち話ができる程度の空間である。また、ユーザＡを中心とした社会距離（約１２０〜３６０センサ）のエリアＰ３は、ビジネス上の間合いで用いられる空間である。また、ユーザＡを中心とした公衆距離（約３６０〜７５０センチ）のエリアＰ４は、複数の相手が見渡せて、一方的なコミュニケーション（講演者と聴衆といった関係）になりやすい空間である。

このように、相手との関係に応じてパーソナルスペースの広さが異なるので、信号処理制御部２０３は、ユーザＡとユーザＢの関係に応じた適切なパーソナルスペースに基づいて音像４０の定位位置を判断することで、より快適な通話状態をユーザＡに提供する。

次いで、ユーザＢの音像定位位置が、適切な位置である場合（Ｓ１２０／ＹＥＳ）、ステップＳ１２３において、制御部２０は、特に通話状態の変更は行わない。

次に、ユーザＢの音像定位位置が、適切な位置でない場合（Ｓ１２０／ＮＯ）、ステップＳ１２６において、信号処理制御部２０３は、ユーザＢの音像定位位置が、ユーザＡのパーソナルスペースに侵入しているか否かを判断する。

例えば、ユーザＡとユーザＢの関係が「会社」であって、ユーザＢの音像定位位置が、ごく親しい人に許される空間であるエリアＰ１に含まれる場合、信号処理制御部２０３は、パーソナルスペースに侵入していると判断する（Ｓ１２６／ＹＥＳ）。この場合、ユーザＡは不快に感じることが想定されるので、続くステップＳ１２９において、信号処理制御部２０３は、ユーザＢの音像定位位置（受話音声の音像定位位置）を、遠距離化するよう（希薄化対応するよう）オーディオ信号処理部２７５を制御する。例えば、信号処理制御部２０３は、ユーザＢの音像４０の定位位置を、エリアＰ３に定位させることで、ユーザＡにとって快適な通話状態を提供することができる。

一方、ユーザＡとユーザＢの関係が図６に示すように「友達」であって、ユーザＢの音像４０の定位位置が、図８に示すようにエリアＰ４に含まれる場合、信号処理制御部２０３は、パーソナルスペースに侵入していないと判断する（Ｓ１２６／ＮＯ）。この場合、続くステップＳ１３２において、信号処理制御部２０３は、ユーザＢの音像定位位置（受話音声の音像定位位置）を、近接化するよう（親密化対応するよう）オーディオ信号処理部２７５を制御する。例えば、信号処理制御部２０３は、ユーザＢの音像４０の定位位置を、図８に示すように、エリアＰ２に定位させることで、ユーザＡにとって快適な通話状態を提供することができる。

以上、第３の動作処理について詳細に説明した。これによれば、本実施形態による携帯電話端末２は、通話相手であるユーザＢの音像定位位置を、ユーザＡとユーザＢとの関係に応じて制御することができる。

なお、ユーザＡとユーザＢとの関係は、ユーザＡおよびユーザＢにとって必ずしも同じとは限らないので、通話相手の音像定位位置の制御は、ユーザＡ側で、ユーザＡが入力した関係情報について行われる。すなわち、例えばユーザＡの携帯電話端末２Ａでは、ユーザＢの音像定位位置がエリアＰ１に含まれるよう制御されている場合でも、ユーザＢの携帯電話端末２Ｂでは、ユーザＡの音像定位位置がＰ２に含まれるよう制御される場合がある。これにより、本実施形態による携帯電話端末２は、互いに嫌悪感を抱かせることなく、通話状態を各ユーザのニーズに応じた状態に改善することができる。また、携帯電話端末２は、記憶部２９に記憶される関係情報テーブル２９１が他人に漏洩しないようセキュリティをかけてもよい。

また、以上説明した第３の動作処理では、ユーザＡとユーザＢとの関係に基づいて、ユーザＢ（通話相手）の音像定位位置を制御しているが、本開示による音像定位位置の制御はこれに限定されない。例えば、信号処理制御部２０３は、ユーザＡの状態（良好／不調、機嫌が良い／悪い）に応じて音像定位位置を制御してもよい。具体的には、ユーザＡの状態が良好（機嫌が良い）場合程、ユーザＡの近くに音像定位し、ユーザＡの状態が不調（機嫌が悪い）場合程、ユーザＡから遠くに音像定位する。なお、このようなユーザＡの状態は、例えば認識部２０１により、カメラモジュール２８でユーザＡの顔をリアルタイムで撮影した撮影画像に基づいて認識してもよいし、時間帯（深夜・早朝は一般的に不快に感じる）に基づいて認識してもよい。

また、上述した第３の動作処理では、ユーザＡとユーザＢとの関係が予めユーザＡにより登録されている場合を例に説明したが、本開示による音像定位位置の制御はこれに限定されない。例えば、認識部２０１は、リアルタイムでユーザＡとユーザＢとの関係を認識してもよい。具体的には、認識部２０１は、例えばカメラモジュール２８でユーザＡの顔をリアルタイムで撮影した撮影画像に基づいてユーザＢとの関係を認識してもよいし、マイク２３で集音したユーザＡの音声情報を解析することによりユーザＢとの関係を認識してもよい。

また、上述した第３の動作処理では、最初は特に音像定位されず、ユーザＢとの関係やユーザＡの状態（気分）に応じて、音像定位位置を制御する場合について説明したが、本開示による音声定位位置の制御はこれに限定されない。例えば、信号処理制御部２０３は、通話相手に応じて予め設定した位置（例えば３段階。パーソナルスペースの概念を考慮してもよい）に音像定位させ、さらにユーザＡの通話時の状態（気分）や通話の内容に応じて、音像定位位置をリアルタイムで制御してもよい。

また、信号処理制御部２０３は、デフォルトは一番遠くに音像を定位させておいて、通話相手との関係や、ユーザＡの状態に応じて、通話開始後、徐々に近づけていくよう制御してもよい。

［２−２．第２の実施形態］
以上説明した第１の実施形態では、信号処理装置の一例として携帯電話端末２を用いたが、本開示による信号処理装置（信号処理システム）は、携帯電話端末２のような通信端末に限定されない。

例えば、本開示による信号処理システムは、屋外や屋内の至る所に、複数のマイク・スピーカ・カメラ等が配置されることにより、ユーザが通信端末を所持していなくても遠隔地に居る相手ユーザと通話ができる新たなコミュニケーションシステムにも適用され得る。以下、本開示がこのような新たなコミュニケーションシステムに適用される場合の第２の実施形態について、図９〜図１０を参照して具体的に説明する。

（２−２−１．システム概要）
図９は、第２の実施形態による信号処理システムの概要について説明するための図である。図９に示すように、本実施形態による信号処理システムでは、例えば屋内の壁、床、天井に複数のマイク２３ａ〜２３Ｎ、スピーカ２４ａ〜２４Ｎ、カメラモジュール（以下、カメラと称す）２８ａ〜２８Ｎが配置されている。なお、本実施形態による信号処理システムでは、図９に示すマイク、スピーカ、カメラの他、さらに人感センサ等の各種センサが配置されていてもよい。

また、複数のマイク２３ａ〜２３Ｎ、スピーカ２４ａ〜２４Ｎ、カメラ２８ａ〜２８Ｎは、信号処理装置３と接続し、信号処理装置３により情報の入出力が行われる。

壁や天井に配置された複数のマイク２３ａ〜２３Ｎは、ユーザＡが発する音声を集音し、集音した音声情報を信号処理装置３に出力する。信号処理装置３は、マイク２３ａ〜２３Ｎから出力されたユーザＡの音声に対して所定の信号処理（例えば、符号化処理）を行った上で、通話相手のユーザＢが居るエリアに配置されているマイク・スピーカと情報の入出力を行う信号処理装置（不図示）に送信する。

そして、ユーザＢが居るエリアの信号処理装置は、信号処理装置３から送信されたユーザＡの音声に対し、所定の信号処理（例えば、復号化処理）を行った上で、ユーザＢが居るエリアに配置された複数のスピーカから再生する。さらに、ユーザＢが居るエリアの信号処理装置は、ユーザＢが居るエリアに配置された複数のマイクにより集音されたユーザＢの音声に対し、所定の信号処理（例えば、符号化処理）を行った上で、ユーザＡが居るエリアの信号処理装置３に送信する。

そして、ユーザＡが居るエリアの信号処理装置３は、受信したユーザＢの音声に対し、所定の信号処理（例えば、復号化処理）を行った上で、ユーザＡが居るエリアに配置された複数のスピーカ２４ａ〜２４Ｎから再生する。

これにより、ユーザＡは、携帯電話端末２のような通信端末を所持していなくても、遠隔地に居る相手ユーザＢと通話ができる。なお、上述したシステムでは、ユーザＢ側もユーザＡが居るエリアと同様に複数のマイク・スピーカが配置されて手ぶらで相手ユーザと通話ができる新たなコミュニケーションシステムが構築されている場合について説明したが、本実施形態はこれに限定されない。例えば、ユーザＢ側の信号処理装置は、第１の実施形態で説明した携帯電話端末２のような通信端末であってもよい。

また、本実施形態による信号処理システムでは、図９に示すように、壁や天井に複数のカメラ２８ａ〜２８Ｎも配置されている。これにより、信号処理装置３は、ユーザＡの位置を把握し、把握したユーザＡの位置情報を、ユーザＢの音像４１を定位する制御を行う際に利用したりする。

以上、本実施形態による信号処理システムの概要について説明した。続いて、図１０を参照して本実施形態による信号処理装置３の構成について具体的に説明する。

（２−２−２．構成）
図１０は、第２の実施形態による信号処理装置３の構成を示すブロック図である。図１０に示すように、本実施形態による信号処理装置３は、制御部２０’、信号処理部２７、記憶部２９、および通信Ｉ／Ｆ（インタフェース）３０を有する。

また、マイク２３ａ〜２３Ｎ、スピーカ２４ａ〜２４Ｎ、アンプ・ＡＤＣ部２５、ＤＡＣ・アンプ部２６、カメラ２８ａ〜２８Ｎは、図１０に示す例では、信号処理装置３と別に構成されているが、信号処理装置３に含まれていてもよい。

また、マイク２３ａ〜２３Ｎ、アンプ・ＡＤＣ部２５、スピーカ２４ａ〜２４Ｎ、ＤＡＣ・アンプ部２６、信号処理部２７、カメラ２８ａ〜２８Ｎ、記憶部２９、および通信Ｉ／Ｆ３０は、図２を参照して説明した第１の実施形態による携帯電話端末２の各構成と同様であるので、ここでの説明は省略する。

（制御部）
制御部２０’は、信号処理装置３の各構成を制御する機能を有する。具体的には、本実施形態による制御部２０’は、図１０に示すように、状態・関係認識部２０２、信号処理制御部２０３’、コマンド認識部２０４、および同定部２０５として機能する。

・状態・関係認識部
状態・関係認識部２０２は、図２を参照して説明した認識部２０１と同様に、ユーザＡの状態、通話相手であるユーザＢの状態、またはユーザＡとユーザＢとの関係を、撮影画像、音声解析、または関係情報テーブル２９１等に基づいて認識する。

・信号処理制御部
信号処理制御部２０３’は、状態・関係認識部２０２による認識結果に応じて、音声情報に対して所定の信号処理を行うよう信号処理部２７を制御する。

・コマンド認識部
コマンド認識部２０４は、複数のマイク２３ａ〜２３Ｎにより収音されたユーザの音声を解析し、コマンドを認識する。例えば、コマンド認識部２０４は、「Ｂさんと話したい」というユーザＡの音声を形態素解析し、発呼要求コマンドを認識する。

・同定部
同定部２０５は、コマンド認識部２０４により認識されたコマンドに応じて、ユーザＡがコンタクトを要求する対象に対応する音声や画像を取得するための接続先を同定（決定）する機能を有する。具体的には、例えば同定部２０５は、通信Ｉ／Ｆ３０から管理サーバ（不図示）に問い合わせを行い、コンタクトを要求する対象（例えばユーザＢ）に対応する接続先（例えばユーザＢが居るエリアの信号処理装置のＩＰアドレス等）を取得する。

以上、第２の実施形態による信号処理装置３について説明した。このような構成により、本実施形態による信号処理装置３も、第１の実施形態で説明したユーザの状況に応じた通話状態の改善を実施することができる。

例えば、信号処理装置３は、状態・関係認識部２０２により通話相手（ユーザＢ）が耳が遠い状態であると認識した際、送話音声（ユーザＡの音声情報）の音量を上げ、また、受話音声（ユーザＢの音声情報）の音量を下げることで、通話状態を改善できる。

また、信号処理装置３は、状態・関係認識部２０２により通話相手（ユーザＢ）が聞こえ難い状態であると認識した際、送話音声（ユーザＡの音声情報）の音量を上げ、また、送話音声から背景雑音を除去ることで、通話状態を改善できる。

また、信号処理装置３は、状態・関係認識部２０２により認識されたユーザＡとユーザＢとの関係に基づいて、適切な距離に通話相手の音像を定位させるよう受話音声を信号処理して、複数のスピーカ２４ａ〜２４Ｎから再生することができる。また、本実施形態では、ユーザＡの周囲に配置されている複数のスピーカ２４ａ〜２４Ｎを利用することで、パーソナルスペースをも考慮した通話相手の音像定位制御を、より正確に行うことができる。なお、マイク、スピーカ、カメラについて、同一の個数(台数)を示す付番Ｎを用いたが、異なる個数(台数)であってもよいのはもちろんである。

＜３．まとめ＞
上述したように、本実施形態による信号処理装置（携帯電話端末２、信号処理装置３）では、ユーザの状況に応じて通話状態を変更することができる。

より具体的には、本実施形態による携帯電話端末２は、ユーザＡとユーザＢが通話している際に、ユーザＡ／ユーザＢの状態、またはユーザＡとユーザＢとの関係に応じて、通話状態を自動的に変更（改善）することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本開示による信号処理装置は、ユーザＡとユーザＢとの関係が不調である場合、通話相手（ユーザＢ）の音声情報を、ユーザＡの好みのキャラクター等の声色に変声する信号処理を行って再生することで、ユーザＡの嫌悪感を低減させることができる。

また、本開示による信号処理装置は、ユーザ操作に応じて通話状態を変更することも可能である。例えば、信号処理制御部２０３、２０３’により自動的に通話状態が変更された場合でも、ユーザの任意で（手動）で、通話状態を元に戻したり、さらに変更することが可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、
前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、
前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部と、
を備える、信号処理装置。
（２）
前記認識部は、前記第１ユーザの状態、または前記第２ユーザの状態を、前記第１ユーザが発した音声に対応する音声情報、または前記第２ユーザが発した音声に対応する音声情報を分析することにより認識する、前記（１）に記載の信号処理装置。
（３）
前記認識部は、前記第１ユーザと前記第２ユーザの関係を、当該第１ユーザにより入力された第２ユーザに対する関係情報に基づいて認識する、前記（１）または（２）に記載の信号処理装置。
（４）
前記認識部は、前記第１ユーザまたは前記第２ユーザの顔を撮影した顔画像に基づいて、撮影されたユーザの状態、または当該ユーザと相手ユーザとの関係を認識する、前記（１）〜（３）のいずれか１項に記載の信号処理装置。
（５）
前記制御部は、前記認識部による認識結果に応じて、音声情報の音量制御、音声情報の背景雑音除去制御、または音像定位位置制御を行うよう前記信号処理部を制御する、前記（１）〜（４）のいずれか１項に記載の信号処理装置。
（６）
前記認識部は、前記第１ユーザまたは前記第２ユーザが発した音声に対応する音声情報を分析し、当該音声情報の音量が所定値を上回る場合、当該音声を発したユーザの聴力が低い状態であると認識する、前記（１）〜（５）のいずれか１項に記載の信号処理装置。
（７）
前記認識部は、前記第１ユーザまたは前記第２ユーザの年齢が所定値を上回る場合、ユーザの聴力が低い状態であると認識する、前記（１）〜（６）のいずれか１項に記載の信号処理装置。
（８）
前記認識部は、前記第１ユーザまたは前記第２ユーザが発した音声に対応する音声情報を分析し、当該音声情報に聞き返しの表現が含まれている場合、当該音声を発したユーザの聴力が低い状態であると認識する、前記（１）〜（７）のいずれか１項に記載の信号処理装置。
（９）
前記制御部は、前記認識部より聴力が低い状態であると認識されたユーザが発した音声に対応する音声情報の音量を所定値より下げ、相手側ユーザが発した音声に対応する音声情報の音量を所定値以上に上げるよう前記信号処理部を制御する、前記（１）〜（８）のいずれか１項に記載の信号処理装置。
（１０）
前記制御部は、前記認識部より聴力が低い状態であると認識されたユーザに伝送される相手側ユーザが発した音声に対応する音声情報の背景雑音を除去するよう前記信号処理部を制御する、前記（１）〜（９）のいずれか１項に記載の信号処理装置。
（１１）
前記制御部は、前記第１ユーザの状態または前記第１ユーザと前記第２ユーザとの関係が良好または親密である程、前記第２ユーザが発した音声の音像定位位置が前記第１ユーザの近くになるよう前記信号処理部を制御する、前記（１）〜（１０）のいずれか１項に記載の信号処理装置。
（１２）
前記制御部は、前記第１ユーザと前記第２ユーザとの関係に応じて予め設定される音像定位位置に、前記第２ユーザが発した音声の音像を定位させるよう前記信号処理部を制御する、前記（１）〜（１１）のいずれか１項に記載の信号処理装置。
（１３）
前記予め設定される音像定位位置は、前記第１ユーザのパーソナルスペースを考慮して設定される、前記（１２）に記載の信号処理装置。
（１４）
前記制御部は、通話開始時には前記第２ユーザが発した音声の音像が所定距離より遠くに定位するよう前記信号処理部を制御し、その後、前記第１ユーザの状態または通話内容が良好である程、前記第２ユーザが発した音声の音像を前記第１ユーザの近くに定位するよう前記信号処理部を制御する、前記（１）〜（１３）のいずれか１項に記載の信号処理装置。
（１５）
前記制御部は、ユーザ指示に応じて、前記信号処理部による音声情報の信号処理を制御する、前記（１）〜（１４）のいずれか１項に記載の信号処理装置。
（１６）
前記信号処理装置は、携帯電話、スマートフォン、タブレット端末、ＰＨＳ、または固定電話である、前記（１）〜（１５）のいずれか１項に記載の信号処理装置。
（１７）
前記制御部は、前記第１ユーザの周辺に配置される複数のマイクロフォンにより集音された前記第１ユーザが発した音声に対応する音声情報を、遠隔に伝送し、また、遠隔から伝送された前記第２ユーザが発した音声に対応する音声情報を、前記第１ユーザの周辺に配置される複数のスピーカから出力するよう制御する、前記（１）〜（１５）のいずれか１項に記載の信号処理装置。
（１８）
コンピュータを、
第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、
前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、
前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部、
として機能させるための、プログラム。

２ 携帯電話端末
２０、２０’ 制御部
２０１ 認識部
２０２ 状態・関係認識部
２０３、２０３’ 信号処理制御部
２０４ コマンド認識部
２０５ 同定部
２１ 表示部
２２ 操作入力部
２３、２３’、２３ａ〜２３Ｎ マイクロフォン（マイク）
２４、２４’、２４ａ〜２４Ｎ スピーカ
２５ アンプ・ＡＤＣ部
２６ ＤＡＣ・アンプ部
２７ 信号処理部
２７１ 送話／受話音量処理部
２７３ ノイズ除去処理部
２７５ オーディオ信号処理部
２８、２８ａ〜２８Ｎ カメラモジュール
２９ 記憶部
３０ 通信Ｉ／Ｆ

Claims (18)

1. 第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、
   前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、
   前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部と、
   を備える、信号処理装置。
2. 前記認識部は、前記第１ユーザの状態、または前記第２ユーザの状態を、前記第１ユーザが発した音声に対応する音声情報、または前記第２ユーザが発した音声に対応する音声情報を分析することにより認識する、請求項１に記載の信号処理装置。
3. 前記認識部は、前記第１ユーザと前記第２ユーザの関係を、当該第１ユーザにより入力された第２ユーザに対する関係情報に基づいて認識する、請求項１に記載の信号処理装置。
4. 前記認識部は、前記第１ユーザまたは前記第２ユーザの顔を撮影した顔画像に基づいて、撮影されたユーザの状態、または当該ユーザと相手ユーザとの関係を認識する、請求項１に記載の信号処理装置。
5. 前記制御部は、前記認識部による認識結果に応じて、音声情報の音量制御、音声情報の背景雑音除去制御、または音像定位位置制御を行うよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
6. 前記認識部は、前記第１ユーザまたは前記第２ユーザが発した音声に対応する音声情報を分析し、当該音声情報の音量が所定値を上回る場合、当該音声を発したユーザの聴力が低い状態であると認識する、請求項１に記載の信号処理装置。
7. 前記認識部は、前記第１ユーザまたは前記第２ユーザの年齢が所定値を上回る場合、ユーザの聴力が低い状態であると認識する、請求項１に記載の信号処理装置。
8. 前記認識部は、前記第１ユーザまたは前記第２ユーザが発した音声に対応する音声情報を分析し、当該音声情報に聞き返しの表現が含まれている場合、当該音声を発したユーザの聴力が低い状態であると認識する、請求項１に記載の信号処理装置。
9. 前記制御部は、前記認識部より聴力が低い状態であると認識されたユーザが発した音声に対応する音声情報の音量を所定値より下げ、相手側ユーザが発した音声に対応する音声情報の音量を所定値以上に上げるよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
10. 前記制御部は、前記認識部より聴力が低い状態であると認識されたユーザに伝送される相手側ユーザが発した音声に対応する音声情報の背景雑音を除去するよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
11. 前記制御部は、前記第１ユーザの状態または前記第１ユーザと前記第２ユーザとの関係が良好または親密である程、前記第２ユーザが発した音声の音像定位位置が前記第１ユーザの近くになるよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
12. 前記制御部は、前記第１ユーザと前記第２ユーザとの関係に応じて予め設定される音像定位位置に、前記第２ユーザが発した音声の音像を定位させるよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
13. 前記予め設定される音像定位位置は、前記第１ユーザのパーソナルスペースを考慮して設定される、請求項１２に記載の信号処理装置。
14. 前記制御部は、通話開始時には前記第２ユーザが発した音声の音像が所定距離より遠くに定位するよう前記信号処理部を制御し、その後、前記第１ユーザの状態または通話内容が良好である程、前記第２ユーザが発した音声の音像を前記第１ユーザの近くに定位するよう前記信号処理部を制御する、請求項１に記載の信号処理装置。
15. 前記制御部は、ユーザ指示に応じて、前記信号処理部による音声情報の信号処理を制御する、請求項１に記載の信号処理装置。
16. 前記信号処理装置は、携帯電話、スマートフォン、タブレット端末、ＰＨＳ、または固定電話である、請求項１に記載の信号処理装置。
17. 前記制御部は、前記第１ユーザの周辺に配置される複数のマイクロフォンにより集音された前記第１ユーザが発した音声に対応する音声情報を、遠隔に伝送し、また、遠隔から伝送された前記第２ユーザが発した音声に対応する音声情報を、前記第１ユーザの周辺に配置される複数のスピーカから出力するよう制御する、請求項１に記載の信号処理装置。
18. コンピュータを、
    第１ユーザの状態、第２ユーザの状態、および第１ユーザと第２ユーザの関係のうち、少なくとも１つを認識する認識部と、
    前記第１ユーザが発した音声に対応する音声情報、または遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報に対して信号処理を行う信号処理部と、
    前記認識部による認識結果に応じて、前記第１ユーザが発した音声に対応する音声情報、および遠隔より伝送された前記第２ユーザが発した音声に対応する音声情報のうち、少なくともいずれか一方に対して信号処理を行うよう前記信号処理部を制御する制御部、
    として機能させるための、プログラム。
    
    

Images