JP2012065279A - 端末装置および音声処理プログラム - Google Patents

端末装置および音声処理プログラム Download PDF

Info

Publication number
JP2012065279A
JP2012065279A JP2010209936A JP2010209936A JP2012065279A JP 2012065279 A JP2012065279 A JP 2012065279A JP 2010209936 A JP2010209936 A JP 2010209936A JP 2010209936 A JP2010209936 A JP 2010209936A JP 2012065279 A JP2012065279 A JP 2012065279A
Authority
JP
Japan
Prior art keywords
unit
terminal device
sound
call
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010209936A
Other languages
English (en)
Other versions
JP5589708B2 (ja
Inventor
Yoshiteru Tsuchinaga
義照 土永
Kaori Endo
香緒里 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010209936A priority Critical patent/JP5589708B2/ja
Priority to US13/192,092 priority patent/US20120072206A1/en
Publication of JP2012065279A publication Critical patent/JP2012065279A/ja
Application granted granted Critical
Publication of JP5589708B2 publication Critical patent/JP5589708B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0072—Transmission between mobile stations, e.g. anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることを課題とする。
【解決手段】端末装置２００は、片方の耳での通話状態を検出すると、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。そして、端末装置２００は、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。
【選択図】図１

Description

この発明は、端末装置および音声処理プログラムに関する。
従来、例えば、携帯電話やスマートフォンなどの端末装置を用いた通話を行う場合に、通話の相手の方向を求め、この方向に応じて通話音声を加工することにより、通話の相手の方向をユーザに知らせる従来技術がある。以下、図１６および図１７を参照しつつ従来技術を説明する。図１６および図１７は、従来技術の説明に用いる図である。例えば、図１６に示すＵ１およびＵ２は通話を行っている当事者を示すものとする。
この従来技術は、まず、Ｕ２が使用している端末装置の位置情報を取得し、Ｕ１が使用している端末装置とＵ２が使用している端末装置との位置関係を求める。なお、位置情報は、例えば、ＧＰＳ（Global Positioning System）などを用いて取得される。
続いて、この従来技術は、図１６に示すように、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向と北方向とがなす角度θ１を求める。続いて、この従来技術は、図１６に示すように、Ｕ１の正面方向であるＦＤとＵ１が使用する端末装置の端末方向とが一致していることを前提として、Ｕ１が使用する端末装置の端末方向と北方向とがなす角度θ２を求める。端末方向は、例えば、端末装置の長手方向に相当する。角度θ２は、端末装置に搭載された電子コンパスなどにより求められる。
続いて、この従来技術は、図１６に示すように、角度θ１および角度θ２に基づいて、Ｕ１の使用する端末装置の端末方向に対する、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向の相対角度θを求める。続いて、この従来技術は、相対角度θに応じて出力音声を生成する。例えば、この従来技術は、図１７に示すように、相対角度θに応じて、左耳用の音声および右耳用の音声にそれぞれ生成し、左耳用の音声および右耳用の音声を左右別系統で出力する。例えば、端末装置に搭載されたスピーカ、あるいは端末装置に接続されたヘッドホンやイヤホンなどを介して左右別系統で出力する。このように、この従来技術は、出力する左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することで、通話の相手の端末装置の方向から音声が聞こえてくるようにユーザに知覚させる。
特開２００８−１８４６２１号公報 特開２００５−３４１０９２号公報
上述した従来技術は、図１７にも示すように、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現し、通話の相手の方向をユーザに知覚させる。このため、片方の耳を用いて通話する場合には、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現するという方法が利用できないので、通話の相手の方向をユーザに知覚させることができないという問題がある。
また、上述した従来技術では、ユーザの正面方向と端末方向とが一致しているという前提で上述した相対角度θを求め、この相対角度θに応じて出力音声を生成する。このため、ユーザの正面方向と端末方向とが一致していない状況では、通話の相手の方向をユーザに対して的確に知覚させることができない。なお、片方の耳を用いて通話する場合には、ユーザの正面方向と端末方向とが一致しない場合がほとんどである。このため、ユーザの正面方向と端末方向とが一致していない状況下で、上述した相対角度θを精度よく導出することができなければ、片方の耳を用いて通話するユーザに対して通話の相手の方向を的確に知覚させることができない。
そこで、本発明は、１側面において、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることが可能な端末装置および音声処理プログラムを提供することを目的とする。
本願の開示する端末装置は、１つの態様において、他端末位置取得部と、自端末位置取得部と、第１方向取得部と、第２方向取得部と、傾斜方向取得部と、補正部と、決定部とを有する。他端末位置取得部は相手装置の位置を示す位置情報を取得する。自端末位置取得部は自端末装置の位置を示す位置情報を取得する。第１方向取得部は前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する。第２方向取得部は自端末装置が向く方向である第２の方向を取得する。傾斜方向取得部は自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する。補正部は前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える。決定部は前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する。
本発明の１つの態様によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。 図２は、実施例１に係る方向取得部の説明に用いる図である。 図３は、実施例１に係る算出部の説明に用いる図である。 図４Ａは、実施例１に係る判定部の説明に用いる図である。 図４Ｂは、実施例１に係る判定部の説明に用いる図である。 図５Ａは、実施例１に係る補正部の説明に用いる図である。 図５Ｂは、実施例１に係る補正部の説明に用いる図である。 図６は、実施例１に係る補正部の説明に用いる図である。 図７は、実施例１に係る生成部の説明に用いる図である。 図８は、実施例１に係る生成部の説明に用いる図である。 図９は、実施例１に係るミキシング部の説明に用いる図である。 図１０は、実施例１に係る生成部の説明に用いる図である。 図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。 図１２は、実施例１に係る通話状態検出処理の流れを示す図である。 図１３は、実施例１に係る持ち方判定処理の流れを示す図である。 図１４は、実施例１に係る方角補正処理の流れを示す図である。 図１５は、端末装置のハードウェア構成の一例を示す図である。 図１６は、従来技術の説明に用いる図である。 図１７は、従来技術の説明に用いる図である。
以下に、図面を参照しつつ、本願の開示する端末装置および音声処理プログラムの一実施形態について詳細に説明する。なお、本願の開示する端末装置および音声処理プログラムの一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。
［端末装置の構成（実施例１）］
図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。図１には、端末装置１００は通話の相手が使用する装置であり、端末装置２００は自分が使用する装置である例を図示する。端末装置１００および端末装置２００は、例えば、携帯電話やスマートフォン、ＰＨＳ（Personal Handy-phone System）など通話可能で、位置情報を取得可能な携帯端末である。なお、図１に示す端末装置１００および端末装置２００は同一の構成を有する装置であるが、以下の実施例１では、端末装置１００から送信された音声を端末装置２００が受信する場合の一実施形態の説明に必要な処理機能部のみを図示する。
図１に示すように、端末装置１００は、マイク１０１と、符号化部１１０と、位置取得部１２０と、位置送信部１３０とを有する。マイク１０１は、端末装置１００のユーザの発話音声を入力する。符号化部１１０は、マイク１０１が入力するユーザの発話音声を符号化する。なお、符号化部１１０により符号化された音声は、端末装置２００に送信される。
位置取得部１２０は、端末装置１００の位置情報を取得する。例えば、位置情報取得部１２０は、例えば、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置１００の位置を求める。以下では、端末装置の位置を、例えば、「ｓｅｎｄｅｒ＿ｐｏｓ（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）」と表記する。なお、既存技術を利用することにより、緯度および経度から平面直角座標上における端末装置１００の位置を求めることができる。この既存技術の一例としては、例えば、「TOTAL INVERSE SOLUTIONS FOR THE GEODESIC AND GREAT ELLIPTIC」 B.R.Bowring Survey Review33，261（July，1996）461-476，ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/（2010年9月1日検索）」がある。また、この既存技術の他の一例としては、ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/bl2xy/bl2xy.htm（2010年9月1日検索）」もある。位置送信部１３０は、位置取得部１２０により取得された端末装置１００の位置情報を端末装置２００に送信する。
図１に示すように、端末装置２００は、マイク２０１と、スピーカ２０２と、符号化部２１０と、位置取得部２２０と、位置送信部２３０と、位置受信部２４０と、方向取得部２５０と、算出部２６０と、復号化部２７０とを有する。さらに、端末装置２００は、検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅと、加工部２９０とを有する。
図１に示すマイク２０１、符号化部２１０、位置取得部２２０および位置送信部２３０は、上述した端末装置１００のマイク１０１、符号化部１１０、位置取得部１２０および位置送信部１３０とそれぞれ同様の処理を行う。例えば、位置取得部２２０は、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置２００の位置を求める。位置情報取得部２２０は自端末位置取得部の一例である。以下では、端末装置の位置を、例えば、「ｒｅｃｅｉｖｅｒ＿ｐｏｓ（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）」と表記する。位置送信部２３０は、位置取得部２２０により取得された端末装置２００の位置情報を端末装置１００に送信する。なお、マイク２０１、符号化部２１０の説明は省略する。
図１に示す位置受信部２４０は、端末装置１００から送信された位置情報を受信する。位置受信部２４０は他端末位置取得部の一例である。
図１に示す方向取得部２５０は、電子コンパスを用いて、端末装置２００の端末方向の情報を取得する。図２を参照しつつ、方向取得部２５０について説明する。図２は、実施例１に係る方向取得部の説明に用いる図である。
図２に示すように、方向取得部２５０は、電子コンパスを用いて、端末装置２００の中心縦軸２Ａの方向に対応する端末方向Ｄ３と、北方向（０°）とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を取得する。
図１に示す算出部２６０は、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を求める。以下では、算出部２６０により算出される相対角度を、例えば「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」と表記する。図３を参照しつつ、算出部２６０について説明する。図３は、実施例１に係る算出部の説明に用いる図である。図３に記載のＵ１は端末装置２００を使用しているユーザを示し、図３に記載のＵ２は端末装置１００を使用しているユーザを示す。また、図３に記載のＤ１は、端末装置２００から端末装置１００へ向かう方向を示す。また、図３に記載のＤ２は端末装置２００を使用するユーザ方向、つまりユーザの正面の方向を示す。また、図３に記載のＤ３は端末装置２００の端末方向を示す。なお、図３に記載のＤ３は、図２に記載のＤ３に対応する。
まず、算出部２６０は、位置取得部２２０から端末装置２００の位置情報（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）を取得し、位置受信部２４０から端末装置１００の位置情報（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）を取得する。続いて、算出部２６０は、図３に示すように、端末装置２００および端末装置１００の位置情報に基づいて、端末装置２００から端末装置１００へ向かう方向Ｄ１を求める。そして、算出部２６０は、図３に示すように、方向Ｄ１と北方向（０°）とがなす角度「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求める。例えば、算出部２６０は、以下の式（１）により、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求めることができる。
Figure 2012065279
続いて、算出部２６０は、端末方向Ｄ３と北方向とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を方向取得部２５０から取得する。そして、算出部２６０は、図３に示すように、「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」と、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」とに基づいて、上述した相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を求める。例えば、算出部２６０は、以下の式（２）により、相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を求めることができる。なお、算出部２６０は第１方向取得部、第２方向取得部の一例である。
Figure 2012065279
図１に示す復号化部２７０は、符号化された音声を端末装置１００から受信し、受信した音声を復号する。
図１に示す検出部２８０Ａは、ユーザの通話状態を検出する。例えば、検出部２８０Ａは、音声出力パスのチャネル数、つまり音声の出力信号の数を監視し、チャネル数が１ｃｈである場合には、片方の耳を用いた通話状態にあると判定する。検出部２８０Ａは、片方の耳を用いた通話状態にあると判定した場合、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）。
また、検出部２８０Ａは、チャネル数が２ｃｈである場合には、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定した場合、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２）。なお、検出部２８０Ａは通話状態判定部の一例である。
なお、検出部２８０Ａは、例えば、音声の出力信号数や、モノラルやステレオなどの音声の出力状態を示す情報が記憶されているレジスタを参照して、通話を開始するユーザが片方の耳を用いた通話状態にあるか否かを判定するようにもできる。
図１に示す判定部２８０Ｂは、ユーザの通話状態が片方の耳を用いた通話状態にある場合には、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。図４Ａおよび図４Ｂを参照しつつ、判定部２８０Ｂについて説明する。図４Ａおよび図４Ｂは、実施例１に係る判定部の説明に用いる図である。図４Ａおよび図４Ｂに記載のＵ１は端末装置２００のユーザを示し、図３に記載のＵ１と対応する。図４Ａに記載のａｃｃｅ１は端末装置２００のＸ軸方向の負の加速度を示す。図４Ｂに記載のａｃｃｅ２は端末装置２００のＸ軸方向の正の加速度を示す。
例えば、判定部２８０Ｂは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、判定部２８０Ｂは、加速度センサーから端末装置２００の加速度を取得する。
続いて、判定部２８０Ｂは、取得した加速度に基づいて、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。例えば、図４Ａに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ１が負の値である場合には、右耳を用いて通話を行っていると判定する。判定部２８０Ｂは、右耳を用いて通話を行っていると判定した場合、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０）。
一方、図４Ｂに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ２が正の値である場合には、左耳を用いて通話を行っていると判定する。判定部２８０Ｂは、左耳を用いて通話を行っていると判定した場合、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１）。判定部２８０Ｂは傾斜方向取得部の一例である。
図１に示す補正部２８０Ｃは、右耳通話時および左耳通話時のそれぞれについて予め設定された補正値を用いて、算出部２６０により算出された相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を補正した補正相対角度を求める。以下では、補正部２８０Ｃにより補正された補正相対角度を「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」と表記する。図５Ａ、図５Ｂおよび図６を参照しつつ、補正部２８０Ｃについて説明する。
図５Ａ、図５Ｂおよび図６は、実施例１に係る補正部の説明に用いる図である。図５Ａは、端末装置２００を用いてユーザが通話している状態を左側面から見た様子を示す。また、図５Ｂは、端末装置２００を用いてユーザが通話している状態を上方から見た様子を示す。また、図５Ａおよび図５Ｂに記載のＤ２はユーザ方向を示し、図３に記載のＤ２に対応する。また、図５Ａおよび図５Ｂに記載のＤ３は端末装置２００の端末方向を示し、図２および図３に記載のＤ３に対応する。
例えば、補正部２８０Ｃは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得し、取得したフラグの値が、右耳による通話または左耳による通話のどちらを示す値であるか否かを判定する。判定の結果、補正部２８０Ｃは、左耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝１）である場合には、図５Ｂに示すように、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、図６に示すように、補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。このようにして、補正部２８０Ｃは、左耳通話時の補正相対角度を求める。
なお、右耳通話時についても同様にして補正相対角度を求めることができる。例えば、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値が、右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には、図５Ｂに示すように、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。補正部２８０Ｃは補正部の一例である。
図１に示す生成部２８０Ｄは、端末装置１００から受信した音声に重畳する特徴音を、補正部２８０Ｃから取得した補正相対角度に応じて生成する。図７および図８を参照しつつ、生成部２８０Ｄについて説明する。図７および図８は、実施例１に係る生成部の説明に用いる図である。図７に記載のＤ２はユーザ方向を示し、図３、図５Ａおよび図５Ｂに記載のＤ２に対応する。また、図７に記載のＤ１は端末装置１００の方角を示し、図３および図６に記載のＤ１に対応する。図８は、特徴音を生成する時に用いるゲインを示す。
図７に示すように、生成部２８０Ｄは、補正部２８０Ｃから取得した補正相対角度に応じて、ユーザ方向Ｄ２が、端末装置２００から端末装置１００へ向かう方向Ｄ１に近いほど音が大きくなるような特徴音を生成する。例えば、生成部２８０Ｄは、以下の式（３）に基づいて特徴音を生成する。
Figure 2012065279
例えば、図８に示すように、生成部２８０Ｄが特徴音の生成に用いるゲインには、補正相対角度「ａｎｇ６(ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が１８０°、または−１８０°であるときに音量が最も小さく調整されるように最小値の「１」が設定されている。また、図８に示すように、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°であるときに特徴音の音量が最も大きく調整されるように最大値の「２」が設定されている。また、図８に示すように、生成部２８０Ｄは、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°に近づくほど音量が大きく調整されるようにゲインが設定されている。つまり、生成部２８０Ｄは、図８に示すゲインを用いて、端末装置２００のユーザが端末装置１００の方向を向くほど音量の大きい特徴音を生成することとなる。
ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、後述する加工部２９０から入力される音声に、生成部２８０により生成された特徴音を重畳する。図９を用いて、ミキシング部２８０Ｅについて説明する。図９は、実施例１に係るミキシング部の説明に用いる図である。図９に記載のＳｐＯｕｔ（ｎ）は加工部２９０からの入力音声を示し、図９に記載のＳｉｇＯｕｔ（ｎ）はミキシング部２８０Ｅにより音声に特徴音が重畳された出力音声を示す。また、図９に記載のａｒｔＳｉｇ（ｎ）は生成部２８０Ｄにより生成された特徴音を示し、図９に記載のｒｅｃｅｉｖｅｒ＿ｆｌａｇは上述した検出部２８０Ａから入力されるフラグである。また、図９に記載のＳＷは上述した検出部２８０Ａから入力されるフラグに応じて切り替えられるスイッチを示す。
例えば、ミキシング部２８０Ｅは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、ミキシング部２８０Ｅは、スイッチＳＷをオンにする。続いて、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」に、生成部２８０により生成された特徴音「ａｒｔＳｉｇ（ｎ）」を重畳して「ＳｉｇＯｕｔ（ｎ）」を生成する。そして、ミキシング部２８０Ｅは、「ＳｉｇＯｕｔ（ｎ）」を再生し、出力系統が１系統であるモノラル出力でスピーカ２０２から出力する。
また、ミキシング部２８０Ｅは、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、スイッチＳＷをオフにする。この場合、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」を再生し、出力系統が左右別の２系統であるステレオ出力でスピーカ２０２から出力する。なお、生成部２８０Ｄ、ミキシング部２８０Ｅは決定部の一例である。
加工部２９０は、ユーザの通話状態について検出部２８０Ａによりセットされたフラグの内容に応じて、復号化部２７０から復号された音声を加工する。図１０を用いて加工部２９０について説明する。図１０は、実施例１に係る生成部の説明に用いる図である。図１０に記載のＵ１は端末装置２００を使用するユーザを示す。また、図１０に記載の「ＨＲ（θ）」は音源１からユーザＵ１の右耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ＨＬ（θ）」は音源１からユーザＵ１の左耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ｉｎ＿Ｒ」は音源１から右耳に入力される音声を示す。また、図１０に記載の「ｉｎ＿Ｌ」は音源１から左耳に入力される音声を示す。
例えば、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、片方の耳を用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、次にように処理する。すなわち、加工部２９０は、復号化部２７０から復号された音声をそのままミキシング部２８０Ｅに送り出す。
一方、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、次のように処理する。すなわち、加工部２９０は、算出部２６０により算出された相対角度を「θ」に代入し、以下の式（４−１）および（４−２）を用いて、右耳用および左耳用の音声をそれぞれ生成する。なお、式（４−１）および（４−２）は、頭部伝達関数（インパルス応答）と音源Ｓの音声信号との畳み込み演算を示し、例えば、ＦＩＲフィルタ（Finite impulse response）を用いる。
Figure 2012065279
そして、加工部２９０は、上述した式（４）を用いて生成した右耳用および左耳用の音声をミキシング部２８０Ｅに送り出す。なお、上述したように、ヘッドホンやイヤホンなどを用いた通話状態である場合には、ミキシング部２８０Ｅにて音声への特徴音の重畳が行われることはなく、右耳用および左耳用の音声がミキシング部２８０Ｅからそのまま出力されることとなる。
上述した端末装置１００および端末装置２００は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子を有し、各種処理に利用する。また、上述した端末装置１００および端末装置２００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路を有し、ＲＡＭやフラッシュメモリを用いて各種処理を実行する。なお、上述した端末装置１００および端末装置２００は、ＣＰＵやＭＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を有してもよい。
［端末装置による処理（実施例１）］
図１１〜１４を用いて、上述した端末装置２００による処理の流れを説明する。図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。図１２は、実施例１に係る通話状態検出処理の流れを示す図である。図１３は、実施例１に係る持ち方判定処理の流れを示す図である。図１４は、実施例１に係る方角補正処理の流れを示す図である。
まず、図１１を用いて、端末装置２００の全体的な処理の流れを説明する。図１１に示すように、例えば、端末装置２００は、通話ボタンの操作の有無を監視し、通話開始の検出を行う。そして、通話開始が検出されると（ステップＳ１０１，Ｙｅｓ）、位置取得部２２０は、端末装置２００の位置情報を取得する（ステップＳ１０２）。なお、通話開始を検出していない場合に（ステップＳ１０１，Ｎｏ）、端末装置２００は、通話開始を検出するまで、通話ボタンの操作の有無について監視を継続する。
続いて、方向取得部２５０は、端末装置２００の端末方向の情報を取得する（ステップＳ１０３）。続いて、算出部２６０は、相手方角、つまり、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を算出する（ステップＳ１０４）。
続いて、検出部２８０Ａは、通話状態検出処理を実行する（ステップＳ１０５）。続いて、検出部２８０Ａは、ステップＳ１０５の通話状態検出処理の結果、ユーザの通話状態が片方の耳を用いた通話状態にあるか否かを判定する（ステップＳ１０６）。例えば、片方の耳を用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｙｅｓ）、判定部２８０Ｂは、右耳または左耳のどちらの耳を用いて通話を行っているかを判定する持ち方判定処理を実行する（ステップＳ１０７）。
続いて、補正部２８０Ｃは、右耳による通話時および左耳による通話時について予め設定された補正値を用いて、ステップＳ１０４にて算出された相手方角、つまり相対角度を補正する方角補正処理を実行する（ステップＳ１０８）。続いて、生成部２８０Ｄは、端末装置１００から受信した音声にミキシングする特徴音を、ステップＳ１０８により補正された相手方角に応じて生成する（ステップＳ１０９）。
続いて、ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、端末装置１００から受信した音声に、ステップＳ１０９にて生成された特徴音をミキシングする（ステップＳ１１０）。そして、ミキシング部２８０Ｅは、ステップＳ１１０でミキシングした音声を１系統のモノラルで出力し（ステップＳ１１１）、上述したステップＳ１０２の処理に戻る。
ここで、ステップＳ１０６の説明に戻る。片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｎｏ）、加工部２９０は次の処理を実行する。すなわち、加工部２９０は、ステップＳ１０４にて算出された相対角度に基づいて、端末装置１００から受信した音声から右耳用および左耳用の音声をそれぞれ生成する（ステップＳ１１２）。そして、ミキシング部２８０Ｅは、ステップＳ１１２にて生成された右耳用および左耳用の音声を左右別の出力系統であるステレオでそのまま出力し（ステップＳ１１３）、上述したステップＳ１０２の処理に戻る。
なお、端末装置２００を用いた通話が、必ず片方の耳を用いて行なわれることを前提とする場合には、必ずしも上述した図１１に示す流れで処理を実行しなくてもよい。例えば、上述したステップＳ１０１〜ステップＳ１０４、ステップＳ１０７〜ステップＳ１１１の順に処理を実行してもよい。
次に、図１２を用いて、通話状態検出処理の流れを説明する。図１２に示すように、検出部２８０Ａは、音声出力パスのチャネル数を取得し（ステップＳ２０１）、チャネル数が１ｃｈであるか否かを判定する（ステップＳ２０２）。判定の結果、チャネル数が１ｃｈである場合には（ステップＳ２０２，Ｙｅｓ）、検出部２８０Ａは、片方の耳を用いた通話状態にあると判定する。そして、検出部２８０Ａは、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１，ステップＳ２０３）。
ステップＳ２０２の説明に戻り、判定の結果、チャネル数が１ｃｈではない場合には（ステップＳ２０２，Ｎｏ）、検出部２８０Ａは、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。そして、検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２，ステップＳ２０４）。
次に、図１３を用いて、持ち方判定処理の流れを説明する。なお、持ち方判定処理とは、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する処理に該当する。
図１３に示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度を取得する（ステップＳ３０１）。続いて、判定部２８０Ｂは、取得したＸ軸方向の加速度が正の値であるか否かを判定する（ステップＳ３０２）。
判定の結果、Ｘ軸方向の加速度が正の値である場合には（ステップＳ３０２，Ｙｅｓ）、判定部２８０Ｂは、左耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１，ステップＳ３０３）。
ステップＳ３０２の説明に戻り、判定の結果、Ｘ軸方向の加速度が正の値ではない、つまり負の値ある場合には（ステップＳ３０２，Ｎｏ）、判定部２８０Ｂは、右耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０，ステップＳ３０４）。
次に、図１４を用いて、方角補正処理の流れを説明する。なお、方角補正処理とは、右耳通話時および左耳通話時について予め設定された補正値を用いて、算出部２６０により算出された相対角度を補正した補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める処理に該当する。
図１４に示すように、補正部２８０Ｃは、図１２を用いて上述した通話状態検出処理の結果、検出部２８０Ａによりセットされたフラグの値を取得する（ステップＳ４０１）。続いて、補正部２８０Ｃは、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０２）。
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には（ステップＳ４０２，Ｙｅｓ）、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得する。そして、補正部２８０Ｃは、取得したフラグの値が左耳による通話を示す値（ｈｏｌｄ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０３）。判定の結果、左耳での通話であることを示す値である場合には（ステップＳ４０３，Ｙｅｓ）、補正部２８０Ｃは、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。そして、補正部４８０Ｃは、左耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について左耳での通話に応じた補正を行う（ステップＳ４０４）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
ここで、ステップＳ４０３の説明に戻る。判定の結果、左耳での通話であることを示す値ではない、つまり右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には（ステップＳ４０３，Ｎｏ）、補正部２８０Ｃは、次のように処理する。すなわち、補正部２８０Ｃは、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。そして、補正部２８０Ｃは、右耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について右耳での通話に応じた補正を行う（ステップＳ４０５）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
ここで、ステップＳ４０２の説明に戻る。判定の結果、検出部２８０Ａによりセットされたフラグの値が片方の耳を用いた通話状態にあることを示す値ではない場合には（ステップＳ４０２，Ｎｏ）、補正部２８０Ｃは、そのまま方角補正処理を終了する。
［実施例１による効果］
上述してきたように、実施例１に係る端末装置２００は、片方の耳での通話状態を検出すると、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を所定角度分補正する。そして、端末装置２００は、補正した相対角度に応じて出力音声の属性を決定する。このようなことから、実施例１によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
また、実施例１によれば、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。このようなことから、片方の耳での通話であっても、右耳通話時および左耳通話時のそれぞれについて、端末装置２００の端末方向とユーザの正面方向と一致させたときの相対角度を精度よく導出できる。この結果、ユーザに知覚させる通話の相手の方向の精度を向上できる。なお、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する場合に限られない。例えば、端末方向とユーザの正面方向とのなす角度がおおよそ１８０°となる場合を多いことに鑑み、例えば、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を１８０°補正するようにしてもよい。
また、実施例１によれば、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。このようなことから、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することなく、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。なお、端末装置１００からの受信する無言の通話音声に特徴音をミキシングすることにより、通話の相手が無言の状態であっても、通話の相手の方向を知覚させることができる。
なお、上記の実施例１において、例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声に、生成部２８０Ｄにより生成された特徴音をミキシングする場合に、頭部伝達関数を用いた音響加工を行ってもよい。例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声、および生成部２８０Ｄにより生成された特徴音が、異なる位置を仮想的な音源として伝達されるように音響加工した後、重畳して出力する。このようにすれば、相手の音声（出力音声）と特徴音を異なる方向（例えば、上下方向）から再生可能となり、音声と特徴音を聞き分けやすくすることができる。つまり、片耳を用いて通話状態において、相手の音声に特徴音を重畳させる結果、それぞれの音が聞きわけにくくなるのを抑制する。
以下、本願の開示する端末装置および音声処理プログラムの他の実施形態を説明する。
（１）装置構成等
例えば、上述した図１に示す端末装置２００の構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示す検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅとを機能的または物理的に統合した一つのユニットとしてもよい。このように、端末装置２００が有する処理機能部の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
（２）端末装置のハードウェア構成
次に、図１５を用いて、実施例１に係る端末装置のハードウェアの構成例について説明する。図１５は、端末装置のハードウェア構成の一例を示す図である。図１５に示すように、端末装置３００は、無線通信部３１０と、アンテナ３１１と、表示部３２０と、音声入出力部３３０と、マイク３３１と、スピーカ３３２と、入力部３４０と、記憶部３５０と、プロセッサ３６０とを有する。
無線通信部３１０、表示部３２０、音声入出力部３３０、入力部３４０、記憶部３５０は、プロセッサ３６０と接続される。また、アンテナ３１１は、無線通信部３１０と接続される。また、マイク３３１及びスピーカ３３２は、音声入出力部３３０と接続される。
無線通信部３１０は、図１には示していないが、例えば、端末装置２００が有する通信制御部に対応する。また、表示部３２０は、図１には示していないが、例えば、端末装置２００が有するディスプレイに対応する。音声入出力部３３０、マイク３３１及びスピーカ３３２は、例えば、図１に示したマイク２０１及びスピーカ２０２、図１には示していないが、例えば、端末装置２００が有する入出力制御部に対応する。また、入力部３４０は、図１には示していないが、例えば、端末装置２００が有するキー制御部に対応する。
記憶部３５０及びプロセッサ３６０は、例えば、図１に示した検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅ等の機能を実現する。具体的には、記憶部３５０のプログラム記憶部３５１は、例えば、図１１〜図１４等に示す処理を実現する音声処理プログラム等の各種プログラムを記憶している。そして、プロセッサ３６０は、プログラム記憶部３５１に記憶されている各プログラムを読み出して実行することで、上述の各機能を実現するプロセスを生成する。また、データ記憶部３５２は、例えば、図１１〜図１４等に示す処理に用いる各種データを保持する。また、ＲＡＭ（Random Access Memory）３５３は、例えば、図１１〜図１４等に示す処理を実行する場合に、プロセッサ３６０により生成されたプロセスに使用される記憶領域を有する。
１ 音源
１００ 端末装置
１０１ マイク
１１０ 符号化部
１２０ 位置取得部
１３０ 位置送信部
２００ 端末装置
２０１ マイク
２０２ スピーカ
２１０ 符号化部
２２０ 位置取得部
２３０ 位置送信部
２４０ 位置受信部
２５０ 方向取得部
２６０ 算出部
２７０ 復号化部
２８０Ａ 検出部
２８０Ｂ 判定部
２８０Ｃ 補正部
２８０Ｄ 生成部
２８０Ｅ ミキシング部
２９０ 加工部
３００ 端末装置
３１０ 無線通信部
３１１ アンテナ
３２０ 表示部
３３０ 音声入出力部
３３１ マイク
３３２ スピーカ
３４０ 入力部
３５０ 記憶部
３６０ プロセッサ

Claims (5)

  1. 相手装置の位置を示す位置情報を取得する他端末位置取得部と、
    自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
    前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
    自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
    自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
    前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
    前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部と
    を有することを特徴とする端末装置。
  2. 通話の音出力時の信号数が単数であるか否かを判定する信号数判定部を備え、
    前記補正部は、前記信号数判定部により前記信号数が複数であると判定された場合、前記補正量により前記相対角度を補正する処理を実行しない、
    ことを特徴とする請求項１に記載の端末装置。
  3. 前記補正部により補正された相対角度に応じた特徴音を生成する生成部をさらに有し、
    前記決定部は、前記通話の音に対して前記特徴音の重畳した音を前記出力音の属性として決定することを特徴とする請求項２に記載の端末装置。
  4. 前記決定部は、頭部伝達関数を用いて、前記通話の音と前記特徴音とが異なる位置を仮想的な音源として伝達されるように加工し、加工した音を重畳したものを前記出力音の属性として決定することを特徴とする請求項３に記載の端末装置。
  5. コンピュータに、
    相手装置の位置を示す位置情報を取得する他端末位置取得部と、
    自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
    前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
    自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
    自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
    前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
    前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部、
    として動作させることを特徴とする音声処理プログラム。
JP2010209936A 2010-09-17 2010-09-17 端末装置および音声処理プログラム Expired - Fee Related JP5589708B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010209936A JP5589708B2 (ja) 2010-09-17 2010-09-17 端末装置および音声処理プログラム
US13/192,092 US20120072206A1 (en) 2010-09-17 2011-07-27 Terminal apparatus and speech processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010209936A JP5589708B2 (ja) 2010-09-17 2010-09-17 端末装置および音声処理プログラム

Publications (2)

Publication Number Publication Date
JP2012065279A true JP2012065279A (ja) 2012-03-29
JP5589708B2 JP5589708B2 (ja) 2014-09-17

Family

ID=45818534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010209936A Expired - Fee Related JP5589708B2 (ja) 2010-09-17 2010-09-17 端末装置および音声処理プログラム

Country Status (2)

Country Link
US (1) US20120072206A1 (ja)
JP (1) JP5589708B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013025190A1 (en) * 2011-08-12 2013-02-21 Empire Technology Development Llc Usage recommendation for mobile device
CN104184868B (zh) * 2013-05-22 2019-01-29 中兴通讯股份有限公司 一种调节通话音量的方法、装置及移动终端
US9124983B2 (en) * 2013-06-26 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for localization of streaming sources in hearing assistance system
CN105824597A (zh) * 2015-06-30 2016-08-03 维沃移动通信有限公司 一种终端音频处理的方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2006174074A (ja) * 2004-12-15 2006-06-29 Casio Hitachi Mobile Communications Co Ltd 携帯端末
JP2008145418A (ja) * 2006-12-06 2008-06-26 Sharp Corp 移動電子装置および移動電子装置の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4546151B2 (ja) * 2004-05-26 2010-09-15 株式会社日立製作所 音声コミュニケーション・システム
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20080215240A1 (en) * 2006-12-18 2008-09-04 Damian Howard Integrating User Interfaces
CN101667092A (zh) * 2008-05-15 2010-03-10 杭州惠道科技有限公司 实时预测用户输入的人机界面
JP5694174B2 (ja) * 2008-10-20 2015-04-01 ジェノーディオ，インコーポレーテッド オーディオ空間化および環境シミュレーション
US9202455B2 (en) * 2008-11-24 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced active noise cancellation
US8351589B2 (en) * 2009-06-16 2013-01-08 Microsoft Corporation Spatial audio for audio conferencing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184621A (ja) * 2003-12-22 2005-07-07 Yamaha Corp 通話装置
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2006174074A (ja) * 2004-12-15 2006-06-29 Casio Hitachi Mobile Communications Co Ltd 携帯端末
JP2008145418A (ja) * 2006-12-06 2008-06-26 Sharp Corp 移動電子装置および移動電子装置の制御方法

Also Published As

Publication number Publication date
JP5589708B2 (ja) 2014-09-17
US20120072206A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
US8577046B2 (en) Apparatus for estimating sound source direction from correlation between spatial transfer functions of sound signals on separate channels
US11343605B1 (en) System and method for automatic right-left ear detection for headphones
US20180350381A1 (en) System and method of noise reduction for a mobile device
US9749474B2 (en) Matching reverberation in teleconferencing environments
US10388297B2 (en) Techniques for generating multiple listening environments via auditory devices
US8718295B2 (en) Headset assembly with recording function for communication
US20160269844A1 (en) Stereo headset, terminal, and audio signal processing methods thereof
JP2007282222A (ja) 時間遅延補聴器システムおよび方法
JP5589708B2 (ja) 端末装置および音声処理プログラム
KR101348505B1 (ko) 이어셋
CN109348334B (zh) 一种无线耳机及其环境监听方法和装置
JP2015136100A (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
WO2006025493A1 (ja) 情報端末
EP3459231A1 (en) Device for generating audio output
CN107277208B (zh) 通话方法、第一通话装置及终端
JP2008160397A (ja) 音声通話装置および音声通話システム
WO2011148570A1 (ja) 聴覚ディスプレイ装置及び方法
TWI582688B (zh) 音訊傳輸系統及其音訊處理之方法
US8526589B2 (en) Multi-channel telephony
CN111083250A (zh) 移动终端及其降噪方法
CN114667744B (zh) 实时通信方法、装置和系统
JP2007013407A (ja) 音像定位移動通信システム、移動通信端末装置、無線基地局装置および移動通信端末上における音像定位方法
US20120172094A1 (en) Mobile Communication Apparatus
WO2015098196A1 (ja) 電子機器、音声出力制御方法、プログラム
KR101482420B1 (ko) 난청자용 휴대폰 단말기의 음향 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R150 Certificate of patent or registration of utility model

Ref document number: 5589708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees