[実施の形態1]
図1に、携帯電話装置100の外観を示す。携帯電話装置100の表面の上方に、受話口101が設置されている。受話口101の中には、受話用スピーカが設置されている。
また、受話口101の近傍に近接センサ口105が設置されている。近接センサ口105の中には、近接センサが設置されている。
携帯電話装置100の表面の下方に、送話口103が設置されている。送話口103の中には、送話用マイクが設置されている。
図2に、通話時におけるユーザの使用態様の例を示す。左側は、ユーザが右手で携帯電話装置100を保持して通話している状態を示している。このとき、ユーザは、受話口101に右耳を当てて、受話音声を聞く。この状態で、近接センサはユーザの右側頭部を近接物として検出する。また、この状態で、送話口103からユーザの音声が入力される。
中央は、ユーザが携帯電話装置100を右手から左手に持ち替えようとしている状態を示している。このとき、ユーザは、受話音声を聞いていない。この状態で、近接センサは近接物を検出しない。また、この状態で、送話口103からユーザの音声は入力されず、雑音が入力されやすい。
右側は、ユーザが左手で携帯電話装置100を保持して通話している状態を示している。このとき、ユーザは、受話口101に左耳を当てて、受話音声を聞く。この状態で、近接センサはユーザの左側頭部を近接物として検出する。また、この状態で、送話口103からユーザの音声が入力される。
このように右手で携帯電話装置100を保持している状態から左手で携帯電話装置100を保持する状態へ、携帯電話装置100を持ち替えると、ユーザは、一時的に受話音声を聞き逃すことになる。
本実施の形態は、上述のような状況で聞き逃した音声を再生する動作に関する。本実施の形態では、受話音声が連続している有声区間と、近接センサの切り替えのタイミングとの関係に着目する。
図3に、タイミングパターンを示す。境界309は、近接センサがONからOFFへ切り替わるタイミングを示している。尚、ONは近接物を検出したことを示し、OFFは近接物を検出しないことを示している。境界311は、近接センサがOFFからONへ切り替わるタイミングを示している。
図3は右方向へ向かって時間の経過を示している。境界309より左側は、近接センサON状態を示している。近接センサON状態は、近接センサが近接物を検出している状態である。
例えば、図2の左側に示したように携帯電話装置100が右の耳元に接している状態であると想定する。つまり、近接センサON状態は、正常な通話状態であると考えられる。
境界309と境界311との間は、近接センサOFF状態を示している。近接センサOFF状態は、近接センサが近接物を検出していない状態である。
本実施の形態では、近接センサOFF状態は、図2の中央に示したように携帯電話装置100が耳元から離れている状態であると想定する。つまり、近接センサOFF状態は、通話状態でないと考えられる。
境界311より右側は、近接センサがONの状態を示している。例えば、図2の右側に示したように携帯電話装置100が左の耳元に接している状態であると想定する。つまり、近接センサON状態は、正常な通話状態であると考えられる。
この図は、4つのタイミングパターンを示している。有声区間301乃至307は、受話音声において通話相手の話声に相当する音が連続している。
有声区間301は、第1タイミングパターンにおける有声区間を示している。第1タイミングパターンでは、近接センサON状態において有声区間が始まって、近接センサOFF状態において有声区間が終わるパターンを示している。
第1タイミングパターンは、通話相手が一連の事柄を語っている途中でユーザが携帯電話装置100を耳元から離し、携帯電話装置100がユーザの耳元から離れているうちに通話相手が一連の事柄を語り終え、通話相手が黙っているうちにユーザが携帯電話装置100を耳元へ戻す流れを想定している。
有声区間303は、第2タイミングパターンにおける有声区間を示している。第2タイミングパターンでは、近接センサOFF状態において有声区間が始まって、近接センサOFF状態のうちに有声区間が終わるパターンを示している。
第2タイミングパターンは、通話相手が黙っているときにユーザが携帯電話装置100を耳元から離し、携帯電話装置100がユーザの耳元から離れているうちに通話相手が一連の事柄を語り切り、通話相手が黙っているうちにユーザが携帯電話装置100を耳元へ戻す流れを想定している。
有声区間305は、第3タイミングパターンにおける有声区間を示している。第3タイミングパターンでは、近接センサOFF状態において有声区間が始まって、近接センサON状態になってから有声区間が終わるパターンを示している。
第3タイミングパターンは、通話相手が黙っているときにユーザが携帯電話装置100を耳元から離し、携帯電話装置100がユーザの耳元から離れているうちに通話相手が一連の事柄を語り始め、語り終わらないうちにユーザが携帯電話装置100を耳元へ戻し、その後通話相手が一連の事柄を語り終える流れを想定している。
有声区間307は、第4タイミングパターンにおける有声区間を示している。第4タイミングパターンでは、近接センサON状態において有声区間が始まって、近接センサOFF状態を経て、近接センサON状態に戻ってから有声区間が終わるパターンを示している。
第4タイミングパターンは、通話相手が一連の事柄を語っている途中でユーザが携帯電話装置100を耳元から離し、通話相手がまだ一連の事柄を語っているうちにユーザが携帯電話装置100を耳元へ戻し、その後通話相手が一連の事柄を語り終える流れを想定している。
第1タイミングパターン乃至第4タイミングパターンの夫々について、携帯電話装置100の動作概要について説明する。まず、図4を用いて、第1タイミングパターンにおける動作概要について説明する。上述の通り、境界309で、ユーザが携帯電話装置100を耳元から離したと想定する。また、境界311で、ユーザが携帯電話装置100を耳元へ戻したと想定する。
第1段のチャートは、通話相手が使用している対向端末のマイクへの入力音における有声区間を示している。対向端末マイクへの入力音は、正常な通話状態において携帯電話装置100における受話音声に相当する。
第2段のチャートは、通話相手が使用している対向端末のスピーカから出力される通知音の区間(通知区間と呼ぶ。)を示している。対向端末スピーカへの出力音は、通常携帯電話装置100における送話音に相当する。但し、通知区間における通知音は、携帯電話装置100において送話音の代わりに送出されたものである。
第3段のチャートは、ユーザが使用している携帯電話装置100のマイクに係る動作の中断状態を示している。中断状態では、送話音は送出されない。
第4段のチャートは、ユーザが使用している携帯電話装置100のスピーカに係る動作の有声区間、中断状態及び再生区間を示している。有声区間は、ライブの受話音声が連続して聞こえる区間である。中断状態では、受話音声は聞こえない。再生区間は、録音された受話音声を再生する期間である。
第5段のチャートは、ユーザが使用している携帯電話装置100のバイブレータにおける動作状態を示している。本実施の形態では、バイブレータの動作によって、状態の遷移をユーザに通知する。
有声区間401は、近接センサON状態で、対向端末マイクへの有声区間301の開始部分に相当する音声が携帯電話装置100に送られ、即時受話音声として出力されることを示している。
尚、対向端末マイクにおける有声区間301が開始したときに、携帯電話装置100は第1イベント検出処理を実行する。第1イベント検出処理については、後述する。
近接センサOFFへの切り替わりで、携帯電話装置100のマイクが中断状態403となる。このようにして、雑音を送出しないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のスピーカが中断状態405となる。このようにして、無駄な動作をしないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のバイブレータが短時間の動作状態407となる。このようにして、ユーザに通話が中断されたことを知らせるようにする。
尚、近接センサOFFへの切り替わりで、携帯電話装置100は第2イベント検出処理を実行する。第2イベント検出処理については、後述する。
対向端末マイクにおける有声区間301が終了したときに、対向端末のスピーカにおける通知区間409が開始する。このようにして、通知音によって通話相手に待機を促す。また、有声区間の終了を待つことによって、通話相手の発言を邪魔しないようにする。
尚、対向端末マイクにおける有声区間301が終了したときに、携帯電話装置100は第3イベント検出処理を実行する。第3イベント検出処理については、後述する。
近接センサONへの切り替わりで、携帯電話装置100のスピーカにおける中断状態405が終了し、再生区間411が開始する。このようにして、ユーザは聞き逃した音声を聞くことができる。
尚、近接センサONへの切り替わりで、携帯電話装置100は第4イベント検出処理を実行する。第4イベント検出処理については、後述する。
再生区間411が終了したときに、対向端末のスピーカにおける通知区間409が終了する。このようにして、通常の通話状態に戻ったことを通話相手に知らせる。
再生区間411が終了したときに、携帯電話装置100のマイクにおける中断状態403も終了する。このようにして、受話音声を送出する状態に戻す。
再生区間411が終了したときに、携帯電話装置100のバイブレータが短時間の動作状態413となる。このようにして、ユーザに通話が復帰したことを知らせるようにする。
以降は、通常の通話状態となる。以上で第1タイミングパターンにおける動作概要についての説明を終える。
次に、図5を用いて、第2タイミングパターンにおける動作概要について説明する。前述した通り、近接センサOFFへの切り替わりで、ユーザが携帯電話装置100を耳元から離したと想定する。また、近接センサONへの切り替わりで、ユーザが携帯電話装置100を耳元へ戻したと想定する。
近接センサOFFへの切り替わりで、携帯電話装置100のマイクが中断状態501となる。このようにして、雑音を送出しないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のスピーカが中断状態503となる。このようにして、無駄な動作をしないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のバイブレータが短時間の動作状態505となる。このようにして、ユーザに通話が中断されたことを知らせるようにする。
尚、近接センサOFFへの切り替わりで、携帯電話装置100は第2イベント検出処理を実行する。第2イベント検出処理については、後述する。
また、対向端末マイクにおける有声区間303が開始したときに、携帯電話装置100は第1イベント検出処理を実行する。第1イベント検出処理については、後述する。
対向端末マイクにおける有声区間303が終了したときに、対向端末のスピーカにおける通知区間507が開始する。このようにして、通知音によって通話相手に待機を促す。また、有声区間の終了を待つことによって通話相手の発言を邪魔しないようにする。
尚、対向端末マイクにおける有声区間303が終了したときに、携帯電話装置100は第3イベント検出処理を実行する。第3イベント検出処理については、後述する。
近接センサONへの切り替わりで、携帯電話装置100のスピーカにおける中断状態503が終了し、再生区間509が開始する。このようにして、ユーザは聞き逃した音声を聞くことができる。
尚、近接センサONへの切り替わりで、携帯電話装置100は第4イベント検出処理を実行する。第4イベント検出処理については、後述する。
再生区間509が終了したときに、対向端末のスピーカにおける通知区間507が終了する。このようにして、通常の通話状態に戻ったことを通話相手に知らせる。
再生区間509が終了したときに、携帯電話装置100のマイクにおける中断状態501も終了する。このようにして、受話音声を送出する状態に戻す。
再生区間509が終了したときに、携帯電話装置100のバイブレータが短時間の動作状態511となる。このようにして、ユーザに通話が復帰したことを知らせるようにする。
以降は、通常の通話状態となる。以上で第2タイミングパターンにおける動作概要についての説明を終える。
次に、図6を用いて、第3タイミングパターンにおける動作概要について説明する。前述した通り、近接センサOFFへの切り替わりで、ユーザが携帯電話装置100を耳元から離したと想定する。また、近接センサONへの切り替わりで、ユーザが携帯電話装置100を耳元へ戻したと想定する。
近接センサOFFへの切り替わりで、携帯電話装置100のマイクが中断状態601となる。このようにして、雑音を送出しないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のスピーカが中断状態603となる。このようにして、無駄な動作をしないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のバイブレータが短時間の動作状態605となる。このようにして、ユーザに通話が中断されたことを知らせるようにする。
尚、近接センサOFFへの切り替わりで、携帯電話装置100は第2イベント検出処理を実行する。第2イベント検出処理については、後述する。
また、対向端末マイクにおける有声区間305が開始したときに、携帯電話装置100は第1イベント検出処理を実行する。第1イベント検出処理については、後述する。
近接センサONへの切り替わりで、携帯電話装置100のスピーカにおける中断状態603が終了し、再生区間607が開始する。このようにして、ユーザは聞き逃した音声を聞くことができる。
尚、近接センサONへの切り替わりで、携帯電話装置100は第4イベント検出処理を実行する。第4イベント検出処理については、後述する。
対向端末マイクにおける有声区間305が終了したときに、対向端末のスピーカにおける通知区間609が開始する。このようにして、通知音によって通話相手に待機を促す。また、有声区間の終了を待つことによって通話相手の発言を邪魔しないようにする。
尚、対向端末マイクにおける有声区間305が終了したときに、携帯電話装置100は第3イベント検出処理を実行する。第3イベント検出処理については、後述する。
再生区間607が終了したときに、対向端末のスピーカにおける通知区間609が終了する。このようにして、通常の通話状態に戻ったことを通話相手に知らせる。
再生区間607が終了したときに、携帯電話装置100のマイクにおける中断状態601も終了する。このようにして、受話音声を送出する状態に戻す。
再生区間607が終了したときに、携帯電話装置100のバイブレータが短時間の動作状態611となる。このようにして、ユーザに通話が復帰したことを知らせるようにする。
以降は、通常の通話状態となる。以上で第3タイミングパターンにおける動作概要についての説明を終える。
次に、図7を用いて、第4タイミングパターンにおける動作概要について説明する。前述した通り、近接センサOFFへの切り替わりで、ユーザが携帯電話装置100を耳元から離したと想定する。また、近接センサONへの切り替わりで、ユーザが携帯電話装置100を耳元へ戻したと想定する。
有声区間701は、近接センサON状態で、対向端末マイクへの有声区間307の開始部分に相当する音声が携帯電話装置100に送られ、即時受話音声として出力されることを示している。
尚、対向端末マイクにおける有声区間307が開始したときに、携帯電話装置100は第1イベント検出処理を実行する。第1イベント検出処理については、後述する。
近接センサOFFへの切り替わりで、携帯電話装置100のマイクが中断状態703となる。このようにして、雑音を送出しないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のスピーカが中断状態705となる。このようにして、無駄な動作をしないようにする。
近接センサOFFへの切り替わりで、携帯電話装置100のバイブレータが短時間の動作状態707となる。このようにして、ユーザに通話が中断されたことを知らせるようにする。
近接センサONへの切り替わりで、携帯電話装置100のスピーカにおける中断状態705が終了し、再生区間709が開始する。このようにして、ユーザは聞き逃した音声を聞くことができる。
尚、近接センサONへの切り替わりで、携帯電話装置100は第4イベント検出処理を実行する。第4イベント検出処理については、後述する。
対向端末マイクにおける有声区間307が終了したときに、対向端末のスピーカにおける通知区間711が開始する。このようにして、通知音によって通話相手に待機を促す。また、有声区間の終了を待つことによって通話相手の発言を邪魔しないようにする。
尚、対向端末マイクにおける有声区間307が終了したときに、携帯電話装置100は第3イベント検出処理を実行する。第3イベント検出処理については、後述する。
再生区間709が終了したときに、対向端末のスピーカにおける通知区間711が終了する。このようにして、通常の通話状態に戻ったことを通話相手に知らせる。
再生区間709が終了したときに、携帯電話装置100のマイクにおける中断状態703も終了する。このようにして、受話音声を送出する状態に戻す。
再生区間709が終了したときに、携帯電話装置100のバイブレータが短時間の動作状態713となる。このようにして、ユーザに通話が復帰したことを知らせるようにする。
以降は、通常の通話状態となる。以上で第4タイミングパターンにおける動作概要についての説明を終える。
続いて、携帯電話装置100のハードウエア構成について説明する。図8に、携帯電話装置100のハードウエア構成例を示す。携帯電話装置100は、プロセッサ801、記憶部803、アンテナ811、無線制御部813、受話用スピーカ制御部815、受話用スピーカ817、送話用マイク制御部819、送話用マイク821、LCD制御部823、LCD(Liquid Crystal Display)825、タッチパッド827、キー群829、近接センサ831、音レコーダ833、バイブレータ835、報知用スピーカ制御部837、報知用スピーカ839及びLED(Light Emitting Diode)841を有している。
プロセッサ801は、モデムCPU(Central Processing Unit)とアプリケーションCPUからなることもある。記憶部803は、例えば、ROM(Read Only Memory)805とRAM(Random Access Memory)807とフラッシュメモリ809とを有している。ROM805は、例えば、オペレーティングシステムなどのプログラムや予め設定されているデータを格納している。RAM807は、例えば、アプリケーションなどのプログラムを展開する領域を含んでいる。RAM807は、一時的なデータを格納する領域も含んでいる。フラッシュメモリ809は、例えば、電話アプリケーションなどのプログラムや保持すべきデータを格納している。
LCD制御部823は、指定された動作周波数でクロック回路を動作させ、LCD825を駆動させる。LCD825は、例えば、電話アプリケーションによる画面を表示する。タッチパッド827は、例えば、LCD825の表示画面上に配置されたパネル状のセンサであり、タッチ操作による指示を受け付ける。具体的には、LCD825とタッチパッド827とを一体としたタッチパネルとして用いられる。タッチパッド827へのタッチ操作によって、チャネル変更指示などのイベントが発生する。キー群829の各ハードキーは、筐体の一部に設けられている。
アンテナ811は、例えば、セルラー方式、無線LAN、近距離通信方式などの無線データを受信する。無線制御部813は、無線通信の制御を行う。無線通信の制御により、例えば電話の音声通信やメールのデータ通信が行われる。
受話用スピーカ制御部815は、受話音声データに関するデジタル/アナログ変換を行う。受話用スピーカ817は、アナログデータを受話音声として出力する。送話用マイク制御部819は、送話音データに関するアナログ/デジタル変換を行う。送話用マイク821は、送話音をアナログデータに変換する。
近接センサ831は、近接物を検出する。音レコーダ833は、受話音声を録音する。また、音レコーダ833は、直近の受話音声を一定時間分(例えば、3秒)だけバッファリングする。バイブレータ835は、ユーザが感じる程度の振動を行う。
報知用スピーカ制御部837は、着信音のような報知音データに関するデジタル/アナログ変換を行う。報知用スピーカ839は、アナログデータを報知音として出力する。LED841は、例えば着信時に点灯する。
図9に、携帯電話装置100の機能ブロック例を示す。携帯電話装置100は、オペレーティングシステム901、近接センサドライバ903、音レコーダドライバ905、送話用マイクドライバ907、受話用スピーカドライバ909、バイブレータドライバ911、報知用スピーカドライバ913及び電話アプリケーション部921を有している。
オペレーティングシステム901は、電話アプリケーション部921から各ドライバへの指示を仲介する。また、オペレーティングシステム901は、ユーザ操作によって発生したイベントを電話アプリケーション部921に通知する。
近接センサドライバ903は、近接センサ831を制御するプログラムである。近接センサ831において近接物を検出した場合にONの検出結果を出し、近接センサ831において近接物を検出しない場合にOFFの検出結果を出す。音レコーダドライバ905は、音レコーダ833を制御するプログラムである。送話用マイクドライバ907は、送話用マイク制御部819を制御するプログラムである。受話用スピーカドライバ909は、受話用スピーカ制御部815を制御するプログラムである。バイブレータドライバ911は、バイブレータ835を制御するプログラムである。報知用スピーカドライバ913は、報知用スピーカ制御部837を制御するプログラムである。
電話アプリケーション部921は、従来の通話処理を行うと共に、本実施の形態に係る動作を行う。電話アプリケーション部921は、検出部923、録音部925、通話部927、送出部929、中断部931、動作部933、再生部935及び記憶部937を有している。
検出部923は、イベントを検出する。録音部925は、音レコーダ833を用いて、受話音声の録音を行う。録音部925は、音レコーダ833で音データを繰り返しバッファリングすることによって、一定量の音データを保持する動作を行う。また、録音部925は、保持動作中に録音を開始すると、所定時間遡った時点から継続的に音データを録音する。このように動作することによって、録音部925は、有声区間であると判定した時点から所定時間だけ遡って有声区間の先頭からの受話音声を録音する。録音部925は、例えば、有声区間であると判定するための時間を少し上回る時間だけ遡るようにする。
通話部927は、通話処理を行う。送出部929は、通知音を送出する。中断部931は、入力音声の送出及び受話用スピーカ817からの音出力を中断する。入力音声は、送話音声に相当する。動作部933は、例えば再生部935を動作させて、状態の遷移をユーザに知らせる。再生部935は、音レコーダ833を用いて録音された受話音声を再生する。記憶部937は、電話アプリケーション部921における処理に用いられるデータを記憶する。
続いて、携帯電話装置100による処理について説明する。図10Aに、メイン処理フローを示す。検出部923は、通話開始イベントが発生したか否かを判定する(S1001)。例えば、ユーザ操作によって電話アプリケーションを呼び出された場合に、通話開始イベントがオペレーティングシステム901から検出部923へ通知され、オペレーティングシステム901から通話開始イベントを受けた場合に、検出部923は、通話開始イベントが発生したと判定する。
通話開始イベントが発生していないと判定した場合には、S1001の処理を繰り返す。一方、通話開始イベントが発生したと判定した場合には、録音部925は、受話音声の一時保持動作を開始する(S1003)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905に保持動作の開始を指示する。音レコーダ833は、直近の一定時間分の受話音声を常時バッファリングする動作を開始する。
通話部927は、通話処理を開始する(S1005)。通話処理において、通話部927は、対向端末から受けた受信信号を受話音声に変換し、送話音声を送信信号に変換して対向端末に送るようにする。
検出部923は、通話中におけるイベントの発生を待つ(S1007)。
検出部923によって検出されるイベントには、「有声区間の開始」のイベントが含まれる。具体的には、通話部927は、受信信号に基準期間以上の連続した受話音声が含まれていると判定した場合に、「有声区間の開始」のイベントを通知する。検出部923は、通話部927から「有声区間の開始」のイベントを受ける。
検出部923によって検出されるイベントには、「近接センサOFFへの切り替わり」のイベントが含まれる。例えば、オペレーティングシステム901は近接センサドライバ903から近接センサ831の検出結果を取得し、検出結果がONからOFFへ変わった場合に「近接センサOFFへの切り替わり」のイベントを通知する。検出部923は、オペレーティングシステム901から「近接センサOFFへの切り替わり」のイベントを受ける。
検出部923によって検出されるイベントには、「無声区間の開始」のイベントが含まれる。具体的には、通話部927は、受信信号に基準期間以上連続して受話音声が含まれないと判定した場合に、「無声区間の開始」のイベントを通知する。検出部923は、通話部927から「無声区間の開始」のイベントを受ける。
検出部923によって検出されるイベントには、「近接センサONへの切り替わり」のイベントが含まれる。例えば、オペレーティングシステム901は近接センサドライバ903から近接センサ831の検出結果を取得し、検出結果がOFFからONへ変わった場合に「近接センサONへの切り替わり」のイベントを通知する。検出部923は、オペレーティングシステム901から「近接センサONへの切り替わり」のイベントを受ける。
検出部923によって検出されるイベントには、「再生の完了」のイベントが含まれる。具体的には、再生部935は、録音の再生を終えると「再生の完了」のイベントを通知する。検出部923は、再生部935から「再生の完了」のイベントを受ける。
検出部923によって検出されるイベントには、「通信の切断」のイベントが含まれる。具体的には、通話部927は、通信が切断されると「通信の切断」のイベントを通知する。検出部923は、通話部927から「通信の切断」のイベントを受ける。
S1007でイベントが発生したと判定すると、検出部923は、発生したイベントが「有声区間の開始」であるか否かを判定する(S1009)。
発生したイベントが「有声区間の開始」であると判定した場合には、電話アプリケーション部921は、第1イベント処理を実行する(S1011)。第1イベント処理については、図11を用いて後述する。第1イベント処理を終えると、S1007の処理に戻って、上述の処理を繰り返す。
一方、発生したイベントが「有声区間の開始」ではないと判定した場合には、検出部923は、発生したイベントが「近接センサOFFへの切り替わり」であるか否かを判定する(S1013)。
発生したイベントが「近接センサOFFへの切り替わり」であると判定した場合には、電話アプリケーション部921は、第2イベント処理(A)又は第2イベント処理(B)を実行する(S1015)。第2イベント処理(A)又は第2イベント処理(B)を終えると、S1007の処理に戻って、上述の処理を繰り返す。第2イベント処理(A)については、図12を用いて後述する。第2イベント処理(B)については、後述の実施の形態で説明する。
一方、発生したイベントが「近接センサOFFへの切り替わり」ではないと判定した場合には、端子Aを介して、図10Bの処理フローに移り、検出部923は、発生したイベントが「無声区間の開始」であるか否かを判定する(S1017)。
発生したイベントが「無声区間の開始」であると判定した場合には、電話アプリケーション部921は、第3イベント処理を実行する(S1019)。第3イベント処理については、図13を用いて後述する。第3イベント処理を終えると、端子Bを介して図10Aに示したS1007の処理に戻って、上述の処理を繰り返す。
一方、発生したイベントが「無声区間の開始」ではないと判定した場合には、検出部923は、発生したイベントが「近接センサONへの切り替わり」であるか否かを判定する(S1021)。
発生したイベントが「近接センサONへの切り替わり」であると判定した場合には、電話アプリケーション部921は、第4イベント処理を実行する(S1023)。第4イベント処理については、図14を用いて後述する。第4イベント処理を終えると、端子Bを介して図10Aに示したS1007の処理に戻って、上述の処理を繰り返す。
一方、発生したイベントが「近接センサONへの切り替わり」ではないと判定した場合には、検出部923は、発生したイベントが「再生の完了」であるか否かを判定する。(S1025)。
発生したイベントが「再生の完了」であると判定した場合には、電話アプリケーション部921は、第5イベント処理(A)を実行する(S1027)。第5イベント処理(A)については、図15を用いて後述する。第5イベント処理(A)を終えると、端子Bを介して図10Aに示したS1007の処理に戻って、上述の処理を繰り返す。
一方、発生したイベントが「再生の完了」ではないと判定した場合には、検出部923は、発生したイベントが「通信の切断」であるか否かを判定する(S1029)。
発生したイベントが「通信の切断」であると判定した場合には、電話アプリケーション部921は、第6イベント処理を実行する(S1031)。第6イベント処理を終えると、メイン処理を終える。
一方、発生したイベントが「通信の切断」ではないと判定した場合には、端子Bを介して図10Aに示したS1007の処理に戻って、上述の処理を繰り返す。以上で、メイン処理についての説明を終える。
続いて、第1イベント処理乃至第6イベント処理の各々について説明する。まず、図10AのS1011に示した第1イベント処理について説明する。図11に、第1イベント処理フローを示す。録音部925は、現在通知音を送出しているか否かを判定する(S1101)。具体的には、録音部925は、通知音の送出状態であるか否かを示す情報を送出部929から取得する。
現在通知音を送出していないと判定した場合には、録音部925は、録音を開始する(S1103)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905へ録音を指示する。音レコーダドライバ905は、バッファリングされている音声データ、つまり所定時間遡った分の音声データを含めて受話音声を音レコーダ833に録音する。
一方、現在通知音を送出していると判定した場合には、録音を開始せずに第1イベント処理を終える。通知音を送出している場合には、すでに録音を再生している状態か、あるいは録音を再生するために待機している状態である。本実施の形態では、追加の録音は行わないようにする。第1イベント処理を終えると、図10Aに示したS1007の処理に戻る。以上で、第1イベント処理についての説明を終える。
次に、図10AのS1015に示した第2イベント処理(A)について説明する。図12に、第2イベント処理(A)フローを示す。中断部931は、入力音声の送出を中断する(S1201)。具体的には、中断部931は、通話部927へ送話音声の送出を中断するように指示する。
中断部931は、受話用スピーカ817からの音出力を中断する(S1203)。具体的には、中断部931は、受話用スピーカドライバ909へ音出力を中断するように指示する。
動作部933は、バイブレータ835を動作させる(S1205)。本実施の形態では、バイブレータ835の振動によって、通話中断を知らせるようにする。具体的には、動作部933は、オペレーティングシステム901を介してバイブレータドライバ911へバイブレータ835を振動させるように指示する。
この例では、バイブレータ835の振動によって、通話中断を知らせるが、報知用スピーカ839から告知音を発することによって、通話中断を知らせるようにしてもよい。その場合には、動作部933は、オペレーティングシステム901を介して報知用スピーカドライバ913へ告知音を発するように指示する。あるいは、LCD825に通話が中断された旨の告知メッセージを表示するようにしてもよい。
S1205の処理を終えると、第2イベント処理を終えて、図10Aに示したS1007の処理に戻る。以上で、第2イベント処理についての説明を終える。
次に、図10BのS1019に示した第3イベント処理について説明する。図13に、第3イベント処理フローを示す。録音部925は、現在録音しているか否かを判定する(S1301)。具体的には、録音部925は、音レコーダドライバ905から録音状態であるか否かを示す情報を取得する。
現在録音していると判定した場合には、録音部925は、音レコーダドライバ905へ録音を終了するように指示する(S1303)。
一方、現在録音していないと判定した場合には、S1305の処理に移る。送出部929は、近接センサ831による現在の検出結果がOFFであるか否かを判定する(S1305)。このとき、送出部929は、オペレーティングシステム901を介して近接センサドライバ903から現在の検出結果を取得する。
近接センサ831による現在の検出結果がOFFであると判定した場合には、送出部929は、通知音の送出を開始する(S1307)。近接センサ831による現在の検出結果がOFFであれば、携帯電話装置100がユーザの耳元から離れていると想定されるので、通知音によって通話相手に待機を促すようにする。具体的には、送出部929は、通話部927へ送話音声の替わりに通知音を送出するように指示する。
一方、近接センサ831による現在の検出結果がOFFではないと判定した場合には、送出部929は、現在録音データを再生しているか否かを判定する(S1309)。具体的には、送出部929は、録音部925から再生状態であるか否かを示す情報を取得する。
現在録音データを再生していると判定した場合には、前述と同様に、送出部929は、通知音の送出を開始する(S1307)。録音を再生中であれば、通知音によって通話相手に待機を促すようにする。
一方、現在録音データを再生していないと判定した場合には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データの削除を指示する(S1311)。第3イベント処理を終えると、図10Aに示したS1007の処理に戻る。以上で、第3イベント処理についての説明を終える。
次に、図10BのS1023に示した第4イベント処理について説明する。図14に、第4イベント処理フローを示す。中断部931は、受話用スピーカ817からの音出力を再開する(S1401)。具体的には、中断部931は、受話用スピーカドライバ909へ音出力を再開するように指示する。
再生部935は、録音データを高速モードで再生する(S1403)。具体的には、再生部935は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データを高速モードで再生するように指示する。高速モードで再生すれば、早く通常の通話状態に回復できる。但し、本実施の形態では、通知音によって通話相手に待機を促すので、通常モードで再生するようにしてもよい。第4イベント処理を終えると、図10Aに示したS1007の処理に戻る。以上で、第4イベント処理についての説明を終える。
次に、図10BのS1027に示した第5イベント処理(A)について説明する。図15に、第5イベント処理(A)フローを示す。録音部925は、録音データを削除する(S1501)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データを削除するように指示する。
動作部933は、バイブレータを動作させる(S1503)。具体的には、動作部933は、オペレーティングシステム901を介してバイブレータドライバ911へバイブレータ835の振動させるように指示する。
この例では、バイブレータ835の振動によって、通話再開を知らせるが、報知用スピーカ839から告知音を発することによって、通話再開を知らせるようにしてもよい。その場合には、動作部933は、オペレーティングシステム901を介して報知用スピーカドライバ913へ告知音を発するように指示する。あるいは、LCD825に通話が再開された旨の告知メッセージを表示するようにしてもよい。また、バイブレータ動作が自端末マイクやスピーカの動作に影響を与えてしまう場合は、バイブレータ動作とマイクやスピーカの動作を排他する。
送出部929は、通知音の送出を終了する(S1505)。具体的には、送出部929は、通話部927へ通知音の送出を停止するように指示する。
中断部931は、入力音声の送出を再開する(S1507)。具体的には、中断部931は、通話部927へ送話音声の送出を再開するように指示する。第5イベント処理(A)を終えると、図10Aに示したS1007の処理に戻る。以上で、第5イベント処理(A)についての説明を終える。
次に、図10BのS1031に示した第6イベント処理について説明する。図16に、第6イベント処理フローを示す。送出部929は、図11のS1101と同様に、現在通知音を送出しているか否かを判定する(S1601)。現在通知音を送出していると判定した場合には、図15のS1505と同様に、送出部929は、通知音の送出を終了する(S1603)。
一方、現在通知音を送出していないと判定した場合には、S1605の処理に移る。通話部927は、通話処理を終了する(S1605)。
録音部925は、図13のS1301と同様に、現在録音しているか否かを判定する(S1607)。現在録音していると判定した場合には、図13のS1303と同様に、録音部925は、録音を終了する(S1609)。
一方、現在録音していないと判定した場合には、S1611の処理に移る。録音部925は、受話音声の一時保持動作を終了する(S1611)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905に保持動作の停止を指示する。
通話部927は、自端末による切断であるか否かを判定する(S1613)。例えば、ユーザ操作による切断指示のイベントをオペレーティングシステム901から受けた場合に、通話部927は、自端末による切断であると判定する。また、対向端末から切断要求を受信した場合には、自端末による切断ではないと判定する。
自端末による切断であると判定した場合には、電話アプリケーション部921は、第1後処理を実行する(S1615)。
図17に、第1後処理フローを示す。再生部935は、現在録音データを再生しているか否かを判定する(S1701)。具体的には、再生部935は、録音部925から再生状態であるか否かを示す情報を取得する。
現在録音データを再生していると判定した場合には、再生部935は、録音データの再生を終了する(S1703)。具体的は、再生部935は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データ再生の停止を指示する。
一方、現在録音データを再生していないと判定した場合には、S1705の処理に移る。録音部925は、録音データを削除する(S1705)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データの削除を指示する。第1後処理を終えると、図16に戻って第6イベント処理を終える。
図16のS1613で、自端末による切断ではないと判定した場合には電話アプリケーション部921は、第2後処理を実行する(S1617)。
図18に、第2後処理フローを示す。検出部923は、近接センサ831による現在の検出結果がOFFであるか否かを判定する(S1801)。このとき、送出部929は、オペレーティングシステム901を介して近接センサドライバ903から現在の検出結果を取得する。
近接センサ831による現在の検出結果がOFFであると判定した場合には、S1805の処理へ移る。近接センサ831による現在の検出結果がOFFであれば、携帯電話装置100がユーザの耳元から離れていると想定されるので、この後携帯電話装置100がユーザの耳元に近づけられれば録音を再生するようにする。
一方、近接センサ831による現在の検出結果がOFFではないと判定した場合には、検出部923は、現在録音データを再生しているか否かを判定する(S1803)。具体的には、検出部923は、録音部925から再生状態であるか否かを示す情報を取得する。
現在録音データを再生していると判定した場合には、S1805の処理へ移る。録音を再生している場合には、再生が終わるまで待つようにする。
一方、現在録音データを再生していないと判定した場合には、録音部925は、録音データを削除する(S1817)。具体的には、録音部925は、オペレーティングシステム901を介して音レコーダドライバ905へ録音データの削除を指示する。そして、第2後処理を終える。
S1805の処理についての説明に戻る。検出部923は、図10AのS1007と同様に、イベントの発生を待つ(S1805)。
検出部923は、発生したイベントが「近接センサONへの切り替わり」であるか否かを判定する(S1807)。
発生したイベントが「近接センサONへの切り替わり」であると判定した場合には、電話アプリケーション部921は、第4イベント処理を実行する(S1809)。図14に示した通り、第4イベント処理によって、録音データが高速モードで再生される。尚、受話用スピーカ817からの音出力が中断されていない場合には、S1401の処理は省かれる。
一方S1807で、当該イベントが「近接センサONへの切り替わり」ではないと判定した場合には、検出部923は、発生したイベントが「再生の完了」であるか否かを判定する(S1811)。
発生したイベントが「再生の完了」であると判定した場合には、S1817の処理に移って、録音部925は、録音データを削除する。
一方S1811で、当該イベントが「再生の完了」でないと判定した場合には、検出部923は、発生したイベントが「強制終了」であるか否かを判定する(S1813)。具体的には、ユーザ操作によって再生の強制終了が指示された場合に、オペレーティングシステム901は、「強制終了」のイベントを検出部923へ通知する。
発生したイベントが「強制終了」ではないと判定した場合には、S1805の処理へ戻って上述の処理を繰り返す。
一方、当該イベントが「強制終了」であると判定した場合には、再生部935は、音データの再生を終了する(S1815)。具体的には、再生部935は、音レコーダドライバ905へ音データ再生の停止を指示する。そして、録音部925は、録音データを削除する(S1817)。
S1817を終えると第6イベント処理を終える。以上で、第6イベント処理についての説明を終える。
本実施の形態によれば、ユーザが通話相手の音声を聞き逃しても、円滑に正常な通話状態に回復できる。ユーザは音声の連なりを初めから聞き直せるので、意味の取り違いが生じ難い。また、通知音によって通話相手に待機を促し、通知音の停止によって通話の再開を知らせることができる。
また、受話音声が続いているうちは通知音を送出しないので、通話相手の発言を邪魔しない。
また、入力音声の送出を中断するので、雑音の送出を防げる。
また、受話音声の出力を中断するので、無駄なスピーカ動作を省き、消費電力を減らせる。
また、録音再生が終了すると、振動によってユーザに通話の再開を知らせることができる。
また、通話の中断を、振動によってユーザに知らせることができる。
また、録音を高速で再生するので、早く通常の通話状態に回復できる。
[実施の形態2]
本実施の形態では、録音再生中にユーザが携帯電話装置100を耳元から離した場合に、再生を中断する処理について説明する。
本実施の形態では、録音再生中にユーザが携帯電話装置100を耳元から離した場合には、ユーザは再生音声を聞く意思がないと想定して、再生を中断する。
図19に、第2イベント処理(B)フローを示す。再生部935は、図17のS1701と同様に、録音データを再生しているか否かを判定する(S1901)。録音データを再生していると判定した場合には、再生部935は、録音データの再生を途中で終了する(S1903)。具体的には、再生部935は、音レコーダドライバ905へ録音データ再生の停止を指示する。S1903を終えると、第2イベント処理(B)を終える。
一方、録音データを再生していないと判定した場合には、図12の場合と同様に、S1201乃至S1205の処理を行う。
本実施の形態によれば、無駄な再生処理を省くことができる。
[実施の形態3]
本実施の形態では、通話が中断してから所定時間経過した場合に通話保留状態に移行する例について説明する。
図20に、実施の形態3に係る携帯電話装置100の機能ブロック例を示す。本実施の形態に係る携帯電話装置100は、図9に示した機能ブロックに加えて、保留部2001を有している。保留部2001は、通話保留の処理を行う。
電話アプリケーション部921は、図10AのS1011において、第2イベント処理(A)又は第2イベント処理(B)に代えて第2イベント処理(C)を実行する。
図21に、第2イベント処理(C)フローを示す。S1201乃至S1205の処理については、図12を用いて説明した通りである。
S1205の処理に続いて、保留部2001は、保留処理を実行する(S2101)。ここでは、保留処理の終了を待たずに、第2イベント処理(C)の処理を終える。そして、図10Aに示したS1007の処理に戻る。
図22に、保留処理フローを示す。保留処理は、前述のメイン処理のスレッドとは分離されたスレッドとして動作する。保留部2001は、時間計測を開始する(S2201)。例えば、保留部2001は、携帯電話装置100に内蔵されているタイマーを起動する。
保留部2001は、所定時間を経過したか否かを判定する(S2203)。所定時間を経過していないと判定した場合には、当該判定処理を繰り返す。
所定時間を経過したと判定した場合には、保留部2001は、通話保留状態に切り替える(S2205)。そして、保留処理を終了する。保留処理を終えると、当該スレッドは消滅し、処理は引き継がれない。
また、電話アプリケーション部921は、図10BのS1027において、第5イベント処理(A)に代えて第5イベント処理(B)を実行する。
図23に、第5イベント処理(B)フローを示す。S1501乃至S1505の処理については、図15を用いて説明した通りである。
電話アプリケーション部921は、保留部2001による保留処理を終了させる(S2301)。保留処理に係るスレッドが無ければ、この処理は省かれる。
保留部2001は、通話保留状態を解除する(S2303)。通話保留状態でなければ、この処理は省かれる。
S1507の処理についても、図15を用いて説明した通りである。
本実施の形態によれば、ユーザの耳元から受話口が離れている状態が長く続いた場合に、自動的に通話保留状態に移るようにすることができる。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成は実際のプログラムモジュール構成に一致しない場合もある。
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
以上述べた実施の形態をまとめると、以下のようになる。
一態様の通信端末装置は、受話口付近における近接物を検出すると、当該検出の前に受話口付近から近接物が離れた時点を含み且つ受話音声が連続している区間の録音を、当該区間の先頭から再生する再生部と、通話の中断に係る通知音を対向端末へ送出し、上記録音の再生が終了すると、通知音の送出を終える送出部とを有する。
このようにすれば、ユーザが通話相手の音声を聞き逃しても、円滑に正常な通話状態に回復できる。ユーザは音声の連なりを初めから聞き直せるので、意味の取り違いが生じ難い。また、通知音によって通話相手に待機を促し、通知音の停止によって通話の再開を知らせることができる。
また、上記送出部は、上記区間の終了を検出すると、通知音の送出を開始するようにしてもよい。
このようにすれば、受話音声が続いているうちは通知音を送出しないので、相手の発言を邪魔しない。
更に、上記通信端末装置は、上記時点から上記再生が終了するまでの間における入力音声の送出を中断する中断部を有するようにしてもよい。
このようにすれば、通話の中断から回復に至る間における雑音の送出を防げる。
上記中断部は、上記時点から上記再生を開始するまでの間における受話音声の出力を中断するようにしてもよい。
このようにすれば、無駄なスピーカ動作を省き、消費電力を減らせる。
更に、上記通信端末装置は、上記再生が終了すると、ユーザに知らせる動作を行う動作部を有するようにしてもよい。
このようにすれば、ユーザに通話の再開を知らせることができる。
上記動作部は、上記時点で、ユーザに知らせる動作を行うようにしてもよい。
このようにすれば、通話が中断されたことをユーザに知らせることができる。
更に、上記通信端末装置は、上記時点から所定時間が経過した場合に、通話保留状態に設定する保留部を有するようにしてもよい。
このようにすれば、ユーザの耳元から受話口が離れている状態が長く続いた場合に、自動的に通話保留状態に移るようにできる。
上記再生部は、上記録音を高速で再生するようにしてもよい。
このようにすれば、早く通常の通話状態に回復できる。
なお、上で述べた通信端末装置における処理をプロセッサに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
受話口付近における近接物を検出すると、当該検出の前に前記受話口付近から近接物が離れた時点を含み且つ受話音声が連続している区間の録音を、当該区間の先頭から再生する再生部と、
通話の中断に係る通知音を対向端末へ送出し、前記録音の再生が終了すると、前記通知音の送出を終える送出部と
を有する通信端末装置。
(付記2)
前記送出部は、前記区間の終了を検出すると、前記通知音の送出を開始する
付記1記載の通信端末装置。
(付記3)
更に、
前記時点から前記再生が終了するまでの間における入力音声の送出を中断する中断部
を有する付記1又は2記載の通信端末装置。
(付記4)
前記中断部は、前記時点から前記再生を開始するまでの間における受話音声の出力を中断する
を有する付記3記載の通信端末装置。
(付記5)
更に、
前記再生が終了すると、ユーザに知らせる動作を行う動作部
を有する付記1乃至4のいずれか1つ記載の通信端末装置。
(付記6)
前記動作部は、前記時点で、ユーザに知らせる動作を行う
付記5記載の通信端末装置。
(付記7)
更に、
前記時点から所定時間が経過した場合に、通話保留状態に設定する保留部
を有する付記1乃至6のいずれか1つ記載の通信端末装置。
(付記8)
前記再生部は、前記録音を高速で再生する
付記1乃至7のいずれか1つ記載の通信端末装置。
(付記9)
受話口付近における近接物を検出すると、当該検出の前に前記受話口付近から近接物が離れた時点を含み且つ受話音声が連続している区間の録音を、当該区間の先頭から再生する処理と、
通話の中断に係る通知音を対向端末へ送出し、前記録音の再生が終了すると、前記通知音の送出を終える処理と
を含み、プロセッサにより実行される音声再生方法。
(付記10)
受話口付近における近接物を検出すると、当該検出の前に前記受話口付近から近接物が離れた時点を含み且つ受話音声が連続している区間の録音を、当該区間の先頭から再生する処理と、
通話の中断に係る通知音を対向端末へ送出し、前記録音の再生が終了すると、前記通知音の送出を終える処理と
をプロセッサに実行させるための音声再生プログラム。