以下、本発明に係る携帯端末装置の実施形態について、図面を参照して説明する。以下の実施形態の携帯端末装置は、例えば携帯電話機、スマートフォン、タブレット端末又はPDA(Personal Digital Assistant)である。
以下の実施形態では、本発明に係る携帯端末装置の使用形態の一例として、例えば企業内のテレビ会議において携帯端末装置を用いるシチュエーションを説明する。即ち、テレビ会議では、例えばテレビ会議の参加者がそれぞれ各実施形態の携帯端末装置を個々に用いる。但し、各実施形態の携帯端末装置の使用方法は以下の実施形態における使用形態に限定されない。
なお、本発明は、携帯端末装置が行う各動作(ステップ)を有する音声処理方法として表現することも可能である。更に、本発明は、コンピュータとしての携帯端末装置が行う各動作(ステップ)を、携帯端末装置に内蔵されるプロセッサ(例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor))に実行させるためのプログラムとして表現しても良い。
(第1の実施形態)
第1の実施形態では、例えば携帯端末装置10を用いたテレビ会議において、参加者としてのユーザが、携帯端末装置10の筐体を把持した状態においてテレビ会議の他の参加者とハンズフリー通話している状況を想定する。この状況において、例えばユーザの誤操作によって携帯端末装置10が机の上に落下して倒れ、又は他の物体が携帯端末装置10に衝突したとする。
例えばハンズフリー通話中に携帯端末装置10が机の上に落下しては倒れた場合、又は他の物体が携帯端末装置10に衝突した場合には、携帯端末装置10に突発的に大きな衝突音が生じるので、従来の携帯端末装置では大きな衝突音が相手端末に送信されてしまい不快な気分にさせることがあった。
そこで、本実施形態では、携帯端末装置10は、加速度センサ11における加速度の検出値の変動量を基にした衝撃監視処理と、マイク12により収音された音声の音声信号の音量レベルの変動を検出する音量監視処理とによって、マイク12により収音された音声の音声信号の音量レベルを低く調整するか否かを判定する(図3参照)。
更に、携帯端末装置10は、マイク12により収音された音声の音声信号の音量レベルを低く調整すると判定した場合には、マイク12により収音された音声の音声信号の音量レベルを低く調整する。これにより、携帯端末装置10は、上述した衝突音が突発的に生じた場合でも、通話相手が用いる相手端末に送信される不快音の音量レベルを低減できる。
次に、本実施形態の携帯端末装置10の詳細な内部構成について、図1及び図2を参照して説明する。図1は、第1の実施形態の携帯端末装置10を含むテレビ会議システム100のシステム構成を示すブロック図である。図2は、第1の実施形態の携帯端末装置10の音声処理部16の内部構成を詳細に示すブロック図である。
図1に示す携帯端末装置10は、加速度センサ11と、マイク12と、AD(Analog Digital)変換器13と、DA(Digital Analog)変換器14と、スピーカ15と、音声処理部16と、音声コーデック処理部17と、通信部18と、バッテリBTとを少なくとも含む。携帯端末装置10と、テレビ会議相手端末50とは、ネットワークNWを介して接続され、テレビ会議において相互に音声信号を送受信する。
なお、図1に示す携帯端末装置10では、テレビ会議における参加者(例えば携帯端末装置10のユーザ)の映像を撮像するカメラと、映像を表示するディスプレイと、映像に関する所定の信号処理を実行するための映像処理部と、映像を符号化又は復号するための映像コーデック処理部との図示が省略されているが、これらの各部が含まれても良い。
加速度センサ11は、予め規定された検出間隔毎に、携帯端末装置10における所定方向(例えば重力方向(鉛直方向))の加速度を検出し、加速度の検出値を音声処理部16に出力する。
音声収音部の一例としてのマイク12は、携帯端末装置10のユーザが話している間ではユーザが話す音声と周囲の音声(例えば環境音、ノイズ)とを収音し、更に、携帯端末装置10のユーザが話していない間では周囲の音声を収音する。収音された音声は、マイク12によって電気信号(音声信号)に変換されてAD変換器13に入力される。
AD変換器13は、所定のサンプリング周波数(例えば8kHz)で、マイク12により収音されたアナログの音声信号をデジタルの音声信号にAD変換し、デジタルの音声信号のサンプル値を音声処理部16に出力する。なお、AD変換器13は、音声処理部16とは異なる構成として図示されているが、音声処理部16の内部に含まれても良い。
DA変換器14は、音声処理部16から出力されたデジタルの音声信号をアナログの音声信号にDA変換し、アナログの音声信号をスピーカ15に出力する。なお、DA変換器14は、音声処理部16とは異なる構成として図示されているが、音声処理部16の内部に含まれても良い。
音声出力部の一例としてのスピーカ15は、DA変換器14から出力された音声信号が入力され、例えばテレビ会議相手端末50を用いる他の参加者が話す音声を出力する。
音声処理部16は、AD変換器13から出力された音声信号に後述する音声処理(図2参照)を行い、所定の音声処理後の音声信号を音声コーデック処理部17に出力する。なお、音声処理部16の各部は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。
また、音声処理部16は、音声コーデック処理部17から出力された復号処理後の音声信号をDA変換器14に出力する。音声処理部16の詳細な動作については後述する。
音声コーデック処理部17は、音声処理部16から出力された音声信号を符号化処理し、符号化処理後の音声信号を通信部18に出力する。なお、音声コーデック処理部17は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。なお、音声コーデック処理部17における符号化処理の方式及びその内容は、携帯端末装置10及びテレビ会議相手端末50において既知である。
また、音声コーデック処理部17は、通信部18から出力された音声信号を復号処理し、復号処理後の音声信号を音声処理部16に出力する。なお、音声コーデック処理部17における復号処理の方式及びその内容は、携帯端末装置10及びテレビ会議相手端末50において既知である。
通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する。また、通信部18は、テレビ会議相手端末50から送信された所定周波数帯の信号を受信し、受信された所定周波数帯の信号を検波及び復調して音声信号を音声コーデック処理部17に出力する。
なお、通信部18は、音声信号と映像信号とを多重化して送信しても良い。具体的には、通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号と、不図示の映像コーデック処理部から出力された符号化処理後の映像信号とを多重化し、更に、多重化後の信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する。
通信部18は、テレビ会議相手端末50から送信された所定周波数帯の信号を受信し、受信された信号を検波及び復調して音声信号と映像信号とに分離し、音声信号を音声コーデック処理部17に出力し、映像信号を不図示の映像コーデック処理部に出力する。
バッテリBTは、例えば蓄電池を用いて構成され、携帯端末装置10内の各部を駆動するための電力を供給する。なお、図1を簡単にするために、バッテリBTから携帯端末装置10内の各部への矢印の図示を省略している。
ネットワークNWは、無線ネットワークでも良いし、有線ネットワークでも良い。
テレビ会議相手端末50は、携帯端末装置10と同様の構成を有するので、構成及び動作の説明は省略する。
ここで、図2を参照して、音声処理部16の内部構成を詳細に説明する。図2に示す音声処理部16は、加速度センサ実装検出部21と、加速度入力部22と、衝撃監視部23と、マイク入力部24と、エコーキャンセル処理部25と、音量監視部26と、AGC+ノイズキャンセル処理部27と、遅延器28と、音量調整判定部29と、音量調整部30とを少なくとも含む。
加速度センサ実装検出部21は、例えば携帯端末装置10のオペレーションシステム(OS:Operating System)に、加速度センサ11が携帯端末装置10に実装(搭載)されているか否かを問い合わせることで、加速度センサ11が携帯端末装置10に実装(搭載)されているか否かを検出する。
加速度センサ実装検出部21は、加速度センサ11が携帯端末装置10に実装(搭載)されていることを検出した場合には、加速度センサ11が携帯端末装置10に実装(搭載)されている旨の加速度センサ検出信号(例えば「1」)を加速度入力部22に出力する。加速度センサ実装検出部21は、加速度センサ11が携帯端末装置10に実装(搭載)されていないことを検出した場合には、加速度センサ11が携帯端末装置10に実装(搭載)されていない旨の加速度センサ非検出信号(例えば「0」)を加速度入力部22に出力する。
加速度入力部22は、加速度センサ11から出力された加速度の検出値と、加速度センサ実装検出部21から出力された加速度センサ検出信号又は加速度センサ非検出信号とが入力される。加速度入力部22は、加速度センサ検出信号が入力された場合には、所定の第1実行周期(例えば50ms)毎に、加速度センサ11から出力された加速度の検出値を衝撃監視部23に出力する。
なお、加速度入力部22は、加速度センサ実装検出部21から加速度センサ非検出信号が入力された場合には、加速度センサ非検出信号を衝撃監視部23に出力する。また、以下の説明において、衝撃監視部23は、加速度入力部22から加速度センサ非検出信号が入力された場合には、後述する衝撃監視フラグの内容を常に「1」として生成し、衝撃監視フラグを音量調整判定部29に出力する。
衝撃監視部23は、第1実行周期(例えば50ms)毎に加速度入力部22から出力された加速度の検出値が入力され、入力された加速度の検出値を基に、携帯端末装置10に対する衝撃の有無を検出する。携帯端末装置10に対する衝撃とは、例えば携帯端末装置10が落下して倒れたことに起因して生じた衝突、又は、携帯端末装置10に他の物体が衝突したことに起因して生じた衝突が該当する。
衝撃監視部23は、第1実行周期(例えば50ms)毎の携帯端末装置10に対する衝撃の有無の検出結果(衝撃監視処理結果)として、衝撃監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。なお、衝撃監視部23の動作の詳細については、図4〜図6を参照して後述する。
マイク入力部24は、AD変換器13から出力されたデジタルの音声信号のサンプル値が所定個入力されるまで待機し、所定個(例えば160)の音声信号のサンプル値をエコーキャンセル処理部25に出力する。ここで、AD変換器13のサンプリング周波数は8kHzであって、160個の音声信号のサンプル値がマイク入力部24から出力される場合には、マイク入力部24は、第2実行周期として20(=160/8)ms毎に音声信号のサンプル値をエコーキャンセル処理部25に出力する。
エコーキャンセル処理部25は、マイク入力部24から第2実行周期(例えば20ms)毎に出力された音声信号のサンプル値が入力され、音声信号のサンプル値に含まれるエコー(反射波)成分をキャンセルするための公知のエコーキャンセル処理を行う。エコーキャンセル処理部25におけるエコーキャンセル処理は公知技術であるため、説明を省略する。エコーキャンセル処理部25は、第2実行周期毎のエコーキャンセル処理後の音声信号のサンプル値を音量監視部26及びAGC+ノイズキャンセル処理部27に出力する。
音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値を基に、音声信号の音量レベルの変動の有無を検出する。
音量監視部26は、第2実行周期(例えば20ms)毎の音声信号の音量レベルの変動の有無の検出結果(音量監視処理結果)として、音量監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。なお、音量監視部26の動作の詳細については、図7〜図9を参照して後述する。
AGC+ノイズキャンセル処理部27は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値のゲインを自動調整するための公知のAGC(Auto Gain Control)処理を行い、更に、音声信号のサンプル値に含まれるノイズ成分をキャンセルするための公知のノイズキャンセル処理を行う。
なお、AGC処理とノイズキャンセル処理との時間的順序は特に問わない。AGC+ノイズキャンセル処理部27におけるAGC処理とノイズキャンセル処理部27とは公知技術であるため、説明を省略する。AGC+ノイズキャンセル処理部27は、第2実行周期毎のAGC処理及びノイズキャンセル処理後の音声信号のサンプル値を遅延器28に出力する。
遅延器28は、第2実行周期毎にAGC+ノイズキャンセル処理部27から出力された音声信号のサンプル値の音量調整部30への入力タイミングを所定期間遅延させて、音声信号のサンプル値を音量調整部30に出力する。所定期間の遅延量は、第1実行周期(例えば50ms)と第2実行周期(例えば20ms)との時間差分が予め定まっていることに起因して規定された固定値である。
音量調整判定部29は、第1実行周期(例えば50ms)毎に衝撃監視部23から出力された衝撃監視フラグと第2実行周期(例えば20ms)毎に音量監視部26から出力された音量監視フラグとが入力される。音量調整判定部29は、第2実行周期(例えば20ms)毎に、衝撃監視フラグと音量監視フラグとを基に、音量調整部30に入力される音声信号のサンプル値の音量レベルを低く調整するか否かを判定する。音量調整判定部29は、音量調整判定結果を音量調整部30に出力する。音量調整判定部29の動作の詳細については、図10を参照して後述する。
音量調整部30は、音量調整判定部29から出力された音量調整判定結果と遅延器28から出力された音声信号とが入力される。音量調整部30は、音声信号の音量レベルを低く調整するという音量調整判定結果である場合には、遅延器28から出力された音声信号の音量レベルを低く調整して音声コーデック処理部17に出力する。なお、音量調整部30は、音声信号のサンプル値の音量レベルを低く調整する場合に、音声信号のサンプル値の音量レベルを0(ゼロ)にする、即ちマイク12により収音された音声を消音(ミュート)しても良い。
次に、本実施形態の携帯端末装置10の衝撃監視処理及び音量監視処理を含む全体的な動作手順について、図3を参照して説明する。図3は、第1の実施形態の携帯端末装置10の全体的な動作手順を説明するフローチャートである。
図3では、ステップS11からステップS14までが携帯端末装置10の衝撃監視処理に関する動作手順を表し、ステップS21からステップS27までが携帯端末装置10の音量監視処理に関する動作手順を表す。また、図3では、ステップS11からステップS14までの動作と、ステップS21からステップS27までの動作とは非同期に行われるが、同期して行われても良い。
また、図3に示すフローチャートの内容を説明する前提として、加速度センサ実装検出部21は、携帯端末装置10に加速度センサ11が実装(搭載)されていることを検出し、加速度センサ検出信号を加速度入力部22に出力している。
図3において、加速度入力部22は、第1実行周期(例えば50ms)毎に、加速度センサ11から出力された加速度の検出値を取得して衝撃監視部23に出力する(S11)。衝撃監視部23は、第1実行周期(例えば50ms)毎に加速度入力部22から出力された加速度の検出値が入力され、入力された加速度の検出値を基に、携帯端末装置10に対する衝撃の有無を検出する(S12)。衝撃監視部23は、第1実行周期(例えば50ms)毎の携帯端末装置10に対する衝撃の有無の検出結果(衝撃監視処理結果)として、衝撃監視フラグを生成して音量調整判定部29に出力する。ステップS12における衝撃監視部23の動作の詳細については図4〜図6を参照して後述する。
ステップS12の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があると(S13、YES)、図3に示す携帯端末装置10の動作は終了する。
一方、ステップS12の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求が無い場合、即ち、通話が継続する場合には(S13、NO)、加速度入力部22は、前回の加速度センサ11における加速度の検出値を取得してから第1実行周期(例えば50ms)が経過したか否かを判定する(S14)。
加速度入力部22は、前回の加速度センサ11における加速度の検出値を取得してから第1実行周期(例えば50ms)が経過したと判定した場合には(S14、YES)、次の第1実行周期(例えば50ms)における加速度センサ11における加速度の検出値を取得するので、携帯端末装置10の動作はステップS11に戻る。
即ち、ステップS13において、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があるまで、携帯端末装置10はステップS11からステップS14までの各動作を繰り返す。
また、図3において、マイク入力部24は、AD変換器13から出力されたデジタルの音声信号のサンプル値が所定個入力されるまで待機し(S21)、所定個(例えば160)の音声信号のサンプル値をエコーキャンセル処理部25に出力する。エコーキャンセル処理部25は、マイク入力部24から第2実行周期(例えば20ms)毎に出力された音声信号のサンプル値が入力され、音声信号のサンプル値に含まれるエコー(反射波)成分をキャンセルするための公知のエコーキャンセル処理を行う(S22)。エコーキャンセル処理部25は、第2実行周期毎のエコーキャンセル処理後の音声信号のサンプル値を音量監視部26及びAGC+ノイズキャンセル処理部27に出力する。
音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値を基に、音声信号の音量レベルの変動の有無を検出する(S23)。音量監視部26は、第2実行周期(例えば20ms)毎の音声信号の音量レベルの変動の有無の検出結果(音量監視処理結果)として、音量監視フラグを生成して音量調整判定部29に出力する。ステップS23における音量監視部26の動作の詳細については図7〜図9を参照して後述する。
AGC+ノイズキャンセル処理部27は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値のゲインを自動調整するための公知のAGC(Auto Gain Control)処理を行い、更に、音声信号のサンプル値に含まれるノイズ成分をキャンセルするための公知のノイズキャンセル処理を行う(S24)。AGC+ノイズキャンセル処理部27は、第2実行周期毎のAGC処理及びノイズキャンセル処理後の音声信号のサンプル値を遅延器28に出力する。なお、図3ではステップS23とステップS24とが実行される時間的順序は反対でも良い。
音量調整判定部29は、第1実行周期(例えば50ms)毎に衝撃監視部23から出力された衝撃監視フラグと第2実行周期(例えば20ms)毎に音量監視部26から出力された音量監視フラグとが入力され、第2実行周期(例えば20ms)毎に、衝撃監視フラグと音量監視フラグとを基に、音量調整部30に入力される音声信号のサンプル値の音量レベルを低く調整するか否かを判定する(S25)。音量調整判定部29は、音量調整判定結果を音量調整部30に出力する。ステップS25における音量調整判定部29の動作の詳細については図10を参照して説明する。
音量調整部30は、第2実行周期(例えば20ms)毎に音量調整判定部29から出力された音量調整判定結果と遅延器28から出力された音声信号とが入力され、音声信号の音量レベルを低く調整するという音量調整判定結果である場合には、遅延器28から出力された音声信号の音量レベルを低く調整して音声コーデック処理部17に出力する。音声コーデック処理部17は、音声処理部16から出力された音声信号を符号化処理し、符号化処理後の音声信号を通信部18に出力する。通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する(S26)。
ステップS26の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があると(S27、YES)、図3に示す携帯端末装置10の動作は終了する。
一方、ステップS26の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求が無い場合、即ち、通話が継続する場合には(S27、NO)、マイク入力部24は、次の第2実行周期(例えば20ms)における音声信号のサンプル値を取得するので、携帯端末装置10の動作はステップS21に戻る。
即ち、ステップS27において、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があるまで、携帯端末装置10はステップS21からステップS27までの各動作を繰り返す。
次に、本実施形態の携帯端末装置10における衝撃監視処理結果と音量監視処理結果とを用いた音量調整の処理について、図4を参照して説明する。図4は、衝撃監視処理結果と音量監視処理結果とを用いた音量調整の処理の流れを示す説明図である。
図4において、衝撃監視部23は、第1実行周期(例えば50ms)毎に衝撃監視処理を行い、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。また、衝撃監視部23の動作は、第1実行周期(例えば50ms)毎に繰り返して行われる。
一方、音量監視部26は、第2実行周期(例えば20ms)毎に音量監視処理を行い、音量監視処理結果としての音量監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。また、音量調整判定部29及び音量調整部30の動作は、音量監視部26の動作と同様に第2実行周期(例えば20ms)毎に繰り返して行われる。
従って、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とは非同期に行われるので、衝撃監視フラグと音量監視フラグとが更新されるタイミングは異なる。
(衝撃監視処理:携帯端末装置10の落下及び倒れの検出)
ここで、衝撃監視部23における衝撃監視処理として、例えば携帯端末装置10が落下して倒れたことを検出する動作の詳細について、図5を参照して説明する。図5は、衝撃監視部23における衝撃監視処理として、携帯端末装置10が落下して倒れたことを検出するための動作手順を詳細に説明するフローチャートである。
図5において、衝撃監視部23は、或る第1実行周期(図5の説明では「第1番目の第1実行周期」という)において加速度入力部22から出力された加速度の検出値が所定の第1閾値TH1(例えば5.0)以下であるか否かを判定する(S31)。
ここで、地球上の静止している物体として例えばユーザが筐体を手で把持した状態である携帯端末装置10にかかる重力方向(鉛直方向)の重力加速度は9.8[m/s2]である。
従って、第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が9.8よりも小さい第1閾値TH1(例えば5.0)よりも更に小さい場合には(S31、YES)、衝撃監視部23は、携帯端末装置10が落下している状態であると判定し、衝撃監視処理における1フレーム、即ち第1実行周期(例えば50ms)が経過するまで待機する(S32)。なお、携帯端末装置10が自由落下している間に加速度センサ11が検出する加速度の検出値は0(ゼロ)である。
衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)以上であるか否かを判定する(S33)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)以上であると、携帯端末装置10は例えば落下していた状態から机の上に衝突して跳ね返った状態であると考えられる。
従って、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)以上であると判定した場合には(S33、YES)、携帯端末装置10は例えば落下していた状態から机の上に衝突して跳ね返った状態であると判定し、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S34)。
なお、図5において衝撃監視フラグの内容が「1」であるとは、例えば携帯端末装置10が落下していた状態と物体(例えば机)に衝突した状態との両方が検出されたことを表し、衝撃監視フラグの内容が「0」であるとは、例えば携帯端末装置10が落下していた状態と物体に衝突した状態との両方は検出されていないことを表す。
ステップS34の後、衝撃監視部23は、例えば10フレーム、即ち10回分の第1実行周期が経過するまで衝撃監視フラグの内容(例えば「1」)を保持した後(S35)、衝撃監視フラグの内容を「0」に更新する(S36)。ステップS36の後、衝撃監視部23は、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
一方、第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(例えば5.0)を超える場合には(S31、NO)、携帯端末装置10は落下している状態であるとは考えられないので、衝撃監視部23は、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。同様に、ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
また、ステップS33において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)未満であると判定した場合には(S33、NO)、同検出値が所定の第3閾値TH3(例えば8.0)以上であるか否かを判定する(S38)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)未満であるが第3閾値TH3(8.0)以上であると、携帯端末装置10は他の物体に衝突せずに落下が終了する状態であると考えられる。
また、例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)未満であって更に第3閾値TH3(8.0)未満であると、携帯端末装置10は落下を継続している状態であると考えられる。
従って、ステップS38において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第3閾値TH3(例えば8.0)以上であると判定した場合には(S38、YES)、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。同様に、ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
また、ステップS38において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第3閾値TH3(例えば8.0)未満であると判定した場合には(S38、NO)、携帯端末装置10が落下している状態が継続しているので、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S32)。
これにより、衝撃監視部23は、例えば少なくとも2回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10が落下している状態と携帯端末装置10が倒れた状態とを簡易に検出できる。
(衝撃監視処理:携帯端末装置10に対する他の物体の衝突の検出)
ここで、衝撃監視部23における衝撃監視処理として、例えば携帯端末装置10に対する他の物体の衝突を検出する動作の詳細について、図6を参照して説明する。図6は、衝撃監視部23における衝撃監視処理として、携帯端末装置10に他の物体が衝突したことを検出するための動作手順を詳細に説明するフローチャートである。
図6において、衝撃監視部23は、或る第1実行周期(図6の説明では「第1番目の第1実行周期」という)において加速度入力部22から出力された加速度の検出値が所定範囲の値(例えば第4閾値TH4以上であって第5閾値TH5以下の値)であるか否かを判定する(S41)。例えば、第4閾値TH4は7.0であり、第5閾値TH5は10.0である。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲の値であると、携帯端末装置10は安定した状態であると考えられる。安定した状態とは、例えばユーザが携帯端末装置10の筐体を手で把持した状態のように移動していない状態、又は落下していない状態が該当する。
衝撃監視部23は、ステップS41において加速度の検出値が所定範囲の値ではないと判定した場合には(S41、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS41において加速度の検出値が所定範囲の値であると判定した場合には(S41、YES)、携帯端末装置10が安定した状態であると判定し、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S43)。
衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第6閾値TH6(例えば12.0)以上であるか否かを判定する(S44)。
衝撃監視部23は、ステップS44において加速度の検出値が第6閾値TH6未満であると判定した場合には(S44、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。同様に、ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS44において加速度の検出値が第6閾値TH6以上であると判定した場合には(S44、YES)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S45)。
衝撃監視部23は、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第7閾値TH7(例えば10.0)以下であるか否かを判定する(S46)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲(7.0〜10.0)の値であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上であり、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第7閾値TH7(10.0)以下であるとする。
この場合、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上となった時点で、他の物体が携帯端末装置10に衝突したと考えられる。他の物体が携帯端末装置10に衝突した後は、携帯端末装置10の加速度は減少していくので、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値は第7閾値TH7(10.0)以下になると考えられる。
更に、例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲(7.0〜10.0)の値であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上であるが、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第7閾値TH7(10.0)未満とする。
この場合、例えばユーザが携帯端末装置10の筐体を手で把持した状態にて上下方向又は左右方向に振った状態と考えられる。即ち、図6に示すステップS46は、携帯端末装置10が、携帯端末装置10に対する他の物体の衝突を検出したのか、ユーザが携帯端末装置10の筐体を手で把持した状態にて上下方向又は左右方向に振った状態を検出したのかを区別するために設けられている。
従って、携帯端末装置10は、ステップS46に示す加速度の検出値と第7閾値TH7との比較によって、携帯端末装置10に対する他の物体の衝突を検出したのか、ユーザが携帯端末装置10の筐体を手で把持した状態にて振った状態を検出したのかを誤判定することなく、明確に区別して判定できる。
衝撃監視部23は、ステップS46において加速度の検出値が第7閾値TH7未満であると判定した場合には(S46、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。同様に、ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS46において加速度の検出値が第7閾値TH7以上であると判定した場合には(S46、YES)、携帯端末装置10に他の物体が衝突した状態であると判定し、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S47)。
なお、図6において衝撃監視フラグの内容が「1」であるとは、例えば携帯端末装置10に対して他の物体が衝突したことが検出されたことを表し、衝撃監視フラグの内容が「0」であるとは、例えば携帯端末装置10に対して他の物体が衝突したことが検出されていないことを表す。
ステップS47の後、衝撃監視部23は、例えば10フレーム、即ち10回分の第1実行周期が経過するまで衝撃監視フラグの内容(例えば「1」)を保持した後(S48)、衝撃監視フラグの内容を「0」に更新する(S49)。ステップS49の後、衝撃監視部23は、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
これにより、衝撃監視部23は、例えば少なくとも3回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10に他の物体が衝突した状態を簡易に検出できる。
(音量監視処理:携帯端末装置10における衝突音の検出)
次に、音量監視部26における音量監視処理として、例えば携帯端末装置10における衝突音を検出する動作の第1例の詳細について、図7及び図8を参照して説明する。図7は、音量監視部26における音量監視処理の動作手順を詳細に説明するフローチャートである。図7に示すフローチャートの各動作は、音量監視部26によって第2実行周期(例えば20ms)毎に行われる。
図8(A)は、衝突音の音声信号の経時変化の一例を示すグラフである。図8(B)は、衝突音の音声信号の周波数特性の一例を示すグラフである。図8(C)は、男性の音声の音声信号の経時変化の一例を示すグラフである。図8(D)は、男性の音声の音声信号の周波数特性の一例を示すグラフである。
図7において、音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値に対して128ポイントの高速フーリエ変換(FFT:Fast Fourier Transform)処理を行うことで、音声信号の音量レベルの時間軸信号を周波数軸信号に変換する(S51)。
音量監視部26は、FFT処理後の所定の周波数帯域毎の音声信号の音量レベルを基に、周波数帯域毎の音声信号の音量レベルの変動の有無を監視し(S52)、例えば周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数をカウントする。音量監視部26は、ステップS52における音量監視処理結果として、周波数帯域毎の音声信号の音量レベルが第8閾値TH8を超える周波数帯域数が所定値N(N:規定された整数)以上であるか否かを判定する(S53)。
例えば図8(A)に示す衝突音(「トン」という音)の時間軸信号が携帯端末装置10により検出される場合には、ステップS51におけるFFT処理後の周波数軸信号は、図8(B)に示すように、周波数帯域毎の音声信号の音量レベルは所定の第8閾値TH8を超える周波数帯域数がN(例えば15)を超えている。
一方、例えば図8(C)に示す男性の音声(「ごしょうかいしましょう」という音)の時間軸信号が携帯端末装置10により検出される場合には、ステップS51におけるFFT処理後の周波数軸信号は、図8(D)に示すように、周波数帯域毎の音声信号の音量レベルは所定の第8閾値TH8を超える周波数帯域数がN(例えば15)を超えない。
従って、音量監視部26は、ステップS53において周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数がN未満であると判定した場合には(S53、NO)、音量監視処理における1フレーム、即ち1回分の第2実行周期が経過するまで待機する(S54)。ステップS54の後、音量監視部26の動作はステップS51に戻る。
一方、音量監視部26は、ステップS53において周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数がN以上であると判定した場合には(S53、YES)、携帯端末装置10に衝突音が生じたと判定し、音量監視処理結果としての音量監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S55)。
なお、図7において音量監視フラグの内容が「1」であるとは、例えば携帯端末装置10に何かしらの衝突音が突発的に生じたことを表し、音量監視フラグの内容が「0」であるとは、例えば携帯端末装置10に何かしらの衝突音が突発的に生じていないことを表す。
ステップS55の後、音量監視部26は、例えば3フレーム、即ち3回分の第2実行周期が経過するまで音量監視フラグの内容(例えば「1」)を保持した後(S56)、音量監視フラグの内容を「0」に更新する(S57)。ステップS57の後、音量監視部26は、1フレーム、即ち1回分の第2実行周期が経過するまで待機する(S54)。同様に、ステップS54の後、音量監視部26の動作はステップS51に戻る。
これにより、音量監視部26は、例えば少なくとも1回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に突発的に衝突音が生じたことを簡易に検出できる。また、音量監視部26は、周波数帯域毎の音声信号の音量レベルの周波数軸信号を用いるので、マイク12により収音された音声の白色性の影響を抑制して、人の音声であるのか又は突発的に生じた衝突音であるかを高精度に判定できる。
(音量監視処理:携帯端末装置10における衝突音の検出)
次に、音量監視部26における音量監視処理として、例えば携帯端末装置10における衝突音を検出する動作の第2例の詳細について、図9を参照して説明する。図9は、周波数毎のパワー変動があったか否かを判定するための動作手順を詳細に説明するフローチャートである。図9に示すフローチャートの各動作は、音量監視部26によって第2実行周期(例えば20ms)毎に行われる。
図9において、音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値を基に、音量レベルの瞬時パワー値を算出する(S61)。なお、ステップS61における音声信号のサンプル値を用いた音量レベルの瞬時パワー値の算出方法は公知技術であるため、説明は省略する。
更に、音量監視部26は、所定期間(例えば数回前からの現在までの複数回における第2実行期間)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値を基に、音量レベルの平均パワー値を算出する(S62)。なお、ステップS62における音声信号のサンプル値を用いた音量レベルの平均パワー値の算出方法は公知技術であるため、説明は省略する。
音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きいか否かを判定する(S63)。kは固定パラメータであり、例えば2以上10以下の実数である。
例えばステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きい場合には、携帯端末装置10に突発的に衝突音のような大きな音声が生じたと考えられる。
一方、例えばステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍以下である場合には、携帯端末装置10に突発的に衝突音のような大きな音声が生じていないと考えられる。
従って、音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きいと判定した場合には(S63、YES)、携帯端末装置10に突発的に衝突音のような大きな音声が生じたと判定し、音量監視処理結果としての音量監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S64)。
一方、音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍以下であると判定した場合には(S63、NO)、携帯端末装置10に突発的に衝突音のような大きな音が生じていないと判定し、音量監視処理結果としての音量監視フラグ(例えば「0」)を生成して音量調整判定部29に出力する(S64)。
これにより、音量監視部26は、例えば少なくとも数回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に突発的に衝突音が生じたことを簡易に検出できる。
(音量調整判定処理:音量レベルを低く調整するか否かの判定処理)
次に、音量調整判定部29における音量調整判定処理について、図10を参照して説明する。図10は、音量調整判定部29における音量調整判定処理の動作手順を詳細に説明するフローチャートである。図10に示すフローチャートの各動作は、音量調整判定部29によって第2実行周期(例えば20ms)毎に行われる。
図10において、音量調整判定部29は、継続カウンタ値が0より大きいか否かを判定する(S71)。
ここで、継続カウンタ値について簡単に説明する。
継続カウンタ値は、初期値が所定の整数(例えば5、10)であって、初期値から0までの範囲の整数であり、ステップS71における判定時において0でない場合には、音量調整判定部29により1つずつ減少されるパラメータである。更に、継続カウンタ値は、衝撃監視部23における衝撃監視処理結果としての衝撃監視フラグの内容が「1」であり、且つ、音量監視部26における音量監視処理結果としての音量監視フラグの内容が「1」である場合に、複数回の第2実行周期の期間にわたって音声信号の音量レベルを低く調整する状態を継続させるために設けられたパラメータである。
音量調整判定部29は、継続カウンタが0より大きくない場合、即ち継続カウンタが0である場合には(S71、NO)、衝撃監視部23から出力された衝撃監視フラグが「1」であるか否かを判定する(S72)。衝撃監視フラグが「1」でないと判定された場合には(S72、NO)、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
音量調整判定部29は、衝撃監視フラグが「1」であると判定した場合には(S72、YES)、音量監視部26から出力された音量監視フラグが「1」であるか否かを判定する(S73)。音量監視フラグが「1」でないと判定された場合には(S73、NO)、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
音量調整判定部29は、音量監視フラグが「1」であると判定した場合には(S73、YES)、現在0である継続カウンタ値に初期値(例えば10)を設定し(S74)、設定された継続カウンタ値と第2実行周期(例えば20ms)との乗算結果の期間にわたって音量レベルを低く調整すると判定する(S75)。ステップS75の後、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
一方、ステップS71において継続カウンタ値が0より大きいと判定された場合には(S71、YES)、音量調整判定部29は継続カウンタ値を1つデクリメントする(S76)。即ち、継続カウンタ値が0になるまで、音声信号の音量レベルが低く調整された状態が継続する。ステップS76の後、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
以上により、本実施形態の携帯端末装置10は、加速度センサ11における所定方向(例えば重力方向、鉛直方向)の加速度の検出値を用いて、携帯端末装置10に対する衝撃の有無を検出し、更に、マイク12により収音された音声の音声信号の音量レベルの変動の有無を検出する。携帯端末装置10は、携帯端末装置10に対する衝撃の有無の検出結果と音声信号の音量レベルの変動の有無の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合には、マイク12により収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10の落下によって倒れた場合又は携帯端末装置10の設置時に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
(第1の実施形態の変形例)
第1の実施形態では、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期で行われ、衝撃監視処理の動作周期(第1実行周期)と音量監視処理の動作周期(第2実行周期)とが既知である。このため、遅延器28は、AGC+ノイズキャンセル処理部27から出力された音声信号に固定の遅延量を付与することで、音量調整部30に入力される音声信号の入力タイミングを適切に調整できた。
第1の実施形態の変形例では、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期で行われるが、例えば音量監視処理の動作周期が既知であるが、衝撃監視処理の動作周期が既知でないため、両方の動作周期の時間差分が不定である場合を想定する。
携帯端末装置10Aは、衝撃監視部23から出力された所定数個の衝撃監視フラグと音量監視部26から出力された同数の音量監視フラグとを基に、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量を推定する。携帯端末装置10Aは、推定された遅延量の分、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させる。
図11は、第1の実施形態の変形例の携帯端末装置10Aの音声処理部16Aの内部構成を示すブロック図である。図11に示す音声処理部16Aでは、図2に示す音声処理部16の遅延器28以外の各部の構成及び動作は同一であるため、同一の符号を付して説明を省略又は簡略化する。即ち、図11に示す音声処理部16Aは、図2に示す音声処理部16の遅延器28が、遅延推定部28aと、遅延調整部28bと、遅延調整部28cとに置き換わった構成である。
遅延推定部28aは、バッファFaとバッファFbとを含み、衝撃監視部23から出力された衝撃監視フラグと音量監視部26から出力された音量監視フラグとが入力され、衝撃監視フラグをバッファFaに格納し、音量監視フラグをバッファFbに格納する。遅延推定部28aは、入力された所定数個の衝撃監視フラグ及び音量監視フラグを基に、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量の推定値を算出する。
遅延推定部28aは、算出された推定値に応じて、AGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量を遅延調整部28bに出力し、又は、衝撃監視フラグの音量調整判定部29への入力タイミングの遅延量を遅延調整部28cに出力する。遅延推定部28aの動作の詳細については図12及び図13を参照して後述する。
遅延調整部28bは、遅延推定部28aから出力された遅延量の推定値の分、AGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させて、AGC+ノイズキャンセル処理部27から出力された音声信号を音量調整部30に出力する。
遅延調整部28cは、遅延推定部28aから出力された遅延量の推定値の分、衝撃監視部23から出力された衝撃監視フラグの音量調整判定部29への入力タイミングを遅延させて、衝撃監視部23から出力された衝撃監視フラグを音量調整判定部29に出力する。
ここで、遅延推定部28aの動作の詳細の一例について、図12及び図13を参照して説明する。図12は、遅延推定部28aの動作手順の一例を説明するフローチャートである。図13は、遅延時間tと相互相関値Fabとの関係の一例を示すグラフである。
図12において、遅延推定部28aは、所定数(例えば20)個の衝撃監視フラグをバッファFaに格納し、更に、同数の音量監視フラグをバッファFbに格納しているか否かを判定する(S81)。遅延推定部28aは、所定数(例えば20)個の衝撃監視フラグをバッファFaに格納し、更に、同数の音量監視フラグをバッファFbに格納していると判定した場合に(S81、YES)、バッファFaとバッファFbとに格納された衝撃監視フラグと音量監視フラグとの相互相関値Fab,Fbaを算出する(S82、数式(1)及び数式(2)参照)。
数式(1)において、Fabは衝撃監視処理の動作周期を基準にした場合における、衝撃監視フラグと音量監視フラグとの相互相関値を表し、Fa(n)はn番目のフレームにおける衝撃監視フラグの値(「1」又は「0」)であり、Fb(n)はn番目のフレームにおける音量監視フラグの値(「1」又は「0」)である。tは遅延時間を表し、0から10までの整数である。
数式(2)において、Fbaは音量監視処理の動作周期を基準にした場合における、衝撃監視フラグと音量監視フラグとの相互相関値を表し、Fa(n)はn番目のフレームにおける衝撃監視フラグの値(「1」又は「0」)であり、Fb(n)はn番目のフレームにおける音量監視フラグの値(「1」又は「0」)である。tは遅延時間を表し、0から10までの整数である。
遅延推定部28aは、数式(1)及び数式(2)に従って算出した相互相関値Fab,Fbaのうち最大値が得られた遅延時間tを、遅延量の推定値t0として算出する(S83)。図13では、横軸は遅延時間tを表し、縦軸は相互相関値Fabを表し、遅延時間t=4の場合に相互相関値Fabの最大値が得られる。
遅延推定部28aは、ステップS83において算出した遅延量の推定値t0を遅延調整部28b又は遅延調整部28cに出力する。具体的には、遅延推定部28aは、遅延量の推定値t0が得られた相互相関値がFabである場合には、遅延量の推定値t0を遅延調整部28cに出力し、又は、遅延量の推定値t0が得られた相互相関値がFbaである場合には、遅延量の推定値t0を遅延調整部28bに出力する。
以上により、本変形例の携帯端末装置10Aは、所定回数の第2実行周期における衝撃フラグと音声監視フラグとを基に、衝撃監視フラグと音声監視フラグとが得られるタイミングの時間差を推定する。更に、携帯端末装置10は、遅延推定部28aが推定した時間差の分、衝撃監視フラグの音量調整判定部29への入力タイミング、又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させる。
これにより、携帯端末装置10Aは、例えば音量監視処理の動作周期(第2実行周期)が既知であって衝撃監視部23の動作周期が既知でないために両方の動作周期の時間差分が不定である場合でも、衝撃監視フラグと音声監視フラグとが得られるタイミングの時間差を高精度に推定できる。
更に、携帯端末装置10Aは、推定された時間差を用いて、衝撃監視フラグの音量調整判定部29への入力タイミング、又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させるので、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
なお、本変形例において、遅延推定部28aは、0から10までの遅延時間tに限らず、遅延時間tの範囲を複数種類用いて、数式(1)及び数式(2)を用いて相互相関値を算出し、所定割合以上の確率で、遅延量の推定値として同一の遅延量の推定値t0が得られた場合に、遅延量の推定値t0を用いても良い。これにより、遅延推定部28aにおける遅延量の推定精度を向上できる。
以下、上述した本発明に係る携帯端末装置の構成、作用及び効果を説明する。
本発明の一実施形態は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサと、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
この構成によれば、携帯端末装置10は、加速度センサ11における所定方向の加速度の検出値を基に携帯端末装置10に対する衝撃を検出し、マイク12により収音された音声の音声信号の音量レベルの変動を検出する。携帯端末装置10は、携帯端末装置10に対する衝撃の検出結果と音声信号の音量レベルの変動の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合に収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10の落下によって倒れた場合又は携帯端末装置10の設置時に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
また、本発明の一実施形態は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサの前記携帯端末装置への実装の有無を検出する加速度センサ実装検出部と、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの前記携帯端末装置への実装が検出された場合に、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
この構成によれば、携帯端末装置10は、先ず携帯端末装置10自身に加速度センサ11が実装(搭載)されているかどうかを検出する。携帯端末装置10は、携帯端末装置10自身に加速度センサ11が実装(搭載)されていることを検出した場合に、加速度センサ11における所定方向の加速度の検出値を基に携帯端末装置10に対する衝撃を検出し、マイク12により収音された音声の音声信号の音量レベルの変動を検出する。更に、携帯端末装置10は、携帯端末装置10に対する衝撃の検出結果と音声信号の音量レベルの変動の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合に収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10自身への加速度センサ11の実装(搭載)の有無を簡易に検出できる。更に、携帯端末装置10は、加速度センサ11の実装(搭載)が検出された場合に、携帯端末装置10の落下又は設置の際に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記衝撃監視部が、所定の第1実行周期毎に、前記携帯端末装置に対する衝撃の有無を検出し、前記携帯端末装置に対する衝撃の検出結果としての衝撃監視フラグを前記音量調整判定部に出力し、前記音量監視部が、前記第1実行周期とは異なる所定の第2実行周期毎に、前記音声信号の音量レベルの変動を検出し、前記音声信号の音量レベルの変動の検出結果としての音量監視フラグを前記音量調整判定部に出力する携帯端末装置である。
この構成によれば、衝撃監視部23における第1実行周期毎の衝撃監視処理と、音量監視部26における第2実行周期毎の音量監視処理とは非同期に行われる。衝撃監視部23は、衝撃監視処理結果として携帯端末装置10に対する衝撃を検出した場合に、携帯端末装置10に対する衝撃の検出を示す衝撃監視フラグを音量調整判定部29に出力する。また、音量監視部26は、音量監視処理結果として収音された音声信号の音量レベルの変動を検出した場合に、音量レベルの変動の検出を示す音量監視フラグを音量調整判定部29に出力する。
これにより、携帯端末装置10は、加速度センサ11の検出値を用いた衝撃監視部23における衝撃監視処理と、マイク12が収音した音声の音声信号を用いた音量監視部26における音量監視処理とを非同期にて行うことができる。なお、携帯端末装置10は、加速度センサ11の検出値を用いた衝撃監視部23における衝撃監視処理と、マイク12が収音した音声の音声信号を用いた音量監視部26における音量監視処理とを同期させて行っても良い。
また、本発明の一実施形態は、前記衝撃監視部が、前記加速度センサの検出値が所定の第1閾値以下であって、次の前記第1実行周期における前記加速度センサの検出値が前記第1閾値より大きい所定の第2閾値以上である場合には、前記携帯端末装置の落下及び倒れの検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、衝撃監視部23は、例えば重力方向(鉛直方向)の加速度を検出する加速度センサ11の検出値が第1閾値(例えば5.0)以下であれば落下状態であることを検出し、次の第1実行周期における加速度センサ11の検出値が第2閾値(例えば10.0)以上であれば携帯端末装置10が倒れたことを検出する。
これにより、衝撃監視部23は、例えば少なくとも2回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10が落下している状態と携帯端末装置10が倒れた状態とを簡易に検出できる。
また、本発明の一実施形態は、前記衝撃監視部が、前記加速度センサの検出値が所定範囲の値であって、次の前記第1実行周期における前記加速度センサの検出値が前記所定範囲の値より大きい所定の第3閾値以上であって、更に次の前記第1実行周期における前記加速度センサの検出値が前記第3閾値より小さい所定の第4閾値以下である場合には、前記携帯端末装置に対する他の物体の衝突の検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、衝撃監視部23は、例えば重力方向(鉛直方向)の加速度を検出する加速度センサ11の検出値が所定範囲の値(例えば7.0〜10.0)であって、次の第1実行周期における加速度センサ11の検出値が第3閾値(例えば12.0)以上であって、更に次の第1実行周期における加速度センサ11の検出値が第4閾値(例えば10.0)以下であった場合に、携帯端末装置10に他の物体が衝突したことを検出する。
これにより、衝撃監視部23は、例えば少なくとも3回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10に他の物体が衝突した状態を簡易に検出できる。
また、本発明の一実施形態は、前記音声監視部が、前記第2実行周期内に前記音声収音部により収音された前記音声の音声信号の音量レベルの時間軸信号を周波数軸信号に変換し、周波数帯域毎の前記音量レベルの周波数軸信号が所定の第5閾値を超える周波数帯域数が所定値以上である場合に、前記携帯端末装置の衝突音の検出を示す前記音量監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、音量監視部26は、第2実行周期内に得られた音声信号の音量レベルの周波数軸信号が所定の第5閾値(図8(B)又は図8(D)に示す点線参照)を超えた周波数帯域数が所定値以上であれば、携帯端末装置10に衝突音が生じたことを検出する。
これにより、音量監視部26は、例えば少なくとも1回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に衝突音が生じたことを簡易に検出できる。
また、本発明の一実施形態は、前記音量調整判定部が、前記衝撃監視フラグが前記携帯端末装置の落下、倒れ及び前記携帯端末装置に対する他の物体の衝突のうちいずれかの検出を示し、前記音量監視フラグが前記携帯端末装置の衝突音の検出を示す場合に、継続カウンタ値と前記第2実行周期との乗算結果の期間において、前記音声信号の音量レベルを低く調整すると判定し、前記継続カウンタ値が、所定の初期値から前記第2実行周期の期間が経過する度に1減少する、携帯端末装置である。
この構成によれば、音量調整判定部29は、衝撃監視フラグの内容が携帯端末装置10の落下、倒れ及び携帯端末装置10に対する他の物体の衝突のうちいずれかの検出を示し、且つ、音量監視フラグの内容が携帯端末装置10に対する衝突音の検出を示す場合に、継続カウンタと第2実行周期との乗算結果の期間において、音声信号の音量レベルを低く調整すると判定する。
これにより、携帯端末装置10は、衝撃監視フラグ及び音量監視フラグの内容がともに携帯端末装置10に突発的に不快音を生じさせるイベントの検出を示す場合には、第2実行周期の間に限らず、所定の初期値から第2実行周期が経過する度に1減少する継続カウンタと第2実行周期との乗算結果の期間にわたって音声信号の音量レベルを低く調整できる。従って、携帯端末装置10は、衝撃監視フラグ及び音量監視フラグの各内容に応じて、携帯端末装置10に突発的に生じた不快音の音量レベルを一定期間にわたって低減でき、相手端末を用いる他のユーザに不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記音量調整部が、前記音声収音部により収音された音声を消音する、携帯端末装置である。
この構成によれば、音量調整部30は、音量調整判定部29がマイク12により収音された音声の音声信号の音量レベルを低く調整すると判定した場合に、マイク12により収音された音声を消音(ミュート)する。
これにより、携帯端末装置10は、携帯端末装置10に突発的に不快音が生じた場合でも、相手端末を用いるユーザには不快音の音声が送信されないので不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記音声収音部により収音された音声の音声信号の前記音量調整判定部への入力タイミングを、所定期間遅延させて前記音量調整部に出力する遅延器と、を更に備える携帯端末装置である。
この構成によれば、遅延器28は、例えば衝撃監視部23に入力される加速度センサ11の検出値の入力タイミング(第1実行周期)と音量監視部26に入力される音声信号の入力タイミング(第2実行周期)との時間差が既知である場合には、音声信号の音量調整部30への入力タイミングを既知の時間差に応じて遅延させる。
これにより、携帯端末装置10は、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期に行われた場合でも、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
また、本発明の一実施形態は、所定回数の第2実行周期における前記衝撃監視フラグと前記音量監視フラグとを基に、前記衝撃監視フラグと前記音量監視フラグとが得られるタイミングの時間差を推定する遅延推定部と、前記衝撃監視フラグの前記音量調整判定部への入力タイミング、又は前記音声収音部により収音された音声の音声信号の前記音量調整部への入力タイミングを、推定された前記時間差の分遅延させる遅延調整部と、を更に備える、携帯端末装置である。
この構成によれば、遅延推定部28aは、所定回数の第2実行周期における衝撃監視フラグと音量監視フラグとを基に、衝撃監視フラグと音量監視フラグとが得られるタイミングの時間差を推定する。更に、遅延調整部28b又は遅延調整部28cは、遅延推定部28aが推定した時間差の分、衝撃監視フラグの音量調整判定部29への入力タイミング、又はマイク12により収音された音声の音声信号の音量調整部30への入力タイミングを遅延させる。
これにより、携帯端末装置10Aは、例えば音量監視処理の動作周期(第2実行周期)が既知であって衝撃監視部23の動作周期が既知でないために両方の動作周期の時間差分が不定である場合でも、衝撃監視フラグと音量監視フラグとが得られるタイミングの時間差を高精度に推定できる。更に、携帯端末装置10Aは、推定された時間差を用いて、衝撃監視フラグの音量調整判定部29への入力タイミング、又はマイク12により収音された音声の音声信号の音量調整部30への入力タイミングを遅延させるので、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。