JP2014216660A - 携帯端末装置 - Google Patents

携帯端末装置 Download PDF

Info

Publication number
JP2014216660A
JP2014216660A JP2013089551A JP2013089551A JP2014216660A JP 2014216660 A JP2014216660 A JP 2014216660A JP 2013089551 A JP2013089551 A JP 2013089551A JP 2013089551 A JP2013089551 A JP 2013089551A JP 2014216660 A JP2014216660 A JP 2014216660A
Authority
JP
Japan
Prior art keywords
terminal device
mobile terminal
unit
volume
impact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013089551A
Other languages
English (en)
Other versions
JP6210450B2 (ja
Inventor
亮太 藤井
Ryota Fujii
亮太 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013089551A priority Critical patent/JP6210450B2/ja
Publication of JP2014216660A publication Critical patent/JP2014216660A/ja
Application granted granted Critical
Publication of JP6210450B2 publication Critical patent/JP6210450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers

Landscapes

  • Telephone Function (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)

Abstract

【課題】所定方向の加速度の監視結果と収音された音声の監視結果とを用いて、落下又は設置の際の不快音を高精度に検出し、相手端末に送信される不快音の音量レベルを低減する。【解決手段】携帯端末装置10は、ネットワークを介して接続された相手端末と通話し、加速度センサ11において所定方向の加速度を検出し、マイク12において周囲の音声を収音する。衝撃監視部23は、加速度センサ11の検出値を基に、携帯端末装置10に対する衝撃を検出する。音量監視部26は、収音された音声の音声信号の音量レベルの変動を検出する。音量調整判定部29は、携帯端末装置10に対する衝撃の監視結果と音声信号の音量レベルの変動の監視結果とを基に、音声信号の音量レベルを低く調整するか否かを判定する。音量調整部30は、音量調整判定部29の判定結果に応じて、音声信号の音量レベルを低く調整する。【選択図】図3

Description

本発明は、例えば双方向型のテレビ会議に用いられ、テレビ会議の相手が用いる相手端末との間において少なくとも音声信号を送受信する携帯端末装置に関する。
近年、カメラ及びマイクを含む携帯端末装置(例えばスマートフォン又はタブレット端末)等の利用が急速に広まっている。このような携帯端末装置は、例えば企業内のテレビ会議においても利用され始めている。従来のテレビ会議では、参加者はテレビ会議用設備が備えられた専用会議室に居る必要があったが、例えばネットワークに接続された携帯端末装置を参加者が個々に用いることで、参加者は、専用会議室に居なくてもそれぞれ離れた場所においてテレビ会議に参加できる。
参加者としてのユーザは、携帯端末装置を用いてテレビ会議に参加した場合に、例えば手で携帯端末装置の筐体を把持した状態でハンズフリー通話を行うことがあるが、ユーザが誤って携帯端末装置を机の上に落とすと、携帯端末装置に内蔵されたハードディスクが損傷することがあった。
例えば、所定の状況と判断された場合に携帯端末装置に内蔵されたハードディスクへのアクセスを防ぐ先行技術として、特許文献1に示す携帯端末装置が知られている。特許文献1に示す携帯端末装置は、直交する3軸方向に作用する加速度センサを用いて各軸方向の加速度の値を検出し、更に、各軸方向の加速度の値の絶対値の和に応じて、携帯端末装置の落下検出の開始タイミングを調整する。
特許文献1に示す携帯端末装置は、落下状態であると判断した場合に、携帯端末装置に内蔵されたハードディスクドライブのヘッドを退避させる。これにより、特許文献1に示す携帯端末装置は、落下検出の開始タイミングを簡易に調整でき、落下状態であると判断した場合にはハードディスクの損傷を防ぐことができる。
特開2007−101406号公報
しかし、特許文献1に示す携帯端末装置は、携帯端末装置の自由落下を検出できるが、例えばテレビ会議においてユーザが手で筐体を把持した携帯端末装置が落下して机の上に倒れたこと、又は、他の物体が携帯端末装置にぶつかったことを検知することは困難である。
従って、携帯端末装置を用いたテレビ会議において、参加者としてのユーザが手で携帯端末装置の筐体を把持した状態でハンズフリー通話している間に、ユーザの誤操作によって携帯端末装置が落下して机の上に倒れ、又は、他の物体が携帯端末装置にぶつかった場合には、携帯端末装置は突発的に生じた大きな衝撃音を収音する。このため、テレビ会議における通話相手の携帯端末装置にも衝突音の大きな音量の音声信号が送信されてしまい、通話相手を不快な気分にさせるという課題があった。
本発明は、上述した従来の課題を解決するために、所定方向の加速度の監視結果と収音された音声の監視結果とを用いて、落下又は設置の際に生じる不快音を高精度に検出し、相手端末に送信される不快音の音量レベルを低減する携帯端末装置を提供することを目的とする。
本発明は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサと、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
また、本発明は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサの前記携帯端末装置への実装の有無を検出する加速度センサ実装検出部と、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの前記携帯端末装置への実装が検出された場合に、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
本発明によれば、所定方向の加速度の監視結果と収音された音声の監視結果とを用いて、落下又は設置の際に生じる不快音を高精度に検出でき、相手端末に送信される不快音の音量レベルを低減できる。
第1の実施形態の携帯端末装置を含むテレビ会議システムのシステム構成を示すブロック図 第1の実施形態の携帯端末装置の音声処理部の内部構成を詳細に示すブロック図 第1の実施形態の携帯端末装置の全体的な動作手順を説明するフローチャート 衝撃監視処理結果と音量監視処理結果とを用いた音量調整の処理の流れを示す説明図 衝撃監視部における衝撃監視処理として、携帯端末装置が落下して倒れたことを検出するための動作手順を詳細に説明するフローチャート 衝撃監視部における衝撃監視処理として、携帯端末装置に他の物体が衝突したことを検出するための動作手順を詳細に説明するフローチャート 音量監視部における音量監視処理の動作手順を詳細に説明するフローチャート (A)衝突音の音声信号の経時変化の一例を示すグラフ、(B)衝突音の音声信号の周波数特性の一例を示すグラフ、(C)男性の音声の音声信号の経時変化の一例を示すグラフ、(D)男性の音声の音声信号の周波数特性の一例を示すグラフ 周波数毎のパワー変動があったか否かを判定するための動作手順を詳細に説明するフローチャート 音量調整判定部における音量調整判定処理の動作手順を詳細に説明するフローチャート 第1の実施形態の変形例の携帯端末装置の音声処理部の内部構成を示すブロック図 遅延推定部の動作手順の一例を説明するフローチャート 遅延時間tと相互相関値Fabとの関係の一例を示すグラフ
以下、本発明に係る携帯端末装置の実施形態について、図面を参照して説明する。以下の実施形態の携帯端末装置は、例えば携帯電話機、スマートフォン、タブレット端末又はPDA(Personal Digital Assistant)である。
以下の実施形態では、本発明に係る携帯端末装置の使用形態の一例として、例えば企業内のテレビ会議において携帯端末装置を用いるシチュエーションを説明する。即ち、テレビ会議では、例えばテレビ会議の参加者がそれぞれ各実施形態の携帯端末装置を個々に用いる。但し、各実施形態の携帯端末装置の使用方法は以下の実施形態における使用形態に限定されない。
なお、本発明は、携帯端末装置が行う各動作(ステップ)を有する音声処理方法として表現することも可能である。更に、本発明は、コンピュータとしての携帯端末装置が行う各動作(ステップ)を、携帯端末装置に内蔵されるプロセッサ(例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor))に実行させるためのプログラムとして表現しても良い。
(第1の実施形態)
第1の実施形態では、例えば携帯端末装置10を用いたテレビ会議において、参加者としてのユーザが、携帯端末装置10の筐体を把持した状態においてテレビ会議の他の参加者とハンズフリー通話している状況を想定する。この状況において、例えばユーザの誤操作によって携帯端末装置10が机の上に落下して倒れ、又は他の物体が携帯端末装置10に衝突したとする。
例えばハンズフリー通話中に携帯端末装置10が机の上に落下しては倒れた場合、又は他の物体が携帯端末装置10に衝突した場合には、携帯端末装置10に突発的に大きな衝突音が生じるので、従来の携帯端末装置では大きな衝突音が相手端末に送信されてしまい不快な気分にさせることがあった。
そこで、本実施形態では、携帯端末装置10は、加速度センサ11における加速度の検出値の変動量を基にした衝撃監視処理と、マイク12により収音された音声の音声信号の音量レベルの変動を検出する音量監視処理とによって、マイク12により収音された音声の音声信号の音量レベルを低く調整するか否かを判定する(図3参照)。
更に、携帯端末装置10は、マイク12により収音された音声の音声信号の音量レベルを低く調整すると判定した場合には、マイク12により収音された音声の音声信号の音量レベルを低く調整する。これにより、携帯端末装置10は、上述した衝突音が突発的に生じた場合でも、通話相手が用いる相手端末に送信される不快音の音量レベルを低減できる。
次に、本実施形態の携帯端末装置10の詳細な内部構成について、図1及び図2を参照して説明する。図1は、第1の実施形態の携帯端末装置10を含むテレビ会議システム100のシステム構成を示すブロック図である。図2は、第1の実施形態の携帯端末装置10の音声処理部16の内部構成を詳細に示すブロック図である。
図1に示す携帯端末装置10は、加速度センサ11と、マイク12と、AD(Analog Digital)変換器13と、DA(Digital Analog)変換器14と、スピーカ15と、音声処理部16と、音声コーデック処理部17と、通信部18と、バッテリBTとを少なくとも含む。携帯端末装置10と、テレビ会議相手端末50とは、ネットワークNWを介して接続され、テレビ会議において相互に音声信号を送受信する。
なお、図1に示す携帯端末装置10では、テレビ会議における参加者(例えば携帯端末装置10のユーザ)の映像を撮像するカメラと、映像を表示するディスプレイと、映像に関する所定の信号処理を実行するための映像処理部と、映像を符号化又は復号するための映像コーデック処理部との図示が省略されているが、これらの各部が含まれても良い。
加速度センサ11は、予め規定された検出間隔毎に、携帯端末装置10における所定方向(例えば重力方向(鉛直方向))の加速度を検出し、加速度の検出値を音声処理部16に出力する。
音声収音部の一例としてのマイク12は、携帯端末装置10のユーザが話している間ではユーザが話す音声と周囲の音声(例えば環境音、ノイズ)とを収音し、更に、携帯端末装置10のユーザが話していない間では周囲の音声を収音する。収音された音声は、マイク12によって電気信号(音声信号)に変換されてAD変換器13に入力される。
AD変換器13は、所定のサンプリング周波数(例えば8kHz)で、マイク12により収音されたアナログの音声信号をデジタルの音声信号にAD変換し、デジタルの音声信号のサンプル値を音声処理部16に出力する。なお、AD変換器13は、音声処理部16とは異なる構成として図示されているが、音声処理部16の内部に含まれても良い。
DA変換器14は、音声処理部16から出力されたデジタルの音声信号をアナログの音声信号にDA変換し、アナログの音声信号をスピーカ15に出力する。なお、DA変換器14は、音声処理部16とは異なる構成として図示されているが、音声処理部16の内部に含まれても良い。
音声出力部の一例としてのスピーカ15は、DA変換器14から出力された音声信号が入力され、例えばテレビ会議相手端末50を用いる他の参加者が話す音声を出力する。
音声処理部16は、AD変換器13から出力された音声信号に後述する音声処理(図2参照)を行い、所定の音声処理後の音声信号を音声コーデック処理部17に出力する。なお、音声処理部16の各部は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。
また、音声処理部16は、音声コーデック処理部17から出力された復号処理後の音声信号をDA変換器14に出力する。音声処理部16の詳細な動作については後述する。
音声コーデック処理部17は、音声処理部16から出力された音声信号を符号化処理し、符号化処理後の音声信号を通信部18に出力する。なお、音声コーデック処理部17は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。なお、音声コーデック処理部17における符号化処理の方式及びその内容は、携帯端末装置10及びテレビ会議相手端末50において既知である。
また、音声コーデック処理部17は、通信部18から出力された音声信号を復号処理し、復号処理後の音声信号を音声処理部16に出力する。なお、音声コーデック処理部17における復号処理の方式及びその内容は、携帯端末装置10及びテレビ会議相手端末50において既知である。
通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する。また、通信部18は、テレビ会議相手端末50から送信された所定周波数帯の信号を受信し、受信された所定周波数帯の信号を検波及び復調して音声信号を音声コーデック処理部17に出力する。
なお、通信部18は、音声信号と映像信号とを多重化して送信しても良い。具体的には、通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号と、不図示の映像コーデック処理部から出力された符号化処理後の映像信号とを多重化し、更に、多重化後の信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する。
通信部18は、テレビ会議相手端末50から送信された所定周波数帯の信号を受信し、受信された信号を検波及び復調して音声信号と映像信号とに分離し、音声信号を音声コーデック処理部17に出力し、映像信号を不図示の映像コーデック処理部に出力する。
バッテリBTは、例えば蓄電池を用いて構成され、携帯端末装置10内の各部を駆動するための電力を供給する。なお、図1を簡単にするために、バッテリBTから携帯端末装置10内の各部への矢印の図示を省略している。
ネットワークNWは、無線ネットワークでも良いし、有線ネットワークでも良い。
テレビ会議相手端末50は、携帯端末装置10と同様の構成を有するので、構成及び動作の説明は省略する。
ここで、図2を参照して、音声処理部16の内部構成を詳細に説明する。図2に示す音声処理部16は、加速度センサ実装検出部21と、加速度入力部22と、衝撃監視部23と、マイク入力部24と、エコーキャンセル処理部25と、音量監視部26と、AGC+ノイズキャンセル処理部27と、遅延器28と、音量調整判定部29と、音量調整部30とを少なくとも含む。
加速度センサ実装検出部21は、例えば携帯端末装置10のオペレーションシステム(OS:Operating System)に、加速度センサ11が携帯端末装置10に実装(搭載)されているか否かを問い合わせることで、加速度センサ11が携帯端末装置10に実装(搭載)されているか否かを検出する。
加速度センサ実装検出部21は、加速度センサ11が携帯端末装置10に実装(搭載)されていることを検出した場合には、加速度センサ11が携帯端末装置10に実装(搭載)されている旨の加速度センサ検出信号(例えば「1」)を加速度入力部22に出力する。加速度センサ実装検出部21は、加速度センサ11が携帯端末装置10に実装(搭載)されていないことを検出した場合には、加速度センサ11が携帯端末装置10に実装(搭載)されていない旨の加速度センサ非検出信号(例えば「0」)を加速度入力部22に出力する。
加速度入力部22は、加速度センサ11から出力された加速度の検出値と、加速度センサ実装検出部21から出力された加速度センサ検出信号又は加速度センサ非検出信号とが入力される。加速度入力部22は、加速度センサ検出信号が入力された場合には、所定の第1実行周期(例えば50ms)毎に、加速度センサ11から出力された加速度の検出値を衝撃監視部23に出力する。
なお、加速度入力部22は、加速度センサ実装検出部21から加速度センサ非検出信号が入力された場合には、加速度センサ非検出信号を衝撃監視部23に出力する。また、以下の説明において、衝撃監視部23は、加速度入力部22から加速度センサ非検出信号が入力された場合には、後述する衝撃監視フラグの内容を常に「1」として生成し、衝撃監視フラグを音量調整判定部29に出力する。
衝撃監視部23は、第1実行周期(例えば50ms)毎に加速度入力部22から出力された加速度の検出値が入力され、入力された加速度の検出値を基に、携帯端末装置10に対する衝撃の有無を検出する。携帯端末装置10に対する衝撃とは、例えば携帯端末装置10が落下して倒れたことに起因して生じた衝突、又は、携帯端末装置10に他の物体が衝突したことに起因して生じた衝突が該当する。
衝撃監視部23は、第1実行周期(例えば50ms)毎の携帯端末装置10に対する衝撃の有無の検出結果(衝撃監視処理結果)として、衝撃監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。なお、衝撃監視部23の動作の詳細については、図4〜図6を参照して後述する。
マイク入力部24は、AD変換器13から出力されたデジタルの音声信号のサンプル値が所定個入力されるまで待機し、所定個(例えば160)の音声信号のサンプル値をエコーキャンセル処理部25に出力する。ここで、AD変換器13のサンプリング周波数は8kHzであって、160個の音声信号のサンプル値がマイク入力部24から出力される場合には、マイク入力部24は、第2実行周期として20(=160/8)ms毎に音声信号のサンプル値をエコーキャンセル処理部25に出力する。
エコーキャンセル処理部25は、マイク入力部24から第2実行周期(例えば20ms)毎に出力された音声信号のサンプル値が入力され、音声信号のサンプル値に含まれるエコー(反射波)成分をキャンセルするための公知のエコーキャンセル処理を行う。エコーキャンセル処理部25におけるエコーキャンセル処理は公知技術であるため、説明を省略する。エコーキャンセル処理部25は、第2実行周期毎のエコーキャンセル処理後の音声信号のサンプル値を音量監視部26及びAGC+ノイズキャンセル処理部27に出力する。
音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値を基に、音声信号の音量レベルの変動の有無を検出する。
音量監視部26は、第2実行周期(例えば20ms)毎の音声信号の音量レベルの変動の有無の検出結果(音量監視処理結果)として、音量監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。なお、音量監視部26の動作の詳細については、図7〜図9を参照して後述する。
AGC+ノイズキャンセル処理部27は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値のゲインを自動調整するための公知のAGC(Auto Gain Control)処理を行い、更に、音声信号のサンプル値に含まれるノイズ成分をキャンセルするための公知のノイズキャンセル処理を行う。
なお、AGC処理とノイズキャンセル処理との時間的順序は特に問わない。AGC+ノイズキャンセル処理部27におけるAGC処理とノイズキャンセル処理部27とは公知技術であるため、説明を省略する。AGC+ノイズキャンセル処理部27は、第2実行周期毎のAGC処理及びノイズキャンセル処理後の音声信号のサンプル値を遅延器28に出力する。
遅延器28は、第2実行周期毎にAGC+ノイズキャンセル処理部27から出力された音声信号のサンプル値の音量調整部30への入力タイミングを所定期間遅延させて、音声信号のサンプル値を音量調整部30に出力する。所定期間の遅延量は、第1実行周期(例えば50ms)と第2実行周期(例えば20ms)との時間差分が予め定まっていることに起因して規定された固定値である。
音量調整判定部29は、第1実行周期(例えば50ms)毎に衝撃監視部23から出力された衝撃監視フラグと第2実行周期(例えば20ms)毎に音量監視部26から出力された音量監視フラグとが入力される。音量調整判定部29は、第2実行周期(例えば20ms)毎に、衝撃監視フラグと音量監視フラグとを基に、音量調整部30に入力される音声信号のサンプル値の音量レベルを低く調整するか否かを判定する。音量調整判定部29は、音量調整判定結果を音量調整部30に出力する。音量調整判定部29の動作の詳細については、図10を参照して後述する。
音量調整部30は、音量調整判定部29から出力された音量調整判定結果と遅延器28から出力された音声信号とが入力される。音量調整部30は、音声信号の音量レベルを低く調整するという音量調整判定結果である場合には、遅延器28から出力された音声信号の音量レベルを低く調整して音声コーデック処理部17に出力する。なお、音量調整部30は、音声信号のサンプル値の音量レベルを低く調整する場合に、音声信号のサンプル値の音量レベルを0(ゼロ)にする、即ちマイク12により収音された音声を消音(ミュート)しても良い。
次に、本実施形態の携帯端末装置10の衝撃監視処理及び音量監視処理を含む全体的な動作手順について、図3を参照して説明する。図3は、第1の実施形態の携帯端末装置10の全体的な動作手順を説明するフローチャートである。
図3では、ステップS11からステップS14までが携帯端末装置10の衝撃監視処理に関する動作手順を表し、ステップS21からステップS27までが携帯端末装置10の音量監視処理に関する動作手順を表す。また、図3では、ステップS11からステップS14までの動作と、ステップS21からステップS27までの動作とは非同期に行われるが、同期して行われても良い。
また、図3に示すフローチャートの内容を説明する前提として、加速度センサ実装検出部21は、携帯端末装置10に加速度センサ11が実装(搭載)されていることを検出し、加速度センサ検出信号を加速度入力部22に出力している。
図3において、加速度入力部22は、第1実行周期(例えば50ms)毎に、加速度センサ11から出力された加速度の検出値を取得して衝撃監視部23に出力する(S11)。衝撃監視部23は、第1実行周期(例えば50ms)毎に加速度入力部22から出力された加速度の検出値が入力され、入力された加速度の検出値を基に、携帯端末装置10に対する衝撃の有無を検出する(S12)。衝撃監視部23は、第1実行周期(例えば50ms)毎の携帯端末装置10に対する衝撃の有無の検出結果(衝撃監視処理結果)として、衝撃監視フラグを生成して音量調整判定部29に出力する。ステップS12における衝撃監視部23の動作の詳細については図4〜図6を参照して後述する。
ステップS12の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があると(S13、YES)、図3に示す携帯端末装置10の動作は終了する。
一方、ステップS12の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求が無い場合、即ち、通話が継続する場合には(S13、NO)、加速度入力部22は、前回の加速度センサ11における加速度の検出値を取得してから第1実行周期(例えば50ms)が経過したか否かを判定する(S14)。
加速度入力部22は、前回の加速度センサ11における加速度の検出値を取得してから第1実行周期(例えば50ms)が経過したと判定した場合には(S14、YES)、次の第1実行周期(例えば50ms)における加速度センサ11における加速度の検出値を取得するので、携帯端末装置10の動作はステップS11に戻る。
即ち、ステップS13において、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があるまで、携帯端末装置10はステップS11からステップS14までの各動作を繰り返す。
また、図3において、マイク入力部24は、AD変換器13から出力されたデジタルの音声信号のサンプル値が所定個入力されるまで待機し(S21)、所定個(例えば160)の音声信号のサンプル値をエコーキャンセル処理部25に出力する。エコーキャンセル処理部25は、マイク入力部24から第2実行周期(例えば20ms)毎に出力された音声信号のサンプル値が入力され、音声信号のサンプル値に含まれるエコー(反射波)成分をキャンセルするための公知のエコーキャンセル処理を行う(S22)。エコーキャンセル処理部25は、第2実行周期毎のエコーキャンセル処理後の音声信号のサンプル値を音量監視部26及びAGC+ノイズキャンセル処理部27に出力する。
音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値を基に、音声信号の音量レベルの変動の有無を検出する(S23)。音量監視部26は、第2実行周期(例えば20ms)毎の音声信号の音量レベルの変動の有無の検出結果(音量監視処理結果)として、音量監視フラグを生成して音量調整判定部29に出力する。ステップS23における音量監視部26の動作の詳細については図7〜図9を参照して後述する。
AGC+ノイズキャンセル処理部27は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値が入力され、入力された音声信号のサンプル値のゲインを自動調整するための公知のAGC(Auto Gain Control)処理を行い、更に、音声信号のサンプル値に含まれるノイズ成分をキャンセルするための公知のノイズキャンセル処理を行う(S24)。AGC+ノイズキャンセル処理部27は、第2実行周期毎のAGC処理及びノイズキャンセル処理後の音声信号のサンプル値を遅延器28に出力する。なお、図3ではステップS23とステップS24とが実行される時間的順序は反対でも良い。
音量調整判定部29は、第1実行周期(例えば50ms)毎に衝撃監視部23から出力された衝撃監視フラグと第2実行周期(例えば20ms)毎に音量監視部26から出力された音量監視フラグとが入力され、第2実行周期(例えば20ms)毎に、衝撃監視フラグと音量監視フラグとを基に、音量調整部30に入力される音声信号のサンプル値の音量レベルを低く調整するか否かを判定する(S25)。音量調整判定部29は、音量調整判定結果を音量調整部30に出力する。ステップS25における音量調整判定部29の動作の詳細については図10を参照して説明する。
音量調整部30は、第2実行周期(例えば20ms)毎に音量調整判定部29から出力された音量調整判定結果と遅延器28から出力された音声信号とが入力され、音声信号の音量レベルを低く調整するという音量調整判定結果である場合には、遅延器28から出力された音声信号の音量レベルを低く調整して音声コーデック処理部17に出力する。音声コーデック処理部17は、音声処理部16から出力された音声信号を符号化処理し、符号化処理後の音声信号を通信部18に出力する。通信部18は、音声コーデック処理部17から出力された符号化処理後の音声信号を例えば無線通信用の所定周波数帯の信号に変換してテレビ会議相手端末50に送信する(S26)。
ステップS26の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があると(S27、YES)、図3に示す携帯端末装置10の動作は終了する。
一方、ステップS26の後、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求が無い場合、即ち、通話が継続する場合には(S27、NO)、マイク入力部24は、次の第2実行周期(例えば20ms)における音声信号のサンプル値を取得するので、携帯端末装置10の動作はステップS21に戻る。
即ち、ステップS27において、例えばテレビ会議において携帯端末装置10のユーザがテレビ会議相手端末50を用いる他の参加者との間において通話を終了するための要求があるまで、携帯端末装置10はステップS21からステップS27までの各動作を繰り返す。
次に、本実施形態の携帯端末装置10における衝撃監視処理結果と音量監視処理結果とを用いた音量調整の処理について、図4を参照して説明する。図4は、衝撃監視処理結果と音量監視処理結果とを用いた音量調整の処理の流れを示す説明図である。
図4において、衝撃監視部23は、第1実行周期(例えば50ms)毎に衝撃監視処理を行い、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。また、衝撃監視部23の動作は、第1実行周期(例えば50ms)毎に繰り返して行われる。
一方、音量監視部26は、第2実行周期(例えば20ms)毎に音量監視処理を行い、音量監視処理結果としての音量監視フラグ(例えば「1」又は「0」)を生成して音量調整判定部29に出力する。また、音量調整判定部29及び音量調整部30の動作は、音量監視部26の動作と同様に第2実行周期(例えば20ms)毎に繰り返して行われる。
従って、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とは非同期に行われるので、衝撃監視フラグと音量監視フラグとが更新されるタイミングは異なる。
(衝撃監視処理:携帯端末装置10の落下及び倒れの検出)
ここで、衝撃監視部23における衝撃監視処理として、例えば携帯端末装置10が落下して倒れたことを検出する動作の詳細について、図5を参照して説明する。図5は、衝撃監視部23における衝撃監視処理として、携帯端末装置10が落下して倒れたことを検出するための動作手順を詳細に説明するフローチャートである。
図5において、衝撃監視部23は、或る第1実行周期(図5の説明では「第1番目の第1実行周期」という)において加速度入力部22から出力された加速度の検出値が所定の第1閾値TH1(例えば5.0)以下であるか否かを判定する(S31)。
ここで、地球上の静止している物体として例えばユーザが筐体を手で把持した状態である携帯端末装置10にかかる重力方向(鉛直方向)の重力加速度は9.8[m/s]である。
従って、第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が9.8よりも小さい第1閾値TH1(例えば5.0)よりも更に小さい場合には(S31、YES)、衝撃監視部23は、携帯端末装置10が落下している状態であると判定し、衝撃監視処理における1フレーム、即ち第1実行周期(例えば50ms)が経過するまで待機する(S32)。なお、携帯端末装置10が自由落下している間に加速度センサ11が検出する加速度の検出値は0(ゼロ)である。
衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)以上であるか否かを判定する(S33)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)以上であると、携帯端末装置10は例えば落下していた状態から机の上に衝突して跳ね返った状態であると考えられる。
従って、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)以上であると判定した場合には(S33、YES)、携帯端末装置10は例えば落下していた状態から机の上に衝突して跳ね返った状態であると判定し、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S34)。
なお、図5において衝撃監視フラグの内容が「1」であるとは、例えば携帯端末装置10が落下していた状態と物体(例えば机)に衝突した状態との両方が検出されたことを表し、衝撃監視フラグの内容が「0」であるとは、例えば携帯端末装置10が落下していた状態と物体に衝突した状態との両方は検出されていないことを表す。
ステップS34の後、衝撃監視部23は、例えば10フレーム、即ち10回分の第1実行周期が経過するまで衝撃監視フラグの内容(例えば「1」)を保持した後(S35)、衝撃監視フラグの内容を「0」に更新する(S36)。ステップS36の後、衝撃監視部23は、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
一方、第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(例えば5.0)を超える場合には(S31、NO)、携帯端末装置10は落下している状態であるとは考えられないので、衝撃監視部23は、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。同様に、ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
また、ステップS33において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第2閾値TH2(例えば10.0)未満であると判定した場合には(S33、NO)、同検出値が所定の第3閾値TH3(例えば8.0)以上であるか否かを判定する(S38)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)未満であるが第3閾値TH3(8.0)以上であると、携帯端末装置10は他の物体に衝突せずに落下が終了する状態であると考えられる。
また、例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第1閾値TH1(5.0)以下であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第2閾値TH2(10.0)未満であって更に第3閾値TH3(8.0)未満であると、携帯端末装置10は落下を継続している状態であると考えられる。
従って、ステップS38において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第3閾値TH3(例えば8.0)以上であると判定した場合には(S38、YES)、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S37)。同様に、ステップS37の後、衝撃監視部23の動作はステップS31に戻る。
また、ステップS38において、衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第3閾値TH3(例えば8.0)未満であると判定した場合には(S38、NO)、携帯端末装置10が落下している状態が継続しているので、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S32)。
これにより、衝撃監視部23は、例えば少なくとも2回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10が落下している状態と携帯端末装置10が倒れた状態とを簡易に検出できる。
(衝撃監視処理:携帯端末装置10に対する他の物体の衝突の検出)
ここで、衝撃監視部23における衝撃監視処理として、例えば携帯端末装置10に対する他の物体の衝突を検出する動作の詳細について、図6を参照して説明する。図6は、衝撃監視部23における衝撃監視処理として、携帯端末装置10に他の物体が衝突したことを検出するための動作手順を詳細に説明するフローチャートである。
図6において、衝撃監視部23は、或る第1実行周期(図6の説明では「第1番目の第1実行周期」という)において加速度入力部22から出力された加速度の検出値が所定範囲の値(例えば第4閾値TH4以上であって第5閾値TH5以下の値)であるか否かを判定する(S41)。例えば、第4閾値TH4は7.0であり、第5閾値TH5は10.0である。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲の値であると、携帯端末装置10は安定した状態であると考えられる。安定した状態とは、例えばユーザが携帯端末装置10の筐体を手で把持した状態のように移動していない状態、又は落下していない状態が該当する。
衝撃監視部23は、ステップS41において加速度の検出値が所定範囲の値ではないと判定した場合には(S41、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS41において加速度の検出値が所定範囲の値であると判定した場合には(S41、YES)、携帯端末装置10が安定した状態であると判定し、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S43)。
衝撃監視部23は、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第6閾値TH6(例えば12.0)以上であるか否かを判定する(S44)。
衝撃監視部23は、ステップS44において加速度の検出値が第6閾値TH6未満であると判定した場合には(S44、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。同様に、ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS44において加速度の検出値が第6閾値TH6以上であると判定した場合には(S44、YES)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S45)。
衝撃監視部23は、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定の第7閾値TH7(例えば10.0)以下であるか否かを判定する(S46)。
例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲(7.0〜10.0)の値であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上であり、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第7閾値TH7(10.0)以下であるとする。
この場合、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上となった時点で、他の物体が携帯端末装置10に衝突したと考えられる。他の物体が携帯端末装置10に衝突した後は、携帯端末装置10の加速度は減少していくので、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値は第7閾値TH7(10.0)以下になると考えられる。
更に、例えば第1番目の第1実行周期において加速度入力部22から出力された加速度の検出値が所定範囲(7.0〜10.0)の値であり、第2番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第6閾値TH6(12.0)以上であるが、第3番目の第1実行周期において加速度入力部22から出力された加速度の検出値が第7閾値TH7(10.0)未満とする。
この場合、例えばユーザが携帯端末装置10の筐体を手で把持した状態にて上下方向又は左右方向に振った状態と考えられる。即ち、図6に示すステップS46は、携帯端末装置10が、携帯端末装置10に対する他の物体の衝突を検出したのか、ユーザが携帯端末装置10の筐体を手で把持した状態にて上下方向又は左右方向に振った状態を検出したのかを区別するために設けられている。
従って、携帯端末装置10は、ステップS46に示す加速度の検出値と第7閾値TH7との比較によって、携帯端末装置10に対する他の物体の衝突を検出したのか、ユーザが携帯端末装置10の筐体を手で把持した状態にて振った状態を検出したのかを誤判定することなく、明確に区別して判定できる。
衝撃監視部23は、ステップS46において加速度の検出値が第7閾値TH7未満であると判定した場合には(S46、NO)、衝撃監視処理における1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。同様に、ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
一方、衝撃監視部23は、ステップS46において加速度の検出値が第7閾値TH7以上であると判定した場合には(S46、YES)、携帯端末装置10に他の物体が衝突した状態であると判定し、衝撃監視処理結果としての衝撃監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S47)。
なお、図6において衝撃監視フラグの内容が「1」であるとは、例えば携帯端末装置10に対して他の物体が衝突したことが検出されたことを表し、衝撃監視フラグの内容が「0」であるとは、例えば携帯端末装置10に対して他の物体が衝突したことが検出されていないことを表す。
ステップS47の後、衝撃監視部23は、例えば10フレーム、即ち10回分の第1実行周期が経過するまで衝撃監視フラグの内容(例えば「1」)を保持した後(S48)、衝撃監視フラグの内容を「0」に更新する(S49)。ステップS49の後、衝撃監視部23は、1フレーム、即ち1回分の第1実行周期が経過するまで待機する(S42)。ステップS42の後、衝撃監視部23の動作はステップS41に戻る。
これにより、衝撃監視部23は、例えば少なくとも3回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10に他の物体が衝突した状態を簡易に検出できる。
(音量監視処理:携帯端末装置10における衝突音の検出)
次に、音量監視部26における音量監視処理として、例えば携帯端末装置10における衝突音を検出する動作の第1例の詳細について、図7及び図8を参照して説明する。図7は、音量監視部26における音量監視処理の動作手順を詳細に説明するフローチャートである。図7に示すフローチャートの各動作は、音量監視部26によって第2実行周期(例えば20ms)毎に行われる。
図8(A)は、衝突音の音声信号の経時変化の一例を示すグラフである。図8(B)は、衝突音の音声信号の周波数特性の一例を示すグラフである。図8(C)は、男性の音声の音声信号の経時変化の一例を示すグラフである。図8(D)は、男性の音声の音声信号の周波数特性の一例を示すグラフである。
図7において、音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値に対して128ポイントの高速フーリエ変換(FFT:Fast Fourier Transform)処理を行うことで、音声信号の音量レベルの時間軸信号を周波数軸信号に変換する(S51)。
音量監視部26は、FFT処理後の所定の周波数帯域毎の音声信号の音量レベルを基に、周波数帯域毎の音声信号の音量レベルの変動の有無を監視し(S52)、例えば周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数をカウントする。音量監視部26は、ステップS52における音量監視処理結果として、周波数帯域毎の音声信号の音量レベルが第8閾値TH8を超える周波数帯域数が所定値N(N:規定された整数)以上であるか否かを判定する(S53)。
例えば図8(A)に示す衝突音(「トン」という音)の時間軸信号が携帯端末装置10により検出される場合には、ステップS51におけるFFT処理後の周波数軸信号は、図8(B)に示すように、周波数帯域毎の音声信号の音量レベルは所定の第8閾値TH8を超える周波数帯域数がN(例えば15)を超えている。
一方、例えば図8(C)に示す男性の音声(「ごしょうかいしましょう」という音)の時間軸信号が携帯端末装置10により検出される場合には、ステップS51におけるFFT処理後の周波数軸信号は、図8(D)に示すように、周波数帯域毎の音声信号の音量レベルは所定の第8閾値TH8を超える周波数帯域数がN(例えば15)を超えない。
従って、音量監視部26は、ステップS53において周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数がN未満であると判定した場合には(S53、NO)、音量監視処理における1フレーム、即ち1回分の第2実行周期が経過するまで待機する(S54)。ステップS54の後、音量監視部26の動作はステップS51に戻る。
一方、音量監視部26は、ステップS53において周波数帯域毎の音声信号の音量レベルが所定の第8閾値TH8を超える周波数帯域数がN以上であると判定した場合には(S53、YES)、携帯端末装置10に衝突音が生じたと判定し、音量監視処理結果としての音量監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S55)。
なお、図7において音量監視フラグの内容が「1」であるとは、例えば携帯端末装置10に何かしらの衝突音が突発的に生じたことを表し、音量監視フラグの内容が「0」であるとは、例えば携帯端末装置10に何かしらの衝突音が突発的に生じていないことを表す。
ステップS55の後、音量監視部26は、例えば3フレーム、即ち3回分の第2実行周期が経過するまで音量監視フラグの内容(例えば「1」)を保持した後(S56)、音量監視フラグの内容を「0」に更新する(S57)。ステップS57の後、音量監視部26は、1フレーム、即ち1回分の第2実行周期が経過するまで待機する(S54)。同様に、ステップS54の後、音量監視部26の動作はステップS51に戻る。
これにより、音量監視部26は、例えば少なくとも1回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に突発的に衝突音が生じたことを簡易に検出できる。また、音量監視部26は、周波数帯域毎の音声信号の音量レベルの周波数軸信号を用いるので、マイク12により収音された音声の白色性の影響を抑制して、人の音声であるのか又は突発的に生じた衝突音であるかを高精度に判定できる。
(音量監視処理:携帯端末装置10における衝突音の検出)
次に、音量監視部26における音量監視処理として、例えば携帯端末装置10における衝突音を検出する動作の第2例の詳細について、図9を参照して説明する。図9は、周波数毎のパワー変動があったか否かを判定するための動作手順を詳細に説明するフローチャートである。図9に示すフローチャートの各動作は、音量監視部26によって第2実行周期(例えば20ms)毎に行われる。
図9において、音量監視部26は、第2実行周期(例えば20ms)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値を基に、音量レベルの瞬時パワー値を算出する(S61)。なお、ステップS61における音声信号のサンプル値を用いた音量レベルの瞬時パワー値の算出方法は公知技術であるため、説明は省略する。
更に、音量監視部26は、所定期間(例えば数回前からの現在までの複数回における第2実行期間)毎にエコーキャンセル処理部25から出力された音声信号のサンプル値を基に、音量レベルの平均パワー値を算出する(S62)。なお、ステップS62における音声信号のサンプル値を用いた音量レベルの平均パワー値の算出方法は公知技術であるため、説明は省略する。
音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きいか否かを判定する(S63)。kは固定パラメータであり、例えば2以上10以下の実数である。
例えばステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きい場合には、携帯端末装置10に突発的に衝突音のような大きな音声が生じたと考えられる。
一方、例えばステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍以下である場合には、携帯端末装置10に突発的に衝突音のような大きな音声が生じていないと考えられる。
従って、音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍より大きいと判定した場合には(S63、YES)、携帯端末装置10に突発的に衝突音のような大きな音声が生じたと判定し、音量監視処理結果としての音量監視フラグ(例えば「1」)を生成して音量調整判定部29に出力する(S64)。
一方、音量監視部26は、ステップS61において算出した瞬時パワー値がステップS62において算出した平均パワー値のk倍以下であると判定した場合には(S63、NO)、携帯端末装置10に突発的に衝突音のような大きな音が生じていないと判定し、音量監視処理結果としての音量監視フラグ(例えば「0」)を生成して音量調整判定部29に出力する(S64)。
これにより、音量監視部26は、例えば少なくとも数回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に突発的に衝突音が生じたことを簡易に検出できる。
(音量調整判定処理:音量レベルを低く調整するか否かの判定処理)
次に、音量調整判定部29における音量調整判定処理について、図10を参照して説明する。図10は、音量調整判定部29における音量調整判定処理の動作手順を詳細に説明するフローチャートである。図10に示すフローチャートの各動作は、音量調整判定部29によって第2実行周期(例えば20ms)毎に行われる。
図10において、音量調整判定部29は、継続カウンタ値が0より大きいか否かを判定する(S71)。
ここで、継続カウンタ値について簡単に説明する。
継続カウンタ値は、初期値が所定の整数(例えば5、10)であって、初期値から0までの範囲の整数であり、ステップS71における判定時において0でない場合には、音量調整判定部29により1つずつ減少されるパラメータである。更に、継続カウンタ値は、衝撃監視部23における衝撃監視処理結果としての衝撃監視フラグの内容が「1」であり、且つ、音量監視部26における音量監視処理結果としての音量監視フラグの内容が「1」である場合に、複数回の第2実行周期の期間にわたって音声信号の音量レベルを低く調整する状態を継続させるために設けられたパラメータである。
音量調整判定部29は、継続カウンタが0より大きくない場合、即ち継続カウンタが0である場合には(S71、NO)、衝撃監視部23から出力された衝撃監視フラグが「1」であるか否かを判定する(S72)。衝撃監視フラグが「1」でないと判定された場合には(S72、NO)、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
音量調整判定部29は、衝撃監視フラグが「1」であると判定した場合には(S72、YES)、音量監視部26から出力された音量監視フラグが「1」であるか否かを判定する(S73)。音量監視フラグが「1」でないと判定された場合には(S73、NO)、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
音量調整判定部29は、音量監視フラグが「1」であると判定した場合には(S73、YES)、現在0である継続カウンタ値に初期値(例えば10)を設定し(S74)、設定された継続カウンタ値と第2実行周期(例えば20ms)との乗算結果の期間にわたって音量レベルを低く調整すると判定する(S75)。ステップS75の後、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
一方、ステップS71において継続カウンタ値が0より大きいと判定された場合には(S71、YES)、音量調整判定部29は継続カウンタ値を1つデクリメントする(S76)。即ち、継続カウンタ値が0になるまで、音声信号の音量レベルが低く調整された状態が継続する。ステップS76の後、図10に示す音量調整判定部29の動作は終了し、図3に示すステップS25の動作が行われる。
以上により、本実施形態の携帯端末装置10は、加速度センサ11における所定方向(例えば重力方向、鉛直方向)の加速度の検出値を用いて、携帯端末装置10に対する衝撃の有無を検出し、更に、マイク12により収音された音声の音声信号の音量レベルの変動の有無を検出する。携帯端末装置10は、携帯端末装置10に対する衝撃の有無の検出結果と音声信号の音量レベルの変動の有無の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合には、マイク12により収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10の落下によって倒れた場合又は携帯端末装置10の設置時に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
(第1の実施形態の変形例)
第1の実施形態では、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期で行われ、衝撃監視処理の動作周期(第1実行周期)と音量監視処理の動作周期(第2実行周期)とが既知である。このため、遅延器28は、AGC+ノイズキャンセル処理部27から出力された音声信号に固定の遅延量を付与することで、音量調整部30に入力される音声信号の入力タイミングを適切に調整できた。
第1の実施形態の変形例では、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期で行われるが、例えば音量監視処理の動作周期が既知であるが、衝撃監視処理の動作周期が既知でないため、両方の動作周期の時間差分が不定である場合を想定する。
携帯端末装置10Aは、衝撃監視部23から出力された所定数個の衝撃監視フラグと音量監視部26から出力された同数の音量監視フラグとを基に、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量を推定する。携帯端末装置10Aは、推定された遅延量の分、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させる。
図11は、第1の実施形態の変形例の携帯端末装置10Aの音声処理部16Aの内部構成を示すブロック図である。図11に示す音声処理部16Aでは、図2に示す音声処理部16の遅延器28以外の各部の構成及び動作は同一であるため、同一の符号を付して説明を省略又は簡略化する。即ち、図11に示す音声処理部16Aは、図2に示す音声処理部16の遅延器28が、遅延推定部28aと、遅延調整部28bと、遅延調整部28cとに置き換わった構成である。
遅延推定部28aは、バッファFaとバッファFbとを含み、衝撃監視部23から出力された衝撃監視フラグと音量監視部26から出力された音量監視フラグとが入力され、衝撃監視フラグをバッファFaに格納し、音量監視フラグをバッファFbに格納する。遅延推定部28aは、入力された所定数個の衝撃監視フラグ及び音量監視フラグを基に、衝撃監視フラグの音量調整判定部29への入力タイミング又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量の推定値を算出する。
遅延推定部28aは、算出された推定値に応じて、AGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングの遅延量を遅延調整部28bに出力し、又は、衝撃監視フラグの音量調整判定部29への入力タイミングの遅延量を遅延調整部28cに出力する。遅延推定部28aの動作の詳細については図12及び図13を参照して後述する。
遅延調整部28bは、遅延推定部28aから出力された遅延量の推定値の分、AGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させて、AGC+ノイズキャンセル処理部27から出力された音声信号を音量調整部30に出力する。
遅延調整部28cは、遅延推定部28aから出力された遅延量の推定値の分、衝撃監視部23から出力された衝撃監視フラグの音量調整判定部29への入力タイミングを遅延させて、衝撃監視部23から出力された衝撃監視フラグを音量調整判定部29に出力する。
ここで、遅延推定部28aの動作の詳細の一例について、図12及び図13を参照して説明する。図12は、遅延推定部28aの動作手順の一例を説明するフローチャートである。図13は、遅延時間tと相互相関値Fabとの関係の一例を示すグラフである。
図12において、遅延推定部28aは、所定数(例えば20)個の衝撃監視フラグをバッファFaに格納し、更に、同数の音量監視フラグをバッファFbに格納しているか否かを判定する(S81)。遅延推定部28aは、所定数(例えば20)個の衝撃監視フラグをバッファFaに格納し、更に、同数の音量監視フラグをバッファFbに格納していると判定した場合に(S81、YES)、バッファFaとバッファFbとに格納された衝撃監視フラグと音量監視フラグとの相互相関値Fab,Fbaを算出する(S82、数式(1)及び数式(2)参照)。
Figure 2014216660
Figure 2014216660
数式(1)において、Fabは衝撃監視処理の動作周期を基準にした場合における、衝撃監視フラグと音量監視フラグとの相互相関値を表し、Fa(n)はn番目のフレームにおける衝撃監視フラグの値(「1」又は「0」)であり、Fb(n)はn番目のフレームにおける音量監視フラグの値(「1」又は「0」)である。tは遅延時間を表し、0から10までの整数である。
数式(2)において、Fbaは音量監視処理の動作周期を基準にした場合における、衝撃監視フラグと音量監視フラグとの相互相関値を表し、Fa(n)はn番目のフレームにおける衝撃監視フラグの値(「1」又は「0」)であり、Fb(n)はn番目のフレームにおける音量監視フラグの値(「1」又は「0」)である。tは遅延時間を表し、0から10までの整数である。
遅延推定部28aは、数式(1)及び数式(2)に従って算出した相互相関値Fab,Fbaのうち最大値が得られた遅延時間tを、遅延量の推定値t0として算出する(S83)。図13では、横軸は遅延時間tを表し、縦軸は相互相関値Fabを表し、遅延時間t=4の場合に相互相関値Fabの最大値が得られる。
遅延推定部28aは、ステップS83において算出した遅延量の推定値t0を遅延調整部28b又は遅延調整部28cに出力する。具体的には、遅延推定部28aは、遅延量の推定値t0が得られた相互相関値がFabである場合には、遅延量の推定値t0を遅延調整部28cに出力し、又は、遅延量の推定値t0が得られた相互相関値がFbaである場合には、遅延量の推定値t0を遅延調整部28bに出力する。
以上により、本変形例の携帯端末装置10Aは、所定回数の第2実行周期における衝撃フラグと音声監視フラグとを基に、衝撃監視フラグと音声監視フラグとが得られるタイミングの時間差を推定する。更に、携帯端末装置10は、遅延推定部28aが推定した時間差の分、衝撃監視フラグの音量調整判定部29への入力タイミング、又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させる。
これにより、携帯端末装置10Aは、例えば音量監視処理の動作周期(第2実行周期)が既知であって衝撃監視部23の動作周期が既知でないために両方の動作周期の時間差分が不定である場合でも、衝撃監視フラグと音声監視フラグとが得られるタイミングの時間差を高精度に推定できる。
更に、携帯端末装置10Aは、推定された時間差を用いて、衝撃監視フラグの音量調整判定部29への入力タイミング、又はAGC+ノイズキャンセル処理部27から出力された音声信号の音量調整部30への入力タイミングを遅延させるので、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
なお、本変形例において、遅延推定部28aは、0から10までの遅延時間tに限らず、遅延時間tの範囲を複数種類用いて、数式(1)及び数式(2)を用いて相互相関値を算出し、所定割合以上の確率で、遅延量の推定値として同一の遅延量の推定値t0が得られた場合に、遅延量の推定値t0を用いても良い。これにより、遅延推定部28aにおける遅延量の推定精度を向上できる。
以下、上述した本発明に係る携帯端末装置の構成、作用及び効果を説明する。
本発明の一実施形態は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサと、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
この構成によれば、携帯端末装置10は、加速度センサ11における所定方向の加速度の検出値を基に携帯端末装置10に対する衝撃を検出し、マイク12により収音された音声の音声信号の音量レベルの変動を検出する。携帯端末装置10は、携帯端末装置10に対する衝撃の検出結果と音声信号の音量レベルの変動の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合に収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10の落下によって倒れた場合又は携帯端末装置10の設置時に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
また、本発明の一実施形態は、ネットワークを介して接続された相手端末と通信する携帯端末装置であって、所定方向の加速度を検出する加速度センサの前記携帯端末装置への実装の有無を検出する加速度センサ実装検出部と、前記携帯端末装置の周囲の音声を収音する音声収音部と、前記加速度センサの前記携帯端末装置への実装が検出された場合に、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える携帯端末装置である。
この構成によれば、携帯端末装置10は、先ず携帯端末装置10自身に加速度センサ11が実装(搭載)されているかどうかを検出する。携帯端末装置10は、携帯端末装置10自身に加速度センサ11が実装(搭載)されていることを検出した場合に、加速度センサ11における所定方向の加速度の検出値を基に携帯端末装置10に対する衝撃を検出し、マイク12により収音された音声の音声信号の音量レベルの変動を検出する。更に、携帯端末装置10は、携帯端末装置10に対する衝撃の検出結果と音声信号の音量レベルの変動の検出結果とを基に、音声信号の音量レベルを低く調整するか否かを判定し、低く調整すると判定した場合に収音された音声の音声信号の音量レベルを低く調整する。
これにより、携帯端末装置10は、携帯端末装置10自身への加速度センサ11の実装(搭載)の有無を簡易に検出できる。更に、携帯端末装置10は、加速度センサ11の実装(搭載)が検出された場合に、携帯端末装置10の落下又は設置の際に突発的に生じる不快音を高精度に検出でき、通話相手としての相手端末に送信される不快音の音声信号の音量レベルを低減でき、通話相手を不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記衝撃監視部が、所定の第1実行周期毎に、前記携帯端末装置に対する衝撃の有無を検出し、前記携帯端末装置に対する衝撃の検出結果としての衝撃監視フラグを前記音量調整判定部に出力し、前記音量監視部が、前記第1実行周期とは異なる所定の第2実行周期毎に、前記音声信号の音量レベルの変動を検出し、前記音声信号の音量レベルの変動の検出結果としての音量監視フラグを前記音量調整判定部に出力する携帯端末装置である。
この構成によれば、衝撃監視部23における第1実行周期毎の衝撃監視処理と、音量監視部26における第2実行周期毎の音量監視処理とは非同期に行われる。衝撃監視部23は、衝撃監視処理結果として携帯端末装置10に対する衝撃を検出した場合に、携帯端末装置10に対する衝撃の検出を示す衝撃監視フラグを音量調整判定部29に出力する。また、音量監視部26は、音量監視処理結果として収音された音声信号の音量レベルの変動を検出した場合に、音量レベルの変動の検出を示す音量監視フラグを音量調整判定部29に出力する。
これにより、携帯端末装置10は、加速度センサ11の検出値を用いた衝撃監視部23における衝撃監視処理と、マイク12が収音した音声の音声信号を用いた音量監視部26における音量監視処理とを非同期にて行うことができる。なお、携帯端末装置10は、加速度センサ11の検出値を用いた衝撃監視部23における衝撃監視処理と、マイク12が収音した音声の音声信号を用いた音量監視部26における音量監視処理とを同期させて行っても良い。
また、本発明の一実施形態は、前記衝撃監視部が、前記加速度センサの検出値が所定の第1閾値以下であって、次の前記第1実行周期における前記加速度センサの検出値が前記第1閾値より大きい所定の第2閾値以上である場合には、前記携帯端末装置の落下及び倒れの検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、衝撃監視部23は、例えば重力方向(鉛直方向)の加速度を検出する加速度センサ11の検出値が第1閾値(例えば5.0)以下であれば落下状態であることを検出し、次の第1実行周期における加速度センサ11の検出値が第2閾値(例えば10.0)以上であれば携帯端末装置10が倒れたことを検出する。
これにより、衝撃監視部23は、例えば少なくとも2回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10が落下している状態と携帯端末装置10が倒れた状態とを簡易に検出できる。
また、本発明の一実施形態は、前記衝撃監視部が、前記加速度センサの検出値が所定範囲の値であって、次の前記第1実行周期における前記加速度センサの検出値が前記所定範囲の値より大きい所定の第3閾値以上であって、更に次の前記第1実行周期における前記加速度センサの検出値が前記第3閾値より小さい所定の第4閾値以下である場合には、前記携帯端末装置に対する他の物体の衝突の検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、衝撃監視部23は、例えば重力方向(鉛直方向)の加速度を検出する加速度センサ11の検出値が所定範囲の値(例えば7.0〜10.0)であって、次の第1実行周期における加速度センサ11の検出値が第3閾値(例えば12.0)以上であって、更に次の第1実行周期における加速度センサ11の検出値が第4閾値(例えば10.0)以下であった場合に、携帯端末装置10に他の物体が衝突したことを検出する。
これにより、衝撃監視部23は、例えば少なくとも3回分の第1実行周期において得られた重力方向(鉛直方向)の加速度の検出値を基に、携帯端末装置10に他の物体が衝突した状態を簡易に検出できる。
また、本発明の一実施形態は、前記音声監視部が、前記第2実行周期内に前記音声収音部により収音された前記音声の音声信号の音量レベルの時間軸信号を周波数軸信号に変換し、周波数帯域毎の前記音量レベルの周波数軸信号が所定の第5閾値を超える周波数帯域数が所定値以上である場合に、前記携帯端末装置の衝突音の検出を示す前記音量監視フラグを前記音量調整判定部に出力する、携帯端末装置である。
この構成によれば、音量監視部26は、第2実行周期内に得られた音声信号の音量レベルの周波数軸信号が所定の第5閾値(図8(B)又は図8(D)に示す点線参照)を超えた周波数帯域数が所定値以上であれば、携帯端末装置10に衝突音が生じたことを検出する。
これにより、音量監視部26は、例えば少なくとも1回分の第2実行周期において収音された音声の音声信号の音量レベルの周波数軸信号を基に、携帯端末装置10に衝突音が生じたことを簡易に検出できる。
また、本発明の一実施形態は、前記音量調整判定部が、前記衝撃監視フラグが前記携帯端末装置の落下、倒れ及び前記携帯端末装置に対する他の物体の衝突のうちいずれかの検出を示し、前記音量監視フラグが前記携帯端末装置の衝突音の検出を示す場合に、継続カウンタ値と前記第2実行周期との乗算結果の期間において、前記音声信号の音量レベルを低く調整すると判定し、前記継続カウンタ値が、所定の初期値から前記第2実行周期の期間が経過する度に1減少する、携帯端末装置である。
この構成によれば、音量調整判定部29は、衝撃監視フラグの内容が携帯端末装置10の落下、倒れ及び携帯端末装置10に対する他の物体の衝突のうちいずれかの検出を示し、且つ、音量監視フラグの内容が携帯端末装置10に対する衝突音の検出を示す場合に、継続カウンタと第2実行周期との乗算結果の期間において、音声信号の音量レベルを低く調整すると判定する。
これにより、携帯端末装置10は、衝撃監視フラグ及び音量監視フラグの内容がともに携帯端末装置10に突発的に不快音を生じさせるイベントの検出を示す場合には、第2実行周期の間に限らず、所定の初期値から第2実行周期が経過する度に1減少する継続カウンタと第2実行周期との乗算結果の期間にわたって音声信号の音量レベルを低く調整できる。従って、携帯端末装置10は、衝撃監視フラグ及び音量監視フラグの各内容に応じて、携帯端末装置10に突発的に生じた不快音の音量レベルを一定期間にわたって低減でき、相手端末を用いる他のユーザに不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記音量調整部が、前記音声収音部により収音された音声を消音する、携帯端末装置である。
この構成によれば、音量調整部30は、音量調整判定部29がマイク12により収音された音声の音声信号の音量レベルを低く調整すると判定した場合に、マイク12により収音された音声を消音(ミュート)する。
これにより、携帯端末装置10は、携帯端末装置10に突発的に不快音が生じた場合でも、相手端末を用いるユーザには不快音の音声が送信されないので不快な気分にさせることを回避できる。
また、本発明の一実施形態は、前記音声収音部により収音された音声の音声信号の前記音量調整判定部への入力タイミングを、所定期間遅延させて前記音量調整部に出力する遅延器と、を更に備える携帯端末装置である。
この構成によれば、遅延器28は、例えば衝撃監視部23に入力される加速度センサ11の検出値の入力タイミング(第1実行周期)と音量監視部26に入力される音声信号の入力タイミング(第2実行周期)との時間差が既知である場合には、音声信号の音量調整部30への入力タイミングを既知の時間差に応じて遅延させる。
これにより、携帯端末装置10は、衝撃監視部23における衝撃監視処理と音量監視部26における音量監視処理とが非同期に行われた場合でも、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
また、本発明の一実施形態は、所定回数の第2実行周期における前記衝撃監視フラグと前記音量監視フラグとを基に、前記衝撃監視フラグと前記音量監視フラグとが得られるタイミングの時間差を推定する遅延推定部と、前記衝撃監視フラグの前記音量調整判定部への入力タイミング、又は前記音声収音部により収音された音声の音声信号の前記音量調整部への入力タイミングを、推定された前記時間差の分遅延させる遅延調整部と、を更に備える、携帯端末装置である。
この構成によれば、遅延推定部28aは、所定回数の第2実行周期における衝撃監視フラグと音量監視フラグとを基に、衝撃監視フラグと音量監視フラグとが得られるタイミングの時間差を推定する。更に、遅延調整部28b又は遅延調整部28cは、遅延推定部28aが推定した時間差の分、衝撃監視フラグの音量調整判定部29への入力タイミング、又はマイク12により収音された音声の音声信号の音量調整部30への入力タイミングを遅延させる。
これにより、携帯端末装置10Aは、例えば音量監視処理の動作周期(第2実行周期)が既知であって衝撃監視部23の動作周期が既知でないために両方の動作周期の時間差分が不定である場合でも、衝撃監視フラグと音量監視フラグとが得られるタイミングの時間差を高精度に推定できる。更に、携帯端末装置10Aは、推定された時間差を用いて、衝撃監視フラグの音量調整判定部29への入力タイミング、又はマイク12により収音された音声の音声信号の音量調整部30への入力タイミングを遅延させるので、音量調整判定部29の判定結果に応じた音声信号の音量調整を適切に実行できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、所定方向の加速度の監視結果と収音された音声の監視結果とを用いて、落下又は設置の際の不快音を高精度に検出し、相手端末に送信される不快音の音量レベルを低減する携帯端末装置として有用であり、例えば携帯電話機、スマートフォン又はタブレット端末が該当する。
10、10A 携帯端末装置
11 加速度センサ
12 マイク
13 AD変換器
14 DA変換器
15 スピーカ
16、16A 音声処理部
17 音声コーデック処理部
18 通信部
21 加速度センサ実装検出部
22 加速度入力部
23 衝撃監視部
24 マイク入力部
25 エコーキャンセル処理部
26 音量監視部
27 AGC+ノイズキャンセル処理部
28 遅延器
28a 遅延推定部
28b、28c 遅延調整部
29 音量調整判定部
30 音量調整部

Claims (10)

  1. ネットワークを介して接続された相手端末と通信する携帯端末装置であって、
    所定方向の加速度を検出する加速度センサと、
    前記携帯端末装置の周囲の音声を収音する音声収音部と、
    前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、
    前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、
    前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、
    前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える、
    携帯端末装置。
  2. ネットワークを介して接続された相手端末と通信する携帯端末装置であって、
    所定方向の加速度を検出する加速度センサの前記携帯端末装置への実装の有無を検出する加速度センサ実装検出部と、
    前記携帯端末装置の周囲の音声を収音する音声収音部と、
    前記加速度センサの前記携帯端末装置への実装が検出された場合に、前記加速度センサの検出値を基に、前記携帯端末装置に対する衝撃を検出する衝撃監視部と、
    前記音声収音部により収音された前記携帯端末装置の周囲の音声の音声信号を基に、前記音声信号の音量レベルの変動を検出する音量監視部と、
    前記携帯端末装置に対する衝撃の検出結果と前記音声信号の音量レベルの変動の検出結果とを基に、前記音声信号の音量レベルを低く調整するか否かを判定する音量調整判定部と、
    前記音量調整判定部の判定結果に応じて、前記音声信号の音量レベルを低く調整する音量調整部と、を備える、
    携帯端末装置。
  3. 請求項1又は2に記載の携帯端末装置であって、
    前記衝撃監視部は、
    所定の第1実行周期毎に、前記携帯端末装置に対する衝撃の有無を検出し、前記携帯端末装置に対する衝撃の検出結果としての衝撃監視フラグを前記音量調整判定部に出力し、
    前記音量監視部は、
    前記第1実行周期とは異なる所定の第2実行周期毎に、前記音声信号の音量レベルの変動を検出し、前記音声信号の音量レベルの変動の検出結果としての音量監視フラグを前記音量調整判定部に出力する、
    携帯端末装置。
  4. 請求項3に記載の携帯端末装置であって、
    前記衝撃監視部は、
    前記加速度センサの検出値が所定の第1閾値以下であって、次の前記第1実行周期における前記加速度センサの検出値が前記第1閾値より大きい所定の第2閾値以上である場合には、前記携帯端末装置の落下及び倒れの検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、
    携帯端末装置。
  5. 請求項3に記載の携帯端末装置であって、
    前記衝撃監視部は、
    前記加速度センサの検出値が所定範囲の値であって、次の前記第1実行周期における前記加速度センサの検出値が前記所定範囲の値より大きい所定の第3閾値以上であって、更に次の前記第1実行周期における前記加速度センサの検出値が前記第3閾値より小さい所定の第4閾値以下である場合には、前記携帯端末装置に対する他の物体の衝突の検出を示す前記衝撃監視フラグを前記音量調整判定部に出力する、
    携帯端末装置。
  6. 請求項3に記載の携帯端末装置であって、
    前記音声監視部は、
    前記第2実行周期内に前記音声収音部により収音された前記音声の音声信号の音量レベルの時間軸信号を周波数軸信号に変換し、周波数帯域毎の前記音量レベルの周波数軸信号が所定の第5閾値を超える周波数帯域数が所定値以上である場合に、前記携帯端末装置の衝突音の検出を示す前記音量監視フラグを前記音量調整判定部に出力する、
    携帯端末装置。
  7. 請求項3に記載の携帯端末装置であって、
    前記音量調整判定部は、
    前記衝撃監視フラグが前記携帯端末装置の落下、倒れ及び前記携帯端末装置に対する他の物体の衝突のうちいずれかの検出を示し、前記音量監視フラグが前記携帯端末装置の衝突音の検出を示す場合に、継続カウンタ値と前記第2実行周期との乗算結果の期間において、前記音声信号の音量レベルを低く調整すると判定し、
    前記継続カウンタ値は、
    所定の初期値から前記第2実行周期の期間が経過する度に1減少する、
    携帯端末装置。
  8. 請求項1又は7に記載の携帯端末装置であって、
    前記音量調整部は、
    前記音声収音部により収音された音声を消音する、
    携帯端末装置。
  9. 請求項3に記載の携帯端末装置であって、
    前記音声収音部により収音された音声の音声信号の前記音量調整判定部への入力タイミングを、所定期間遅延させて前記音量調整部に出力する遅延器と、を更に備える、
    携帯端末装置。
  10. 請求項3に記載の携帯端末装置であって、
    所定回数の第2実行周期における前記衝撃監視フラグと前記音量監視フラグとを基に、前記衝撃監視フラグと前記音量監視フラグとが得られるタイミングの時間差を推定する遅延推定部と、
    前記衝撃監視フラグの前記音量調整判定部への入力タイミング、又は前記音声収音部により収音された音声の音声信号の前記音量調整部への入力タイミングを、推定された前記時間差の分遅延させる遅延調整部と、を更に備える、
    携帯端末装置。
JP2013089551A 2013-04-22 2013-04-22 携帯端末装置 Active JP6210450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013089551A JP6210450B2 (ja) 2013-04-22 2013-04-22 携帯端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013089551A JP6210450B2 (ja) 2013-04-22 2013-04-22 携帯端末装置

Publications (2)

Publication Number Publication Date
JP2014216660A true JP2014216660A (ja) 2014-11-17
JP6210450B2 JP6210450B2 (ja) 2017-10-11

Family

ID=51942076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013089551A Active JP6210450B2 (ja) 2013-04-22 2013-04-22 携帯端末装置

Country Status (1)

Country Link
JP (1) JP6210450B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109036445A (zh) * 2017-06-12 2018-12-18 杭州萤石网络有限公司 麦克风mic传感器的音源增益值的调整方法及运动相机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63110854A (ja) * 1986-10-29 1988-05-16 Matsushita Electric Ind Co Ltd 電話機
JPH08204619A (ja) * 1995-01-26 1996-08-09 Nec Corp エコーサプレッサ
JP2001036607A (ja) * 1999-07-19 2001-02-09 Nagano Japan Radio Co 送話器
JP2004015415A (ja) * 2002-06-06 2004-01-15 Hitachi Maxell Ltd マイクロホン及びマイクロホンを有する携帯電話機、卓上電話機
JP2010056878A (ja) * 2008-08-28 2010-03-11 Oki Electric Ind Co Ltd 電話機及び電話機の通話制御方法
JP2011172884A (ja) * 2010-02-26 2011-09-08 Carecom Co Ltd ナースコール子機およびナースコールシステム
US8170200B1 (en) * 2007-03-12 2012-05-01 Polycom, Inc. Method and apparatus for percussive noise reduction in a conference

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63110854A (ja) * 1986-10-29 1988-05-16 Matsushita Electric Ind Co Ltd 電話機
JPH08204619A (ja) * 1995-01-26 1996-08-09 Nec Corp エコーサプレッサ
JP2001036607A (ja) * 1999-07-19 2001-02-09 Nagano Japan Radio Co 送話器
JP2004015415A (ja) * 2002-06-06 2004-01-15 Hitachi Maxell Ltd マイクロホン及びマイクロホンを有する携帯電話機、卓上電話機
US8170200B1 (en) * 2007-03-12 2012-05-01 Polycom, Inc. Method and apparatus for percussive noise reduction in a conference
JP2010056878A (ja) * 2008-08-28 2010-03-11 Oki Electric Ind Co Ltd 電話機及び電話機の通話制御方法
JP2011172884A (ja) * 2010-02-26 2011-09-08 Carecom Co Ltd ナースコール子機およびナースコールシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109036445A (zh) * 2017-06-12 2018-12-18 杭州萤石网络有限公司 麦克风mic传感器的音源增益值的调整方法及运动相机
CN109036445B (zh) * 2017-06-12 2020-10-13 杭州萤石网络有限公司 麦克风mic传感器的音源增益值的调整方法及运动相机

Also Published As

Publication number Publication date
JP6210450B2 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
US8155345B2 (en) Wearable terminal, mobile imaging sound collecting device, and device, method, and program for implementing them
KR102449230B1 (ko) 마이크로폰의 기회주의적 사용을 통한 오디오 향상
US9756422B2 (en) Noise estimation in a mobile device using an external acoustic microphone signal
CN111512646B (zh) 低延迟音频增强的方法和设备
US9516442B1 (en) Detecting the positions of earbuds and use of these positions for selecting the optimum microphones in a headset
US10091590B2 (en) Hearing aid detection
JP5740572B2 (ja) 補聴器、信号処理方法及びプログラム
CN109391870B (zh) 一种基于人体运动状态自调节耳机音频信号播放的方法
JPWO2011105003A1 (ja) 信号処理装置及び信号処理方法
EP2761617A1 (en) Processing signals
CN102572088A (zh) 调整便携式终端的振铃强度的装置及方法
KR20140145108A (ko) 이동 통신 장치에서의 음성 통신 개선방법 및 시스템
US11467666B2 (en) Hearing augmentation and wearable system with localized feedback
JP2014512127A (ja) モバイルデバイスとベースユニットとの間の距離及び/又は音響品質の判定
TW201801069A (zh) 語音資訊的接收方法、系統及裝置
JP6210450B2 (ja) 携帯端末装置
JP6210448B2 (ja) 携帯端末装置
JP6569853B2 (ja) 指向性制御システム及び音声出力制御方法
TWI408673B (zh) Voice detection method
WO2022254834A1 (ja) 信号処理装置、信号処理方法およびプログラム
US20230229383A1 (en) Hearing augmentation and wearable system with localized feedback
JP5628066B2 (ja) ハンズフリーインターホン装置
JP2018137544A (ja) インターホン装置
JP2022038487A (ja) コミュニケーションシステム
JP2015156550A (ja) 音声通信装置および音声処理プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160322

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170904

R151 Written notification of patent or utility model registration

Ref document number: 6210450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151