JP2015194557A - 電子機器および電子機器の制御方法 - Google Patents
電子機器および電子機器の制御方法 Download PDFInfo
- Publication number
- JP2015194557A JP2015194557A JP2014071634A JP2014071634A JP2015194557A JP 2015194557 A JP2015194557 A JP 2015194557A JP 2014071634 A JP2014071634 A JP 2014071634A JP 2014071634 A JP2014071634 A JP 2014071634A JP 2015194557 A JP2015194557 A JP 2015194557A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- speaker
- acceleration sensor
- acceleration
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/805—Systems for determining direction or deviation from predetermined direction using adjustment of real or effective orientation of directivity characteristics of a transducer or transducer system to give a desired condition of signal derived from that transducer or transducer system, e.g. to give a maximum or minimum signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/801—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
Abstract
Description
コンピュータ10は、図2に示されるように、タッチスクリーンディスプレイ17、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ104、BIOS−ROM105、不揮発性メモリ106、エンベデッドコントローラ(EC)108、マイク109A,109B、および加速度センサ110等を備える。
周波数分解部301、音声区間検出部302、発話方向推定部303、話者クラスタリング部304、ユーザインタフェース表示処理部305、録音処理部306、および制御部307等を備えている。
マイク109Aとマイク109Bは、空気などの媒質中に所定の距離をあけて配置された2つのマイクロホンであり、異なる2地点での媒質振動(音波)をそれぞれ電気信号(音響信号)に変換するための手段である。以後、マイク109Aとマイク109Bとをひとまとめに扱う場合、これをマイクロホン対と呼ぶことにする。
さて、振幅データを周波数成分に分解する一般的な手法として高速フーリエ変換(FFT)がある。代表的なアルゴリズムとしては、Cooley−Turkey DFTアルゴリズムなどが知られている。
音声区間検出部302は、周波数分解部301による結果に基づいて、音声区間を検出する。
発話方向推定部303は、音声区間検出部302の検出結果に基づいて、音声区間の発話方向を検出する。
図7は、発話方向推定部303の機能ブロック図である。
発話方向推定部303は、2次元データ化部701と、図形検出部702と、音源情報生成部703と、出力部704とを具備する。
図8に示すように、2次元データ化部701は位相差算出部801と座標値決定部802とを具備する。図形検出部702は投票部811と直線検出部812とを具備する。
位相差算出部801は、周波数分解部301により得られた同時期の2つの周波数分解データセットaとbとを比較して、同じ周波数成分毎に両者の位相値の差を計算して得たab間位相差データを生成する。例えば図9に示すように、ある周波数成分fkの位相差ΔPh(fk)は、マイク109Aにおける位相値Ph1(fk)とマイク109Bにおける位相値Ph2(fk)との差を計算し、その値が{ΔPh(fk):−π<ΔPh(fk)≦π}に収まるように、2πの剰余系として算定する。
座標値決定部802は、位相差算出部801により得られた位相差データを元に、各周波数成分に両者の位相値の差を計算して得た位相差データを所定の2次元のXY座標系上の点として扱うための座標値を決定する手段である。ある周波数成分fkの位相差ΔPh(fk)に対応するX座標値x(fk)とY座標値y(fk)は、図10に示す式によって決定される。X座標値は位相差ΔPh(fk)、Y座標値は周波数成分番号kである。
投票部811は、座標値決定部802によって(x,y)座標を与えられた各周波数成分に対して、直線ハフ変換を適用し、その軌跡をハフ投票空間に所定の方法で投票する手段である。
直線検出部812は、投票部811によって生成されたハフ投票空間上の得票分布を解析して有力な直線を検出する手段である。
図11に示すように、音源情報生成部703は、方向推定部1111と、音源成分推定部1112と、音源音再合成部1113と、時系列追跡部1114と、継続時間評価部1115と、同相化部1116と、適応アレイ処理部1117と、音声認識部1118とを具備する。
方向推定部1111は、以上で述べた直線検出部812による直線検出結果、すなわち直線群毎のθ値を受けて、各直線群に対応した音源の存在範囲を計算する。このとき、検出された直線群の数が音源の数(全候補)となる。マイクロホン対のベースラインに対して音源までの距離が十分遠い場合、音源の存在範囲はマイクロホン対のベースラインに対してある角度を持った円錐面となる。これを図12を参照して説明する。
音源成分推定部1112は、座標値決定部802により与えられた周波数成分毎の(x,y)座標値と、直線検出部812により検出された直線との距離を評価することで、直線近傍に位置する点(すなわち周波数成分)を当該直線(すなわち音源)の周波数成分として検出し、この検出結果に基づいて音源毎の周波数成分を推定する。
音源音再合成部1113は、各音源音を構成する同一取得時刻の周波数成分を逆FFT処理することによって、当該時刻を開始時刻とするフレーム区間の当該音源音(振幅データ)を再合成する。図5に図示したように、1つのフレームは次のフレームとフレームシフト量だけの時間差をおいて重複している。このように複数のフレームで重複している区間では、重複する全てのフレームの振幅データを平均して最終的な振幅データと成すことができる。このような処理によって、音源音をその振幅データとして分離抽出することが可能になる。
投票部811によるハフ投票毎に直線検出部812により直線群が求められる。ハフ投票は連続するm回(m≧1)のFFT結果についてまとめて行われる。この結果、直線群はmフレーム分の時間を周期(これを「図形検出周期」と呼ぶことにする)として時系列的に求められることになる。また、直線群のθは方向推定部1111により計算される音源方向φと1対1に対応しているので、音源が静止していても移動していても、安定な音源に対応しているθ(あるいはφ)の時間軸上の軌跡は連続しているはずである。一方、直線検出部812により検出された直線群の中には、閾値の設定具合によって背景雑音に対応する直線群(これを「雑音直線群」と呼ぶことにする)が含まれていることがある。しかしながら、このような雑音直線群のθ(あるいはφ)の時間軸上の軌跡は連続していないか、連続していても短いことが期待できる。
継続時間評価部1115は、時系列追跡部1114により出力された追跡の満了した軌跡データの開始時刻と終了時刻から当該軌跡の継続時間を計算し、この継続時間が所定閾値を越えるものを音源音に基づく軌跡データと認定し、それ以外を雑音に基づく軌跡データと認定する。音源音に基づく軌跡データを音源ストリーム情報と呼ぶことにする。音源ストリーム情報には、当該音源音の開始時刻Ts、終了時刻Te、当該音源方向を表すθとρとφの時系列的な軌跡データが含まれる。なお、図形検出部702による直線群の数が音源の数を与えるが、そこには雑音源も含まれている。継続時間評価部1115による音源ストリーム情報の数は、雑音に基づくものを除いた信頼できる音源の数を与えてくれる。
同相化部1116は、時系列追跡部1114による音源ストリーム情報を参照することで、当該ストリームの音源方向φの時間推移を得て、φの最大値φmaxと最小値φminから中間値φmid=(φmax+φmin)/2を計算して幅φw=φmax−φmidを求める。そして、当該音源ストリーム情報の元となった2つの周波数分解データセットaとbの時系列データを、当該ストリームの開始時刻Tsより所定時間遡った時刻から終了時刻Teより所定時間経過した時刻まで抽出して、中間値φmidで逆算される到達時間差をキャンセルするように補正することで同相化する。
適応アレイ処理部1117は、抽出・同相化された2つの周波数分解データセットaとbの時系列データを、正面0°に中心指向性を向け、±φwに所定のマージンを加えた値を追従範囲とする適応アレイ処理に掛けることで、当該ストリームの音源音の周波数成分の時系列データを高精度に分離抽出する。この処理は方法こそ異なるが、周波数成分の時系列データを分離抽出する点において音源成分推定部1112と同様の働きをする。それ故、音源音再合成部1113は、適応アレイ処理部1117による音源音の周波数成分の時系列データからも、その音源音の振幅データを再合成することができる。
音声認識部1118は、音源成分推定部1112もしくは適応アレイ処理部1117により抽出された音源音の周波数成分の時系列データを解析照合することで、当該ストリームの記号的な内容、すなわち、言語的な意味や音源の種別や話者の別を表す記号(列)を抽出する。
話者クラスタリング部304は、出力部704から出力された、各音源が発した音声の時間的な存在期間等に基づいて、時刻毎の話者識別情報310を生成する。話者識別情報310は、発言開始時刻および発言開始時刻に対して話者が関連付けた情報を有する。
ユーザインタフェース表示処理部305は、上述した音響信号処理に必要な各種設定内容の利用者への呈示、利用者からの設定入力受理、設定内容の外部記憶装置への保存と外部記憶装置からの読み出しを実行したり、(1)マイク毎の周波数成分の表示、(2)位相差(あるいは時間差)プロット図の表示(すなわち2次元データの表示)、(3)各種得票分布の表示、(4)極大位置の表示、(5)プロット図上の直線群の表示、(6)直線群に帰属する周波数成分の表示、(7)軌跡データの表示、のように各種処理結果や中間結果を可視化して利用者に呈示したり、所望のデータを利用者に選択させてより詳細に可視化するための手段である。このようにすることで、利用者が本実施形態に係る音響信号処理装置の働きを確認したり、所望の動作を行ない得るように調整したり、以後は調整済みの状態で本装置を利用したりすることが可能になる。
Claims (5)
- 加速度を検出する加速度センサと、
マイクに入力される音声の位相差を利用して話者の方向を推定する発話方向推定処理手段と、
前記加速度センサによって検出された加速度に応じて、前記話者の方向を推定する処理に係るデータの初期化を前記発話方向推定処理手段に要求する制御手段と
を具備する電子機器。 - 前記加速度センサの検出値に応じて求められる前記電子機器の向きと、前記電子機器の初期の向きとの差が、閾値を超えている場合、前記制御手段は、前記加速度センサの検出値に応じて、前記データの初期化を前記発話方向推定処理手段に要求する
請求項1に記載の電子機器。 - マイクに入力される音声を録音する処理を行う録音処理手段を更に具備し、
前記加速度センサによって検出された加速度が周期的な値を取る場合、前記制御手段は、前記録音処理手段による録音する処理を中止させる
請求項1に記載の電子機器。 - 加速度を検出する加速度センサを有する電子機器の制御方法であって、
マイクに入力される音声の位相差を利用して話者の方向を推定し、
前記加速度センサによって検出された加速度に応じて、前記話者の方向を推定する処理に係るデータを初期化する
電子機器の制御方法。 - 加速度を検出する加速度センサを有するコンピュータによって実行されるプログラムであって、
マイクに入力される音声の位相差を利用して話者の方向を推定する手順と、
前記加速度センサによって検出された加速度に応じて、前記話者の方向を推定する処理に係るデータを初期化する手順と
を前記コンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014071634A JP6385699B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器および電子機器の制御方法 |
US14/668,869 US20150276914A1 (en) | 2014-03-31 | 2015-03-25 | Electronic device and control method for electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014071634A JP6385699B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器および電子機器の制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018146098A Division JP6661710B2 (ja) | 2018-08-02 | 2018-08-02 | 電子機器および電子機器の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015194557A true JP2015194557A (ja) | 2015-11-05 |
JP6385699B2 JP6385699B2 (ja) | 2018-09-05 |
Family
ID=54190010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014071634A Active JP6385699B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器および電子機器の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150276914A1 (ja) |
JP (1) | JP6385699B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470680A (zh) * | 2020-03-31 | 2021-10-01 | 新唐科技股份有限公司 | 声音信号处理系统及方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE49437E1 (en) | 2014-09-30 | 2023-02-28 | Apple Inc. | Audio driver and power supply unit architecture |
US10911863B2 (en) * | 2016-09-23 | 2021-02-02 | Apple Inc. | Illuminated user interface architecture |
CN107205196A (zh) * | 2017-05-19 | 2017-09-26 | 歌尔科技有限公司 | 麦克风阵列指向的调整方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008205957A (ja) * | 2007-02-21 | 2008-09-04 | Toshiba Corp | 受音装置及びその方法 |
JP2011135489A (ja) * | 2009-12-25 | 2011-07-07 | Fujitsu Ltd | マイクロホンの指向性制御装置 |
JP2014010438A (ja) * | 2012-07-03 | 2014-01-20 | Toshiba Corp | 集音装置 |
-
2014
- 2014-03-31 JP JP2014071634A patent/JP6385699B2/ja active Active
-
2015
- 2015-03-25 US US14/668,869 patent/US20150276914A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008205957A (ja) * | 2007-02-21 | 2008-09-04 | Toshiba Corp | 受音装置及びその方法 |
JP2011135489A (ja) * | 2009-12-25 | 2011-07-07 | Fujitsu Ltd | マイクロホンの指向性制御装置 |
JP2014010438A (ja) * | 2012-07-03 | 2014-01-20 | Toshiba Corp | 集音装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470680A (zh) * | 2020-03-31 | 2021-10-01 | 新唐科技股份有限公司 | 声音信号处理系统及方法 |
CN113470680B (zh) * | 2020-03-31 | 2023-09-29 | 新唐科技股份有限公司 | 声音信号处理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6385699B2 (ja) | 2018-09-05 |
US20150276914A1 (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4247195B2 (ja) | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体 | |
JP3906230B2 (ja) | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2020103703A1 (zh) | 一种音频数据处理方法、装置、设备及存储介质 | |
US9953634B1 (en) | Passive training for automatic speech recognition | |
JP4234746B2 (ja) | 音響信号処理装置、音響信号処理方法及び音響信号処理プログラム | |
US9131295B2 (en) | Multi-microphone audio source separation based on combined statistical angle distributions | |
US10353495B2 (en) | Personalized operation of a mobile device using sensor signatures | |
JP6385699B2 (ja) | 電子機器および電子機器の制御方法 | |
US9632586B2 (en) | Audio driver user interface | |
WO2021139435A1 (zh) | 一种室内定位方法、装置及电子设备 | |
JP2006194700A (ja) | 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム | |
CN110554357A (zh) | 声源定位方法和装置 | |
US20140316783A1 (en) | Vocal keyword training from text | |
US9633655B1 (en) | Voice sensing and keyword analysis | |
US9772815B1 (en) | Personalized operation of a mobile device using acoustic and non-acoustic information | |
JP6203714B2 (ja) | 位相スペクトルを使った音源定位 | |
CN109308909B (zh) | 一种信号分离方法、装置、电子设备及存储介质 | |
US9508345B1 (en) | Continuous voice sensing | |
JP2016201595A (ja) | 音源方向追従システム | |
CN113053368A (zh) | 语音增强方法、电子设备和存储介质 | |
JP4455551B2 (ja) | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6661710B2 (ja) | 電子機器および電子機器の制御方法 | |
Belloch et al. | Real-time sound source localization on an embedded GPU using a spherical microphone array | |
US11769486B2 (en) | System and method for data augmentation and speech processing in dynamic acoustic environments | |
US20220262342A1 (en) | System and method for data augmentation and speech processing in dynamic acoustic environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180808 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6385699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |