JP2020197565A - 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置 - Google Patents

話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置 Download PDF

Info

Publication number
JP2020197565A
JP2020197565A JP2019102058A JP2019102058A JP2020197565A JP 2020197565 A JP2020197565 A JP 2020197565A JP 2019102058 A JP2019102058 A JP 2019102058A JP 2019102058 A JP2019102058 A JP 2019102058A JP 2020197565 A JP2020197565 A JP 2020197565A
Authority
JP
Japan
Prior art keywords
speaker
phase difference
calculated
regions
representative value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019102058A
Other languages
English (en)
Other versions
JP7226107B2 (ja
Inventor
智佳子 松本
Chikako Matsumoto
智佳子 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019102058A priority Critical patent/JP7226107B2/ja
Priority to US16/884,106 priority patent/US11227625B2/en
Publication of JP2020197565A publication Critical patent/JP2020197565A/ja
Application granted granted Critical
Publication of JP7226107B2 publication Critical patent/JP7226107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】高雑音環境下において、話者が存在する方向の判定精度を向上させることを目的とする。【解決手段】複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定する。複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び設定された複数の話者領域に基づいて、複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する。【選択図】図４

Description

本発明は、話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置に関する。
複数のマイクロフォンを含むマイクアレイを使用して、発声データから、発話者が存在する方向である話者方向を判定する技術が存在する。しかしながら、マイクアレイを使用して話者方向を判定しようとする際に、対象話者の発声ではない音である雑音が多く存在すると、話者方向を適切に判定することが困難となる。
話者方向が適切に判定されていないと、マイクアレイを備えたウェアラブル端末などで、話者方向によって実行する処理を切り替える場合に、適切な処理への切り替えが行われない。例えば、翻訳元の言語及び翻訳先の言語を話者方向によって話者を判定して切り替える場合、話者方向が適切に判定されていないと、適切な翻訳が実行されない。したがって、高雑音環境下においても話者方向判定精度を向上させる技術が求められている。
特開２０１７−１２５８９３号公報 特許５３８７４５９号公報
話者方向を判定する際に、位相差、即ち、音の到達時間差を使用することが考えられる。例えば、端末の筐体の上面部及び前面部にマイクロフォン（以下、マイクという。）が存在する場合、筐体前方からの音は、上面部のマイクロフォンより先に前面部のマイクに到達する。一方、筐体上方からの音は、前面部のマイクロフォンより先に上面部のマイクに到達する。
筐体前方からの音であるか、筐体上方からの音であるかは、予め設定されている音の入射角及び位相差のモデルと、判定境界と、により判定する。しかしながら、高雑音環境下では、音に対応する周波数領域の音信号の位相差に雑音の位相差が混入するため、話者方向を適切に判定することが困難となる。
本開示は、高雑音環境下において、話者が存在する方向の判定精度を向上させることを目的とする。
１つの実施形態では、複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定する。複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び設定された複数の話者領域に基づいて、複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する。
本開示は、高雑音環境下において、話者が存在する方向の判定精度を向上させることを可能とする。
話者方向判定装置を含む翻訳システムを例示するブロック図である。 第１実施形態の話者方向判定装置を例示するブロック図である。 第１実施形態の話者領域を例示する概念図である。 位相差領域に含まれる位相差を例示する概念図である。 位相差領域の位相差数を例示する概念図である。 第１〜第４実施形態の話者方向判定装置のハードウェア構成を例示するブロック図である。 第１実施形態の話者方向判定処理の流れを例示するフローチャートである。 第２実施形態の話者方向判定装置を例示するブロック図である。 話者方向判定装置を含む翻訳システムの外観を例示する概念図である。 話者領域を例示する概念図である。 位相差領域に含まれる位相差を例示する概念図である。 位相差領域毎の位相差数の時間平均値を例示する概念図である。 話者領域を例示する概念図である。 第２実施形態の話者方向判定処理の流れを例示するフローチャートである。 位相差領域毎の位相差数の時間平均値を例示する概念図である。 第３実施形態の話者方向判定装置を例示するブロック図である。 第３実施形態の補正係数を例示する概念図である。 第３実施形態の話者方向判定処理の流れを例示するフローチャートである。 第４実施形態の話者方向判定装置を例示するブロック図である。 第４実施形態の補正係数を例示する概念図である。 第４実施形態の位相差数取得処理の流れを例示するフローチャートである。 話者方向判定結果を例示する概念図である。 位相差領域に含まれる位相差を例示する概念図である。 位相差領域に含まれる位相差を例示する概念図である。
［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。第１実施形態では、話者の各々に対応する話者領域を設定し、話者領域の各々に対応する位相差領域の各々に含まれる位相差数の代表値を比較することで、話者が存在する方向である話者方向を判定する。
図１に、翻訳システム１を例示する。翻訳システム１は、話者方向判定装置１０Ａ、音声認識装置７０及び翻訳装置６０を含む。話者方向判定装置１０Ａは、話者方向判定結果を、音声認識装置７０に送信し、話者方向判定結果を受信した音声認識装置７０は、判定された話者方向に基づいて、音信号が話者Ｐ０１の発話であるか、話者Ｐ０２の発話であるかを判定する。話者Ｐ０１の発話である場合、音声認識装置６０は、音信号に対して第１言語の音声認識を行い、音声認識結果を翻訳装置６０に送信する。話者Ｐ０２の発話である場合、音声認識装置６０は、音信号に対して第２言語の音声認識を行い、音声認識結果を翻訳装置６０に送信する。
翻訳装置６０は、受信した音声認識結果を使用して、話者Ｐ０１の発話である場合、第１言語から第２言語に翻訳し、例えば、スピーカから音声として翻訳結果を出力する。翻訳装置６０は、受信した音声認識結果を使用して、話者Ｐ０２の発話である場合、第２言語から第１言語に翻訳し、例えば、スピーカから音声として翻訳結果を出力する。
図２に、話者方向判定装置１０Ａを例示する。話者方向判定装置１０Ａは、第１音受付部１１、第２音受付部１２、第１時間周波数変換部１３、第２時間周波数変換部１４、位相差算出部１５、位相差領域設定部１６、位相差数取得部１７、位相差数平均値算出部１８、及び、方向判定部２２を含む。
第１音受付部１１は、第１マイクロフォン（以下、マイクロフォンをマイクと呼ぶ。）で検出された音のアナログ信号から変換された時間領域の音のデジタル信号（以下、音のデジタル信号を音信号と呼ぶ。）を受け付け、第２音受付部１２は、第２マイクで検出された音のアナログ信号から変換された時間領域の音信号を受け付ける。第１時間周波数変換部１３は、例えば、ＦＦＴ（Fast Fourier Transformation）を使用して第１音受付部１１で受け付けた時間領域の音信号を周波数領域の音信号に変換し、第２時間周波数変換部１４は、第２音受付部１２で受け付けた時間領域の音信号を周波数領域の音信号に変換する。
位相差算出部１５は、第１時間周波数変換部１３で周波数領域に変換された音信号と、第２時間周波数変換部１４で周波数領域に変換された音信号と、の位相差を時間周波数変換の周波数帯域毎に算出する。
設定部の一例である位相差領域設定部１６は、話者の各々に対応する話者領域及び話者領域の各々に対応する位相差領域を設定する。話者領域は、対応する話者の位置、移動範囲などに応じて予め決定されている。本実施形態では、話者Ｐ０１に対応する話者領域Ｅ０１及び話者Ｐ０２に対応する話者領域Ｅ０２を設定し、話者Ｐ０１に対応する位相差領域Ａ０１及び話者Ｐ０２に対応する位相差領域Ａ０２を設定する。
図３に、話者Ｐ０１が存在する領域である話者領域Ｅ０１及び話者Ｐ０２が存在する領域である話者領域Ｅ０２を例示する。話者方向判定装置１０Ａを含む翻訳システム１の筐体１Ａの前面には、第１マイクＭ０１及び第２マイクＭ０２が近接して配置されている。図３は、筐体１Ａを上方から見た図である。
話者領域Ｅ０１及びＥ０２は、第１マイクＭ０１及び第２マイクＭ０２を含むマイクアレイを基点として各々異なる方向に設定される。本実施形態では、話者領域Ｅ０１の基点に接する頂点の角度と話者領域Ｅ０２の基点に接する頂点の角度とが略等しい例について説明する。なお、図３に例示する話者領域Ｅ０１及びＥ０２の面積は一例であり、面積は、図３の例示より大きくてもよいし、小さくてもよい。
図４は、話者領域Ｅ０１及びＥ０２が図３に例示するように設定された場合の位相差領域を例示する。図４の位相差領域Ａ０１は図３の話者領域Ｅ０１に対応し、図４の位相差領域Ａ０２は図３の話者領域Ｅ０２に対応する。
図２の位相差数取得部１７は、図４の位相差領域Ａ０１に含まれる位相差の数である位相差数を取得し、位相差領域Ａ０２に含まれる位相差の数である位相差数を取得する。図４に、所定の時刻において、位相差領域Ａ０１及び位相差領域Ａ０２の各々に含まれる位相差を例示する。図４の縦軸は位相差［ｒａｄ］を表し、横軸は周波数［Ｈｚ］を表す。図４において、位相差は丸で表される。図４の例では、位相差領域Ａ０２の位相差数が、位相差領域Ａ０１の位相差数より多い。
代表値算出部の一例である位相差数平均値算出部１８は、位相差領域Ａ０１の位相差数の時間平均値、及び、位相差領域Ａ０２の位相差数の時間平均値を算出する。位相差数の時間平均値は、位相差数の代表値の一例である。ＦＦＴの対象フレームｔの対象位相差領域の位相差数の時間平均値ＡｖｒＮｔは、例えば、（４）式を使用して算出される。
ＡｖｒＮｔ＝（１．０−γ）×ＡｖｒＮｔ−１＋γ×Ｎｔ …（４）
γは、忘却係数（γ＜１．０）であり、ＡｖｒＮｔ−１は、対象フレームｔの１つ前のフレームｔ−１における位相差数の時間平均値であり、Ｎｔは対象フレームｔにおいて対象位相差領域に含まれる位相差数である。なお、代表値は時間平均値に限定されず、対象フレームの前後の所定数フレームの位相差数の平均値であってもよいし、対象フレームの前後の所定数フレームの位相差数の中間値であってもよい。
判定部の一例である方向判定部２２は、位相差領域Ａ０１の位相差数の時間平均値と位相差領域Ａ０２の位相差数の時間平均値とを比較することで話者方向を判定する。即ち、位相差数の時間平均値が大きい方の位相差領域側に話者が存在することを判定する。
図５は、位相差領域Ａ０１の位相差数の時間平均値及び位相差領域Ａ０２の位相差数の時間平均値を例示する。図５の縦軸は位相差数の時間平均値を表し、横軸は時間［ｓ］を表す。図５において、実線は位相差領域Ａ０１の位相差数の時間平均値を表し、破線は位相差領域Ａ０２の位相差数の時間平均値を表す。
例えば、時間Ｔ０１では、位相差領域Ａ０２の位相差数の時間平均値が位相差領域Ａ０１の位相差数の時間平均値より大きい。したがって、方向判定部２２は、話者Ｐ０２が発話していると判定する。
話者方向判定装置１０Ａは、一例として、図６に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、外部インタフェース５４、第１マイクＭ０１及び第２マイクＭ０２を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、外部インタフェース５４、第１マイクＭ０１及び第２マイクＭ０２は、バス５９を介して相互に接続されている。
一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、話者方向判定プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、位相差領域に関する情報、及び、話者方向判定プログラムを実行している間に生成される中間データなどを記憶する。
ＣＰＵ５１は、プログラム格納領域５３Ａから話者方向判定プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、話者方向判定プログラムをロードして実行することで、図２の第１音受付部１１、第２音受付部１２、第１時間周波数変換部１３、及び、第２時間周波数変換部１４として動作する。ＣＰＵ５１は、また、位相差算出部１５、位相差領域設定部１６、位相差数取得部１７、位相差数平均値算出部１８、及び、方向判定部２２として動作する。
なお、話者方向判定プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、話者方向判定プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。
外部インタフェース５４には外部装置が接続され、外部インタフェース５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。第１マイクＭ０１及び第２マイクＭ０２は、外部インタフェース５４を介して、外部装置として、話者方向判定装置１０Ａと接続されている。第１マイクＭ０１及び第２マイクＭ０２は音を検出する。
話者方向判定装置１０Ａのみが筐体１Ａに含まれ、話者方向判定結果は、外部インタフェース５４を介して有線または無線の通信により、音声認識装置７０に送信されてもよい。話者方向判定装置１０Ａを含む翻訳システム１は、例えば、パーソナルコンピュータであってもよいし、スマートフォンであってもよいし、専用のデバイスであってもよい。
次に、話者方向判定処理の作用の概要について説明する。図７は、話者方向判定処理の流れを例示する。
ＣＰＵ５１は、ステップ１０１で、第１マイクＭ０１及び第２マイクＭ０２の各々で検出された音に対応する時間領域の音信号を取得する。ＣＰＵ５１は、ステップ１０２で、取得された時間領域の音信号の各々を周波数領域の音信号に変換する。変換は、例えば、Fourier Frequency Transformation（ＦＦＴ）で行われる。
ＣＰＵ５１は、ステップ１０３で、周波数領域の音信号の周波数帯域毎の位相差を算出する。ＣＰＵ５１は、ステップ１０４で、予め設定されている、話者毎の話者領域の各々に対応する位相差領域の各々に含まれる位相差数を取得する。ＣＰＵ５１は、例えば、話者Ｐ０１の位相差領域Ａ０１に含まれる位相差数及び話者Ｐ０２の位相差領域Ａ０２に含まれる位相差数を取得する。
ＣＰＵ５１は、ステップ１０５で、位相差領域の各々の位相差数の時間平均値を算出する。詳細には、ＣＰＵ５１は、例えば、位相差領域Ａ０１の位相差数の時間平均値及び位相差領域Ａ０２の位相差数の時間平均値を算出する。
ＣＰＵ５１は、ステップ１０７で、位相差領域の各々の位相差数の時間平均値を比較する。ＣＰＵ５１は、例えば、位相差領域Ａ０１の位相差数の時間平均値と位相差領域Ａ０２の位相差数の時間平均値とを比較する。
位相差領域Ａ０１の位相差数の時間平均値が位相差領域Ａ０２の位相差数の時間平均値以上である場合、ＣＰＵ５１は、ステップ１０８に進み、話者方向が位相差領域Ａ０１側であると判定する。位相差領域Ａ０１が話者Ｐ０１に対応付けられている場合、ＣＰＵ５１は、話者Ｐ０１が発話していることを判定し、話者方向判定処理を終了する。
ステップ１０７の判定が否定された場合、即ち、位相差領域Ａ０１の位相差数の時間平均値が位相差領域Ａ０２の位相差数時間平均値より小さい場合、ＣＰＵ５１は、ステップ１１０に進む。ＣＰＵ５１は、ステップ１１０で、話者方向が位相差領域Ａ０２側であると判定する。位相差領域Ａ０２が話者Ｐ０２に対応付けられている場合、ＣＰＵ５１は、話者Ｐ０２が発話していることを判定し、話者方向判定処理を終了する。
なお、本実施形態は、２つのマイクに限定されない。３つ以上のマイクを使用してもよい。また、本実施形態は、２つの位相差領域に限定されない。３つ以上の位相差領域を設定してもよい。
本実施形態では、複数の話者領域の各々を、複数のマイクを含むマイクアレイを基点として各々異なる方向に設定し、複数のマイクで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び、設定された複数の話者領域に基づいて、複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する。
本実施形態では、複数の位相差領域の各々の位相差の個数の代表値に基づいて話者方向を判定しているため、高雑音環境下において、話者が存在する方向の判定精度を向上させることができる。
［第２実施形態］
以下、図面を参照して第２実施形態の一例を詳細に説明する。第１実施形態と同様の構成及び作用については、説明を省略する。
第２実施形態では、複数の位相差領域の大きさが相互に異なる点が、第１実施形態と異なる。図８に例示する話者方向判定装置１０Ｂは、補正係数算出部１９及び位相差数平均値補正部２１を含む点で、図２に例示した第１実施形態の話者方向判定装置１０Ａと異なる。
第２実施形態では、図９に例示するように、第１マイクＭ１１は、話者方向判定装置を含む翻訳システム１Ｄの筐体１１Ｄの上面に配置され、第２マイクＭ１２は、翻訳システム１Ｄの前面に配置されている。
図１０に例示するように、翻訳システム１Ｄを、筐体１１Ｄの背面が話者側を向くように胸元に装着した話者Ｐ１１が、話者Ｐ１１より身長が低い話者Ｐ１２Ａと対話する場合が想定される。また、話者Ｐ１１が、話者Ｐ１１より身長が高い話者Ｐ１２Ｂと対話する場合も想定される。
このような場合、図１０に例示するように、話者Ｐ１１が存在する第１話者領域Ｅ１１よりも、話者Ｐ１２Ａ及び話者Ｐ１２Ｂの両方に対応することができる第２話者領域Ｅ１２は、広く設定される。一方、第１話者領域Ｅ１１は、話者方向判定装置１０Ｂを含む翻訳システム１Ｄの装着位置と話者Ｐ１１の口の位置とに基づいて、比較的狭く設定することができる。
図１１は、図１０に例示するように話者領域が設定された場合の位相差領域を例示する。図１１の位相差領域Ａ１１は、図１０の話者領域Ｅ１１に対応し、図１１の位相差領域Ａ１２は図１０の話者領域Ｅ１２に対応する。図１０に例示するように、話者領域Ｅ１１が狭く話者領域Ｅ１２が広いため、話者領域Ｅ１１に対応する位相差領域Ａ１１が狭く、話者領域Ｅ１２に対応する位相差領域Ａ１２が広く設定される。
第２位相差領域Ａ１２が第１位相差領域Ａ１１よりも広いため、図１１に例示するように、位相差領域Ａ１２に含まれる位相差数が位相差領域Ａ１１に含まれる位相差数よりも多くなる傾向が生じる。位相差領域が広いと、雑音の位相差もより多く含まれるためである。図１１の縦軸は位相差[ｒａｄ]を表し、横軸は周波数［Ｈｚ］を表す。図１１において、位相差は丸で表されている。
図１２の下図に、第１位相差領域Ａ１１の位相差数の時間平均値を実線で例示し、第２位相差領域Ａ１２の位相差数の時間平均値を破線で例示する。図１２の下図の縦軸は位相差数の平均値を表し、横軸は時間［ｓ］を表す。
図１２の上図に例示する話者Ｐ１１の発話時間である時間Ｔ０２であっても、図１２の下図に例示するように、第１位相差領域Ａ１１の位相差数の時間平均値は、第２位相差領域Ａ１２の位相差数の時間平均値よりも小さい。この結果、単に、第１位相差領域Ａ１１の位相差数の時間平均値と第２位相差領域Ａ１２の位相差数の時間平均値とを比較した場合、話者方向が適切に判定されず、話者Ｐ１１の発話が話者Ｐ１２の発話であると誤認識される虞が生じる。
第２実施形態では、誤認識を防止するために、広い方の位相差領域である第２位相差領域Ａ１２を基準として、補正係数を算出し、算出した補正係数で狭い方の位相差領域である第２位相差領域の位相差数の時間平均値を補正する。補正係数算出部１９は、例えば、話者領域の中心角の角度に基づいて、補正係数を算出する。即ち、補正係数は、話者領域各々の面積比から算出される。
図１３に例示するように、第１話者領域Ｅ１１の基点に接する頂点の角度がθＡ［°］であり、第２話者領域Ｅ１２の基点に接する頂点の角度がθＢ［°］である場合、補正係数α１は、例えば、（５）式を使用して算出される。
α１＝（πｒ２×θＢ／３６０）／（πｒ２×θＡ／３６０）＝θＢ／θＡ…（５）
ここでは、第１話者領域Ｅ１１及び第２話者領域Ｅ１２の各々が、半径ｒの円に含まれる扇形であると仮定する。位相差数平均値補正部２１は、狭い方の位相差領域である第１位相差領域Ａ１１の位相差数の時間平均値に補正係数α１を乗算する。
次に、話者方向判定処理の作用の概要について説明する。図１４では、図７のステップ１０７、ステップ１０８、及びステップ１１０がステップ１０７Ｄ、ステップ１０８Ｄ、及びステップ１１０Ｄと置き替えられている。ＣＰＵ５１は、ステップ１０７Ｄで、第１位相差領域Ａ１１の位相差数の時間平均値に補正係数α１を乗算した値が、第２位相差領域Ａ１２の位相差数の時間平均値以上であるか否か判定する。ステップ１０７Ｄの判定が肯定された場合、ＣＰＵ５１は、ステップ１０８Ｄに進み、話者方向が第１位相差領域Ａ１１側であると判定し、話者方向判定処理を終了する。
ステップ１０７Ｄの判定が否定された場合、即ち、第１位相差領域Ａ１１の位相差数の時間平均値に補正係数α１を乗算した値が、第２位相差領域Ａ１２の位相差数の時間平均値より小さい場合、ＣＰＵ５１は、ステップ１１０Ｄに進む。ＣＰＵ５１は、ステップ１１０Ｄで、話者方向が第２位相差領域Ａ１２側であると判定し、話者方向判定処理を終了する。
補正係数α１を適用することで、図１５の下図に例示するように、図１５の上図に例示する、話者Ｐ１１の発話時間である時間Ｔ０２において、第１位相差領域Ａ１１の位相差数の時間平均値が第２位相差領域Ａ１２の位相差数の時間平均値よりも大きくなる。これにより、時間Ｔ０２において、話者Ｐ１１が発話していることが適切に判定される。
なお、狭い方の位相差領域である第１位相差領域Ａ１１の位相差数の時間平均値に補正係数を乗算する例について説明したが、本実施形態はこれに限定されない。例えば、広い方の位相差領域である第２位相差領域Ａ１２の位相差数の時間平均値を補正係数で除算するようにしてもよい。また、補正係数α１Ｄを（６）式で算出して、広い方の位相差領域である第２位相差領域Ａ１２の位相差数の時間平均値に乗算するようにしてもよい。
α１Ｄ＝（πｒ２×θＡ／３６０）／（πｒ２×θＢ／３６０）＝θＡ／θＢ…（６）
本実施形態では、複数の話者領域の各々を、複数のマイクを含むマイクアレイを基点として各々異なる方向に設定し、複数のマイクで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び、設定された複数の話者領域の各々に対応する複数の位相差領域の各々に基づいて、複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対する話者領域の方向を話者の存在方向であると判定する。
本実施形態では、複数の話者領域の大きさが相違する場合には、複数の話者領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用して、話者の存在方向を判定する。
本実施形態では、複数の位相差領域の各々の位相差の個数の代表値に基づいて話者方向を判定しているため、高雑音環境下において、話者が存在する方向の判定精度を向上させることができる。また、複数の話者領域の大きさが相違する場合であっても、複数の話者領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用するため、話者が存在する方向の判定精度を向上させることができる。
［第３実施形態］
以下、図面を参照して第３実施形態の一例を詳細に説明する。第１実施形態及び第２実施形態と同様の構成及び作用については、説明を省略する。
第３実施形態では、補正係数を位相差数の時間平均値に基づいて算出する点で、第２実施形態と異なる。図１６に例示する話者方向判定装置１０Ｃは、補正係数算出部１９に代えて、補正係数算出部１９Ｄを含み、位相差数平均値補正部２１に代えて、位相差数平均値補正部２１Ｄを含む点で、図８に例示した第２実施形態の話者方向判定装置１０Ｂと異なる。
補正係数算出部１９Ｄは、例えば、図１７に例示するように、（７）式で、補正係数α２を算出する。ａｖｇは、広い方の位相差領域の位相差数の時間平均値であり、Ｃ１、Ｃ２、Ｈ１、及びＨ２は所定の定数である。
α２＝Ｃ１（≧１．０） （ａｖｇ≦Ｈ１である場合）
α２＝Ｃ２（＞Ｃ１） （ａｖｇ≧Ｈ２（＞Ｈ１）である場合）
α２＝Ｃ１＋（Ｃ２−Ｃ１）×（ａｖｇ−Ｈ１）/（Ｈ２−Ｈ１）
（Ｈ１＜ａｖｇ＜Ｈ２である場合） …（７）
図１７の横軸は広い方の位相差領域の位相差数の時間平均値を表し、縦軸は補正係数α２を表す。
次に、話者方向判定処理の作用の概要について説明する。図１８では、補正係数α２を算出するステップ１０６がステップ１０５の後に追加され、ステップ１０７Ｄ、ステップ１０８Ｄ、及びステップ１１０Ｄがステップ１０７Ｅ、ステップ１０８Ｅ、及びステップ１１０Ｅと各々置き替えられている点で、図１４と異なる。ステップ１０６では、例えば、（７）式を使用して、補正係数α２を算出する。
ステップ１０７Ｅでは、狭い方の話者領域に対応する位相差領域である第１位相差領域Ａ２１の位相差数の時間平均値に補正係数α２を乗算した値が、第２位相差領域Ａ２２の位相差数の時間平均値以上であるか否か判定する。ステップ１０７Ｅの判定が肯定された場合、ＣＰＵ５１は、ステップ１０８Ｅで、話者方向が第１位相差領域Ａ２１側であると判定し、話者方向判定処理を終了する。
ステップ１０７Ｅの判定が否定された場合、即ち、第１位相差領域Ａ２１の位相差数の時間平均値に補正係数α２を乗算した値が、第２位相差領域Ａ２２の位相差数の時間平均値より小さい場合、ＣＰＵ５１は、ステップ１１０Ｅに進む。ＣＰＵ５１は、ステップ１１０Ｅで、話者方向が第２位相差領域Ａ２２側であると判定し、話者方向判定処理を終了する。
なお、本実施形態では、広い方の話者領域に対応する位相差領域の位相差数の時間平均値に基づいて、話者領域の面積の差による位相差数の差を緩衝する補正係数を算出する。本実施形態では、算出した補正係数を狭い方の話者領域に対応する位相差領域の位相差数の時間平均値に適用する。しかしながら、本実施形態はこれに限定されない。狭い方の話者領域に対応する位相差領域の位相差数の時間平均値に基づいて、面積の差による位相差数の差を緩衝する補正係数を算出し、算出した補正係数を広い方の話者領域に対応する位相差領域の位相差数の時間平均値に適用するようにしてもよい。
本実施形態では、複数の話者領域の各々を、複数のマイクを含むマイクアレイを基点として各々異なる方向に設定し、複数のマイクで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び、設定された複数の話者領域に基づいて、複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する。
本実施形態では、複数の話者領域の大きさが相違する場合には、複数の話者領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する。補正係数は、複数の位相差領域の何れか１つの位相差領域の代表値に基づいて決定される。補正係数は、補正係数の決定に使用した代表値が大きくなるに従って大きくなるように定められる、
本実施形態では、複数の位相差領域の各々の位相差の個数の代表値に基づいて話者方向を判定しているため、高雑音環境下において、話者が存在する方向の判定精度を向上させることができる。また、複数の話者領域の大きさが相違する場合であっても、複数の話者領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用するため、話者が存在する方向の判定精度を向上させることができる。
また、本実施形態では、補正係数は、複数の位相差領域の何れか１つの位相差領域の代表値に基づいて決定される。補正係数が、位相差数の時間平均値の変動に基づいて変動するため、話者が存在する方向の判定精度を向上させることができる。
[第４実施形態]
以下、図面を参照して第４実施形態の一例を詳細に説明する。第１実施形態、第２実施形態、及び第３実施形態と同様の構成及び作用については、説明を省略する。
第４実施形態では、信号対雑音比（以下、ＳＮＲ（Signal to Noise Ratio）と呼ぶ。）が所定値より大きい周波数帯域の位相差を計数する点で、第１実施形態、第２実施形態、及び第３実施形態と異なる。また、補正係数を定常雑音モデル推定値に基づいて算出する点で、第２実施形態、及び第３実施形態と異なる。
第４実施形態の話者方向判定装置１０Ｄは、図１９に例示するように、ＳＮＲ算出部２０を含む。話者方向判定装置１０Ｄは、位相差数取得部１７及び位相差数平均値補正部２１Ｄに代えて、位相差数取得部１７Ｅ及び位相差数平均値補正部２１Ｅを有する点で、話者方向判定装置１０Ｃと異なる。
ＳＮＲ算出部２０は、複数のマイクの何れかで取得した音に対応する周波数領域の音信号の周波数帯域毎の定常雑音モデルを推定する。定常雑音モデルの推定には、例えば、特許文献２に記されているような既存の技術を適用することができる。位相差数取得部１７Ｅは、周波数領域の音信号の周波数帯域毎のＳＮＲを算出する。ＳＮＲは、例えば、周波数帯域毎の音圧の振幅を、対応する定常雑音モデルで除算することで算出することができる。
位相差数取得部１７Ｅは、算出したＳＮＲが所定値より大きい場合に、位相差領域の各々の当該周波数帯域に存在する位相差を計数する。例えば、第１位相差領域の当該周波数帯域に存在する位相差を計数し、第２位相差領域の当該周波数帯域に存在する位相差を計数する。即ち、ＳＮＲが所定値以下である場合には、当該周波数帯域の位相差を計数しない。
補正係数算出部１９Ｅは、図２０に例示するように、例えば、（８）式で、補正係数α３を算出する。ｃｎｍは、広い方の話者領域に対応する位相差領域である第２位相差領域の定常雑音モデル推定値［ｄＢＡ］であり、Ｄ１、Ｄ２、Ｊ１、及びＪ２は所定の定数である。
α３＝Ｄ１（≧１．０） （ｃｎｍ≦Ｊ１である場合）
α３＝Ｄ２（＞Ｄ１） （ｃｎｍ≧Ｊ２（＞Ｊ１）である場合）
α３＝Ｄ１＋（Ｄ２−Ｄ１）×（ｃｎｍ−Ｊ１）/（Ｊ２−Ｊ１）
（Ｊ１＜ｃｎｍ＜Ｊ２である場合） …（８）
図２０の横軸は、定常雑音モデル推定値［ｄＢＡ］を表し、縦軸は補正係数α３を表す。補正係数α３は、狭い方の話者領域に対応する位相差領域である第１位相差領域の位相差数の時間平均値を補正するために、当該時間平均値に乗算される。
次に、話者方向判定処理の作用の概要について説明する。ここでは、第１〜第３実施形態と異なる位相差数取得処理について説明する。図２１に、位相差数取得処理の流れを例示する。ＣＰＵ５１は、ステップ１２１で、変数ｉ、Ｎ１及びＮ２に０をセットする。変数ｉは、周波数帯域数をカウントし、Ｎ１は第１位相差領域の位相差数を計数し、Ｎ２は第２位相差領域の位相差数を計数するために使用される。
ＣＰＵ５１は、ステップ１２２で、変数ｉの値がＦＦＴフレーム数、即ち、周波数帯域数の最大値より小さいか否か判定する。ステップ１２２の判定が肯定された場合、ＣＰＵ５１は、ステップ１２３で、ｉ番目の周波数帯域の定常雑音モデルを推定し、ステップ１２４で、ｉ番目の周波数帯域のＳＮＲを算出する。
ＣＰＵ５１は、ステップ１２５で、ＳＮＲが所定値より大きいか否か判定する。ステップ１２５の判定が肯定された場合、ＣＰＵ５１は、ステップ１２６で、ｉ番目の周波数帯域の位相差が第１位相差領域内に存在するか否か判定する。ステップ１２６の判定が肯定された場合、ＣＰＵ５１は、ステップ１２７で、変数Ｎ１の値に１を加算して、ステップ１３０に進む。
ステップ１２６の判定が否定された場合、ＣＰＵ５１は、ステップ１２８で、ｉ番目の周波数帯域の位相差が第２位相差領域内に存在するか否か判定する。ステップ１２８の判定が肯定された場合、ＣＰＵ５１は、ステップ１２９で、変数Ｎ２の値に１を加算して、ステップ１３０に進む。ステップ１２８の判定が否定された場合も、ＣＰＵ５１は、ステップ１３０に進む。
ＣＰＵ５１は、ステップ１３０で、変数ｉに１を加算して、ステップ１２２に戻る。ステップ１２２の判定が否定された場合、即ち、変数ｉの値がＦＦＴフレーム数以上である場合、ＣＰＵ５１は位相差数取得処理を終了する。
なお、本実施形態では、（８）式を使用して補正係数を算出する例について説明した。しかしながら、例えば、本実施形態で、第２及び第３実施形態で説明した補正係数を使用してもよいし、（８）式を使用して算出した補正係数を第２または第３実施形態で説明した例に使用してもよい。また、第１実施形態で説明した例と同様に、本実施形態で、補正係数を使用しなくてもよい。
なお、本実施形態では、広い方の話者領域に対応する位相差領域の定常雑音モデル推定値に基づいて補正係数を算出し、狭い方の話者領域に対応する位相差領域の代表値に適用する例について説明しているが、本実施形態はこれに限定されない。例えば、広い方の話者領域に対応する位相差領域の定常雑音モデル推定値に基づいて、広い方の話者領域に対応する位相差領域の代表値を補正する補正係数を算出し、広い方の話者領域に対応する位相差領域に適用してもよい。または、狭い方の話者領域に対応する位相差領域の定常雑音モデル推定値に基づいて、広い方の話者領域に対応する位相差領域の代表値を補正する補正係数を算出し、広い方の話者領域に対応する位相差領域に適用してもよい。
本実施形態では、複数の話者領域の各々を、複数のマイクを含むマイクアレイを基点として各々異なる方向に設定し、複数のマイクで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する。算出された位相差、及び、設定された複数の話者領域に基づいて、複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する。算出された代表値の大きさを比較し、代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する。
本実施形態では、複数の位相差領域の大きさが相違する場合には、複数の位相差領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する。本実施形態では、補正係数は、複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値が大きくなるに従って大きくなるように定められる。また、本実施形態では、複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する。
本実施形態では、複数の位相差領域の各々の位相差の個数の代表値に基づいて話者方向を判定しているため、高雑音環境下において、話者が存在する方向の判定精度を向上させることができる。また、複数の位相差領域の大きさが相違する場合であっても、複数の位相差領域の大きさの相違を補正する補正係数を用いて代表値を補正した補正代表値を使用するため、話者が存在する方向の判定精度を向上させることができる。
本実施形態では、補正係数は、複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値の変動に基づいて変動するため、話者が存在する方向の判定精度を向上させることができる。本実施形態では、複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する。即ち、雑音レベルが高い周波数帯域の位相差を計数しないため、話者が存在する方向の判定精度を向上させることができる。
図７、図１４、図１８及び図２１のフローチャートは例示であり、処理の順序は適宜変更してもよい。
なお、話者方向判定結果を使用して翻訳を行う翻訳システムの例について説明したが、本実施形態はこれに限定されない。例えば、議事録生成システムにおいて、話者方向に基づいて、発話している話者を判定するために使用されてもよい。
［比較例］
図２２に、２つの話者領域の大きさが異なる場合、即ち、２つの位相差領域の大きさが異なる場合の話者方向判定の正解率を例示する。広い方の位相差領域の話者方向判定の正解率は、第１実施形態のように、補正係数を使用しない場合、９０．１［％］であり、第２及び第３実施形態のように、補正係数を使用する場合、１００．０［％］に向上する。
狭い方の位相差領域の話者方向判定の正解率は、補正係数を使用しない場合、５９．８［％］であり、第２実施形態のように、位相差領域の面積比などに基づいて算出される固定された補正係数を使用する場合、５９．８［％］に向上する。また、狭い方の位相差領域の話者方向判定の正解率は、第３実施形態のように、位相差領域の位相差数の時間平均値などに基づいて算出される変動する補正係数を使用する場合、８１．０［％］に向上する。
関連技術では、音の下限周波数帯域から上限周波数帯域までの位相差の平均値を使用している。したがって、図２３に例示するように、丸で表す雑音の位相差が、三角で表す発話の位相差と混在してしまい、位相差の平均値が影響を受け、話者方向を適切に判定することが困難となる場合がある。一方、本実施形態では、図２４に例示するように、例えば、第１位相差領域Ａ４１及び第２位相差領域Ａ４２のような複数の位相差領域の各々の位相差数の時間平均値を比較する。したがって、雑音の位相差が存在したとしても、両方の位相差領域に同様な影響を及ぼすため、話者方向を適切に判定することができ、話者方向の判定精度を向上させることができる。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定し、
前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出し、
算出された前記位相差、及び設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出し、
算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する、
話者方向判定処理をコンピュータに実行させるプログラム。
（付記２）
前記複数の話者領域の大きさが相違する場合には、前記複数の話者領域の大きさの相違を補正する補正係数を用いて前記代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する、
付記１のプログラム。
（付記３）
前記補正係数は、前記複数の話者領域各々の面積比から算出される、
付記２のプログラム。
（付記４）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の前記代表値に基づいて決定される、
付記２のプログラム。
（付記５）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値に基づいて決定される、
付記２のプログラム。
（付記６）
前記複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する、
付記１〜付記５の何れかのプログラム。
（付記７）
前記代表値は時間平均値である、
付記１〜付記６の何れかのプログラム。
（付記８）
コンピュータが、
複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定し、
前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出し、
算出された前記位相差、及び設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出し、
算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する、
話者方向判定方法。
（付記９）
前記複数の話者領域の大きさが相違する場合には、前記複数の話者領域の大きさの相違を補正する補正係数を用いて前記代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する、
付記８の話者方向判定方法。
（付記１０）
前記補正係数は、前記複数の話者領域各々の面積比から算出される、
付記９の話者方向判定方法。
（付記１１）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の前記代表値に基づいて決定される、
付記９の話者方向判定方法。
（付記１２）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値に基づいて決定される、
付記９の話者方向判定方法。
（付記１３）
前記複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する、
付記８〜付記１２の何れかの話者方向判定方法。
（付記１４）
前記代表値は時間平均値である、
付記８〜付記１３の何れかの話者方向判定方法。
（付記１５）
複数のマイクロフォンを含むマイクアレイと、
複数の話者領域の各々を、前記マイクアレイを基点として各々異なる方向に設定する設定部と、
前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する位相差算出部と、
前記位相差算出部で算出された位相差、及び前記設定部で設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する代表値算出部と、
前記代表値算出部で算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する判定部と、
を含む、話者方向判定装置。
（付記１６）
前記判定部は、前記複数の話者領域の大きさが相違する場合には、前記複数の話者領域の大きさの相違を補正する補正係数を用いて前記代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する、
付記１５の話者方向判定装置。
（付記１７）
前記補正係数は、前記複数の話者領域各々の面積比から算出される、
付記１６の話者方向判定装置。
（付記１８）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の前記代表値に基づいて決定される、
付記１６の話者方向判定装置。
（付記１９）
前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値に基づいて決定される、
付記１６の話者方向判定装置。
（付記２０）
前記複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する、
付記１５〜付記１９の何れかの話者方向判定装置。
１０Ａ 話者方向判定装置
１５ 位相差算出部
１６ 位相差領域設定部
１７ 位相差数取得部
１８ 位相差数平均値算出部
２２ 方向判定部
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部
Ｍ０１ 第１マイク
Ｍ０２ 第２マイク

Claims (9)

  1. 複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定し、
    前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出し、
    算出された前記位相差、及び設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出し、
    算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する、
    話者方向判定処理をコンピュータに実行させるプログラム。
  2. 前記複数の話者領域の大きさが相違する場合には、前記複数の話者領域の大きさの相違を補正する補正係数を用いて前記代表値を補正した補正代表値を使用して、前記話者の存在方向を判定する、
    請求項１に記載のプログラム。
  3. 前記補正係数は、前記複数の話者領域各々の面積比から算出される、
    請求項２に記載のプログラム。
  4. 前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の前記代表値に基づいて決定される、
    請求項２に記載のプログラム。
  5. 前記補正係数は、前記複数の位相差領域の何れか１つの位相差領域の定常雑音モデル推定値に基づいて決定される、
    請求項２に記載のプログラム。
  6. 前記複数のマイクロフォンの１つで取得された音に対応する音信号の信号対雑音比が所定値より大きい周波数帯域の位相差の個数の代表値を算出する、
    請求項１〜請求項５の何れか１項に記載のプログラム。
  7. 前記代表値は時間平均値である、
    請求項１〜請求項６の何れか１項に記載のプログラム。
  8. コンピュータが、
    複数の話者領域の各々を、複数のマイクロフォンを含むマイクアレイを基点として各々異なる方向に設定し、
    前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出し、
    算出された前記位相差、及び設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出し、
    算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する、
    話者方向判定方法。
  9. 複数のマイクロフォンを含むマイクアレイと、
    複数の話者領域の各々を、前記マイクアレイを基点として各々異なる方向に設定する設定部と、
    前記複数のマイクロフォンで取得された複数の音信号に基づいて、異なる複数の各周波数帯域各々における位相差を算出する位相差算出部と、
    前記位相差算出部で算出された位相差、及び前記設定部で設定された前記複数の話者領域に基づいて、前記複数の話者領域の各々に対応する複数の位相差領域の各々に属する位相差の個数の代表値を算出する代表値算出部と、
    前記代表値算出部で算出された前記代表値の大きさを比較し、前記代表値が大きい位相差領域に対応する話者領域の方向を話者の存在方向であると判定する判定部と、
    を含む、話者方向判定装置。
JP2019102058A 2019-05-31 2019-05-31 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置 Active JP7226107B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019102058A JP7226107B2 (ja) 2019-05-31 2019-05-31 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置
US16/884,106 US11227625B2 (en) 2019-05-31 2020-05-27 Storage medium, speaker direction determination method, and speaker direction determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019102058A JP7226107B2 (ja) 2019-05-31 2019-05-31 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置

Publications (2)

Publication Number Publication Date
JP2020197565A true JP2020197565A (ja) 2020-12-10
JP7226107B2 JP7226107B2 (ja) 2023-02-21

Family

ID=73550776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019102058A Active JP7226107B2 (ja) 2019-05-31 2019-05-31 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置

Country Status (2)

Country Link
US (1) US11227625B2 (ja)
JP (1) JP7226107B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254226A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011139378A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム
JP2011186384A (ja) * 2010-03-11 2011-09-22 Fujitsu Ltd 雑音推定装置、雑音低減システム、雑音推定方法、及びプログラム
JP2013135433A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
JP2014168188A (ja) * 2013-02-28 2014-09-11 Fujitsu Ltd マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置
JP2017125893A (ja) * 2016-01-12 2017-07-20 富士通株式会社 音源検出装置、音源検出方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353724B2 (ja) 1998-11-11 2002-12-03 三菱マテリアル株式会社 無線通信装置、無線通信システム、及び通信制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254226A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011139378A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム
JP2011186384A (ja) * 2010-03-11 2011-09-22 Fujitsu Ltd 雑音推定装置、雑音低減システム、雑音推定方法、及びプログラム
JP2013135433A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
JP2014168188A (ja) * 2013-02-28 2014-09-11 Fujitsu Ltd マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置
JP2017125893A (ja) * 2016-01-12 2017-07-20 富士通株式会社 音源検出装置、音源検出方法、及びプログラム

Also Published As

Publication number Publication date
JP7226107B2 (ja) 2023-02-21
US11227625B2 (en) 2022-01-18
US20200381008A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6020258B2 (ja) マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置
JP2017067862A (ja) 音声信号処理装置、音声信号処理方法及びプログラム
US10679641B2 (en) Noise suppression device and noise suppressing method
KR20080013734A (ko) 음원 방향 추정 방법, 및 음원 방향 추정 장치
JP2014137414A (ja) 雑音抑圧装置、方法、及びプログラム
CN112272848A (zh) 使用间隙置信度的背景噪声估计
WO2021150816A1 (en) Method and apparatus for wind noise attenuation
US8856001B2 (en) Speech sound detection apparatus
CN113613112B (zh) 抑制麦克风的风噪的方法和电子装置
US9691372B2 (en) Noise suppression device, noise suppression method, and non-transitory computer-readable recording medium storing program for noise suppression
JP2020197565A (ja) 話者方向判定プログラム、話者方向判定方法、及び、話者方向判定装置
JP5772591B2 (ja) 音声信号処理装置
US11984132B2 (en) Noise suppression device, noise suppression method, and storage medium storing noise suppression program
JP2017011541A (ja) 音声処理装置、プログラム、及び通話装置
JP2012149906A (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
JP5494492B2 (ja) 信号補正装置
US10706870B2 (en) Sound processing method, apparatus for sound processing, and non-transitory computer-readable storage medium
US10531189B2 (en) Method for utterance direction determination, apparatus for utterance direction determination, non-transitory computer-readable storage medium for storing program
JP5970985B2 (ja) 音声信号処理装置、方法及びプログラム
JP6631127B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声処理装置
US20200389724A1 (en) Storage medium, speaker direction determination method, and speaker direction determination apparatus
JP6361360B2 (ja) 残響判定装置及びプログラム
US20220139367A1 (en) Information processing device and control method
JP2011205324A (ja) 音声処理装置、音声処理方法およびプログラム
CN115691532A (zh) 风噪声污染范围估算方法及抑制方法、装置、介质、终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R150 Certificate of patent or registration of utility model

Ref document number: 7226107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150