JP2016021650A - 収音制御装置及び収音システム - Google Patents

収音制御装置及び収音システム Download PDF

Info

Publication number
JP2016021650A
JP2016021650A JP2014144362A JP2014144362A JP2016021650A JP 2016021650 A JP2016021650 A JP 2016021650A JP 2014144362 A JP2014144362 A JP 2014144362A JP 2014144362 A JP2014144362 A JP 2014144362A JP 2016021650 A JP2016021650 A JP 2016021650A
Authority
JP
Japan
Prior art keywords
sound
vehicle
unit
search
sound collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014144362A
Other languages
English (en)
Other versions
JP6195073B2 (ja
Inventor
広志 田中
Hiroshi Tanaka
広志 田中
信一 重永
Shinichi Shigenaga
信一 重永
亮太 藤井
Ryota Fujii
亮太 藤井
正成 宮本
Masanari Miyamoto
正成 宮本
和幸 堀尾
Kazuyuki Horio
和幸 堀尾
祐二 阿部
Yuji Abe
祐二 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014144362A priority Critical patent/JP6195073B2/ja
Priority to US14/797,597 priority patent/US9641928B2/en
Publication of JP2016021650A publication Critical patent/JP2016021650A/ja
Application granted granted Critical
Publication of JP6195073B2 publication Critical patent/JP6195073B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】複数のマイク素子により収音された音声に対して話者の方向に指向性を形成することで、話者の音声の収音精度の劣化を抑制し、店舗内の店員における話者の注文内容の聞き取り易さを改善する。
【解決手段】収音制御装置は、車両の所定位置での停車を検出する停車検出部と、複数の収音素子を含む収音部により収音された音声を用いて、収音部から、所定位置に停車した車両の騒音源の方向を特定する騒音源方向特定部と、特定された車両の騒音源の方向と車両の騒音源の方向の周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、形成された複数の探索ビームから、車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、選択された探索ビームに対応する方向に、収音部により収音された音声の指向性を形成する指向性形成部と、を備える。
【選択図】図7

Description

本発明は、複数のマイク素子により収音された音声を用いて、話者に向かう方向に音声の指向性を形成する収音制御装置及び収音システムに関する。
従来、ファストフード店やカフェ等の店舗におけるドライブスルーでは、ヘッドセットを装着した店舗内の店員が車両(例えば自動車)で来店した話者(例えば注文者)との間で注文内容の通話を行うために、車両の停車位置付近にマイク及びスピーカを含む注文入力装置が設けられている。注文入力装置ではマイクは単一の無指向性マイク又は所定方向に指向性が予め形成された有指向性マイクが使用されるので、車両のエンジン音又は周囲の環境によっては注文内容の収音精度が良くないことがある。
ここで、ドライブスルーシステムにおいて、店員の音声がマイクに回り込んで収音されたことで生じるエコー成分を消去するエコーキャンセラを備えた音声信号処理装置に関する先行技術として、特許文献1に示す音声信号処理装置が提案されている。
特許文献1に示す音声信号処理装置のエコーキャンセラは、ドライブスルーにおける顧客側を近端側、店員側を遠端側とし、遠端信号に基づいて疑似エコー信号を生成する適応フィルタと、適応フィルタのエコーキャンセラ係数を係数更新処理により収束させる係数更新制御部とを有する。エコーキャンセラは、近端集音環境の変化として車両の到来が検知されたとき、検知後の時間経過に応じてエコーキャンセラ係数の収束速度を低下させるように係数更新処理を変更する。エコーキャンセラは、NLMS(学習同定)法のステップサイズを時間経過に応じて低下させ、例えば収束速度が低下するように係数更新処理のアルゴリズムを、例えばRLS(Recursive Least-Squares)法からNLMS(Normalized Least-Means Squares)法へ切り替える。
特開2010−16564号公報
しかし特許文献1の構成を用いたドライブスルーシステムでは、単一のマイクが使用されるので、話者(例えば注文者)のすぐ近くでは車両(例えば自動車)のエンジン音が大きいので、店員は話者の注文内容を聞き取りにくいという課題がある。更に周囲の道路や高速道路、線路からの騒音が大きいと、店員は話者の注文内容を一層聞き取りにくい。また、車両が所定の停車位置から外れたり、車両(例えば自動車)毎に車高が違ったりすることによっても、店員は話者の注文内容を聞き取りにくいことがある。
本発明は、上述した従来の課題を解決するために、複数のマイク素子により収音された音声に対して話者の方向に指向性を形成することで、話者の音声の収音精度の劣化を抑制し、店舗内の店員における話者の注文内容の聞き取り易さを改善する収音制御装置及び収音システムを提供することを目的とする。
本発明は、車両の所定位置での停車を検出する停車検出部と、複数の収音素子を含む収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、収音制御装置である。
また、本発明は、車両の所定位置での停車を検出する停車検出部と、前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、複数の収音素子を含む収音部により収音された音声の指向性を形成する指向性形成部と、を備え、前記探索ビーム形成部は、前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、前記探索ビーム選択部は、前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、収音制御装置である。
また、本発明は、複数の収音素子を含み、車両の話者の音声を収音する収音部と、前記車両の所定位置での停車を検出する停車検出部と、前記収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、収音システムである。
更に、本発明は、複数の収音素子を含み、車両の話者の音声を収音する収音部と、車両の所定位置での停車を検出する停車検出部と、前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備え、前記探索ビーム形成部は、前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、前記探索ビーム選択部は、前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、収音システムである。
本発明によれば、複数のマイク素子により収音された音声に対して話者の方向に指向性を形成することで、話者の音声の収音精度の劣化を抑制することができ、店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
ドライブスルーに適用した本実施形態の収音システムにおける話者(注文者)の音声の収音時の様子を模式的に示す説明図 (A)本実施形態の収音システムのシステム構成の第1例を示すブロック図、(B)本実施形態の収音システムのシステム構成の第2例を示すブロック図 図2(A)に示す収音システムの通信システム親機の内部構成を詳細に示すブロック図 図2(B)に示す収音システムの通信システム親機の内部構成を詳細に示すブロック図 (A)車両の停車の検出前における複数の探索ビームの形成に関する説明図、(B)水平方向に沿った複数の探索ビームの形成に関する説明図、(C)鉛直方向に沿った複数の探索ビームの形成に関する説明図、(D)水平方向及び鉛直方向に沿った複数の探索ビームの形成に関する説明図 (A)基準ビームとエンジンノイズ方向とが重なった場合の収音方向の切り替えに関する説明図、(B)エンジンノイズ方向の周囲への複数の探索ビームの追加に関する説明図 本実施形態の収音システムの動作手順の一例を説明するフローチャート 本実施形態の収音システムの動作手順の他の一例を説明するフローチャート ディスプレイ装置に表示された画像上の位置の指定に応じた収音方向の切り替えに関する説明図 収音方向の調整と探索ビームのビーム幅の調整とに関する運用画面の一例を示す図
以下、本発明に係る収音制御装置及び収音システムの実施形態(以下、「本実施形態」という)について、図面を参照して説明する。本実施形態の収音システムは、例えばファストフード店やカフェ等の店舗におけるドライブスルーにおいて使用されるとして説明するが、ドライブスルーに適用した例に限定されない。
なお、本発明は、収音システムを構成する各装置(例えば後述する通信システム親機10,10A、又は信号処理装置20)、又は収音システム又は各装置(例えば後述する通信システム親機10,10A、又は信号処理装置20)が行う各動作(ステップ)を含む方法として表現することも可能である。
図1は、ドライブスルーに適用した本実施形態の収音システム100における話者(注文者)の音声の収音時の様子を模式的に示す説明図である。図1に示す収音システム100では、店舗(例えばファストフード店)に車両(例えば自動車)CRで来店した来店客(以下、「注文者」という)が、店舗の屋外に設置されたオーダーポストOpに向かって、店舗内の店員との間でドライブスルーにおける注文内容の通話を行う。
本実施形態において、オーダーポストOpは、オーダーポストディスプレイ装置Opdにおいてドライブスルーの注文対象の商品を写真等の画像データによって表示し、更に、店員と来店客(注文者)との間での通話を行うためのマイクアレイ装置Mca及びスピーカ装置Spを少なくとも含む屋外設置機器である。マイクアレイ装置Mcaについては後述する。
スピーカ装置Spは、例えば店舗内の店員の発した音声を出力する。例えば、店員の声(例えば「いらっしゃいませ。ご注文は何でしょうか?」)は、通信システム親機10(後述参照)を介してオーダーポストOpのスピーカ装置Spから出力されて注文者によって聞き取られる。また、注文者の声(例えば注文対象の商品名や数量等)は、オーダーポストOpのマイクアレイ装置Mcaにおいて収音されて、通信システム親機10(後述参照)を介して、店員が装着するヘッドセットHdsに出力される(図2(A)又は(B)参照)。
また、オーダーポストOpにはカメラ装置Cmが備え付けられており、カメラ装置Cmは、オーダーポストOpの正面方向を含む所定の画角の範囲の画像を撮像する。カメラ装置Cmにより撮像された画像は、後述するディスプレイ装置36(図3又は図4参照)において表示される。
また、オーダーポストOpには、車両検出センサCRsが備え付けられており、車両検出センサCRsは、車両CRがドライブスルーにおける店舗の屋外の所定の停車位置(例えば停車線Spnの前。以下同様。)に停車したことを検出する。なお、カメラ装置Cmが車両検出センサCRsの代わりに、車両CRがドライブスルーにおける店舗の屋外の所定の停車位置に停車したことを検出しても良い。この場合には、車両検出センサCRsを省略可能である。
図2(A)は、本実施形態の収音システム100のシステム構成の第1例を示すブロック図である。図2(B)は、本実施形態の収音システム100Aのシステム構成の第2例を示すブロック図である。図2(A)に示す収音システム100のシステム構成の詳細については図3を参照して説明し、図2(B)に示す収音システム100Aのシステム構成の詳細については図4を参照して説明する。
図2(A)に示す収音システム100は、オーダーポストOpと、通信システム親機10と、車両検出センサCRsと、通信システム親機10に対する通信システム子機としてのヘッドセットHdsとを含む構成である。なお、車両検出センサCRsは、図1に示すように、オーダーポストOpの内部に含まれるように設けられても良いし、オーダーポストOpの外部に設けられても良い。
また、オーダーポストOpと通信システム親機10との間、車両検出センサCRsと通信システム親機10との間、並びにヘッドセットHdsと通信システム親機10との間は、それぞれ不図示のネットワークを介して相互に接続されている。ネットワークは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network))でも良い。
収音部の一例としてのマイクアレイ装置Mcaは、複数の収音素子(例えばマイク素子)を有し、各マイク素子において、収音システム100が設置される収音領域(例えばオーダーポストOpの正面から水平方向(左右方向)の所定の角度の範囲)における音声を収音する。マイク素子は、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM: Electret Condenser Microphone)117aが用いられる。
マイクアレイ装置Mcaは、例えば店舗に車両CRで来店した来店客(注文者)の話す注文内容の音声や、車両CRの騒音源の一例としてのエンジン音による騒音(以下、「エンジンノイズ」という)を収音する。マイクアレイ装置Mcaにより収音された音声の音声信号、カメラ装置Cmの撮像により得られた画像信号、車両検出センサCRsの車両CRの所定位置への停車の検出結果が含まれる検出信号は、通信システム親機10に送信される。
なお、マイクアレイ装置Mcaの各マイク素子は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン(例えばガンマイク)又はこれらの組み合わせが用いられても良い。また、本実施形態における収音部の一例として、マイクアレイ装置Mcaの代わりに、所定の制御信号に応じて稼働可能な機構を有する複数のマイクロホンを用いて構成しても良い。
また、図2(B)に示すように、図2(A)に示す通信システム親機10は、オーダーポストOp、ヘッドセットHds又は車両検出センサCRsとの間の通信機能の役割を担う通信部31Aと、通信機能以外の役割(詳細は後述参照)を担う信号処理装置20とにより構成されても良い。本発明に係る収音制御装置は、図2(A)に示す通信システム親機10に対応しても良いし、図2(B)に示す信号処理装置20に対応しても良い。以下、説明を簡単にするために、本発明に係る収音制御装置は図2(A)に示す通信システム親機10であるとして説明する。
カメラ装置Cmは、オーダーポストOpの正面方向を含む所定の画角の範囲の画像を撮像し、撮像により得られた画像の画像データ(例えば所定の歪補正処理を施してパノラマ変換して生成した2次元画像データ)を通信システム親機10又は通信部31Aに送信する。上述したように、カメラ装置Cmは、カメラ装置Cm自身が撮像した画像の画像データに対して所定の画像解析処理を行うことにより、車両CRがドライブスルーにおける店舗の屋外の所定の停車位置に停車したことを検出しても良い。
また、カメラ装置Cmは、図9を参照して後述するように、ディスプレイ装置36に表示された画像上で、ユーザによって任意の位置が指定されると、画像中の指定位置の座標データを通信システム親機10から受信し、カメラ装置Cmから、指定位置に対応する実空間上の位置(以下、単に「収音位置」という)までの距離、方向(水平角及び垂直角を含む。以下同様。)のデータを算出して通信システム親機10に送信する。なお、カメラ装置Cmにおける距離、方向のデータ算出処理は公知技術であるため、説明は省略する。
オーダーポストディスプレイ装置Opdは、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、通信システム親機10の制御の下で、ドライブスルーの注文対象の商品(例えば飲食物)の画像データや注文対象の商品の合計金額を表示する。
ヘッドセットHdsは、通信システム親機10に対応する通信システム子機としての役割を有し、店舗内の店員により装着され、注文者の発した音声(例えば注文内容を言ったときの音声)が通信システム親機10によって所定の信号処理(後述参照)が施された後の音声信号を出力する。これにより、ヘッドセットHdsを装着した店員は、マイクアレイ装置Mcaにおいて収音された注文者の発した音声が通信システム親機10により所定の信号処理が施されることで、マイクアレイ装置Mcaから車両CRに乗っている注文者の音声の音源の方向に指向性が形成された音声信号がヘッドセットHdsから出力されるので、エンジンノイズが騒がしい環境下でも、注文者の発した音声を高精度に聞き取ることができる。なお、通信システム親機10の信号処理の詳細については後述する。
図3は、図2(A)に示す収音システム100の通信システム親機10の内部構成を詳細に示すブロック図である。図4は、図2(B)に示す収音システム100Aの通信システム親機10Aの内部構成を詳細に示すブロック図である。図3に示す通信システム親機10は、通信部31と、操作部32と、信号処理部33と、停車判定部35と、ディスプレイ装置36と、メモリ38と、画像処理部39とを含む構成である。信号処理部33は、収音方向処理部34aと、出力制御部34bと、SN比較処理部34cと、発話区間判定部34dとを含む構成である。なお、図3,図4では、スピーカ装置37は、それぞれ通信システム親機10,10Aには含まれていないが、スピーカ装置37がヘッドセットHdsと異なるスピーカ装置である場合には、通信システム親機10,10Aに含まれても良い。通信システム親機10,10Aは、例えば店舗内の所定の収音制御室(不図示)に設置される据置型のPC(Personal Computer)でも良いし、店員が携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
通信部31は、不図示のネットワークを介して、マイクアレイ装置Mca2から送信された音声信号、カメラ装置Cmから送信された画像信号、車両検出センサCRsから送信された検出信号を受信して信号処理部33に出力する。
操作部32は、店員の入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部32は、例えばディスプレイ装置36の画面に対応して配置され、ユーザの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
操作部32は、ディスプレイ装置36に表示された画像(例えばカメラ装置Cmにより撮像された画像)に対し、店員の入力操作によって指定された位置(即ち、スピーカ装置37又はヘッドセットHdsから出力される注文者の音声の音量レベルの増大又は低減を所望する位置)を示す座標データを取得して信号処理部33に出力する。信号処理部33は、通信部31に、操作部32から取得した座標データをカメラ装置Cmに送信させる。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、通信システム親機10,10Aの各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
収音方向処理部34aは、マイクアレイ装置Mcaにより収音された音声の指向性のメインビーム(メインローブ)が形成される方向(以下、「収音方向」という)の設定及びその調整を行い、例えば所定の基準ビームに対応する方向(基準ビーム方向)を収音方向として設定する(図5(A)参照)。所定の基準ビーム方向とは、例えばオーダーポストOpの正面方向、又はオーダーポストOpから、所定の位置(例えば図1に示す停止線Spn)に停車する車両CRの話者(注文者)に向かう方向である。
収音方向処理部34aは、基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のいずれかに、所定の角度毎に複数の探索ビームを形成する(図5(A)〜(D)参照)。探索ビームとは、例えば信号強度(SN(Signal Noise)比)の比較によって、マイクアレイ装置Mcaから車両CRの話者(注文者)の音声の音源の方向を探索するために形成される指向性のメインビームである。
収音方向処理部34aは、マイクアレイ装置Mcaにより収音された音声の音声データを用いて、マイクアレイ装置Mcaから、所定位置に停車した車両CRのエンジンノイズ方向を特定する。車両CRが所定位置に停車した後、車両CRがアイドリング状態である場合には、車両CRを含む周囲の音圧の平均値はエンジン音による音圧の平均値が支配的であると考えられる。従って、収音方向処理部34aは、所定の角度毎に形成された複数の探索ビームの中から、例えば各探索ビームに対応する音圧の平均値(観測値)が最も大きい探索ビームに対応する方向を、車両CRのエンジンノイズ方向と特定する。
また、収音方向処理部34aは、音圧の平均値を比較する代わりに、複数の探索ビーム間で、探索ビーム毎の定常ノイズレベルを比較し、定常ノイズレベルが最も大きい探索ビームに対応する方向をエンジンノイズ方向として特定しても良い。
収音方向処理部34aは、車両CRが所定位置に停車したことが検出された後、収音方向処理部34aによって特定された車両CRのエンジンノイズの方向(エンジンノイズ方向)と基準ビームに対応する収音方向とが一致した場合には、収音方向を、エンジンノイズ方向以外の探索ビームに対応する方向に切り替える(図6(A)参照)。エンジンノイズ方向以外の探索ビームに対応する方向とは、例えば複数の探索ビームのうち、SN比が最も良好な(即ちノイズのレベルが最も低い)探索ビームに対応する方向である。
収音方向処理部34aは、注文者の発話区間が検出された後、エンジンノイズ方向とエンジンノイズ方向の周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成する(図6(B)参照)。収音方向処理部34aは、複数の探索ビームの中から、SN比較処理部34cによって選択されたいずれかの探索ビームに対応する方向に収音方向を切り替える。
収音方向処理部34aは、ディスプレイ装置36に表示された画像から店員の位置の指定操作に応じて、マイクアレイ装置Mcaから指定位置に対応する収音位置(例えば図5(A)に示す話者(注文者)HMの位置)に向かう収音方向を示す座標(θMAh,θMAv)を、カメラ装置Cmから送信された距離、方向のデータを用いて算出する。収音方向処理部34aの具体的な算出方法は公知技術であるため、詳細な説明を省略する。
例えばカメラ装置Cmの筐体を囲むようにマイクアレイ装置Mcaの筐体とカメラ装置Cmとが一体的に取り付けられている場合には、カメラ装置Cmから収音位置までの方向(水平角,垂直角)を、マイクアレイ装置Mcaから収音位置までの収音方向座標(θMAh,θMAv)として用いることができる。なお、カメラ装置Cmの筐体とマイクアレイ装置Mcaの筐体とが離れて取り付けられている場合には、収音方向処理部34aは、事前に算出されたキャリブレーションパラメータのデータと、カメラ装置Cmから収音位置までの方向(水平角,垂直角)のデータとを用いて、位マイクアレイ装置Mcaから収音位置までの収音方向座標(θMAh,θMAv)を算出する。なお、キャリブレーションとは、通信システム親機10の収音方向処理部34aが収音方向を示す座標(θMAh,θMAv)を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、公知技術により予め行われているとする。
収音方向を示す座標(θMAh,θMAv)のうち、θMAhはマイクアレイ装置Mcaから収音位置に向かう収音方向の水平角を表し、θMAvはマイクアレイ装置Mcaから収音位置に向かう収音方向の垂直角を表す。なお、収音位置は、操作部32がディスプレイ装置36に表示された画像において店員の指又はスタイラスペンによって指定された指定位置に対応する実際の車両CRの話者(注文者)の位置である(図9参照)。
図9は、ディスプレイ装置36に表示された画像上の位置の指定に応じた収音方向の切り替えに関する説明図である。図9では、図7を参照して後述するように、収音方向処理部34aが収音方向を切り替えて設定するが、この設定された収音方向を簡易に修正(調整)するための補助手段として、店員がディスプレイ装置36に表示された画像上で、話者(注文者、運転手)の口元あたりがクリック(タッチ)されると、収音方向処理部34aは、マイクアレイ装置Mcaからクリック位置に対応する収音位置に向かう方向に収音方向を切り替えても良い。
出力制御部34bは、ディスプレイ装置36及びスピーカ装置37の動作を制御し、例えば店員の操作に応じて、カメラ装置Cmから送信された画像データをディスプレイ装置36に表示させ、マイクアレイ装置Mcaから送信された音声データをスピーカ装置37から出力させる。また、指向性形成部の一例としての出力制御部34bは、収音方向処理部34aにより算出された座標(θMAh,θMAv)が示す収音方向に、マイクアレイ装置Mcaにより収音された音声の音声データの指向性を形成する。但し、マイクアレイ装置Mca自身が音声データの指向性を形成しても良い。
なお、出力制御部34bが所定の角度の方向に音声の指向性を形成する処理は公知技術であるため、詳細な説明を省略する。例えば、出力制御部34bは、例えば遅延和方式を用いて、マイクアレイ装置Mca内に配置された複数のマイク素子が収音した音声信号に、音源からマイク素子毎に入力される音声信号の到来時間差に応じた遅延時間を付与し、更に、各遅延時間の付与後の音声信号の合成によって、マイクアレイ装置Mcaから所定の角度の方向に音声の指向性を形成する。
探索ビーム選択部の一例としてのSN比較処理部34cは、注文者の発話区間が検出された後、収音方向処理部34aにより形成された複数の探索ビームの中から、複数の探索ビーム間の信号強度(SN比)の比較結果から最もSN比が良好な探索ビームを、車両CRの話者(注文者)の音声の音源の方向に対応する探索ビームとして選択する。
発話区間判定部34dは、マイクアレイ装置Mcaにより収音された音声の音声データを用いて、車両CRの話者(注文者)の発話区間を検出する。
停車検出部の一例としての停車判定部35は、車両検出センサCRsからの検出信号を基に、車両CRが所定位置に停車したこと又は車両CRが所定位置に停車していないことを判定する。停車判定部35は、判定結果を信号処理部33に出力する。
表示部としてのディスプレイ装置36は、例えばLCD又は有機ELを用いて構成され、店員の操作に応じて、出力制御部34bの制御の下で、カメラ装置Cmから送信された画像データを画面に表示する。また、ディスプレイ装置36は、店員の操作によって、操作部32から出力された操作信号を基に、例えばドライブスルーにおける注文者からの注文入力を支援するための所定のアプリケーションの画面(例えば図10参照)を画面に表示する。
音声出力部としてのスピーカ装置37は、マイクアレイ装置Mcaから送信された音声データ、又は収音方向処理部34aが算出した収音方向(θMAh,θMAv)に指向性が形成された音声データを出力する。スピーカ装置37は、店舗内に設置されるスピーカ装置でも良いし、店員が装着するヘッドセットHdsに設けられるスピーカ装置でも、又はその両方でも良い。なお、ディスプレイ装置36及びスピーカ装置37は、通信システム親機10とは別々の構成としても良い。
記憶部としてのメモリ38は、例えばRAM(Random Access Memory)を用いて構成され、通信システム親機10の各部の動作時のワークメモリとして機能し、更に、通信システム親機10の各部の動作時に必要なデータを記憶する。
画像処理部39は、カメラ装置Cmにより撮像された画像を用いて所定の画像処理を施すことにより、ディスプレイ装置36に表示された画像中の話者(注文者)の顔検出を行い、更に、基準ビーム方向やオーダーポストOpの正面方向を検出する。画像処理部39は、画像処理結果を信号処理部33に出力する。
図4において、通信システム親機10Aは、図3に示す通信システム親機10に対応し、通信部31Aと信号処理装置20とを含む構成である。言い換えると、図3に示す通信システム親機10のうち通信部31以外の各部により、図4に示す信号処理装置20が構成される。このため、信号処理装置20の説明は省略する。
図5(A)は、車両CRの停車の検出前における複数の探索ビームBm1,Bm2,Bm3の形成に関する説明図である。図5(B)は、水平方向に沿った複数の探索ビームの形成に関する説明図である。図5(C)は、鉛直方向に沿った複数の探索ビームの形成に関する説明図である。図5(D)は、水平方向及び鉛直方向に沿った複数の探索ビームの形成に関する説明図である。
収音方向処理部34aは、車両CRの停車の検出前に、マイクアレイ装置Mcaにより収音された音声の指向性のメインビームが形成される収音方向として、所定の基準ビームBm1を形成する(図5(A)参照)。また、収音方向処理部34aは、車両CRの停車の検出前に、基準ビーム方向から所定の角度(水平方向ではθ’、鉛直方向ではγ’)毎に、複数の探索ビーム(例えば探索ビームBm2,Bm3)を形成する(図5(A)〜(D)参照)。
図5(B)において、角度θは、オーダーポストOpの正面方向から水平左方向又は水平右方向に向かって形成されるm[個]の探索ビームのなす角度範囲であり、角度θ’は、水平左方向又は水平右方向における隣接する探索ビーム間のなす角度であり、探索ビームの角度分解能に相当する。
図5(C)において、角度γは、オーダーポストOpの正面方向から鉛直上方向又は鉛直下方向に向かって形成されるn[個]の探索ビームのなす角度範囲であり、角度γ’は、鉛直上方向又は鉛直下方向における隣接する探索ビーム間のなす角度であり、探索ビームの角度分解能に相当する。
収音方向処理部34aは、例えば水平方向(左右方向)には、(2m+1)[個]の探索ビームを形成し(図5(B)参照)、鉛直方向(上下方向)には、(2n+1)[個]の探索ビームを形成する(図5(C)参照)。また、収音方向処理部34aは、水平方向(左右方向)及び鉛直方向(上下方向)に探索ビームを形成する場合には、合計(2m+1)×(2n+1)[個]の探索ビームを形成する(図5(D)参照)。なお、図5(D)では、m=n=1、θ=α、γ=βである。図5(D)において、角度αは、水平左方向又は水平右方向における隣接する探索ビーム間のなす角度であり、角度βは、鉛直上方向又は鉛直下方向における隣接する探索ビーム間のなす角度である。
図6(A)は、基準ビームとエンジンノイズ方向とが重なった場合の収音方向の切り替えに関する説明図である。話者(注文者)が発話した音声は店員のヘッドセットHdsに出力されるので、エンジンノイズ方向と基準ビームに対応する収音方向とが一致すると、ヘッドセットHdsからエンジンノイズ方向に指向性が形成された音声が出力されてしまい、店員は話者(注文者)の発話音声が聞き取りづらいという不具合がある。
収音方向処理部34aは、上述した不具合を回避するために、車両CRが所定位置に停車したことが検出された後、話者(注文者)が発話(例えば注文内容を話す)前に、車両CRのエンジンノイズの方向(エンジンノイズ方向)と基準ビーム(例えば図6(A)に示す探索ビームBm2)に対応する収音方向とが一致した場合には、収音方向を、エンジンノイズ方向以外の探索ビーム(例えば図6(A)に示す探索ビームBm1)に対応する方向に切り替える(図6(A)参照)。
図6(B)は、エンジンノイズ方向の周囲への複数の探索ビームの追加に関する説明図である。話者(注文者)は車両CRのエンジンの周辺にいることが多いと考えられるため、収音方向処理部34aは、注文者の発話区間が検出された後、エンジンノイズ方向に対応する探索ビームBm2とエンジンノイズ方向に対応する探索ビームBm2の周囲に、車両CRの話者の音声の音源を探索するための複数の探索ビームBm2a,Bm2b,Bm2c,Bm2dを形成する(図6(B)参照)。
次に、本実施形態の収音システム100における動作手順について、図7を参照して説明する。図7は、本実施形態の収音システム100の動作手順の一例を説明するフローチャートである。図7では、ステップS1〜ステップS7の各処理は車両CRの話者(注文者)が発話する前の処理であり、ステップS8以降の各処理は車両CRの話者(注文者)が発話している間の処理である。また、図7では図示しないが、収音方向処理部34aにより設定された収音方向に指向性が形成された音声は、店員のヘッドセットHdsに出力されているとする。
図7において、収音方向処理部34aは、マイクアレイ装置Mcaにより収音された音声の指向性のメインビームが形成される方向(収音方向)として、例えば所定の基準ビームに対応する方向(基準ビーム方向)を設定する(S1、図5(A)参照)。収音方向処理部34aは、ステップS1において設定した基準ビーム方向から、水平方向、鉛直方向、又は水平方向及び鉛直方向のいずれかに、所定の角度毎に複数の探索ビームを形成する(S2、図5(A)〜(D)参照)。
ステップS2の後、車両検出センサCRsは、収音システム100が設置されたドライブスルーの店舗に車両CRが来店し、店舗の屋外の所定位置(例えば図1に示す停止線Spn)に停車したことを検出したとする(S3)。車両CRの停車が検出された場合(S4、YES)、収音方向処理部34aは、マイクアレイ装置Mcaにより収音された音声の音声データを用いて、マイクアレイ装置Mcaから、所定位置に停車した車両CRのエンジンノイズ方向を特定する(S5)。例えば、収音方向処理部34aは、所定の角度毎に形成された複数の探索ビームの中から、例えば各探索ビームに対応する音圧の平均値(観測値)が最も大きい探索ビームに対応する方向を、車両CRのエンジンノイズ方向と特定する(S5)。
ここで、ステップS1において設定された基準ビーム方向とステップS5において特定されたエンジンノイズ方向とが一致しない場合には(S6、NO)、ステップS5の処理の次にステップS8に進む。一方、ステップS1において設定された基準ビーム方向とステップS5において特定されたエンジンノイズ方向とが一致する場合には(S6、YES)、収音方向処理部34aは、収音方向を、ステップS5において特定されたエンジンノイズ方向以外の探索ビームに対応する方向に切り替える(S7、図6(A)参照)。
ステップS7の後、車両CRの話者(注文者)が注文内容を話し始めて話者(注文者)の発話区間の音声が発話区間判定部34dにより判定され(S8)、発話(例えば注文内容の会話)があった場合には(S9、YES)、収音方向処理部34aは、エンジンノイズ方向とエンジンノイズ方向の周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成する(S10、図6(B)参照)。
SN比較処理部34cは、ステップS10において形成されたエンジンノイズ方向に対応する探索ビームを含む複数の探索ビーム間において、信号強度の指標の一例としてのSN比を比較し、SN比が最も良好な探索ビームを、車両CRの話者(注文者)の音声の音源の方向に対応する探索ビームとして選択する(S11)。収音方向処理部34aは、ステップS11においてSN比較処理部34cにより選択された探索ビームに対応する方向を、ステップS1又はステップS7において設定された基準ビーム方向に対応する収音方向として設定する(S12)。
図8は、本実施形態の収音システム100の動作手順の他の一例を説明するフローチャートである。図8では、図7と図8との違いを分かり易くするために、図7に示す各処理と重複する処理の図示を省略しており、具体的にはステップS1〜ステップS8までの処理は図示を省略している。
図8において、発話(例えば注文内容の会話)があった場合には(S9、YES)、SN比較処理部34cは、ステップS2において水平方向、鉛直方向、又は水平方向及び鉛直方向のいずれかに所定の角度毎に形成された複数の探索ビームの中から、複数の探索ビーム間においてSN比を比較し、SN比が最も良好な探索ビームを選択する(S13)。収音方向処理部34aは、ステップS13において選択された探索ビームの周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成する(S14、図6(B)参照)。
SN比較処理部34cは、ステップS13において選択された探索ビームとステップS14において形成された複数の探索ビームとの間において、信号強度の指標の一例としてのSN比を比較し、SN比が最も良好な探索ビームを、車両CRの話者(注文者)の音声の音源の方向に対応する探索ビームとして選択する(S14)。収音方向処理部34aは、ステップS14においてSN比較処理部34cにより選択された探索ビームに対応する方向を、ステップS1又はステップS7において設定された基準ビーム方向に対応する収音方向として設定する(S15)。
図10は、収音方向の調整と探索ビームのビーム幅の調整とに関する運用画面の一例を示す図である。図7又は図8を参照して説明したように、収音方向処理部34aは、店員が装着するヘッドセットHdsから出力される音声の指向性が形成される収音方向を設定するが、店員は、例えばディスプレイ装置36に表示された運用画面の注文表示画面Orscの方向調整メニューDraj、ビーム幅調整メニューBwajを操作することで、収音方向又は基準ビームのビーム幅を任意に調整しても良い。
図10では、ディスプレイ装置36に注文表示画面Orscと、注文入力操作画面Mescとが表示され、注文表示画面Orscには、方向調整メニューDraj、ビーム幅調整メニューBwajが表示されている。方向調整メニューDrajでは、収音方向の角度を調整するための4個の調整ボタン(上方向調整ボタンDr1,左方向調整ボタンDr2,右方向調整ボタンDr3,下方向調整ボタンDr4)が表示されている。ビーム幅調整メニューBwajでは、収音方向に対応する基準ビームのビーム幅を調整するための2個の調整ボタン(プラス調整ボタンBw1,マイナス調整ボタンBw2)が表示されている。店員は、これらの各調整ボタンを任意に操作(タッチ、クリック等)することにより、収音方向の角度を簡易に調整することができ、又は、収音方向に対応する基準ビームのビーム幅を簡易に調整することができる。
以上により、本実施形態の収音システム100では、本発明に係る収音制御装置の一例としての通信システム親機10は、車両CRの騒音源(例えばエンジン音)の方向と車両CRの騒音源の方向の周囲に、車両CRの話者の音声の音源を探索するための複数の探索ビームを形成し、複数の探索ビームから車両CRの話者の音声の音源に対応する探索ビームを選択し、選択された探索ビームに対応する方向に、音声の指向性を形成する。
これにより、通信システム親機10は、マイクアレイ装置Mcaにより収音された音声に対して車両CRに乗っている話者の方向に指向性を形成することで、従来のように単一の指向性マイク又は無指向性マイクを用いて収音した音声に比べて、話者の音声の収音精度の劣化を抑制することができ、指向性が形成された音声が出力されるヘッドセットを装着した店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
また、通信システム親機10は、車両CRの騒音源の付近には話者(例えば注文者)が存在することを利用して、車両CRの騒音源の方向を用いて、車両CRの騒音源の方向に対して形成した騒音源の方向を含む複数の探索ビームから、車両CRの話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で複数の探索ビームを追加して形成するので、車両CRの話者の音声の音源に対応する探索ビームを高精度に選択することができる。
また、通信システム親機10は、車両CRの騒音源の方向を用いずに、基準ビーム方向に対して形成した基準ビーム方向を含む複数の探索ビームから、車両CRの話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で、所定の角度より小さい角度毎に複数の探索ビームを形成するので、車両CRの話者の音声の音源に対応する探索ビームを簡易かつ高精度に選択することができる。
また、通信システム親機10は、車両CRが店舗の屋外の所定位置に停車する前に、車両CRの話者の音声の音源に対応する所定の基準ビーム方向に音声の指向性を形成するので、車両CRの所定位置での停車が検出された時点では、車両CRに乗っている話者(例えば注文者)の音声(例えば注文内容)の音源の方向に対して素早く音声の指向性を形成することができるため、店舗内の店員における注文内容の聞き取り精度を向上することができる。
また、通信システム親機10は、車両CRが店舗の屋外の所定位置に停車する前に、基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに所定の角度毎に複数の探索ビームを形成するので、車両CRの所定位置での停車が検出された時点では、車両CRに乗っている話者(例えば注文者)の音声(例えば注文内容)の音源の方向を高精度に選択することができる。
また、通信システム親機10は、車両CRの騒音源(例えばエンジン音)の方向と基準ビーム方向とが一致する場合には、基準ビーム方向を、車両CRの騒音源の方向以外の方向に切り替えて音声の指向性を形成するので、車両CRの騒音源(例えばエンジン音)の音声が店舗内の店員が装着したヘッドセットから大きく出力されることを防ぐことができる。
また、通信システム親機10は、カメラ装置Cmにより撮像された車両CRの画像が表示されたディスプレイ装置36上の位置の指定に応じて、マイクアレイ装置Mcaから、ディスプレイ装置36の画面上の指定位置に対応する収音位置に向かう方向に、音声の指向性を切り替えて形成するので、一度形成された音声の指向性に対応する収音方向をユーザの操作に応じて、柔軟かつ所望の収音方向に変更することができる。
また、通信システム親機10は、収音方向を水平方向又は鉛直方向のいずれかに調整させる方向調整メニューDrajに対する入力操作に応じて、調整後の収音方向に対応する音声の指向性に切り替えて形成するので、例えばユーザの方向調整メニューDrajに対する入力操作に応じて、収音方向を柔軟かつ簡易に調整することができる。
また、通信システム親機10は、収音方向のビーム幅を所定幅毎に調整させるビーム幅調整メニューBwajに対する入力操作に応じて、調整後の収音方向のビーム幅に対応する音声の指向性に切り替えて形成するので、例えばユーザのビーム幅調整メニューBwajに対する入力操作に応じて、収音方向のビーム幅を柔軟かつ簡易に調整することができる。
最後に、本発明に係る収音制御装置及び収音システムの構成、作用、効果について説明する。
本発明の一実施形態は、車両の所定位置での停車を検出する停車検出部と、複数の収音素子を含む収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、収音制御装置である。
この構成によれば、収音制御装置は、車両の騒音源(例えばエンジン音)の方向と車両の騒音源の方向の周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成し、複数の探索ビームから車両の話者の音声の音源に対応する探索ビームを選択し、選択された探索ビームに対応する方向に、音声の指向性を形成する。
これにより、収音制御装置は、複数の収音素子を含む収音部(例えばマイクアレイ装置)により収音された音声に対して車両に乗っている話者の方向に指向性を形成することで、従来のように単一の指向性マイク又は無指向性マイクを用いて収音した音声に比べて、話者の音声の収音精度の劣化を抑制することができ、指向性が形成された音声が出力されるヘッドセットを装着した店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
また、収音制御装置は、車両の騒音源の付近には話者(例えば注文者)が存在することを利用して、車両の騒音源の方向を用いて、車両の騒音源の方向に対して形成した騒音源の方向を含む複数の探索ビームから、車両の話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で複数の探索ビームを追加して形成するので、車両の話者の音声の音源に対応する探索ビームを高精度に選択することができる。
また、本発明の一実施形態は、前記指向性形成部は、前記車両の前記所定位置での停車が検出される前に、前記車両の話者の音声の音源に対応する所定の基準ビーム方向に、前記収音部により収音された音声の指向性を形成する、収音制御装置である。
この構成によれば、収音制御装置は、車両が所定位置に停車する前に、車両の話者の音声の音源に対応する所定の基準ビーム方向に音声の指向性を形成するので、車両の所定位置での停車が検出された時点では、車両に乗っている話者(例えば注文者)の音声(例えば注文内容)の音源の方向に対して素早く音声の指向性を形成することができるため、店舗内の店員における注文内容の聞き取り精度を向上することができる。
また、本発明の一実施形態は、前記探索ビーム形成部は、前記基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに所定の角度毎に複数の探索ビームを形成する、収音制御装置である。
この構成によれば、収音制御装置は、車両が所定位置に停車する前に、基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに所定の角度毎に複数の探索ビームを形成するので、車両の所定位置での停車が検出された時点では、車両に乗っている話者(例えば注文者)の音声(例えば注文内容)の音源の方向を高精度に選択することができる。
また、本発明の一実施形態は、前記指向性形成部は、前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記基準ビーム方向とが一致する場合に、前記基準ビーム方向を、前記車両の騒音源の方向以外の方向に切り替えて前記指向性を形成する、収音制御装置である。
この構成によれば、収音制御装置は、車両の騒音源(例えばエンジン音)の方向と基準ビーム方向とが一致する場合には、基準ビーム方向を、車両の騒音源の方向以外の方向に切り替えて音声の指向性を形成するので、車両の騒音源(例えばエンジン音)の音声が店舗内の店員が装着したヘッドセットから大きく出力されることを防ぐことができる。
また、本発明の一実施形態は、車両の所定位置での停車を検出する停車検出部と、前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、複数の収音素子を含む収音部により収音された音声の指向性を形成する指向性形成部と、を備え、前記探索ビーム形成部は、前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、前記探索ビーム選択部は、前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、収音制御装置である。
この構成によれば、収音制御装置は、車両の話者の音声の音源に対応する基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に複数の探索ビームを形成し、複数の探索ビームから、車両の話者の音声(例えば注文内容)の音源に対応する探索ビームを選択し、選択された探索ビームに対応する方向に、音声の指向性を形成する。
これにより、収音制御装置は、複数の収音素子を含む収音部(例えばマイクアレイ装置)により収音された音声に対して車両に乗っている話者の方向に指向性を形成することで、従来のように単一の指向性マイク又は無指向性マイクを用いて収音した音声に比べて、話者の音声の収音精度の劣化を抑制することができ、指向性が形成された音声が出力されるヘッドセットを装着した店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
また、収音制御装置は、車両の騒音源の方向を用いずに、基準ビーム方向に対して形成した基準ビーム方向を含む複数の探索ビームから、車両の話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で、所定の角度より小さい角度毎に複数の探索ビームを形成するので、車両の話者の音声の音源に対応する探索ビームを簡易かつ高精度に選択することができる。
また、本発明の一実施形態は、前記指向性形成部は、撮像部により撮像された前記車両の画像が表示される表示部上の位置の指定に応じて、前記収音部から、前記表示部に対して指定された指定位置に対応する収音位置に向かう方向に、前記音声の指向性を切り替えて形成する、収音制御装置である。
この構成によれば、収音制御装置は、撮像部(例えばカメラ装置)により撮像された車両の画像が表示された表示部(例えばディスプレイ装置)上の位置の指定に応じて、収音部から、表示部上の指定位置に対応する収音位置に向かう方向に、音声の指向性を切り替えて形成するので、一度形成された音声の指向性に対応する収音方向をユーザの操作に応じて、柔軟かつ所望の収音方向に変更することができる。
また、本発明の一実施形態は、前記指向性形成部は、表示部に表示された、前記音声の指向性に対応する収音方向を水平方向又は鉛直方向のいずれかに調整させる方向調整部に対する入力操作に応じて、調整後の前記収音方向に対応する前記音声の指向性に切り替えて形成する、収音制御装置である。
この構成によれば、収音制御装置は、収音方向を水平方向又は鉛直方向のいずれかに調整させる方向調整部に対する入力操作に応じて、調整後の収音方向に対応する音声の指向性に切り替えて形成するので、例えばユーザの方向調整部に対する入力操作に応じて、収音方向を柔軟かつ簡易に調整することができる。
また、本発明の一実施形態は、前記指向性形成部は、表示部に表示された、前記音声の指向性に対応する収音方向のビーム幅を所定幅毎に調整させるビーム幅調整部に対する入力操作に応じて、調整後の前記収音方向のビーム幅に対応する前記音声の指向性に切り替えて形成する、収音制御装置である。
この構成によれば、収音制御装置は、収音方向のビーム幅を所定幅毎に調整させるビーム幅調整部に対する入力操作に応じて、調整後の収音方向のビーム幅に対応する音声の指向性に切り替えて形成するので、例えばユーザのビーム幅調整部に対する入力操作に応じて、収音方向のビーム幅を柔軟かつ簡易に調整することができる。
また、本発明の一実施形態は、複数の収音素子を含み、車両の話者の音声を収音する収音部と、前記車両の所定位置での停車を検出する停車検出部と、前記収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、収音システムである。
この構成によれば、収音システムは、車両の騒音源(例えばエンジン音)の方向と車両の騒音源の方向の周囲に、車両の話者の音声の音源を探索するための複数の探索ビームを形成し、複数の探索ビームから車両の話者の音声の音源に対応する探索ビームを選択し、選択された探索ビームに対応する方向に、音声の指向性を形成する。
これにより、収音システムは、複数の収音素子を含む収音部(例えばマイクアレイ装置)により収音された音声に対して車両に乗っている話者の方向に指向性を形成することで、従来のように単一の指向性マイク又は無指向性マイクを用いて収音した音声に比べて、話者の音声の収音精度の劣化を抑制することができ、指向性が形成された音声が出力されるヘッドセットを装着した店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
また、収音システムは、車両の騒音源の付近には話者(例えば注文者)が存在することを利用して、車両の騒音源の方向を用いて、車両の騒音源の方向に対して形成した騒音源の方向を含む複数の探索ビームから、車両の話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で複数の探索ビームを追加して形成するので、車両の話者の音声の音源に対応する探索ビームを高精度に選択することができる。
また、本発明の一実施形態は、複数の収音素子を含み、車両の話者の音声を収音する収音部と、車両の所定位置での停車を検出する停車検出部と、前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備え、前記探索ビーム形成部は、前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、前記探索ビーム選択部は、前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、収音システムである。
この構成によれば、収音システムは、車両の話者の音声の音源に対応する基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に複数の探索ビームを形成し、複数の探索ビームから、車両の話者の音声(例えば注文内容)の音源に対応する探索ビームを選択し、選択された探索ビームに対応する方向に、音声の指向性を形成する。
これにより、収音システムは、複数の収音素子を含む収音部(例えばマイクアレイ装置)により収音された音声に対して車両に乗っている話者の方向に指向性を形成することで、従来のように単一の指向性マイク又は無指向性マイクを用いて収音した音声に比べて、話者の音声の収音精度の劣化を抑制することができ、指向性が形成された音声が出力されるヘッドセットを装着した店舗内の店員における話者の注文内容の聞き取り易さを改善することができる。
また、収音システムは、車両の騒音源の方向を用いずに、基準ビーム方向に対して形成した基準ビーム方向を含む複数の探索ビームから、車両の話者(例えば注文者)の音声の音源に対応する探索ビーム(例えばSN比が最も良好な探索ビーム)を選択した上で、所定の角度より小さい角度毎に複数の探索ビームを形成するので、車両の話者の音声の音源に対応する探索ビームを簡易かつ高精度に選択することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、複数のマイク素子により収音された音声に対して話者の方向に指向性を形成することで、話者の音声の収音精度の劣化を抑制し、店舗内の店員における話者の注文内容の聞き取り易さを改善する収音制御装置及び収音システムとして有用である。
10、10A 通信システム親機
20 信号処理装置
31、31A 通信部
32 操作部
33 信号処理部
34a 収音方向処理部
34b 出力制御部
34c SN比較処理部
34d 発話区間判定部
35 停車判定部
36 ディスプレイ装置
37、Sp スピーカ装置
38 メモリ
39 画像処理部
Cm カメラ装置
CR 車両
CRs 車両検出センサ
Hds ヘッドセット
Mca マイクアレイ装置
Opd オーダーポストディスプレイ装置
Op オーダーポスト

Claims (10)

  1. 車両の所定位置での停車を検出する停車検出部と、
    複数の収音素子を含む収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、
    前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、
    前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、
    前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、
    収音制御装置。
  2. 請求項1に記載の収音制御装置であって、
    前記指向性形成部は、
    前記車両の前記所定位置での停車が検出される前に、前記車両の話者の音声の音源に対応する所定の基準ビーム方向に、前記収音部により収音された音声の指向性を形成する、
    収音制御装置。
  3. 請求項2に記載の収音制御装置であって、
    前記探索ビーム形成部は、
    前記基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに所定の角度毎に複数の探索ビームを形成する、
    収音制御装置。
  4. 請求項2に記載の収音制御装置であって、
    前記指向性形成部は、
    前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記基準ビーム方向とが一致する場合に、前記基準ビーム方向を、前記車両の騒音源の方向以外の方向に切り替えて前記指向性を形成する、
    収音制御装置。
  5. 車両の所定位置での停車を検出する停車検出部と、
    前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、
    前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、
    前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、複数の収音素子を含む収音部により収音された音声の指向性を形成する指向性形成部と、を備え、
    前記探索ビーム形成部は、
    前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、
    前記探索ビーム選択部は、
    前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、
    収音制御装置。
  6. 請求項1から5のうちいずれか一項に記載の収音制御装置であって、
    前記指向性形成部は、
    撮像部により撮像された前記車両の画像が表示される表示部上の位置の指定に応じて、前記収音部から、前記表示部に対して指定された指定位置に対応する収音位置に向かう方向に、前記音声の指向性を切り替えて形成する、
    収音制御装置。
  7. 請求項1から6のうちいずれか一項に記載の収音制御装置であって、
    前記指向性形成部は、
    表示部に表示された、前記音声の指向性に対応する収音方向を水平方向又は鉛直方向のいずれかに調整させる方向調整部に対する入力操作に応じて、調整後の前記収音方向に対応する前記音声の指向性に切り替えて形成する、
    収音制御装置。
  8. 請求項1から6のうちいずれか一項に記載の収音制御装置であって、
    前記指向性形成部は、
    表示部に表示された、前記音声の指向性に対応する収音方向のビーム幅を所定幅毎に調整させるビーム幅調整部に対する入力操作に応じて、調整後の前記収音方向のビーム幅に対応する前記音声の指向性に切り替えて形成する、
    収音制御装置。
  9. 複数の収音素子を含み、車両の話者の音声を収音する収音部と、
    前記車両の所定位置での停車を検出する停車検出部と、
    前記収音部により収音された音声を用いて、前記収音部から、前記所定位置に停車した前記車両の騒音源の方向を特定する騒音源方向特定部と、
    前記騒音源方向特定部により特定された前記車両の騒音源の方向と前記車両の騒音源の方向の周囲に、前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、
    前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、
    前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備える、
    収音システム。
  10. 複数の収音素子を含み、車両の話者の音声を収音する収音部と、
    車両の所定位置での停車を検出する停車検出部と、
    前記車両の話者の音声の音源に対応する所定の基準ビーム方向から水平方向、鉛直方向、又は水平方向及び鉛直方向のうちいずれかに、所定の角度毎に前記車両の話者の音声の音源を探索するための複数の探索ビームを形成する探索ビーム形成部と、
    前記探索ビーム形成部により形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する探索ビーム選択部と、
    前記探索ビーム選択部により選択された前記探索ビームに対応する方向に、前記収音部により収音された音声の指向性を形成する指向性形成部と、を備え、
    前記探索ビーム形成部は、
    前記探索ビーム選択部により選択された前記車両の話者の音声の音源に対応する探索ビームの周囲に、前記所定の角度より小さい角度毎に複数の探索ビームを形成し、
    前記探索ビーム選択部は、
    前記所定の角度より小さい角度毎に形成された前記複数の探索ビームから、前記車両の話者の音声の音源に対応する探索ビームを選択する、
    収音システム。
JP2014144362A 2014-07-14 2014-07-14 収音制御装置及び収音システム Active JP6195073B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014144362A JP6195073B2 (ja) 2014-07-14 2014-07-14 収音制御装置及び収音システム
US14/797,597 US9641928B2 (en) 2014-07-14 2015-07-13 Microphone array control apparatus and microphone array system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014144362A JP6195073B2 (ja) 2014-07-14 2014-07-14 収音制御装置及び収音システム

Publications (2)

Publication Number Publication Date
JP2016021650A true JP2016021650A (ja) 2016-02-04
JP6195073B2 JP6195073B2 (ja) 2017-09-13

Family

ID=55068561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014144362A Active JP6195073B2 (ja) 2014-07-14 2014-07-14 収音制御装置及び収音システム

Country Status (2)

Country Link
US (1) US9641928B2 (ja)
JP (1) JP6195073B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020504966A (ja) * 2017-01-04 2020-02-13 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 遠距離音の捕捉
US11289114B2 (en) 2016-12-02 2022-03-29 Yamaha Corporation Content reproducer, sound collector, content reproduction system, and method of controlling content reproducer

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016013042A1 (de) * 2016-11-02 2018-05-03 Audi Ag Mikrofonsystem für ein Kraftfahrzeug mit dynamischer Richtcharakteristik
US11468884B2 (en) * 2017-05-08 2022-10-11 Sony Corporation Method, apparatus and computer program for detecting voice uttered from a particular position
US20180358032A1 (en) * 2017-06-12 2018-12-13 Ryo Tanaka System for collecting and processing audio signals
WO2019169616A1 (zh) * 2018-03-09 2019-09-12 深圳市汇顶科技股份有限公司 语音信号处理方法及装置
US10811032B2 (en) * 2018-12-19 2020-10-20 Cirrus Logic, Inc. Data aided method for robust direction of arrival (DOA) estimation in the presence of spatially-coherent noise interferers
US11023955B1 (en) * 2019-09-27 2021-06-01 Valyant AI, Inc. Outside ordering system
DE102020118075A1 (de) * 2020-07-09 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum automatischen Abschalten und Starten einer Antriebsmaschine

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106374A (ja) * 1994-07-28 1996-04-23 At & T Corp 通信インタフェース・システム
JP2001155259A (ja) * 1999-11-30 2001-06-08 Matsushita Electric Ind Co Ltd ドライブスルーシステム
JP2005124090A (ja) * 2003-10-20 2005-05-12 Sony Corp マイクロホン装置、再生装置及び撮像装置
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
US20140063263A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation System and method for object tracking and timing across multiple camera views

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092882B2 (en) * 2000-12-06 2006-08-15 Ncr Corporation Noise suppression in beam-steered microphone array
CN101268715B (zh) * 2005-11-02 2012-04-18 雅马哈株式会社 电话会议装置
JP4991649B2 (ja) 2008-07-02 2012-08-01 パナソニック株式会社 音声信号処理装置
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106374A (ja) * 1994-07-28 1996-04-23 At & T Corp 通信インタフェース・システム
JP2001155259A (ja) * 1999-11-30 2001-06-08 Matsushita Electric Ind Co Ltd ドライブスルーシステム
JP2005124090A (ja) * 2003-10-20 2005-05-12 Sony Corp マイクロホン装置、再生装置及び撮像装置
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
US20140063263A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation System and method for object tracking and timing across multiple camera views

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11289114B2 (en) 2016-12-02 2022-03-29 Yamaha Corporation Content reproducer, sound collector, content reproduction system, and method of controlling content reproducer
JP2020504966A (ja) * 2017-01-04 2020-02-13 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 遠距離音の捕捉

Also Published As

Publication number Publication date
US9641928B2 (en) 2017-05-02
JP6195073B2 (ja) 2017-09-13
US20160014506A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP6195073B2 (ja) 収音制御装置及び収音システム
KR102111464B1 (ko) 향상된 오디오를 갖는 디바이스
JP6202277B2 (ja) 音声処理システム及び音声処理方法
JP5857674B2 (ja) 画像処理装置、及び画像処理システム
JP2022526761A (ja) 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US9426568B2 (en) Apparatus and method for enhancing an audio output from a target source
EP3301948A1 (en) System and method for localization and acoustic voice interface
JP4296197B2 (ja) 音源追跡のための配置及び方法
US10499156B2 (en) Method and device of optimizing sound signal
CN106797512A (zh) 多源噪声抑制
EP2509337B1 (en) Accelerometer vector controlled noise cancelling method
JP2015520884A (ja) ユーザインターフェースを表示するためのシステムおよび方法
US20170188171A1 (en) Electronic apparatus and sound output control method
US12032155B2 (en) Method and head-mounted unit for assisting a hearing-impaired user
KR102109739B1 (ko) 위치 기반 소리 출력 방법 및 장치
JP2011227199A (ja) 雑音抑圧装置、雑音抑圧方法及びプログラム
WO2022253003A1 (zh) 语音增强方法及相关设备
EP1257146A2 (en) Method and system of sound processing
KR20150066883A (ko) 이미지 처리 방법 및 장치
JP5418061B2 (ja) 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
JP2009177592A (ja) 通信端末装置、画像表示制御方法
JP6435701B2 (ja) 制御装置
JP2013077925A (ja) 電子機器
KR20200072965A (ko) 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법
JP5598394B2 (ja) 会議端末装置、会議端末制御方法、及び会議端末制御プログラム、

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R151 Written notification of patent or utility model registration

Ref document number: 6195073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151