JP2015167408A - モバイルプラットフォームでの可変ビーム形成 - Google Patents

モバイルプラットフォームでの可変ビーム形成 Download PDF

Info

Publication number
JP2015167408A
JP2015167408A JP2015122711A JP2015122711A JP2015167408A JP 2015167408 A JP2015167408 A JP 2015167408A JP 2015122711 A JP2015122711 A JP 2015122711A JP 2015122711 A JP2015122711 A JP 2015122711A JP 2015167408 A JP2015167408 A JP 2015167408A
Authority
JP
Japan
Prior art keywords
sound source
mobile platform
beamforming
sound
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015122711A
Other languages
English (en)
Other versions
JP6174630B2 (ja
Inventor
ババク・フォルタンプール
Forutanpour Babak
アンドレ・ギュスターヴォ・ピー・シェヴシウ
Gustavo P Schevciw Andrea
エリック・ヴィサー
Visser Erik
ブライアン・モメイヤー
Momeyer Brian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015167408A publication Critical patent/JP2015167408A/ja
Application granted granted Critical
Publication of JP6174630B2 publication Critical patent/JP6174630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

【課題】本願発明は、モバイルプラットフォームでの可変ビーム形成を提供する。
【解決手段】モバイルプラットフォームは、マイクロフォンアレイを含み、音源からの可聴音情報を増幅または抑圧するためにビーム形成を行うことができる。音源は、モバイルプラットフォームを音源の方向に向けるなどのユーザ入力、または、タッチスクリーンディスプレイインターフェースによって示される。さらにモバイルプラットフォームは、モバイルプラットフォームの動きを検出することができる方位センサを含む。モバイルプラットフォームが音源に対して動くと、音源の方向にビーム形成が連続して行われるように、方位センサからのデータに基づきビーム形成が調整される。音源からの可聴音情報は、電話またはテレビ電話の会話に含めることもでき、またはその会話から抑圧することもできる。方位センサからのデータに基づいて、カメラからの画像または映像が同様に制御されてもよい。
【選択図】図３

Description

本開示は一般に、モバイルプラットフォームでの可変ビーム形成に関する。
ラップトップ、デスクトップコンピュータ、ならびに、スマートフォンおよびタブレットコンピュータなどの現在のコンピュータは、指向性マイクロフォンまたはマイクロフォンアレイを含む場合でも、通話中のプライマリユーザ以外の別の人が部屋の別の位置にいる場合には、その別の人を容易に含める能力を有していない。一般に、部屋の中のすべての音源の単純な増幅は、不要な大量のバックグランドノイズをもたらす。電話またはテレビ電話の通話(video-telephony call)に加わることを望む個人は、通常、マイクロフォンの近く、またはカメラの前に物理的に移動して座る必要がある。したがって、座っているか気持ちよく休んでいる場合でも通話中に少しだけ喋りたい人は、マイクロフォンおよび/またはカメラに近づくことを余儀なくされるか、そうでない場合には、はっきりと聞き取られないか、または見られないことになる。
高ノイズ抑圧技法などの、マイクロフォンアレイを用いるビーム形成技法は公知であり、音声通話、ボイスオーバーインターネットプロトコル(VOIP)、またはその他の方法の最中に気を散らす周囲のノイズとビットレート要件を低減することができる一方、一般にこれらの技法は、時間ベース、空間ベース、周波数ベース、および振幅ベースのいくつかの手がかり(cue)に基づいて一人の話者の特定を試み、話者を高速に切り替える際の減衰を引き起こし、また上記のような複数話者の状況を妨げるビームステアリングアルゴリズム(beam steering algorithm)に依存している。さらに、不十分な信号対雑音比(SNR)の状況下では、到来方向を特定する作業が困難となり、音声のこもり、バックグランドノイズの変調、および他のアーチファクトの原因となる。その上、コンピュータタブレットまたはスマートフォンなどのモバイルデバイスの場合、そのデバイスは会話中に動かされる可能性があり、それにより到来方向を特定する作業がさらにより困難になる。
したがって、電話またはテレビ電話の会話(または、そのような他の用途)において、ユーザが部屋にいる他の人を最小の労力で容易に含めることができるシステムを開発することが有益となる。
モバイルプラットフォームは、マイクロフォンアレイを含み、音源の方向からの可聴音情報を増幅または抑圧するためにビーム形成を行う。さらにモバイルプラットフォームは、モバイルプラットフォームの動きを検出するために用いられる方位センサを含み、この方位センサは、モバイルプラットフォームが音源に対して動く間に、音源の方向からの可聴音情報を増幅または抑圧し続けるようにビーム形成を調整するために用いられる。音源の方向は、ユーザ入力を通じて提供され得る。たとえば、モバイルプラットフォームは、音源の方向を特定するために音源に向けられてもよい。付加的または代替的には、音源の位置は、マイクロフォンアレイを用いて特定され、ユーザに表示されてもよい。次いでユーザは、たとえばタッチスクリーンディスプレイなどを用いて音源の方向を特定することができる。モバイルプラットフォームが音源に対して動くと、方位センサはその動きを検出する。次いで、方位センサによって検出されると、モバイルプラットフォームの測定された動きに基づいて、ビーム形成が行われる方向が調整され得る。したがって、ビーム形成は、音源に対するモバイルプラットフォームの動きにかかわらず、音源の所望の方向に連続的に行われ得る。方位センサからのデータに基づいて、カメラからの画像または映像が同様に制御されてもよい。
モバイルプラットフォームの前面部を示す図である。 モバイルプラットフォームの背面部を示す図である。 2つの音源に対してある向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォームを示す図である。 2つの音源に対して別の向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォームを示す図である。 音源に対するモバイルプラットフォームの動きに対する補償を行わずにビーム形成を行うモバイルプラットフォームを示す図である。 音源に対してモバイルプラットフォームが動く間にビーム形成を行うためのフローチャートである。 モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。 モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。 モバイルプラットフォームを音源に向けることによって音源の方向を示す図である。 タッチスクリーンディスプレイ上のグラフィカルユーザインターフェースを用いて音源の方向を示す図である。 図1に示されているマイクロフォンアレイの方向に対する可聴音応答を示す図である。 音源に対するモバイルプラットフォームの動きに応じたカメラの制御を示す図である。 方位センサからのデータに基づいてビーム形成が行われる方向を調整可能なモバイルプラットフォームのブロック図である。
図1Aおよび図1Bは、電話通信またはテレビ電話通信が可能な携帯電話、スマートフォン、コンピュータタブレット、または他のワイヤレス通信デバイスなどの任意の携帯型電子デバイスでもよいモバイルプラットフォーム100の前面部および背面部をそれぞれ示す。このモバイルプラットフォーム100は、ハウジング101、タッチスクリーンディスプレイでもよいディスプレイ102、ならびに、イヤーピーススピーカ104および2つのラウドスピーカ106L、106Rを含む。また、モバイルプラットフォーム100は、マイクロフォン108A、108B、108C、108D、および108Eの(まとめてマイクロフォンアレイ108と呼ばれることもある)アレイと、特定方向からの音を抑圧または増幅するためにビーム形成を行うことができる、たとえばマイクロフォンアレイ108に接続されたマイクロフォンアレイコントローラ192などのビーム形成システムとを含む。ビーム形成は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。マイクロフォンは、たとえば圧電性の微小電気機械システム(MEMS)型のマイクロフォンなどでもよい。さらに、モバイルプラットフォーム100は、3軸ジャイロスコープおよび/またはデジタルコンパスに結合された3軸加速度計などの方位センサ110を含む。モバイルプラットフォーム100は、方位センサを用いて、音源に対してモバイルプラットフォーム100が動く間にその音源を増幅または抑圧するように形成ビームを向けることができる。音源を抑圧する、すなわち拒絶するための形成されたビームは、ヌルビーム(null beam)と呼ばれる場合があり、一方、音源を増幅するためのビームは、本明細書では単にビームと呼ばれる場合がある。しかし、「ビーム」および「ビーム形成」という用語は、特に示されていなければ、増幅と抑圧(すなわち、「ヌルビーム」と「ヌルビーム形成」)の両方を指すために用いられ得ることを理解されたい。
また、モバイルプラットフォーム100は、ワイヤレストランシーバ112と、たとえばモバイルプラットフォーム100の前面部におけるカメラ114、および(図1Bに示されている)モバイルプラットフォーム100の背面部におけるカメラ116である、1つまたは複数のカメラとを含み得る。個々の要素の正確な位置と数は、必要に応じて変更され得ることを理解されたい。たとえば、マイクロフォンアレイ108は、ハウジング101の側面などの、モバイルプラットフォーム100の別の位置に配置されてもよい、追加または比較的少ない数のマイクロフォンを含み得る。
本明細書で用いられる場合、モバイルプラットフォームは、携帯電話、スマートフォン、タブレットコンピュータ、または他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、または他の好適なモバイルデバイス等の任意の携帯型電子デバイスを指す。モバイルプラットフォームは、ワイヤレス通信情報を送信および受信することが可能である。また、モバイルプラットフォームという用語は、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続などによってパーソナルナビゲーションデバイス(PND)と通信するデバイスを含むように考えられており、衛星信号の受信、補助データの受信、および/または、位置関係の処理が、そのデバイスで行われるか、またはPNDで行われるかにかかわらない。また、「モバイルプラットフォーム」は、インターネット、WiFi、または他のネットワークを介してなどしてサーバと通信することができる、ワイヤレス通信デバイス、コンピュータなどを含むすべてのデバイスを含むように考えられており、衛星信号の受信、補助データの受信、および/または、位置関係の処理が、そのデバイスで行われるか、サーバで行われるか、またはネットワークに関連する別のデバイスで行われるかにかかわらない。上記における動作可能な任意の組合せもまた「モバイルプラットフォーム」と考えられる。
さらに、モバイルプラットフォーム100は、トランシーバ112を介して、セルラータワー(cellular tower)またはワイヤレス通信アクセスポイントなどから、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、またはこれらの任意の組合せなどの、任意のワイヤレス通信ネットワークにアクセスすることができる。「ネットワーク」および「システム」という用語は、しばしば交換可能に用いられる。WWANは、符号分割多元接続(CDMA)のネットワーク、時間分割多元接続(TDMA)のネットワーク、周波数分割多元接続(FDMA)のネットワーク、直交周波数分割多元接続(OFDMA)のネットワーク、単一搬送波周波数分割多元接続(SC-FDMA)のネットワーク、ロングタームエボリューション(LTE)などでもよい。CDMAのネットワークは、cdma2000、広帯域CDMA(WCDMA(登録商標))などの、1つまたは複数の無線アクセス技術(RAT)を実装することができる。Cdma2000は、IS-95、IS-2000、およびIS-856の規格を含む。TDMAのネットワークは、モバイル通信に向けたグローバルシステム(GSM(登録商標))、デジタル先進移動電話システム(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびWCDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称のコンソーシアムからのドキュメントに記載されている。Cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称のコンソーシアムからのドキュメントに記載されている。3GPPおよび3GPP2のドキュメントは、公的に利用可能である。WLANは、IEEE 802.11xのネットワークでもよく、WPANは、Bluetooth(登録商標)のネットワーク、IEEE 802.15x、または何らかの他の種類のネットワークでもよい。
モバイルプラットフォーム100は、マイクロフォンアレイ108および方位センサ110を用いることによって、モバイルプラットフォームの向きを音源に対して変化させるモバイルプラットフォーム100の動きにかかわらず、1つまたは複数の音源のビーム形成を行うことができる。本明細書で用いられる場合、音源は、人、動物、または物体を含む、可聴音情報を生み出すあらゆるものを含む。図2Aおよび図2Bは、音源Aおよび音源Bである2つの音源に対して異なる向きを有し、両方の音源に対するビーム形成を連続的に行うモバイルプラットフォーム100を例として示す。音源Aは、たとえば人でもよく、湾曲部122によって示されているように、音源Aからの可聴音情報がモバイルプラットフォーム100を介する電話またはテレビ電話の会話に含まれるようにマイクロフォンアレイ108によって増幅される。他方、音源Bは、ハッチングをかけられた湾曲部124によって示されているように、音源Bからの可聴音情報がモバイルプラットフォーム100を介する電話またはテレビ電話の会話から排除されるか、または少なくとも低減されるようにマイクロフォンアレイ108によって抑圧されることになる、ノイズを伴う物体でもよい。図2Bに見られるように、音源Aの増幅および音源Bの抑圧は、音源Aおよび音源Bに対するモバイルプラットフォーム100の向きの変化にかかわらず維持されており、これは、図1Aに示されている方位センサ110からのデータの利用によるものである。このように、モバイルプラットフォーム100は、ヌルのビームを拒絶される音源Bに向け(ヌルビーム形成と呼ばれる場合がある)、メインローブを所望の音源Aに向ける(単にビーム形成と呼ばれる場合がある)。図2Cは、比較として、音源Aおよび音源Bに対するモバイルプラットフォーム100の動きに対する補償を行わずにビーム形成を行うモバイルプラットフォーム100を示す。図2Cに見られるように、モバイルプラットフォーム100は、モバイルプラットフォーム100の回転を調整せず、音源Aおよび音源Bの方向にもはやビーム形成を行わないことになる。
図3は、音源に対してモバイルプラットフォームが動く間に、音源の方向にビーム形成を連続的に行うためのフローチャートを示す。図示されているように、たとえば、電話またはテレビ電話の会話の際に音源からの可聴音情報をプライマリユーザが含めること、または少なくとも部分的に排除することを望む場合、モバイルプラットフォームに対する音源の方向が示される(202)。音源の方向の指示は、たとえば、モバイルプラットフォームを所望の方向に向けてボタンを押すことによって行われてもよく、または、タッチスクリーンディスプレイ上のグラフィカルユーザインターフェースもしくは他の同様の種類のインターフェースを用いることによって行われてもよい。
図4A、図4B、および図4Cは、モバイルプラットフォームを音源に向けることによって音源の方向を示すことを例示している。図4Aは、ディスプレイ102の中の音源Aの画像によって示されている、音源Aの方向に向けられたモバイルプラットフォーム100を例として示す。ユーザは、音源Aの方に向けられたモバイルプラットフォーム100を用いて、たとえばボタンを押すか、またはタッチスクリーンディスプレイ102をタップする(tap)か、または、モバイルプラットフォーム100のジェスチャもしくは急な動きなどの他の適切なユーザインターフェースによって、ビーム形成のために音源Aの方向を選択することができる。図4Aに示されているように、音源Aは、矢印130によって示されている増幅のために選択され、それによりたとえば、プライマリユーザからの可聴音情報とともに音源Aからの可聴音情報が電話またはテレビ電話の会話に含まれ得る。モバイルプラットフォーム100は、音源Aの方向を指示した後、図4Bに示されているように異なる位置に移動または回転させられ、それによりプライマリユーザにとって快適な位置に置かれることになる場合がある。矢印130によって示されているように、モバイルプラットフォーム100は、音源Aからの可聴音情報がビーム形成システムによって増幅され続けるように、モバイルプラットフォーム100の動きに対する補償を行い続けることになる。さらに、図4Cに示されているように、モバイルプラットフォーム100は、ディスプレイ102の中に現れている音源Bの画像によって示されているように、音源Bの方向に向くように動かされてもよい。図4Cでは、音源Bは、たとえば異なるボタンを押すか、異なる方法でディスプレイ102をタップするか、または他の適切なユーザインターフェースによって、(記号132によって示されている)抑圧に向けて選択される。この音源Bは、音源Bからの可聴音情報が電話またはテレビ電話の会話において少なくとも部分的に低減されるよう、抑圧されるために選択される。
図5は、タッチスクリーンディスプレイ102上のグラフィカルユーザインターフェース260を用いてモバイルプラットフォームに対する音源Aの方向を指し示しているプライマリユーザ250の手を示している。たとえば、このグラフィカルユーザインターフェースは、モバイルプラットフォーム100の中心にある「レーダ」マップ262の上に音源Aと音源Bを示す。これらの音源は、たとえばマイクロフォンアレイ108を用いて所定のゲインレベルを超える音を拾い、次いでマップ262上に表示され得る音源の方向と距離を決定することによって検出されてもよい。音源の方向と距離の決定は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。ユーザ250は、たとえば濃い線264によって示されている音源Aである、増幅のための1つまたは複数の音源と、たとえばハッチング線によって示されている音源Bである、抑圧のための1つまたは複数の音源とを選択することができる。当然ながら、グラフィカルユーザインターフェース260の代わりに他の種類のグラフィックスが用いられてもよい。
図3を再度参照すると、ビーム形成は音源の方向において行われる(204)。ビーム形成は、ある所望の方向からの音を増幅し、他の方向からの音を抑圧するために、マイクロフォンアレイ108における個々のマイクロフォンに対する遅延とゲインを変化させるマイクロフォンアレイコントローラ192によって行われる。マイクロフォンアレイを用いるビーム形成は、本明細書における譲渡人に譲渡された米国特許出願第12/796,566号に記載されている。概して、ビーム形成では、抑圧されることになる音源の方向に「ヌルビーム」を生成し、または別の方向からの音源を増幅するために、マイクロフォンアレイ108における個々のマイクロフォンに対する遅延とゲインが変更される。マイクロフォンアレイ108は、音響環境に対するマイクロフォンのうちの対応するマイクロフォンの応答に各チャネルが基づいているマルチチャネル信号を生成する。不要な位相差特性(たとえば、周波数と相関がなく、かつ/または、周波数と相関があるものの不要な方向にコヒーレンスを示す位相差)を示す時間-周波数ポイント(time-frequency point)を特定するために、位相ベースまたは位相相関ベースの方式が用いられてもよい。そのような特定には、記録されたマルチチャネル信号に対して方向性マスク処理(directional masking operation)を行うことが含まれ得る。信号における大量の時間-周波数ポイントを除くため、方向性マスク処理には、たとえばマルチチャネル信号における位相解析の結果に方向性マスク関数(directional masking function)(または「マスク」)を適用することが含まれ得る。図6は、図1に示されているマイクロフォンアレイの方向に対する可聴音応答を例として示す。理解されるように、マイクロフォンアレイ108は、任意の所望の方向における所望の角度のビーム幅からの可聴音を拾うように向けられてもよい。
従来の複数のマイクロフォンアレイベースのノイズ抑圧システムでは、アルゴリズムは、各マイクロフォンに到達した一連の時間ベース、空間ベース、周波数ベース、および振幅ベースの音響情報を処理することによって話者の方向の特定を試みる。タブレットコンピュータおよびネットブックにおけるマイクロフォンは、多くの使用事例では、口のスピーカ(mouth speaker)から十分に離れているため、音響エネルギーの経路損失は、口の基準ポイント(mouth reference point)に対して30dBを上まわる場合がある。この経路損失によって、デジタル変換に先立ち、CODECにおける高いゲインが必要となる。このように、タブレットコンピュータまたはネットブックに用いられる場合のある従来のノイズ抑圧アルゴリズムは、所望のスピーチと同じゲイン係数だけバックグランドノイズも増幅される点を克服する必要がある。したがって、従来のノイズキャンセルアルゴリズムでは、所望の話者の方向を計算し、その話者の方に細いビームを向ける。ビーム幅は、周波数と、マイクロフォンアレイ108の構成との関数であり、このうち細いビーム幅は強いサイドローブを伴う。音源を含めるかまたは排除するためにビームが適切な幅となるように、可変幅のビームのデータバンクが設計され、モバイルプラットフォーム100に記憶され、自動的に、またはユーザインターフェースによって選択されてもよい。
モバイルプラットフォーム100の動きは、コンパス、ジャイロスコープ、または、固定されたノイズ源から作られた到達基準角(reference-angle-of-arrival)などの方位センサ110を用いて決定される(206)。一般に、モバイルプラットフォーム100は音源に対して動かされると想定され得る。方位または位置の変更を含む動きを方位センサまたは固定されたノイズ源を用いて決定することは、当技術分野においては周知である。
ビーム形成は、モバイルプラットフォームが動いた後、音源の方向にビーム形成を行い続けるように、決定された動きに基づいて調整される(208)。したがって、たとえば図4Aおよび図4Bに示されているように、音源Aの方向が示された後、たとえばモバイルプラットフォーム100を音源Aの方向に向け、ボタンまたは他の適切な選択機構を押すことによって、矢印130で示されているように音源Aの方向にビーム形成が行われる。次いでユーザは、たとえばモバイルプラットフォームを(図4Bに示されている)快適な位置に置くために、音源Aに対するモバイルプラットフォーム100の向きを変えることができる。モバイルプラットフォーム100の動きは、方位センサ110によって検出される。たとえば、方位センサ110は、モバイルプラットフォーム100が50度回転したことを決定することができる。次いで、音源Aからの可聴音情報を拾い続けるために、たとえばマイクロフォンアレイ108を制御して、この場合には50度だけビーム形成の方向を変更することによって、測定された動きを用いてビーム形成が調整される。マイクロフォンアレイ108は、測定されたモバイルプラットフォーム100の動きに基づいてビーム形成の方向を調整することによって、音源Bからの可聴音情報を抑圧し続けるように同様に制御されてもよい。言い換えれば、現在の音源の方向にビーム形成を行い続けることができるように、測定されたモバイルプラットフォームの動きに基づいて方向性マスク動作が調整される。したがって、ユーザは、動くモバイルプラットフォームによる電話またはテレビ電話の会話において、異なる場所にいる可能性のある複数の人(または、他の音源)を含めることができ、また不要な音源を抑圧することができる。
さらに、テレビ電話の会話中には、ユーザとともに所望の音源の画像が表示されて送信されることが望ましい場合がある。モバイルプラットフォーム100は、そのモバイルプラットフォーム100を保持しているユーザに対しては比較的動かない可能性がある一方、ユーザの動きは、モバイルプラットフォーム100が他の音源に対して動く原因となり得る。そのため、他の音源の画像は揺れる可能性があり、または、ユーザの十分な動きによって、カメラが他の音源からパンする可能性がある。したがって、カメラ116は、カメラ116を制御して、示された音源の方向からの映像または画像を取り込み、また決定された動きを用いて、モバイルプラットフォームが動いた後、音源の方向における画像または映像を取り込み続けるようにカメラの制御を調整することによって、たとえば方位センサ110からの測定された動きを用いてモバイルプラットフォーム100の動きに対する補償を行うように制御されてもよい。
カメラ116は、調整された方向に向けて、モバイルプラットフォームの動きの後、音源の映像または画像を取り込み続けるために、たとえばカメラ116のPTZ(パン、チルト、ズーム)を調整することによって制御されてもよい。図7は、音源Aおよび音源Bを含む、カメラ116の全視野302を例として示す。しかし、点線で示されているように、全視野302のうちの切取り部分304だけがモバイルプラットフォーム100によって表示される。言い換えれば、全視野302は、テレビ電話の会話中に音源Aが切取り部分304に表示され得るように切り取られる。モバイルプラットフォーム100が動かされ、それが方位センサ110によって検出されると、その動きに対する補償を行うために、矢印306で示されているように切取り部分304が全視野302の中で動かされる。したがって、たとえばモバイルプラットフォーム100が右に2度だけ回転させられると、切取り部分304は、音源Aが画像に残るように左に2度シフトされる。当然ながら、切取り部分304のシフトは、水平だけでなく垂直であってもよい。
さらに、マイクロフォンアレイ108は、電話またはテレビ電話型の用途以外の用途に用いられる、特定方向からの可聴音情報を拾うために用いられてもよい。たとえば、可聴音情報は、記録および記憶されるだけでもよい。あるいは、可聴音情報は、たとえば、モバイルプラットフォーム100自体によって、または、可聴音情報をトランシーバ112を介してサーバなどの別のデバイスに送信することによって、リアルタイムまたはほぼリアルタイムに翻訳されてもよく、別のデバイスの場合には、可聴音情報は、翻訳されてモバイルプラットフォーム100に再度送信され、Mobile Technologies, LLCによるJibbigoなどのトランシーバ112によって受信される。
図8は、方位センサからのデータに基づいてモバイルプラットフォームが動く間に、音源の方向に連続的にビーム形成を行うことが可能なモバイルプラットフォーム100のブロック図である。モバイルプラットフォーム100は、複数の圧電性の微小電気機械システム(MEMS)型のマイクロフォンを含み得るマイクロフォンアレイ108などの、受信された音響信号に応じてマルチチャネル信号を生成するための手段を含む。さらに、モバイルプラットフォーム100は、3軸ジャイロスコープおよび/またはデジタルコンパスに結合され得る3軸加速度計でもよい方位センサ110などの、モバイルプラットフォームの動きを決定するための手段を含む。モバイルプラットフォーム100は、固定されたノイズ源から生成された到達基準角を用いて動きを代替的または付加的に決定してもよい。さらに、モバイルプラットフォーム100は、たとえばアンテナ172を介してセルラータワーに通信情報を送り、かつセルラータワーから通信情報を受信することが可能なセルラーモデム、または、アンテナ172を介してワイヤレスアクセスポイントに通信情報を送り、かつワイヤレスアクセスポイントから通信情報を受信することが可能なワイヤレスネットワーク無線レシーバ/トランスミッタのワイヤレストランシーバ112を含むことができる。また、モバイルプラットフォームは、1つまたは複数のカメラ114、116を含むことができる。
さらに、モバイルプラットフォーム100は、たとえばスピーカ104、ラウドスピーカ106Lおよび106R、ならびに、LCD(液晶ディスプレイ)技術またはLPD(発光ポリマーディスプレイ)技術などでもよいディスプレイ102を含むとともに、静電容量式または抵抗式のタッチセンサなどの、ディスプレイのタッチを検出するための手段を含み得るユーザインターフェース160を含む。ユーザインターフェース160は、キーパッド162、または、ユーザがモバイルプラットフォーム100に情報を入力することのできる他の入力デバイスをさらに含み得る。必要に応じて、タッチセンサを有するディスプレイ102に仮想キーパッドを組み込むことによって、キーパッド162を除くことができる。また、ユーザインターフェース160は、図1に示されているマイクロフォン108Bなどの、マイクロフォンアレイ108における1つまたは複数のマイクロフォンを含む。さらに、方位センサ110は、モバイルプラットフォーム100の動きの形態であるジェスチャを検出することによって、ユーザインターフェース160の一部として用いられてもよい。モバイルプラットフォーム100は、たとえばユーザがモバイルプラットフォーム100を音源の方に向ける際の方位センサ、または、タッチスクリーンディスプレイ102上のグラフィカルユーザインターフェースでもよい、モバイルプラットフォームに対する音源の方向を示すための手段を含む。
モバイルプラットフォーム100は、方位センサ110からのデータを受け入れて処理するために接続されている制御部150、マイクロフォンアレイ108、トランシーバ112、カメラ114および116、ならびにユーザインターフェース160を含む。また、制御部150は、マイクロフォンアレイ108を含むデバイスの動作を制御し、それにより、ビーム形成を行い、また、方位センサによって検出された動きを用いてビーム形成を調整し、モバイルプラットフォームが音源に対して動いた後、その音源の方向にビーム形成を行い続けるための手段として働く。制御部150は、プロセッサ152および関連するメモリ154、ハードウェア156、ソフトウェア158、ならびにファームウェア157によって提供されてもよい。制御部150は、マイクロフォンアレイコントローラ192として示されている、ビーム形成を行うための手段と、方位センサコントローラ194として示されている、モバイルプラットフォームの動きを測定するための手段とを含む。固定されたノイズ源から生成された到達基準角に基づいて動きが決定される場合には、マイクロフォンアレイコントローラ192が用いられて動きを決定してもよい。マイクロフォンアレイコントローラ192および方位センサコントローラ194は、プロセッサ152、ハードウェア156、ファームウェア157、またはソフトウェア158、すなわちメモリ154に記憶され、プロセッサ152によって実行されるコンピュータ可読媒体、あるいは、それらの組合せの中に埋め込まれてもよいが、説明を簡単にするために別々に示されている。
本明細書では、プロセッサ152は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要がないことが理解されよう。「プロセッサ」という用語は、特定のハードウェアではなく、システムによって実装される機能を説明するように考えられている。さらに、本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連する他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、メモリのいかなる特定の種類、またはメモリの数、あるいはメモリ内容が記憶される媒体の種類に限定されない。
本明細書で説明される方法は、用途に応じて様々な手段によって実装され得る。たとえば、これらの方法は、ハードウェア156、ファームウェア157、ソフトウェア158、またはそれらの任意の組合せで実装されてもよい。ハードウェアの実装形態の場合、処理部は、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明される機能を実行するように設計された他の電子ユニット、あるいはそれらの組合せの中に実装されてもよい。
ファームウェアおよび/またはソフトウェアの実装形態の場合、これらの方法は、本明細書で説明される機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明される方法を実施する際に、命令を有形に具現化する任意の機械可読媒体が用いられてもよい。たとえば、ソフトウェアコードがメモリ154に記憶され、プロセッサ152によって実行されてもよい。メモリは、プロセッサ部の中に実装されてもよく、またはプロセッサ部の外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類、またはメモリの数、あるいはメモリ内容が記憶される媒体の種類に限定されない。
たとえば、ソフトウェア158は、メモリ154に記憶され、プロセッサ152によって実行されるプログラムコードを含むことができ、またプロセッサを動作させて本明細書で説明されたようなモバイルプラットフォーム100の動作を制御するために用いられてもよい。メモリ154などのコンピュータ可読媒体に記憶されるプログラムコードは、ユーザ入力に応じて音源の方向を特定するためのプログラムコードと、音源の方向におけるマイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行うためのプログラムコードと、マイクロフォンアレイの動きを決定するためのプログラムコードと、決定された動きを用いてビーム形成を調整して、マイクロフォンアレイが音源に対して動いた後、その音源の方向にビーム形成を行い続けるためのプログラムコードとを含み得る。さらに、コンピュータ可読媒体に記憶されるプログラムコードは、プロセッサに、本明細書で説明されたモバイルプラットフォーム100の任意の動作を制御させるためのプログラムコードを含み得る。
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体、および、コンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含み、一時的な伝播信号を指すものではない。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体でもよい。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは、所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、かつコンピュータからアクセスすることのできる任意の他の媒体を含むことができ、本明細書で使用されるディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクが含まれ、このうちディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
説明のために本発明を特定の実施形態に関連して例示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱せずに様々な適合および変更がなされてもよい。したがって、添付の特許請求の範囲における趣旨および範囲は、上記の説明に限定されるべきではない。
100 モバイルプラットフォーム
102 ディスプレイ
108 マイクロフォンアレイ
110 方位センサ
112 ワイヤレストランシーバ
114 カメラ
116 カメラ
160 ユーザインターフェース
192 マイクロフォンアレイコントローラ
260 グラフィカルユーザインターフェース
302 全視野
304 切取り部分

Claims (18)

  1. モバイルプラットフォームを音源に向けるとともに、前記モバイルプラットフォームの動きを使用して、可聴音情報を増幅または抑圧するための前記モバイルプラットフォームに対する前記音源の方向を選択するステップと、
    前記音源からの可聴音情報を増幅または抑圧するために、前記音源の方向に前記モバイルプラットフォームによってビーム形成を行うステップと、
    前記音源に対する前記モバイルプラットフォームの動きを決定するステップと、
    前記決定された動きを用いて前記ビーム形成を調整し、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるステップと
    を含むモバイルプラットフォームによって実行される方法。
  2. 前記音源が、第1の方向における第1の音源であり、前記方法はさらに、
    前記モバイルプラットフォームに対する第2の音源の第2の方向を示すステップと、
    前記第2の音源からの可聴音情報を増幅または抑圧するために、前記第2の音源の前記第2の方向に前記モバイルプラットフォームによってビーム形成を行うステップと、
    前記決定された動きを用いて前記ビーム形成を調整し、前記モバイルプラットフォームが動いた後、前記第1の音源の前記第1の方向と前記第2の音源の前記第2の方向とにビーム形成を行い続けるステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記モバイルプラットフォームに対する前記第2の音源の前記第2の方向を示すステップが、
    前記第2の音源に前記モバイルプラットフォームを向け、可聴音情報の増幅または抑圧するための前記モバイルプラットフォームに対する前記第2の音源の前記第2の方向を選択するステップを含む、請求項2に記載の方法。
  4. 前記第2の音源の前記第2の方向を示すステップが、前記第1の音源の前記第1の方向にビーム形成を行った後に実行される、請求項2に記載の方法。
  5. ビーム形成を行うステップが、前記モバイルプラットフォームにおけるマイクロフォンアレイからのマルチチャネル信号を処理するステップを含む、請求項1に記載の方法。
  6. ビーム形成を行った後、前記音源の方向からの可聴音情報をワイヤレスで送信するステップをさらに含む、請求項1に記載の方法。
  7. 前記可聴音情報が、電話の通話においてワイヤレスで送信される、請求項6に記載の方法。
  8. ビーム形成を行った後、前記音源の方向からの可聴音情報の翻訳文を取得するステップをさらに含む、請求項1に記載の方法。
  9. 前記モバイルプラットフォームにおけるカメラを制御して、前記音源の方向からの映像および画像の少なくとも一方を取り込むステップと、
    前記決定された動きを用いて前記カメラの制御を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向からの映像および画像の少なくとも一方を取り込み続けるステップと
    をさらに含む、請求項1に記載の方法。
  10. マイクロフォンアレイと、
    方位センサと、
    前記マイクロフォンアレイおよび前記方位センサに接続されたプロセッサと、
    を備え、
    前記プロセッサが、モバイルプラットフォームが音源の方向に向けられることと、前記モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記音源の方向を選択し、前記音源の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行い、前記方位センサによって提供されたデータを用いてモバイルプラットフォームの動きを決定し、前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるように構成されるモバイルプラットフォーム。
  11. 前記音源が第1の方向における第1の音源であり、
    前記プロセッサが、ユーザ入力に基づいて第2の音源の第2の方向を選択し、前記第2の音源の前記第2の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行わせ、前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが動いた後、前記第1の音源の第1の方向と前記第2の音源の前記第2の方向とにビーム形成を行い続けるようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
  12. 前記プロセッサが、前記マイクロフォンアレイからのマルチチャネル信号を処理することによってビーム形成を行うようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
  13. 前記プロセッサに結合されたワイヤレストランシーバをさらに備えるモバイルプラットフォームであって、前記プロセッサが、ビーム形成が行われた後、前記音源の方向から得られた可聴音情報を送信するように前記ワイヤレストランシーバを制御するようにさらに構成される、請求項10に記載のモバイルプラットフォーム。
  14. 前記可聴音情報が、電話の通話において送信される、請求項13に記載のモバイルプラットフォーム。
  15. 前記ワイヤレストランシーバが、前記送信された可聴音情報に応じて前記可聴音情報の翻訳文を受信する、請求項13に記載のモバイルプラットフォーム。
  16. 前記プロセッサに結合されたカメラをさらに備えるモバイルプラットフォームであって、前記プロセッサが、前記音源の方向からの映像および画像の少なくとも一方を取り込み、前記カメラの制御を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向からの映像および画像の少なくとも一方を取り込み続けるようにカメラを制御するように構成される、請求項10に記載のモバイルプラットフォーム。
  17. モバイルプラットフォームが音源の方向に向けられることと、前記モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記モバイルプラットフォームに対する前記音源の方向を選択するための手段と、
    前記音源からの可聴音情報を増幅または抑圧するために、前記音源の方向に前記モバイルプラットフォームによってビーム形成を行うための手段と、
    前記音源に対する前記モバイルプラットフォームの動きを決定するための手段と、
    前記決定された動きを用いて前記ビーム形成を調整して、前記モバイルプラットフォームが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるための手段とを備えるシステム。
  18. プロセッサにより実行可能なプログラムコードを記録するコンピュータ可読記録媒体であって、
    マイクロフォンアレイが音源の方向に向けられることと、モバイルプラットフォームの動きとに基づいて、可聴音情報を増幅または抑圧するための前記音源の方向を選択するためのプログラムコードと、
    前記音源の方向における前記マイクロフォンアレイによって受信された可聴音情報を増幅または抑圧するためにビーム形成を行うためのプログラムコードと、
    前記マイクロフォンアレイの動きを決定するためのプログラムコードと、
    前記決定された動きを用いて前記ビーム形成を調整して、前記マイクロフォンアレイが前記音源に対して動いた後、前記音源の方向にビーム形成を行い続けるためのプログラムコードと
    を記録する、コンピュータ可読記録媒体。
JP2015122711A 2011-01-13 2015-06-18 モバイルプラットフォームでの可変ビーム形成 Active JP6174630B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/006,303 2011-01-13
US13/006,303 US8525868B2 (en) 2011-01-13 2011-01-13 Variable beamforming with a mobile platform

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013549592A Division JP2014510430A (ja) 2011-01-13 2012-01-13 モバイルプラットフォームでの可変ビーム形成

Publications (2)

Publication Number Publication Date
JP2015167408A true JP2015167408A (ja) 2015-09-24
JP6174630B2 JP6174630B2 (ja) 2017-08-02

Family

ID=45582030

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013549592A Pending JP2014510430A (ja) 2011-01-13 2012-01-13 モバイルプラットフォームでの可変ビーム形成
JP2015122711A Active JP6174630B2 (ja) 2011-01-13 2015-06-18 モバイルプラットフォームでの可変ビーム形成

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013549592A Pending JP2014510430A (ja) 2011-01-13 2012-01-13 モバイルプラットフォームでの可変ビーム形成

Country Status (6)

Country Link
US (2) US8525868B2 (ja)
EP (1) EP2664160B1 (ja)
JP (2) JP2014510430A (ja)
KR (1) KR101520564B1 (ja)
CN (2) CN103329568B (ja)
WO (1) WO2012097314A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490199B2 (en) 2017-03-14 2022-11-01 Ricoh Company, Ltd. Sound recording apparatus, sound system, sound recording method, and carrier means

Families Citing this family (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
JP5528856B2 (ja) * 2010-03-10 2014-06-25 オリンパスイメージング株式会社 撮影機器
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US10353495B2 (en) 2010-08-20 2019-07-16 Knowles Electronics, Llc Personalized operation of a mobile device using sensor signatures
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
KR101489612B1 (ko) 2010-12-27 2015-02-04 로무 가부시키가이샤 휴대 전화
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
GB2493327B (en) * 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495131A (en) * 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
WO2013093187A2 (en) 2011-12-21 2013-06-27 Nokia Corporation An audio lens
CN104247453B (zh) 2012-01-20 2018-06-05 罗姆股份有限公司 移动电话
JP6162386B2 (ja) * 2012-11-05 2017-07-12 株式会社ファインウェル 携帯電話
US9583259B2 (en) 2012-03-20 2017-02-28 Qualcomm Incorporated Wireless power transfer device and method of manufacture
US9160205B2 (en) 2012-03-20 2015-10-13 Qualcomm Incorporated Magnetically permeable structures
US9431834B2 (en) 2012-03-20 2016-08-30 Qualcomm Incorporated Wireless power transfer apparatus and method of manufacture
US9653206B2 (en) 2012-03-20 2017-05-16 Qualcomm Incorporated Wireless power charging pad and method of construction
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
TWI571133B (zh) 2012-06-29 2017-02-11 Rohm Co Ltd stereophone
JP5949311B2 (ja) * 2012-08-15 2016-07-06 富士通株式会社 推定プログラム、推定装置、及び推定方法
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9131041B2 (en) * 2012-10-19 2015-09-08 Blackberry Limited Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US9183829B2 (en) * 2012-12-21 2015-11-10 Intel Corporation Integrated accoustic phase array
US9525938B2 (en) * 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
JP6221258B2 (ja) * 2013-02-26 2017-11-01 沖電気工業株式会社 信号処理装置、方法及びプログラム
US9462379B2 (en) 2013-03-12 2016-10-04 Google Technology Holdings LLC Method and apparatus for detecting and controlling the orientation of a virtual microphone
US9472844B2 (en) * 2013-03-12 2016-10-18 Intel Corporation Apparatus, system and method of wireless beamformed communication
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
EP2982139A4 (en) * 2013-04-04 2016-11-23 Nokia Technologies Oy AUDIOVISUAL PROCESSING APPARATUS
CA2908654C (en) * 2013-04-10 2019-08-13 Nokia Technologies Oy Audio recording and playback apparatus
EP3950433A1 (en) * 2013-05-23 2022-02-09 NEC Corporation Speech processing system, speech processing method, speech processing program and vehicle including speech processing system on board
US9984675B2 (en) 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
US9269350B2 (en) 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
WO2015025829A1 (ja) 2013-08-23 2015-02-26 ローム株式会社 携帯電話
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
JP6030032B2 (ja) 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
KR20150050693A (ko) * 2013-10-30 2015-05-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US9432768B1 (en) 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
US9990939B2 (en) 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US9331760B2 (en) 2014-05-28 2016-05-03 Qualcomm Incorporated Method and apparatus for leveraging spatial/location/user interaction sensors to aid in transmit and receive-side beamforming in a directional wireless network
US9986075B2 (en) * 2014-06-04 2018-05-29 Qualcomm Incorporated Mobile device including a substantially centrally located earpiece
US9904851B2 (en) * 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
US9686467B2 (en) * 2014-08-15 2017-06-20 Sony Corporation Panoramic video
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160165338A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Directional audio recording system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
CN110312181B (zh) 2014-12-18 2020-12-15 株式会社精好 自行车行驶用接听装置及自行车系统
US9747068B2 (en) 2014-12-22 2017-08-29 Nokia Technologies Oy Audio processing based upon camera selection
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
JP6613503B2 (ja) * 2015-01-15 2019-12-04 本田技研工業株式会社 音源定位装置、音響処理システム、及び音源定位装置の制御方法
CN107211206A (zh) * 2015-01-20 2017-09-26 3M创新有限公司 用于测定声学信号起源的可安装的声音捕捉和重现装置
US9794685B2 (en) 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
DE112016000545B4 (de) 2015-01-30 2019-08-22 Knowles Electronics, Llc Kontextabhängiges schalten von mikrofonen
US9844077B1 (en) * 2015-03-19 2017-12-12 Sprint Spectrum L.P. Secondary component carrier beamforming
US9716944B2 (en) 2015-03-30 2017-07-25 Microsoft Technology Licensing, Llc Adjustable audio beamforming
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
CN106205628B (zh) 2015-05-06 2018-11-02 小米科技有限责任公司 声音信号优化方法及装置
DE102015210405A1 (de) * 2015-06-05 2016-12-08 Sennheiser Electronic Gmbh & Co. Kg Audioverarbeitungssystem und Verfahren zum Verarbeiten eines Audiosignals
KR102362121B1 (ko) 2015-07-10 2022-02-11 삼성전자주식회사 전자 장치 및 그 입출력 방법
EP3323567B1 (en) 2015-07-15 2020-02-12 FINEWELL Co., Ltd. Robot and robot system
US10681457B2 (en) * 2015-07-27 2020-06-09 Sonova Ag Clip-on microphone assembly
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端（东莞）有限公司 指向性录音方法、装置及录音设备
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
WO2017049441A1 (en) * 2015-09-21 2017-03-30 Motorola Solutions, Inc. Converged communications device and method of controlling the same
CN108496345B (zh) 2016-01-19 2021-02-26 株式会社精好 笔型呼入呼出通话装置
JP6847581B2 (ja) * 2016-02-12 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無線通信装置、及び無線通信装置における表示方法
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端（东莞）有限公司 一种采集声音信号的方法和装置
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
KR102534768B1 (ko) 2017-01-03 2023-05-19 삼성전자주식회사 오디오 출력 장치 및 제어방법
EP3566468B1 (en) 2017-01-09 2021-03-10 Sonova AG Microphone assembly to be worn at a user's chest
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10863399B2 (en) * 2017-05-04 2020-12-08 Qualcomm Incorporated Predictive beamforming and subarray selection
US11711125B2 (en) 2017-06-16 2023-07-25 Interdigital Ce Patent Holdings Performing enhanced sounding procedures using beamforming techniques
US10580411B2 (en) * 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection
US10459076B2 (en) 2017-11-15 2019-10-29 Cognitive Systems Corp. Motion detection based on beamforming dynamic information
CN109873933A (zh) * 2017-12-05 2019-06-11 富泰华工业（深圳）有限公司 多媒体数据处理装置及方法
US10852411B2 (en) 2017-12-06 2020-12-01 Cognitive Systems Corp. Motion detection and localization based on bi-directional channel sounding
US10339949B1 (en) 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
US10979805B2 (en) * 2018-01-04 2021-04-13 Stmicroelectronics, Inc. Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors
EP3528509B9 (en) * 2018-02-19 2023-01-11 Nokia Technologies Oy Audio data arrangement
GB2573537A (en) * 2018-05-09 2019-11-13 Nokia Technologies Oy An apparatus, method and computer program for audio signal processing
CN112513976A (zh) * 2018-05-16 2021-03-16 多特瑞尔技术有限公司 用于音频捕获的系统和方法
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11432071B2 (en) * 2018-08-08 2022-08-30 Qualcomm Incorporated User interface for controlling audio zones
US11240623B2 (en) 2018-08-08 2022-02-01 Qualcomm Incorporated Rendering audio data from independently controlled audio zones
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
CN109257682B (zh) * 2018-09-29 2020-04-24 歌尔科技有限公司 拾音调节方法、控制终端及计算机可读存储介质
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
KR102607863B1 (ko) 2018-12-03 2023-12-01 삼성전자주식회사 음원 분리 장치 및 음원 분리 방법
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
EP3731541A1 (en) 2019-04-23 2020-10-28 Nokia Technologies Oy Generating audio output signals
US10798529B1 (en) 2019-04-30 2020-10-06 Cognitive Systems Corp. Controlling wireless connections in wireless sensing systems
US10743143B1 (en) 2019-05-15 2020-08-11 Cognitive Systems Corp. Determining a motion zone for a location of motion detected by wireless signals
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
CN110530510B (zh) * 2019-09-24 2021-01-05 西北工业大学 一种利用线性声阵列波束形成的声源辐射声功率测量方法
US10924889B1 (en) 2019-09-30 2021-02-16 Cognitive Systems Corp. Detecting a location of motion using wireless signals and differences between topologies of wireless connectivity
CA3152905A1 (en) 2019-10-31 2021-05-06 Christopher Beg Using mimo training fields for motion detection
CN114599991A (zh) 2019-10-31 2022-06-07 认知系统公司 引发来自无线通信装置的mimo传输
US11570712B2 (en) 2019-10-31 2023-01-31 Cognitive Systems Corp. Varying a rate of eliciting MIMO transmissions from wireless communication devices
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11055533B1 (en) * 2020-01-02 2021-07-06 International Business Machines Corporation Translating sound events to speech and AR content
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US10928503B1 (en) 2020-03-03 2021-02-23 Cognitive Systems Corp. Using over-the-air signals for passive motion detection
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
CN111688580B (zh) * 2020-05-29 2023-03-14 阿波罗智联(北京)科技有限公司 智能后视镜进行拾音的方法以及装置
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
WO2022040817A1 (en) 2020-08-31 2022-03-03 Cognitive Systems Corp. Controlling motion topology in a standardized wireless communication network
US11070399B1 (en) 2020-11-30 2021-07-20 Cognitive Systems Corp. Filtering channel responses for motion detection
US11297434B1 (en) * 2020-12-08 2022-04-05 Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. Apparatus and method for sound production using terminal
US11513762B2 (en) 2021-01-04 2022-11-29 International Business Machines Corporation Controlling sounds of individual objects in a video
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07321574A (ja) * 1994-05-23 1995-12-08 Nec Corp 音量および音量比の表示／調整方法
JP2002519973A (ja) * 1998-06-30 2002-07-02 ユニバシティ オブ スターリング 音声処理方法および装置
US20060271370A1 (en) * 2005-05-24 2006-11-30 Li Qi P Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
JP2008205957A (ja) * 2007-02-21 2008-09-04 Toshiba Corp 受音装置及びその方法
JP2008278433A (ja) * 2007-05-07 2008-11-13 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、プログラム
JP2009296232A (ja) * 2008-06-04 2009-12-17 Casio Hitachi Mobile Communications Co Ltd 音入力装置、音入力方法およびプログラム
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2294854B (en) 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
US20020149672A1 (en) * 2001-04-13 2002-10-17 Clapp Craig S.K. Modular video conferencing system
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8270647B2 (en) 2003-05-08 2012-09-18 Advanced Bionics, Llc Modular speech processor headpiece
US7717629B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Coordinated camera pan tilt mechanism
JP4934968B2 (ja) * 2005-02-09 2012-05-23 カシオ計算機株式会社 カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20080101624A1 (en) * 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8154583B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US20100123785A1 (en) 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
CN102771141B (zh) * 2009-12-24 2016-01-20 诺基亚技术有限公司 一种电子装置及用于电子装置的方法
TWI415117B (zh) * 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07321574A (ja) * 1994-05-23 1995-12-08 Nec Corp 音量および音量比の表示／調整方法
JP2002519973A (ja) * 1998-06-30 2002-07-02 ユニバシティ オブ スターリング 音声処理方法および装置
US20060271370A1 (en) * 2005-05-24 2006-11-30 Li Qi P Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
JP2008205957A (ja) * 2007-02-21 2008-09-04 Toshiba Corp 受音装置及びその方法
JP2008278433A (ja) * 2007-05-07 2008-11-13 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、プログラム
JP2009296232A (ja) * 2008-06-04 2009-12-17 Casio Hitachi Mobile Communications Co Ltd 音入力装置、音入力方法およびプログラム
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490199B2 (en) 2017-03-14 2022-11-01 Ricoh Company, Ltd. Sound recording apparatus, sound system, sound recording method, and carrier means

Also Published As

Publication number Publication date
JP2014510430A (ja) 2014-04-24
KR101520564B1 (ko) 2015-05-14
US20130316691A1 (en) 2013-11-28
CN103329568B (zh) 2016-08-10
US8525868B2 (en) 2013-09-03
WO2012097314A1 (en) 2012-07-19
CN103329568A (zh) 2013-09-25
EP2664160B1 (en) 2023-09-13
US20120182429A1 (en) 2012-07-19
CN105263085B (zh) 2019-03-01
CN105263085A (zh) 2016-01-20
JP6174630B2 (ja) 2017-08-02
KR20130114721A (ko) 2013-10-17
US9066170B2 (en) 2015-06-23
EP2664160A1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
JP6174630B2 (ja) モバイルプラットフォームでの可変ビーム形成
KR102089638B1 (ko) 전자장치의 음성 녹음 방법 및 장치
KR102150013B1 (ko) 음향신호를 위한 빔포밍 방법 및 장치
US10152967B2 (en) Determination of an operational directive based at least in part on a spatial audio property
JP5940678B2 (ja) 超音波動き検出に基づく音響エコー消去
US10271135B2 (en) Apparatus for processing of audio signals based on device position
GB2537468B (en) Method and apparatus for voice control user interface with discreet operating mode
US20160173976A1 (en) Handheld mobile recording device with microphone characteristic selection means
US9131041B2 (en) Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
US10200787B2 (en) Mixing microphone signals based on distance between microphones
CN115699718A (zh) 基于传声器方位对音频数据进行操作的系统、设备和方法
US9516417B2 (en) Boundary binaural microphone array
CN115769566A (zh) 基于显示方位进行声学回声消除的系统、设备和方法
US20210382672A1 (en) Systems, devices, and methods of manipulating audio data based on display orientation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170706

R150 Certificate of patent or registration of utility model

Ref document number: 6174630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250