JP2019196999A - 位置推定装置、空調システム、位置推定方法及びプログラム - Google Patents

位置推定装置、空調システム、位置推定方法及びプログラム Download PDF

Info

Publication number
JP2019196999A
JP2019196999A JP2018091495A JP2018091495A JP2019196999A JP 2019196999 A JP2019196999 A JP 2019196999A JP 2018091495 A JP2018091495 A JP 2018091495A JP 2018091495 A JP2018091495 A JP 2018091495A JP 2019196999 A JP2019196999 A JP 2019196999A
Authority
JP
Japan
Prior art keywords
time
sound
arrival
arrival time
position estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018091495A
Other languages
English (en)
Other versions
JP7063714B2 (ja
Inventor
尚夫 水野
Hisao Mizuno
尚夫 水野
成治 近藤
Seiji Kondo
成治 近藤
尚希 西川
Naoki Nishikawa
尚希 西川
真範 丸山
Masanori Maruyama
真範 丸山
貴夫 桜井
Takao Sakurai
貴夫 桜井
清水 健志
Kenji Shimizu
健志 清水
久雄 岩田
Hisao Iwata
久雄 岩田
英 小野川
Hide Onogawa
英 小野川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Thermal Systems Ltd
Original Assignee
Mitsubishi Heavy Industries Thermal Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Thermal Systems Ltd filed Critical Mitsubishi Heavy Industries Thermal Systems Ltd
Priority to JP2018091495A priority Critical patent/JP7063714B2/ja
Priority to PCT/JP2019/011128 priority patent/WO2019216027A1/ja
Publication of JP2019196999A publication Critical patent/JP2019196999A/ja
Application granted granted Critical
Publication of JP7063714B2 publication Critical patent/JP7063714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】空間内の音源の位置を推定する位置推定装置を提供する。【解決手段】位置推定装置は、センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の前記センサへの到達時刻を推定する到達時刻推定部と、前記到達時刻推定部が推定した複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定する位置推定部と、を備える。【選択図】図1

Description

本発明は、位置推定装置、空調システム、位置推定方法及びプログラムに関する。
オフィス等の空間を空調する場合、その空間の室温等が均一になるように制御することが多い。これに対し、例えば、ユーザが存在するエリアを対象として室温等の空調制御を行う方法が提供されている。このような制御を行う場合、空調システムは、ユーザが存在する位置を正確に推定する必要がある。例えば、天井の4か所に音を検出するマイクを取り付け、ユーザが所持するスマートフォン等から音を出力し、その音の到達時間差に基づいて、TDOA(Time Difference of Arrival)などの方法を用いてユーザが存在する位置を推定する方法が考えられる。
なお、特許文献1には、複数の利用者が存在する空間において、利用者が保持する環境設定端末の電波強度やTDOA測定に基づいて各個人の位置を特定し、各々の空調要求を可能な限り満たすような制御を行う空調制御装置が開示されている。
特許第4867836号公報
しかし、ユーザがスマートフォン等を利用して発する音の波形は、その振幅が徐々に大きくなる性質を有する。その為、センサ側では、振幅がどの大きさになると音を検出したと判定するかによって音の到着時刻に差が出る。TDOA等の方法では、複数の位置における音の到達時間差に基づいて位置推定を行うが、音の到着時刻を正確に検出できないと、位置推定の精度が低下する可能性がある。
そこでこの発明は、上述の課題を解決することのできる位置推定装置、空調システム、位置推定方法及びプログラムを提供することを目的としている。
本発明の一態様によれば、位置推定装置は、センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の前記センサへの到達時刻を推定する到達時刻推定部と、前記到達時刻推定部が推定した複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定する位置推定部と、を備える。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出開始時刻を推定し、前記検出開始時刻から所定の時間差内にある時刻を前記音の到達時刻として推定する。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出終了時刻を推定し、前記検出終了時刻から所定の時間だけ遡った時刻を前記音の到達時刻として推定する。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出開始時刻および前記検出終了時刻を推定し、前記検出終了時刻から所定の時間だけ遡った時刻と前記検出開始時刻との重み付け平均により前記音の到達時刻を推定する。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の大きさが所定の閾値を上回る回数が所定回数以上となる時刻を前記検出開始時刻として推定し、前記検出開始時刻から所定の範囲内にある時刻を前記音の到達時刻として推定する。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の大きさが所定の閾値を上回る最後の時刻を前記検出終了時刻として推定し、前記検出終了時刻から所定の時間だけ遡った時刻を前記音の到達時刻として推定する。
本発明の一態様によれば、前記到達時刻推定部は、前記波形信号の振幅の大きさが所定の閾値を上回る回数が所定回数以上となる時刻を前記検出開始時刻として推定し、前記振幅が前記閾値を上回る最後の時刻を前記検出終了時刻として推定し、前記検出終了時刻から所定の時間だけ遡った時刻と前記検出開始時刻との重み付け平均により前記音の到達時刻を推定する。
本発明の一態様によれば、前記位置推定装置は、前記音の到達時刻の推定、または、前記音の出力位置の推定に失敗すると、エラー信号を出力する通信部、をさらに備える。
本発明の一態様によれば、前記位置推定装置は、音を検出する複数のセンサと、前記センサが検出した音の波形信号のうち、所定の範囲の周波数の波形信号を抽出するフィルタと、前記フィルタが出力する前記音の波形信号をデジタル信号に変換するコンバータと、をさらに備える。
本発明の一態様によれば、前記位置推定装置は、音を検出する複数のセンサと、前記センサが検出した音の波形信号のうち、所定の範囲の周波数の波形信号を抽出するフィルタと、前記フィルタが出力する前記音の波形信号の振幅が所定の閾値より大きいか否かを出力するコンパレータと、をさらに備える。
本発明の一態様によれば、空調システムは、上記の何れか1つに記載の位置推定装置を備え、前記位置推定装置が推定した前記音の出力位置を対象として空調を行う。
本発明の一態様によれば、位置推定方法は、センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の到達時刻を推定するステップと、複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定するステップと、を有する。
本発明の一態様によれば、プログラムは、コンピュータを、センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の到達時刻を推定する手段、複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定する手段、として機能させる。
本発明によれば、正確に音源の位置を推定することができる。
本発明の第一実施形態における空調システムの一例を示す図である。 本発明の第一実施形態におけるマイクの配置例を示す図である。 本発明の第一実施形態における音信号を説明する図である。 本発明の第一実施形態における音の到達時刻の推定方法を説明する図である。 本発明の第一実施形態における音源の位置推定処理の第1のフローチャートである。 本発明の第一実施形態における音源の位置推定処理の第2のフローチャートである。 本発明の第一実施形態における音源の位置推定処理の第3のフローチャートである。 本発明の第一実施形態における空調制御の一例を示すフローチャートである。 本発明の第二実施形態における空調システムの一例を示す図である。 本発明の各実施形態における位置推定装置のハードウェア構成の一例を示す図である。
<第一実施形態>
以下、本発明の第一実施形態による空調システムを図1〜図8を参照して説明する。
図1は、本発明の第一実施形態における空調システムの一例を示す図である。
図示するように空調システムは、空調機10と、端末装置40と、マイクM1〜M4とを含む。空調機10は、制御装置20を備える。制御装置20は、空調機10の運転を制御する。制御装置20は、空間wの一部のエリアを対象として、空調を行うよう空調機10を制御する機能を有している。制御装置20は、位置推定装置30を備える。位置推定装置30は、端末装置40が発した音sに基づいて、音sが発された位置を推定する。制御装置20は、例えば、位置推定装置30が推定した位置を対象として空調制御を行う。
端末装置40は、ユーザの位置を空調機10へ知らせる目的で所定の周波数の音s(超音波)を出力する。端末装置40は、例えば、スマートフォン等の情報処理装置である。端末装置40が出力する音sの周波数には、もともと存在する様々な騒音と混在しないように、騒音レベルが低い周波数が選択される。例えば、10kHz以下の音は、可聴音やエアコン動作に伴う風切り音などで用いられる。また、一般的なスマートフォンが出力できる周波数の上限は20kHz程度である。従って、音sの周波数は、10〜20kHzの範囲から選択することが望ましい。さらに、音sの周波数は、空調機10が備えるインバータのスイッチングの周波数(例えば17kHz付近)を避けて設定されることが好ましい。また、可聴域は人が不快に感じる可能性があるため、音sの周波数は、可聴域(10〜20kHzの範囲であれば、周波数が低い程、聞こえやすい)を避けて設定してもよい。また、上限にあたる20kHz付近の出力には限界があり、高周波になるほど振幅が減衰しやすくなるため、例えば、20kHz付近は避けて設定することが好ましい。これらの諸条件を考慮して、音sの周波数は、例えば、15kHz付近に設定される。
端末装置40と位置推定装置30とは、無線LAN、Bluetooth(登録商標)、超音波通信などの通信手段によって通信可能に構成されている。
マイクM1〜M4は、端末装置40が発した音sを検出するセンサである。
位置推定装置30は、端末装置40が発した音sをマイクM1〜M4の各々が検出した時刻の差に基づいて、その音源(端末装置40)の位置を推定する。制御装置20は、位置推定装置30が推定した位置を対象として空調制御を行う。
次に位置推定装置30の機能について説明する。位置推定装置30は、アンプ31と、フィルタ32と、A/Dコンバータ33と、マイコン34と、を備える。
アンプ31は、マイクM1〜M4が音sを検出して電気信号に変換したアナログの音信号をマイクM1〜M4別に取得し、それぞれの振幅を増幅する。アンプ31は、増幅後のアナログ音信号(マイクM1〜M4ごとのアナログ音信号)をフィルタ32へ出力する。
フィルタ32は、アンプ31から取得したアナログ音信号の不要な高周波成分及び低周波成分を減衰させて、予め定められた周波数帯のアナログ音信号をA/Dコンバータ33へ出力する。フィルタ32は、端末装置40が出力する音sの周波数(例えば、15kHz付近)を通すように構成されている。
A/Dコンバータ33は、フィルタ32から取得したアナログ音信号をデジタル音信号へ変換する。A/Dコンバータ33は、変換後のデジタル音信号を、マイコン34へ出力する。
マイコン34は、CPU(central processing unit)を備えたコンピュータである。マイコン34は、到達時刻推定部35と、位置推定部36と、通信部37とを備えている。
到達時刻推定部35は、マイクM1〜M4のそれぞれが音sを検出した時刻(到達時刻)を推定する。
位置推定部36は、マイクM1〜M4のうちの1つのマイク(例えばマイクM1)を基準として、基準となるマイクM1が音sを検出した時刻と、他の3つのマイクM2〜M4が音sを検出した時刻との差、つまり、音sがマイクM1に到達する時刻と、マイクM2〜M4に到達する時刻との時間差(到達時間差)を算出する。位置推定部36は、算出した到達時間差に基づいて、音sが発された位置(ユーザが存在する位置)を推定する。
通信部37は、端末装置40と通信を行い、到達時刻推定処理や位置推定処理の成功または失敗の結果を送信する。
次に図2を用いて本実施形態における位置推定方法の一例について説明する。
図2は、本発明の第一実施形態におけるマイクの配置例を示す図である。
図2にマイクM1〜M4の配置例を示す。マイクM1〜M4は、空間wの天井に、例えばマイクM1〜M4の各々が、空調機10の吹き出し口の中心を重心とする正方形の頂点をなすように配置される。
位置推定部36は、マイクM1〜M4が音sを検出した時刻の差(到達時間差)に基づいて端末装置40の位置を推定する。位置の推定には、TDOA(Time Difference Of Arrival)等の公知の手法を用いることにより推定することができる。例えば、マイクM1〜M4の座標をそれぞれ(A1、B1、C1)、(A2、B2、C2)、(A3、B3、C3)、(A4、B4、C4)とし、端末装置40の位置の座標を(x、y、z)とし、マイクM1への音sの到達時刻とマイクM1〜M4への音sの到達時刻の差をそれぞれt1、t2、t3、t4とし、端末装置40とマイクM1の距離をd、音速をcとすると、以下の連立方程式が得られる。
(x−A1)+(y−B1)+(z−C1)−(d+c・t1)=0
(x−A2)+(y−B2)+(z−C2)−(d+c・t2)=0
(x−A3)+(y−B3)+(z−C3)−(d+c・t3)=0
(x−A4)+(y−B4)+(z−C4)−(d+c・t4)=0
TDOAによれば、端末装置40の位置は、ニュートン−ラプソン法等の近似計算を用いて、上記の方程式を解くことにより算出することができる。このように、音源位置を推定するためには、各マイク間の到達時間差を正確に算出しなければならない。その為には、マイクM1〜M4への正確な到達時刻が検出できなければならない。ここで、スマートフォン等の端末装置40が出力する音sの性質について説明する。
図3は、本発明の第一実施形態における音信号を説明する図である。
図3(a)に、端末装置40が発するアナログ音信号の一例を示す。スマートフォン等が出力するアナログ音信号の音圧の振幅は、図3(a)に示すようにばらつきがある。従って、音sの到達を検出するためには、音圧に閾値を設け、この閾値を所定の回数上回ると、その時刻を音sの到達時刻と決定する方法が考えられる。
図3(b)は、マイクM1等で検出する音sの音圧の大きさ(振幅)の経時的変化を示している。図3(b)は、スマートフォン等が出力する音sは、出力開始から音圧の振幅が徐々に増大し、その波形の形状がラッパ状となることを示している。波形がこのように変化する場合、音sの到達を判定するための音圧の閾値をどのように設けるかによって到達時刻が変化することになり、音sの検出の判定が不明瞭になる。また、スマートフォンの機種や音sの周波数などによって音圧の立ち上がり方(傾き)や音圧のピーク(振幅のピーク)が異なるため、一つの閾値によって音sの到達判定を行うことができなくなる。そこで、本実施形態では、音sの波形の立ち上がり形状がラッパ状となることを利用して、音sの到達時刻を推定する。次に図4を用いて、本実施形態の到達時刻の推定方法を説明する。
(立ち上がりでの推定)
図4は、本発明の第一実施形態における音の到達時刻の推定方法を説明する図である。
まず、到達時刻推定部35は、音sの波形信号の振幅の経時的変化に対して近似曲線を算出する。次に近似曲線を外挿して波形信号との交点を算出する。図4の破線グラフL1は、音sの波形信号における音圧の時系列のピーク位置を結ぶ近似曲線を時間を遡る方向に外挿した曲線の例である。このようにして求めた交点(時刻t1)を音sの検出開始時刻とする。到達時刻推定部35は、時刻T1を音sの到達時刻として推定してもよいし、時刻T1から所定の時間Δtだけ後の時刻T2を音sの到達時刻として推定してもよい。近似曲線は、例えば、アークタンジェント関数、シグモイド関数を基準にフィッティングを行って算出してもよい。あるいは、計算負荷を小さくするためには、1次関数や2次関数によって近似してもよい。
(立ち下がりでの推定)
または、音sの検出終了時刻に着目して、音sの到達時刻として推定してもよい。この場合、予め端末装置40が出力する音sの周波数f0と、1回の出力あたりにN周期分だけ音sを出力することを定めておく。そして、音sの検出終了時刻の手前の時間帯について、上記と同様にして、音sの波形信号の振幅の経時的変化に対して近似曲線を算出する。次に近似曲線を時間が経過する方向に外挿して波形信号との交点を算出する。図4の破線グラフL2は、音sの音圧の時系列のピーク位置を結ぶ近似曲線を外挿した曲線である。このようにして求めた交点(時刻T3)を音sの検出終了時刻とする。なお、音sの検出終了時刻付近の波形信号に対する近似曲線の傾きは、おおよそ、音sの検出開始時刻付近の波形信号に対する近似曲線とY軸対称となることが分かっている。その為、音sの立ち上がりに対する近似曲線(破線グラフL1)を算出して、この近似曲線を利用して、音sの検出終了時刻付近の波形信号に対する近似曲線(破線グラフL2)を算出しても良い。あるいは、音sの検出終了時刻付近の波形信号に対してフィッティングを行って近似曲線(破線グラフL2)を算出しても良い。
到達時刻推定部35は、時刻T2を算出すると、1周期の時間(1/f0)に予め定められた出力周期回数のNを乗じて音sの出力開始から終了までの時間TLを算出する。次に到達時刻推定部35は、時刻T3から時間TLだけ遡った時刻T4を音sの到達時刻として推定する。
(立ちあがりと立ち下がりでの推定)
あるいは、上記のようにして求めた時刻T1または時刻T2と、時刻T4の重み付け平均によって、音sの到達時刻として推定してもよい。音sの到達時刻は、例えば、以下の式によって算出することができる。
音sの到達時刻 = α×時刻T1 + (1−α)×時刻T4
以上、音sのアナログ音信号の波形を例にして、波形信号に対する近似曲線の算出と、近似曲線に基づく音sの到達時刻の推定について説明した。図1に示す構成では、到達時刻推定部35は、A/Dコンバータ33が出力した音sのデジタル音信号に対して、音sの到達開始時からの立ち上がりや音sの到達終了時における立ち下がりの形状(傾き)を示す近似曲線を算出して、音sの到達時刻を推定する。その推定方法は、図4のアナログ音信号の例を用いて説明した処理内容と同様である。
図5は、本発明の第一実施形態における音源の位置推定処理の第1のフローチャートである。
図5を用いて、音sの立ち上がり時の波形信号を用いた位置推定処理の流れについて説明する。前提として、位置推定部36は、マイクM1〜M4の位置情報を記憶しているとする。また、端末装置40が出力する音sの周波数f0は定められていて、フィルタ32はその周波数f0を中心として所定範囲の周波数帯を通過するように構成されている。
まず、ユーザが端末装置40を操作して、所定の周波数の音sの出力を開始する。マイクM1〜M4は、音sを検出する(ステップS11)。マイクM1〜M4は、音sを検出すると、音sのアナログ音信号を、アンプ31へ出力する。アンプ31は、マイクM1〜M4が出力した音sのアナログ音信号をそれぞれ増幅させ、フィルタ32へ出力する。フィルタ32は、増幅後の4つのアナログ音信号から、所定の周波数付近を抽出してA/Dコンバータ33へ出力する。A/Dコンバータ33は、フィルタ32が出力した4つのアナログ音信号のそれぞれをデジタル音信号に変換して、デジタル音信号をマイコン34へ出力する。
マイコン34では、到達時刻推定部35が4つのデジタル音信号を取得し、デジタル音信号の波形の立ち上がりの形状からそれぞれの検出開始時刻を推定する(ステップS12)。具体的には、到達時刻推定部35は、図4で説明したように、デジタル音信号の音圧のピーク値の時系列の点をアークタンジェント関数、シグモイド関数、1次関数、2次関数などで近似して近似曲線を算出する。そして、到達時刻推定部35は、算出した近似曲線を、時間を遡る方向に外挿して音sのデジタル音信号との交点(検出開始時刻)を算出する。到達時刻推定部35は、4つのデジタル音信号のそれぞれについて検出開始時刻を推定する。
次に到達時刻推定部35は、マイクM1〜M4それぞれへの音sの到達時刻を推定する(ステップS13)。例えば、到達時刻推定部35は、検出開始時刻(図4の時刻T1)を音sの到達時刻として推定する。到達時刻推定部35は、推定したマイクM1〜M4への音sの到達時刻(4つ)を位置推定部36へ出力する。
位置推定部36は、マイクM1〜M4への音sの到達時刻から、例えば、マイクM1とマイクM2への音sの到達時刻差、マイクM1とマイクM3への音sの到達時刻差、マイクM1とマイクM4への音sの到達時刻差を算出し、TDOAにより音源(端末装置40)の位置を推定する(ステップS14)。
図6は、本発明の第一実施形態における音源の位置推定処理の第2のフローチャートである。
図6を用いて、音sの立ち下がり時の波形信号を用いた位置推定処理の流れについて説明する。図5の前提に加え、端末装置40が1回の出力時にN周期分の音sを出力することが定められ、その情報を端末装置40とマイコン34とが共有しているとする。図5で説明した処理と同様の処理については説明を省略する。
まず、ユーザが端末装置40を操作して、所定の周波数の音sの出力を開始する。マイクM1〜M4は、音sを検出する(ステップS11)。マイクM1〜M4のそれぞれが検出した音sのアナログ音信号は、アンプ31、フィルタ32を通過して、A/Dコンバータ33でデジタル音信号に変換される。マイコン34の到達時刻推定部35は、4つのデジタル音信号を取得する。
到達時刻推定部35は、デジタル音信号の波形の立ち下がりの形状から検出終了時刻を推定する(ステップS12a)。具体的には、到達時刻推定部35は、図4で説明したように、デジタル音信号の到達終了付近での音圧のピーク値の時系列の点を1次関数、2次関数などで近似して近似曲線を算出する。そして、到達時刻推定部35は、算出した近似曲線を、時間が経過する方向に外挿して音sのデジタル音信号との交点(検出終了時刻)を算出する。到達時刻推定部35は、4つのデジタル音信号のそれぞれについて音sの検出終了時刻を推定する。
次に到達時刻推定部35は、マイクM1〜M4それぞれへの音sの検出終了時刻から遡って音sの到達時刻を推定する(ステップS13a)。具体的には、到達時刻推定部35は、検出終了時刻から、N/f0で得られる時間を減算した時刻を、音sの到達時刻として推定する。到達時刻推定部35は、推定したマイクM1〜M4への音sの到達時刻(4つ)を位置推定部36へ出力する。次に位置推定部36は、TDOAにより音源(端末装置40)の位置を推定する(ステップS14)。
図7は、本発明の第一実施形態における音源の位置推定処理の第3のフローチャートである。
図7を用いて、音sの立ち上がり時および立ち下がり時の波形信号を用いた位置推定処理の流れについて説明する。前提条件は図6で説明したものと同様である。図5、図6で説明した処理と同様の処理については説明を省略する。
まず、ユーザが端末装置40を操作して、所定の周波数の音sの出力を開始する。マイクM1〜M4は、音sを検出する(ステップS11)。マイクM1〜M4のそれぞれが検出した音sのアナログ音信号は、アンプ31、フィルタ32を通過して、A/Dコンバータ33でデジタル音信号に変換される。マイコン34の到達時刻推定部35は、4つのデジタル音信号を取得する。
到達時刻推定部35は、デジタル音信号の波形の立ち上がりの形状から検出開始時刻を推定する(ステップS12)。次に到達時刻推定部35は、マイクM1〜M4それぞれへの音sの到達時刻(第1の到達時刻)を推定する(ステップS13)。
次に到達時刻推定部35は、デジタル音信号の波形の立ち下がりの形状から検出終了時刻を推定する(ステップS12a)。次に到達時刻推定部35は、マイクM1〜M4それぞれへの音sの検出終了時刻からN/f0だけ遡って音sの到達時刻(第2の到達時刻)を推定する(ステップS13a)。
次に到達時刻推定部35は、第1の到達時刻と第2の到達時刻から到達時刻を推定する(ステップS13b)。例えば、到達時刻推定部35は、マイクM1の第1の到達時刻と第2の到達時刻の平均を、マイクM1への音sの到達時刻の推定値としてもよい。また、例えば、到達時刻推定部35は、マイクM1の第1の到達時刻と第2の到達時刻の重み付き平均(それぞれへの重み付き係数は予め定められている)を、マイクM1への音sの到達時刻の推定値としてもよい。同様にして到達時刻推定部35は、マイクM2〜M4への音sの到達時刻を、それぞれの第1の到達時刻と第2の到達時刻に基づいて推定する。到達時刻推定部35は、マイクM1〜M4への音sの到達時刻(4つ)の推定値を位置推定部36へ出力する。
次に位置推定部36は、TDOAにより音源(端末装置40)の位置を推定する(ステップS14)。
次に位置推定装置30による位置推定に基づく、空調制御について説明する。
図8は、本発明の第一実施形態における空調制御の一例を示すフローチャートである。
まず、ユーザが端末装置40を操作して、所定の周波数の音sの出力を行う(ステップS21)。空調機10では、マイクM1〜M4が音sを検出する(ステップS22)。位置推定装置30は、マイクM1〜M4が出力した音sのデジタル音信号を取得し、到達時刻の推定、音源位置の推定を行う。例えば、音の受信強度が閾値未満の場合や、N周期分の音が取得できないなどの場合、位置推定装置30の到達時刻推定部35は、受信失敗と判定し(ステップS23;No)、通信部37は、端末装置40へエラー信号を送信する(ステップS24)。一方、音sを正常に受信できた場合(ステップS23;Yes)、通信部37は、端末装置40へ受信成功を示す信号を送信する。端末装置40は、受信成功を知らせるメッセージをディスプレイに表示したり、音を鳴らしたりして受信の成功をユーザに通知する。あるいは、空調機10側で、受信成功をユーザに通知するために音を鳴らしたり、LEDを点灯させたりしてもよい。音sの受信に成功した場合、位置推定装置30は、音源の位置を推定する(ステップS25)。推定の方法は、図5〜図7で説明したとおりである。
位置の推定処理に成功した場合(ステップS26;Yes)、通信部37が、端末装置40へ位置推定に成功を示す信号を送信する。端末装置40は、位置推定の成功を知らせるメッセージをディスプレイに表示したり、音を鳴らしたりする。あるいは、空調機10側で音を鳴らしたりLEDを点灯させたりして、位置推定の成功をユーザに通知してもよい。また、位置推定装置30が位置の推定に成功すると、制御装置20は、推定した音源の位置を対象に空調制御を行う(ステップS28)。例えば、制御装置20は、空調機10のルーバー(図示せず)を制御して風向を、推定した音源位置に向けるなどの制御を行う。
一方、位置の推定処理に失敗した場合(ステップS26;No)、位置推定装置30は、端末装置40へエラー信号を送信する(ステップS27)。
ステップS24、ステップS27でエラー信号を受信した場合、端末装置40は、ディスプレイ等にメッセージを表示させたり、受信または位置推定に失敗したことを通知する可聴音を鳴らしたり、LEDランプを点灯させたりして、ユーザにエラーを通知する。ユーザは、これらの通知を確認すると、再度、端末装置40を操作して、音sを出力する(ステップS21)。以降、位置推定が成功するまで、上記の過程を繰り返す。
本実施形態の位置推定装置30によれば、音の到達と共に音圧の振幅が徐々に増大する性質を有するような音sについて、様々な騒音がある環境下において、マイクM1〜M4への到達時刻を精度よく検出することができる。これにより、精度の良い音源(ユーザ)の位置推定が可能になる。また、制御装置20は、位置推定装置30を備えることにより、ユーザが所望するエリアを対象とする空調制御を行うことができる。
上記の説明では、端末装置40による音sの1回の出力に対し、位置推定を行う場合を例に挙げたが、1回の位置推定を行うために、端末装置40から音sを複数回出力するようにしてもよい。その場合、位置推定装置30は、端末装置40が音sを出力する度に音sの出力位置に対する位置推定を行い、例えば、推定結果の平均値を端末装置40(ユーザ)の位置として推定するようにしてもよい。複数回の推定結果に基づいて最終的な推定位置を決定することで、位置推定処理のばらつきの影響を低減し、位置推定の精度を向上することができる。
<第二実施形態>
以下、本発明の第二実施形態による空調システムを、図9を参照して説明する。
図9は、本発明の第二実施形態における空調システムの一例を示す図である。
本発明の第二実施形態に係る構成のうち、本発明の第一実施形態に係る空調システムを構成する機能部と同じものには同じ符号を付し、それらの説明を省略する。第二実施形態に係る空調システムでは、位置推定装置30Aが、A/Dコンバータ33の代わりにコンパレータ38を備え、到達時刻推定部35の代わりに到達時刻推定部35Aを備える。 また、第二実施形態では、端末装置40が1回の出力時にN周期分の音sを出力することが定められ、その情報を端末装置40とマイコン34とが共有しているとする。
コンパレータ38は、フィルタ32が出力した音sのアナログ音信号の振幅と、所定の閾値とを比較してアナログ音信号の振幅が閾値を上回れば「1」を出力し、アナログ音信号の振幅が閾値以下であれば「0」を出力する。ここで閾値とは、端末装置40から出力された音sが到達したか否かを判定するための値である。コンパレータ38は、「0」または「1」のパルス信号を到達時刻推定部35Aへ出力する。
到達時刻推定部35Aは、例えば、コンパレータ38からの出力が一定期間「0」の状態から変化して、「1」が通算して所定回数、又は連続して所定回数出力されると、音sが到達したと判定する。また、到達時刻推定部35Aは、例えば、コンパレータ38からの出力が一定期間「1」の状態から変化して、「0」が通算して所定回数、又は連続して所定回数(例えば10回)出力されると、音sの到達が終了したと判定する。到達時刻推定部35Aは、音sの到達が終了したと判定した場合、「1」が出力された最後の時刻を検出終了時刻とし、検出終了時刻から、N/f0だけ遡った時刻を音sの到達時刻として推定する(第2の到達時刻)。あるいは、到達時刻推定部35Aは、音sが到達したと判定した時刻を検出開始時刻とし、検出開始時刻から所定時間遡った時刻(例えば3周期分、3/f0)を音sの到達時刻として推定してもよい(第1の到達時刻)。最初に音sが到達したと判定した時刻(検出開始時刻)から所定時間遡った時刻を到達時刻として推定するのは、図3(b)に示すように音が徐々に立ち上がるため、音sが到達してからしばらくはコンパレータ38からの出力が「0」となるためである。あるいは、到達時刻推定部35Aは、第1の到達時刻と、第2の到達時刻とを算出し、2つの時刻の平均や重み付き平均を音sの到達時刻として推定してもよい。
到達時刻推定部35Aは、マイクM1〜M4が検出した音sのそれぞれに対して到達時刻を推定し、4つの到達時刻を位置推定部36へ出力する。
位置推定部36は、マイクM1〜M4への音sの到達時刻の推定値から、例えば、マイクM1とマイクM2への音sの到達時刻差、マイクM1とマイクM3への音sの到達時刻差、マイクM1とマイクM4への音sの到達時刻差を算出し、TDOAにより音源(端末装置40)の位置を推定する。
本実施形態によれば、コンパレータ38が閾値に基づいて出力したパルス信号に基づいて、正確に音sの到達時刻を推定することができる。第二実施形態によれば、第一実施形態に比べ少ない計算負荷で到達時刻を推定することができる。
また、第二実施形態の到達時刻の推定方法は、第一実施形態の構成を備える空調システムでも実行することができる。例えば、到達時刻推定部35は、所定の閾値とA/Dコンバータ33から出力される音圧のピーク値とを比較する。そして、一定期間音圧のピーク値が閾値を下回る状態から変化して、通算して所定回数、又は連続して所定回数、ピーク値が閾値を上回ると、到達時刻推定部35は、音sが到達したと判定する。到達時刻推定部35は、音sが到達したと判定した時刻を検出開始時刻とし、検出開始時刻から所定時間遡った時刻(例えば3周期分、3/f0)を音sの到達時刻として推定してもよい(第1の到達時刻)。
また、到達時刻推定部35は、音sが到達していると判定される状態から通算して所定回数、又は連続して所定回数(例えば10回)ピーク値が閾値を下回ると、音sの到達が終了したと判定する。音sの到達が終了したと判定した場合、最後に振幅のピーク値が閾値を上回った時刻を検出終了時刻とし、検出終了時刻から、N/f0だけ遡った時刻を音sの到達時刻として推定する(第2の到達時刻)。あるいは、到達時刻推定部35は、第1の到達時刻と、第2の到達時刻とを算出し、2つの平均や、重み付き平均を音sの到達時刻として推定してもよい。
閾値に基づく到達時刻の推定の場合、近似曲線を算出する場合と比較して、より少ない計算負荷で到達時刻を推定することができる。
図10は、本発明の各実施形態における位置推定装置のハードウェア構成の一例を示す図である。
コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、インタフェース904を備える。
上述の位置推定装置30、30Aは、コンピュータ900を備える。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、記憶領域を主記憶装置902に確保する。
少なくとも1つの実施形態において、補助記憶装置903は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース904を介して接続される磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行してもよい。
上述した位置推定装置30、30Aにおける各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを位置推定装置30、30Aのコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
位置推定装置30、30Aは、1台のコンピュータで構成されていても良いし、通信可能に接続された複数のコンピュータで構成されていてもよい。
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。なお、アナログ音信号とデジタル音信号は、波形信号の一例である。
例えば、上記の実施形態では、マイクM1〜M4の全てを同時に用いることとしたが、音源の平面での位置の推定は、マイクが3つあれば可能である。ユーザの平面上の位置推定のみを行う場合、例えば、マイクM1〜M3だけを使用して位置推定を行い、何れかのマイクが故障した場合に残りのマイクM4を使用するようにしてもよい。あるいは、4つのマイクM1〜M4のうち、任意の3つのマイクを毎回選択して、選択したマイクによって位置推定を行うようにしてもよい。
または、平面での位置推定を行う場合、1回の位置推定について、マイクM1、M2、M3を用いた推定、マイクM1、M3、M4を用いた推定、マイクM1、M2、M4を用いた推定、マイクM2、M3、M4を用いた推定の4回の位置推定処理を行って、4回の推定結果の平均を、最終的な端末装置40の位置として決定してもよい。
10・・・空調機
20・・・制御装置
30・・・位置推定装置
31・・・アンプ
32・・・フィルタ
33・・・A/Dコンバータ
34、34A・・・マイコン
35、35A・・・到達時刻推定部
36・・・位置推定部
37・・・通信部
38・・・コンパレータ
40・・・端末装置
M1、M2、M3、M4・・・マイク
w・・・空間
s・・・音
900・・・コンピュータ
901・・・CPU
902・・・主記憶装置
903・・・補助記憶装置
904・・・インタフェース

Claims (13)

  1. センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の前記センサへの到達時刻を推定する到達時刻推定部と、
    前記到達時刻推定部が推定した複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定する位置推定部と、
    を備える位置推定装置。
  2. 前記到達時刻推定部は、
    前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出開始時刻を推定し、前記検出開始時刻から所定の範囲内にある時刻を前記音の到達時刻として推定する、
    請求項1に記載の位置推定装置。
  3. 前記到達時刻推定部は、
    前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出終了時刻を推定し、前記検出終了時刻から所定の時間だけ遡った時刻を前記音の到達時刻として推定する、
    請求項1に記載の位置推定装置。
  4. 前記到達時刻推定部は、
    前記波形信号の振幅の経時的変化を示す近似曲線に基づいて前記検出開始時刻および前記検出終了時刻を推定し、前記検出終了時刻から所定の時間だけ遡った時刻と前記検出開始時刻との重み付け平均により前記音の到達時刻を推定する、
    請求項1に記載の位置推定装置。
  5. 前記到達時刻推定部は、
    前記波形信号の振幅の大きさが所定の閾値を上回る回数が所定回数以上となる時刻を前記検出開始時刻として推定し、前記検出開始時刻から所定の範囲内にある時刻を前記音の到達時刻として推定する、
    請求項1に記載の位置推定装置。
  6. 前記到達時刻推定部は、
    前記波形信号の振幅の大きさが所定の閾値を上回る最後の時刻を前記検出終了時刻として推定し、前記検出終了時刻から所定の時間だけ遡った時刻を前記音の到達時刻として推定する、
    請求項1に記載の位置推定装置。
  7. 前記到達時刻推定部は、
    前記波形信号の振幅の大きさが所定の閾値を上回る回数が所定回数以上となる時刻を前記検出開始時刻として推定し、
    前記振幅が前記閾値を上回る最後の時刻を前記検出終了時刻として推定し、前記検出終了時刻から所定の時間だけ遡った時刻と前記検出開始時刻との重み付け平均により前記音の到達時刻を推定する、
    請求項1に記載の位置推定装置。
  8. 前記音の到達時刻の推定、または、前記音の出力位置の推定に失敗すると、エラー信号を出力する通信部、をさらに備える請求項1から請求項7の何れか1項に記載の位置推定装置。
  9. 音を検出する複数のセンサと、
    前記センサが検出した音の波形信号のうち、所定の範囲の周波数の波形信号を抽出するフィルタと、
    前記フィルタが出力する前記音の波形信号をデジタル信号に変換するコンバータと、
    をさらに備える請求項1から請求項8の何れか1項に記載の位置推定装置。
  10. 音を検出する複数のセンサと、
    前記センサが検出した音の波形信号のうち、所定の範囲の周波数の波形信号を抽出するフィルタと、
    前記フィルタが出力する前記音の波形信号の振幅が所定の閾値より大きいか否かを出力するコンパレータと、
    をさらに備える請求項5から請求項7の何れか1項に記載の位置推定装置。
  11. 請求項1から請求項10の何れか1項に記載の位置推定装置を備え、
    前記位置推定装置が推定した前記音の出力位置を対象として空調を行う、
    空調システム。
  12. センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の到達時刻を推定するステップと、
    複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定するステップと、
    を有する位置推定方法。
  13. コンピュータを、
    センサが検出した音の波形信号を取得し、前記波形信号に基づいて前記音の検出開始時刻または検出終了時刻を推定し、前記検出開始時刻または前記検出終了時刻に基づいて、前記音の到達時刻を推定する手段、
    複数の前記センサにおける前記音の到達時刻の時間差に基づいて前記音の出力位置を推定する手段、
    として機能させるためのプログラム。
JP2018091495A 2018-05-10 2018-05-10 位置推定装置、空調システム、位置推定方法及びプログラム Active JP7063714B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018091495A JP7063714B2 (ja) 2018-05-10 2018-05-10 位置推定装置、空調システム、位置推定方法及びプログラム
PCT/JP2019/011128 WO2019216027A1 (ja) 2018-05-10 2019-03-18 位置推定装置、空調システム、位置推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018091495A JP7063714B2 (ja) 2018-05-10 2018-05-10 位置推定装置、空調システム、位置推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019196999A true JP2019196999A (ja) 2019-11-14
JP7063714B2 JP7063714B2 (ja) 2022-05-09

Family

ID=68466942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018091495A Active JP7063714B2 (ja) 2018-05-10 2018-05-10 位置推定装置、空調システム、位置推定方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7063714B2 (ja)
WO (1) WO2019216027A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5327088A (en) * 1976-08-25 1978-03-13 Hitachi Ltd Signal source position orienting device
JPS60138422A (ja) * 1983-12-27 1985-07-23 Toshiba Corp 流量測定装置
JPH02161383A (ja) * 1988-12-14 1990-06-21 Yokogawa Electric Corp 超音波距離計
JPH06222130A (ja) * 1993-01-26 1994-08-12 Matsushita Electric Works Ltd 3次元位置測定方法および3次元位置測定装置
JPH09127244A (ja) * 1995-10-31 1997-05-16 Sanyo Electric Co Ltd 超音波センサ及びこれを用いた分注装置
JP2003222675A (ja) * 2002-01-31 2003-08-08 Fujitsu Ltd 超音波距離測定装置及び方法
JP2004028967A (ja) * 2002-06-28 2004-01-29 Tokyo Gas Co Ltd 音波発受信装置および距離計測装置ならびに流速計測装置ならびに音速計測装置
JP4867836B2 (ja) * 2007-06-15 2012-02-01 ダイキン工業株式会社 空調システム及び電磁波等発振等装置位置特定システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5327088A (en) * 1976-08-25 1978-03-13 Hitachi Ltd Signal source position orienting device
JPS60138422A (ja) * 1983-12-27 1985-07-23 Toshiba Corp 流量測定装置
JPH02161383A (ja) * 1988-12-14 1990-06-21 Yokogawa Electric Corp 超音波距離計
JPH06222130A (ja) * 1993-01-26 1994-08-12 Matsushita Electric Works Ltd 3次元位置測定方法および3次元位置測定装置
JPH09127244A (ja) * 1995-10-31 1997-05-16 Sanyo Electric Co Ltd 超音波センサ及びこれを用いた分注装置
JP2003222675A (ja) * 2002-01-31 2003-08-08 Fujitsu Ltd 超音波距離測定装置及び方法
JP2004028967A (ja) * 2002-06-28 2004-01-29 Tokyo Gas Co Ltd 音波発受信装置および距離計測装置ならびに流速計測装置ならびに音速計測装置
JP4867836B2 (ja) * 2007-06-15 2012-02-01 ダイキン工業株式会社 空調システム及び電磁波等発振等装置位置特定システム

Also Published As

Publication number Publication date
WO2019216027A1 (ja) 2019-11-14
JP7063714B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
US20090146799A1 (en) Adaptive audio content generation system
US10932079B2 (en) Acoustical listening area mapping and frequency correction
JP2011215031A (ja) 人感センサおよび空調装置
GB2581596A (en) Headset on ear state detection
JP6446913B2 (ja) 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
KR20140097699A (ko) 3차원 이퀄 라우드니스 컨투어를 이용한 난청 보상 장치 및 방법
JP2015206974A (ja) 報知音感知装置、報知音感知方法及びプログラム
EP2884473A1 (en) Internet protocol addressable public address devices and systems
WO2019216027A1 (ja) 位置推定装置、空調システム、位置推定方法及びプログラム
WO2019220760A1 (ja) 測位システム、空調システム、端末装置、位置推定装置、位置推定方法、音波出力方法、プログラム
JP6489163B2 (ja) 雑音低減装置、雑音低減方法およびプログラム。
US20150271345A1 (en) Control apparatus, control method, and computer-readable medium
KR20110109620A (ko) 마이크로폰 모듈, 이를 이용한 음원 위치 측정 장치 및 그 방법
JP6163924B2 (ja) 雑音検出装置、雑音検出方法、雑音低減装置、雑音低減方法、通信装置およびプログラム。
JP2016033530A (ja) 発話区間検出装置、音声処理システム、発話区間検出方法およびプログラム
JP2005080303A (ja) オーディオトランスデューサ用音声マッチングシステム
JPWO2010106734A1 (ja) 音声信号処理装置
JP4746498B2 (ja) 単一指向性マイクロホン
CN111425377B (zh) 风扇及其控制方法和装置
JP2014197771A (ja) 放送システムの音声出力制御装置及び音声出力制御方法
JP2006185225A (ja) 警報装置識別装置、システムおよび方法
WO2019220874A1 (ja) 空調制御装置、空調制御システム、空調制御方法、及びプログラム
CN112740170A (zh) 发话装置、服务器、控制系统、控制方法及程序
KR101460223B1 (ko) 가속도값을 활용한 무선 바디 센서 디바이스 및 이의 전송 파워 제어 방법
JP6152045B2 (ja) 音源装置のための自動電源オフ装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7063714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150