JP2013242237A - 行動検出システム - Google Patents

行動検出システム Download PDF

Info

Publication number
JP2013242237A
JP2013242237A JP2012116094A JP2012116094A JP2013242237A JP 2013242237 A JP2013242237 A JP 2013242237A JP 2012116094 A JP2012116094 A JP 2012116094A JP 2012116094 A JP2012116094 A JP 2012116094A JP 2013242237 A JP2013242237 A JP 2013242237A
Authority
JP
Japan
Prior art keywords
target
doppler
sum
relative speed
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012116094A
Other languages
English (en)
Other versions
JP5969818B2 (ja
Inventor
Tomoaki Otsuki
知明 大槻
Yoshihisa Okamoto
佳久 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Priority to JP2012116094A priority Critical patent/JP5969818B2/ja
Publication of JP2013242237A publication Critical patent/JP2013242237A/ja
Application granted granted Critical
Publication of JP5969818B2 publication Critical patent/JP5969818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】観測領域内に複数のターゲットが存在する場合にもそれぞれのターゲットを区別して位置座標を推定し、各ターゲットを区別してその行動を検出することができる行動検出システムを提供すること。
【解決手段】各ターゲットのドップラー信号の時間的特性に基づいて、各センサ間で任意のターゲットに関する各ドップラー信号を関連付けて(ステップS7)、関連付けられた各ドップラー信号に基づいて各ターゲットの各センサとの相対速度を算出し(ステップS8)、算出された相対速度に基づいて各ターゲットの位置を推定する(ステップS9)行動検出システム。
【選択図】図1

Description

本発明は、行動検出システムに関し、特に観測する領域内に複数のターゲットである例えば人が存在する場合にも各ターゲットを区別してそれぞれの行動を検出することができる行動検出システムに関する。
従来の行動検出システムは、ドップラー周波数の時間的変化に基づいてターゲットの行動を識別している(例えば、非特許文献1参照。)。
岡本佳久他, 「人の動きに伴うドップラーシフトを用いた時空間バーチャルアレーの構成に基づく位置推定アルゴリズム」, 信学技報, vol. 111, no. 180, RCS2011-135, pp.135-140, 2011年8月
しかし、観測領域内に複数のターゲットが存在する場合、各エコー波が合成して受信されるために、それぞれのターゲットを区別して位置座標を推定することができないし、したがって、各ターゲットを区別してその行動を検出することもできない。
本発明は、上記問題点に鑑み、観測領域内に複数のターゲットが存在する場合にもそれぞれのターゲットを区別して位置座標を推定し、各ターゲットを区別してその行動を検出することができる行動検出システムを提供することを目的とする。
本発明の行動検出システムは、それぞれ互いに異なる周波数の信号を送信し、それらすべての周波数の信号を受信するn(nは3以上の整数)個のセンサと、前記センサが受信した信号から各周波数のドップラー信号を分離するフィルタと、前記フィルタによって分離された各ドップラー信号のうち、同じパスを通る2つの信号のドップラー信号同士の相関をとる相関手段と、前記相関手段によって得られる、2個の前記センサから2個以上かつ{C(n,2)+1}/2個以下の各ターゲットまでの距離の和に相当する位相差から、該距離の和を算出する距離和算出手段と、各ターゲットのドップラー信号の時間的特性に基づいて、各前記センサ間で任意のターゲットに関する各前記ドップラー信号を関連付ける関連付け手段と、前記関連付け手段によって関連付けられた各ドップラー信号に基づいて各ターゲットの各前記センサとの相対速度を算出する相対速度算出手段と、前記距離和算出手段によって算出された距離の和及び前記相対速度算出手段によって算出された相対速度に基づいて各ターゲットの位置を推定する位置推定手段とを備えることを特徴とする。
また、本発明の行動検出システムは、それぞれ互いに異なる周波数の信号を送信し、それらすべての周波数の信号を受信するn(nは3以上の整数)個のセンサと、前記センサが受信した信号から各周波数のドップラー信号を分離するフィルタと、前記フィルタによって分離された各ドップラー信号のうち、同じパスを通る2つの信号のドップラー信号同士の相関をとる相関手段と、前記相関手段によって得られる、2個の前記センサから2個以上かつ{C(n,2)+1}/2個以下の各ターゲットまでの距離の和に相当する位相差から、該距離の和を算出する距離和算出手段と、前記距離和算出手段によって算出された距離の和に基づいて各ターゲットが存在する候補となる1次元空間を生成する1次元空間生成手段と、各ターゲットのドップラー信号の時間的特性に基づいて、各前記センサ間で任意のターゲットに関する各前記ドップラー信号を関連付ける関連付け手段と、前記関連付け手段によって関連付けられた各ドップラー信号に基づいて各ターゲットの各前記センサとの相対速度を算出する相対速度算出手段と、前記1次元空間生成手段によって生成された1次元空間及び前記相対速度算出手段によって算出された相対速度に基づいて各ターゲットの位置を推定する位置推定手段とを備えることを特徴とする。
本発明によれば、観測領域内に複数のターゲットが存在する場合にもそれぞれのターゲットを区別して位置座標を推定し、各ターゲットを区別してその行動を検出することができる。
本発明の一実施例による行動検出システムの動作を説明するフローチャートである。 本実施例で使用するバイスタティックレーダモデルの基本構成を示す図である。 バイスタティック3周波CWレーダの構成を示す図である。 相対速度の間に整合性がない場合を説明する図である。 相対速度の間に整合性があった場合を説明する図である。 センサ1、2に関するドップラースペクトラムの推定結果及び真値を示す図である。 ターゲットの位置座標を推定した結果を示す図である。
以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
図1は、本発明の一実施例による行動検出システムの動作を説明するフローチャートである。図2は、本実施例で使用するバイスタティックレーダモデルの基本構成を示す図である。図2(a)に示すように、バイスタティックレーダモデルは、送信アンテナTxから信号を送信して、ターゲットに当たって反射した信号を、受信アンテナRxで受信するものである。このとき、送信信号と受信信号との時間差、すなわち、信号の位相差に基づいて送信アンテナTxから受信アンテナRxに至る合計の距離が求まる。送信信号と受信信号との周波数差、すなわち、ドップラー周波数に基づいて送信アンテナTxと受信アンテナRxから見た相対速度の和が求まる。相対速度は、図2(b)に示すように、絶対速度の各アンテナからの視線方向成分である。このように、この基本構成だけでは、ターゲットの位置を推定することも、その速度を推定することもできない。そこでアンテナの数を増やした構成とする。
図3は、バイスタティック3周波CWレーダの構成を示す図である。センサ1〜3の位置に送受兼用アンテナを設置し、各センサ1〜3から異なる周波数の信号を送信する。例えば、センサ1からf1=24.150GHz、センサ2からf2=24.155GHz、センサ3からf3=24.160GHzの信号を送信する。ターゲットとしてA、Bの2人がいる場合、各センサ1〜3において6つのパスの和信号を受信する(ステップS1)。
ここで、各周波数の信号からフィルタによってドップラー信号を分離する(ステップS2)。このフィルタは具体的には、周波数f1〜f3の各周波数に対応したミクサと低域フィルタからなる。センサ1、2間のパスに注目すると、周波数f1の信号について
A経由の(ドップラー周波数、位相遅延)+B経由の(ドップラー周波数、位相遅延)
のように2つの信号の和が受信され、周波数f2の信号についても
A経由の(ドップラー周波数、位相遅延)+B経由の(ドップラー周波数、位相遅延)
のように2つの信号の和が受信される。これらの相関をとる(ステップS3)、すわなち、これらの信号を乗算すると、A経由のドップラー周波数とB経由のドップラー周波数とは無相関と考えられるので、A経由、B経由それぞれのドップラー周波数信号同士が乗算され、さらに、ドップラー周波数は搬送周波数によらずほとんど等しいため位相遅延が得られて、
A経由の相互相関値+B経由の相互相関値=
exp{j 2π(f2−f1)(R1A+R2A)/c}+exp{j 2π(f2−f1)(R1B+R2B)/c}
=expφ1+expφ2
(1)
ただし R1A:センサ1とAとの距離
R2A:センサ2とAとの距離
R1B:センサ1とBとの距離
R2B:センサ2とBとの距離
ここで、近似式
(sinφ1+sinφ2)/(cosφ1+cosφ2)=tan{(φ1+φ2)/2}
(2)
の左辺の分母・分子に前記相互相関値の実数部・虚数部を代入すると、(φ1+φ2)が得られ(ステップS4)、さらに、(R1A+R2A+R1B+R2B)が得られる(ステップS5)。このように(センサ1、2とターゲットA、Bとの距離の和)が求められることが分かる。同様に、(センサ1、3とターゲットA、Bとの距離の和)及び(センサ2、3とターゲットA、Bとの距離の和)も求めることができるので、3つの方程式を立てることができる。ターゲットA、BのX、Y座標を求めるためには、4つの変数に対して方程式が1つ足りないだけなので、ターゲットA、Bが存在する位置の候補として1次元空間を生成することができる(ステップS6)。
ここで、各センサで取得したドップラースペクトラムは、それぞれ複数の人間の動きに関する周波数偏移情報を含んでいるが、腕や脚などの回転運動に関する時間的なスペクトラムの挙動から、各センサ間で任意のターゲットに関する周波数偏移情報を関連付けることができる(ステップS7)。このため、センサ1が送信した信号をセンサ2が受信したときのドップラー信号をターゲットA、Bの別に分けることができる。そうすると、ターゲットAについて、
fd12=(fd1+fd2)/2
fd23=(fd2+fd3)/2
fd31=(fd3+fd1)/2
(3)
ただし fd12などはセンサ1、2間などのドップラー周波数
fd1などはセンサ1に対するドップラー周波数
であるので、
fd1=(fd31+fd12−fd23)
fd2=(fd12+fd23−fd31)
fd3=(fd23+fd31−fd12)
(4)
となるので、これらドップラー周波数から各センサに対する相対速度を算出することができ、ターゲットBについても同様に相対速度を算出することができる(ステップS8)。
ここで、ターゲットA、Bが存在する位置の候補としての上記1次元空間と、ターゲットA、Bについて各センサに対してそれぞれ3つずつの相対速度が求められた。そこで、その3つの相対速度の間に整合性があるかを確認しつつ、その1次元空間上を走査する、すなわち、3つの相対速度のうち組合せを変えた2つの相対速度によって生成される絶対速度が互いに一致するかを確認する。そして、3つの相対速度の間に整合性があった位置をターゲットA、Bそれぞれが存在する位置と推定する(ステップS9)。
図4は、相対速度の間に整合性がない場合を説明する図である。1次元空間上において、センサ1に対する相対速度とセンサ2に対する相対速度とによって生成される絶対速度と、センサ1に対する相対速度とセンサ3に対する相対速度とによって生成される絶対速度とが食い違っているため、この位置にはターゲットは存在しないと判断できる。
図5は、相対速度の間に整合性があった場合を説明する図である。1次元空間上において、センサ1に対する相対速度とセンサ2に対する相対速度とによって生成される絶対速度と、センサ2に対する相対速度とセンサ3に対する相対速度とによって生成される絶対速度とが一致したため、この位置にターゲット(A又はB)が存在すると推定できる。
このようにターゲットA、Bの位置を推定することができ、さらに、ターゲットA、Bのドップラー周波数・時間特性に基づいて、それらの位置においてターゲットA、Bがどのような挙動をしているかを推定することができる。
つぎに、計算機シミュレーションを行ったので、その結果を示す。3周波CWレーダモデルを用いて人の位置推定及び行動識別を行った。部屋の隅に3つのセンサを配置して電波を放射した。10m×10mの部屋を仮定した。部屋の中を2人が同時に歩いているモデルとした。人の体は80個のスキャッタで構成することにより再現した。スキャッタは、位置的に無限小の大きさを持ち所定の反射断面積を持つシミュレーションのための仮想の散乱体(点)である。各スキャッタは、3次元の位置ベクトルと速度ベクトルを持つ。各スキャッタにウェイトを付加して反射断面積を考慮した。シミュレーション諸元を表1に示す。
図6(a)は、センサ1、2に関するドップラースペクトラムの推定結果を示す図である。ドップラースペクトラムより人の歩行間隔と相対速度を推定し、運動の周期性や並進運動に関するドップラー周波数の時間的な偏移から人の動きを識別できる。図6(b)は、図6(a)で示したドップラースペクトラムと同じパラメータを用いたときの相対速度の真値を表しており、これらを比較しても分かるように、FFTにより推定されたドップラースペクトラムは、各センサに対する相対速度をほぼ正確に推定できている。また、ドップラースペクトラム中に受信電力値の高い周波数が時間的に連続して2値存在することから、観測領域内に2人のターゲットが存在することを推定できる。さらに、スペクトルのピーク間隔を見ることにより、双方周期的な運動を行っていることが分かり、各々の運動周期はそれぞれ1.2秒、1.1秒であると推定できる。ここでいう周期的な運動とは、歩行や走行といった繰り返し動作を表し、椅子に座った状態での行動や特異な行動はこれに属さない。また、並進運動に関するドップラー周波数の最大値が200 Hzを示していることから、
fd/fc=2vr/c [ドップラー周波数/搬送周波数=2×速度/光速]
(5)
の関係式を用いて人の相対速度が1.3m/sであると推定できるので、ここでは走行よりは歩行に近い運動をしていると推定できる。
図7は、2種類の評価手法を用いて観測領域内に存在するターゲットの位置座標(動線)を推定した結果を示す図である。評価手法に関しては、観測領域内に2人のターゲットが存在する場合をタイプ1、1人しか存在しない場合をタイプ2としている。図7を見ても分かるように、両タイプとも位置座標推定誤差を1m以内に抑え、タイプ1に関しては複数のターゲットを分離して位置座標を推定できている。タイプ2では、距離推定値が1つのターゲットに関する情報しか含んでいないため、相対速度ベクトルによる1次元候補空間上の走査なしで直接ターゲットの位置座標を推定でき、ほぼ正確なトラッキングが行えている。一方、タイプ1では、1次元候補空間上を複数の相対速度ベクトルを用いて走査することにより位置推定を行っているため、従来と異なり各ターゲットの動きとその位置座標を完全に同期して推定することが可能となった。本発明を用いると、行動識別結果と位置座標推定結果を完全同期させることにより、電波だけを用いて複数の人がいつ・どこで・何をしているのか識別できる。
なお、本発明は上記実施例に限定されるものではない。
センサの数を増やせばターゲットの位置は一意に定まるので、必ずしも1次元空間を生成する構成とする必要はない。この場合でも複数のターゲットのうち、どのターゲットがどの位置に存在するかを識別するためには、上記関連付け及び相対速度の整合性判断(ステップS7〜S9)が必要となる。
逆に、1次元空間を生成する構成にすれば、センサの数を減らすことができる。この場合、センサの数をn(nは3以上の整数)個とすると、独立のパスの数は組合せC(n,2)の数だけあって、その組合せC(n,2)と同じ数の方程式が立ち、ターゲットの数がm(mは2以上の整数)個あるとすると、求める独立変数の数が2m個になるので、センサの数nは
C(n,2)≧(2m−1)
{C(n,2)+1}/2≧m
(6)
を満たす数であれば済むことになる。

Claims (2)

  1. それぞれ互いに異なる周波数の信号を送信し、それらすべての周波数の信号を受信するn(nは3以上の整数)個のセンサと、
    前記センサが受信した信号から各周波数のドップラー信号を分離するフィルタと、
    前記フィルタによって分離された各ドップラー信号のうち、同じパスを通る2つの信号のドップラー信号同士の相関をとる相関手段と、
    前記相関手段によって得られる、2個の前記センサから2個以上かつ{C(n,2)+1}/2個以下の各ターゲットまでの距離の和に相当する位相差から、該距離の和を算出する距離和算出手段と、
    各ターゲットのドップラー信号の時間的特性に基づいて、各前記センサ間で任意のターゲットに関する各前記ドップラー信号を関連付ける関連付け手段と、
    前記関連付け手段によって関連付けられた各ドップラー信号に基づいて各ターゲットの各前記センサとの相対速度を算出する相対速度算出手段と、
    前記距離和算出手段によって算出された距離の和及び前記相対速度算出手段によって算出された相対速度に基づいて各ターゲットの位置を推定する位置推定手段と
    を備えることを特徴とする行動検出システム。
  2. それぞれ互いに異なる周波数の信号を送信し、それらすべての周波数の信号を受信するn(nは3以上の整数)個のセンサと、
    前記センサが受信した信号から各周波数のドップラー信号を分離するフィルタと、
    前記フィルタによって分離された各ドップラー信号のうち、同じパスを通る2つの信号のドップラー信号同士の相関をとる相関手段と、
    前記相関手段によって得られる、2個の前記センサから2個以上かつ{C(n,2)+1}/2個以下の各ターゲットまでの距離の和に相当する位相差から、該距離の和を算出する距離和算出手段と、
    前記距離和算出手段によって算出された距離の和に基づいて各ターゲットが存在する候補となる1次元空間を生成する1次元空間生成手段と、
    各ターゲットのドップラー信号の時間的特性に基づいて、各前記センサ間で任意のターゲットに関する各前記ドップラー信号を関連付ける関連付け手段と、
    前記関連付け手段によって関連付けられた各ドップラー信号に基づいて各ターゲットの各前記センサとの相対速度を算出する相対速度算出手段と、
    前記1次元空間生成手段によって生成された1次元空間及び前記相対速度算出手段によって算出された相対速度に基づいて各ターゲットの位置を推定する位置推定手段と
    を備えることを特徴とする行動検出システム。
JP2012116094A 2012-05-21 2012-05-21 行動検出システム Active JP5969818B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012116094A JP5969818B2 (ja) 2012-05-21 2012-05-21 行動検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012116094A JP5969818B2 (ja) 2012-05-21 2012-05-21 行動検出システム

Publications (2)

Publication Number Publication Date
JP2013242237A true JP2013242237A (ja) 2013-12-05
JP5969818B2 JP5969818B2 (ja) 2016-08-17

Family

ID=49843250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012116094A Active JP5969818B2 (ja) 2012-05-21 2012-05-21 行動検出システム

Country Status (1)

Country Link
JP (1) JP5969818B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133319A (ja) * 2015-01-16 2016-07-25 株式会社東芝 レーダ信号処理装置
WO2022234785A1 (ja) * 2021-05-07 2022-11-10 フィンガルリンク株式会社 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム
US20230184926A1 (en) * 2021-12-15 2023-06-15 GM Global Technology Operations LLC Radar anti-spoofing system for identifying ghost objects created by reciprocity-based sensor spoofing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338234A (ja) * 1999-05-27 2000-12-08 Japan Radio Co Ltd 監視システム
JP2002350536A (ja) * 2001-05-28 2002-12-04 Matsushita Electric Works Ltd 障害物検知装置
JP2007192573A (ja) * 2006-01-17 2007-08-02 Mitsubishi Electric Corp 目標測位装置
JP2011247596A (ja) * 2010-05-21 2011-12-08 Mitsubishi Electric Corp レーダ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338234A (ja) * 1999-05-27 2000-12-08 Japan Radio Co Ltd 監視システム
JP2002350536A (ja) * 2001-05-28 2002-12-04 Matsushita Electric Works Ltd 障害物検知装置
JP2007192573A (ja) * 2006-01-17 2007-08-02 Mitsubishi Electric Corp 目標測位装置
JP2011247596A (ja) * 2010-05-21 2011-12-08 Mitsubishi Electric Corp レーダ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡本佳久,大槻知明: "人の動きに伴うドップラーシフトを用いた時空間バーチャルアレーの構成に基づく位置推定アルゴリズム", 電子情報通信学会技術研究報告, vol. 111, no. 180, JPN6015038401, 18 August 2011 (2011-08-18), JP, pages 135 - 140, ISSN: 0003339116 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133319A (ja) * 2015-01-16 2016-07-25 株式会社東芝 レーダ信号処理装置
WO2022234785A1 (ja) * 2021-05-07 2022-11-10 フィンガルリンク株式会社 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム
JP2022172781A (ja) * 2021-05-07 2022-11-17 フィンガルリンク株式会社 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム
JP7373754B2 (ja) 2021-05-07 2023-11-06 フィンガルリンク株式会社 生体状態測定装置、生体状態測定方法、プログラム及び生体状態測定システム
US20230184926A1 (en) * 2021-12-15 2023-06-15 GM Global Technology Operations LLC Radar anti-spoofing system for identifying ghost objects created by reciprocity-based sensor spoofing

Also Published As

Publication number Publication date
JP5969818B2 (ja) 2016-08-17

Similar Documents

Publication Publication Date Title
Oguntala et al. Indoor location identification technologies for real-time IoT-based applications: An inclusive survey
Soltanaghaei et al. Multipath triangulation: Decimeter-level wifi localization and orientation with a single unaided receiver
Palipana et al. Recent advances in RF-based passive device-free localisation for indoor applications
US10436888B2 (en) Hybrid FMCW-interferometry radar for positioning and monitoring and methods of using same
EP3719532B1 (en) Technologies for acting based on object tracking
JP6260004B2 (ja) レーダシステム及びターゲット検知方法
Adib et al. {Multi-Person} Localization via {RF} Body Reflections
Zhang et al. Unlocking the beamforming potential of lora for long-range multi-target respiration sensing
KR101767924B1 (ko) 다중 목표물 위치 추정 시스템 및 방법
Niu et al. Rethinking Doppler effect for accurate velocity estimation with commodity WiFi devices
JP2012068224A (ja) Mimoレーダシステム、送信装置、受信装置及びmimoレーダ信号処理方法
US11210517B2 (en) Technologies for acting based on object detection
Zetik et al. Simple method for localisation of multiple tag-free targets using UWB sensor network
Guo et al. Dancing waltz with ghosts: Measuring sub-mm-level 2d rotor orbit with a single mmwave radar
JP5969818B2 (ja) 行動検出システム
CN112470023A (zh) 通过使用基于波的信号定位至少一个对象的测位方法以及测位系统
Aparicio et al. Robust airborne ultrasonic positioning of moving targets in weak signal coverage areas
Zetik et al. Evaluation of requirements for UWB localization systems in home-entertainment applications
JP2011247596A (ja) レーダ装置
JP2013096887A (ja) レーダ装置
JP2019197039A (ja) 推定装置、生体数推定装置、推定方法、及び、プログラム
EP4004578A1 (en) Technologies for cooperative positioning
Kazimir et al. Simple method of ucooperative human beings localisation in 3D space by UWB radar
RU2472176C1 (ru) Способ пассивного обнаружения воздушных объектов
Aloui et al. A novel indoor localization scheme based on fingerprinting technique And CDMA signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160708

R150 Certificate of patent or registration of utility model

Ref document number: 5969818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250