JP2012167940A - 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 - Google Patents
移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 Download PDFInfo
- Publication number
- JP2012167940A JP2012167940A JP2011026843A JP2011026843A JP2012167940A JP 2012167940 A JP2012167940 A JP 2012167940A JP 2011026843 A JP2011026843 A JP 2011026843A JP 2011026843 A JP2011026843 A JP 2011026843A JP 2012167940 A JP2012167940 A JP 2012167940A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- image
- image acquisition
- sun
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 76
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 241001367053 Autographa gamma Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】移動体姿勢の決定方法は、移動体位置を計測し、太陽を含む画像を取得するとともに、画像を取得した画像取得時刻を取得し、計測された移動体位置に基づいて、移動体の移動方位を算出し、画像取得位置を求め、画像の輝度に基づいて画像中における太陽位置を抽出し、任意座標系の原点から太陽に向かう計測ベクトルを求め、絶対座標系の原点から太陽に向かう基準ベクトルを求め、計測ベクトルと基準ベクトルとを合わせるとともに、任意座標軸と絶対座標軸の角度差と、前記算出された移動体の移動方位と、に基づいて、移動体の姿勢を算出する方法である。
【選択図】図1
Description
(1)IMUを必要とせず、GPSやカメラなど比較的廉価な製品で構成できるので、掛かる費用を軽減することができる。
(2)GPSとカメラなど少ない設備を搭載するだけなので、比較的容易に設置することができる。
(3)磁気センサなどに比べ、高い精度で移動体姿勢を取得することができる。
(4)移動中リアルタイムで移動体姿勢を取得できるので、移動しながら姿勢制御を行うことができる。
(5)複雑な演算処理を必要としないので、容易かつ迅速に結果を取得することができる。
図1は、移動体1が移動している状態を示す説明図である。本願発明は、図1に示すように移動中の移動体1における姿勢を決定するものであって、移動中に自位置(移動体1自身の位置)を計測するとともに、太陽S(図1)を含む画像を取得し、自位置の座標と取得した画像によって移動中の姿勢を決定するものである。具体的には、移動中に計測した座標から移動体1の移動している方向(方位)を算出し、取得した画像中の太陽位置から任意座標系(移動体1の姿勢に合わせた座標系)における太陽方位・高度を求め、さらに緯度、経度、日時から絶対座標系(水平面と鉛直軸からなる座標系)における太陽方位・高度を求め、任意座標系と絶対座標系におけるそれぞれの太陽方位・高度を合わせた結果、両座標系に生じる座標軸の角度差と、移動体1の移動方向(方位)と、に基づいて移動体1の姿勢を決定するものである。
位置計測手段2は、移動中の移動体1の位置を計測するものであり、GPSを利用することも出来る。GPSとしては、単独測位法のほかRTK−OTFやDGPSなどの方法も採用することもできる。位置計測手段2として単独測位GPSを利用した場合、図2に示すように、位置計測手段2はアンテナ部2aとレシーバ部2bで構成される。
画像取得手段3は、太陽Sを含む画像を取得するものであり、デジタルカメラやデジタルビデオを利用することができる。画像取得手段3に用いられるレンズは広角のもの(望ましくは画角120〜180°のもの)が適し、超広角レンズや円周魚眼レンズを採用したいわゆる天頂カメラを採用することが望ましい。また画像取得手段3としてデジタルカメラやデジタルビデオを利用する場合、取得される画像の画素数が300万〜1,000万程度、フレームレートが15〜30fps程度のものとすることが望ましいが、もちろんこのような規格に限定されるものではない。
記憶手段4は、位置計測手段2によって計測された移動体1の位置情報(移動体位置データ)と、画像取得手段3によって取得した画像情報(画像データ)とを記憶するものである。なお、移動体位置データはその計測時刻情報(計測時刻データ)と紐づいて記憶され、画像データはその画像取得時刻情報(画像取得時刻データ)と紐づいて記憶されることが望ましく、これらを関連付けるデータベースを記憶手段4に構築することもできる。
演算処理手段5は、移動体1の姿勢を決定するための一連の演算処理を行うものであり、具体的には、この演算処理を実行するためのプログラムを格納するRAM(他の記憶媒体でも可)や、当該プログラムを実行するCPUなどを搭載したコンピュータ(電子計算機)である。このプログラムを実行する際には、記憶手段4に記憶された移動体位置データ、計測時刻データ、画像データ、画像取得時刻データが、記憶手段4から読み込まれ、これらを利用して計算処理が実行される。
前述したとおり、ここでいう任意座標系とは、移動体1の姿勢に合わせた座標系のことであり、図2や図3に示すようにそれぞれ直交する、xn軸(移動体1の左右方向)、yn軸(移動体1の進行方向)、zn軸(移動体1の上下方向)、で表される。また、任意座標系の原点(xn軸、yn軸、zn軸が交わる点)は、画像取得手段3で画像を取得した位置(以下、「画像取得位置」という。)、つまり画像取得手段3の設置位置に設けられる。このように、任意座標系の原点は移動体1とともに移動し、各座標軸は移動体1の姿勢に合わせてその向きを変えるものであり、移動体1から見ると任意座標系の原点と各座標軸は固定されているが、後述する絶対座標系から見るとこれらは変化するもので、任意座標系はいわば相対的な座標系である。
図4(a)は任意座標系において画像取得位置(座標原点O)から太陽Sを見たときの太陽Sの角度θを示すモデル図であり、図4(b)は画像中における太陽位置を示す説明図である。移動中の移動体1の姿勢が未知であれば、移動体1上では水平面を認識することができず、太陽Sの高度(水平面となす角)を把握することができない。よって移動体1上で太陽Sの仰角を把握するには、原点と太陽Sを結ぶ直線と、任意座標系のyn軸−zn軸からなる平面と、挟角を求めることとなる。この挟角を求める手段は種々あるが、ここでは図4(a)に示すように、原点と太陽Sを結ぶ直線と、任意座標系のzn軸との挟角θを求める手段を例に説明する。
前述したとおり、ここでいう絶対座標系とは、水平面と鉛直軸からなるものであり、詳しくは、水平面を構成するXa軸とYa軸、鉛直軸であるZa軸の3軸で構成される。なお、Xa軸は東西方向であって東向きを正、Ya軸は南北方向であって北向きを正、Za軸は上向きを正としている。この絶対座標系も、任意座標系と同様、その原点(Xa軸、Ya軸、Zaが交わる点)は、画像取得手段3で画像を取得した位置である「画像取得位置」に設けられ、すなわち位置計測手段2によって取得された移動体1の位置情報(座標や、緯度・経度・標高)が原点Oとされる。このように絶対座標系の原点は移動体1とともに移動するものの、各座標軸は移動体1の姿勢にかかわらず常に一定(東西方向、南北方向、鉛直方向)である。
地球が自転し、太陽の周囲を公転していることを考えれば、日時と位置(緯度・経度や座標)を与えれば、その位置における太陽高度とその方位は理論上計算によって求めることができる。この算出式は、種々のものが公知であり、以下にその一例を示す。
A.元旦からの通し日数dnに基づいて定めるθo
θo=2π(dn−1)/365
B.求める日の太陽赤緯δ
δ=0.006918−0.399912cos(θo)+0.070257sin(θo)−0.006758cos(2θo)+0.000907sin(2θo)−0.002697cos(3θo)+0.001480sin(3θo)
C.地心太陽距離r/r*
r/r*=1/{1.000110+0.034221cos(θo)+0.001280sin(θo)+0.000719cos(2θo)+0.000077sin(2θo)}0.5
D.均時差Eq
Eq=0.000075+0.001868cos(θo)−0.032077sin(θo)−0.014615cos(2θo)−0.040849sin(2θo)
E.太陽の時角h
h=(JST−12)π/12+標準子午線からの経度差+均時差(Eq)
ただし、JST:日本標準時間
F.太陽方位ψ
ψ=arcsin{sin(φ)sin(δ)+cos(φ)cos(δ)cos(h)}
G.太陽高度η
η=arctan[cos(φ)cos(δ)sin(h)/{sin(φ)sin(α)−sin(δ)}]
図1に示すように、移動している移動体1の方位は、位置計測手段2で計測した位置情報から算出することができる。具体的には、図1で示す第1の地点P1で計測した位置情報(X1,Y1,Z1)と、移動後の第2の地点P2で計測した位置情報(X2,Y2,Z2)を用いて移動体1の進行方向の方位を計算する。なお、位置計測手段2で取得される座標は、任意座標系のものでも、絶対座標系のものでもなく、数学座標系や世界測地系など通常利用される座標系におけるものである。よって、位置情報のうち平面座標である(X1,Y1)と(X2,Y2)を用いれば、水平面上での2点間の方位を求めることができる。このように、移動中の2点で位置情報を取得すればその間の進行方向を方位として表すことができるが、2点に限らず、3点以上取得して移動中の方位を計算することもできる。この方位計算は、演算処理手段5によって行われる。
前述したとおり、画像取得位置とは、画像取得手段3で画像を取得した位置であり、画像取得した時点における画像取得手段3の設置位置である。画像取得位置は、演算処理手段5によって算出され、位置計測手段2で計測した位置情報に基づいて計算される。具体的には、記憶手段4から画像取得時刻データを読み込むとともに、画像取得時刻の前後の計測時刻データを読み込み、さらにこれらの計測時刻に計測された位置情報(移動体位置データ)を読み込んで、画像取得時刻における位置情報すなわち画像取得位置を計算する。なお厳密には、ここで計算されるのは位置計測手段2(アンテナ部2a)の位置であるが、画像取得手段3とアンテナ部2aは十分接近しているので、これらの離隔は無視することができる。
計測ベクトルVmと基準ベクトルVcは、両者とも画像取得位置から太陽Sまで結ぶベクトルなので、本来ならば一致するはずであるが、図5(a)(b)に示すように、任意座標系で表される計測ベクトルVmと、絶対座標系で表される基準ベクトルVcとは、それぞれ方向が異なっている。これは、移動体1の姿勢に起因するためである。つまり、移動体1の姿勢に対応する任意座標系の各座標軸が、絶対座標系の各座標軸に対して傾いているためであり、換言すれば、任意座標系における計測ベクトルVmの方向余弦Lm,Mm,Nmと、絶対座標系における基準ベクトルVcの方向余弦Lc,Mc,Ncが、異なるためである。
Lm1=Lm0・cosκ’−Mm0・sinκ’
Mm1=Lm0・sinκ’+Mm0・cosκ’
Nm1=Nm0
Lm2=Lm1
Mm2=Mm1・cosφ’−Nm1・sinφ’
Nm2=Mm1・sinφ’+Nm1・cosφ’
Lm3=Lm2・cosω’−Nm2・sinω’
Mm3=Mm2
Nm3=Lm2・sinω’+Nm2・cosω’
Lm3=[Lm0・cosκ’−Mm0・sinκ’]・cosω’−[(Lm0・sinκ’+Mm0・cosκ’)・sinφ’+Nm0・cosφ’]・sinω’
Mm3=[Lm0・sinκ’+Mm0・cosκ’]・cosφ’−Nm0・sinφ’
Nm3=[Lm0・cosκ’−Mm0・sinκ’]・sinω’+[(Lm0・sinκ’+Mm0・cosκ’)・sinφ’+Nm0・cosφ’]・cosω’
上記のとおり決定された移動体1の姿勢は、空中写真測量やレーザー計測など航空機によって計測を実施する場合に、撮影方向やレーザーの照射方向を把握する点に用いることができるほか、図2に示すように、外部出力端子8を設け、リアルタイムで外部装置を制御することもできる。ここで外部装置とは、例えば移動体1の運行姿勢を制御する装置であり、あるいは移動体1に積載した荷物等の姿勢を制御する装置などである。
2 位置計測手段
2a (位置計測手段の)アンテナ部
2b (位置計測手段の)レシーバ部
3 画像取得手段
4 記憶手段
5 演算処理手段
6 減光フィルタ
7 プラットフォーム
8 外部出力端子
S 太陽
Xa (絶対座標系の)x軸
Ya (絶対座標系の)y軸
Za (絶対座標系の)x軸
xn (任意座標系の)x軸
yn (任意座標系の)y軸
zn (任意座標系の)x軸
Vc 基準ベクトル
Lc (基準ベクトルとXa軸の)方向余弦
Mc (基準ベクトルとYa軸の)方向余弦
Nc (基準ベクトルとZa軸の)方向余弦
Vm 計測ベクトル
Lm (計測ベクトルとxn軸の)方向余弦
Mm (計測ベクトルとyn軸の)方向余弦
Nm (計測ベクトルとzn軸の)方向余弦
Claims (6)
- 移動中の移動体の姿勢を決定する方法であって、
前記移動体に搭載された位置計測手段によって、移動中に2回以上、移動体位置を計測し、
前記移動体に搭載された画像取得手段によって、移動中に、太陽を含む画像を取得するとともに、画像を取得した画像取得時刻を取得し、
計測された2以上の前記移動体位置に基づいて、前記移動体の移動方位を算出し、
計測された前記移動体位置に基づいて、画像を取得したときの移動体の位置である画像取得位置を求め、
前記画像の輝度に基づいて画像中における太陽位置を抽出し、
移動体の姿勢に合わせた座標軸であって前記画像取得位置を原点とする任意座標系を設けるとともに、前記画像中の太陽位置に基づいて、当該任意座標系の原点から太陽に向かう計測ベクトルを求め、
水平面と鉛直軸からなる座標軸であって前記画像取得位置を原点とする絶対座標系を設けるとともに、前記画像取得位置と前記画像取得時刻に基づいて、当該絶対座標系の原点から太陽に向かう基準ベクトルを求め、
前記計測ベクトルと基準ベクトルとを合わせるとともに、前記任意座標軸と絶対座標軸の角度差と、前記算出された移動体の移動方位と、に基づいて、移動体の姿勢を算出することを特徴とする移動体姿勢の決定方法。 - 請求項1記載の移動体姿勢の決定方法において、
位置計測手段によって、移動体位置を計測するとともに、その計測時刻を取得し、
計測された前記移動体位置と、その計測時刻及び画像取得時刻と、に基づいて、画像取得位置を算出することを特徴とする移動体姿勢の決定方法。 - 移動中の移動体の姿勢を決定するプログラムであって、
前記移動体に搭載された位置計測手段によって移動中に計測された、2以上の移動体位置を読み込む機能と、
前記移動体に搭載された画像取得手段によって移動中に取得された太陽を含む画像と、画像を取得した画像取得時刻と、を読み込む機能と、
前記2以上の移動体位置に基づいて、移動体の移動方位を算出する機能と、
前記移動体位置に基づいて、画像を取得したときの移動体の位置である画像取得位置を求める機能と、
前記画像の輝度に基づいて、画像中における太陽位置を抽出する機能と、
移動体の姿勢に合わせた座標軸であって前記画像取得位置を原点とする任意座標系を設けるとともに、前記画像中の太陽位置に基づいて、当該任意座標系の原点から太陽に向かう計測ベクトルを求める機能と、
水平面と鉛直軸からなる座標軸であって前記画像取得位置を原点とする絶対座標系を設けるとともに、前記画像取得位置と前記画像取得時刻に基づいて、当該絶対座標系の原点から太陽に向かう基準ベクトルを求める機能と、
前記計測ベクトルと基準ベクトルとを合わせるとともに、前記任意座標軸と絶対座標軸の角度差と、前記算出された移動体の移動方位と、に基づいて、移動体の姿勢を算出する機能と、をコンピュータに実行させることを特徴とする移動体姿勢の決定プログラム。 - 請求項3記載の移動体姿勢の決定プログラムにおいて、
位置計測手段によって移動中に計測された計測時刻を、読み込む機能と、
移動体位置と、その計測時刻及び画像取得時刻と、に基づいて、画像取得位置を求める機能と、をコンピュータに実行させることを特徴とする移動体姿勢の決定プログラム。 - 移動中の移動体の姿勢を決定する装置であって、
前記移動体に搭載され、移動中に太陽を含む画像を取得し、その画像を取得した画像取得時刻を取得し得る、画像取得手段と、
前記移動体に搭載され、移動中に移動体位置を計測し得る、位置計測手段と、
前記画像と、前記画像取得時刻と、前記移動体位置と、を記憶する記憶手段と、
前記記憶手段から、前記画像と前記画像取得時刻と前記移動体位置と、を読み込んで演算処理を行う演算処理手段と、を備え、
前記演算処理手段は、
2以上の前記移動体位置に基づいて、前記移動体の移動方位を計算するとともに、前記画像を取得したときの移動体の位置である画像取得位置を計算し、
前記画像の輝度に基づいて画像中における太陽位置を抽出し、
移動体の姿勢に合わせた座標軸であって前記画像取得位置を原点とする任意座標系を設けるとともに、前記画像中の太陽位置に基づいて、当該任意座標系の原点から太陽に向かう計測ベクトルを計算し、
水平面と鉛直軸からなる座標軸であって前記画像取得位置を原点とする絶対座標系を設けるとともに、前記画像取得位置と前記画像取得時刻に基づいて、当該絶対座標系の原点から太陽に向かう基準ベクトルを計算し、
前記計測ベクトルと基準ベクトルとを合わせるとともに、前記任意座標軸と絶対座標軸の角度差と、前記算出された移動体の移動方位と、に基づいて、移動体の姿勢を計算することを特徴とする移動体姿勢の決定装置。 - 請求項5記載の移動体姿勢の決定装置において、
位置計測手段は、計測された計測時刻を取得し、
記憶手段は、前記計測時刻を記憶し、
演算処理手段は、記憶手段から前記計測時刻を読み込んで、移動体位置と、その計測時刻及び画像取得時刻と、に基づいて、画像取得位置を計算することを特徴とする移動体姿勢の決定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011026843A JP5761554B2 (ja) | 2011-02-10 | 2011-02-10 | 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011026843A JP5761554B2 (ja) | 2011-02-10 | 2011-02-10 | 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012167940A true JP2012167940A (ja) | 2012-09-06 |
JP5761554B2 JP5761554B2 (ja) | 2015-08-12 |
Family
ID=46972263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011026843A Active JP5761554B2 (ja) | 2011-02-10 | 2011-02-10 | 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5761554B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020530104A (ja) * | 2018-07-05 | 2020-10-15 | キム、テヒ | 3次元傾き感知装置及びこれを用いた傾き感知方法 |
WO2023146092A1 (ko) * | 2022-01-25 | 2023-08-03 | 삼성전자주식회사 | 영상 기반 관성 센서 보정 방법 및 이를 수행하는 전자 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10281780A (ja) * | 1997-04-07 | 1998-10-23 | Toshiba Corp | 月・惑星走行車両位置計測システム |
US7805244B2 (en) * | 2006-05-30 | 2010-09-28 | Inha University | Attitude correction apparatus and method for inertial navigation system using camera-type solar sensor |
-
2011
- 2011-02-10 JP JP2011026843A patent/JP5761554B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10281780A (ja) * | 1997-04-07 | 1998-10-23 | Toshiba Corp | 月・惑星走行車両位置計測システム |
US7805244B2 (en) * | 2006-05-30 | 2010-09-28 | Inha University | Attitude correction apparatus and method for inertial navigation system using camera-type solar sensor |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020530104A (ja) * | 2018-07-05 | 2020-10-15 | キム、テヒ | 3次元傾き感知装置及びこれを用いた傾き感知方法 |
JP6989829B2 (ja) | 2018-07-05 | 2022-01-12 | キム、テヒ | 3次元傾き感知装置及びこれを用いた傾き感知方法 |
WO2023146092A1 (ko) * | 2022-01-25 | 2023-08-03 | 삼성전자주식회사 | 영상 기반 관성 센서 보정 방법 및 이를 수행하는 전자 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP5761554B2 (ja) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110057352B (zh) | 一种相机姿态角确定方法及装置 | |
US10147201B2 (en) | Method of determining a direction of an object on the basis of an image of the object | |
AU2003244321B8 (en) | Picked-up image display method | |
US10048084B2 (en) | Star tracker-aided airborne or spacecraft terrestrial landmark navigation system | |
US8085308B2 (en) | Image correction device, method, integrated circuit and system for correcting images captured by a camera provided in a moving object | |
US11906983B2 (en) | System and method for tracking targets | |
JP2008186145A (ja) | 空撮画像処理装置および空撮画像処理方法 | |
JP2008304260A (ja) | 画像処理装置 | |
CN104764443B (zh) | 一种光学遥感卫星严密成像几何模型构建方法 | |
CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
CN106468552A (zh) | 一种基于机载光电平台的双机交会定位方法 | |
US20170074678A1 (en) | Positioning and orientation data analysis system and method thereof | |
CN106595668A (zh) | 一种用于光电吊舱的无源定位算法 | |
CN110926468A (zh) | 基于传递对准的动中通天线多平台航姿确定方法 | |
CN108627142A (zh) | 一种结合离线高程和机载光电吊舱的目标定位方法 | |
CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
CN110779514B (zh) | 面向仿生偏振导航辅助定姿的分级卡尔曼融合方法及装置 | |
CN108801225A (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
US20140105458A1 (en) | Method for remotely determining an absolute azimuth of a target point | |
JP5761554B2 (ja) | 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置 | |
CN110887477B (zh) | 一种基于偏振北极点及偏振太阳矢量的自主定位方法 | |
CN112833878A (zh) | 近地面多源天文自主导航方法 | |
Li et al. | Adaptively robust filtering algorithm for maritime celestial navigation | |
CN110887475B (zh) | 一种基于偏振北极点及偏振太阳矢量的静基座粗对准方法 | |
US11415990B2 (en) | Optical object tracking on focal plane with dynamic focal length |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5761554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |