JP2013193825A - クレーン作業監視装置 - Google Patents
クレーン作業監視装置 Download PDFInfo
- Publication number
- JP2013193825A JP2013193825A JP2012061464A JP2012061464A JP2013193825A JP 2013193825 A JP2013193825 A JP 2013193825A JP 2012061464 A JP2012061464 A JP 2012061464A JP 2012061464 A JP2012061464 A JP 2012061464A JP 2013193825 A JP2013193825 A JP 2013193825A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- target position
- image
- camera
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C15/00—Safety gear
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
【解決手段】本発明のクレーン作業監視装置は、ブーム16の先端近傍部分に設けられた監視カメラ30と、表示画面24aに監視カメラ30により撮像された画像を表示するモニタ24と、監視カメラ30により第1画像と第2画像とを撮像しかつ第1画像を用いて取得した目標位置の情報を処理して第2画像中に重畳して表示する処理部26とを備えている。
【選択図】 図3
Description
以下に、本発明に係るクレーン作業監視装置の実施例を図面を参照しつつ説明する。
図1は本発明の実施例に係る移動式クレーン作業車の側面図を示している。まず、移動式クレーン作業車の概要を説明する。
この図1において、符合10は移動式クレーン作業車としてのラフテレーンクレーン(以下、クレーン10という)を示している。
このクレーン10は、車両本体部としてのキャリア11、アウトリガ12、13、旋回台14、キャビン20、ブラケット15、伸縮ブーム16その他の構成要素を有する。
ここでは、図2に模式的に示すように、監視カメラ30のチルト方向は、伸縮ブーム16の伸縮方向と鉛直方向とを含む平面PL(ZY平面)内で光軸Oが傾動する方向であり、監視カメラ30のパン方向とは、平面PLと直交する平面PL’(ZX平面)と平行な平面内で光軸Oが傾動する方向である。
図3はクレーン作業監視装置の制御ブロック図である。図1に示すキャビン20には、図3に示す操作部22、23、モニタ24が設けられている。操作部22はクレーンコントローラ25の一部を構成している。そのクレーンコントローラ25は、操作部22の操作指令に基づき、伸縮ブーム16の起伏制御、旋回台14の旋回制御、伸縮ブーム16の伸縮制御、アウトリガ12、13の張り出し制御、伸縮ブーム16の反力検出、実荷重演算、負荷率演算、伸縮ブーム16の起伏角度θ、旋回台14の旋回角度φ、伸縮ブーム16の伸縮長Lの制御、その他の制御を行う。
まず、目標位置を含む第1画像が監視カメラ30によって撮像されているものとする。また、この第1画像がモニタ24の表示画面24a上に表示されて、その第1画像の任意の位置が目標位置として特定されているものとする。
その目標位置方向マークの表示画面24a上への表示は、スクリーン座標系と地上座標系とを一対一に対応づけることによって行うことができる。
例えば、表示画面24aのスクリーン座標系で表された画像の各点を地上座標系の座標値に対応づけるために、まず、監視カメラ30により撮像された目標位置を含む画像を第1画像として表示画面24a上に表示する。この表示画面24aに表示された第1画像の任意の位置を目標位置としてスクリーン座標系の座標値を用いて特定する。
以下、説明の便宜のため、図4ないし図7を用いて地上座標系、カメラ座標系、及びこれらの座標系の関係を説明した後、画像処理部26a、目標位置演算部26b、座標値変換部26c、生成部26d、重畳部26eの機能を説明する。
なお、ここでは、地上座標系は、吊り荷の高さを所定の高さとする水平面上での座標系を構成することにしたが、本発明は、これに限られるものではなく、所定の高さは地面上の高さでも良い。
すなわち、現在の監視カメラ30の位置、監視カメラ30の向き、画角によって、カメラ座標系の点を地上座標系の座標値として対応づけることができる。
そこで、図10に示す伸縮ブーム16の現在位置において、監視カメラ30の光軸Oが鉛直下方に向いた状態から監視カメラ30をパンチルト方向に回動させて、図9(d)に示すように、吊り荷Wgの像(第1画像)Wg’を取得する。
スクリーン座標系の画面中心の座標値は、既述したように、(X0/2、Y0/2)であるので、カメラ座標系の原点Cxy(0、0)は、Cxy=(X0/2、Y0/2)の式により求めることができる。
x1’=x1+X0/2、y1’=y1+Y0/2の関係があるので、
カメラ座標系の目標位置の座標値(x1、y1)は(x1=x1’−X0/2、y1=y1’−Y0/2)の式により求めることができる。
吊り荷Wgの地上座標系の座標値(Wx、Wy)は、カメラ座標系の原点Cx(0、0)を用いて定義されたカメラ座標系の四隅の点の座標値に対するカメラ座標系の座標値(x1、y1)の比と、カメラ座標系の撮像領域に四隅の点に対応する地上座標系の四隅の点の座標値と、カメラ座標系の原点Cxy(0、0)に対応する地上座標系の座標値とを用いて求めることができる。
また、吊り荷Wgに例えば十字マーク等の認識マークを付して、この十字マークを画像認識手段により画像認識して、座標値(x1’、y1’)を取得しても良い。
以下、この実施例に係るクレーン作業監視装置の操作方法を説明しつつ、処理部26の機能を説明することとする。
伸縮ブーム16が、図10に示す現在位置にあるものとして、かつ、監視カメラ30を鉛直下方に向けた状態で、表示画面24aに、図13(a)に示すように、フック21の像(第2画像)21’が映し出されているものとする。オペレータが、操作部23を操作して、図10に示すように、監視カメラ30をX軸方向、Y軸方向にパン・チルトさせると、画像処理部26aの処理により、表示画面24aには、図13(b)に示すように、吊り荷Wgの像(第1画像)Wg’が映し出される。
すなわち、目標位置演算部26bは、ブーム先端の第1位置及び監視カメラ30の光軸Oの第1の向き及び画角におけるスクリーン座標系の目標位置の座標値を地上座標系の目標位置の座標値に対応づける役割を果たす。
座標値変換部26cは、目標位置演算部26bにより求められたカメラ座標系の目標位置の座標値(x1、y1)を地上座標系の座標値((Wx=H×tanθx、Wy=R+H×tanθy))に変換する。
すなわち、座標値変換部26cは、スクリーン座標系の座標値を地上から所定の高さにおける平面位置の地上座標系の座標値に対応づける役割を果たす。
すなわち、生成部26dは、地上座標系に対応づけられた目標位置の座標値によりブーム先端の第2位置及び監視カメラ30の光軸Oの第2の向き及び画角におけるスクリーン座標系の目標位置に対応づけ、そのブーム先端の第2位置及び監視カメラ30の光軸Oの第2の向き及び画角におけるスクリーン座標系の基準点に対する目標位置の情報をスクリーン座標系の座標位置に対応づけて生成する役割を果たす。
目標位置に近づいて来て、撮像している画像内に目標位置が入った場合には、目標位置マークAr”に替えて、目標位置に目標となる「十字」等のマークを表示しても良い。
また、目標位置にフックの位置が近づいてきた場合には、目標位置情報の重畳表示に加えて、例えば、音声により「目標位置まであと10mです」とのアナウンスをしても良いし、あるいは、例えば、「ピッ、ピッ、」等の警告音を発生させ、目標位置が近づくに伴って、この警告音の発生間隔を短くする等、聴覚的に目標位置情報を知覚させる構成を採用しても良い。更に、目標位置は障害物の位置であっても良く、この場合には、「障害物まであと10mです」とのアナウンスをすれば良い。
加えて、目標位置に近づいた場合には、目標位置の重畳表示に加えて、フックの移動速度を減速又は停止する制御を行う構成としても良い。
以上の実施例では、伸縮ブーム16の姿勢を維持した状態で、監視カメラ30をパン・チルト方向に回動させて、監視カメラ30に吊り荷Wgを映し込み、吊り荷Wgが存在する方向(伸縮ブーム16に対して目標位置が存在する方向)を取得することとして説明した。
すなわち、監視カメラ30の光軸Oを、目標位置を含む画像を取得するための第1の向きと、目標位置を含む画像が含まれていない画像を取得するための第2の向きとの間で変更する構成として説明した。
その図15は監視カメラ30のズーム倍率が大きい場合に対応し、図16は監視カメラ30のズーム倍率が小さい場合に対応している。従って、所定のズーム倍率を基準にして、監視カメラ30に目標位置が映し出されていない場合には、ズーム倍率を縮小することにより、監視カメラ30による撮影領域ωxyを拡大して(撮影画角ωx、ωyを拡大して)、目標位置を取得する。
この場合、監視カメラ30の画角は、目標位置を含む画像を取得するための第1の画角と目標位置を含む画像が含まれていない画像を取得するための第2の画角との間で変更される。
以上説明したように、ブーム先端の第1の位置及び第2の位置と、光軸Oの第1の向き及び第2の向きと、第1の画角と第2の画角とのうち、その少なくとも一つは同一の位置、同一の向き、同一の画角であっても良い。
これにより、伸縮ブーム16を起伏、伸張させなくとも、監視カメラ30の光軸Oを鉛直下方に保った状態で、目標位置を取得できる。
処理部26は、伸縮ブーム16の先端部分から目標位置までの距離を演算して、モニタ24の表示画面24aに表示する構成としても良い。
(その変形例3)
複雑形状の吊り荷Wgの場合、図17に示すように、表示画面24aに映っている吊り荷Wgの像Wg’の輪郭線LLに沿って、吊り荷Wgの輪郭が概略特定できる個数の特定点m1〜m5を表示画面上でタッチして指定し、処理部26が吊り荷Wgの重心位置を演算により求め、この演算により求めた重心位置を表示画面24a上にマークGを用いて表示させる構成としても良い。
このように構成すれば、オペレータは表示画面24a上のマークGを目標位置として伸縮ブーム16を移動させることにより、安定して吊り荷Wgを吊下することができ、作業性が向上する。
24…モニタ
24a…表示画面
26…処理部
26b…目標位置演算部
26c…座標値変換部
30…監視カメラ
O…光軸
Ar”…目標位置方向マーク
Claims (6)
- ブームの先端近傍部分に設けられた監視カメラと、表示画面に前記監視カメラにより撮像された画像を表示するモニタと、前記監視カメラにより第1画像と第2画像とを撮像し、前記第1画像を用いて取得した目標位置の情報を処理して前記第2画像中に重畳して表示する処理部と、を備えていることを特徴とするクレーン作業監視装置。
- 前記表示画面には、スクリーン座標系による座標値が定義され、前記処理部は、更に、前記スクリーン座標系の座標値を地上から所定の高さにおける平面位置の地上座標系の座標値に対応づける座標値変換部と、前記ブーム先端の第1位置及び前記監視カメラの光軸の第1の向き及び第1の画角におけるスクリーン座標系の目標位置の座標値を前記地上座標系の目標位置の座標値として対応づける目標位置演算部と、前記地上座標系に対応づけられた目標位置の座標値により前記ブーム先端の第2位置及び前記監視カメラの光軸の第2の向き及び第2の画角におけるスクリーン座標系の目標位置を対応づけ、前記第2位置及び前記監視カメラの前記光軸の第2の向き及び前記画角におけるスクリーン座標系の基準点に対する目標位置の情報を前記スクリーン座標系の座標位置に対応づけて生成する生成部と、該生成部により生成された目標位置の情報を前記監視カメラにより撮像された画像に重畳する重畳部とを備えていることを特徴とする請求項1に記載のクレーン作業監視装置。
- 前記目標位置の取得は、前記表示画面上の目標位置を指定する目標位置指定手段により取得されることを特徴とする請求項1に記載のクレーン作業監視装置。
- 前記目標位置の取得は、前記表示画面上の目標位置に存在する目標対象を画像認識手段により取得することを特徴とする請求項1に記載のクレーン作業監視装置。
- 前記処理部は、前記地上座標系における前記基準点の座標値と前記目標位置の座標値とにより前記基準点から前記目標位置までの距離を演算し、前記距離の数字を前記表示画面に前記目標位置の情報を示すマークと共に表示することを特徴とする請求項1ないし請求項4のいずれか1項に記載のクレーン作業監視装置。
- 前記ブーム先端の第1の位置及び第2の位置と、前記光軸の第1の向き及び第2の向きと、前記第1の画角と前記第2の画角とのうち、その少なくとも一つは同一の位置、同一の向き、同一の画角であることを特徴とする請求項2に記載のクレーン作業監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061464A JP5971994B2 (ja) | 2012-03-19 | 2012-03-19 | クレーン作業監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012061464A JP5971994B2 (ja) | 2012-03-19 | 2012-03-19 | クレーン作業監視装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013193825A true JP2013193825A (ja) | 2013-09-30 |
JP2013193825A5 JP2013193825A5 (ja) | 2015-05-07 |
JP5971994B2 JP5971994B2 (ja) | 2016-08-17 |
Family
ID=49393247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012061464A Active JP5971994B2 (ja) | 2012-03-19 | 2012-03-19 | クレーン作業監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5971994B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015133907A1 (en) * | 2014-03-04 | 2015-09-11 | Nmi Holding As | Method for use of a camera for surveillance of a work area and a crane provided with a camera |
WO2017164781A1 (en) * | 2016-03-23 | 2017-09-28 | Cargotec Patenter Ab | Load handling assembly |
EP3323767A1 (en) * | 2016-11-22 | 2018-05-23 | Manitowoc Crane Companies, LLC | Optical detection system for lift crane |
WO2019172413A1 (ja) * | 2018-03-09 | 2019-09-12 | 株式会社タダノ | クレーン |
JP2019206424A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社三井E&Sマシナリー | クレーンの制御システム及び制御方法 |
US10544012B2 (en) | 2016-01-29 | 2020-01-28 | Manitowoc Crane Companies, Llc | Visual outrigger monitoring system |
WO2020144762A1 (ja) * | 2019-01-09 | 2020-07-16 | 三菱電機株式会社 | モータ制御装置 |
EP3822222A4 (en) * | 2018-07-10 | 2022-04-20 | Tadano Ltd. | CRANE |
CN115273268A (zh) * | 2022-07-27 | 2022-11-01 | 中建三局集团有限公司 | 基于塔机搭载变焦相机的大场景工地巡检方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5241349A (en) * | 1975-09-26 | 1977-03-30 | Japanese National Railways<Jnr> | Method of positioning a spreader for automatic container loading syste m |
JPH0624680A (ja) * | 1992-07-08 | 1994-02-01 | Toshio Inoue | クレーン用監視カメラ装置 |
JPH07137982A (ja) * | 1993-11-15 | 1995-05-30 | Ohbayashi Corp | クレーンのテレビモニター装置 |
JPH0971387A (ja) * | 1995-09-05 | 1997-03-18 | Tadano Ltd | クレーン車における吊荷位置表示装置 |
JPH09110369A (ja) * | 1995-10-18 | 1997-04-28 | Ohbayashi Corp | クレーンの操縦支援モニタシステム |
JP2005219932A (ja) * | 2005-04-27 | 2005-08-18 | Kato Works Co Ltd | クレーン吊荷操作表示装置 |
JP2007015814A (ja) * | 2005-07-07 | 2007-01-25 | Mitsubishi Electric Corp | 機器搬入出システム |
JP2011207571A (ja) * | 2010-03-30 | 2011-10-20 | Tadano Ltd | クレーンの制御装置及びクレーン |
-
2012
- 2012-03-19 JP JP2012061464A patent/JP5971994B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5241349A (en) * | 1975-09-26 | 1977-03-30 | Japanese National Railways<Jnr> | Method of positioning a spreader for automatic container loading syste m |
JPH0624680A (ja) * | 1992-07-08 | 1994-02-01 | Toshio Inoue | クレーン用監視カメラ装置 |
JPH07137982A (ja) * | 1993-11-15 | 1995-05-30 | Ohbayashi Corp | クレーンのテレビモニター装置 |
JPH0971387A (ja) * | 1995-09-05 | 1997-03-18 | Tadano Ltd | クレーン車における吊荷位置表示装置 |
JPH09110369A (ja) * | 1995-10-18 | 1997-04-28 | Ohbayashi Corp | クレーンの操縦支援モニタシステム |
JP2005219932A (ja) * | 2005-04-27 | 2005-08-18 | Kato Works Co Ltd | クレーン吊荷操作表示装置 |
JP2007015814A (ja) * | 2005-07-07 | 2007-01-25 | Mitsubishi Electric Corp | 機器搬入出システム |
JP2011207571A (ja) * | 2010-03-30 | 2011-10-20 | Tadano Ltd | クレーンの制御装置及びクレーン |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015133907A1 (en) * | 2014-03-04 | 2015-09-11 | Nmi Holding As | Method for use of a camera for surveillance of a work area and a crane provided with a camera |
US10544012B2 (en) | 2016-01-29 | 2020-01-28 | Manitowoc Crane Companies, Llc | Visual outrigger monitoring system |
WO2017164781A1 (en) * | 2016-03-23 | 2017-09-28 | Cargotec Patenter Ab | Load handling assembly |
US10829347B2 (en) | 2016-11-22 | 2020-11-10 | Manitowoc Crane Companies, Llc | Optical detection system for lift crane |
US10717631B2 (en) | 2016-11-22 | 2020-07-21 | Manitowoc Crane Companies, Llc | Optical detection and analysis of crane hoist and rope |
EP3323767A1 (en) * | 2016-11-22 | 2018-05-23 | Manitowoc Crane Companies, LLC | Optical detection system for lift crane |
US11124392B2 (en) | 2016-11-22 | 2021-09-21 | Manitowoc Crane Companies, Llc | Optical detection and analysis for boom angles on a crane |
US11130658B2 (en) | 2016-11-22 | 2021-09-28 | Manitowoc Crane Companies, Llc | Optical detection and analysis of a counterweight assembly on a crane |
JP2019156533A (ja) * | 2018-03-09 | 2019-09-19 | 株式会社タダノ | クレーン |
WO2019172413A1 (ja) * | 2018-03-09 | 2019-09-12 | 株式会社タダノ | クレーン |
JP2019206424A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社三井E&Sマシナリー | クレーンの制御システム及び制御方法 |
EP3822222A4 (en) * | 2018-07-10 | 2022-04-20 | Tadano Ltd. | CRANE |
WO2020144762A1 (ja) * | 2019-01-09 | 2020-07-16 | 三菱電機株式会社 | モータ制御装置 |
CN115273268A (zh) * | 2022-07-27 | 2022-11-01 | 中建三局集团有限公司 | 基于塔机搭载变焦相机的大场景工地巡检方法 |
CN115273268B (zh) * | 2022-07-27 | 2023-05-19 | 中建三局集团有限公司 | 基于塔机搭载变焦相机的大场景工地巡检方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5971994B2 (ja) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5971994B2 (ja) | クレーン作業監視装置 | |
US9667923B2 (en) | Camera attitude detection device and work region line display device | |
US20150249821A1 (en) | Surrounding information-obtaining device for working vehicle | |
JP6743676B2 (ja) | 遠隔操作端末 | |
JP2016153335A (ja) | 吊荷監視装置 | |
JP2014181509A (ja) | 作業機械用周辺監視装置 | |
CN105320274B (zh) | 直接三维指向的计算系统和追踪指向/输入装置的方法 | |
JP5727207B2 (ja) | 画像監視装置 | |
JP6421451B2 (ja) | カメラ姿勢検出装置 | |
JP6080450B2 (ja) | 監視カメラ装置 | |
JP5917178B2 (ja) | 視覚補助装置 | |
JP6402497B2 (ja) | 高さ検出装置 | |
JP4680033B2 (ja) | 監視システム及び監視装置 | |
JP2016166086A (ja) | 画像表示装置 | |
JP5595822B2 (ja) | 画像生成システム | |
JP2012030948A (ja) | 画像生成システム | |
JP2014183497A (ja) | 作業機械用周辺監視装置 | |
JP5844172B2 (ja) | クレーンシステム | |
JP6391656B2 (ja) | 作業機械用周辺監視装置及び作業機械 | |
JP2019218198A (ja) | 操作支援システム | |
JP2016078142A (ja) | ロボット装置の制御方法、およびロボット装置 | |
JP7024926B2 (ja) | クレーン情報表示システム | |
JP2019023116A (ja) | ガイド情報表示装置、クレーンおよびガイド情報の生成方法 | |
JP2017206952A (ja) | ショベル | |
JPH0846858A (ja) | カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160127 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5971994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |