JP2013517394A - 作業車両または農業用車両における器具の定位のためのシステムおよび方法 - Google Patents

作業車両または農業用車両における器具の定位のためのシステムおよび方法 Download PDF

Info

Publication number
JP2013517394A
JP2013517394A JP2012547985A JP2012547985A JP2013517394A JP 2013517394 A JP2013517394 A JP 2013517394A JP 2012547985 A JP2012547985 A JP 2012547985A JP 2012547985 A JP2012547985 A JP 2012547985A JP 2013517394 A JP2013517394 A JP 2013517394A
Authority
JP
Japan
Prior art keywords
camera
instrument
vehicle
orientation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012547985A
Other languages
English (en)
Other versions
JP6029471B2 (ja
Inventor
マケイン,スティーブン,ダニエル
ブラベッツ,ヴァーノン,ジョセフ
オメルチェンコ,アレクサンドル
Original Assignee
トプコン ポジショニング システムズ, インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トプコン ポジショニング システムズ, インク. filed Critical トプコン ポジショニング システムズ, インク.
Publication of JP2013517394A publication Critical patent/JP2013517394A/ja
Application granted granted Critical
Publication of JP6029471B2 publication Critical patent/JP6029471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80Component parts
    • E02F3/84Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/844Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
    • E02F3/847Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically using electromagnetic, optical or acoustic beams to determine the blade position, e.g. laser beams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning

Abstract

車両上の器具の定位を決定するためのシステムが提供される。本システムは、車両に取り付けられたカメラと、器具に取り付けられた、カメラの視野内の対象物を含む。対象物は、カメラに対して器具の定位の決定を可能にするマーキングを含む。車両上で器具の定位を決定する方法が提供される。器具定位システムが提供される。器具定位システムを設置する方法が提供される。コンピュータで実行可能な命令を内部に記憶したコンピュータ可読媒体が提供される。コンピュータで実行可能な命令は、実行時に器具の定位を決定する方法をプロセッサに実行させる。
【選択図】 図5

Description

本発明は、土木車両および農機具に関する。特に、本発明は、車両上の器具の定位に関する。
土木機械は、道路建設、グレーディング、建築、鉱業などの様々な作業において使用される。農機具は、耕起、播種、散布、収穫などを含む農業に関連する様々な作業に使用される。両方の状況において、3以上の車輪または複数のトレッドを有する車両には、器具を取り付けることができる。器具は、ブレード、スコップ、鍬、鋤、グレーダ(地ならし具)、または任意の他の可能性のある器具であることができる。器具は、1以上の関節アームによって車両に装着することができ、三次元的に回転可能であることができる。したがって、器具の位置および角度は、油圧制御または他の適切な制御機構を使用して、車両内の作業者によって調整できる。
器具の位置と角度は、従来、視覚的判断に基づいて作業者の判断に基づいて決定されてきた。コストを削減し、および/または最終製品の品質を向上させるために、最近、多くの作業において精度を上げる需要が生じてきている。それゆえ、センサーが車両の器具の位置および角度を決定するために利用されてきている。しかしながら、これらのセンサーが操作しなければならないのは極限状況であるので、今までに実現されているのは高い故障率および/または低い精度のものに過ぎない。
全地球測位システム(GPS)は、人および車両を測位するために使用されている。さらに、GPSシステムは、器具の位置情報を提供するために、器具の上に配置されている。しかしながら、GPS関連の繊細な電子機器を器具の上に配置すると、システムの故障や位置情報の精度の低下を引き起こす可能性がある。
したがって、車両上の器具を測位するためのより正確なシステムおよび方法が必要とされている。
車両上の器具の定位を決定するためのシステムが提供される。本システムは、車両に取り付けられたカメラと、カメラの視野内にあり、器具に取り付けられた対象物を含む。対象物は、カメラに対して器具の定位を決定可能にするマーキングを含む。対象物は、球、グレードロッド、または他の適切な物体とすることができる。
車両上の器具の定位を決定する方法が提供される。本方法は、少なくとも1つのカメラによって、少なくとも1つの対象物を検出する工程を含む。対象物は器具に取り付けられ、マーキングを含む。本方法はまた、マーキングの少なくともいくつかを使用して、器具の定位を決定する工程も含む。
器具に取り付けられた少なくとも1つの対象物を検出するための手段と、対象物上のマーキングを用いて、少なくとも1つのカメラに対して少なくとも1つの対象物の中間定位を決定するための手段を含む、器具定位システムが提供される。本方法はまた、対象物の中間定位を用いて、器具の定位を決定するための手段も含む。
器具を有する車両上にカメラを取り付ける工程と、カメラの視野内の器具にマーキングを含む対象物を取り付ける工程を含む、器具定位システムを設置する方法が提供される。本方法はまた、マーキングの少なくともいくつかを用いて、カメラに対する対象物の中間定位を決定することによって、器具の定位を決定するように用いられるプロセッサにカメラを結合する工程も含む。
コンピュータで実行可能な命令を内部に記憶したコンピュータ可読媒体が提供される。コンピュータで実行可能な命令は、実行時に器具の定位を決定する方法をプロセッサに実行させる。
本発明のこれらのおよび他の利点は、以下の詳細な説明および添付図面を参照することによって、当業者に明らかとなるであろう。
本発明の第1の代表的実施形態を示す。 本発明の別の代表的実施形態を示す。
球を用いて器具を定位するためのカメラを模式的に示す。 例示的な定位方法を模式的に示す。
本発明の別の代表的実施形態を示す。 本発明の一実施形態に係るコンピュータのブロック図である。 本発明に係る例示的な方法を示す。
本発明は、器具の上に対象物を配置し、ターゲットに向けたカメラを配置することによって、従来の土木車両および農機具において前述の制限に対処する。ターゲットの画像を評価するプロセッサは、ターゲットまでの距離およびターゲットの定位を決定し、器具の位置および定位を決定するためにその情報を使用する。
本システムは、車両上の運転台または他の位置に取り付けられたカメラを使用することができる。1以上のカメラを使用することができ、1以上のターゲットを器具上に配置することができる。複数のカメラおよび複数のターゲットを使用する場合、各カメラは視野内に1つのターゲットのみを有するようにしてもよく、また各カメラは視野内に配置された複数のターゲット、または全てのターゲットを有するようにしてもよい。本システムおよび本方法は、1つの撮像されたターゲットのみを処理することができ、または複数のターゲットがカメラによって観察される場合、撮像された各ターゲットを処理することができる。カメラは、ターゲット上で1組のマーキングを観察することによって、ターゲットを測位することができる。例えば、ターゲットは、プロセッサが画像から球の定位を決定することを可能にする1組のマーキングを有する球であってもよい。
図4は、球を定位するための方法を模式的に示している。目400は、視線420に沿って地球儀410を見る。目400は、地球儀410の画像430を処理することができる。画像430は、陸地と海洋を表すマーキング440を含むことができる。地球儀または地図を眺めることによって収集された地球の頭の中のイメージと画像430を比較することによって、人は、地球儀410の定位を決定することができる。同様に、車両内のプロセッサは、カメラから見えるマーキングの画像を対象物のマーキングの内部記録と比較することによって、器具上に取り付けられた球またはその他の対象物の定位を決定することができる。さらに、GPSシステムやその他の測位システムによってプロセッサは位置情報を利用してもよい。プロセッサは、GPSレシーバまたはアンテナとカメラとの間の距離に関する記憶情報と共に、器具上の対象物の取り付けに関する情報を、位置と定位の計算を行う際に利用できる。例えば、器具に対する対象物の取り付けの距離および方向は、プロセッサによってアクセス可能な記憶装置内に保存することができる。
本発明の代替の代表的実施形態では、対象物(代わりにターゲットとも呼ばれる)が球、楕円体、棒やグレードロッド、または他の適切な形状であってもよい。対象物は、固体または中空であってもよく、プラスチックまたは金属を含む任意の適切な材料から構成されていてもよい。対象物は、特有の形状、異なる色、またはプロセッサに定位情報を提供することができる特定の形状の配置を含むことが可能なマーキングを有していてもよい。
器具の所望の位置および定位は、車両からの距離および方向のみならず、X軸、Y軸、Z軸を中心とした回転を含むことができる。器具のこれらの回転、距離、および方向の各々は、油圧制御または他の制御機構を使用して車両のオペレータによって操作可能である。さらに、位置および定位を決定するプロセッサは、運転台内のオペレータによって観察されるためのディスプレイに結合することができる、または器具の直接制御が可能である。プロセッサまたは専用制御システムは、記憶されている作業計画内で、および/または記憶されている目標に向かって、直接的または間接的に、車両および器具を指示するように用いることができる。
システム内において、対象物はカメラに対する対象物の定位(本明細書中では中間定位とも呼ばれる)の決定を可能にするマーキングを含む。この中間定位は、対象物から器具までの距離および方向を含む、器具上の対象物の取り付けに関する記憶されている情報を用いて、カメラに対する器具の定位を決定するために、プロセッサによって使用されることができる。第2対象物が使用される場合、カメラに対する第2対象物の第2中間定位が決定されてもよい。
測位システムアンテナは、カメラから固定方向に固定距離で車両に取り付けることができ、測位システムレシーバ/プロセッサは、測位システムアンテナに結合することができる。制御システムは、器具の所望の定位および器具の定位の決定に基づいて、器具の定位を調整するために用いることができる。
測位システムに対して第2固定距離および第2固定定位を有する第2カメラを使用することができる。第2カメラは、対象物を含む第2視野を有することが可能であり、対象物のマーキングは、第2カメラに対して対象物の第3中間定位を決定させることができる。
プロセッサは、測位システムレシーバ/プロセッサおよびカメラに電気的に結合され、マーキングに基づいてカメラに対する対象物の中間定位の決定を行うことができる。プロセッサは、必要に応じて第2および第3中間定位を決定するために用いることができる。プロセッサはさらに、中間定位と、第2および第3中間定位のいずれかまたは全てに基づいて、器具の定位の決定を実行するために用いることができる。
測位システムレシーバ/プロセッサは、世界座標系内の車両位置および車両定位を決定するように用いられる。例えば、使用される座標系は、WGS 84(1984年の世界測地系)であってもよい。カメラに対する対象物の中間定位の決定は、車両座標系内で行ってもよい。換言すると、カメラを車両に固定することができるので、座標系の原点は、車両に対して固定することができ、対象物の定位は、カメラのみならず車両に対しての定位とすることもできる。この場合、器具の定位の決定は、車両座標系内で行うこともできる。車両基準内での器具の定位および世界座標系内での車両の定位の決定により、世界座標系内での器具の更なる定位の決定が可能となる。
データ記憶部は、プロセッサに結合することができる。プロセッサは、データ記憶部に記憶されている対象物の形状および寸法に関連する情報と対象物の画像を比較することによって、カメラから対象物までの距離を決定するために使用することができる。カメラから物体までの距離は、画像内のターゲットのサイズによって決定することができる。記憶されているサイズ情報およびレンズ情報とともに画像サイズ情報を使用して、プロセッサはターゲットまでの距離を決定することができる。あるいはまた、プロセッサは、記憶されている画像ファイルを使用して、それらを画像と比較して、距離を決定することができる。カメラは、対象物から第3固定方向の第3固定距離に器具に取り付けることができる。プロセッサは、プロセッサによって決定されたカメラと対象物の間の距離、第3固定距離、第3固定方向、車両位置、および車両定位に基づいて、器具の位置を決定するために用いることができる。
器具は土木用具であることができ、車両は土木機械であることができる。測位システムレシーバ/プロセッサおよびカメラは、土木機械の運転台に取り付けることができる。
図4と関連して説明されたように、マーキングは異なる形状で、対象物の表面に配置されることができ、異なる形状の少なくともいくつかを識別することによって、定位を決定させることができる。異なる形状は異なるサイズを有し、異なるサイズの少なくともいくつかを識別することによって、定位の決定を可能にできる。マーキングは、対象物の表面に配置された異なる色を含むことができ、異なる色の少なくともいくつかを識別することによって、定位の決定を可能にできる。異なる色は、少なくともいくつかの光反射要素を含むことができ、光反射要素の少なくともいくつかを識別することによって、定位の決定を可能にできる。
図1は本発明の第1の代表的実施形態を示している。車両100は、運転台110と器具120を含む。図1に示される器具120はブレードであるため、車両100はブルドーザーブレードを備えたブルドーザーであってよい。器具120は、油圧制御および/または他の適切な制御機構によって、運転台110内のオペレータによって制御可能である。運転台110は、それの上部にカメラ130を取り付けることができる。あるいはまた、カメラ130は、運転台110の両側に取り付けてもよく、または車両100上の他の適切な場所に取り付けてもよい。カメラ130は、回転および/またはズームによってその視野140を調整することができる。対象物150は、器具120の中央上部に取り付けることができる。あるいはまた、対象物150は、対象物150がカメラ130の視野140内にある限り、器具120の両側の上端または他の適切な位置に取り付けることができる。
カメラ130は、対象物150の画像をプロセッサへ出力することができる。プロセッサは、対象物150の定位および/または対象物150までの距離を決定することができる。プロセッサは、これらから車両100の残りの部分に対する器具120の定位および位置を決定することができる。プロセッサはさらに、アンテナ160および全地球測位システムから得られた全地球測位情報に基づいて、器具120のグローバルな位置および定位を決定することができる。
図2は本発明に係る別の代表的実施形態を示す。図2では、車両100は器具120と運転台110を含む。対象物240および250は、器具120の上端の両端に取り付けられている。カメラ200および210は、運転台110の上の両端部に取り付けられている。カメラ200は、両方の対象物240および250を含む視野230を有する。カメラ210も、両方の対象物240および250を含む視野220を有する。本発明の代替の代表的実施形態では、各カメラは視野内に1つのみの対象物を有するようにしてもよい。更なる代表的実施形態は、より多くのカメラおよび/またはより多くのターゲットを含むことができ、各カメラは視野内に1以上のターゲットを有するようにしてもよい。さらに、カメラの視野内に複数の対象物がある場合、プロセッサは処理された画像内に含まれる1以上の対象物から定位画像を決定することができる。プロセッサによる定位情報を決定するかどうかの決定は、特定の対象物の画像の質に基づいても定めてもよい。
図3は本発明に係るシステムを模式的に示している。カメラ130は、ブレードまたは器具120上に搭載された対象物150に向けられている。図3の対象物150は、マーキング300を含む球である。対象物150のマーキング300は、カメラ130の視線320に沿って一意的な画像を示す。したがって、カメラ130に接続されたプロセッサは、カメラ130に対する対象物150の定位を決定することができる。プロセッサは、対象物150の取り付け配置310に関連する記憶情報に基づいて、器具120の定位を決定することができる。マーキング300は、光反射要素を含む独自の形状、サイズ、および/または色を含むことができ、それらの全ては、プロセッサへ定位情報を提供することができる。さらに、カメラ130によって生成された対象物150の画像は、対象物150までの距離を決定するための情報をプロセッサに提供する対象物150のサイズ情報を含むことができる。カメラ130から対象物150までの距離は、器具120の位置情報を提供することができる。
図5は、対象物としてグレードロッドを含む本発明の別の代表的実施形態を示す。車両100は、運転台110と器具120を含む。カメラ130は、運転台110の上に搭載されている。カメラ130は、グレードロッド500を包含する視野140を有することができる。グレードロッド500は、器具120上に取り付けることができ、特有の形状、形状の特有の相対位置、および光反射要素を含む特有の着色料を含むマーキング520を含むことができる。さらに、複数のグレードロッド500が器具120上に配置されてもよい。特に、グレードロッド500は、追加の位置情報および定位情報を提供するために、器具120の各端部に配置することができる。カメラ130は、運転台110の内部に配置することができるコンピュータ510に電気的に結合可能である。測位情報処理用のGPSシステム530も含むことができるGPSアンテナ160から追加の測位情報を得ることができる。あるいはまた、GPSシステムのプロセッサ/レシーバは、コンピュータ510に統合することができる。コンピュータ510は、器具120の正確な位置および定位を決定するために、GPSアンテナ160から、およびカメラ130から得られた画像から得られた測位情報を組み合わせることができる。定位情報は、グレードロッド500の画像の角度、グレードロッド500の画像の上部と下部の相対的なサイズ、グレードロッド500の画像の長さ、およびグレードロッド500のサイズ、形状、取り付け、およびマーキングについての記憶されている情報に基づいてコンピュータ510によって決定可能である。また、複数のグレードロッドが使用される場合、位置情報および定位情報を決定するために、プロセッサは上述の情報と共に、複数のグレードロッドの画像を比較することができる。
アクティブ発光ダイオード(本明細書内では、LEDを活性光素子とも呼ぶ)を、1以上のグレードのロッド、または球を含む本明細書内で説明される他の任意のターゲット上に取り付けてもよい。LEDは、赤外光を発光することができる。LEDは、点光源であることが可能であり、または本明細書内で説明される任意のターゲット形状を形成することもできる。LEDは、車両の運転台、例えばブルドーザーの本体に取り付けられた1以上のカメラによって観察することができる。カメラは、光スペクトル、赤外スペクトル、両方のスペクトル、または他の適切な電磁スペクトルにおいて高感度であることができる。赤外スペクトルを使用するアクティブLEDターゲットは、ほこりの多い環境や厳しい天候条件において改善された観察を可能とする、可視スペクトルよりも優れたいくつかの利点を提供することができる。
1以上のLEDまたは他のマーキングをグレードロッド上に取り付けた、例えば器具の中央において器具上に配置した1つのグレードロッドは、定位に対しては十分でかもしれない。例えば、ブレードの上下動および傾斜のみが自動的に制御されるブルドーザーにグレードロッドが設置されている場合、マーキングまたはLEDを備えた1つのロッドは、ブレードの上下動とブレードの傾斜の両方の測定を行い、これはブレードの制御に対して十分である。
さらに、LEDは必要消費電力が大きくない可能性があるので、器具上のLEDシステムは、長寿命の電池を搭載することができ、これによって器具の運転台からつながっている電源ケーブルを排除することができる。棒の上に取り付けた太陽電池などの追加の電源を提供してもよい。電池と太陽電池を使用したいくつかの形態では、日差しが強いときは、LEDは太陽電池からの電力を消費することができ、同時に電池は太陽電池から充電することができる。日差しがLEDを動作させるには不十分である場合は、LEDは電池から電力を受け取る。このように、電池や太陽電池は、電力源としてお互いを補完し、電池を交換する必要はないかもしれない。
図6は、本発明の一実施形態に係るコンピュータの高レベルブロック図である。コンピュータ510は、上述したいずれかの処理を実行することができ、および/または上述のまたは図7に示される手順を実行することができる。コンピュータ510は、コンピュータ動作を定義するコンピュータプログラム命令の実行によってコンピュータ動作を制御するプロセッサ610を含んでいる。コンピュータプログラム命令は、コンピュータによって読取可能な記録媒体に記録可能である。コンピュータプログラム命令は、ストレージ620(例えば、磁気ディスク、データベース)に記憶され、コンピュータプログラム命令の実行が望まれるときに、メモリ630にロードされる。したがって、コンピュータの操作は、メモリ630および/またはストレージ620に記憶されたコンピュータプログラム命令によって定義され、コンピュータ510は、コンピュータプログラム命令を実行するプロセッサ610によって制御される。コンピュータ510は、他のデバイス、例えば他のコンピュータ、サーバー、またはウェブサイトと通信するために1以上のネットワークインターフェイス640も含む。ネットワークインターフェイス640は、例えば、ローカルネットワーク、無線ネットワーク、イントラネット、またはインターネットが可能である。コンピュータ510は、ユーザーがコンピュータ510との対話を可能にするデバイスを表す入力/出力650(例えば、ディスプレイ、キーボード、マウス、スピーカー、ボタン、ウェブカメラなど)も含む。実際のコンピュータの装置にはさらに他の構成要素が含まれることから、当業者は、図6が実際のコンピュータの構成要素のいくつかを高レベルの表現で例示したものであることを、認識するであろう。
図7は本発明に係る例示的な方法を示している。図7の方法は、参照符号700が付された「開始」で始まり、カメラでターゲットを検出することを示している工程710に進む。工程710からフローは、カメラに対して中間定位を決定することを示している工程720に進む。工程720からフローは、中間定位に基づいて器具の定位を決定することを示している工程730に進む。工程730からフローは、参照符号740が付された「終了」に進む。
器具定位システムの設置方法は、器具を有する車両上にカメラを取り付ける工程と、カメラの視野内の器具に対象物を取り付ける工程を含むことができる。対象物は、マーキングを含むことができる。本方法はまた、マーキングの少なくともいくつかを使用して、カメラに対する対象物の中間定位を決定することによって、器具の定位を決定するように用いられるプロセッサにカメラを結合する工程を含むことができる。
本方法は、車両上に測位システムを取り付ける工程を含むことができる。本方法は、カメラの視野内にあり器具に取り付けられた第2対象物を取り付ける工程を含むことができる。第2対象物は第2マーキングを含むことができる。プロセッサは、第2マーキングを使用して、第2対象物の第2中間定位を決定するように用いられることができる。
本方法は、車両上に第2カメラを取り付ける工程と、第2視野内に対象物を含むように第2カメラを配置する工程を含むことができる。本方法は、プロセッサに第2カメラを結合する工程を含むことができる。プロセッサは、マーキングの少なくともいくつかを使用して第2カメラに対する対象物の別の中間定位を決定することによって、器具の定位を決定するように用いることができる。
本設置方法は、定位および位置の決定を可能にするために、プロセッサに結合された記憶装置に取り付け情報をダウンロードする工程を含むことができる。その代わりにまたはそれに加えて、本設置は、既知の位置および定位の器具に取り付けた後、対象物の画像を取得することによって、カメラおよび/またはプロセッサを較正する工程を含むことができる。
前述の詳細な説明は、あらゆる点で模式的・例示的であって、限定的ではないものとして理解されるべきであり、本明細書に開示される発明の範囲は、詳細な説明から決定されるのではなく、特許法で許可されている全範囲にしたがって解釈されるように特許請求の範囲から決定される。本明細書内で図示され記載された実施形態は、本発明の原理の単なる例示であり、本発明の範囲および趣旨から逸脱することなく、その種々の変形形態が当業者によって実施可能であることを理解すべきである。

Claims (40)

  1. 車両上の器具の定位を決定するシステムであって、
    前記車両に取り付けられたカメラと、
    前記カメラの視野内にあり、前記器具に取り付けられ、前記カメラに対して前記器具の前記定位の決定を可能にするマーキングを含む対象物を含むシステム。
  2. 前記対象物は球である請求項1記載のシステム。
  3. 前記対象物は棒である請求項1記載のシステム。
  4. 前記定位の決定は、前記カメラに対する前記対象物の中間定位の決定を含む請求項1記載の方法。
  5. 前記器具に取り付けられた前記カメラの前記視野内に第2対象物をさらに含み、前記第2対象物は、前記カメラに対して前記第2対象物の第2中間定位の決定を可能にする第2マーキングを含む請求項4記載のシステム。
  6. 前記カメラから固定方向の固定距離で前記車両に取り付けられた測位システムアンテナと、
    前記測位システムアンテナに結合された測位システムレシーバ/プロセッサと、
    前記器具の所望の定位と前記器具の前記定位の決定に基づいて前記器具の定位を調整するために用いられる制御システムをさらに含む請求項4記載のシステム。
  7. 前記測位システムに対して第2固定距離および第2固定定位を有する第2カメラをさらに含み、前記第2カメラは前記対象物を含む第2視野を有し、前記対象物の前記マーキングは、前記第2カメラに対して前記対象物の第3中間定位の決定を可能にする請求項6記載のシステム。
  8. 前記測位システムレシーバ/プロセッサおよび前記カメラに電気的に結合されたプロセッサをさらに含み、前記プロセッサは、前記マーキングに基づいて前記カメラに対して前記対象物の前記中間定位の決定を実行するために用いられ、前記プロセッサは前記器具の前記定位の決定を実行するためにさらに用いられる請求項6記載のシステム。
  9. 前記測位システムレシーバ/プロセッサは、世界座標系内で車両の位置および車両の定位を決定するために用いられ、
    前記カメラに対して前記対象物の前記中間定位の決定は、車両座標系内で行われ、
    前記器具の前記定位の決定は、前記車両座標系内で行われ、
    車両基準内の前記器具の定位および前記世界座標系内の前記車両の定位の決定は、前記世界座標系内で前記器具の更なる定位の決定を可能にする請求項6記載のシステム。
  10. 前記プロセッサに結合されたデータ記憶装置をさらに含み、
    前記プロセッサは、前記データ記憶装置内に記憶された前記対象物の形状と寸法に関連する情報と前記対象物の画像を比較することによって、前記カメラから前記対象物までの距離を決定するために用いられ、
    前記カメラは、前記対象物から第3固定方向の第3固定距離において前記器具に取り付けられ、
    前記プロセッサは、前記距離、前記第3固定距離、前記第3固定方向、前記車両位置、および前記車両の定位に基づいて前記器具の位置を決定するためにさらに用いられる請求項9記載のシステム。
  11. 前記器具は、土木用具であり、
    前記車両は、土木機械であり、
    前記測位システムレシーバ/プロセッサおよび前記カメラは、前記土木機械の運転台に取り付けられている請求項6記載のシステム。
  12. 前記マーキングは、前記対象物の表面上に配置された異なる形状を含み、
    前記異なる形状の少なくともいくつかの識別が、前記定位の決定を可能にする請求項1記載のシステム。
  13. 前記異なる形状は、異なるサイズを有し、
    前記異なるサイズの少なくともいくつかの識別が、前記定位の決定を可能にする請求項12記載のシステム。
  14. 前記マーキングは前記対象物の表面上に配置された異なる色を含み、
    前記異なる色の少なくともいくつかの識別が、前記定位の決定を可能にする請求項1記載のシステム。
  15. 前記異なる色は、少なくともいくつかの光反射要素を含み、
    前記光反射要素の少なくともいくつかの識別が、前記定位の決定を可能にする請求項14記載のシステム。
  16. 前記マーキングは、前記対象物の表面上に配置された活性光素子を含み、
    前記活性光素子の少なくともいくつかの識別が、前記定位の決定を可能にする請求項1記載のシステム。
  17. 車両上の器具の定位を決定する方法であって、
    前記器具に取り付けられマーキングを含んだ少なくとも1つの対象物を、少なくとも1つのカメラで検出する工程と、
    前記マーキングの少なくともいくつかを用いて、前記器具の前記定位を決定する工程を含む方法。
  18. 前記車両に取り付けられた前記少なくとも1つのカメラの位置を決定する工程と、
    前記器具の所望の定位および前記定位に基づいて前記器具の前記定位を調整する工程をさらに含む請求項17記載の方法。
  19. 車両座標系内で前記カメラに対する前記少なくとも1つの対象物の中間定位を決定する工程であって、前記器具の前記定位の決定は、前記車両座標系内で前記中間定位に基づいて行われる工程と、
    世界座標系内で、車両の位置および車両の定位を決定する工程と、
    前記車両座標系内の前記器具の定位と、前記世界座標系内の前記車両の定位に基づいて、前記世界座標系に対して前記器具の更なる定位を決定する工程をさらに含む請求項17記載の方法。
  20. 前記器具は、土木用具であり、
    前記車両は、土木機械であり、
    前記カメラは、前記土木機械の運転台に取り付けられている請求項17記載の方法。
  21. 前記少なくとも1つの対象物の画像を、前記少なくとも1つの対象物の形状および寸法に関連する記憶された情報と比較することによって、前記少なくとも1つのカメラから前記少なくとも1つの対象物までの距離を決定する工程をさらに含む請求項17記載の方法。
  22. 前記少なくとも1つの対象物は球である請求項17記載の方法。
  23. 前記少なくとも1つの対象物は棒である請求項17記載の方法。
  24. 前記少なくとも1つの対象物は、少なくとも第1対象物と第2対象物を含む請求項17記載の方法。
  25. 前記少なくとも1つのカメラは、少なくとも第1カメラと第2カメラを含む請求項17記載の方法。
  26. 前記マーキングは、前記対象物の表面上に配置された異なる形状を含み、
    前記定位を決定する工程は、異なる形状のうちの少なくともいくつかを識別する工程を含む請求項17記載の方法。
  27. 前記異なる形状は異なるサイズを有し、
    前記定位操作を決定する工程は、前記異なるサイズのうちの少なくともいくつかを識別する工程を含む請求項26記載の方法。
  28. 前記マーキングは、前記対象物の表面上に配置された異なる色を含み、
    前記定位を決定する工程は、前記異なる色のうちの少なくともいくつかを識別する工程を含む請求項17記載の方法。
  29. 前記異なる色は、少なくともいくつかの光反射要素を含み、
    前記定位を決定する工程は、前記光反射要素の少なくともいくつかを識別する工程を含む請求項28記載の方法。
  30. 前記マーキングは、前記対象物の表面上に配置された活性光素子を含み、
    前記定位を決定する工程は、前記活性光素子の少なくともいくつかを識別する工程を含む請求項17記載の方法。
  31. 器具を定位するシステムであって、
    前記器具に取り付けられた少なくとも1つの対象物を検出するための手段であって、前記少なくとも1つの対象物はマーキングを含む手段と、
    前記マーキングのうちの少なくともいくつかを用いて、少なくとも1つのカメラに対する前記少なくとも1つの対象物の中間定位を決定するための手段と、
    前記対象物の前記中間定位を用いて、前記器具の定位を決定するための手段を含むシステム。
  32. 所望の定位に基づいて、前記器具の定位を調整するための手段をさらに含む請求項31記載のシステム。
  33. 前記少なくとも1つの対象物の前記中間定位は、車両座標系内にあり、
    前記器具の前記定位は、前記車両座標系内にあり、
    世界座標系内で車両の位置および車両の定位を決定するための手段と、
    車両基準内の前記器具の定位と世界座標系内の前記車両の定位に基づいて、前記世界座標系に対する前記器具の更なる定位を決定するための手段をさらに含む請求項31記載のシステム。
  34. 前記車両の位置を決定するための手段をさらに含む請求項31記載のシステム。
  35. 前記少なくとも1つの対象物の画像を、前記少なくとも1つの対象物の形状および寸法に関連する記憶された情報と比較することによって、検出用手段からの距離を決定するための手段をさらに含む請求項31記載のシステム。
  36. 器具を有する車両上にカメラを取り付ける工程と、
    前記カメラの視野内で前記器具にマーキングを含む対象物を取り付ける工程と、
    前記マーキングのうちの少なくともいくつかを用いて、前記カメラに対する前記対象物の中間定位を決定することによって、前記器具の定位を決定するように用いられるプロセッサに前記カメラを結合する工程を含む、器具定位システムを設置する方法。
  37. 前記車両上に測位システムを取り付ける工程をさらに含む請求項36記載の方法。
  38. 第2マーキングを含み、前記器具に取り付けられた第2対象物を前記カメラの視野内に取り付ける工程をさらに含み、
    前記プロセッサは、前記第2マーキングを用いて、前記第2対象物の第2中間定位を決定するように用いられる請求項36記載の方法。
  39. 前記車両上に第2カメラを取り付ける工程と、
    第2視野内に前記対象物を含むように前記第2カメラを配置する工程と、
    前記第2カメラを前記プロセッサに結合する工程をさらに含み、
    前記プロセッサは、前記マーキングのうちの少なくともいくつかを用いて、前記第2カメラに対する前記対象物の別の中間定位を決定することによって、前記器具の定位を決定するようにさらに用いられる請求項36記載の方法。
  40. コンピュータで実行可能な命令を内部に記憶したコンピュータ可読媒体であって、前記コンピュータで実行可能な命令は、実行時に器具の定位を決定する方法をプロセッサに実行させ、前記方法は、
    カメラの位置を決定する工程と、
    前記器具におよび前記カメラの視野内に取り付けられた対象物の中間定位を決定する工程であって、前記対象物はマーキングを含み、前記決定は前記マーキングのうちの少なくともいくつかを用いて実行される工程と、
    前記位置および前記中間定位を用いて前記器具の定位を決定する工程を含むコンピュータ可読媒体。
JP2012547985A 2010-01-12 2010-11-24 作業車両または農業用車両における器具の定位のためのシステムおよび方法 Active JP6029471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/685,855 US9139977B2 (en) 2010-01-12 2010-01-12 System and method for orienting an implement on a vehicle
US12/685,855 2010-01-12
PCT/US2010/003041 WO2011087476A1 (en) 2010-01-12 2010-11-24 System and method for orienting an implement on a work or agricultural vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015170292A Division JP5973042B2 (ja) 2010-01-12 2015-08-31 作業車両または農業用車両における器具の定位のための方法およびコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JP2013517394A true JP2013517394A (ja) 2013-05-16
JP6029471B2 JP6029471B2 (ja) 2016-11-24

Family

ID=43536385

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012547985A Active JP6029471B2 (ja) 2010-01-12 2010-11-24 作業車両または農業用車両における器具の定位のためのシステムおよび方法
JP2015170292A Active JP5973042B2 (ja) 2010-01-12 2015-08-31 作業車両または農業用車両における器具の定位のための方法およびコンピュータ可読媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015170292A Active JP5973042B2 (ja) 2010-01-12 2015-08-31 作業車両または農業用車両における器具の定位のための方法およびコンピュータ可読媒体

Country Status (5)

Country Link
US (1) US9139977B2 (ja)
EP (1) EP2524085B1 (ja)
JP (2) JP6029471B2 (ja)
CA (1) CA2786528A1 (ja)
WO (1) WO2011087476A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104532724A (zh) * 2014-11-21 2015-04-22 安徽省库仑动力自动化科技有限公司 一种利用视觉循迹的道路铺砖机
WO2017014325A1 (ja) * 2016-09-09 2017-01-26 株式会社小松製作所 ブルドーザ
JP2019045382A (ja) * 2017-09-05 2019-03-22 日本電気株式会社 空間認識装置、空間認識方法、プログラム
JP2019190064A (ja) * 2018-04-20 2019-10-31 株式会社安藤・間 建設機械の姿勢認識システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478492B2 (en) * 1998-11-27 2013-07-02 Caterpillar Trimble Control Technologies, Inc. Method and system for performing non-contact based determination of the position of an implement
US10458099B2 (en) 2004-08-26 2019-10-29 Caterpillar Trimble Control Technologies Llc Auto recognition of at least one standoff target to determine position information for a mobile machine
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
CL2012000933A1 (es) * 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal.
US8655538B2 (en) * 2011-12-16 2014-02-18 Agco Corporation Systems and methods for switching display modes in agricultural vehicles
US9957692B2 (en) * 2013-03-15 2018-05-01 Hexagon Technology Center Gmbh System and method for heavy equipment navigation and working edge positioning using an image acquisition device that provides distance information
US20150168136A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
US10030358B2 (en) * 2014-02-13 2018-07-24 Trimble Inc. Non-contact location and orientation determination of an implement coupled with a mobile machine
GB2523401B (en) * 2014-02-25 2017-02-15 Caterpillar Inc Receiver assembly
US9551130B2 (en) 2015-02-05 2017-01-24 Deere & Company Blade stabilization system and method for a work vehicle
US9624643B2 (en) 2015-02-05 2017-04-18 Deere & Company Blade tilt system and method for a work vehicle
US9328479B1 (en) 2015-02-05 2016-05-03 Deere & Company Grade control system and method for a work vehicle
EP3086196B1 (en) 2015-04-21 2017-04-05 Hexagon Technology Center GmbH Method and control system for surveying and mapping a terrain while operating a bulldozer
US9567731B2 (en) * 2015-05-18 2017-02-14 Caterpillar Inc. Implement position calibration using compaction factor
EP3359749B1 (en) * 2015-10-06 2021-08-04 CPAC Systems AB Method for determining the position of an implement in a work machine
CN105486235B (zh) * 2015-12-07 2018-04-20 高新兴科技集团股份有限公司 一种球机视频画面中的目标度量方法
KR101885704B1 (ko) * 2016-03-29 2018-08-06 가부시키가이샤 고마쓰 세이사쿠쇼 교정 시스템, 작업 기계 및 교정 방법
US9976284B2 (en) 2016-07-18 2018-05-22 Caterpillar Inc. Control system for headlights of a machine
US10634492B2 (en) * 2016-08-31 2020-04-28 Deere & Company Methods and apparatus to track a blade
JP2018097526A (ja) * 2016-12-12 2018-06-21 株式会社クボタ 作業車
US10132060B2 (en) 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
DE102017208055A1 (de) * 2017-05-12 2018-11-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Neigung eines kippbaren Anbaugerätes eines Fahrzeugs
US10455755B2 (en) * 2017-08-31 2019-10-29 Cnh Industrial America Llc System and method for strip till implement guidance monitoring and adjustment
US10519631B2 (en) 2017-09-22 2019-12-31 Caterpillar Inc. Work tool vision system
JP7122980B2 (ja) * 2019-01-23 2022-08-22 株式会社小松製作所 作業機械のシステム及び方法
JP7278095B2 (ja) * 2019-02-19 2023-05-19 株式会社小松製作所 作業機械の制御システム
US11447931B2 (en) 2019-05-15 2022-09-20 Caterpillar Inc. Ground engaging tool monitoring system
US11466984B2 (en) 2019-05-15 2022-10-11 Caterpillar Inc. Bucket get monitoring system
US11905675B2 (en) 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
JP7463530B2 (ja) * 2020-01-28 2024-04-08 トプコン ポジショニング システムズ, インク. 機械視点を用いた工作機械上の装置の制御システムおよび方法
DE102020108416A1 (de) * 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
US11508073B2 (en) 2021-04-09 2022-11-22 Caterpillar Inc. Method for determining angle of tips of ripper shanks in dozer machines
US20220332248A1 (en) * 2021-04-14 2022-10-20 Deere & Company System and method providing visual aids for workpiece manipulator positioning and movement preview path
US20220333353A1 (en) * 2021-04-20 2022-10-20 Deere & Company On-implement indicator
DE102021002707B4 (de) 2021-05-25 2023-06-01 Vision Metrics GmbH Verfahren und Messvorrichtung für eine Positionsbestimmung eines beweglichen Maschinenteils einer Maschine
US11976444B2 (en) 2021-12-03 2024-05-07 Deere & Company Work machine with grade control using external field of view system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6389736A (ja) * 1986-09-30 1988-04-20 スペクトラ−フィジックス・インコ−ポレ−テッド 土工作業機械の高さ表示装置
US6108076A (en) * 1998-12-21 2000-08-22 Trimble Navigation Limited Method and apparatus for accurately positioning a tool on a mobile machine using on-board laser and positioning system
JP2005055177A (ja) * 2002-01-18 2005-03-03 Nippon Telegr & Teleph Corp <Ntt> 3次元位置・姿勢検出用立体、3次元位置・姿勢検出方法、3次元位置・姿勢検出装置、3次元位置・姿勢検出プログラム、および該プログラムを記録した記録媒体
US20050197756A1 (en) * 1998-11-27 2005-09-08 Taylor Arthur J. Method and system for performing non-contact based determination of the position of an implement
US20080180537A1 (en) * 2006-11-14 2008-07-31 Uri Weinberg Camera system and methods

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3894230A (en) 1973-10-25 1975-07-08 Coherent Radiation Apparatus for detecting the position of a moving or modulated light beam
JP2806186B2 (ja) 1992-11-26 1998-09-30 株式会社大林組 ケーブルクレーンの監視システム
JPH09193078A (ja) 1996-01-22 1997-07-29 Hitachi Constr Mach Co Ltd 遠隔操縦機械のカメラ方向制御装置
JP3827764B2 (ja) 1996-03-19 2006-09-27 株式会社トプコン 建設機械用レーザー光検出表示装置
JPH11217853A (ja) 1998-01-30 1999-08-10 Komatsu Ltd 建設機械の後方監視装置およびその後方監視方法
DE60140440D1 (de) * 2000-05-05 2009-12-24 Robert A Hasara Lasergesteuerte baumaschine
FI121243B (fi) 2001-01-24 2010-08-31 Sandvik Mining & Constr Oy Lastauskone
US6880643B1 (en) * 2002-02-07 2005-04-19 Novariant, Inc. System and method for land-leveling
US7617070B2 (en) * 2004-09-10 2009-11-10 Honeywell International Inc. Absolute position determination of an object using pattern recognition
US7876457B2 (en) * 2007-06-13 2011-01-25 Nikon Metrology Nv Laser metrology system and method
JP2009042175A (ja) * 2007-08-10 2009-02-26 Koishi:Kk 施工位置測定システム及び丁張りレスシステム
US10025454B2 (en) * 2007-09-26 2018-07-17 Autodesk, Inc. Navigation system for a 3D virtual scene
JP4962415B2 (ja) * 2008-05-30 2012-06-27 株式会社明電舎 建設機械の刃先位置計測装置
DE102008028220A1 (de) 2008-06-12 2009-12-17 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Bordcomputersystem
JP5227139B2 (ja) 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US9070259B2 (en) * 2009-08-05 2015-06-30 Bradley Berman Gaming method and apparatus for facilitating a game involving 2D and 3D play areas

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6389736A (ja) * 1986-09-30 1988-04-20 スペクトラ−フィジックス・インコ−ポレ−テッド 土工作業機械の高さ表示装置
US20050197756A1 (en) * 1998-11-27 2005-09-08 Taylor Arthur J. Method and system for performing non-contact based determination of the position of an implement
US6108076A (en) * 1998-12-21 2000-08-22 Trimble Navigation Limited Method and apparatus for accurately positioning a tool on a mobile machine using on-board laser and positioning system
JP2005055177A (ja) * 2002-01-18 2005-03-03 Nippon Telegr & Teleph Corp <Ntt> 3次元位置・姿勢検出用立体、3次元位置・姿勢検出方法、3次元位置・姿勢検出装置、3次元位置・姿勢検出プログラム、および該プログラムを記録した記録媒体
JP2008510992A (ja) * 2004-08-26 2008-04-10 キャタピラー トリンブル コントロール テクノロジーズ、 エルエルシー 器具の位置の非接触型決定を実行する方法及びシステム
US20080180537A1 (en) * 2006-11-14 2008-07-31 Uri Weinberg Camera system and methods

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104532724A (zh) * 2014-11-21 2015-04-22 安徽省库仑动力自动化科技有限公司 一种利用视觉循迹的道路铺砖机
WO2017014325A1 (ja) * 2016-09-09 2017-01-26 株式会社小松製作所 ブルドーザ
US10415212B2 (en) 2016-09-09 2019-09-17 Komatsu Ltd. Bulldozer
US10450719B2 (en) 2016-09-09 2019-10-22 Komatsu Ltd. Bulldozer
US10619327B2 (en) 2016-09-09 2020-04-14 Komatsu Ltd. Bulldozer
JP2019045382A (ja) * 2017-09-05 2019-03-22 日本電気株式会社 空間認識装置、空間認識方法、プログラム
JP2019190064A (ja) * 2018-04-20 2019-10-31 株式会社安藤・間 建設機械の姿勢認識システム
JP6994427B2 (ja) 2018-04-20 2022-01-14 株式会社安藤・間 建設機械の姿勢認識システム

Also Published As

Publication number Publication date
EP2524085A1 (en) 2012-11-21
US20110169949A1 (en) 2011-07-14
JP2016035461A (ja) 2016-03-17
JP6029471B2 (ja) 2016-11-24
US9139977B2 (en) 2015-09-22
WO2011087476A1 (en) 2011-07-21
EP2524085B1 (en) 2014-08-20
JP5973042B2 (ja) 2016-08-17
CA2786528A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5973042B2 (ja) 作業車両または農業用車両における器具の定位のための方法およびコンピュータ可読媒体
US11630142B1 (en) Systems and methods for locating and/or mapping buried utilities using vehicle-mounted locating devices
US10648809B2 (en) Adaptive compass calibration based on local field conditions
US10942528B2 (en) Return path configuration for remote controlled aerial vehicle
US11561317B2 (en) Geographic map updating methods and systems
EP3186685B1 (en) Three-dimensional elevation modeling for use in operating agricultural vehicles
CN107084710B (zh) 相机模块和测量子系统
US20160327389A1 (en) Calibration Transfer Between Two Devices
US20100121540A1 (en) Industrial machine
JP2016008484A (ja) 建設機械
CN108731672B (zh) 基于双目视觉及惯性导航的采煤机姿态检测系统及方法
CN105136134A (zh) 一种掘进机位姿检测调整方法及系统
US10190909B2 (en) Path detection system based on solar blind ultraviolet light signals
CN102607499A (zh) 一种车载农田三维地形测量装置
JP5915268B2 (ja) パラメータ算出方法、情報処理装置及びプログラム
CN107514022A (zh) 一种推土机引导系统
US7272891B2 (en) Automatic plumbing device
CN108885112A (zh) 通过特殊选择的且由后端服务器传输的地标来确定至少部分自动驾驶的车辆的姿态的方法
CN203433113U (zh) 激光测距昼视仪
US10032311B1 (en) Synthetic image enhancing system, device, and method
JP7301937B2 (ja) ショベル及びショベル用地形検知システム
JP2019152098A (ja) ショベル
CN115235462A (zh) 一种智能检测空间位点三维坐标的方法及其应用
Wang Autonomous machine vision for off-road vehicles in unstructured fields

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161018

R150 Certificate of patent or registration of utility model

Ref document number: 6029471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250