JP2016210586A - フォークリフト - Google Patents

フォークリフト Download PDF

Info

Publication number
JP2016210586A
JP2016210586A JP2015097487A JP2015097487A JP2016210586A JP 2016210586 A JP2016210586 A JP 2016210586A JP 2015097487 A JP2015097487 A JP 2015097487A JP 2015097487 A JP2015097487 A JP 2015097487A JP 2016210586 A JP2016210586 A JP 2016210586A
Authority
JP
Japan
Prior art keywords
fork
pallet
laser sensor
forklift
laser beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015097487A
Other languages
English (en)
Other versions
JP6542574B2 (ja
Inventor
田中 稔
Minoru Tanaka
稔 田中
亮暢 藤井
Akinobu Fujii
亮暢 藤井
祐司 津坂
Yuji Tsusaka
祐司 津坂
誠 一瀬
Makoto Ichinose
誠 一瀬
早川 誠
Makoto Hayakawa
誠 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Industries Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp, Toyota Central R&D Labs Inc filed Critical Toyota Industries Corp
Priority to JP2015097487A priority Critical patent/JP6542574B2/ja
Priority to EP16792458.8A priority patent/EP3296250B1/en
Priority to PCT/JP2016/061596 priority patent/WO2016181733A1/ja
Priority to US15/572,809 priority patent/US10850961B2/en
Priority to CN201680027308.2A priority patent/CN107531469B/zh
Publication of JP2016210586A publication Critical patent/JP2016210586A/ja
Application granted granted Critical
Publication of JP6542574B2 publication Critical patent/JP6542574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/12Platforms; Forks; Other load supporting or gripping members
    • B66F9/16Platforms; Forks; Other load supporting or gripping members inclinable relative to mast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063Automatically guided
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】 簡易な構成でパレットの横方向の位置ずれや、回転に関するずれを検出することを可能とする。【解決手段】 フォークリフトは、フォーク22と、フォークを第1の方向に移動させる移動機構と、フォークに取付けられており、レーザ光を第1の方向と交差する第2の方向に走査すると共に、走査したレーザ光の反射光から周辺物体との距離を計測するレーザセンサ20と、移動機構を駆動してフォークを第1の方向に移動させながらレーザ光を第2の方向に走査したときにレーザセンサで取得される距離データに基づいて、レーザ光が照射された範囲の3次元距離画像を生成する演算装置と、を備える。【選択図】 図1

Description

本明細書に開示の技術は、フォークリフトに関する。
フォークリフトによる荷取り作業の際、フォークとパレットとの干渉を避ける必要がある。特許文献1に開示のフォークリフトでは、反射型光センサによって、パレットの開口の上端および下端を検出する。そして、フォークの上面とパレットの開口の上端とのクリアランス、および、フォークの下面とパレットの開口の下端とのクリアランスを算出し、これらクリアランスが適切な値となるようにフォークの位置を調整している。
特開2005−89013号公報
フォークリフトにより正確な荷取り作業を行うためには、パレット位置の認識精度を向上させる必要がある。しかし、従来の技術では、パレットの高さ方向のずれを検出できるものの、横方向のずれや、回転に関するずれを検出することはできない。
本明細書は、簡易な構成でパレットの横方向の位置ずれや、回転に関するずれを検出することが可能となるフォークリフトを開示する。
本明細書に開示するフォークリフトは、フォークと、フォークを第1の方向に移動させる移動機構と、フォークに取付けられており、レーザ光を第1の方向と交差する第2の方向に走査すると共に、走査したレーザ光の反射光から周辺物体との距離を計測するレーザセンサと、移動機構を駆動してフォークを第1の方向に移動させながらレーザ光を第2の方向に走査したときにレーザセンサで取得される距離データに基づいて、レーザ光が照射された範囲の3次元距離画像を生成する演算装置とを備える。
上記のフォークリフトでは、レーザセンサがフォークに取付けられているため、フォークが第1の方向に移動すると、それに応じてレーザセンサも第1の方向に移動する。このため、レーザセンサは第2の方向にレーザ光を走査する1次元走査型のレーザセンサであっても、フォークの第1の方向への移動によりレーザ光を第1の方向及び第2の方向に走査することができる。これによって、レーザセンサによって3次元距離画像を取得することができる。このフォークリフトでは、3次元距離画像を取得できるため、パレットの横方向の位置ずれや、回転に関するずれを検出することができる。
実施例に係るフォークリフトの概略構成を示す斜視図。 実施例に係るフォークリフトによりレーザ光を走査している状態を模式的に示す図。 実施例に係るフォークリフトの制御構成を示すブロック図。 レーザセンサにより3次元距離画像を取得する処理の手順を示すフローチャート。 レーザセンサによりパレットまでの距離データを取得している状態を示す図。 パレットの位置、方向及び幅を特定する処理の手順を示すフローチャート。 パレットの開口を検出する方法を説明するための図。 取得した3次元距離データから抽出された直線を構成する点群の長さを算出する方法を説明するための図。 パレットと、パレットに設定した座表軸とを合わせて示す図。 フォークをティルトさせるティルト機構を利用してレーザ光を走査している状態を模式的に示す図。 3次元距離画像からパレットの前面を特定する処理を説明するための図。
以下に説明する実施例の主要な特徴を列記しておく。なお、以下に記載する技術要素は、それぞれ独立した技術要素であって、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。
(特徴1) 本明細書に開示するフォークリフトにおいて、移動機構は、フォークを上下方向に昇降させる昇降機構を少なくとも備えており、フォークが上下方向に昇降すると、レーザセンサも上下方向に昇降するようにしてもよい。このような構成によると、フォークを上下方向に昇降させる昇降機構を利用して、レーザセンサから照射される光を上下方向に走査することができる。
(特徴2) 本明細書に開示するフォークリフトにおいて、移動機構は、フォークの先端を基端に対して傾動させるティルト機構を少なくとも備えており、フォークの先端が基端に対して傾動すると、レーザセンサから照射されるレーザ光が上下方向に走査されてもよい。このような構成によると、フォークを傾動させるティルト機構を利用して、レーザセンサから照射される光を上下方向に走査することができる。
(特徴3) 本明細書に開示するフォークリフトにおいて、演算装置は、生成した3次元距離画像にパレットが含まれている場合、当該3次元距離画像からパレットの位置、方向及び幅を特定してもよい。このような構成によると、レーザセンサで得られた距離データから生成した3次元距離画像に基づいて、パレットの3次元的な位置、方向及び幅を特定するため、パレットの横方向の位置ずれや、回転に関するずれを精度良く検出することができる。
(特徴4) 本明細書に開示するフォークリフトにおいて、演算装置は、生成した3次元距離画像にパレットが含まれている場合、当該3次元距離画像からパレットの前面から得られた距離データのみを抽出し、その抽出された距離データから特定されるパレットの前面の平面から、パレットの位置、方向及び幅を特定してもよい。このような構成では、レーザセンサで得られた距離データから生成した3次元距離画像から抽出したパレット前面から得られた距離データに基づいて、パレットの3次元的な位置、方向及び幅を特定する。パレットの前面から得られた距離データからパレットの位置情報を特定するため、パレットの横方向の位置ずれや、回転に関するずれを精度良く検出することができる。
本実施例のフォークリフト10について、図面を参照しながら説明する。図1に示すように、フォークリフト10は、無人フォークリフトであり、車体12と、マスト24と、フォーク22と、リフトチェーン26と、レーザセンサ20と、制御装置30を備えている。
車体12は、その両側面のそれぞれに前輪28及び後輪29を備えている。前輪28及び後輪29は、それぞれ車体12に対して回転可能に支持されている。後輪29の一方は、図示しない駆動モータが接続されており、駆動モータによって回転駆動されるようになっている。また、駆動モータに接続された後輪29は、図示しない操舵装置にも接続されており、操舵装置によって車輪の向きが調整される。後輪29の他方は、キャスタ輪であり、車体12の走行に追従して回転及び操舵する。制御装置30が駆動モータ及び操舵装置を制御することで、車体12は路面を走行すると共に、車体12の進行方向を変えることができる。
マスト24は、車体12の前面に取付けられている支柱であり、その軸線は上下方向に伸びている。フォーク22は、マスト24に上下方向に移動可能に取付けられている。また、フォーク22は、図示しないティルト機構によって、マスト24に対して揺動可能となっている。フォーク22は、一対のツメ22a,22bを有している。ツメ22a,22bは、車体12の左右方向に互いに離間した位置に配置されており、マスト24側から車体12の前方に向かって伸びている。リフトチェーン26は、マスト24に設置されており、フォーク22と係合している。リフトチェーン26がフォーク昇降装置40(図3に図示)により駆動されると、それによってフォーク22が昇降される。フォーク22の上下方向の位置は、フォーク昇降装置40の駆動量によって特定可能となっている。
レーザセンサ20は、フォーク22に取付けられ、フォーク22と一体となって上下方向に昇降する。レーザセンサ20が取付けられる位置は、ツメ22a、22bの間であって、フォーク22のバックレスト面より奥側(車体12側)に配置されている。レーザセンサ20は、1方向(本実施例では水平方向)にレーザ光を走査する1次元走査型のレーザセンサである。レーザセンサ20は、レーザ光を照射するとともにその照射したレーザ光の反射光から周辺物体までの距離を計測する。フォーク22が昇降すると、レーザセンサ20も昇降するため、レーザセンサ20から照射されるレーザ光の高さ方向の位置も変化する。本実施例では、図2に示すように、レーザセンサ20は、上下方向に昇降しながら、フォークリフト10の前方の所定の角度範囲の領域50(図1参照)にレーザ光を照射する。これにより、レーザセンサ20から照射されるレーザ光は水平方向及び高さ方向(2次元)に走査され、フォークリフト10の前方の距離データ41が取得される。レーザセンサ20で取得される距離データ41は、制御装置30(図3に図示)に入力される。
なお、レーザセンサ20としては、例えば、北陽電機製のUTM−30LXやSICK社製LMS100等を用いることができる。
制御装置30は、CPU等を備えたマイクロプロセッサによって構成されている。制御装置30は、車体12に搭載されている。制御装置30は、上述したレーザセンサ20と、後輪29の一方を駆動する駆動モータと、駆動モータに接続された後輪29の操舵角を調整する操舵装置と、フォーク22の昇降を行うフォーク昇降装置等に接続されており、これらの動作を制御する。
すなわち、制御装置30は、メモリに記憶されているプログラムを実行することで、レーザセンサ20を昇降させる処理、距離データを座標変換する処理、座標変換した3次元距離データを蓄積し3次元距離画像を生成する処理を行う。また、制御装置30は、3次元距離画像に基づいてパレット100の位置、方向及び幅を特定する処理等を行う。すなわち、制御装置30は、図3に示すように、座標変換部32、演算・蓄積部34、パレット認識部36、センサ移動制御部38及びセンサ位置検出部39として機能する。制御装置30が上述した各部32〜39として機能することで、フォークリフト10の前方の周辺物体の3次元距離画像44が生成され、また、その生成された3次元距離画像44からパレット100の位置、方向及び幅が特定される。各部32〜39の詳細については、以下で説明する制御装置30で行われる処理とともに説明する。
次に、制御装置30によって、3次元距離データ42を生成する処理について説明する。3次元距離データ生成処理は、荷取り対象となるパレット100の近傍にフォークリフト10が停止した状態で実行される。すなわち、図4に示すように、制御装置30は、まず、車体12の前方にパレット100が位置するように、一方の後輪29を駆動して、パレット100に対してフォークリフト10を接近させる。すなわち、パレット100をレーザセンサ20によって観測するために、フォークリフト10をパレット前方の初期位置へ移動させる(S10)。例えば、工場内で荷物を運搬するフォークリフト10では、荷物(パレット100)が載置される位置は予め定められている。このため、フォークリフト10を停止させる初期位置は、パレット100のおおよその位置から予め定められている。このため、制御装置30は、予め設定された初期位置までフォークリフト10を自動で移動させる。なお、フォークリフト10が運転者によって運転される場合は、運転者によってフォークリフト10が初期位置まで移動され、その後、フォークリフト10の運転者のスイッチ操作により3次元距離データ生成処理が開始されてもよい。
次に、制御装置30は、フォーク昇降装置40によって、レーザセンサ20を、観測対象領域60(図5に図示)の上限にレーザ光が照射されるように移動させる(S12)。観測対象領域60とは、パレット100が存在する可能性のある領域である。例えば、図5に示すように、荷物130はパレット100上に載置され、パレット100は台座120上に載置される場合であれば、パレット100が存在する可能性のある領域(高さ、幅)は、台座120とパレット100の寸法によって決まる。ステップS12では、パレット100が存在する可能性のある領域の上限までレーザセンサ20を移動させ、パレット100が確実に検出されるようにする。
次に、制御装置30は、フォーク昇降装置40によって、フォーク22を下降させながら、レーザセンサ20で距離データ41を取得する(S14)。すなわち、レーザセンサ20は、レーザ光を水平方向に走査しながら照射するとともにその照射したレーザ光の反射光を検出する。一方、フォーク昇降装置40がフォーク22を昇降させるため、レーザセンサ20は上下方向に移動する。このため、レーザセンサ20から照射されるレーザ光は、垂直方向にも走査される。したがって、ステップS14の処理によって、レーザセンサ20からのレーザ光は、水平方向及び垂直方向に走査され、その反射光を検出することで、観測対象領域60の観測点群を取得することができる。なお、上記のステップS12及びS14のフォークを昇降させる処理によって実現される制御装置30の機能が、図3に示すセンサ移動制御部38に相当する。
次に、制御装置30は、取得した距離データ41を、レーザセンサ20の高さを反映させた3次元距離データ42に変換する(S16)。すなわち、制御装置30は、フォーク昇降装置40を制御してフォーク22を昇降するため、フォーク22の上下方向の位置(レーザセンサ20の高さ方向の位置)を知ることができる。このため、制御装置30は、レーザセンサ20で反射光を受光すると、その距離データ41(観測点)に、受光時のレーザセンサ20の高さ情報を反映させて3次元距離データ42に変換する。これにより、レーザ光が照射された所定の角度範囲の領域50に存在する物体までの3次元距離データ42を取得することができる。なお、上記のステップS16の処理によって実現される制御装置30の機能が、図3に示す座標変換部32及びセンサ位置検出部39に相当する。
次に、制御装置30は、得られた3次元距離データ42から、観測対象領域60内の観測点群のみを抽出し、メモリに蓄積する(S18)。3次元距離データ42には、レーザセンサ20の高さが反映されているため、当該高さにおける観測対象領域60内の観測点群がメモリに蓄積される。なお、上記のステップS18の処理によって実現される制御装置30の機能が、図3に示すに演算・蓄積部34に相当する。
次に、制御装置30は、現在のレーザセンサ20による観測位置(高さ)が観測対象領域60の下限であるか否かを判断する(S20)。現在の観測位置が、観測対象領域の下限ではない場合(S20でNO)、制御装置30は、ステップS14〜S18の処理を繰り返す。なお、現在の観測位置が、観測対象領域の下限である場合(S20でYES)、制御装置30は処理を終了する。
上述した処理を繰り返し行うことによって、観測対象領域60の全域についての観測点群(3次元距離データ42)をメモリに蓄積することができ、これにより、観測対象領域60内の3次元距離画像44を生成することができる。
次に、図6及び図7を用いて、パレット100の位置、方向及び幅を特定する処理について説明する。まず、制御装置30は、車体12の前方にパレット100が位置するように、一方の後輪29を駆動して、パレット100に対してフォークリフト10を接近させる。すなわち、パレット100をレーザセンサ20によって観測するために、フォークリフト10をパレット前方の初期位置へ移動させる(S22)。次に、制御装置30は、フォーク昇降装置40によって、レーザセンサ20を、観測対象領域60(図5に図示)の上限にレーザ光が照射されるように移動させる(S24)。次に、制御装置30は、フォーク昇降装置40によって、フォーク22を下降させながら、レーザセンサ20で距離データ41を取得する(S26)。次に、制御装置30は、取得した距離データ41を、レーザセンサ20の高さを反映させた3次元距離データ42に変換する(S28)。なお、ステップS22〜S28の処理は、上述したステップS10〜S16の処理と同様であるため、ここではその詳細な説明は省略する。
次に、制御装置30は、3次元距離データ42から、観測対象領域60の観測点群のみを抽出し、抽出された観測点群から略水平方向に伸びる直線を抽出する(S30)。図7に示すように、パレット100の前面から反射される反射光による観測点群は同一平面上に位置する。すなわち、ステップS30では、観測点群から、パレット100の前面をスキャンした結果となる直線を抽出する。なお、直線の抽出には、例えば、RANSACのようなロバスト推定と呼ばれる公知のアルゴリズムを用いることができる。
次に、制御装置30は、抽出された直線を構成する(直線にマッチする)点群をユークリッド距離でクラスタリングする(S32)。ここで、図5,7に示すように、パレット100の前面には2つの開口部110(フォーク22のツメ22a,22bが挿し込まれる孔)が形成されている。このため、パレット100の前面から抽出される直線は、パレット100の前面の開口部110によって分断される可能性がある。このため、ステップS30で抽出された直線を構成する点群間のユークリッド距離から、同一物体(例えば、パレット100の前面)から抽出されたものか否かを判断する。なお、クラスタリングには、例えば、k−means法やkd−tree法のような公知の方法を用いることができる。
次に、制御装置30は、ステップS34の処理を行う。具体的には、まず、制御装置30は、クラスタリングされた直線群の数(すなわち、クラスタ数)をカウントし、カウントしたクラスタ数が3であるか否かを判断する(S34)。上述したように、パレット100の前面のうち、開口部110が形成された位置(高さ)では、レーザ光の水平走査によって略水平方向に伸びる直線(観測点群)は、開口部110によって3つに分断される(図7でYES)。したがって、ステップS34では、クラスタ数が3か否かを判断することで、抽出された直線がパレット100の前面に相当するか否かを判断できる。
次に、制御装置30は、ステップS30で抽出された直線を構成する点群の長さが、パレット100の幅に概ね等しいか否かを判断する(S34)。ここで、パレット100の規格は既知であることが通常である。したがって、直線を構成する点群の長さと設定値(パレット100の規格から定められる値)を比較することによって、パレット100の前面の直線が抽出されているか否かを判断することができる。図8に示すように、直線を構成する点群の長さWは、例えば、点群のx方向の最大値及び最小値、y方向の最大値及び最小値を持つ観測点を用いることによって求めることができる。制御装置30は、求めた長さをパレット100の幅(設定値)と照らし合わせることによって、パレット100の幅に等しいか否かを判断する。
上述したステップS34の処理において、少なくともいずれかの条件を満たさない場合(S34でNO)、制御装置30は、抽出された直線を構成する点群に対しての処理を中止し、ステップS38の処理へ進む。ステップS34の処理における条件を全て満たす場合(S34でYES)、制御装置30は、直線を構成する点群をパレット100の前面を観測したデータとして蓄積する(S36)。
次に、制御装置30は、現在のレーザセンサ20の観測位置(高さ)が観測対象領域60の下限であるか否かを判断する(S38)。制御装置30は、フォーク昇降装置40を制御してフォーク22を昇降するため、フォーク22の上下方向の位置を知ることができる。レーザセンサ20は、フォーク22に取付けられているため、制御装置30(図3に示すセンサ位置検出部39)は、レーザセンサ20の高さ方向の位置を知ることができる。現在の観測位置(高さ)が観測対象領域60の下限である場合(S38でYES)、蓄積した観測点群(3次元距離画像44、以下、重畳点群ともいう)から、パレット100の位置、方向及び幅を特定する(S40)。すなわち、クラスタ数が3、かつ、直線を構成する点群の長さがパレット100の幅と等しいと判断された直線群は、パレット100の前面の開口部110が形成された高さ範囲から得られている。ステップS40では、これら直線群を構成する観測点群のデータを用いて、パレット100の位置、方向及び幅を特定する。ステップS40の処理については、以下に詳述する。なお、現在の観測位置(高さ)が観測対象領域60の下限でない場合(S38でNO)、制御装置30は、ステップS24の処理へ戻る。
次に、ステップS40において、パレット100の位置、方向及び幅を特定する方法について説明する。まず、N個の重畳点群の各点(x,y,z)(i=1〜N)のばらつきから主軸(すなわち、図9に示すx軸,y軸,z軸)を求めるため、下記の式(1)のような分散共分散行列を考える。
Figure 2016210586
上記の式(1)においてxバー、yバー、zバーはそれぞれN個の点x,y,zの座標の平均であり、パレット100の前面の中心を意味する。
次に、この行列から3次元空間における固有ベクトルを計算する。この固有ベクトルの第1主軸がパレットの側面方向のベクトルに相当し(図9のy軸)、第2主軸がパレットの上面方向のベクトルに相当し(図9のz軸)、第3主軸がパレットの前面の法線ベクトルに相当する(図9のx軸)。これによって、パレット前面の中心を座標系の原点とするパレットの位置及び方向が特定される。なお、主軸を表す固有ベクトルの方向は場合により正負が逆転することが考えられるため、レーザセンサ20との相対関係から符号を調節することが好ましい。
ここで、パレット100の大きさ及び幅は、上述の固有ベクトルの第1、第2主軸で表される平面への重畳点群の射影により求めることができる。具体的には、第1主軸(y軸)への射影の最大値と最小値の差がパレット100の幅に相当し、第2主軸(z軸)への射影の最大値と最小値の差がパレット100の開口部110の高さ方向の寸法に相当する。すなわち、パレット100の大きさ及び幅を特定することができる。これによって、パレット100の位置、方向及び幅を特定することができる。また、第1、第2及び第3主軸で表される平面それぞれへの重畳点群の各射影の最大値と最小値との平均値を、パレット100の中心点とすることもできる。なお、上記のステップS40の処理によって実現される制御装置30の機能が、図3に示すパレット認識部36に相当する。
上述した実施例のフォークリフト10では、レーザセンサ20がフォーク22に取付けられている。このため、フォーク22が昇降すると、それに応じてレーザセンサ20も昇降する。したがって、フォーク22を昇降しながら、レーザセンサ20が水平方向にレーザ光を走査するだけで、パレット100の3次元距離画像を取得することができる。また、パレット100の3次元距離画像から、パレット100の位置、方向及び幅を特定するため、パレット100の横方向の位置ずれや、回転に関するずれを検出することができる。その結果、フォーク22とパレット100との干渉を防止することができ、スムーズな荷取り作業が可能となる。
また、本実施例のフォークリフト10では、レーザセンサ20によってパレット100上に荷物が載置されているか否かを判断でき、さらに、パレット100上の荷物の位置を知ることができる。これによって、パレット100上の偏った位置に荷物が載置されていることを事前に判断できるため、パレット100からの荷物の落下等を未然に防止することができる。また、パレット100上の荷物の形状が分かるため、荷物の種類を特定することも可能となる。
最後に、上述した実施例と請求項との対応関係を説明しておく。フォーク昇降装置40が、請求項でいう「移動機構」の一例であり、演算・蓄積部34、パレット認識部36が、請求項でいう「演算装置」の一例である。
以上、本実施例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例をさまざまに変形、変更したものが含まれる。
例えば、本実施例では、フォークを上下方向に昇降させることでレーザ光を上下方向に走査したが、本明細書に開示する技術は、このような構成に限られない。例えば、図10に示すように、フォークの先端を基端に対して傾動させるティルト機構を利用して、レーザセンサ20から照射されるレーザ光を上下方向に走査してもよい。
また、本実施例では、レーザセンサ20で得られた観測点群から直線を抽出することでパレット100を検出したが、本明細書に開示する技術は、レーザセンサ20で得られた観測点群から、パレット100の前面の平面を直接抽出するようにしてもよい。例えば、図11に示すように、床面Gにパレット100が直接載置され、パレット100上に荷物130が載置されている場合、レーザセンサ20によって、荷物130の前面(平面1)と、パレット100の前面(平面2)と、床面G(平面3)が抽出される。このため、パレット100の前面(平面2)を構成する観測点群に対して、図6に示すステップS40の処理を行うことで、パレット100の位置、方向及び幅を特定することができる。なお、平面の抽出には、図6のステップS30における直線の抽出と同様に、RANSACアルゴリズムを用いることができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
10:フォークリフト
12:車体
20:レーザセンサ
22:フォーク
22a、22b:ツメ
24:マスト
26:リフトチェーン
28:前輪
29:後輪
30:制御装置
32:座標変換部
34:演算・蓄積部
36:パレット認識部
38:センサ移動制御部
39:センサ位置検出部
40:フォーク昇降装置
41:距離データ
42:3次元距離データ
44:3次元距離画像
60:観測対象領域
100:パレット
110:開口部
120:台座
130:荷物

Claims (5)

  1. フォークと、
    前記フォークを第1の方向に移動させる移動機構と、
    前記フォークに取付けられており、レーザ光を前記第1の方向と交差する第2の方向に走査すると共に、走査したレーザ光の反射光から周辺物体との距離を計測するレーザセンサと、
    前記移動機構を駆動して前記フォークを前記第1の方向に移動させながらレーザ光を前記第2の方向に走査したときに前記レーザセンサで取得される距離データに基づいて、レーザ光が照射された範囲の3次元距離画像を生成する演算装置と、
    を備えるフォークリフト。
  2. 前記移動機構は、前記フォークを上下方向に昇降させる昇降機構を少なくとも備えており、
    前記フォークが上下方向に昇降すると、前記レーザセンサも上下方向に昇降する、請求項1に記載のフォークリフト。
  3. 前記移動機構は、前記フォークの先端を基端に対して傾動させるティルト機構を少なくとも備えており、
    前記フォークの先端が基端に対して傾動すると、前記レーザセンサから照射されるレーザ光が上下方向に走査される、請求項1又は2に記載のフォークリフト。
  4. 前記演算装置は、生成した3次元距離画像にパレットが含まれている場合、当該3次元距離画像から前記パレットの位置、方向及び幅を特定する、請求項1〜3のいずれか一項に記載のフォークリフト。
  5. 前記演算装置は、生成した3次元距離画像にパレットが含まれている場合、当該3次元距離画像から前記パレットの前面から得られた距離データのみを抽出し、その抽出された距離データから特定される前記パレットの前面の平面から、パレットの位置、方向及び幅を特定する、請求項4に記載のフォークリフト。
JP2015097487A 2015-05-12 2015-05-12 フォークリフト Active JP6542574B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015097487A JP6542574B2 (ja) 2015-05-12 2015-05-12 フォークリフト
EP16792458.8A EP3296250B1 (en) 2015-05-12 2016-04-08 Forklift
PCT/JP2016/061596 WO2016181733A1 (ja) 2015-05-12 2016-04-08 フォークリフト
US15/572,809 US10850961B2 (en) 2015-05-12 2016-04-08 Forklift
CN201680027308.2A CN107531469B (zh) 2015-05-12 2016-04-08 叉车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015097487A JP6542574B2 (ja) 2015-05-12 2015-05-12 フォークリフト

Publications (2)

Publication Number Publication Date
JP2016210586A true JP2016210586A (ja) 2016-12-15
JP6542574B2 JP6542574B2 (ja) 2019-07-10

Family

ID=57247902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015097487A Active JP6542574B2 (ja) 2015-05-12 2015-05-12 フォークリフト

Country Status (5)

Country Link
US (1) US10850961B2 (ja)
EP (1) EP3296250B1 (ja)
JP (1) JP6542574B2 (ja)
CN (1) CN107531469B (ja)
WO (1) WO2016181733A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106672859A (zh) * 2017-01-05 2017-05-17 深圳市有光图像科技有限公司 一种基于叉车视觉识别托盘的方法及叉车
JP2018158779A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 車載装置、荷役機、制御回路、制御方法、及びプログラム
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP2020189719A (ja) * 2019-05-21 2020-11-26 株式会社豊田自動織機 自動運転フォークリフト用荷置き位置検出装置
JPWO2019163378A1 (ja) * 2018-02-23 2021-03-04 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム
JP2021038088A (ja) * 2019-09-05 2021-03-11 株式会社豊田自動織機 フォークリフト及びコンテナ姿勢検出方法
JP2021042070A (ja) * 2019-09-13 2021-03-18 株式会社豊田自動織機 位置姿勢推定装置
WO2022149315A1 (ja) * 2021-01-07 2022-07-14 グローリー株式会社 寸法測定装置および寸法測定方法
WO2022168377A1 (ja) * 2021-02-05 2022-08-11 パナソニックIpマネジメント株式会社 荷物搬送システム、並びに荷物搬送システムにおいて用いられる方法およびコンピュータプログラム
WO2022190634A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送可否判定装置、測距装置、搬送ユニット、搬送可否判定方法、搬送可否判定プログラム
WO2022190635A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送ユニット、搬送方法、搬送プログラム
WO2022190628A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送台検出装置およびこれを備えた搬送台検出システム、搬送台検出方法、搬送台検出プログラム
WO2022190629A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム
EP4112534A1 (en) 2021-07-02 2023-01-04 Mitsubishi Logisnext Co., Ltd. Initial setting method for unmanned forklift
WO2023157443A1 (ja) * 2022-02-21 2023-08-24 株式会社日立製作所 物体姿勢算出装置および物体姿勢算出方法
JP7482808B2 (ja) 2021-02-05 2024-05-14 三菱ロジスネクスト株式会社 移動体の制御方法、移動体及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017178567A (ja) * 2016-03-30 2017-10-05 株式会社豊田中央研究所 フォークリフト
JP6972600B2 (ja) * 2017-03-22 2021-11-24 日本電気株式会社 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP6880884B2 (ja) * 2017-03-22 2021-06-02 日本電気株式会社 車載装置、荷役機、制御回路、制御方法、及びプログラム
JP6880950B2 (ja) * 2017-04-05 2021-06-02 村田機械株式会社 陥凹部検出装置、搬送装置、および、陥凹部検出方法
KR102359931B1 (ko) * 2017-04-28 2022-02-07 현대자동차 주식회사 지게차 시스템, 및 그 제어방법
CN109850810B (zh) * 2019-03-13 2020-09-25 南京实邦智能科技有限公司 叉车运动控制方法及装置
CN110082720A (zh) * 2019-04-04 2019-08-02 南京实邦智能科技有限公司 托盘信息采集装置、控制方法及托盘搬运车辆
US11591197B2 (en) * 2019-04-05 2023-02-28 The Raymond Corporation Load handling module for a material handling vehicle
DE102020105804A1 (de) 2020-03-04 2021-09-09 Jungheinrich Aktiengesellschaft System zur Inspektion eines Lagers
JP7179102B2 (ja) * 2021-02-05 2022-11-28 三菱ロジスネクスト株式会社 移動体の制御方法、移動体及びプログラム
JP7325465B2 (ja) * 2021-03-15 2023-08-14 三菱重工業株式会社 移動体の制御方法、移動体及びプログラム
US20220375206A1 (en) * 2021-05-19 2022-11-24 Nakanishi Metal Works Co., Ltd. Unmanned forklift
EP4324782A1 (en) * 2022-08-16 2024-02-21 Palfinger AG Forklift

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5957898A (ja) * 1982-09-28 1984-04-03 株式会社豊田自動織機製作所 無人フオ−クリフトにおける荷役作業制御方法
JPH0279398U (ja) * 1988-12-05 1990-06-19
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
JP2005089013A (ja) * 2003-09-12 2005-04-07 Nippon Yusoki Co Ltd フォークリフト

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10323641A1 (de) * 2003-05-26 2005-01-05 Daimlerchrysler Ag Bewegliche Sensoreinrichtung am Lastmittel eines Gabelstaplers
US8192137B2 (en) * 2004-05-03 2012-06-05 Jervis B. Webb Company Automatic transport loading system and method
CN201237644Y (zh) * 2008-03-21 2009-05-13 上海海镭激光科技有限公司 一种叉车与装载机倒车报警装置
BE1018160A3 (nl) 2008-05-26 2010-06-01 Egemin Nv Automatisch gestuurd voertuig en werkwijze voor het sturen daarbij toegepast.
US8169596B2 (en) * 2009-08-17 2012-05-01 Seegrid Corporation System and method using a multi-plane curtain
US8538577B2 (en) * 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
US8965561B2 (en) * 2013-03-15 2015-02-24 Cybernet Systems Corporation Automated warehousing using robotic forklifts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5957898A (ja) * 1982-09-28 1984-04-03 株式会社豊田自動織機製作所 無人フオ−クリフトにおける荷役作業制御方法
JPH0279398U (ja) * 1988-12-05 1990-06-19
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
JP2005089013A (ja) * 2003-09-12 2005-04-07 Nippon Yusoki Co Ltd フォークリフト

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106672859A (zh) * 2017-01-05 2017-05-17 深圳市有光图像科技有限公司 一种基于叉车视觉识别托盘的方法及叉车
JP2018158779A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 車載装置、荷役機、制御回路、制御方法、及びプログラム
US11643312B2 (en) 2017-03-22 2023-05-09 Nec Cororation Vehicle-mounted device, cargo handling machine, control circuit, control method, and program thereof
JPWO2019163378A1 (ja) * 2018-02-23 2021-03-04 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム
JP7259835B2 (ja) 2018-02-23 2023-04-18 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JPWO2020066847A1 (ja) * 2018-09-28 2021-08-30 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP7249494B2 (ja) 2018-09-28 2023-03-31 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法
JP2020189719A (ja) * 2019-05-21 2020-11-26 株式会社豊田自動織機 自動運転フォークリフト用荷置き位置検出装置
JP7095653B2 (ja) 2019-05-21 2022-07-05 株式会社豊田自動織機 自動運転フォークリフト用荷置き位置検出装置
JP7172922B2 (ja) 2019-09-05 2022-11-16 株式会社豊田自動織機 フォークリフト及びコンテナ姿勢検出方法
JP2021038088A (ja) * 2019-09-05 2021-03-11 株式会社豊田自動織機 フォークリフト及びコンテナ姿勢検出方法
JP2021042070A (ja) * 2019-09-13 2021-03-18 株式会社豊田自動織機 位置姿勢推定装置
JP7272197B2 (ja) 2019-09-13 2023-05-12 株式会社豊田自動織機 位置姿勢推定装置
US11718513B2 (en) 2019-09-13 2023-08-08 Kabushiki Kaisha Toyota Jidoshokki Position and posture estimation system
WO2022149315A1 (ja) * 2021-01-07 2022-07-14 グローリー株式会社 寸法測定装置および寸法測定方法
WO2022168377A1 (ja) * 2021-02-05 2022-08-11 パナソニックIpマネジメント株式会社 荷物搬送システム、並びに荷物搬送システムにおいて用いられる方法およびコンピュータプログラム
JP7482808B2 (ja) 2021-02-05 2024-05-14 三菱ロジスネクスト株式会社 移動体の制御方法、移動体及びプログラム
WO2022190628A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送台検出装置およびこれを備えた搬送台検出システム、搬送台検出方法、搬送台検出プログラム
WO2022190629A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム
WO2022190635A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送ユニット、搬送方法、搬送プログラム
WO2022190634A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 搬送可否判定装置、測距装置、搬送ユニット、搬送可否判定方法、搬送可否判定プログラム
EP4112534A1 (en) 2021-07-02 2023-01-04 Mitsubishi Logisnext Co., Ltd. Initial setting method for unmanned forklift
WO2023157443A1 (ja) * 2022-02-21 2023-08-24 株式会社日立製作所 物体姿勢算出装置および物体姿勢算出方法

Also Published As

Publication number Publication date
EP3296250A4 (en) 2018-04-04
US10850961B2 (en) 2020-12-01
JP6542574B2 (ja) 2019-07-10
CN107531469B (zh) 2019-07-05
CN107531469A (zh) 2018-01-02
US20180155169A1 (en) 2018-06-07
WO2016181733A1 (ja) 2016-11-17
EP3296250B1 (en) 2019-03-20
EP3296250A1 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
WO2016181733A1 (ja) フォークリフト
JP6469506B2 (ja) フォークリフト
JP2017178567A (ja) フォークリフト
CN108793013B (zh) 叉车系统及其控制方法
JP4462196B2 (ja) 移動車両
US9950587B2 (en) Inclination detection method, inclination detection apparatus, and equipment for detecting inclination
EP3226030A1 (en) Mobile apparatus
CN113387302B (zh) 移动控制系统、移动体、控制方法以及存储介质
JP2017102705A (ja) 自律移動装置及び自律移動装置システム
JP5218479B2 (ja) 移動体システム
JP6520492B2 (ja) フォークリフトにおける荷取り方法及びフォークリフト
US20210276842A1 (en) Warehouse inspection system
CN108136934B (zh) 移动体
US20240134047A1 (en) Transport possibility determination device, distance measurement device, transport unit, transport possibility determination method, and transport possibility determination program
JP2020142903A (ja) 画像処理装置、および制御プログラム
JP6539958B2 (ja) 搬送車
US20230205213A1 (en) Control method for mobile object, mobile object, and computer-readable storage medium
JP2023064294A (ja) 位置姿勢推定装置
JP2023140976A (ja) 演算装置、演算方法及びプログラム
JP2023124122A (ja) 物品検出装置、物品検出方法、及び産業車両
JP2023056669A (ja) 走行制御装置
JP2023048442A (ja) フォークリフト
JP2023142351A (ja) 高さ検出装置、荷役車両及びプログラム
JP2023076925A (ja) 位置姿勢推定装置
JP2022124816A (ja) 移動体の制御方法、移動体及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R150 Certificate of patent or registration of utility model

Ref document number: 6542574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250