JP2022179331A - Unmanned forklift - Google Patents

Unmanned forklift Download PDF

Info

Publication number
JP2022179331A
JP2022179331A JP2022042127A JP2022042127A JP2022179331A JP 2022179331 A JP2022179331 A JP 2022179331A JP 2022042127 A JP2022042127 A JP 2022042127A JP 2022042127 A JP2022042127 A JP 2022042127A JP 2022179331 A JP2022179331 A JP 2022179331A
Authority
JP
Japan
Prior art keywords
pallet
target
shape data
fork
unmanned forklift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022042127A
Other languages
Japanese (ja)
Inventor
圭佐 小野田
Keisuke Onoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakanishi Metal Works Co Ltd
Original Assignee
Nakanishi Metal Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nakanishi Metal Works Co Ltd filed Critical Nakanishi Metal Works Co Ltd
Priority to US17/663,295 priority Critical patent/US20220375206A1/en
Publication of JP2022179331A publication Critical patent/JP2022179331A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

To detect a deviation amount between a position and an attitude of an object pallet with high accuracy by suppressing the reduction in working speed and the increase in cost without any limitation on the kind of a pallet to be handled.SOLUTION: An image acquisition unit acquires a photographed image from an imaging device S1. A pallet type identification unit has a learning model about a combination of images of plural types of pallets and the types of the pallets and identifies a type of an object pallet P1 by inputting the photographed image of the object pallet P1 acquired by the image acquisition unit in the learning model. A pallet position and shape acquisition unit acquires position and shape data of the object pallet P1 from a distance measurement device S2 for measuring a distance to the object pallet P1. A pallet deviation amount detection unit stores position and shape data of the pallet in advance and compares the stored position and shape data corresponding to the type of the identified object pallet P1 and position and shape data of the object pallet P1.SELECTED DRAWING: Figure 3

Description

本発明は、無人で自走して荷役作業を行う無人フォークリフトに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an unmanned forklift that is self-propelled and performs cargo handling work.

無人フォークリフトにおいて、パレットの差込口(特許文献1では穴20)に対してフォークを差し込み可能な状態か否かを判断する技術がある(例えば、特許文献1の第1の実施形態参照)。この技術では、無人フォークリフト11は、フォーク14とともに昇降可能なレーザレンジファインダ18を備える。レーザレンジファインダ18は、荷取り位置に配置されたパレット19の開口端面19aにレーザビームを照射しつつ走査し、穴20の縁の線の画像データを入手する。そして、パターンコントローラ21が、無人フォークリフト11に対するパレット19の端面の距離及び傾きを変更した複数の条件で予め撮像した穴20の線の画像データと、入手した穴20の線の画像データを比較することで、パレット19の穴20に対してフォーク14を差し込み可能な状態か否かを判断する。 In an unmanned forklift, there is a technique for determining whether or not a fork can be inserted into an insertion port (hole 20 in Patent Document 1) of a pallet (see, for example, the first embodiment of Patent Document 1). In this technology, the unmanned forklift 11 is equipped with a laser range finder 18 that can move up and down together with the forks 14 . The laser range finder 18 irradiates and scans the opening end face 19a of the pallet 19 placed at the pickup position with a laser beam to obtain image data of the edge line of the hole 20. FIG. Then, the pattern controller 21 compares the obtained image data of the line of the hole 20 with the image data of the line of the hole 20 captured in advance under a plurality of conditions in which the distance and inclination of the end surface of the pallet 19 with respect to the unmanned forklift 11 are changed. Thus, it is determined whether or not the fork 14 can be inserted into the hole 20 of the pallet 19 .

また、無人フォークリフトにおいて、パレットの種類を識別し、識別したパレットの差込口(特許文献1では穴20)の間隔に合わせてフォークの間隔を調整する技術がある(例えば、特許文献1の第2の実施形態参照)。この技術では、パレット19として、穴20の間隔の異なる複数種類を使用し、無人フォークリフト11は、一対のフォーク14の間隔を調整可能なフォークシフタを備える。レーザレンジファインダ18による穴20の縁の線の画像データからパターンコントローラ21がパレット19の幅を特定することでパレット19の種類を識別する。そして、識別したパレット19の幅に対応する穴20の間隔に合わせて制御装置17がフォークシフタを制御し、一対のフォーク14の間隔を調整する。 In addition, in an unmanned forklift, there is a technique for identifying the type of pallet and adjusting the fork interval according to the interval between the identified pallet insertion openings (holes 20 in Patent Document 1) (for example, Patent Document 1, No. 2 embodiment). In this technique, a plurality of types of pallets 19 with different intervals of holes 20 are used, and the unmanned forklift 11 is provided with a fork shifter capable of adjusting the interval between the pair of forks 14 . The pattern controller 21 specifies the width of the pallet 19 from the image data of the edge line of the hole 20 obtained by the laser range finder 18, thereby identifying the type of the pallet 19. FIG. Then, the controller 17 controls the fork shifters to adjust the spacing between the pair of forks 14 in accordance with the spacing of the holes 20 corresponding to the identified width of the pallet 19 .

さらに、無人フォークリフトにおいて、パレットの種類を識別する技術がある(例えば、特許文献2参照)。この技術では、パレット05にパターン01を設けており、無人フォークリフト5が一対のカメラ3,4を備える。カメラ3,4は、パレット05のパターン01を撮影する。そして、撮影したパターンから位置決定手段がパレット05の位置を定め、照合手段が撮影パターンを参照パターンと照合してパレット05の種類を識別する。 Furthermore, there is a technique for identifying the type of pallet in an unmanned forklift (see Patent Document 2, for example). In this technique, a pattern 01 is provided on a pallet 05 and an unmanned forklift 5 is equipped with a pair of cameras 3 and 4. Cameras 3 and 4 photograph pattern 01 on pallet 05 . Then, the position determination means determines the position of the pallet 05 from the photographed pattern, and the collation means collates the photographed pattern with the reference pattern to identify the type of the pallet 05 .

特開2017-19596公報Japanese Patent Application Laid-Open No. 2017-19596 特開平9-218014公報Japanese Patent Application Laid-Open No. 9-218014

特許文献1の無人フォークリフトにおけるパレットの種類の識別は、レーザによる距離測定でパレットの開口端面の穴の縁の線の画像を検出することにより行われる。したがって、例えば、パレットの真横に荷物や他のパレットがある場合、積荷をパレットに固定するための
1647479821055_0
の一部がパレットの穴を塞いでいる場合、又は異物がパレットの穴に侵入した場合等において、パレットの種類を識別できないおそれやパレットの種類を誤って識別するおそれがある。
Identification of the type of pallet in the unmanned forklift of Patent Document 1 is performed by detecting an image of the edge line of the hole in the open end face of the pallet by distance measurement using a laser. So, for example, if there is a load or another pallet right next to the pallet, the
1647479821055_0
block the holes of the pallet, or foreign matter enters the holes of the pallet, there is a risk that the type of the pallet cannot be identified or that the type of the pallet is erroneously identified.

特許文献2の無人フォークリフトにおけるパレットの種類の識別は、無人フォークリフトによる荷役作業の対象となるパレットの全てにパターンを貼り付ける必要があるので、コストが増大する。また、形状の異なる多種類のパレットを対象とする場合に、それら全てのパレットに対してパターンを貼り付ける共通の場所が必要となるので、扱えるパレットの種類が制限される。 Identification of the type of pallet in the unmanned forklift of Patent Document 2 requires affixing a pattern to all pallets to be handled by the unmanned forklift, which increases costs. In addition, when many types of pallets with different shapes are targeted, a common place for pasting patterns is required for all of the pallets, which limits the types of pallets that can be handled.

一方、例えばレーザスキャナ等の距離検出器のみで複数種類のパレットの位置ずれ量を検出する場合には、複数種類のパレットの記憶済みの位置・形状データの全種類に対して前記距離検出器により取得された実測形状データを比較照合することで対応するパレットの種類を識別する必要がある。 On the other hand, in the case of detecting the amount of positional deviation of a plurality of types of pallets only with a distance detector such as a laser scanner, the distance detector can be used for all types of stored position/shape data of the plurality of types of pallets. It is necessary to identify the type of the corresponding pallet by comparing and collating the obtained measured shape data.

そのため、距離データのみで測定する前記距離検出器の特性上、対象となるパレットの種類が増えた場合に、床上に置かれたパレット以外の物品(例えば段ボール箱等)を特定種類のパレットとして誤認識する可能性が増大する。 Therefore, due to the characteristics of the distance detector that measures only distance data, when the number of types of target pallets increases, items other than pallets placed on the floor (for example, cardboard boxes) may be incorrectly identified as a specific type of pallet. Increased chances of recognition.

その上、複数種類のパレットの形状データとの比較照合の計算負荷が大きいことから、計算に時間が掛かって作業速度が低下したり、処理能力の高い高価な計算機を使用するとコストが増大する。 In addition, the computational load of comparing and collating with shape data of a plurality of types of pallets is large, so the computation takes time and the work speed decreases, and the cost increases if an expensive computer with high processing power is used.

本発明は、扱えるパレットの種類に制限はなく、作業速度の低下及びコストの増大を抑制でき、パレットの正規位置に対する対象パレットの位置と姿勢のずれ量を高い精度で検出して所要の荷役作業を確実に行える無人フォークリフトを提供することを目的とする。 The present invention does not limit the types of pallets that can be handled, suppresses a decrease in work speed and an increase in costs, and detects with high accuracy the amount of deviation in the position and posture of a target pallet from its normal position, thereby performing the required cargo handling work. To provide an unmanned forklift capable of reliably performing

本発明に係る無人フォークリフトは、前記課題解決のために、
パレットを用いた荷役作業を自動で行う、一対のフォークを備えた無人フォークリフトであって、
前記無人フォークリフトの前方を撮影する撮影装置から撮影画像を取得する画像取得部と、
複数種類の前記パレットについて、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有し、前記画像取得部が取得した対象パレットの前記撮影画像を前記学習モデルに入力することで前記対象パレットの種類を識別するパレット種類識別部と、
前記対象パレットとの距離を測定する距離測定装置から前記対象パレットの位置・形状データを取得するパレット位置・形状取得部と、
複数種類の前記パレットについて、各々の前記パレットの位置・形状データを予め記憶し、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、前記パレット位置・形状取得部が取得した前記対象パレットの位置・形状データを比較することにより、正規位置に対する前記対象パレットの位置と姿勢のずれ量を検出するパレットずれ量検出部と、
(A)検出された前記ずれ量を用いて、前記対象パレットの差込口に対して前記フォークを差し込む動作を含む作業、
(B)前記フォークを差込口に差し込んで保持しているパレット及び積荷を、前記対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業、
の少なくとも一方の作業を行うための走行を制御する走行制御部と、
を備える。
The unmanned forklift according to the present invention, in order to solve the above problems,
An unmanned forklift equipped with a pair of forks that automatically performs cargo handling work using pallets,
an image acquisition unit that acquires a photographed image from a photographing device that photographs the front of the unmanned forklift;
For a plurality of types of the palette, having a learned model that has undergone machine learning on combinations of the images of the palette and the types of the palette, and the captured image of the target palette acquired by the image acquisition unit. a pallet type identification unit that identifies the type of the target pallet by inputting it into the learning model;
a pallet position/shape acquisition unit that acquires position/shape data of the target pallet from a distance measuring device that measures the distance from the target pallet;
Position/shape data of each of the plurality of types of pallets is stored in advance, and the stored position/shape data corresponding to the type of the target pallet identified by the pallet type identification unit and the pallet position. a pallet deviation amount detection unit that detects the amount of deviation of the position and orientation of the target pallet from the normal position by comparing the position and shape data of the target pallet acquired by the shape acquisition unit;
(A) work including an operation of inserting the fork into the insertion opening of the target pallet using the detected deviation amount;
(B) a stacking operation of stacking the pallet and the load held by inserting the fork into the insertion slot on top of the load of the target pallet according to the deviation amount of the target pallet;
A travel control unit that controls travel for performing at least one of the work of
Prepare.

このような構成によれば、無人フォークリフトが搬送する対象が、形状が異なる複数種類のパレットである場合であっても、扱えるパレットの種類に制限はなく、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルに前記撮影画像を入力することで、前記パレット種類識別部が前記対象パレットの種類を高い精度で識別する。そして、パレットずれ量検出部が、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部が得た前記対象パレットの位置・形状データを比較照合することができる。 According to such a configuration, even if objects to be transported by the unmanned forklift are a plurality of types of pallets having different shapes, the types of pallets that can be handled are not limited. By inputting the photographed image into a learning model that has already undergone machine learning on combinations of types, the palette type identification unit identifies the type of the target palette with high accuracy. Then, the pallet shift amount detection unit stores stored position/shape data corresponding to the type of the target pallet identified by the pallet type identification unit, and the position/shape data of the target pallet obtained by the pallet position/shape acquisition unit. Shape data can be compared and collated.

それにより、パレットの正規位置に対する前記対象パレットの位置と姿勢のずれ量を高い精度で検出できるとともに、床上に置かれたパレット以外の物品(例えば、段ボール箱等)を特定種類のパレットとして誤認識してフォークとパレットや物品が干渉するような事故を防ぐことができる。また、パレットの形状データの比較照合の計算が短縮され、作業速度が向上するので、処理能力の高い高価な計算機を使用する必要がない。 As a result, the deviation amount of the position and attitude of the target pallet from the normal position of the pallet can be detected with high accuracy, and an article other than the pallet placed on the floor (for example, a cardboard box, etc.) is erroneously recognized as a specific type of pallet. It is possible to prevent accidents such as interference between the fork and the pallet or goods. In addition, since calculations for comparison and collation of pallet shape data are shortened and work speed is improved, there is no need to use an expensive computer with high processing power.

前記対象パレットの前記ずれ量を高い精度で検出した上で、無人フォークリフトは、例えば、前記作業(A)として、床上のパレット及び積荷をピックアップして他所に搬送する作業、1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する作業、又は前記作業(B)の前記段積み作業等の所要の荷役作業を行うことができる。 After detecting the amount of deviation of the target pallet with high accuracy, the unmanned forklift performs, for example, the work (A) of picking up the pallet and cargo on the floor and transporting it to another place, It is possible to perform required cargo handling work such as the work of picking up the second tier pallet on the cargo and the cargo and transporting it to another place, or the stacking work of the work (B).

ここで、前記位置・形状データは、前記パレットの差込口を含む高さのデータであり、
前記パレットずれ量検出部は、前記対象パレットの種類に対応した記憶済みの前記位置・形状データに基づく線分と、前記パレット位置・形状取得部が取得した前記対象パレットの前記位置・形状データに基づく線分とを重ね合わせて比較するのが好ましい実施態様である。
Here, the position/shape data is height data including the insertion port of the pallet,
The pallet shift amount detection unit detects line segments based on the stored position/shape data corresponding to the type of the target pallet and the position/shape data of the target pallet acquired by the pallet position/shape acquisition unit. It is a preferred embodiment to superimpose and compare the line segments based on.

このような構成によれば、線分を重ね合わせて比較してずれ量を把握するので、計算コストが抑えられる。その上、水平方向のスキャンだけで前記高さのデータが得られることから、対象パレットとの距離を測定する距離測定装置を上下動させる必要がないので、対象パレットの位置と姿勢のずれ量を検出する時間を短縮できる。 According to such a configuration, since the line segments are superimposed and compared to grasp the deviation amount, the calculation cost can be suppressed. Moreover, since the height data can be obtained only by scanning in the horizontal direction, there is no need to move the distance measuring device for measuring the distance to the target pallet up and down. It can shorten the detection time.

また、前記パレットずれ量検出部により検出された前記ずれ量が所定の閾値より超えた場合にエラー判定をするずれ量エラー判定部をさらに備えるのが好ましい実施態様である。 In a preferred embodiment, the apparatus further comprises a shift amount error determination section that performs an error determination when the shift amount detected by the pallet shift amount detection section exceeds a predetermined threshold value.

このような構成によれば、前記ずれ量が大きいため対象パレットにフォークを差し込めない場合には、フォーク差込み動作前にエラー判定することで、対象パレットとフォークが干渉する事故を未然に防げる。例えば、前記エラー判定の基準となる前記ずれ量の閾値は、距離測定装置が対象パレットとの距離を測定してパレット位置・形状取得部により対象パレットの位置・形状データを取得する際に無人フォークリフトを停止させる所定停止位置から無人フォークリフトが自走して対象パレットにフォークを差し込み可能な範囲の最大値とする。 According to such a configuration, when the forks cannot be inserted into the target pallet due to the large amount of deviation, an error determination is made before the fork insertion operation, thereby preventing an accident in which the target pallet and the forks interfere with each other. For example, the threshold value of the amount of deviation, which is the standard for the error determination, is set when the distance measuring device measures the distance to the target pallet and the pallet position/shape acquisition unit acquires the position/shape data of the target pallet. The maximum value of the range in which the unmanned forklift can move by itself and insert the forks into the target pallet from the predetermined stop position where the is stopped.

さらに、前記パレット位置・形状取得部が取得した前記対象パレットの形状データと、予め記憶された前記対象パレットと同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した前記対象パレットの形状データに誤りがあると判定するパレット形状判定部をさらに備えるのが好ましい実施態様である。 Further, when the shape data of the target pallet acquired by the pallet position/shape acquisition unit is compared with the shape data of a pallet of the same type as the target pallet stored in advance, and the difference therebetween is greater than a predetermined threshold. In a preferred embodiment, further includes a pallet shape determination unit that determines that the acquired shape data of the target pallet has an error.

このような構成によれば、例えば対象パレットのすぐ横に別の物品(例えば段ボール箱等)が置かれていた場合に、前記物品の影響で対象パレットの大きさを間違えて検出したとしても、パレット種類識別部により識別された対象パレットの種類に相当する記憶済みのパレットの形状と比較することで誤りを判定することができる。それにより、フォークが対象パレットの差込口に干渉して作業が停止する事故を防ぐことができる。 According to such a configuration, for example, when another article (for example, a cardboard box) is placed right next to the target pallet, even if the size of the target pallet is detected incorrectly due to the influence of the article, An error can be determined by comparing with the stored pallet shape corresponding to the type of the target pallet identified by the pallet type identification unit. As a result, it is possible to prevent the fork from interfering with the insertion port of the target pallet and stopping the work.

さらにまた、前記画像取得部が取得した前記対象パレットの前記撮影画像を画像処理することにより、前記対象パレットがあると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別するパレット段積み判別部をさらに備えるのが好ましい実施態様である。 Furthermore, by performing image processing on the photographed image of the target pallet acquired by the image acquiring unit, the number of pallets within a predetermined range that is set to include the target pallet is calculated to determine whether or not there is stacking. It is a preferred embodiment to further include a pallet stacking determination unit that determines the .

このような構成によれば、無人フォークリフトの正面の特定範囲内のパレットの数量のみを算出することにより、対象パレット以外のパレットを誤検出することなく、パレットの段積みの有無を確実に判別できる。例えば、床上の対象パレットの側方に置かれている対象外のパレットも検出してパレット数量が2個であると算出してしまう誤検出が生じないので、段積みできるのに段積みできないとする誤判別がなくなる。 According to such a configuration, by calculating only the number of pallets within a specific range in front of the unmanned forklift, it is possible to reliably determine whether or not pallets are stacked without erroneously detecting pallets other than the target pallet. . For example, if a non-target pallet that is placed on the side of the target pallet on the floor is detected and the number of pallets is calculated as 2, there is no false detection. Misjudgment to do is eliminated.

また、前記パレット段積み判別部は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものであるのが好ましい実施態様である。 Further, it is a preferred embodiment that the pallet stacking determination unit performs machine learning in advance using respective pallet images as training data for pallets in a plurality of upper and lower tiers.

このような構成によれば、どの段のパレットかによりパレットの周囲画像が異なる場合に、各々の異なる前記周囲画像を教師データとして学習しているので、パレットの検出精度を向上できる。 According to such a configuration, when the surrounding images of the pallet differ depending on which stage of the pallet it is, the different surrounding images are learned as teacher data, so that the pallet detection accuracy can be improved.

さらに、前記パレット種類識別部から得られた前記対象パレットの種類により、当該対象パレットの差込口の間隔に合わせて前記フォークの間隔を変更するフォーク幅変更装置をさらに備えるのが好ましい実施態様である。 Furthermore, the preferred embodiment further comprises a fork width changing device that changes the interval between the forks according to the interval between the insertion openings of the target pallet according to the type of the target pallet obtained from the pallet type identification unit. be.

このような構成によれば、差込口の間隔が異なる対象パレット毎に無人フォークリフトを用意する必要がなく、差込口の間隔に対応したフォークの間隔になるようフォーク幅変更装置を動作させることで、1台の無人フォークリフトで複数種類のパレットを搬送できる。 According to such a configuration, it is not necessary to prepare an unmanned forklift for each target pallet having different insertion opening intervals, and the fork width changing device can be operated so that the fork intervals correspond to the insertion opening intervals. A single unmanned forklift can transport multiple types of pallets.

さらにまた、前記フォークの先端に配置した、前方の物体の有無を検出する距離センサと、
前記フォークが前記パレットを保持しているか否かを検出する在荷センサと、
をさらに備え、
前記距離センサによる前記物体の有無の検出結果、及び前記在荷センサによる前記パレットを保持しているか否かの検出結果を用いて、
1段目のパレットの積荷上に2段目のパレット及び積荷を積み込む段積み作業、及び/又は、
1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業を行うのが好ましい実施態様である。
Furthermore, a distance sensor arranged at the tip of the fork for detecting the presence or absence of an object in front;
a load sensor that detects whether the fork holds the pallet;
further comprising
Using the detection result of the presence or absence of the object by the distance sensor and the detection result of whether or not the pallet is held by the load sensor,
A stacking operation in which the second pallet and cargo are loaded on top of the first pallet cargo, and/or
In a preferred embodiment, a tier destacking operation is performed to pick up the second tier pallet and cargo on top of the first pallet cargo and transport them to another location.

このような構成によれば、前記段積み作業を行う場合において、前記距離センサにより1段目のパレット上の積荷の高さを検出でき、前記在荷センサにより前記段積み作業後に前記フォークを引き抜く高さを検出できる。また、前記段バラシ作業を行う場合において、前記距離センサにより2段目のパレットの差込口の高さを検出でき、前記在荷センサにより前記段バラシ作業で保持すべきパレット及び積荷を前記フォークが保持した状態を検出できる。したがって、前記距離センサ及び前記在荷センサにより、確実な段積み作業及び又は段バラシ作業を行うことが可能になる。 According to this configuration, when the stacking work is performed, the distance sensor can detect the height of the cargo on the first pallet, and the load sensor pulls out the forks after the stacking work. Height can be detected. Further, when performing the stacking work, the distance sensor can detect the height of the insertion opening of the second pallet, and the load sensor can detect the pallet and cargo to be held in the stacking work by the fork. can detect the state held by Therefore, the distance sensor and the load sensor enable reliable stacking and/or destacking operations.

また、第一停止位置で前記撮影装置が前記対象パレットを撮影して前記パレット種類識別部により前記対象パレットの種類を識別し、前記第一停止位置よりも前記対象パレットに接近する第二停止位置で前記距離測定装置が前記対象パレットとの距離を測定して前記パレット位置・形状取得部により前記対象パレットの位置・形状データを取得するのが好ましい実施態様である。 Further, the photographing device photographs the target pallet at the first stop position, the pallet type identification unit identifies the type of the target pallet, and the second stop position is closer to the target pallet than the first stop position. In a preferred embodiment, the distance measuring device measures the distance to the target pallet, and the pallet position/shape acquiring unit acquires the position/shape data of the target pallet.

このような構成によれば、第一停止位置よりも対象パレットに接近する第二停止位置で距離測定装置が対象パレットとの距離を測定してパレット位置・形状取得部により対象パレットの位置・形状データを取得するので、パレットずれ量検出部による対象パレットの位置と姿勢のずれ量をより精度よく検出することができる。 According to such a configuration, the distance measuring device measures the distance from the target pallet at the second stop position closer to the target pallet than the first stop position, and the pallet position/shape acquisition unit detects the position and shape of the target pallet. Since the data is acquired, the deviation amount of the position and orientation of the target pallet can be detected more accurately by the pallet deviation amount detection unit.

以上のとおり、本発明の無人フォークリフトは、扱えるパレットの種類に制限はなく、作業速度の低下及びコストの増大を抑制でき、パレットの正規位置に対する対象パレットの位置と姿勢のずれ量を高い精度で検出して所要の荷役作業を確実に行うことができる。 As described above, the unmanned forklift of the present invention has no restrictions on the types of pallets that can be handled, can suppress a decrease in work speed and an increase in costs, and can accurately measure the amount of deviation of the position and posture of the target pallet from the normal position of the pallet. It is possible to reliably perform the required cargo handling work by detecting it.

本発明の実施形態に係る無人フォークリフトの斜視図である。1 is a perspective view of an unmanned forklift according to an embodiment of the present invention; FIG. パレット及び積荷を保持した前記無人フォークリフトを左方から見た図であり、フォークが差込口に挿入されたパレットを断面図にしている。Fig. 2 is a left side view of the unmanned forklift holding a pallet and a load, showing a cross section of the pallet with the forks inserted into the receptacles; 床面上のパレット及び積荷、並びに前記無人フォークリフトを示す斜視図である。1 is a perspective view showing a pallet and cargo on the floor, and the unmanned forklift; FIG. 機器構成の概要を示すブロック図である。It is a block diagram which shows the outline|summary of apparatus configuration. 右フォークの先端部に配置するセンサを示す要部拡大横断面図である。FIG. 4 is an enlarged cross-sectional view of a main part showing a sensor arranged at the tip of the right fork; 右フォークの先端部に配置するセンサを示す要部拡大縦断面図である。FIG. 4 is an enlarged vertical cross-sectional view of a main part showing a sensor arranged at the tip of the right fork; 在荷センサまわりを示す左方から見た要部拡大図である。FIG. 10 is an enlarged view of the essential part seen from the left side showing the surroundings of the load sensor; 在荷センサまわりを示す要部拡大横断面図である。FIG. 4 is an enlarged cross-sectional view of a main part showing the surroundings of the load sensor; パレット種類識別部が対象パレットの種類を識別した状態の画像の例を示す図である。FIG. 10 is a diagram showing an example of an image in which the palette type identification unit has identified the type of the target palette; 対象パレットの種類に対応した記憶済みのパレットの点群データに基づく線分を示す平面概略図である。FIG. 4 is a schematic plan view showing line segments based on point cloud data of stored pallets corresponding to the type of target pallet; 図8Aの前記線分と、パレット位置・形状取得部が取得した対象パレットの点群データに基づく線分とを重ね合わせた状態を示す平面概略図である。FIG. 8B is a schematic plan view showing a state in which the line segment in FIG. 8A and a line segment based on the point cloud data of the target pallet acquired by the pallet position/shape acquisition unit are superimposed. フォーク幅変更装置の正面図である。It is a front view of a fork width change device. フォーク幅変更装置でフォーク幅を狭める動作説明用の概略平面図である。It is a schematic plan view for operation|movement description which narrows a fork width with a fork width change apparatus. フォーク幅変更装置でフォーク幅を広げる動作説明用の概略平面図である。It is a schematic plan view for operation|movement description which widens a fork width with a fork width change apparatus. 段積み作業の動作例の説明図であり、対象パレットに近づいた無人フォークリフトが対象パレットの所定距離手前で停止した状態を示している。FIG. 4 is an explanatory diagram of an operation example of stacking work, showing a state in which an unmanned forklift approaching a target pallet stops a predetermined distance short of the target pallet; 段積み作業の動作例の説明図であり、無人フォークリフトのフォークを上昇させて距離センサにより対象パレット上の積荷の高さを検出した後、さらにフォークを所定距離上昇させて停止した状態を示している。FIG. 10 is an explanatory diagram of an operation example of stacking work, showing a state in which the forks of the unmanned forklift are raised, the height of the cargo on the target pallet is detected by the distance sensor, and then the forks are raised a predetermined distance and stopped. there is 段積み作業の動作例の説明図であり、無人フォークリフトを所定距離前進させて対象パレット及び積荷の上方に段積みするパレット及び積荷を位置させた状態を示している。FIG. 11 is an explanatory diagram of an operation example of stacking work, showing a state in which the unmanned forklift is advanced by a predetermined distance to position the pallet and the load to be stacked above the target pallet and the load. 段積み作業の動作例の説明図であり、フォークを下降させて段積みするパレットの下面が対象パレット上の積荷の上面に接触した瞬間の状態を示している。FIG. 10 is an explanatory diagram of an operation example of stacking work, and shows a state at the moment when the lower surface of the pallet to be stacked by lowering the fork comes into contact with the upper surface of the cargo on the target pallet. 段積み作業の動作例の説明図であり、フォークをさらに下降させて在荷センサがフォーク上に積荷が無いことを検出した状態を示している。FIG. 11 is an explanatory diagram of an operation example of stacking work, showing a state in which the forks are further lowered and the load sensor detects that there is no load on the forks.

以下、本発明に係る実施形態を図面に基づいて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment according to the present invention will be described below with reference to the drawings.

以下の実施形態において、無人フォークリフトのフォークの根元側から先端側を見る方向を前、その反対方向を後とし、前方に向かって左右を定義する。 In the following embodiments, the direction from the base side to the tip side of the fork of the unmanned forklift is defined as the front side, and the opposite direction is defined as the rear side, and left and right are defined toward the front.

無人フォークリフトについては、フォークがある前面に向かって見た図を正面図とする。対象パレット及び積荷については、対象パレットのフォークの差込口がある面に向かって見た図を正面図とする。 For unmanned forklifts, the front view is the front view where the forks are located. For the target pallet and cargo, the front view is the view of the target pallet facing the side where the forks are inserted.

<無人フォークリフト>
図1の斜視図、図2の左方から見た図、図3の斜視図、及び図4の機器構成の概要を示すブロック図に示す本発明の実施形態に係る無人フォークリフト1は、自己位置推定機能を有し、無人フォークリフト1と無線通信を行う管理装置からの行先指示により自走して荷役作業を行う。無人フォークリフト1は、荷役作業を行う荷役装置A、走行動作及び旋回動作を行う移動装置B、荷役装置A及び移動装置Bを制御する制御装置C、フォーク幅変更装置D、並びに処理装置10等を備える。
<Unmanned forklift>
An unmanned forklift 1 according to an embodiment of the present invention shown in the perspective view of FIG. 1, the left view of FIG. 2, the perspective view of FIG. 3, and the block diagram of FIG. The unmanned forklift truck 1 has an estimation function and performs cargo handling work by self-propelled according to a destination instruction from a management device that wirelessly communicates with the unmanned forklift truck 1 . The unmanned forklift 1 includes a cargo handling device A that performs cargo handling work, a moving device B that travels and turns, a control device C that controls the cargo handling device A and the moving device B, a fork width changing device D, a processing device 10, and the like. Prepare.

(荷役装置)
荷役装置Aは、昇降するとともに前後方向に傾動するマストM、パレットP及び積荷Wを積載するフォーク2、及び、フォーク2を支持する、マストMに沿って上下するリフトブラケット3を有する。フォーク2は、右フォーク2R及び左フォーク2Lからなる。
(cargo handling equipment)
The cargo handling apparatus A has a mast M that moves up and down and tilts in the front-rear direction, a fork 2 that carries a pallet P and a cargo W, and a lift bracket 3 that supports the fork 2 and moves up and down along the mast M. The fork 2 consists of a right fork 2R and a left fork 2L.

フォーク2及びリフトブラケット3は、リフトチェーン7によりインナマスト4に沿って上下する。マストMは、リフトブラケット3を支持して昇降するインナマスト4、及びインナマスト4を昇降可能にガイドするアウタマスト5からなる。アウタマスト5は、ティルトシリンダ6により前後方向に傾動する。 The forks 2 and lift brackets 3 are moved up and down along the inner mast 4 by lift chains 7 . The mast M consists of an inner mast 4 that supports the lift bracket 3 and moves up and down, and an outer mast 5 that guides the inner mast 4 so that it can move up and down. The outer mast 5 is tilted forward and backward by a tilt cylinder 6 .

(移動装置)
移動装置Bは、左右一対の前輪、及び駆動輪であるとともに操舵輪である後輪、並びに後輪の駆動装置を有する。
(moving device)
The moving device B has a pair of left and right front wheels, rear wheels that are driving wheels and steering wheels, and a driving device for the rear wheels.

(制御装置)
制御装置Cは、荷役装置Aの昇降駆動装置、移動装置Bの駆動装置、及びティルトシリンダ6の駆動装置を制御するとともに、地上側の管理装置と通信を行う通信装置を有する。また、制御装置Cは、図4に示す処理装置10とのインターフェース並びに距離センサS3及び在荷センサS4とのインターフェースを有する。
(Control device)
The control device C controls the lifting drive device of the cargo handling device A, the drive device of the moving device B, and the drive device of the tilt cylinder 6, and has a communication device that communicates with a management device on the ground side. Further, the control device C has an interface with the processing device 10 shown in FIG. 4 and an interface with the distance sensor S3 and the load sensor S4.

(フォーク幅変更装置)
フォーク幅変更装置Dは、右フォーク2Rと左フォーク2Lの間隔Fを変更する。
(fork width changing device)
The fork width changing device D changes the space F between the right fork 2R and the left fork 2L.

(処理装置)
図4に示す処理装置10は撮影装置S1とのインターフェースを有し、撮影装置S1に対して撮影の指令を行う。また、処理装置10は、距離測定装置S2とのインターフェースを有し、距離測定装置S2に対して距離測定の指令を行う。
(Processing device)
The processing device 10 shown in FIG. 4 has an interface with the photographing device S1 and issues a photographing command to the photographing device S1. The processing device 10 also has an interface with the distance measuring device S2, and issues a distance measurement command to the distance measuring device S2.

<パレット>
図2の左方から見た図、及び図3の斜視図に示すパレットP,P1は、例えば平パレットであり、左右のフォーク2L,2Rの差込口Q,Qを有する。パレットP,P1の上に積荷Wを載せる。
<Palette>
The pallets P and P1 shown in the left view of FIG. 2 and the perspective view of FIG. 3 are flat pallets, for example, and have insertion openings Q and Q for left and right forks 2L and 2R. A cargo W is placed on the pallets P and P1.

<センサ群>
図1の斜視図、及び図4の機器構成の概要を示すブロック図に示すように、無人フォークリフト1は、撮影装置S1、距離測定装置S2、距離センサS3、及び在荷センサS4、並びに自己位置認識用センサS5、及び障害物検知センサS6を備える。センサ群S1~S6は、後述する位置に配置される。図4に示す制御装置C及び処理装置10は、図1に示すように、無人フォークリフト1の本体1A内に配置される。
<Sensor group>
As shown in the perspective view of FIG. 1 and the block diagram showing the outline of the equipment configuration in FIG. A recognition sensor S5 and an obstacle detection sensor S6 are provided. The sensor groups S1 to S6 are arranged at positions to be described later. The control device C and the processing device 10 shown in FIG. 4 are arranged inside the main body 1A of the unmanned forklift 1 as shown in FIG.

(撮影装置、距離測定装置)
図1に示すように、撮影装置S1及び距離測定装置S2は、無人フォークリフト1の本体1Aの前下部の左右方向中央から前方へ突出する支持板Iに取り付けられたブラケットJにより保持される。すなわち、撮影装置S1及び距離測定装置S2は、リフトブラケット3やフォーク2等の本体1Aに対して可動の部材ではなく、本体1Aに対して非可動の部材に設置される。なお、この撮影装置S1及び距離測定装置S2の保持構造は、図9等の他の図面に示す構造にも適用されている。
(shooting device, distance measuring device)
As shown in FIG. 1, the photographing device S1 and the distance measuring device S2 are held by a bracket J attached to a support plate I projecting forward from the center of the front lower portion of the main body 1A of the unmanned forklift 1 in the left-right direction. That is, the photographing device S1 and the distance measuring device S2 are installed on members that are immovable with respect to the main body 1A, rather than members that are movable with respect to the main body 1A, such as the lift bracket 3 and the fork 2. FIG. The structure for holding the photographing device S1 and the distance measuring device S2 is also applied to structures shown in other drawings such as FIG.

撮影装置S1は、例えば単眼カメラであり、無人フォークリフト1を停止させる所定停止位置で無人フォークリフト1の前方を撮影する。距離測定装置S2は、例えば2D-LiDAR(Light Detection And Ranging)又はTOF(Time Of Flight)カメラであり、無人フォークリフト1を停止させる所定停止位置で床N上の対象パレットP1(例えば図2)の距離測定を行う。距離測定装置S2が2D-LiDARである場合、水平方向に方向を変えながらレーザ光をパルス状に照射し、反射して返ってくる散乱光を検出し、物体に反射されて返ってくるまでの時間から対象物までの距離、方向などを測定する。 The photographing device S1 is, for example, a monocular camera, and photographs the front of the unmanned forklift 1 at a predetermined stop position where the unmanned forklift 1 is stopped. The distance measuring device S2 is, for example, a 2D-LiDAR (Light Detection And Ranging) or TOF (Time Of Flight) camera, and detects the target pallet P1 (for example, FIG. 2) on the floor N at a predetermined stop position for stopping the unmanned forklift 1. Make a distance measurement. If the distance measuring device S2 is a 2D-LiDAR, it irradiates a laser beam in a pulsed manner while changing its direction in the horizontal direction, detects the scattered light that is reflected and returned, and detects the scattered light that is reflected back by the object. Measures the distance, direction, etc. from time to an object.

図4に示すように、撮影装置S1により撮影された画像は処理装置10に送られ、距離測定装置S2により測定されたデータは処理装置10に送られる。 As shown in FIG. 4, the image captured by the photographing device S1 is sent to the processing device 10, and the data measured by the distance measuring device S2 is sent to the processing device 10. FIG.

(距離センサ)
図1の斜視図、並びに図5Aの要部拡大横断面図、及び図5Bの要部拡大縦断面図に示すように、距離センサS3は、取付板19により固定された状態で右フォーク2Rの先端部に配置される。距離センサS3は、左フォーク2Lの先端部に配置してもよい。距離センサS3は、例えば距離設定型光電センサであり、前方の物体の有無を検出する。
(distance sensor)
As shown in the perspective view of FIG. 1, the enlarged transverse cross-sectional view of the essential part of FIG. 5A, and the enlarged vertical cross-sectional view of the essential part of FIG. Located at the tip. The distance sensor S3 may be arranged at the tip of the left fork 2L. The distance sensor S3 is, for example, a distance setting type photoelectric sensor, and detects the presence or absence of an object in front.

図4に示すように、距離センサS3が検出した物体の有無の信号(例えばON/OFF信号)は制御装置Cへ送られる。 As shown in FIG. 4, a signal indicating the presence or absence of an object detected by the distance sensor S3 (for example, an ON/OFF signal) is sent to the controller C. As shown in FIG.

(障害物検知センサ)
図1の斜視図、及び図5Aの要部拡大横断面図に示すように、障害物検知センサS6は、取付板20により、左右のフォーク2L,2Rの先端部の左右に配置される。障害物検知センサS6は、例えば光電センサであり、フォーク2の先端部に近接する障害物を検知する。
(Obstacle detection sensor)
As shown in the perspective view of FIG. 1 and the enlarged cross-sectional view of the essential part of FIG. The obstacle detection sensor S6 is, for example, a photoelectric sensor, and detects obstacles approaching the tip of the fork 2 .

障害物検知センサS6が検出した障害物の有無の信号(例えばON/OFF信号)は制御装置Cへ送られる。障害物検知センサS6が障害物を検知した場合、制御装置Cは無人フォークリフト1を例えば非常停止させる。 A signal indicating the presence or absence of an obstacle (for example, an ON/OFF signal) detected by the obstacle detection sensor S6 is sent to the controller C. FIG. When the obstacle detection sensor S6 detects an obstacle, the controller C brings the unmanned forklift 1 to an emergency stop, for example.

(在荷センサ)
図2の左方から見た図、並びに図6Aの左方から見た要部拡大図、及び図6Bの要部拡大横断面図に示すように、在荷センサS4は、支持板21により支持された状態で左右のフォーク2L,2Rの根元に配置される。在荷センサS4は、例えば近接スイッチであり、フォーク2がパレットPを保持しているか否かを検出する。
(Zone sensor)
As shown in the view from the left in FIG. 2, the enlarged view of the essential part from the left in FIG. 6A, and the enlarged cross-sectional view of the essential part in FIG. It is arranged at the roots of the left and right forks 2L and 2R in the folded state. The load sensor S4 is, for example, a proximity switch, and detects whether the fork 2 holds the pallet P or not.

図4に示すように、在荷センサS4が検出したフォーク2がパレットPを保持しているか否かの信号(例えばON/OFF信号)は制御装置Cへ送られる。 As shown in FIG. 4, a signal (for example, an ON/OFF signal) indicating whether or not the fork 2 is holding the pallet P detected by the load sensor S4 is sent to the controller C. As shown in FIG.

図6A及び図6Bを参照して、左フォーク2Lの根元の在荷センサS4まわりの構造について説明する。左右方向の支軸Rにより支持されたシーソー板22は、当止板23により当て止めされ、引張コイルばね24により弾性付勢される。フォーク2がパレットPを保持していない場合、シーソー板22は、図6Aの実線の位置に静止する。図2のようにフォーク2がパレットPを保持している場合、シーソー板22は、図6Aの仮想線のように操作片22Aが下降して検出片22Bが上昇するように揺動する。それにより、検出片22Bを在荷センサS4が検出するので、フォーク2がパレットPを保持している状態を検出できる。 The structure around the load sensor S4 at the base of the left fork 2L will be described with reference to FIGS. 6A and 6B. A seesaw plate 22 supported by a horizontal support shaft R is stopped by a stop plate 23 and elastically biased by an extension coil spring 24 . When the fork 2 does not hold the pallet P, the seesaw plate 22 rests at the solid line position in FIG. 6A. When the fork 2 holds the pallet P as shown in FIG. 2, the seesaw plate 22 swings so that the operation piece 22A descends and the detection piece 22B rises as indicated by the phantom lines in FIG. 6A. As a result, since the presence sensor S4 detects the detection piece 22B, the state in which the fork 2 holds the pallet P can be detected.

(自己位置認識用センサ)
図1の斜視図に示すように、自己位置認識用センサS5は、本体1Aから上方へ突出するフレームKの上面に上方へ向けて配置される。すなわち、自己位置認識用センサS5は、本体1Aに対して非可動の部材に設置される。自己位置認識用センサS5は、例えば、水平方向の全方位と垂直視野30°程度の3Dイメージングを行う。自己位置認識用センサS5は、例えば3D-LiDARであり、レーザSLAM(Simultaneously Localization And Mapping)式の自己位置推定方法に用いる。無人フォークリフト1の自己位置推定は、画像SLAM式の自己位置推定方法等であってもよい。
(Self-position recognition sensor)
As shown in the perspective view of FIG. 1, the self-position recognition sensor S5 is arranged facing upward on the upper surface of the frame K that protrudes upward from the main body 1A. That is, the self-position recognition sensor S5 is installed on a non-movable member with respect to the main body 1A. The self-position recognition sensor S5 performs, for example, 3D imaging in all directions in the horizontal direction and in a vertical field of view of about 30°. The self-position recognition sensor S5 is, for example, a 3D-LiDAR, and is used for a laser SLAM (Simultaneously Localization And Mapping) self-position estimation method. The self-position estimation of the unmanned forklift 1 may be an image SLAM-type self-position estimation method or the like.

以上のセンサ群S1~S6を用いて制御される無人フォークリフト1において、本体1Aに対して可動の部材に設置されるセンサS3、S4、S6の信号ケーブル及び給電ケーブルは、図1に示すケーブルベア8を通して本体1A内の制御装置C及び電源に接続される。 In the unmanned forklift 1 controlled using the above sensor groups S1 to S6, the signal cables and power supply cables of the sensors S3, S4, and S6 installed on members movable with respect to the main body 1A are the cable carrier shown in FIG. 8 to the controller C and the power supply in the main body 1A.

<画像取得部>
図4に示すように、処理装置10は画像取得部11を有する。画像取得部11は、撮影装置S1から撮影画像を取得する。撮影装置S1は、例えば、図2又は図3に示す対象パレットP1を撮影する。画像取得部11は、撮影装置S1から対象パレットP1の撮影画像を取得する。
<Image acquisition unit>
As shown in FIG. 4, the processing device 10 has an image acquisition section 11 . The image acquisition unit 11 acquires a captured image from the imaging device S1. The photographing device S1 photographs, for example, the target palette P1 shown in FIG. 2 or 3 . The image acquisition unit 11 acquires the captured image of the target palette P1 from the imaging device S1.

<パレット種類識別部>
図4に示すように、処理装置10はパレット種類識別部12を有する。パレット種類識別部12は、複数種類のパレットPについて、各々のパレットPの画像とパレットPの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有する。パレット種類識別部12は、画像取得部11が取得した対象パレットP1の前記撮影画像を前記学習モデルに入力することで対象パレットP1の種類を識別する。
<Pallet type identification unit>
As shown in FIG. 4, the processing device 10 has a pallet type identification section 12 . The palette type identification unit 12 has a learning model that has been trained by performing machine learning on combinations of the images of each palette P and the type of the palette P for a plurality of types of palettes P. FIG. The palette type identification unit 12 identifies the type of the target palette P1 by inputting the captured image of the target palette P1 acquired by the image acquisition unit 11 into the learning model.

図7は、パレット種類識別部12が対象パレットの種類を識別した状態の画像の例を示している。この例では、パレット種類識別部12が、床N上の対象パレットP1の種類「small」と、対象パレットP1の積荷上の対象パレットP2の種類「small」を識別している。パレット種類識別部12は、例えば、「small」、「medium」、「large」等のパレットの種類を識別できるとともに、図7中の(0.XX)、及び(0.△△)のように識別したパレットの種類の確かさ(確率)を画像上に表示できる。 FIG. 7 shows an example of an image in which the palette type identification unit 12 has identified the type of the target palette. In this example, the pallet type identification unit 12 identifies the type "small" of the target pallet P1 on the floor N and the type "small" of the target pallet P2 on the load of the target pallet P1. The pallet type identification unit 12 can identify types of pallets such as "small", "medium", and "large", for example, as well as (0.XX) and (0.ΔΔ) in FIG. The certainty (probability) of the identified pallet type can be displayed on the image.

<パレット位置・形状取得部>
図4に示すように、処理装置10はパレット位置・形状取得部13を有する。パレット位置・形状取得部13は、例えば図2又は図3に示す無人フォークリフト1が対象パレットP1から所定距離E離間した所定停止位置で、対象パレットP1の距離測定を行った距離測定装置S2から対象パレットP1の位置・形状データを取得する。対象パレットP1の位置・形状データは、例えば、対象パレットP1の差込口Qを含む高さの点群データである。
<Pallet position/shape acquisition unit>
As shown in FIG. 4 , the processing device 10 has a pallet position/shape acquisition unit 13 . The pallet position/shape acquisition unit 13, for example, the unmanned forklift 1 shown in FIG. 2 or FIG. Acquire the position/shape data of the pallet P1. The position/shape data of the target pallet P1 is, for example, point cloud data of the height including the insertion opening Q of the target pallet P1.

<パレットずれ量検出部>
図4に示すように、処理装置10はパレットずれ量検出部14を有する。パレットずれ量検出部14は、複数種類のパレットPについて、各々のパレットPの位置・形状データを予め記憶している。パレットずれ量検出部14が予め記憶している各々のパレットPの位置・形状データは、無人フォークリフト1の前記所定停止位置で距離測定装置S2が各々のパレットPとの距離を測定し、パレット位置・形状取得部13が取得した各々のパレットPの位置・形状データである。各々のパレットPの位置・形状データは、例えば、パレットPの差込口Qを含む高さの点群データである。
<Pallet shift amount detector>
As shown in FIG. 4, the processing device 10 has a pallet shift amount detection unit 14 . The pallet shift amount detection unit 14 stores in advance the position/shape data of each pallet P for a plurality of types of pallets P. FIG. The position/shape data of each pallet P stored in advance by the pallet shift amount detection unit 14 is obtained by measuring the distance to each pallet P by the distance measuring device S2 at the predetermined stop position of the unmanned forklift 1, and determining the pallet position. - The position/shape data of each pallet P acquired by the shape acquisition unit 13 . The position/shape data of each pallet P is point cloud data of the height including the insertion opening Q of the pallet P, for example.

パレットずれ量検出部14は、パレット種類識別部12により識別された対象パレットP1の種類に対応した記憶済みの位置・形状データ、すなわち、前記のように予め記憶している各々のパレットPの中の、対象パレットP1の種類に対応したパレットPの位置・形状データと、パレット位置・形状取得部13が取得した対象パレットP1の位置・形状データを比較することにより、正規位置に対する対象パレットP1の位置と姿勢のずれ量を検出する。 The pallet shift amount detection unit 14 detects the stored position/shape data corresponding to the type of the target pallet P1 identified by the pallet type identification unit 12, that is, the position/shape data in each pallet P stored in advance as described above. By comparing the position/shape data of the pallet P corresponding to the type of the target pallet P1 and the position/shape data of the target pallet P1 acquired by the pallet position/shape acquisition unit 13, the position/shape data of the target pallet P1 corresponding to the normal position is determined. Detect the amount of deviation between position and orientation.

図8Aの平面概略図のL0は、例えば床N上のパレットについて、図2又は図3の対象パレットP1に対応した記憶済みのパレットPの差込口Qを含む高さの点群データに基づく線分である。前記のとおり、パレットずれ量検出部14は、複数種類のパレットPの各々について、図8Aのような線分L0のデータを記憶している。 L0 in the schematic plan view of FIG. 8A is, for example, a pallet on the floor N, based on the point cloud data of the height including the stored pallet P insertion opening Q corresponding to the target pallet P1 in FIG. 2 or FIG. is a line segment. As described above, the pallet displacement amount detection unit 14 stores the data of the line segment L0 as shown in FIG. 8A for each of a plurality of types of pallets P.

パレットずれ量検出部14は、図8Bの平面概略図に示すように、線分L0と、パレット位置・形状取得部13が取得した対象パレットP1の差込口Qを含む高さの点群データに基づく線分L1とを重ね合わせて比較する。 As shown in the schematic plan view of FIG. 8B, the pallet shift amount detection unit 14 detects the line segment L0 and the height point cloud data including the insertion opening Q of the target pallet P1 acquired by the pallet position/shape acquisition unit 13. and the line segment L1 based on are overlapped and compared.

このようなパレットずれ量検出部14によれば、線分L0,L1を重ね合わせて比較してずれ量を把握するので、計算コストが抑えられる。その上、水平方向のスキャンだけで前記高さの点群データが得られることから、対象パレットP1との距離を測定する距離測定装置S2を上下動させる必要がないので、対象パレットP1の位置と姿勢のずれ量を検出する時間を短縮できる。 According to such a pallet shift amount detection unit 14, since the line segments L0 and L1 are superimposed and compared to grasp the shift amount, the calculation cost can be suppressed. In addition, since the height point cloud data can be obtained only by scanning in the horizontal direction, there is no need to vertically move the distance measuring device S2 for measuring the distance to the target pallet P1. It is possible to shorten the time required to detect the amount of posture deviation.

<撮影装置の撮影位置、距離測定装置の距離測定位置>
撮影装置S1が対象パレットP1を撮影してパレット種類識別部12により対象パレットP1の種類を識別する際に無人フォークリフト1が停止する位置を第一停止位置とし、距離測定装置S2が対象パレットP1との距離を測定してパレット位置・形状取得部13により対象パレットP1の位置・形状データを取得する際に無人フォークリフト1が停止する位置を第二停止位置とする。
<Photographing position of photographing device, distance measurement position of distance measuring device>
The position where the unmanned forklift 1 stops when the photographing device S1 photographs the target pallet P1 and the pallet type identification unit 12 identifies the type of the target pallet P1 is defined as a first stop position, and the distance measuring device S2 determines the target pallet P1. is measured and the position/shape data of the target pallet P1 is acquired by the pallet position/shape acquisition unit 13, the position at which the unmanned forklift 1 stops is defined as a second stop position.

例えば、図2及び図3に示す無人フォークリフト1が対象パレットP1から所定距離E離間した位置を前記第一停止位置及び前記第二停止位置として、前記第一停止位置及び前記第二停止位置を同位置にしてもよいし、前記第二停止位置を前記第一停止位置よりも対象パレットP1に接近させた位置にしてもよい。前記第二停止位置を前記第一停止位置よりも対象パレットP1に接近させた位置にすることにより、パレットずれ量検出部14による対象パレットP1の位置と姿勢のずれ量をより精度よく検出することができる。 For example, the position where the unmanned forklift truck 1 shown in FIGS. Alternatively, the second stop position may be closer to the target pallet P1 than the first stop position. By setting the second stop position closer to the target pallet P1 than the first stop position, the pallet deviation detection unit 14 detects the deviation amount of the position and posture of the target pallet P1 with higher accuracy. can be done.

<エラー判定部>
図4に示すように、処理装置10はずれ量エラー判定部15を有する。ずれ量エラー判定部15は、パレットずれ量検出部14により検出された、正規位置に対する対象パレットP1の位置と姿勢のずれ量が所定の閾値より超えた場合にエラー判定をする。
<Error judgment part>
As shown in FIG. 4, the processing device 10 has a deviation amount error determination unit 15 . The deviation amount error determination unit 15 determines an error when the amount of deviation of the position and orientation of the target pallet P1 from the normal position detected by the pallet deviation amount detection unit 14 exceeds a predetermined threshold value.

このようなずれ量エラー判定部15によれば、前記ずれ量が大きいため対象パレットP1にフォーク2を差し込めない場合には、フォーク差込み動作前にエラー判定することで、対象パレットP1とフォーク2が干渉する事故を未然に防げる。例えば、前記エラー判定の基準となる前記ずれ量の閾値は、距離測定装置S2が対象パレットP1との距離を測定してパレット位置・形状取得部13により対象パレットP1の位置・形状データを取得する際に無人フォークリフト1を停止させる所定停止位置から無人フォークリフト1が自走して対象パレットP1にフォーク2を差し込み可能な範囲の最大値とする。 According to such a deviation amount error determination unit 15, when the fork 2 cannot be inserted into the target pallet P1 because the deviation amount is large, error determination is performed before the fork insertion operation, so that the target pallet P1 and the fork 2 Interference accidents can be prevented. For example, the threshold value of the amount of deviation, which is the reference for the error determination, is obtained by measuring the distance to the target pallet P1 by the distance measuring device S2 and acquiring the position/shape data of the target pallet P1 by the pallet position/shape acquisition unit 13. The maximum value of the range in which the unmanned forklift 1 can travel by itself from a predetermined stop position where the unmanned forklift 1 is stopped and the forks 2 can be inserted into the target pallet P1.

<パレット形状判定部>
図4に示すように、処理装置10はパレット形状判定部16を有する。パレット形状判定部16は、パレット位置・形状取得部13が取得した対象パレットP1の形状データと、予め記憶された対象パレットP1と同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した対象パレットP1の形状データに誤りがあると判定する。
<Pallet shape determination unit>
As shown in FIG. 4 , the processing device 10 has a pallet shape determining section 16 . The pallet shape determination unit 16 compares the shape data of the target pallet P1 acquired by the pallet position/shape acquisition unit 13 with the shape data of the same type of pallet as the target pallet P1 stored in advance, and determines that the difference between them is a predetermined value. is larger than the threshold value, it is determined that there is an error in the acquired shape data of the target pallet P1.

このようなパレット形状判定部16によれば、例えば対象パレットP1のすぐ横に別の物品(例えば段ボール箱等)が置かれていた場合に、前記物品の影響で対象パレットP1の大きさを間違えて検出したとしても、パレット種類識別部12により識別された対象パレットP1の種類に相当する記憶済みのパレットの形状と比較することで誤りを判定することができる。それにより、フォーク2が対象パレットP1の差込口Qに干渉して作業が停止する事故を防ぐことができる。 According to such a pallet shape determination unit 16, for example, when another article (for example, a cardboard box) is placed right next to the target pallet P1, the size of the target pallet P1 is mistaken due to the influence of the article. Even if the error is detected by the pallet type identification unit 12, the error can be determined by comparing with the stored pallet shape corresponding to the type of the target pallet P1 identified by the pallet type identification unit 12. FIG. As a result, it is possible to prevent an accident in which the fork 2 interferes with the insertion port Q of the target pallet P1 and the work is stopped.

<パレット段積み判別部>
図4に示すように、処理装置10はパレット段積み判別部17を有する。パレット段積み判別部17は、画像取得部11が取得した対象パレット(例えば図7のP1,P2)の撮影画像を図7のように画像処理することにより、対象パレットP1,P2があると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別する。
<Pallet stacking discrimination part>
As shown in FIG. 4 , the processing device 10 has a pallet stacking discrimination section 17 . The pallet stacking determination unit 17 performs image processing as shown in FIG. 7 on the photographed images of the target pallets (for example, P1 and P2 in FIG. 7) acquired by the image acquisition unit 11, so that if there are the target pallets P1 and P2, The presence or absence of stacking is determined by calculating the number of pallets within the set specific range.

例えば、前記特定範囲内のパレットの数量が図7のように2個であった場合は、1段目のパレット及び積荷の上に他所から搬送してきた2段目のパレット及び積荷を載せる段積み作業不可という判断ができ、前記特定範囲内のパレットの数量が1個であった場合は、前記段積み作業可という判断ができる。また、前記特定範囲内のパレットの数量が1個であった場合は、2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業不可という判断ができ、前記特定範囲内のパレットの数量が2個であった場合は、前記段バラシ作業可という判断ができる。また、前記特定範囲内のパレットの数量が2個以上の場合に段積み作業不可と予め設定しておけば、前記特定範囲内のパレットの数量が2個以上であった場合は、段積み作業不可という判断ができる。 For example, if the number of pallets within the specific range is two as shown in FIG. 7, stacking the second pallet and cargo transported from another place on top of the first pallet and cargo. It can be determined that the work is impossible, and if the number of pallets within the specific range is one, it can be determined that the stacking work is possible. Further, when the number of pallets within the specific range is one, it is possible to determine that the stacking work of picking up the second pallet and cargo and transporting them to another location is not possible, and the number of pallets within the specific range is not possible. If the number is 2, it can be determined that the above-mentioned destacking work is possible. Further, if it is set in advance that stacking work is not possible when the number of pallets within the specific range is two or more, the stacking work is performed when the number of pallets within the specific range is two or more. You can decide that it is not possible.

このようなパレット段積み判別部17によれば、無人フォークリフト1の正面の特定範囲内のパレットの数量のみを算出することにより、対象パレット以外のパレットを誤検出することなく、パレットの段積みの有無を確実に判別できる。例えば、床N上の対象パレットの側方に置かれている対象外のパレットも検出してパレット数量が2個であると算出してしまう誤検出が生じないので、段積みできるのに段積みできないとする誤判別がなくなる。 According to such a pallet stacking determination unit 17, by calculating only the number of pallets within a specific range in front of the unmanned forklift 1, pallets other than the target pallet are not erroneously detected. The presence or absence can be determined with certainty. For example, since an erroneous detection that the number of pallets is calculated to be two by detecting a non-target pallet placed on the side of the target pallet on the floor N does not occur, stacking is possible even though it can be stacked. Misjudgment that it is not possible is eliminated.

例えば図7の画像の例において、床上のパレットP1の周囲画像と上段のパレットP2の周囲画像とは異なる。そのため、例えば床上のパレットが含まれる多数の画像を用意して床上のパレットを教師データとして機械学習を行った学習済みの学習モデルを用いた場合、上段のパレットP2を識別できない場合がある。 For example, in the example of the images in FIG. 7, the surrounding image of the pallet P1 on the floor and the surrounding image of the upper pallet P2 are different. Therefore, for example, when using a trained learning model in which a large number of images including pallets on the floor are prepared and machine learning is performed using the pallets on the floor as teacher data, the upper pallet P2 may not be identified.

したがって、パレット段積み判別部17は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものであるのが好ましい実施態様である。このようなパレット段積み判別部17によれば、どの段のパレットかによりパレットの周囲画像が異なる場合に、各々の異なる前記周囲画像を教師データとして学習しているので、パレットの検出精度を向上できる。 Therefore, in a preferred embodiment, the pallet stacking determination unit 17 is machine-learned in advance using each pallet image as training data for a plurality of pallets in the upper and lower tiers. According to the pallet stacking determination unit 17, when the peripheral images of the pallets differ depending on which tier the pallet is in, each different peripheral image is learned as training data, so the pallet detection accuracy is improved. can.

<走行制御部>
図4に示すように、制御装置Cは走行制御部18を有する。走行制御部18は、以下の(A)及び(B)の少なくとも一方の作業を行うために、無人フォークリフト1の走行を制御する。走行制御部18を地上側の管理装置に備えるようにしてもよい。
<Running control part>
As shown in FIG. 4 , the control device C has a travel control section 18 . The travel control unit 18 controls travel of the unmanned forklift 1 in order to perform at least one of the following works (A) and (B). The travel control unit 18 may be provided in the management device on the ground side.

(A)パレットずれ量検出部14により検出された前記ずれ量を用いて、対象パレットの差込口に対してフォーク2を差し込む動作を含む作業。
(B)フォーク2を差込口Qに差し込んで保持しているパレットP及び積荷Wを、対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業。
(A) Work including an operation of inserting the forks 2 into the insertion openings of the target pallet using the displacement amount detected by the pallet displacement amount detection unit 14 .
(B) A stacking operation in which the pallet P and the cargo W held by inserting the forks 2 into the insertion openings Q are loaded onto the cargo of the target pallet according to the deviation amount of the target pallet.

例えば、無人フォークリフト1は、図3のように、床N上の対象パレットP1及び積荷Wをピックアップして他所に搬送する。また、無人フォークリフト1は、図2のように他所から運んできたパレットPを、床N上にある対象パレットP1の積荷Wの上に段積みする。さらに、無人フォークリフト1は、図7のように床N上にある対象パレットP1の積荷W上の対象パレットP2及び積荷Wをピックアップして他所に搬送する。 For example, as shown in FIG. 3, the unmanned forklift 1 picks up the target pallet P1 and the load W on the floor N and transports them to another location. Further, the unmanned forklift 1 stacks the pallet P brought from another place on the load W of the target pallet P1 on the floor N as shown in FIG. Further, the unmanned forklift 1 picks up the target pallet P2 and the load W on the target pallet P1 on the floor N as shown in FIG. 7 and transports them to another location.

<フォーク幅変更装置の構造例>
図9の正面図に示すように、右フォーク2R及び左フォーク2Lは、リニアガイド25,26により左右方向へ移動可能にガイドされる。右フォーク2Rと左フォーク2Lの間隔Fを変更するフォーク幅変更装置Dのアクチュエータは、例えば、位置センサ付き電動シリンダ27,28である。すなわち、電動シリンダ27を駆動してピストン27Aを進退させることにより、右フォーク2Rは左右方向へ移動し、電動シリンダ28を駆動してピストン28Aを進退させることにより、左フォーク2Lは左右方向へ移動する。位置センサ付き電動シリンダ27,28は、位置センサ付き油圧シリンダ等であってもよい。
<Example of structure of fork width changing device>
As shown in the front view of FIG. 9, the right fork 2R and the left fork 2L are guided by linear guides 25 and 26 so as to be movable in the left-right direction. The actuators of the fork width changing device D that changes the space F between the right fork 2R and the left fork 2L are electric cylinders 27 and 28 with position sensors, for example. That is, by driving the electric cylinder 27 to move the piston 27A forward and backward, the right fork 2R moves in the horizontal direction, and by driving the electric cylinder 28 to move the piston 28A forward and backward, the left fork 2L moves in the horizontal direction. do. The electric cylinders 27 and 28 with position sensors may be hydraulic cylinders with position sensors or the like.

図10の概略平面図に示すように、対象パレットP1の差込口Q,Q間の幅Gよりもフォークの間隔Fが大きい場合は、フォーク先端の矢印のようにフォークの間隔Fを狭めるようにフォーク幅変更装置Dを動作させる。図11の概略平面図に示すように、対象パレットP1の差込口Q,Q間の幅Gよりもフォークの間隔Fが小さい場合は、フォーク先端の矢印のようにフォークの間隔Fを広げるようにフォーク幅変更装置Dを動作させる。 As shown in the schematic plan view of FIG. 10, when the interval F between the forks is larger than the width G between the insertion openings Q and Q of the target pallet P1, the interval F between the forks is narrowed as indicated by the arrow at the tip of the fork. to operate the fork width changing device D. As shown in the schematic plan view of FIG. 11, when the fork interval F is smaller than the width G between the insertion openings Q and Q of the target pallet P1, the fork interval F is widened as indicated by the arrow at the tip of the fork. to operate the fork width changing device D.

パレット種類識別部12から得られた対象パレットP1の種類により、当該対象パレットP1の差込口Q,Qの間隔Gに合わせて、フォーク幅変更装置Dにより左右のフォーク2L,2Rの間隔Fを変更することができる。したがって、差込口Q,Qの間隔Gが異なる対象パレット毎に無人フォークリフト1を用意する必要がなく、差込口Q,Qの間隔Gに対応したフォーク2L,2Rの間隔Fになるようフォーク幅変更装置Dを動作させることで、1台の無人フォークリフト1で複数種類のパレットを搬送できる。 Based on the type of the target pallet P1 obtained from the pallet type identification unit 12, the fork width changing device D adjusts the spacing F between the left and right forks 2L and 2R in accordance with the spacing G between the insertion openings Q and Q of the target pallet P1. can be changed. Therefore, it is not necessary to prepare an unmanned forklift truck 1 for each target pallet having a different interval G between the insertion ports Q, Q. A plurality of types of pallets can be transported by one unmanned forklift 1 by operating the width changing device D.

<距離センサ及び在荷センサの検出結果を用いた作業>
無人フォークリフト1は、前方の物体の有無を検出する距離センサS3の検出結果、及びフォーク2がパレットPを保持しているか否かを検出する在荷センサS4の検出結果を用いて、例えば以下のような作業を行う。
<Work using the detection results of the distance sensor and the load sensor>
The unmanned forklift 1 uses the detection result of the distance sensor S3 that detects the presence or absence of an object in front and the detection result of the load sensor S4 that detects whether the forks 2 are holding the pallet P, for example, as follows. work like this.

すなわち、無人フォークリフト1は、図2に示すように、1段目の対象パレットP1の積荷W上に2段目のパレットP及び積荷Wを積み込む段積み作業を行う。また、無人フォークリフト1は、図7に示す1段目のパレットP1の積荷上の2段目のパレットP2及び積荷をピックアップして他所に搬送する段バラシ作業を行う。 That is, as shown in FIG. 2, the unmanned forklift 1 performs a stacking operation of loading the second pallet P and the load W on the load W of the first target pallet P1. The unmanned forklift truck 1 also picks up the second pallet P2 and the cargo on the first pallet P1 shown in FIG.

前記段積み作業を行う場合において、距離センサS3により1段目のパレットP1上の積荷Wの高さを検出でき、在荷センサS4により前記段積み作業後にフォーク2を引き抜く高さを検出できる。また、前記段バラシ作業を行う場合において、距離センサS3により2段目のパレットP2の差込口の高さを検出でき、在荷センサS4により前記段バラシ作業で保持すべきパレットP2及び積荷をフォーク2が保持した状態を検出できる。したがって、距離センサS3及び在荷センサS4により、確実な段積み作業及び又は段バラシ作業を行うことが可能になる。 When performing the stacking work, the distance sensor S3 can detect the height of the load W on the first pallet P1, and the load sensor S4 can detect the height at which the forks 2 are pulled out after the stacking work. Further, when performing the stacking work, the distance sensor S3 can detect the height of the insertion opening of the pallet P2 on the second stack, and the load sensor S4 can detect the pallet P2 and the load to be held in the stacking work. The state held by the fork 2 can be detected. Therefore, the distance sensor S3 and the load sensor S4 enable reliable stacking and/or destacking operations.

(段積み作業の動作例)
無人フォークリフト1は、図2に示す対象パレットP1から所定距離E離間した位置で、撮影装置S1(図1)が前方を撮影し、画像取得部11が撮影装置S1から撮影画像を取得する。画像取得部11が取得した対象パレットP1の撮影画像をパレット種類識別部12の前記学習モデルに入力し、パレット種類識別部12が対象パレットP1の種類を識別する。
(Operation example of stacking work)
The unmanned forklift 1 is located at a predetermined distance E from the target pallet P1 shown in FIG. The photographed image of the target palette P1 acquired by the image acquisition unit 11 is input to the learning model of the palette type identification unit 12, and the palette type identification unit 12 identifies the type of the target palette P1.

距離測定装置S2(図1)が対象パレットP1との距離を測定し、パレット位置・形状取得部13が対象パレットP1の位置・形状データを取得する。パレットずれ量検出部14が、パレット種類識別部12により識別された対象パレットP1の種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部13が取得した対象パレットP1の位置・形状データを比較することにより、正規位置に対する対象パレットP1の位置と姿勢のずれ量を検出する。 The distance measuring device S2 (FIG. 1) measures the distance to the target pallet P1, and the pallet position/shape acquisition unit 13 acquires the position/shape data of the target pallet P1. The pallet displacement amount detection unit 14 stores stored position/shape data corresponding to the type of the target pallet P1 identified by the pallet type identification unit 12, and the position/shape data of the target pallet P1 acquired by the pallet position/shape acquisition unit 13. By comparing the shape data, the amount of deviation of the position and orientation of the target pallet P1 from the normal position is detected.

また、パレット段積み判別部17が、画像取得部11が取得した対象パレットP1の撮影画像を画像処理することにより、対象パレットP1があると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別する。すなわち、図2のように前記特定範囲内のパレットの数量が1個であるので、パレット段積み判別部17は段積みできると判断する。 Further, the pallet stacking determination unit 17 performs image processing on the photographed image of the target pallet P1 acquired by the image acquisition unit 11, thereby calculating the number of pallets within a predetermined specific range where the target pallet P1 exists. This determines whether or not there is stacking. That is, since the number of pallets within the specific range is one as shown in FIG. 2, the pallet stacking determination unit 17 determines that stacking is possible.

フォーク2の高さを下げて無人フォークリフト1を前進させて対象パレットP1に近づけ、図12Aのように対象パレットP1とパレットPとが例えば所定距離U離間した位置で無人フォークリフト1を停止させる。この位置では、図12Aの矢印Vに示すように、物体の有無の検出する距離センサS3(図1)が対象パレットP1を検出している。 The unmanned forklift 1 is advanced by lowering the height of the fork 2 to approach the target pallet P1, and the unmanned forklift 1 is stopped at a position where the target pallet P1 and the pallet P are separated from each other by a predetermined distance U, for example, as shown in FIG. 12A. At this position, as indicated by an arrow V in FIG. 12A, the distance sensor S3 (FIG. 1) that detects the presence or absence of an object detects the target pallet P1.

次に、図12Aの矢印T1のようにフォーク2を上昇させ、フォーク2先端の距離センサS3が対象パレットP1上の積荷Wを検出しなくなった位置が図12Bに示す対象パレットP1上の積荷Wの高さHである。距離センサS3が積荷Wを検出しなくなった位置からさらに所定距離だけ図12Bのようにフォーク2を上昇させる。 Next, the fork 2 is raised as indicated by the arrow T1 in FIG. 12A, and the position where the distance sensor S3 at the tip of the fork 2 no longer detects the load W on the target pallet P1 is the load W on the target pallet P1 shown in FIG. 12B. is the height H of From the position where the distance sensor S3 no longer detects the load W, the fork 2 is raised by a predetermined distance as shown in FIG. 12B.

次に、図12Bの矢印T2のように無人フォークリフト1を前進させ、パレットずれ量検出部14が検出した正規位置に対する対象パレットP1の位置と姿勢のずれ量に合わせて、対象パレットP1の真上にパレットPが重なる図12Cの位置で無人フォークリフト1を停止する。 Next, the unmanned forklift truck 1 is advanced as indicated by the arrow T2 in FIG. 12B, and the position and posture of the target pallet P1 is shifted from the normal position detected by the pallet shift amount detection unit 14. The unmanned forklift 1 is stopped at the position shown in FIG.

次に、図12Cの矢印T3のようにフォーク2を下降させ、図12Dのように対象パレットP1上の積荷Wの上面にパレットP及び積荷Wを段積みする。図12Dの矢印T4のようにフォーク2をさらに下降させた図12Eの位置では、フォーク2がパレットPを保持しておらず、すなわち在荷センサS4がパレットPを保持していない状態を検出しているのでフォーク2の下降を停止する。 Next, the fork 2 is lowered as indicated by the arrow T3 in FIG. 12C, and the pallet P and the load W are stacked on the upper surface of the load W on the target pallet P1 as shown in FIG. 12D. 12E, where the forks 2 are further lowered as indicated by the arrow T4 in FIG. 12D, the forks 2 do not hold the pallet P, that is, the presence sensor S4 detects the state where the pallet P is not held. Therefore, the fork 2 stops descending.

次に、図12Eの状態から図12Eの矢印T5のように無人フォークリフト1を後退させ、パレットPからフォーク2を引き抜くことにより段積み作業が完了する。 Next, the unmanned forklift 1 is retracted from the state of FIG. 12E as indicated by an arrow T5 in FIG.

(段バラシ作業の動作例)
例えば図7に示す1段目のパレットP1の積荷上の2段目のパレットP2及び積荷をピックアップして他所に搬送する段バラシ作業を行う場合の例について説明する。
(Operation example of stacking work)
For example, an example will be described in which the second pallet P2 and the cargo on the first pallet P1 shown in FIG. 7 are picked up and transported to another location.

1段目のパレットP1に合わせて2段目のパレットP2が積まれている場合は、1段目のパレットP1の位置及び姿勢基準で2段目のパレットP2をピックアップすることができる。 When the second pallet P2 is stacked in accordance with the first pallet P1, the second pallet P2 can be picked up based on the position and attitude of the first pallet P1.

その場合、図7に示す段積みされたパレットP1,P2及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させる。フォーク2の先端にある距離センサS3が前方の物体を検出している状態から前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる。この状態では、2段目のパレットP2の差込口Q,Qの手前に左右のフォーク2L,2Rが位置しているので、無人フォークリフト1を所定距離前進させた後に、フォーク2を所定距離上昇させる。在荷センサS4がパレットP2を検出した状態でフォーク2が積荷を保持しているので、フォーク2を所定距離上昇させた後にフォーク2の上昇を停止し、無人フォークリフト1を後退させる。 In that case, after the unmanned forklift 1 is stopped in front of the stacked pallets P1 and P2 and the cargo shown in FIG. 7, the forks 2 are raised. The lift of the fork 2 is stopped when the distance sensor S3 at the tip of the fork 2 detects the object in front and stops detecting the object in front. In this state, the left and right forks 2L and 2R are positioned in front of the insertion openings Q and Q of the second pallet P2. Let Since the fork 2 holds the load while the load sensor S4 detects the pallet P2, the lift of the fork 2 is stopped after the fork 2 is lifted by a predetermined distance, and the unmanned forklift 1 is moved backward.

以上のような段バラシ作業を行う際、例えば図7の画像の例において、パレットP1上の積荷がストレッチフィルムで被われていない場合、積荷である左右の段ボール間の隙間の左右方向の位置がパレットP1,P2の差込口Q,Qの左右方向の位置と同じになる場合がある。そのような場合、フォーク2先端の距離センサS3が、前記左右の段ボール間の隙間の位置で前方の物体を検出しなくなる恐れがある。フォーク2先端の距離センサS3が前方の物体を検出しなくなると、フォーク2の上昇が停止し、左右のフォーク2L,2Rが2段目のパレットP2の差込口Q,Qの手前に位置していると誤って判断してしまう。それにより段バラシ作業を適切に行えなくなるという不具合が生じる。 When performing the above-described tier destacking work, for example, in the example of the image in FIG. It may be the same as the left-right position of the insertion openings Q, Q of the pallets P1, P2. In such a case, the distance sensor S3 at the tip of the fork 2 may fail to detect an object in front at the position of the gap between the left and right cardboard boxes. When the distance sensor S3 at the tip of the fork 2 no longer detects an object in front, the fork 2 stops rising and the left and right forks 2L and 2R are positioned in front of the insertion openings Q and Q of the second pallet P2. You will mistakenly judge that As a result, there arises a problem that it becomes impossible to perform the stacking work properly.

このような不具合を解消するための方策の一つとして、前記第一停止位置でパレット種類識別部12により対象パレットP1,P2の種類を識別する際に2段目のパレットP2の下面の大凡の高さを画像データに基づいて推定することが考えられる。例えば、パレット種類識別部12が対象パレットP1,P2の種類を識別した状態の画像(例えば図7)において、1段目のパレットP1の幅の画素数と、1段目のパレットP1と2段目のパレットP2の上下間隔の画素数との比を求める。また、予め記憶さている対象パレットP1と同じの種類のパレットの形状データに基づいて、パレットP1の幅及び高さの実寸法を得る。前記比及び前記実寸法から、2段目のパレットP2の下面の概略高さを推定できる。 As one of the measures for solving such a problem, when the pallet type identification unit 12 identifies the types of the target pallets P1 and P2 at the first stop position, the lower surface of the pallet P2 on the second stage is roughly identified. It is conceivable to estimate the height based on the image data. For example, in an image in which the palette type identification unit 12 identifies the types of the target palettes P1 and P2 (for example, FIG. 7), the number of pixels in the width of the palette P1 on the first stage and the width of the palette P1 on the first stage and the number of pixels on the second stage A ratio to the number of pixels in the vertical interval of the eye palette P2 is obtained. Also, the actual dimensions of the width and height of the pallet P1 are obtained based on the prestored shape data of the same type of pallet as the target pallet P1. From the ratio and the actual dimensions, the approximate height of the lower surface of the second pallet P2 can be estimated.

そして、推定した2段目のパレットP2の下面の概略高さよりも上に2段目のパレットP2の差込口Q,Qがあると認識した上で前記段バラシ作業を行う。すなわち、段積みされたパレットP1,P2及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させ、距離センサS3が前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる位置を、推定した2段目のパレットP2の下面の概略高さよりも上の位置にする。このように動作させることで、前記不具合を解消できる。 Then, after recognizing that the insertion openings Q, Q of the second-tier pallet P2 are above the estimated approximate height of the lower surface of the second-tier pallet P2, the tier dismantling operation is performed. That is, after the unmanned forklift 1 is stopped in front of the stacked pallets P1 and P2 and the cargo, the forks 2 are lifted, and the lift of the forks 2 is stopped when the distance sensor S3 no longer detects an object in front. The position is set above the estimated approximate height of the lower surface of the second stage pallet P2. By operating in this manner, the above problem can be eliminated.

(段バラシ作業の別の動作例)
距離測定装置S2である2D-LiDARを、フォーク2とともに昇降するリフトブラケット3に設置し、フォーク2の昇降動作中に2段目のパレットP2の位置・形状データ及び高さを検出する。2D-LiDARは、リフトブラケット3の、フォーク2L,2R各々の根元の中間位置に該当する場所に設置される。あるいは、図1のように無人フォークリフト1の本体1Aに設置された距離測定装置S2を3D-LiDARに変更することで、2段目のパレットP2の位置・形状データ及び高さも検出できるようにする。これらの場合、フォーク2の先端にある距離センサS3は、パレットP1,P2との干渉をチェックするために用いる。
(Another operation example of the step dismantling work)
A 2D-LiDAR, which is the distance measuring device S2, is installed on the lift bracket 3 that moves up and down together with the fork 2, and detects the position/shape data and height of the second pallet P2 while the fork 2 moves up and down. The 2D-LiDAR is installed on the lift bracket 3 at an intermediate position between the roots of the forks 2L and 2R. Alternatively, by changing the distance measuring device S2 installed on the main body 1A of the unmanned forklift 1 to 3D-LiDAR as shown in Fig. 1, the position/shape data and height of the second pallet P2 can also be detected. . In these cases, the distance sensor S3 at the tip of the fork 2 is used to check for interference with the pallets P1 and P2.

例えば図7に示す段積みされたパレットP1,P2に対して、無人フォークリフト1が2段目のパレットP2の位置・形状データ及び高さを検出した後、フォーク2をパレットP2の差込口Qの高さにした状態で、2段目のパレットP2の差込口Q,Qに左右のフォーク2L,2Rを合わせるように無人フォークリフト1を所定距離前進させる。次にフォーク2を上昇させ、在荷センサS4がパレットP2を検出した状態でフォーク2が積荷を保持しているので、フォーク2を所定距離上昇させた後にフォーク2の上昇を停止し、無人フォークリフト1を後退させる。 For example, for the stacked pallets P1 and P2 shown in FIG. 7, after the unmanned forklift 1 detects the position/shape data and height of the second pallet P2, the fork 2 is moved to the insertion slot Q of the pallet P2. , the unmanned forklift 1 is advanced by a predetermined distance so that the left and right forks 2L, 2R are aligned with the insertion openings Q, Q of the second stage pallet P2. Next, the forks 2 are lifted, and since the forks 2 hold the cargo in a state where the load sensor S4 detects the pallet P2, the lift of the forks 2 is stopped after the forks 2 are lifted by a predetermined distance, and the unmanned forklift is operated. 1 backwards.

以上における本発明の実施形態においては、対象パレットが床N上にある場合について説明したが、対象パレットはトラックの荷台上にあってもよい。対象パレットがトラックの荷台上にある場合の作業例を以下に示す。 In the above embodiments of the present invention, the case where the target pallet is on the floor N has been described, but the target pallet may be on the bed of the truck. An example of work when the target pallet is on the bed of a truck is shown below.

(1) トラックの荷台上にある1段のパレット及び積荷のデバンニング
前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、トラックの荷台上にある1段のパレット及び積荷のデバンニングを行う。
(1) Devanning of the first pallet and cargo on the bed of the truck In the same operation as the devanning of the second pallet P2 and its cargo in the above "Another example of operation of destacking work", the bed of the truck Devanning the upper tier of pallets and cargo.

(2) トラックの荷台上にある上下2段のパレット及び積荷のうちの上段のパレット及び積荷のデバンニング(段バラシ)
前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、トラックの荷台上にある上下2段のパレット及び積荷のうちの上段のパレット及び積荷のデバンニング(段バラシ)を行う。
(2) Devanning the upper and lower pallets on the truck bed and the upper pallet and cargo.
In the same manner as the second pallet P2 and its cargo in the above-mentioned "another example of operation of unloading work", the upper and lower two pallets on the bed of the truck and the upper pallet of the cargo and Devanning the cargo.

トラックの荷台上にある上下2段のパレット及び積荷が下段のパレットに合わせて上段のパレットが積まれている場合は、以下のようにトラックの荷台上の上段のパレット及び積荷のデバンニングを行ってもよい。 If the upper and lower pallets on the truck bed and the cargo are stacked so that the upper pallet is aligned with the lower pallet, devanning the upper pallet and cargo on the truck bed is performed as follows. good too.

すなわち、前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、荷台上の下段のパレットの位置・形状データ及び高さを検出する。そして、上下2段のパレット及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させる際に、フォーク2の先端にある距離センサS3が前方の物体を検出している状態から前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる。無人フォークリフト1の所定距離前進、フォーク2の所定距離上昇、在荷センサS4によるフォーク2の上昇停止、及び無人フォークリフト1の後退を行うことで、トラックの荷台上の上段のパレット及び積荷のデバンニングを行う。 That is, the position/shape data and the height of the lower pallet on the loading platform are detected in the same manner as the second pallet P2 and its load in the "another operation example of the tier unpacking work". After the unmanned forklift 1 is stopped in front of the upper and lower pallets and the load, when the forks 2 are raised, the distance sensor S3 at the tip of the fork 2 detects an object in front of the front. stop the fork 2 from rising when the object is no longer detected. By moving the unmanned forklift 1 forward by a predetermined distance, lifting the forks 2 by a predetermined distance, stopping the rise of the forks 2 by means of a load sensor S4, and retreating the unmanned forklift 1, the upper pallet on the bed of the truck and the cargo are devanned. conduct.

(3) トラックの荷台上にある1段のパレット及び積荷上へのパレット及び積荷のバンニング(段積み)
距離測定装置S2である2D-LiDARを、フォーク2とともに昇降するリフトブラケット3に設置し、フォーク2の昇降動作中にトラックの荷台上にある1段のパレットの位置・形状データ及び高さを検出する。あるいは、図1のように無人フォークリフト1の本体1Aに設置された距離測定装置S2を3D-LiDARに変更することで、トラックの荷台上にある1段のパレットの位置・形状データ及び高さも検出できるようにする。
(3) Vanning (stacking) of pallets and cargo onto a single pallet and cargo on the bed of a truck
2D-LiDAR, which is a distance measuring device S2, is installed on the lift bracket 3 that moves up and down together with the fork 2, and detects the position/shape data and height of a single pallet on the bed of the truck while the fork 2 moves up and down. do. Alternatively, by changing the distance measuring device S2 installed on the main body 1A of the unmanned forklift 1 to 3D-LiDAR as shown in Fig. 1, the position/shape data and height of one pallet on the bed of the truck can also be detected. It can be so.

そして、前記「段積み作業の動作例」において、対象パレットP1をトラックの荷台上にある1段のパレットに置き換え、トラックの荷台上にある1段のパレット及び積荷上へのパレット及び積荷のバンニング(段積み)を行う。 Then, in the above "stacking work operation example", the target pallet P1 is replaced with a single pallet on the truck bed, and the pallet and cargo are vanned onto the single pallet and cargo on the truck bed. (Stacking).

前記(1)ないし(3)の作業例において、パレットの種類を識別する際に使用する学習モデルは、トラックの荷台上の1段目のパレット(下段のパレット)又は2段目のパレット(上段のパレット)の画像を教師データとして機械学習を行った学習済みモデルである。 In the work examples (1) to (3) above, the learning model used to identify the type of pallet is the first pallet (lower pallet) or the second pallet (upper pallet) on the bed of the truck. This is a trained model that has been machine-learned using the images of the palette) as training data.

<本発明の実施形態に係る無人フォークリフトの作用効果>
無人フォークリフト1が搬送する対象が、形状が異なる複数種類のパレットである場合であっても、扱えるパレットの種類に制限はなく、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みであるパレット種類識別部12の学習モデルに画像取得部11が取得した対象パレットの撮影画像を入力し、パレット種類識別部12が前記対象パレットの種類を識別する。前記撮影画像を入力することで、パレット種類識別部12が前記対象パレットの種類を高い精度で識別する。そして、パレットずれ量検出部14が、パレット種類識別部12により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部13が得た前記対象パレットの位置・形状データを比較照合することができる。
<Effects of the unmanned forklift according to the embodiment of the present invention>
Even if objects to be transported by the unmanned forklift 1 are a plurality of types of pallets with different shapes, there is no limit to the types of pallets that can be handled, and machine learning is performed on combinations of the images of the respective pallets and the types of the pallets. The photographed image of the target pallet acquired by the image acquisition unit 11 is input to the learning model of the pallet type identification unit 12 that has already performed the above learning, and the pallet type identification unit 12 identifies the type of the target pallet. By inputting the photographed image, the pallet type identification unit 12 identifies the type of the target pallet with high accuracy. Then, the pallet displacement amount detection unit 14 detects the stored position/shape data corresponding to the type of the target pallet identified by the pallet type identification unit 12 and the target pallet obtained by the pallet position/shape acquisition unit 13. Position/shape data can be compared and collated.

それにより、パレットの正規位置に対する前記対象パレットの位置と姿勢のずれ量を高い精度で検出できるとともに、床上に置かれたパレット以外の物品(例えば、段ボール箱等)を特定種類のパレットとして誤認識してフォーク2とパレットや物品が干渉するような事故を防ぐことができる。また、パレットの形状データの比較照合の計算が短縮され、作業速度が向上するので、処理能力の高い高価な計算機を使用する必要がない。 As a result, the deviation amount of the position and attitude of the target pallet from the normal position of the pallet can be detected with high accuracy, and an article other than the pallet placed on the floor (for example, a cardboard box, etc.) is erroneously recognized as a specific type of pallet. By doing so, accidents such as interference between the forks 2 and pallets or articles can be prevented. In addition, since calculations for comparison and collation of pallet shape data are shortened and work speed is improved, there is no need to use an expensive computer with high processing power.

前記対象パレットの前記ずれ量を高い精度で検出した上で、無人フォークリフト1は、例えば、パレットずれ量検出部14により検出された前記ずれ量を用いて、前記対象パレットの差込口に対してフォーク2を差し込む動作を含む作業として、床上のパレット及び積荷をピックアップして他所に搬送する作業、1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する作業を行うことができる。また、無人フォークリフト1は、フォーク2を差込口に差し込んで保持しているパレット及び積荷を、対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業等を行うことができる。 After detecting the deviation amount of the target pallet with high accuracy, the unmanned forklift 1 uses the deviation amount detected by the pallet deviation amount detection unit 14, for example, to the insertion port of the target pallet. Work including the operation of inserting the fork 2 includes work of picking up the pallet and cargo on the floor and transporting it to another location, and work of picking up the second pallet and cargo on top of the first pallet’s cargo and transporting it to another location. It can be performed. In addition, the unmanned forklift 1 performs a stacking operation, etc., in which the pallet and cargo held by inserting the fork 2 into the insertion port are loaded onto the cargo of the target pallet according to the deviation amount of the target pallet. can be done.

以上の実施形態の記載はすべて例示であり、これに制限されるものではない。本発明の範囲から逸脱することなく種々の改良及び変更を施すことができる。 All of the descriptions of the above embodiments are examples and are not intended to be limiting. Various modifications and changes may be made without departing from the scope of the invention.

1 無人フォークリフト 1A 本体
2 フォーク 2L 左フォーク
2R 右フォーク 3 リフトブラケット
4 インナマスト 5 アウタマスト
6 ティルトシリンダ 7 リフトチェーン
8 ケーブルベア 10 処理装置
11 画像取得部 12 パレット種類識別部
13 パレット位置・形状取得部 14 パレットずれ量検出部
15 ずれ量エラー判定部 16 パレット形状判定部
17 パレット段積み判別部 18 走行制御部
19,20 取付板 21 支持板
22 シーソー板 22A 操作片
22B 検出片 23 当止板
24 引張コイルばね 25,26 リニアガイド
27,28 位置センサ付き電動シリンダ 27A,28A ピストン
A 荷役装置 B 移動装置
C 制御装置 D フォーク幅変更装置
E 所定距離 F フォークの間隔
G 差込口間の幅 H 積荷の高さ
I 支持板 J ブラケット
K フレーム
L0 対象パレットの種類に対応した記憶済みの点群データに基づく線分
L1 パレット位置・形状取得部が取得した対象パレットの点群データに基づく線分
M マスト N 床
P パレット P1,P2 対象パレット
Q 差込口 R 支軸
S1 撮影装置 S2 距離測定装置
S3 距離センサ S4 在荷センサ
S5 自己位置認識用センサ S6 障害物検知センサ
T1~T5 動作 U 所定距離
V 距離センサによる物体検出 W 積荷
1 unmanned forklift 1A main body 2 fork 2L left fork 2R right fork 3 lift bracket 4 inner mast 5 outer mast 6 tilt cylinder 7 lift chain 8 cable bear 10 processing device 11 image acquisition unit 12 pallet type identification unit 13 pallet position/shape acquisition unit 14 pallet Deviation amount detection unit 15 Deviation amount error determination unit 16 Pallet shape determination unit 17 Pallet stacking determination unit 18 Travel control units 19 and 20 Mounting plate 21 Support plate 22 Seesaw plate 22A Operation piece 22B Detection piece 23 Stop plate 24 Extension coil spring 25, 26 Linear guides 27, 28 Electric cylinder with position sensor 27A, 28A Piston A Load handling device B Moving device C Control device D Fork width changing device E Predetermined distance F Spacing between forks G Width between insertion ports H Height of cargo I Support plate J Bracket K Frame L0 Line segment L1 based on stored point cloud data corresponding to the type of target pallet Line segment M Mast N Floor P based on the point cloud data of the target pallet acquired by the pallet position/shape acquisition unit Pallet P1, P2 Target pallet Q Slot R Spindle S1 Photographing device S2 Distance measurement device S3 Distance sensor S4 Inventory sensor S5 Self-position recognition sensor S6 Obstacle detection sensors T1 to T5 Operation U Predetermined distance V Object detected by distance sensor Detection W Cargo

Claims (9)

パレットを用いた荷役作業を自動で行う、一対のフォークを備えた無人フォークリフトであって、
前記無人フォークリフトの前方を撮影する撮影装置から撮影画像を取得する画像取得部と、
複数種類の前記パレットについて、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有し、前記画像取得部が取得した対象パレットの前記撮影画像を前記学習モデルに入力することで前記対象パレットの種類を識別するパレット種類識別部と、
前記対象パレットとの距離を測定する距離測定装置から前記対象パレットの位置・形状データを取得するパレット位置・形状取得部と、
複数種類の前記パレットについて、各々の前記パレットの位置・形状データを予め記憶し、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、前記パレット位置・形状取得部が取得した前記対象パレットの位置・形状データを比較することにより、正規位置に対する前記対象パレットの位置と姿勢のずれ量を検出するパレットずれ量検出部と、
(A)検出された前記ずれ量を用いて、前記対象パレットの差込口に対して前記フォークを差し込む動作を含む作業、
(B)前記フォークを差込口に差し込んで保持しているパレット及び積荷を、前記対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業、
の少なくとも一方の作業を行うための走行を制御する走行制御部と、
を備える、
無人フォークリフト。
An unmanned forklift equipped with a pair of forks that automatically performs cargo handling work using pallets,
an image acquisition unit that acquires a photographed image from a photographing device that photographs the front of the unmanned forklift;
For a plurality of types of the palette, having a learned model that has undergone machine learning on combinations of the images of the palette and the types of the palette, and the captured image of the target palette acquired by the image acquisition unit. a pallet type identification unit that identifies the type of the target pallet by inputting it into the learning model;
a pallet position/shape acquisition unit that acquires position/shape data of the target pallet from a distance measuring device that measures the distance from the target pallet;
Position/shape data of each of the plurality of types of pallets is stored in advance, and the stored position/shape data corresponding to the type of the target pallet identified by the pallet type identification unit and the pallet position. a pallet deviation amount detection unit that detects the amount of deviation of the position and orientation of the target pallet from the normal position by comparing the position and shape data of the target pallet acquired by the shape acquisition unit;
(A) work including an operation of inserting the fork into the insertion opening of the target pallet using the detected deviation amount;
(B) a stacking operation of stacking the pallet and the load held by inserting the fork into the insertion port on top of the load of the target pallet according to the deviation amount of the target pallet;
A travel control unit that controls travel for performing at least one of the work of
comprising
driverless forklift.
前記位置・形状データは、前記パレットの差込口を含む高さのデータであり、
前記パレットずれ量検出部は、前記対象パレットの種類に対応した記憶済みの前記位置・形状データに基づく線分と、前記パレット位置・形状取得部が取得した前記対象パレットの前記位置・形状データに基づく線分とを重ね合わせて比較する、
請求項1に記載の無人フォークリフト。
The position/shape data is height data including the insertion port of the pallet,
The pallet shift amount detection unit detects line segments based on the stored position/shape data corresponding to the type of the target pallet and the position/shape data of the target pallet acquired by the pallet position/shape acquisition unit. superimpose and compare with the line segment based on,
The unmanned forklift according to claim 1.
前記パレットずれ量検出部により検出された前記ずれ量が所定の閾値より超えた場合にエラー判定をするずれ量エラー判定部をさらに備える、
請求項1又は2に記載の無人フォークリフト。
further comprising a deviation amount error determination unit that determines an error when the deviation amount detected by the pallet deviation amount detection unit exceeds a predetermined threshold,
The unmanned forklift according to claim 1 or 2.
前記パレット位置・形状取得部が取得した前記対象パレットの形状データと、予め記憶された前記対象パレットと同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した前記対象パレットの形状データに誤りがあると判定するパレット形状判定部をさらに備える、
請求項1~3の何れかに記載の無人フォークリフト。
The shape data of the target pallet acquired by the pallet position/shape acquisition unit is compared with the pre-stored shape data of a pallet of the same type as the target pallet. , further comprising a pallet shape determination unit that determines that the acquired shape data of the target pallet has an error;
An unmanned forklift according to any one of claims 1 to 3.
前記画像取得部が取得した前記対象パレットの前記撮影画像を画像処理することにより、前記対象パレットがあると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別するパレット段積み判別部をさらに備える、
請求項1~4の何れかに記載の無人フォークリフト。
By performing image processing on the photographed image of the target pallet acquired by the image acquisition unit, the presence or absence of stacking is determined by calculating the number of pallets within a specific range preset when the target pallet exists. Further comprising a pallet stacking discrimination unit,
An unmanned forklift according to any one of claims 1 to 4.
前記パレット段積み判別部は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものである、
請求項5に記載の無人フォークリフト。
The pallet stacking determination unit is machine-learned in advance using each pallet image as teacher data for multiple pallets in the upper and lower tiers.
The unmanned forklift according to claim 5.
前記パレット種類識別部から得られた前記対象パレットの種類により、当該対象パレットの差込口間の幅に合わせて前記フォークの間隔を変更するフォーク幅変更装置をさらに備える、
請求項1~6の何れかに記載の無人フォークリフト。
Further comprising a fork width changing device that changes the interval between the forks according to the width between the insertion openings of the target pallet according to the type of the target pallet obtained from the pallet type identification unit,
An unmanned forklift according to any one of claims 1 to 6.
前記フォークの先端に配置した、前方の物体の有無を検出する距離センサと、
前記フォークが前記パレットを保持しているか否かを検出する在荷センサと、
をさらに備え、
前記距離センサによる前記物体の有無の検出結果、及び前記在荷センサによる前記パレットを保持しているか否かの検出結果を用いて、
1段目のパレットの積荷上に2段目のパレット及び積荷を積み込む段積み作業、及び/又は、
1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業を行う、
請求項1~7の何れかに記載の無人フォークリフト。
a distance sensor arranged at the tip of the fork for detecting the presence or absence of an object in front;
a load sensor that detects whether the fork holds the pallet;
further comprising
Using the detection result of the presence or absence of the object by the distance sensor and the detection result of whether or not the pallet is held by the load sensor,
A stacking operation in which the second pallet and cargo are loaded on top of the first pallet cargo, and/or
Carrying out the tier unpacking work of picking up the 2nd tier pallet and cargo on the 1st tier pallet and transporting it to another place,
An unmanned forklift according to any one of claims 1 to 7.
第一停止位置で前記撮影装置が前記対象パレットを撮影して前記パレット種類識別部により前記対象パレットの種類を識別し、前記第一停止位置よりも前記対象パレットに接近する第二停止位置で前記距離測定装置が前記対象パレットとの距離を測定して前記パレット位置・形状取得部により前記対象パレットの位置・形状データを取得する、
請求項1~8の何れかに記載の無人フォークリフト。
At a first stop position, the photographing device photographs the target pallet, the pallet type identification unit identifies the type of the target pallet, and at a second stop position closer to the target pallet than the first stop position, the A distance measuring device measures the distance to the target pallet, and the pallet position/shape acquisition unit acquires the position/shape data of the target pallet;
An unmanned forklift according to any one of claims 1 to 8.
JP2022042127A 2021-05-19 2022-03-17 Unmanned forklift Pending JP2022179331A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/663,295 US20220375206A1 (en) 2021-05-19 2022-05-13 Unmanned forklift

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021084906 2021-05-19
JP2021084906 2021-05-19

Publications (1)

Publication Number Publication Date
JP2022179331A true JP2022179331A (en) 2022-12-02

Family

ID=84239170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022042127A Pending JP2022179331A (en) 2021-05-19 2022-03-17 Unmanned forklift

Country Status (1)

Country Link
JP (1) JP2022179331A (en)

Similar Documents

Publication Publication Date Title
CN110054116B (en) Fork navigation method and system applied to forklift and unmanned forklift
JP3785061B2 (en) Container position detection method and apparatus for cargo handling crane, container landing and stacking control method
KR102461759B1 (en) Intelligent Forklift and Container Position and Posture Deviation Detection Method
US20220375206A1 (en) Unmanned forklift
KR20180120982A (en) Fork lifter system, and control method thereof
US11970378B2 (en) Warehouse inspection system
EP3718951B1 (en) Load handling module for a material handling vehicle
EP3309112B1 (en) Forklift truck and method of operating the same
JP2007269452A (en) Safety device for unmanned fork lift
CN114641447A (en) Mobile automated guided vehicle tray stacker and destacker system and method thereof
KR20200012298A (en) Automated guided vehicle with auto positioning
US11530118B2 (en) Container crane comprising reference marker
CN110799442B (en) Crane device
JP2855147B2 (en) Unmanned car with visual
JP2022179331A (en) Unmanned forklift
CN117142392A (en) Control method, control device and control system
US20240134047A1 (en) Transport possibility determination device, distance measurement device, transport unit, transport possibility determination method, and transport possibility determination program
JP6997272B1 (en) Reach forklift
CN114275712A (en) Stacking device and stacking method
JP7172727B2 (en) self-driving forklift
BE1015584A3 (en) Load handling device for automatic forklift truck, comprises forks which can be positioned individually using sensor device for detecting spaces for forks in pallets
JP7471249B2 (en) Cargo Handling System
US20230202817A1 (en) Control method for mobile object, mobile object, and computer-readable storage medium
TWI823100B (en) Forklift and control method thereof
JP7287329B2 (en) forklift