JP2020040811A - Determination device and determination method - Google Patents
Determination device and determination method Download PDFInfo
- Publication number
- JP2020040811A JP2020040811A JP2018170930A JP2018170930A JP2020040811A JP 2020040811 A JP2020040811 A JP 2020040811A JP 2018170930 A JP2018170930 A JP 2018170930A JP 2018170930 A JP2018170930 A JP 2018170930A JP 2020040811 A JP2020040811 A JP 2020040811A
- Authority
- JP
- Japan
- Prior art keywords
- forklift
- pallet
- facing
- determination
- fork
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Abstract
Description
本発明は、フォークリフトが、積荷を積載したパレットと正対しているか否かを判定する判定装置等に関する。 The present invention relates to a determination device and the like for determining whether a forklift is directly facing a pallet loaded with a load.
フォークリフトを用いた荷役作業においては、フォークリフトの運転者は、積荷を積載したパレットのフォークポケットにフォークを挿し込み、パレットごと積荷を持ち上げて、その積荷を運搬するという一連の操作を行う。これら一連の操作のうち、フォークポケットにフォークを挿し込むフォーク挿し込み操作の難易度が特に高く、運転者によっては、フォークの挿し込みに手間取ったり、パレットにフォークを衝突させてしまったりすることがある。 In a cargo handling operation using a forklift, a driver of the forklift performs a series of operations of inserting a fork into a fork pocket of a pallet loaded with a load, lifting the load along with the pallet, and transporting the load. Of these series of operations, the difficulty of inserting the fork into the fork pocket is particularly high, and depending on the driver, it may take time to insert the fork or cause the fork to collide with the pallet. is there.
フォーク挿し込み操作を容易にするための技術としては、例えば特許文献1が挙げられる。特許文献1には、レーザ光線を反射する光線反射面を形成したパレットに、フォークと同じ高さのレーザ光線を照射し、運転手にその反射光を目印にしてフォークのパレットに対する高さ位置合わせを行わせる技術が開示されている。
As a technique for facilitating the fork insertion operation, for example,
特許文献1に記載された技術によれば、フォークのパレットに対する高さ位置合わせは容易になる。しかしながら、フォークとパレットの高さ位置が合っていたとしても、フォークリフトがパレットに正対していなければ、フォーク挿し込み操作がスムーズに進まなかったり、パレットにフォークが接触したりすることがあった。
According to the technique described in
本発明は上記の問題点に鑑みてなされたものであり、その目的は、フォークリフトがパレットに正対しているか否かを判定することができる判定装置等を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a determination device and the like that can determine whether a forklift is directly facing a pallet.
上記の課題を解決するために、本発明の一態様に係る判定装置は、フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定部を備えている。 In order to solve the above-described problems, a determination device according to one embodiment of the present invention includes an image capturing device that is mounted on a forklift, an image of a pallet on which a material to be unloaded is placed, and the forklift Using a learned model that machine-learned the correlation with whether or not the pallet is directly facing, from the image of the target pallet on which the cargo handling object of the forklift is placed by the imaging device, A facing determination unit that determines whether or not the facing pallet is facing is provided.
また、上記の課題を解決するために、本発明の一態様に係る判定方法は、判定装置による判定方法であって、フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定ステップを含む。 Further, in order to solve the above problem, a determination method according to an aspect of the present invention is a determination method using a determination device, in which a cargo handling target object of the forklift is mounted on an imaging device installed on the forklift. Using a learned model in which the correlation between the image of the pallet taken and the forklift facing the pallet or not is machine-learned, the object pallet on which the forklift cargo handling object is placed is photographed. A facing determination step of determining whether or not the forklift is facing the target pallet from an image captured by the apparatus.
本発明の一態様によれば、対象パレットを撮影した画像に基づき、フォークリフトが対象パレットに正対しているか否かを判定することができる。 According to one embodiment of the present invention, it is possible to determine whether or not a forklift is facing the target pallet based on an image of the target pallet.
〔実施形態1〕
(概要)
まず、図2を参照して、実施形態1の判定装置1による処理の概要を説明する。図2は、判定装置1による処理の概要について説明するための図である。図2の(a)では、架台上に載置された、積荷(荷役対象物)900を積載したパレット(対象パレット)800に対し、フォークリフト5が荷役作業を行う様子を示している。また、図2の(b)では、同図の(a)の様子を上方から見た状態を示している。
[Embodiment 1]
(Overview)
First, with reference to FIG. 2, an outline of a process performed by the
フォークリフト5は、パレット800に積載された積荷900を、フォークリフト5のフォーク50をパレット800のフォークポケット801に挿入することにより、パレット800ごと移動させる荷役作業を行う。判定装置1は、この荷役作業において、フォークリフト5がパレット800と正対しているか否かを判定する装置である。なお、フォークポケット801は、図2の(b)に示すように、左右一対のフォーク50がそれぞれ挿入される左右一対の開口部からなる。
The
ここで、フォークリフト5のフォーク50をパレット800のフォークポケット801に適切に挿入させるためには、フォークリフト5がパレット800に対して正対している必要がある。フォークリフト5がパレット800に対して正対していないと、フォークリフト5のフォーク50がフォークポケット801に入らなかったり、フォークポケット801の途中で引っかかったりするためである。
Here, in order to properly insert the
なお、フォークリフト5がパレット800に対して、完全に正対(フォーク50の突出方向とフォークポケット801の延在方向が平行な状態)となっていなくとも、正対に近い状態となっていれば荷役作業は問題なく行われる。このため、本明細書で「正対」という場合、完全な正対状態の他、荷役作業に支障がない範囲で完全な正対状態からずれた状態も含まれる。
Even if the
本実施形態では、図2の(a)に示すように、フォークリフト5のフォーク50の位置からパレット800を撮影する撮影装置3を設けている。そして、判定装置1は、撮影装置3による撮影画像からフォークリフト5がパレット800と正対しているか否かを判定する。ここで、正対していないと判定した場合、判定装置1は、例えば図2の(b)に示すように、フォークリフト5がパレット800に対して正対していない旨を報知する。なお、図2の(b)に示す例では、「パレットに正対していません。車体の向きを調整して下さい」と報知している。
In the present embodiment, as shown in FIG. 2A, the
撮影装置3は、上述したように、フォークリフト5がパレット800と正対しているか否かを判定するための画像を撮影する。撮影装置3が撮影する画像は静止画像であってもよいし、動画像であってもよい。なお、本実施形態では、静止画像を撮影する場合を想定している。
As described above, the image capturing
図2の例では、撮影装置3は、一対のフォーク50における各基部の中間の位置に取り付けられており、その撮影方向はフォークリフト5の正面方向(水平方向)である。無論、撮影装置3はパレット800におけるフォークポケット801が開口している側面を撮影できる位置に取り付ければよく、図示の例に限られない。ただし、フォーク50の基部のようにフォーク50の昇降に合わせて昇降する位置に撮影装置3を設置することにより、パレット800およびフォークポケット801を正面あるいは正面に近い方向から撮影することができるので、このような位置に撮影装置3を設置することが好ましい。
In the example of FIG. 2, the photographing
(判定装置1の要部構成)
次に、図1を参照して判定装置1の要部構成について説明する。図1は、判定装置1の要部構成の一例を示すブロック図である。図1に示されるように、判定装置1は、判定装置1の各部を統括して制御する制御部10と、判定装置1が使用する各種データを記憶する記憶部20、および音声を出力する音声出力部40を備えている。また、制御部10には、操作検出部101、撮影制御部102、入力データ生成部103、正対判定部104、および報知制御部105が含まれている。
(Main Configuration of Judgment Device 1)
Next, a configuration of a main part of the
操作検出部101は、フォークリフト5で所定の操作が行われたことを検出する。具体的には、操作検出部101は、フォーク50を昇降させる操作が行われたこと、およびフォークリフト5の向きを調整する操作が行われたことを検出する。なお、上記検出の方法は特に限定されず、例えばフォークリフト5と通信することにより検出してもよいし、フォークリフト5またはその運転者を撮影した画像を解析することにより検出してもよいし、センサ等を用いて検出してもよい。以下説明するように、操作検出部101による上記操作の検出が撮影制御部102による撮影の契機となる。
The
撮影制御部102は、撮影装置3の動作を制御して、上述の撮影画像を撮影させる。本実施形態では、撮影装置3がフォーク50と連動して昇降するので、撮影制御部102は、撮影装置3の撮影範囲にパレット800が入ったときに撮影装置3に撮影を行わせる。具体的には、撮影制御部102は、フォーク50の昇降が終了したタイミングで撮影装置3に撮影を行わせる。フォーク50の昇降が終了したタイミングは、フォーク50を昇降させる操作を操作検出部101が検出した後、該操作が検出されなくなったタイミングから特定可能である。
The photographing
このように、昇降終了時点において撮影を行わせることにより、撮影装置3の撮影範囲にパレット800が入ったタイミングで自動的に撮影を行うことができる。また、撮影回数を必要最小限に抑えることができるので、撮影画像を用いた判定装置1の処理回数や処理時間も必要最小限に抑えて、判定装置1の負荷が少ない効率的な処理が実現される。
In this way, by causing the photographing to be performed at the end of the vertical movement, the photographing can be automatically performed at the timing when the
なお、撮影の契機は上記の例に限定されない。例えば、フォーク50をフォークポケット801に挿し込む際には、フォーク50の傾きを調整するティルト操作が行われることが多い。このため、操作検出部101がティルト操作を検出し、撮影制御部102が当該操作が検出されたときに撮影を行わせてもよい。この他にも、例えば、操作検出部101は、撮影の契機として、フォークリフト5が低速で前進および後退を行いながら進行方向の微調整を行う等の、荷役作業の開始時に特有の態様でフォークリフト5が運転されていることを検出してもよい。
It should be noted that the timing of shooting is not limited to the above example. For example, when inserting the
(入力データ生成部103と入力データについて)
入力データ生成部103は、正対判定部104が使用する学習済みモデルに入力する入力データを生成する。より詳細には、入力データ生成部103は、撮影装置3から撮影画像を取得して、取得した撮影画像から入力データを生成する。本実施形態では、撮影装置3から取得した撮影画像をそのまま入力データとする例を説明する。
(About the input
The input
入力データの生成に用いる上記撮影画像は、上記学習済みモデルの生成に用いた教師データの画像と同様の撮影条件で撮影した画像であることが好ましい。上記撮影条件には、例えば、撮影装置3と、被写体(パレット800)との位置関係、被写体の背景、および周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば、教師データに用いた画像が、フォークの基部に固定した撮影装置で撮影された画像であれば、撮影画像もフォーク50の基部に固定した撮影装置3で撮影されたものとすることが好ましい。
The captured image used for generating the input data is preferably an image captured under the same capturing conditions as the image of the teacher data used for generating the learned model. The photographing conditions include, for example, the positional relationship between the photographing
なお、入力データは、フォークリフト5とパレット800との位置関係(正対しているか否か)の特徴が表れたデータであればよく、必ずしも撮影画像をそのまま入力データとする必要はない。例えば、入力データ生成部103は、撮影画像に対して所定の処理を施した画像を、入力データとしてもよい。上記所定の処理は、フォークリフト5とパレット800との位置関係の特徴を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、撮影画像がカラー画像である場合、入力データ生成部103は、該撮影画像をグレースケール化したデータを、入力データとして正対判定部104に供給してもよい。あるいは、撮影画像が動画像である場合、入力データ生成部103は、該撮影画像を構成する一部のフレームを抽出し、該一部のフレームを入力データとして正対判定部104に供給してもよい。
It should be noted that the input data only needs to be data indicating characteristics of the positional relationship between the
さらに、入力データ生成部103は、例えば撮影画像に写る被写体の中から所定の被写体(例えばパレット800)を検出し、検出した被写体が写る領域のみから入力データを生成してもよい。これにより、被写体の背景の影響を排除することができるので、正対判定部104における判定精度を高めることができる。なお、所定の被写体の検出には、例えばCNN(Convolutional Neural Network)等の学習済みモデルを用いることができる。
Further, the input
ただし、入力データ生成部103は、入力データとして、教師データと同じ形式のデータを生成する必要がある。例えば、教師データがグレースケールの静止画像であれば、入力データもグレースケールの静止画像とする必要がある。
However, the input
(正対判定部104と学習済みモデルについて)
正対判定部104は、機械学習により生成された学習済みモデルを用いてフォークリフト5がパレット800と正対しているか否かを判定する。この学習済みモデルの生成には、例えば、フォークリフト5とパレット800とが正対している状態で撮影したパレット800の画像と、正対していない状態で撮影したパレット800の画像とを教師データとして用いることができる。
(About the facing
The facing
教師データが静止画像である場合、CNNの学習済みモデルを用いることにより、信頼性の高い出力データを得ることができる。また、正対している状態と、正対していない状態の境界となるような多数の画像を教師データとすることが好ましい。これにより、正対している(フォーク50の挿し込みに支障がない)状態と、正対していない(フォーク50の挿し込みに支障がある)状態とを適切に識別可能となる。このように、学習済みモデルを用いた本実施形態の正対判定では、厳密には正対していない状態であっても、フォーク50の挿し込みに支障がない状態であれば正対していると判定するため、判定装置1は実用性が高いといえる。
When the teacher data is a still image, highly reliable output data can be obtained by using the trained model of the CNN. In addition, it is preferable that a large number of images that are boundaries between a face-to-face state and a face-to-face state are not used as teacher data. This makes it possible to appropriately distinguish between a state in which the
正対判定部104は、以上のようにして生成された学習済みモデルに対し、入力データ生成部103が撮影画像から生成した入力データを入力する。これにより、学習済みモデルは、フォークリフト5がパレット800と正対していない確率を示す出力データを出力すると共に、正対している確率を示す出力データを出力する。そして、正対判定部104は、これらの出力データに基づいて、フォークリフト5がパレット800と正対しているか否かを判定する。例えば、正対判定部104は、正対している確率が正対していない確率よりも高ければ正対していると判定し、逆に、正対していない確率が正対している確率よりも高ければ正対していないと判定してもよい。
The facing
なお、正対判定部104は、正対していない状態で撮影したパレット800の画像を教師データとする一方、正対している状態で撮影したパレット800の画像は教師データに含めることなく生成した学習済みモデルを用いてもよい。同様に、正対判定部104は、正対している状態で撮影したパレット800の画像を教師データとする一方、正対していない状態で撮影したパレット800の画像を教師データに含めることなく生成した学習済みモデルを用いてもよい。これらの場合、正対判定部104は、学習済みモデルが出力した出力データが示す確率が閾値以上であるか否かによって、正対しているか否かを判定すればよい。例えば、正対判定部104は、前者の学習済みモデルを用いる場合、該学習済みモデルが出力した出力データが示す確率が閾値以上であれば正対していないと判定し、閾値未満であれば正対していると判定する。
Note that the facing
(報知制御部105と報知の例について)
報知制御部105は、正対判定部104が、フォークリフト5がパレット800と正対していないと判定した場合、その旨を音声出力部40に報知させる。なお、報知の態様はこの例に限定されず、例えば報知制御部105は、表示装置にフォークリフト5がパレット800と正対していないことを示す情報を表示させることによって報知してもよい。この表示装置は、判定装置1が備えていてもよいし、判定装置1の外部に設置されているものであってもよい。例えば、フォークリフト5が表示装置を備えている場合、報知制御部105は、フォークリフト5が備えている表示装置に上記情報を表示させて報知してもよい。また、例えば、フォークリフト5の運転者が所持する装置(例えば、眼鏡型等のウェアラブルデバイスや、携帯電話機やタブレット端末等)に上記情報を表示させてもよい。音声出力によって報知する場合も同様であり、報知制御部105は、判定装置1の外部に設置されている装置に音声出力させることにより、フォークリフト5がパレット800と正対していないことを運転者に報知してもよい。
(About the
When the facing
(処理の流れ)
次に、図3を参照して、判定装置1が実行する処理の流れについて説明する。図3は、判定装置1が実行する処理(判定方法)の一例を示すフローチャートである。
(Processing flow)
Next, the flow of processing executed by the
S1では、撮影制御部102は、撮影装置3の撮影範囲にパレット800が入ったか否かを判定する。具体的には、撮影制御部102は、操作検出部101によるフォーク50を昇降させる操作の検出結果に基づいて、撮影装置3の撮影範囲にパレット800が入ったか否かを判定する。ここで撮影範囲に入ったと判定された場合(S1でYES)、S2に進む。一方、撮影範囲に入っていないと判定された場合(S1でNO)、S1に戻り、同様の処理を繰り返す。
In S1, the
S2では、撮影制御部102は、撮影装置3にパレット800を含む撮影画像を撮影させ、S3に進む。そして、S3では、入力データ生成部103は、撮影装置3から撮影画像を取得し、入力データを生成する。実施形態1では、上述の通り、入力データ生成部103は、撮影画像をそのまま入力データとして用いる。
In S2, the photographing
S4(正対判定ステップ)では、正対判定部104は、S3で生成された入力データを上述の学習済みモデルに入力し、該学習済みモデルからの出力データに基づいて、フォークリフト5がパレット800と正対しているか否かを判定する。正対していると判定した場合(S4でYES)、図3の処理は終了する。なお、この場合、報知制御部105は、正対している旨のメッセージを音声出力部40に出力させてもよい。
In S4 (facing determination step), the facing determining
一方、S4で正対していないと判定された場合(S4でNO)には、S5に進む。S5では、報知制御部105が、音声出力部40にフォークリフト5がパレット800と正対していない旨を報知させる。そして、S6に進む。
On the other hand, if it is determined in S4 that they are not facing each other (NO in S4), the process proceeds to S5. In S5, the
S6では、操作検出部101は、フォークリフト5の方向を調整する操作が行われたか否かを判定する。ここで、方向を調整する操作が行われたと判定した場合(S6でYES)、S2に戻る。この場合、正対判定部104は、該調整後に撮影装置3が撮影したパレット800の画像から、フォークリフト5がパレット800に正対しているか否かを判定することになる。これにより、方向を調整する操作を行った運転者に、その操作によってフォークリフト5がパレット800に正対した状態となったか否かをフィードバックすることができる。よって、運転者は、スムーズにフォークリフト5をパレット800に正対させることができる。
In S6, the
(実施形態1のまとめ)
以上のように、正対判定部104は、フォークリフト5に設置された撮影装置3にてフォークリフト5の荷役対象物が載置されたパレット800を撮影した画像と、フォークリフト5がパレット800に正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、フォークリフト5の荷役対象物が載置されたパレット800を撮影装置3にて撮影した画像から、フォークリフト5がパレット800に正対しているか否かを判定する。
(Summary of Embodiment 1)
As described above, the facing
これにより、パレット800を撮影した画像に基づき、フォークリフト5がパレット800に正対しているか否かを判定することができる。また、フォークリフト5がパレット800に正対していないときには、報知制御部105がフォークリフト5の運転者への報知を行うので、荷役作業の失敗を未然に防ぐことができる。
This makes it possible to determine whether or not the
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態3以降も同様である。
[Embodiment 2]
Another embodiment of the present invention will be described below. For convenience of description, members having the same functions as the members described in the first embodiment are denoted by the same reference numerals, and description thereof will not be repeated. This is the same in the third and subsequent embodiments.
(概要)
実施形態1の判定装置1は、フォークリフト5がパレット800と正対しているか否かを判定し、正対していない場合にその旨を報知する。これに対し、本実施形態の判定装置1は、フォークリフト5がパレット800と正対しているか否かだけではなく、正対した状態からどの程度ずれているかも判定し、その判定結果を報知する。これにより、運転者はフォークリフト5の向きをスムーズに微調整してフォークリフト5をパレット800に正対させることができる。
(Overview)
The
図4を参照して、本実施形態の概要を説明する。図4は、本実施形態の概要を説明するための図である。図4の(a)〜(c)には、荷役作業を行おうとするフォークリフト5を上方から見た様子を示している。図4の(a)に示すように、フォークリフト5がパレット800と正対していない場合、判定装置1の音声出力部40は、フォークリフト5がパレット800と正対していない旨を報知している。この報知は実施形態1と同様である。
An outline of the present embodiment will be described with reference to FIG. FIG. 4 is a diagram for explaining the outline of the present embodiment. FIGS. 4A to 4C show the
その後、フォークリフト5の向きが調整され、図4の(b)では、フォークリフト5がパレット800に対し、図4の(a)よりは正対する状態に近付いたが、また正対しているとは言えない状態となっている。この状態において、音声出力部40は、正対状態に近付いてはいるが、まだ正対していない旨を報知している。本実施形態では、正対した状態からずれている程度を判定するので、図4の(b)のような報知が可能になる。
Thereafter, the direction of the
そして、さらにフォークリフト5の方向が調整された図4の(c)では、フォークリフト5がパレット800と正対する状態となっている。この状態において、音声出力部40はフォークリフト5がパレット800と正対している旨を報知している。なお、図4の(c)の状態では、報知を省略してもよい。
In FIG. 4C in which the direction of the
(判定装置1の要部構成)
次に、図5を参照して、本実施形態における判定装置1の制御部10の要部構成について説明する。図5は、制御部10の要部構成の一例を示すブロック図である。本実施形態の制御部10には、上述した実施形態1における制御部10に含まれる各構成(図1参照)に加えて、ずれ度合い判定部111が含まれている。
(Main Configuration of Judgment Device 1)
Next, a configuration of a main part of the
ずれ度合い判定部111は、正対判定部104が使用する学習済みモデルからの出力データ(出力値)に基づき、フォークリフト5がパレット800に正対している状態からずれている程度を判定する。具体的には、ずれ度合い判定部111は、正対判定部104が使用する学習済みモデルから出力される確率の値、すなわち正対していない状態に該当する確率および正対している状態に該当する確率の少なくとも何れかに基づいて上記の判定を行う。なお、以下では正対していない状態に該当する確率に基づいて判定する例を説明する。
The deviation degree determination unit 111 determines the degree of deviation of the
ここで、パレット800の撮影画像において、パレット800が明らかに傾いている場合、つまり正対していない状態の特徴が撮影画像に顕著に表れている場合には、学習済みモデルの出力データは100%に近い確率を示す。一方、パレット800の撮影画像において、パレット800の傾き度合いがより小さい場合、つまり正対していない状態の特徴が撮影画像に明確には表れていない場合には、学習済みモデルの出力データが示す確率はより低い値となる。ずれ度合い判定部111は、この性質を利用して上記の判定を行う。
Here, in the captured image of the
具体的には、ずれ度合い判定部111は、学習済みモデルの出力データが示す確率値が何れの数値範囲に属するかに応じて、フォークリフト5がパレット800に正対している状態からずれている程度を判定する。例えば、ずれ度合い判定部111の判定のため、正対していない状態に該当する確率値について、50%未満、50%以上80%未満、80%以上、の3つの数値範囲を設定しておいてもよい。そして、ずれ度合い判定部111は、上記確率値が80%以上であった場合にずれ度合いが大きいと判定し、上記確率値が50%以上80%未満であった場合にずれ度合いが小さいと判定してもよい。なお、上記確率値が50%未満の場合には、正対判定部104が正対していると判定するので、ずれ度合い判定部111による判定は省略される。
Specifically, the deviation degree determination unit 111 determines the degree of deviation of the
また、本実施形態の報知制御部105は、ずれ度合い判定部111の判定結果に応じた報知を行う。例えば、報知制御部105は、ずれ度合い判定部111がずれ度合いが大きいと判定した場合には、正対している状態から大きくずれていること、あるいはフォークリフト5の向きを大きく調整する必要があることを運転者に報知してもよい。同様に、報知制御部105は、ずれ度合い判定部111がずれ度合いが小さいと判定した場合には、正対している状態から少しずれていること、あるいはフォークリフト5の向きを少し調整する必要があることを運転者に報知してもよい。
Further, the
また、ずれ度合い判定部111は、フォークリフト5の方向を調整する操作が行われた場合にずれ度合いを判定してもよい。そして、報知制御部105は、フォークリフト5の方向調整前のずれ度合いと、方向調整後のずれ度合いに応じた報知を行ってもよい。例えば、図4の(a)の例のように方向調整前にずれ度合いが大きいと判定されており、図4の(b)の例のように方向調整後にずれ度合いが小さいと判定された場合、報知制御部105は、調整の向きが正しいことを報知してもよい。逆に、方向調整前にずれ度合いが小さいと判定されており、方向調整後にずれ度合いが大きいと判定された場合、報知制御部105は、調整の向きが誤っていること、あるいは逆方向に調整すべきことを報知してもよい。
Further, the shift degree determining unit 111 may determine the shift degree when an operation of adjusting the direction of the
(実施形態2のまとめ)
以上のように、実施形態2の判定装置1は、正対判定部104が使用する学習済みモデルからの出力データに基づき、フォークリフト5がパレット800に正対している状態からずれている程度を判定するずれ度合い判定部111を備えている。これにより、フォークリフト5がパレット800に正対している状態からどの程度ずれているかを運転者にフィードバックすることが可能になる。よって、運転者は、フォークリフト5の向きをスムーズに微調整してフォークリフト5をパレット800に正対させることが可能になる。
(Summary of Embodiment 2)
As described above, the
なお、フォークリフト5とパレット800とのずれ度合いが異なる教師データによる機械学習で生成した学習済みモデルを用いることによっても、ずれ度合いを判定することは可能である。ただし、本実施形態のように、正対しているか否かの判定を行うための学習済みモデルの出力データを利用する構成とした場合、学習済みモデルを生成するコストと学習済みモデルを用いた演算コストを増加させることなくずれ度合いを判定することができるので好ましい。
The degree of deviation can be determined also by using a learned model generated by machine learning using teacher data having different degrees of deviation between the
〔実施形態3〕
上述したように、荷役作業では、フォークリフト5のフォーク50をパレット800のフォークポケット801に挿入することによって、パレット800ごと積荷を移動させる。ここで、フォークリフト5のフォーク50はティルトさせることができるようになっており、フォークポケット801への挿入時にフォーク50が水平になっていない場合、フォーク50がフォークポケット801に接触してしまうことがある。つまり、フォークリフト5がパレット800に正対していても、フォーク50がティルト状態(フォーク50の基部に対し、フォークの先端が上方または下方に位置している状態)であれば、荷役作業が失敗するおそれがある。
[Embodiment 3]
As described above, in the cargo handling operation, the load is moved together with the
そこで、本実施形態では、フォークリフト5がパレット800と正対しているか否かを判定すると共に、フォーク50がティルト状態であるか否かを判定する例を説明する。図6を参照して、本実施形態における判定装置1の制御部10の要部構成について説明する。図6は、制御部10の要部構成の一例を示すブロック図である。本実施形態の制御部10には、実施形態2の制御部10(図5)に含まれる各部に加えて、ティルト判定部121が含まれている。なお、ずれ度合いを判定する必要がない場合には、ずれ度合い判定部111は省略してもよい。
Thus, in the present embodiment, an example will be described in which it is determined whether the
ティルト判定部121は、フォーク50がティルト状態であるか否か(フォーク50が水平であるか傾いているか)を判定する。このティルト判定には、所定の位置からティルト状態のフォーク50を撮影した画像から生成した教師データと、上記所定の位置から水平状態のフォーク50を撮影した画像から生成した教師データとを用いた機械学習により生成した学習済みモデルを利用できる。
The
実施形態1で説明したように、一対のフォーク50における各基部の中間に撮影装置3を配置し、水平方向前方に向けて撮影した場合、撮影画像にはフォーク50が写る。このため、本実施形態では、上記撮影画像から入力データ生成部103が生成した入力データを、ティルト判定部121による判定にも流用する。これにより、1つの撮影画像から、正対判定とティルト判定との両方を行うことができる。無論、ティルト判定には、正対判定用とは別に撮影された画像を用いて生成した入力データを用いてもよい。また、同じ撮影画像を用いる場合であっても、正対判定用とは異なる、ティルト判定用の入力データを生成してもよい。
As described in the first embodiment, when the photographing
ティルト判定部121が、上記学習モデルに対して上記入力データを入力することにより、学習済みモデルは、フォーク50がティルト状態である確率を示す出力データを出力すると共に、フォーク50がティルト状態ではない確率を示す出力データを出力する。そして、ティルト判定部121は、これらの出力データに基づいて、フォーク50がティルト状態であるか否かを判定する。この判定は、正対判定部104による判定と同様であるから説明を省略する。
When the
そして、本実施形態の報知制御部105は、ティルト判定部121がティルト状態であると判定した場合には、その旨をフォークリフト5の運転者に報知する。報知の態様が特に限定されないことは、上記各実施形態における正対判定結果等の報知と同様である。
When the
(実施形態3のまとめ)
以上のように、本実施形態の判定装置1は、ティルト状態のフォークを撮影した画像を教師データとして機械学習した学習済みモデルを用いて、フォーク50を撮影した画像から、フォーク50がティルト状態であるか否かを判定するティルト判定部121を備えている。よって、ティルト状態を自動で検出することができる。また、ティルト状態であると判定された場合には、報知制御部105がフォークリフト5の運転者への報知を行うので、荷役作業の失敗を未然に防ぐことが可能になる。
(Summary of Embodiment 3)
As described above, the
〔変形例〕
上述の各実施形態の構成は、運転者の操作によらず自動で荷役作業を行うことができるフォークリフトに適用することもできる。この場合、判定装置1は、報知制御部105の代わりに、フォークリフトの向き(正対する方向)を調整するための、フォークリフト制御部を備えていればよい。これにより、フォークリフト5とパレット800を自動で正対させることができる。
(Modification)
The configuration of each of the embodiments described above can also be applied to a forklift capable of performing a cargo handling operation automatically without a driver's operation. In this case, the
〔分散処理について〕
上記各実施形態で説明した判定装置1の実行する処理の一部は、判定装置1と通信接続された1または複数の装置に実行させてもよい。例えば、正対判定部104の実行する処理の一部を、判定装置1と通信接続されたAIサーバに実行させてもよい。この場合、例えば、判定装置1は、入力データをAIサーバに送信し、該AIサーバから出力データを受信して、フォークリフト5がパレット800と正対しているか否かを判定する。
[About distributed processing]
Part of the processing performed by the
〔ソフトウェアによる実現例〕
判定装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of software implementation]
The control block of the determination device 1 (particularly, each unit included in the control unit 10) may be realized by a logic circuit (hardware) formed on an integrated circuit (IC chip) or the like, or may be realized by software. .
後者の場合、判定装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
1 判定装置
3 撮影装置
5 フォークリフト
50 フォーク
104 正対判定部
111 ずれ度合い判定部
121 ティルト判定部
800 パレット(対象パレット)
801 フォークポケット
900 積荷(荷役対象物)
DESCRIPTION OF
801
Claims (5)
フォークリフトに設置された撮影装置にて該フォークリフトの荷役対象物が載置されたパレットを撮影した画像と、該フォークリフトが上記パレットに正対しているか否かとの相関関係を機械学習した学習済みモデルを用いて、上記フォークリフトの荷役対象物が載置された対象パレットを上記撮影装置にて撮影した画像から、上記フォークリフトが上記対象パレットに正対しているか否かを判定する正対判定ステップを含むことを特徴とする判定方法。 A determination method by a determination device,
An image obtained by photographing a pallet on which a cargo handling object of the forklift is mounted by a photographing device installed on a forklift, and a learned model obtained by machine learning a correlation between whether the forklift is directly facing the pallet or not. A facing determination step of determining whether or not the forklift is facing the target pallet from an image obtained by capturing the target pallet on which the cargo handling object of the forklift is placed by the photographing device. A determination method characterized by the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170930A JP6722733B2 (en) | 2018-09-12 | 2018-09-12 | Judgment device and judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170930A JP6722733B2 (en) | 2018-09-12 | 2018-09-12 | Judgment device and judgment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020040811A true JP2020040811A (en) | 2020-03-19 |
JP6722733B2 JP6722733B2 (en) | 2020-07-15 |
Family
ID=69799154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018170930A Active JP6722733B2 (en) | 2018-09-12 | 2018-09-12 | Judgment device and judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6722733B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107174A (en) * | 2018-12-28 | 2020-07-09 | 住友ナコ フォ−クリフト株式会社 | Transfer system, transfer device, calculator, learning method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (en) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | Three-dimensional object grasping system |
JPH11322294A (en) * | 1998-05-13 | 1999-11-24 | Shinko Electric Co Ltd | Vehicle operation assisting device and industrial vehicle |
JP2004209997A (en) * | 2002-12-26 | 2004-07-29 | Mitsubishi Motors Corp | Parking support device |
JP2009101970A (en) * | 2007-10-25 | 2009-05-14 | Nsk Ltd | Parking supporting device |
JP2010188744A (en) * | 2009-02-13 | 2010-09-02 | Clarion Co Ltd | Device, method and program for supporting parking |
JP5747181B2 (en) * | 2010-02-26 | 2015-07-08 | パナソニックIpマネジメント株式会社 | Parking assistance device |
JP2017151652A (en) * | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | Object state specification method, object state specification apparatus, and conveyance vehicle |
JP2018107315A (en) * | 2016-12-27 | 2018-07-05 | ファナック株式会社 | Machine learning device for printed board assembling work, control device, industrial machine, assembly system, and machine learning method |
-
2018
- 2018-09-12 JP JP2018170930A patent/JP6722733B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (en) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | Three-dimensional object grasping system |
JPH11322294A (en) * | 1998-05-13 | 1999-11-24 | Shinko Electric Co Ltd | Vehicle operation assisting device and industrial vehicle |
JP2004209997A (en) * | 2002-12-26 | 2004-07-29 | Mitsubishi Motors Corp | Parking support device |
JP2009101970A (en) * | 2007-10-25 | 2009-05-14 | Nsk Ltd | Parking supporting device |
JP2010188744A (en) * | 2009-02-13 | 2010-09-02 | Clarion Co Ltd | Device, method and program for supporting parking |
JP5747181B2 (en) * | 2010-02-26 | 2015-07-08 | パナソニックIpマネジメント株式会社 | Parking assistance device |
JP2017151652A (en) * | 2016-02-23 | 2017-08-31 | 村田機械株式会社 | Object state specification method, object state specification apparatus, and conveyance vehicle |
JP2018107315A (en) * | 2016-12-27 | 2018-07-05 | ファナック株式会社 | Machine learning device for printed board assembling work, control device, industrial machine, assembly system, and machine learning method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020107174A (en) * | 2018-12-28 | 2020-07-09 | 住友ナコ フォ−クリフト株式会社 | Transfer system, transfer device, calculator, learning method |
JP7029728B2 (en) | 2018-12-28 | 2022-03-04 | 住友ナコ フォ-クリフト株式会社 | Transport system, transport device, computer, learning method |
Also Published As
Publication number | Publication date |
---|---|
JP6722733B2 (en) | 2020-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106250894B (en) | Card information identification method and device | |
JP6613343B1 (en) | Determination apparatus and determination method | |
US20090046900A1 (en) | Imaging apparatus, imaging method and computer program | |
US8098903B2 (en) | Apparatus for adjusting focus and exposure based on a face image and method of controlling same | |
US20210042912A1 (en) | Method, Apparatus and System for Detecting Fundus Image Based on Machine Learning | |
US20180213147A1 (en) | Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium | |
US10692230B2 (en) | Document imaging using depth sensing camera | |
US8903201B2 (en) | Method and apparatus for enhanced document capture | |
US10489621B2 (en) | Reading device and mobile terminal | |
CN106056117A (en) | Image processing method and device for rectangular object | |
CN104808836A (en) | Electronic Device, Method, and Program for Supporting Touch Panel Operation | |
JP2020040811A (en) | Determination device and determination method | |
US10860176B2 (en) | Image control method and device | |
US10965858B2 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium for detecting moving object in captured image | |
CN110853102A (en) | Novel robot vision calibration and guide method, device and computer equipment | |
JP2010034820A (en) | Projector, control method of projector, and control program | |
CN113920083A (en) | Image-based size measurement method and device, electronic equipment and storage medium | |
JP6674515B2 (en) | Judgment device and judgment method | |
JP6893198B2 (en) | Information processing device and information processing method | |
US20230342576A1 (en) | Optical symbol, information processing device, and code reading method | |
US10521653B2 (en) | Image processing device, image processing method, and storage medium | |
JP4715653B2 (en) | Laser pointer position determination system and laser pointer position determination method | |
JP2017219940A (en) | Notification device, electronic apparatus, notification method, and program | |
JP2015032261A (en) | Display device and control method | |
JP2020037464A (en) | Determination device and determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200326 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200403 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6722733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |