JP2015113230A - Unmanned forklift - Google Patents
Unmanned forklift Download PDFInfo
- Publication number
- JP2015113230A JP2015113230A JP2013259034A JP2013259034A JP2015113230A JP 2015113230 A JP2015113230 A JP 2015113230A JP 2013259034 A JP2013259034 A JP 2013259034A JP 2013259034 A JP2013259034 A JP 2013259034A JP 2015113230 A JP2015113230 A JP 2015113230A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- mast
- image
- imaging
- imaging range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 154
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、走行路面に敷設された誘導ラインを検出しながら当該誘導ラインに沿って走行する画像誘導方式の無人フォークリフトに関する。 The present invention relates to an image guidance type unmanned forklift that travels along a guide line while detecting a guide line laid on a traveling road surface.
この種のタイプの無人フォークリフトは、特許文献1などに開示されている。図8に、当該無人フォークリフト1’の一例が示されている。図8Aの通り、無人フォークリフト1’は、リーチ式である。無人フォークリフト1’は、車両本体2と、一対のフォーク10を昇降可能に支持するマスト装置7と、マスト装置7を一対のストラドルレッグ3、4に沿って進退移動させるリーチ装置(図示されない)とを備えている。
This type of unmanned forklift is disclosed in
無人フォークリフト1’は、マスト装置7に設けられた撮像装置14を備えている。撮像装置14は、斜め下前方を向くようにマスト装置7に取り付けられ、車両本体2の前後方向にのびる中心線C上に位置している。撮像装置14は、走行路面に敷設された誘導ラインLを含む領域を撮像範囲Pとして画像を撮像する。撮像範囲P内の所定の範囲が、誘導ラインLの検出のための画像処理がされる画像処理範囲Qとして予め規定されている。
The
無人フォークリフト1’は、撮像装置14により撮像された画像において、画像処理範囲Qの部分を抽出して画像処理することで誘導ラインLを検出し、誘導ラインLに沿って車両本体2を走行させている。
The
この無人フォークリフト1’では、経年的な理由や、振動、衝撃などが原因となって、車両本体2が傾く、マスト装置7が歪む、撮像装置14が取付位置からずれてしまうことがある。それによって、図8Bのように、撮像装置14の撮像範囲Pがずれて、画像処理範囲Qが正しい誘導ライン検出領域Sからずれる。この状態では、無人フォークリフト1’は、車両本体2が誘導ラインLに対してずれていないにもかかわらず、ずれていると誤認識してしまう。
In this unmanned forklift 1 ', the
その結果、無人フォークリフト1’は、車両本体2をガタガタと左右に揺らしながら不安定に走行して周辺のものと衝突し、また荷取り、荷降ろしのずれを生じさせる。
As a result, the unmanned forklift 1 'runs unstable while swinging the
本発明は、上記事情に鑑みてなされたものであって、その課題は、撮像装置の撮像範囲のずれを検出することができる画像誘導方式の無人フォークリフトを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an image guidance type unmanned forklift capable of detecting a shift in an imaging range of an imaging apparatus.
上記課題を解決するために、本発明に係る無人フォークリフトは、車両本体と、前記車両本体から前方に延設された一対のストラドルレッグと、前記車両本体に設けられたマスト装置と、前記マスト装置を前記ストラドルレッグに沿って進退移動させるリーチ装置と、前記マスト装置に設けられ、走行路面に敷設された誘導ラインを含む領域を撮像範囲として撮像する撮像装置と、を備え、前記撮像装置により撮像された画像により前記誘導ラインを検出し、前記誘導ラインに沿って走行する無人フォークリフトにおいて、
前記撮像範囲内における前記マスト装置の所定の位置にある第1特徴部と、前記撮像範囲内における一方の前記ストラドルレッグの所定の位置にある第2特徴部と、前記撮像範囲内における他方の前記ストラドルレッグの所定の位置にある第3特徴部と、前記撮像装置により撮像された画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置の予め設定された基準位置からの変化に基づいて、前記撮像範囲のずれを検出するずれ検出手段と、を備えることを特徴とする。
In order to solve the above problems, an unmanned forklift according to the present invention includes a vehicle main body, a pair of straddle legs extending forward from the vehicle main body, a mast device provided in the vehicle main body, and the mast device. A reach device that moves forward and backward along the straddle leg, and an imaging device that is provided in the mast device and images an area including a guide line laid on a traveling road surface as an imaging range. In the unmanned forklift that travels along the guidance line, the guidance line is detected from the image that has been
A first feature at a predetermined position of the mast device in the imaging range; a second feature at a predetermined position of one of the straddle legs in the imaging range; and the other of the other in the imaging range. The third feature at a predetermined position of the straddle leg, and the position of the first feature, the position of the second feature, and the position of the third feature in the image captured by the imaging device are preset. And a deviation detecting means for detecting a deviation of the imaging range based on the change from the reference position.
好ましくは、前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置の前記基準位置からの変化量及び変化方向に基づいて、前記ずれ検出手段により検出された前記撮像範囲のずれを補正する補正手段を備える。 Preferably, the shift detection unit detects the position of the first feature, the position of the second feature, and the amount of change from the reference position and the change direction of the position of the third feature. Correction means for correcting the shift of the imaging range is provided.
好ましくは、前記第1特徴部は、前記マスト装置の前部に取り付けられたマークであり、前記第2特徴部は、一方の前記ストラドルレッグの前部に取り付けられたマークであり、前記第3特徴部は、他方の前記ストラドルレッグの前部に取り付けられたマークである。 Preferably, the first feature is a mark attached to a front portion of the mast device, and the second feature is a mark attached to a front portion of one of the straddle legs, and the third feature The characteristic part is a mark attached to the front part of the other straddle leg.
好ましくは、前記第1特徴部、前記第2特徴部、及び前記第3特徴部がそれぞれ、点灯装置の点灯により表示されるマークであり、前記ずれ検出手段は、前記各点灯装置が点灯しているときに前記撮像装置により撮像される第1画像と、前記各点灯装置が消灯しているときに前記撮像装置により撮像される第2画像との差分画像を生成して、前記各点灯装置の点灯部分を抽出することにより、前記第1画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置を検出する。 Preferably, each of the first feature unit, the second feature unit, and the third feature unit is a mark that is displayed when the lighting device is turned on, and the deviation detection unit is configured such that each lighting device is turned on. A difference image between the first image captured by the imaging device when the lighting device is turned on and the second image captured by the imaging device when the lighting device is turned off, and By extracting a lighting part, the position of the first feature, the position of the second feature, and the position of the third feature in the first image are detected.
また、本発明に係る無人フォークリフトは、車両本体と、前記車両本体から前方に延設された一対のストラドルレッグと、前記車両本体に設けられたマスト装置と、前記マスト装置を前記ストラドルレッグに沿って進退移動させるリーチ装置と、前記マスト装置に設けられ、走行路面に敷設された誘導ラインを含む領域を撮像範囲として撮像する撮像装置と、を備え、前記撮像装置により撮像された画像により前記誘導ラインを検出し、前記誘導ラインに沿って走行する無人フォークリフトにおいて、
前記撮像範囲内における前記マスト装置の所定の位置にある第1特徴部と、前記撮像範囲内における一方の前記ストラドルレッグの所定の位置にある第2特徴部と、前記撮像範囲内における他方の前記ストラドルレッグの所定の位置にある第3特徴部と、前記撮像装置により撮像された画像における前記第1特徴部、前記第2特徴部、及び前記第3特徴部の位置関係に基づいて、前記マスト装置のリーチ動作のずれを検出するずれ検出手段と、を備えることを特徴とする。
An unmanned forklift according to the present invention includes a vehicle main body, a pair of straddle legs extending forward from the vehicle main body, a mast device provided in the vehicle main body, and the mast device along the straddle leg. A reach device that moves forward and backward, and an imaging device that is provided in the mast device and captures an area including a guide line laid on the road surface as an imaging range, and the guidance is based on an image captured by the imaging device. In an unmanned forklift that detects a line and travels along the guidance line,
A first feature at a predetermined position of the mast device in the imaging range; a second feature at a predetermined position of one of the straddle legs in the imaging range; and the other of the other in the imaging range. Based on the positional relationship among the third feature at a predetermined position of the straddle leg and the first feature, the second feature, and the third feature in the image taken by the imaging device, the mast And a deviation detecting means for detecting a deviation in the reach operation of the apparatus.
本発明は、上記構成を備えることによって、マスト装置に設けられた撮像装置の撮像範囲のずれを検出することができる画像誘導方式の無人フォークリフトを提供することができる。また、本発明は、マスト装置のリーチ動作のずれを検出することができる画像誘導方式の無人フォークリフトを提供することもできる。 The present invention can provide an image-guided unmanned forklift capable of detecting a shift in the imaging range of the imaging device provided in the mast device by having the above configuration. The present invention can also provide an image guided unmanned forklift that can detect a shift in the reach operation of the mast device.
以下、図面を参照して、本発明に係る無人フォークリフトについて説明する。
図1に、本発明に係る無人フォークリフト1の概略的な構成が示されている。無人フォークリフト1は、車両本体2と、車両本体2から前方に延設された左右一対のストラドルレッグ3、4とを備えている。一対のストラドルレッグ3、4の前部には前輪5が、車両本体2の後部には後輪6が設けられている。
Hereinafter, an unmanned forklift according to the present invention will be described with reference to the drawings.
FIG. 1 shows a schematic configuration of an
無人フォークリフト1は、車両本体2に設けられたマスト装置7を備えている。マスト装置7は、ストラドルレッグ3、4間に配置されてストラドルレッグ3、4に沿って移動可能なキャリッジ8と、キャリッジ8に立設されたマスト9とからなる。マスト9は、アウタマストと、これに昇降可能に設けられたインナマストとからなる。荷役用の左右一対のフォーク10は、リフトブラケット11を介してインナマストに支持される。不図示のリフトシリンダの伸縮によってインナマストがアウタマストに沿って昇降し、それによって、一対のフォーク10が昇降するようになっている。
The
無人フォークリフト1は、リーチ式であり、マスト装置7をストラドルレッグ3、4に沿って進退移動させるリーチ装置12を備えている。リーチ装置12は、キャリッジ8を移動させるために車両本体2に取り付けられたリーチシリンダ13と、リーチシリンダ13を伸縮させる不図示の駆動機構とを備えている。リーチシリンダ13が駆動機構により伸縮することによって、キャリッジ8がストラドルレッグ3、4に沿って進退移動する。それによって、マスト装置7が、図1に示されるように最も後退したリーチイン位置と、図2に示されるように最も前進したリーチアウト位置との間を進退移動する。
The
無人フォークリフト1は、走行路面に敷設された誘導ラインLを撮像する撮像装置14を備えている。撮像装置14は、CCDカメラやレンズなどからなる。撮像装置14は、マスト装置7の前部に取り付けられている。より具体的には、撮像装置14は、アウタマストの前部またはキャリッジ8の前部に取り付けられている。撮像装置14は、車両本体2の中心線C上に位置する。撮像装置14は、斜め下前方を向くように配置され、誘導ラインLを含む領域を撮像範囲Pとし、当該領域の画像を撮像する。撮像範囲P内の所定の範囲が、誘導ラインLの検出のための画像処理がされる画像処理範囲Qとして規定されている。撮像装置14は、所定の時間間隔(例えば、100msec間隔)で画像を撮像する。
The
無人フォークリフト1は、図1A、図3の通り、走行制御装置15を備えている。走行制御装置15は、撮像装置14により撮像された画像において画像処理範囲Qの部分を抽出して画像処理して、誘導ラインLを検出する。走行制御装置15は、誘導ラインLの検出結果に基づいて、車輪(前輪5、後輪6)を旋回制御することにより、車両本体2を誘導ラインLに沿って走行させる。
The
以上の通り、無人フォークリフト1は、撮像装置14により撮像された画像により誘導ラインLを検出し、誘導ラインLに沿って自動走行する。なお、無人フォークリフト1は、自動走行の際、マスト装置7をリーチイン位置に位置させている。また、無人フォークリフト1は、自動走行の際、図1Aの通り、フォーク10を撮像範囲Pよりも高い位置に保持し、撮像範囲Pに入り込まないようにしている。撮像装置14は、マスト装置7のアウタマストまたはキャリッジ8に取り付けられているので、フォーク10が昇降しても昇降しない。
As described above, the
この無人フォークリフト1では、衝撃、振動などが原因となって、撮像装置14のマスト装置7に対する取り付けが緩み、撮像装置14がマスト装置7に対して上下左右方向、前後傾方向(即ち、ティルト方向)またはこれらを組み合わせた方向にずれる。それによって、撮像範囲Pが、図4Aや、図4Bのように、正しい撮像範囲位置Rからずれる。
In this
また、撮像装置14がマスト装置7に対してずれることがなくても、マスト装置7の傾斜や歪み、マスト装置7が車両本体2の設置位置からずれることなどが原因となり、マスト装置7がずれることにより、撮像範囲Pが正しい撮像範囲位置Rからずれる。
Even if the
こういった撮像範囲Pのずれにより、図4Bの通り、画像処理範囲Qが正しい誘導ライン検出領域Sからずれる。その結果、無人フォークリフト1は、車両本体2が誘導ラインLに対してずれていないにもかかわらず、ずれていると誤認識する。
Due to such a shift in the imaging range P, the image processing range Q deviates from the correct guide line detection region S as shown in FIG. 4B. As a result, the
そこで、無人フォークリフト1は、撮像装置14の撮像範囲Pのずれを検出して補正するために、図4の通り、第1特徴部としてのマークM1と、第2特徴部としてのマークM2と、第3特徴部としてのマークM3とを備えている。さらに、無人フォークリフト1は、図3の通り、撮像範囲Pのずれを検出するずれ検出手段16と、検出された撮像範囲Pのずれを補正する補正手段17とを、走行制御装置15に備えている。
Therefore, the
各マークM1〜M3は、走行路面、誘導ラインL、車両本体2、ストラドルレッグ3、4、マスト装置7と異なる色が着色されている。マークM1は、マスト装置7の所定の位置に取り付けられて撮像範囲P内に入り込んでいる。マークM2は、一方のストラドルレッグ3の所定の位置に取り付けられて撮像範囲P内に入り込んでいる。マークM3は、他方のストラドルレッグ4の所定の位置に取り付けられて撮像範囲P内に入り込んでいる。マークM1、マークM2、及びマークM3のすべてが撮像範囲P内に入り込むように、撮像装置14のレンズには、広角のレンズが用いられている。
Each of the marks M <b> 1 to M <b> 3 is colored in a color different from the traveling road surface, the guide line L, the vehicle
本実施例では、マークM1は、車両本体2の中心線C上に位置するようにマスト装置2に配置されている。マークM2は、一方のストラドルレッグ3の前部の内側面に配置されており、マークM3は、他方のストラドルレッグ4の前部の内側面に配置されている。マークM2及びマークM3は、中心線Cを基準に線対称である。
In the present embodiment, the mark M <b> 1 is disposed on the
マスト装置7がリーチイン位置にあり撮像範囲Pがずれていない状態で、撮像装置14によって図5のような画像が撮像される。なお、図5の画像は、撮像装置14によって撮像されてレンズの歪みなどを補正する前処理がされた画像である。ずれ検出手段16は、当該画像における各マークM1〜M3の位置を画像処理によって検出し、これらの位置をそれぞれ基準位置F1〜F3として予め記憶して設定している。
In the state where the
ずれ検出手段16は、走行中に撮像装置14によって順次撮像される画像における各マークM1〜M3の位置を検出する。そして、ずれ検出手段16は、検出されたマークM1の位置の基準位置F1からの変化、検出されたマークM2の位置の基準位置F2からの変化、及び、検出されたマークM3の位置の基準位置F3からの変化に基づいて、撮像範囲Pのずれを検出する。
The
撮像範囲Pにずれが生じていないとき、撮像装置14によって撮像された画像において検出される各マークM1〜M3の位置は、図5の画像と同じであり、基準位置F1〜F3にある。
When there is no deviation in the imaging range P, the positions of the marks M1 to M3 detected in the image captured by the
従って、ずれ検出手段16は、撮像された画像における各マークM1〜M3の位置が基準位置F1〜F3から変化していなければ、撮像範囲Pがずれていないと判定する。
Accordingly, the
図6Aに、撮像装置14がマスト装置7に対してずれることにより撮像範囲Pのずれが生じたときに、撮像装置14により撮像される画像の一例が示されている。図6Aでは、撮像範囲Pのずれが容易に理解できるように、基準位置F1〜F3を示している。
FIG. 6A illustrates an example of an image captured by the
図6Aの通り、撮像装置14がマスト装置7に対してずれると、画像において、マスト装置7に取り付けられたマークM1の位置が基準位置F1から変化し、一方のストラドルレッグ3に取り付けられたマークM2の位置が基準位置F2から変化し、他方のストラドルレッグ4に取り付けられたマークM3の位置が基準位置F3から変化する。
As shown in FIG. 6A, when the
従って、ずれ検出手段16は、撮像された画像における各マークM1〜M3の位置が基準位置F1〜F3から変化しているときには、撮像装置14がマスト装置7に対してずれたことにより、撮像範囲Pにずれが生じたと判定する。
Therefore, the
図6Bに、撮像装置14がマスト装置7に対してずれていないがマスト装置7がずれることにより撮像範囲Pのずれが生じたときに、撮像装置14により撮像される画像の一例が示されている。図6Bでは、撮像範囲Pのずれが容易に理解できるように、基準位置F1〜F3を示している。
FIG. 6B shows an example of an image captured by the
マスト装置7がずれたとき、マスト装置7に取り付けられた撮像装置14及びマークM1は一体的に移動するので、撮像装置14とマークM1との相対的な位置関係は変わらない。そのため、画像におけるマークM1の位置は、基準位置F1にある。一方、マスト装置7がずれたとき、マスト装置7に取り付けられた撮像装置14と、ストラドルレッグ3、4に取り付けられたマークM2及びマークM3との相対的な位置関係は変わる。そのため、画像におけるマークM2の位置及びマークM3の位置はそれぞれ、基準位置F2、F3から変化する。
When the
従って、ずれ検出手段16は、撮像された画像において、マークM1の位置が基準位置F1から変化せず、マークM2の位置が基準位置F2から変化し、マークM3の位置が基準位置F3から変化したときには、マスト装置7のずれにより撮像範囲Pのずれが生じたと判定する。
Therefore, in the captured image, the
そして、ずれ検出手段16は、上記の通り撮像範囲Pのずれを検出したとき、マークM1の位置の基準位置F1からの変化量及び変化方向、マークM2の位置の基準位置F2からの変化量及び変化方向、及び、マークM3の位置の基準位置F3からの変化量及び変化方向を演算することにより、撮像範囲Pがどのようにずれているかを認識する。
When the
そして、補正手段17は、演算された各マークM1〜M3の位置の基準位置F1〜F3からの変化量及び変化方向に基づいて、正しい誘導ライン検出領域S(図4B)の画像が画像処理されるように画像処理範囲Qを修正する。即ち、補正手段17は、撮像範囲Pがずれた撮像装置14により撮像された画像において正しい誘導ライン検出領域Sの部分の画像を抽出して画像処理し、誘導ラインLを検出する。そして、走行制御装置15は、その誘導ラインLの検出結果に基づいて、車両本体2を誘導ラインLに沿って走行させる。それによって、撮像範囲Pがずれたときでも、車両本体2を左右にガタガタと揺らすことなく安定して走行させることができる。
Then, the
上記の通り、無人フォークリフト1は、撮像範囲Pがずれたときでも安定した走行を続けることができる。それによって、従来のように、撮像範囲Pがずれた画像に基づいて走行制御することで、ガタガタと揺れながら不安定に走行して周辺のものと衝突したり、また荷取り、荷降ろしのずれが生じたりすることが防止される。
As described above, the
なお、上記構成の補正手段17に代えて、ずれ検出手段16が撮像範囲Pのずれを検出したときに走行停止するように無人フォークリフト1が構成されてもよい。また、無人フォークリフト1は、不図示の警報手段を備え、撮像範囲Pのずれを検出したときに、当該警報手段によって、周囲の作業者にまたは無人フォークリフト1を備える搬送システムの管理者に、音声または視覚により警報してもよい。
Instead of the
以上の通り、無人フォークリフト1は、マスト装置7上のマークM1と、ストラドルレッグ3、4上のマークM2及びマークM3とを利用したことにより、撮像装置14のマスト装置7に対するずれにより生じる撮像範囲Pのずれと、撮像装置14がマスト装置7に対してずれていないがマスト装置7がずれることにより生じる撮像範囲Pのずれと、を区別して検出することができる。さらに、無人フォークリフト1は、各マークM1〜M3の位置の基準位置F1〜F3からの変化量及び変化方向により、どのように撮像範囲Pがずれたかも正確に把握することができる。即ち、撮像装置14が上下左右方向または前後傾方向のどの方向にずれたか、マスト装置7がどの方向にずれたかといったように、撮像範囲Pのずれの原因も把握することができる。
As described above, the
また、無人フォークリフト1のずれ検出手段16は、マスト装置7のリーチ動作のずれを検出することもできる。以下、図7を参照してこの構成について説明する。
Further, the deviation detecting means 16 of the
マークM1は、マスト装置7の前部に取り付けられ、撮像装置14の撮像範囲P内に入り込むようになっている。マークM2は、一方のストラドルレッグ3の前部に取り付けられ、マークM3は、他方のストラドルレッグ4の前部に取り付けられている。マークM2及びマークM3は、マスト装置7がリーチイン位置からリーチアウト位置までのどの位置にあっても、撮像範囲P内に入り込むように、撮像装置14のレンズに広角のレンズが用いられ、かつマークM2及びマークM3の取付位置が調整される。前述の通り、マークM1は、中心線C上に位置している。マークM2及びマークM3は、中心線Cを基準に線対称である。
The mark M <b> 1 is attached to the front portion of the
無人フォークリフト1が、リーチ装置12(図1)によって、マスト装置7を一対のストラドルレッグ3、4に沿ってリーチイン位置とリーチアウト位置との間を進退移動させるときに、マスト装置7に取り付けられた撮像装置14によって画像を一定の時間間隔で順次撮像する。
The
そして、ずれ検出手段16は、リーチ動作の際に順次撮像された画像において、各マークM1〜M3の位置を検出し、各マークM1〜M3の位置関係に基づいて、マスト装置7のリーチ動作のずれを検出する。
Then, the
マスト装置7のリーチ動作にずれがないとき、マスト装置7の中心が中心線C上を移動する。即ち、マスト装置7とともに移動するマークM1の軌跡は、中心線Cと一致する。従って、リーチ動作の際に順次撮像される画像において、マークM1の位置は、マークM2の位置とマーク3の位置との垂直二等分線上にある。ずれ検出手段16は、この場合、マスト装置7のリーチ動作がずれていないと判定する。
When the reach operation of the
一方、マスト装置7のリーチ動作にずれがあるとき、マスト装置7の中心が中心線Cかずれる部分が生じる。即ち、マークM1の軌跡は、中心線Cと一致しない。従って、リーチ動作の際に順次撮像される画像のうち少なくとも一つの画像におけるマークM1の位置は、マークM2の位置とマーク3の位置との垂直二等分線上にない。ずれ検出手段16は、この場合、マスト装置7のリーチ動作がずれていると判定する。
On the other hand, when the reach operation of the
以上のように、無人フォークリフト1のずれ検出手段16は、リーチ動作の際に順次撮像される画像において各マークM1〜M3の位置を検出することで、リーチイン位置からリーチアウト位置までのマスト装置7の軌跡を把握し、マスト装置7のリーチ動作のずれを検出する。
As described above, the deviation detecting means 16 of the
そして、無人フォークリフト1は、ずれ検出手段16によりマスト装置7のリーチ動作のずれ検出をしたときには、先に記載と同じように警報手段により警報する。
Then, when the
以上、本発明に係る無人フォークリフト1の好ましい実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。
上記実施形態におけるマークM1〜M3とは、例えば、シールや、塗料によって形成されるものである。これに代えて、例えば、マークM1〜M3をそれぞれ、点灯装置の点灯により表示するようにしてもよい。そして、この場合における撮像装置14の撮像範囲Pのずれ検出の一例を、以下で説明する。
The preferred embodiment of the
The marks M1 to M3 in the above embodiment are formed by, for example, a seal or paint. Instead of this, for example, the marks M1 to M3 may be displayed by turning on the lighting device. In this case, an example of detection of deviation of the imaging range P of the
マスト装置7の前部に、一方のストラドルレッグ3の前部に、そして、他方のストラドルレッグ4の前部に、点灯装置としてのLED(発光ダイオード)が配置される。この3つのLEDは、それぞれ、走行制御装置15により点灯制御される。各LEDが点灯することによってマークM1〜M3が表示され、各LEDが消灯することによってマークM1〜M3が非表示になる。
An LED (light emitting diode) as a lighting device is disposed at the front of the
ずれ検出手段16は、走行中のある時点にて、各LEDが点灯した状態の(即ち、マークM1〜M3が表示された状態の)第1画像と、各LEDが消灯した状態の(即ち、マークM1〜M3が非表示の状態の)第2画像とを、撮像装置14により撮像する。
次いで、ずれ検出手段16は、この第1画像と第2画像との差分画像を生成することで、各LEDの点灯部分を抽出して、各点灯部分の位置を検出する。差分画像における3つの点灯部分の位置が、第1画像におけるマークM1(第1特徴部)の位置、マークM2(第2特徴部)の位置、及びマークM3(第3特徴部)の位置にそれぞれ対応する。こうして、ずれ検出手段16は、第1画像におけるマークM1の位置、マークM2の位置、及びマークM3の位置を検出する。
そして、ずれ検出手段16は、上記実施形態と同様に、マークM1の位置の基準位置F1からの変化、マークM2の位置の基準位置F2からの変化、及び、マークM3の位置の基準位置F3からの変化に基づいて、撮像範囲Pのずれを検出する。
The deviation detection means 16 has a first image in which each LED is lit (that is, a state in which the marks M1 to M3 are displayed) and a state in which each LED is turned off (that is, at a certain point during traveling). The second image (in which the marks M1 to M3 are not displayed) is captured by the
Next, the
Similarly to the above-described embodiment, the
なお、このようにして撮像装置Pのずれを検出する場合、マークM1〜M3の色を、即ち、LEDの点灯色を、走行路面、誘導ラインL、車両本体2、ストラドルレッグ3、4、マスト装置7と、必ずしも異なる色にする必要はない。
When detecting the displacement of the imaging device P in this way, the color of the marks M1 to M3, that is, the lighting color of the LED, the road surface, the guide line L, the
その他の実施形態として、第1特徴部、第2特徴部及び第3特徴部を、マークM1〜M3に代えて、撮像された画像を画像処理することで検出可能な特徴的な形状によって構成してもよい。 As another embodiment, the first feature portion, the second feature portion, and the third feature portion are configured with characteristic shapes that can be detected by performing image processing on the captured image instead of the marks M1 to M3. May be.
1 無人フォークリフト
1’ 無人フォークリフト(従来)
2 車両本体
3 ストラドルレッグ(一方)
4 ストラドルレッグ(他方)
5 前輪
6 後輪
7 マスト装置
8 キャリッジ
9 マスト
10 フォーク
11 リフトブラケット
12 リーチ装置
13 リーチシリンダ
14 撮像装置
15 走行制御装置
16 ずれ検出手段
17 補正手段
P 撮像範囲
Q 画像処理範囲
R 正しい撮像範囲位置
S 正しい誘導ライン検出領域
M1 マーク(第1特徴部)
M2 マーク(第2特徴部)
M3 マーク(第3特徴部)
F1 マークM1の基準位置
F2 マークM2の基準位置
F3 マークM3の基準位置
1 Unmanned forklift 1 'Unmanned forklift (conventional)
2
4 straddle legs (the other)
5
M2 mark (second feature)
M3 mark (third feature)
F1 Reference position of mark M1 F2 Reference position of mark M2 F3 Reference position of mark M3
上記課題を解決するために、本発明に係る無人フォークリフトは、車両本体と、前記車両本体から前方に延設された一対のストラドルレッグと、前記車両本体の前方にかつ前記ストラドルレッグの間に設けられ、前記ストラドルレッグに沿って移動可能なマスト装置と、前記マスト装置を前記ストラドルレッグに沿って進退移動させるリーチ装置と、走行路面に敷設された誘導ラインを含む領域を撮像範囲として撮像し、前記撮像範囲内に規定された画像処理範囲が前記走行路面上の誘導ライン検出領域と一致するように前記マスト装置に設けられた撮像装置と、前記撮像装置によって撮像された画像から前記画像処理範囲の部分を抽出し画像処理して、前記誘導ラインを検出し、前記誘導ラインの検出結果に基づいて前記車両本体を前記誘導ラインに沿って走行させる走行制御装置と、を備える無人フォークリフトにおいて、
前記マスト装置の所定の位置にある第1特徴部と、一方の前記ストラドルレッグの所定の位置にある第2特徴部と、他方の前記ストラドルレッグの所定の位置にある第3特徴部と、を備え、前記第1特徴部、前記第2特徴部、及び前記第3特徴部は、1台の前記撮像装置の前記撮像範囲内に入り込んでおり、
前記走行制御装置は、前記1台の撮像装置により撮像された画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置の予め設定された基準位置からの変化に基づいて、前記1台の撮像装置の前記撮像範囲のずれを検出するずれ検出手段と、前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置の前記基準位置からの変化量及び変化方向に基づいて、前記画像処理範囲を修正する補正手段と、を備え、前記ずれ検出手段によって前記撮像範囲のずれが検出されたとき、前記補正手段によって、前記撮像範囲がずれた前記1台の撮像装置によって撮像された画像において前記誘導ライン検出領域の画像が抽出され画像処理されるように画像処理範囲を修正してから、前記誘導ラインを検出し、その誘導ラインの検出結果に基づいて前記車両本体を走行させる、ことを特徴とする。
In order to solve the above problems, an unmanned forklift according to the present invention is provided with a vehicle main body, a pair of straddle legs extending forward from the vehicle main body, and in front of the vehicle main body and between the straddle legs. is a mast assembly movable along the straddle legs, imaging the mast assembly and reach apparatus for advancing and retracting movement along said straddle leg, as an imaging range area including the guide line laid in run line road An image processing device provided in the mast device such that an image processing range defined in the imaging range coincides with a guide line detection region on the traveling road surface, and the image processing from an image captured by the imaging device A range portion is extracted and image-processed to detect the guide line, and the vehicle body is guided based on the detection result of the guide line. A travel control device for running along the line, in an unmanned forklift comprising,
A first feature at a predetermined position before Symbol mast assembly, the third feature is in place of the straddle legs of the second feature and the other side in the predetermined position of the straddle legs hand And the first feature unit, the second feature unit, and the third feature unit enter the imaging range of one imaging device,
The travel control device is configured based on a preset reference position of the position of the first feature, the position of the second feature, and the position of the third feature in an image captured by the one imaging device. Displacement detecting means for detecting a shift in the imaging range of the one imaging device based on the change of the position, the position of the first feature, the position of the second feature, and the position of the third feature Correction means for correcting the image processing range based on a change amount and a change direction from the reference position, and when the deviation of the imaging range is detected by the deviation detection means, The guide line is detected after correcting the image processing range so that the image of the guide line detection area is extracted and image-processed in the image picked up by the one image pickup device with the image pickup range shifted. To travel the vehicle body based on a detection result of the induction line, characterized in that.
好ましくは、前記第1特徴部は、前記マスト装置の前部に取り付けられたマークであり、前記第2特徴部は、一方の前記ストラドルレッグの前部に取り付けられたマークであり、前記第3特徴部は、他方の前記ストラドルレッグの前部に取り付けられたマークである。 Preferably, the first feature is a mark attached to a front portion of the mast device, and the second feature is a mark attached to a front portion of one of the straddle legs, and the third feature The characteristic part is a mark attached to the front part of the other straddle leg.
好ましくは、前記第1特徴部、前記第2特徴部、及び前記第3特徴部がそれぞれ、点灯装置の点灯により表示されるマークであり、前記ずれ検出手段は、前記各点灯装置が点灯しているときに前記撮像装置により撮像される第1画像と、前記各点灯装置が消灯しているときに前記撮像装置により撮像される第2画像との差分画像を生成して、前記各点灯装置の点灯部分を抽出することにより、前記第1画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置を検出する。 Preferably, each of the first feature unit, the second feature unit, and the third feature unit is a mark that is displayed when the lighting device is turned on, and the deviation detection unit is configured such that each lighting device is turned on. A difference image between the first image captured by the imaging device when the lighting device is turned on and the second image captured by the imaging device when the lighting device is turned off, and By extracting a lighting part, the position of the first feature, the position of the second feature, and the position of the third feature in the first image are detected.
また、本発明に係る無人フォークリフトは、車両本体と、前記車両本体から前方に延設された一対のストラドルレッグと、前記車両本体の前方にかつ前記ストラドルレッグの間に設けられ、前記ストラドルレッグに沿って移動可能なマスト装置と、前記マスト装置を前記ストラドルレッグに沿って進退移動させるリーチ動作を行うリーチ装置と、前記マスト装置に設けられ、前記車両本体の走行のために走行路面に敷設された誘導ラインを含む領域を撮像範囲として撮像する撮像装置とを備え、前記車両本体を前記誘導ラインに沿って走行させる無人フォークリフトにおいて、An unmanned forklift according to the present invention is provided with a vehicle body, a pair of straddle legs extending forward from the vehicle body, and provided between the straddle legs in front of the vehicle body and between the straddle legs. A mast device that can move along, a reach device that performs a reach operation to move the mast device forward and backward along the straddle leg, and a mast device that is provided on the mast device and is laid on a traveling road surface for traveling the vehicle body In an unmanned forklift that includes an image pickup device that picks up an area including the guide line as an image pickup range, and travels the vehicle body along the guide line,
前記マスト装置の所定の位置にある第1特徴部と、一方の前記ストラドルレッグの所定の位置にある第2特徴部と、他方の前記ストラドルレッグの所定の位置にある第3特徴部と、前記リーチ動作のずれを検出するずれ検出手段と、を備え、前記第1特徴部、前記第2特徴部、及び前記第3特徴部は、1台の前記撮像装置の前記撮像範囲内に入り込んでおり、A first feature in a predetermined position of the mast device; a second feature in a predetermined position of one of the straddle legs; a third feature in a predetermined position of the other straddle leg; A displacement detecting means for detecting a displacement of reach operation, wherein the first feature portion, the second feature portion, and the third feature portion are within the imaging range of one imaging device. ,
前記1台の撮像装置は、前記リーチ装置による前記マスト装置の前記リーチ動作の際に順次画像を撮像し、前記ずれ検出手段は、前記1台の撮像装置により順次撮像された画像において、前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置を検出し、前記第1特徴部、前記第2特徴部、及び前記第3特徴部の位置関係に基づいて、前記リーチ動作のずれを検出する、ことを特徴とする。The one image pickup device sequentially picks up images during the reach operation of the mast device by the reach device, and the shift detection means is configured to detect the first image in the images sequentially picked up by the one image pickup device. Detecting the position of one feature, the position of the second feature, and the position of the third feature, and based on the positional relationship of the first feature, the second feature, and the third feature , Detecting a shift in the reach operation.
好ましくは、前記1台の撮像装置及び前記第1特徴部は、前記車両本体の前後方向にのびる中心線上にあり、前記第2特徴部及び前記第3特徴部は、前記中心線を基準に線対称であり、前記ずれ検出手段は、前記リーチ装置による前記マスト装置の前記リーチ動作の際に前記1台の撮像装置により順次撮像された画像のうち少なくとも1つの画像において、前記第1特徴部の位置が、前記第2特徴部の位置と前記第3特徴部の位置との垂直二等分線上にないとき、前記リーチ動作がずれていると判定する。Preferably, the one imaging device and the first feature are on a center line extending in the front-rear direction of the vehicle body, and the second feature and the third feature are lines based on the center line. It is symmetrical, and the deviation detecting means is configured to detect at least one of the images of the first characteristic unit among images sequentially captured by the one imaging device during the reach operation of the mast device by the reach device. When the position is not on the perpendicular bisector between the position of the second feature and the position of the third feature, it is determined that the reach operation is shifted.
Claims (5)
前記撮像範囲内における前記マスト装置の所定の位置にある第1特徴部と、
前記撮像範囲内における一方の前記ストラドルレッグの所定の位置にある第2特徴部と、
前記撮像範囲内における他方の前記ストラドルレッグの所定の位置にある第3特徴部と、
前記撮像装置により撮像された画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置の予め設定された基準位置からの変化に基づいて、前記撮像範囲のずれを検出するずれ検出手段と、を備える、
ことを特徴とする無人フォークリフト。 A vehicle body, a pair of straddle legs extending forward from the vehicle body, a mast device provided in the vehicle body, a reach device for moving the mast device forward and backward along the straddle legs, and the mast An image pickup device that is provided in the device and picks up an image including an area including the guide line laid on the road surface as an image pickup range, detects the guide line from an image picked up by the image pickup device, and follows the guide line In an unmanned forklift that travels
A first feature at a predetermined position of the mast device within the imaging range;
A second feature located at a predetermined position of one of the straddle legs within the imaging range;
A third feature at a predetermined position of the other straddle leg in the imaging range;
The imaging range based on a change from a preset reference position of the position of the first feature, the position of the second feature, and the position of the third feature in the image captured by the imaging device A displacement detecting means for detecting the displacement of
This is an unmanned forklift.
前記ずれ検出手段は、前記各点灯装置が点灯しているときに前記撮像装置により撮像される第1画像と、前記各点灯装置が消灯しているときに前記撮像装置により撮像される第2画像との差分画像を生成して、前記各点灯装置の点灯部分を抽出することにより、前記第1画像における前記第1特徴部の位置、前記第2特徴部の位置、及び前記第3特徴部の位置を検出することを特徴とする請求項1または請求項2に記載の無人フォークリフト。 The first feature portion, the second feature portion, and the third feature portion are marks displayed by lighting of a lighting device,
The shift detection means includes a first image captured by the imaging device when each lighting device is turned on, and a second image captured by the imaging device when each lighting device is turned off. And extracting the lighting portion of each lighting device, the position of the first feature portion, the position of the second feature portion, and the position of the third feature portion in the first image. The unmanned forklift according to claim 1 or 2, wherein the position is detected.
前記撮像範囲内における前記マスト装置の所定の位置にある第1特徴部と、
前記撮像範囲内における一方の前記ストラドルレッグの所定の位置にある第2特徴部と、
前記撮像範囲内における他方の前記ストラドルレッグの所定の位置にある第3特徴部と、
前記撮像装置により撮像された画像における前記第1特徴部、前記第2特徴部、及び前記第3特徴部の位置関係に基づいて、前記マスト装置のリーチ動作のずれを検出するずれ検出手段と、を備える、
ことを特徴とする無人フォークリフト。 A vehicle body, a pair of straddle legs extending forward from the vehicle body, a mast device provided in the vehicle body, a reach device for moving the mast device forward and backward along the straddle legs, and the mast An image pickup device that is provided in the device and picks up an image including an area including the guide line laid on the road surface as an image pickup range, detects the guide line from an image picked up by the image pickup device, and follows the guide line In an unmanned forklift that travels
A first feature at a predetermined position of the mast device within the imaging range;
A second feature located at a predetermined position of one of the straddle legs within the imaging range;
A third feature at a predetermined position of the other straddle leg in the imaging range;
A deviation detecting means for detecting a deviation in the reach operation of the mast device based on a positional relationship between the first characteristic section, the second characteristic section, and the third characteristic section in an image captured by the imaging apparatus; Comprising
This is an unmanned forklift.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013259034A JP5784099B2 (en) | 2013-12-16 | 2013-12-16 | Unmanned forklift |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013259034A JP5784099B2 (en) | 2013-12-16 | 2013-12-16 | Unmanned forklift |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015113230A true JP2015113230A (en) | 2015-06-22 |
JP5784099B2 JP5784099B2 (en) | 2015-09-24 |
Family
ID=53527377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013259034A Active JP5784099B2 (en) | 2013-12-16 | 2013-12-16 | Unmanned forklift |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5784099B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017128975A (en) * | 2016-01-22 | 2017-07-27 | 株式会社大林組 | Vehicle operation support system |
JP2020125197A (en) * | 2019-02-06 | 2020-08-20 | 株式会社豊田自動織機 | Cargo handling work support device for reach type forklift |
JP2020152547A (en) * | 2019-03-20 | 2020-09-24 | 東芝エレベータ株式会社 | Elevator system |
JP2022503595A (en) * | 2018-08-28 | 2022-01-12 | 霊動科技(北京)有限公司 | Self-driving system with inventory holder |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546240A (en) * | 1991-08-16 | 1993-02-26 | Ishikawajima Harima Heavy Ind Co Ltd | Method and device for detecting self-position of moving body |
JPH06186035A (en) * | 1992-12-16 | 1994-07-08 | Taisei Corp | Three-dimenisonal position measuring system |
JPH1183480A (en) * | 1997-09-04 | 1999-03-26 | Nec Corp | Apparatus for measuring position, apparatus for recognizing proceeding direction of moving body, and apparatus for marking movement |
JP2002132344A (en) * | 2000-10-24 | 2002-05-10 | Nippon Seiki Co Ltd | Guiding method for moving body |
JPWO2007080779A1 (en) * | 2006-01-12 | 2009-06-11 | 株式会社ニコン | Object transport apparatus, exposure apparatus, object temperature control apparatus, object transport method, and microdevice manufacturing method |
JP2013125518A (en) * | 2011-12-16 | 2013-06-24 | Mitsubishi Nichiyu Forklift Co Ltd | Unattended vehicle |
-
2013
- 2013-12-16 JP JP2013259034A patent/JP5784099B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0546240A (en) * | 1991-08-16 | 1993-02-26 | Ishikawajima Harima Heavy Ind Co Ltd | Method and device for detecting self-position of moving body |
JPH06186035A (en) * | 1992-12-16 | 1994-07-08 | Taisei Corp | Three-dimenisonal position measuring system |
JPH1183480A (en) * | 1997-09-04 | 1999-03-26 | Nec Corp | Apparatus for measuring position, apparatus for recognizing proceeding direction of moving body, and apparatus for marking movement |
JP2002132344A (en) * | 2000-10-24 | 2002-05-10 | Nippon Seiki Co Ltd | Guiding method for moving body |
JPWO2007080779A1 (en) * | 2006-01-12 | 2009-06-11 | 株式会社ニコン | Object transport apparatus, exposure apparatus, object temperature control apparatus, object transport method, and microdevice manufacturing method |
JP2013125518A (en) * | 2011-12-16 | 2013-06-24 | Mitsubishi Nichiyu Forklift Co Ltd | Unattended vehicle |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017128975A (en) * | 2016-01-22 | 2017-07-27 | 株式会社大林組 | Vehicle operation support system |
JP2022503595A (en) * | 2018-08-28 | 2022-01-12 | 霊動科技(北京)有限公司 | Self-driving system with inventory holder |
JP7202580B2 (en) | 2018-08-28 | 2023-01-12 | 霊動科技(北京)有限公司 | Automated driving system with inventory holder |
JP2020125197A (en) * | 2019-02-06 | 2020-08-20 | 株式会社豊田自動織機 | Cargo handling work support device for reach type forklift |
JP7063283B2 (en) | 2019-02-06 | 2022-05-09 | 株式会社豊田自動織機 | Cargo handling work support device for reach type forklift |
JP2020152547A (en) * | 2019-03-20 | 2020-09-24 | 東芝エレベータ株式会社 | Elevator system |
CN111717738A (en) * | 2019-03-20 | 2020-09-29 | 东芝电梯株式会社 | Elevator system |
Also Published As
Publication number | Publication date |
---|---|
JP5784099B2 (en) | 2015-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784099B2 (en) | Unmanned forklift | |
CN107851387B (en) | Signal machine recognition device and signal machine recognition method | |
KR101704309B1 (en) | Container position detection apparatus, crane control system | |
WO2017200303A3 (en) | Mobile robot and control method therefor | |
JP6477883B2 (en) | Signal recognition device and signal recognition method | |
US10118566B2 (en) | Image processing device, image processing method, and image display system | |
JP6794879B2 (en) | Person detection system for work vehicles and work vehicles equipped with this | |
JP5796947B2 (en) | Autonomous traveling control device and autonomous traveling vehicle equipped with the same | |
JP2010162635A (en) | Method for correcting position and attitude of self-advancing robot | |
JP6577661B2 (en) | Road surface displacement detection device and suspension control method | |
KR101305401B1 (en) | Night-Driving Guidance System and Method for Auto-Driving Vehicle using Infrared Line Laser | |
US20100201994A1 (en) | Sideways drift correction device | |
JP2017111554A5 (en) | ||
JP5218479B2 (en) | Mobile system | |
JP2016038757A (en) | Traffic light recognition apparatus and traffic light recognition method | |
JP6194245B2 (en) | Traffic light recognition device | |
KR20080085278A (en) | Map creation system and map creation method of mobile robot | |
JP5344500B2 (en) | Unmanned vehicle | |
KR20150066713A (en) | pick-up crane | |
JP5024560B2 (en) | Moving body | |
JP5748314B1 (en) | Cargo handling vehicle | |
JP5692767B1 (en) | Autonomous vehicle | |
JP7017293B2 (en) | Vehicle approach notification device and forklift equipped with the device | |
EP3929613A1 (en) | A method for navigating a movable device along an inclined surface | |
JP5748307B2 (en) | Automated guided vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5784099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |