JP2020179953A - Cargo handling support system - Google Patents

Cargo handling support system Download PDF

Info

Publication number
JP2020179953A
JP2020179953A JP2019082486A JP2019082486A JP2020179953A JP 2020179953 A JP2020179953 A JP 2020179953A JP 2019082486 A JP2019082486 A JP 2019082486A JP 2019082486 A JP2019082486 A JP 2019082486A JP 2020179953 A JP2020179953 A JP 2020179953A
Authority
JP
Japan
Prior art keywords
height
cargo handling
fork
camera
loading surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019082486A
Other languages
Japanese (ja)
Other versions
JP7099399B2 (en
Inventor
順治 井上
Junji Inoue
順治 井上
浩伸 岡本
Hironobu Okamoto
浩伸 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2019082486A priority Critical patent/JP7099399B2/en
Publication of JP2020179953A publication Critical patent/JP2020179953A/en
Application granted granted Critical
Publication of JP7099399B2 publication Critical patent/JP7099399B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

To provide a cargo handling support system capable of confirming a separation situation between the loading surface of a loading destination and a pallet bottom surface even if a fork supports loads.SOLUTION: A cargo handling support system comprises a camera 43 capable of imaging a front area in the state of a fork 34 supporting a load W and installed in the position where it can be raised and lowered with the fork 34 in a cargo handling device 29, a display to display a captured image captured by the camera 43, and a cargo placement surface height acquisition unit which finds the height of the optical axis of the camera 43 based on the lifting height of the fork 34 detected by a lifting height sensor, and acquires the height of the cargo placement surface based on the height of the optical axis when the optical axis of the camera 43 in the captured image overlaps the cargo placement surface by raising and lowering the fork 34.SELECTED DRAWING: Figure 5

Description

この発明は、フォークリフトの荷役を支援する荷役支援システムに関する。 The present invention relates to a cargo handling support system that supports cargo handling of a forklift.

従来では、フォークの水平部分の傾斜角度に拘らず、モニタ画像に基づいて、フォークを正確かつ容易に位置決め可能なフォークモニタリング装置が知られている(特許文献1を参照)。 Conventionally, there is known a fork monitoring device capable of accurately and easily positioning a fork based on a monitor image regardless of the inclination angle of a horizontal portion of the fork (see Patent Document 1).

特許文献1のフォークモニタリング装置では、一対のフォークの両水平部分の先端を含み両水平部分より先方のパレットを撮像するカメラが、リフトブラケットのうち、両フォーク間の略中間部に該当する位置で、かつ両フォークの略水平な水平部分と略同じ高さに取り付けられている。また、モニタが運転室に設けられ、さらにカメラとリフトブラケットとの間に、カメラを常時水平に保持する水平保持手段が設けられている。このため、フォークの水平部分の傾斜角度に拘らず、モニタ画像に基づいて、フォークを正確かつ容易に位置決めすることができる。 In the fork monitoring device of Patent Document 1, a camera that includes the tips of both horizontal portions of a pair of forks and images a pallet beyond both horizontal portions is located at a position corresponding to a substantially intermediate portion between both forks in the lift bracket. And it is installed at almost the same height as the horizontal part of both forks. In addition, a monitor is provided in the driver's cab, and a horizontal holding means for holding the camera horizontally is provided between the camera and the lift bracket. Therefore, the fork can be accurately and easily positioned based on the monitor image regardless of the inclination angle of the horizontal portion of the fork.

特開2006−240873号公報Japanese Unexamined Patent Publication No. 2006-248073

しかしながら、特許文献1のフォークモニタリング装置では、荷が搭載されたパレットをフォークリフトが、例えば、荷棚に荷置きする場合、荷がカメラの視界を遮るため、荷置き先の棚上面が把握できない。つまり、フォークがパレットとともに荷を支持するとき、荷置き先である荷載置面とパレットの底面とのクリアランスをカメラの撮影画像に基づいて認識することができないという問題がある。 However, in the fork monitoring device of Patent Document 1, when a forklift loads a pallet on which a load is mounted, for example, the load blocks the view of the camera, the upper surface of the shelf at the loading destination cannot be grasped. That is, when the fork supports the load together with the pallet, there is a problem that the clearance between the loading surface, which is the loading destination, and the bottom surface of the pallet cannot be recognized based on the image taken by the camera.

本発明は上記の問題点に鑑みてなされたもので、本発明の目的は、フォークが荷を支持する状態であっても荷置き先の荷載置面とパレットの底面との離間状況を確認することができる荷役支援システムの提供にある。 The present invention has been made in view of the above problems, and an object of the present invention is to confirm the separation state between the loading surface of the loading destination and the bottom surface of the pallet even when the fork supports the load. It is in the provision of a cargo handling support system that can be used.

上記の課題を解決するために、本発明は、フォークを備えた荷役装置と、前記フォークの揚高を検出する揚高センサと、を有するフォークリフトを備え、荷載置面を有する荷棚に対する前記フォークリフトの荷役作業の支援を行う荷役支援システムにおいて、前記フォークが荷を支持する状態で前方を撮影可能であって、かつ、前記荷役装置において前記フォークとともに昇降可能な位置に設けられたカメラと、前記カメラにより撮影された撮影画像を表示する表示部と、前記揚高センサが検出する前記フォークの揚高に基づいて前記カメラの光軸の高さを求めるとともに、前記フォークの昇降により前記撮影画像における前記カメラの光軸が前記荷載置面と重畳したときの前記光軸の高さに基づき、前記荷載置面の高さを取得する荷載置面高さ取得部を備えることを特徴とする。 In order to solve the above problems, the present invention comprises a forklift having a cargo handling device provided with a fork and a lifting sensor for detecting the lifting height of the fork, and the forklift for a loading rack having a loading surface. In the cargo handling support system that supports the cargo handling work of the above, a camera provided at a position where the fork can take a picture of the front while supporting the load and can be raised and lowered together with the fork in the cargo handling device, and the above. The height of the optical axis of the camera is obtained based on the lift height of the fork detected by the lift sensor and the display unit that displays the shot image taken by the camera, and the fork is moved up and down to obtain the shot image in the shot image. It is characterized by including a loading surface height acquisition unit that acquires the height of the loading surface based on the height of the optical axis when the optical axis of the camera overlaps the loading surface.

本発明では、荷載置面高さ取得部は、揚高センサが検出するフォークの揚高に基づいてカメラの光軸の高さを求めるとともに、フォークの昇降により前記撮影画像におけるカメラの光軸が前記荷載置面と重畳したときの前記光軸の高さに基づき、荷棚が備える荷載置面の高さを取得する。従って、オペレータは、フォークが荷を支持する状態であっても荷棚が備える荷載置面の高さを認識でき、荷置き先の荷載置面とパレットの底面との離間状況を確認することができる。 In the present invention, the loading surface height acquisition unit obtains the height of the optical axis of the camera based on the lift height of the fork detected by the lift sensor, and the optical axis of the camera in the captured image is adjusted by raising and lowering the fork. Based on the height of the optical axis when it overlaps with the loading surface, the height of the loading surface provided on the loading shelf is acquired. Therefore, the operator can recognize the height of the loading surface of the loading rack even when the fork supports the load, and can confirm the separation status between the loading surface of the loading destination and the bottom surface of the pallet. it can.

また、上記の荷役支援システムにおいて、前記揚高センサが検出する前記フォークの揚高および前記フォークが支持するパレットの寸法に基づいて前記パレットの底面の高さを求めるパレット底面高さ取得部をさらに備え、前記表示部は、前記荷載置面の高さおよび前記パレットの底面の高さを線として描画表示する構成としてもよい。
この場合、パレット底面高さ取得部は、揚高センサにより検出されるフォークの揚高および予め設定されるパレットの寸法に基づいてパレットの底面の高さを求める。表示部において荷載置面の高さおよびパレットの底面の高さが線として描画表示されるので、オペレータは荷載置面とパレットの底面との離間状況を直感的に確認することができる。
Further, in the above cargo handling support system, a pallet bottom surface height acquisition unit that obtains the height of the bottom surface of the pallet based on the lift height of the fork detected by the lift sensor and the dimensions of the pallet supported by the fork is further provided. The display unit may be configured to draw and display the height of the loading surface and the height of the bottom surface of the pallet as lines.
In this case, the pallet bottom height acquisition unit obtains the height of the pallet bottom surface based on the fork lift detected by the lift sensor and the preset pallet dimensions. Since the height of the loading surface and the height of the bottom surface of the pallet are drawn and displayed as lines on the display unit, the operator can intuitively check the separation status between the loading surface and the bottom surface of the pallet.

また、上記の荷役支援システムにおいて、前記荷載置面の高さを取得後、前記パレットの底面が前記荷載置面より高くなるように、前記フォークを上昇させる構成としてもよい。
この場合、荷載置面の高さを取得後、荷載置面の高さを取得後にパレットの底面が荷載置面より高くなるように、フォークが上昇するので、オペレータの操作負担を軽減することができる。
Further, in the above-mentioned cargo handling support system, after acquiring the height of the loading surface, the fork may be raised so that the bottom surface of the pallet is higher than the loading surface.
In this case, after acquiring the height of the loading surface, the fork rises so that the bottom surface of the pallet is higher than the loading surface after acquiring the height of the loading surface, so that the operator's operational burden can be reduced. it can.

また、上記の荷役支援システムにおいて、前記フォークリフトのオペレータの操作による入力が可能な操作入力部を備え、
前記荷載置面高さ取得部は、前記撮影画像において前記カメラの光軸が前記荷載置面と重畳したときに前記操作入力部に入力された入力信号に基づき前記荷載置面の高さを取得する構成としてもよい。
この場合、荷載置面高さ取得部は、操作入力部に対するオペレータの操作の入力による入力信号に基づいて荷載置面の高さを取得する。つまり、荷載置面の高さの取得の際に、オペレータの意思を反映して荷載置面の高さを取得することができる。
Further, in the above-mentioned cargo handling support system, an operation input unit capable of inputting by the operation of the forklift operator is provided.
The loading surface height acquisition unit acquires the height of the loading surface based on an input signal input to the operation input unit when the optical axis of the camera overlaps the loading surface in the captured image. It may be configured to be used.
In this case, the loading surface height acquisition unit acquires the height of the loading surface based on the input signal input by the operator's operation to the operation input unit. That is, when the height of the loading surface is acquired, the height of the loading surface can be acquired by reflecting the intention of the operator.

また、上記の荷役支援システムにおいて、前記表示部は、前記カメラの光軸を通る平行線を線として描画表示する構成としてもよい。
この場合、表示部にカメラの光軸を通る平行線が線として描画表示されることにより、カメラの光軸が荷載置面と重畳することが判り易くなる。従って、荷載置面の高さの取得の際に、オペレータの意思を反映して荷載置面の高さを取得する場合には、荷載置面の高さを取得し易くなる。
Further, in the above cargo handling support system, the display unit may be configured to draw and display parallel lines passing through the optical axis of the camera as lines.
In this case, since the parallel lines passing through the optical axis of the camera are drawn and displayed as lines on the display unit, it becomes easy to understand that the optical axis of the camera overlaps with the loading surface. Therefore, when the height of the loading surface is acquired by reflecting the intention of the operator when acquiring the height of the loading surface, it becomes easy to acquire the height of the loading surface.

また、上記の荷役支援システムにおいて、前記フォークリフトの走行および前記荷役装置による荷役を遠隔操作する遠隔操作装置を備え、前記遠隔操作装置は、前記表示部を備える構成としてもよい。
この場合、遠隔操作装置が表示部を備えることにより、遠隔操作されるフォークリフトの荷役を効果的に支援することができる。
Further, the cargo handling support system may include a remote control device for remotely controlling the traveling of the forklift and cargo handling by the cargo handling device, and the remote control device may be configured to include the display unit.
In this case, if the remote control device includes a display unit, it is possible to effectively support the cargo handling of the forklift that is remotely controlled.

本発明によれば、フォークが荷を支持する状態であっても荷置き先の荷載置面とパレットの底面との離間状況を確認することができる荷役支援システムを提供することができる。 According to the present invention, it is possible to provide a cargo handling support system capable of confirming the separation state between the loading surface of the loading destination and the bottom surface of the pallet even when the fork supports the load.

第1の実施形態に係る荷役支援システムの電気的構成を示すブロック図である。It is a block diagram which shows the electrical structure of the cargo handling support system which concerns on 1st Embodiment. 第1の実施形態に係る荷棚の斜視図である。It is a perspective view of the luggage rack which concerns on 1st Embodiment. 第1の実施形態に係るリーチ式フォークリフトの側面図である。It is a side view of the reach type forklift which concerns on 1st Embodiment. 第1の実施形態に係るリーチ式フォークリフトの斜視図である。It is a perspective view of the reach type forklift which concerns on 1st Embodiment. 荷棚および荷置き前のリーチフォークリフトを示す側面図である。It is a side view which shows the load shelf and the reach forklift before loading. (a)は荷載置面とカメラの光軸ラインとが重畳しないときの撮影画像であり、(b)は荷載置面とカメラの光軸ラインとが重畳するときの撮影画像である。(A) is a photographed image when the loading surface and the optical axis line of the camera do not overlap, and (b) is a photographed image when the loading surface and the optical axis line of the camera overlap. (a)は、荷役用カメラの高さと荷載置面の高さが一致した場合の表示部における描画表示例であり、(b)は荷置き直前の表示部における描画表示例を示す図であり、(c)は床面を荷置き先とする場合の表示部における描画表示例を示す図である。(A) is a drawing display example in the display unit when the height of the cargo handling camera and the height of the loading surface match, and (b) is a diagram showing a drawing display example in the display unit immediately before loading. , (C) is a diagram showing a drawing display example in the display unit when the floor surface is used as the loading destination. 荷役支援システムによる荷載置面およびパレット底面の描画表示の手順を示すフロー図である。It is a flow chart which shows the procedure of drawing display of a loading surface and the bottom surface of a pallet by a cargo handling support system. 第2の実施形態に係る荷役支援システムによる荷載置面およびパレット底面の描画表示およびフォークの自動上昇の手順を示すフロー図である。It is a flow chart which shows the procedure of drawing display of the loading surface and the bottom surface of a pallet by the cargo handling support system which concerns on 2nd Embodiment, and automatic ascending of a fork.

(第1の実施形態)
以下、第1の実施形態に係る荷役支援システムについて図面を参照して説明する。本実施形態の荷役支援システムは、リーチ式フォークリフトの遠隔操作システムに適用した例である。
(First Embodiment)
Hereinafter, the cargo handling support system according to the first embodiment will be described with reference to the drawings. The cargo handling support system of this embodiment is an example applied to a remote control system of a reach type forklift.

図1に示すように、荷役支援システム10は、リーチ式フォークリフト11と、リーチ式フォークリフト11を遠隔操作するのに用いられる遠隔操作装置12と、を備えている。本実施形態では、リーチ式フォークリフト11は、作業場Eに配置される。遠隔操作装置12は、作業場Eと別に設けた操作室Rに配置されている。そして、オペレータは、遠隔操作装置12を用いて操作室Rから、作業場Eのリーチ式フォークリフト11を遠隔操作することができる。 As shown in FIG. 1, the cargo handling support system 10 includes a reach type forklift 11 and a remote control device 12 used for remotely controlling the reach type forklift 11. In this embodiment, the reach type forklift 11 is arranged in the work place E. The remote control device 12 is arranged in an operation room R provided separately from the work place E. Then, the operator can remotely control the reach type forklift 11 of the work place E from the operation room R by using the remote control device 12.

図2に示すように、作業場Eには荷棚13が設置されている。荷棚13は、複数の支柱14と、支柱14を繋ぐ横架材15、16と、支柱14において水平に設けられた複数の棚板17を備えている。本実施形態の荷棚13では、荷Wを載置可能な荷載置部は、上下2段の棚板17のほか、下段の棚板17の下方の床18を含めて上下3段となっている。従って、棚板17および棚板17の下方の床18は荷載置部に相当し、棚板17の上面17Aおよび床面18Aは荷載置面に相当する。なお、床面18Aおよび棚板17の上面17Aは水平である。荷棚13では棚板17および棚板17の下方の床面18Aに荷Wが載置される。 As shown in FIG. 2, a luggage rack 13 is installed in the work place E. The luggage rack 13 includes a plurality of columns 14, horizontal members 15 and 16 connecting the columns 14, and a plurality of shelf boards 17 horizontally provided on the columns 14. In the loading shelf 13 of the present embodiment, the loading section on which the load W can be placed has three upper and lower stages including the upper and lower two-stage shelf board 17 and the floor 18 below the lower shelf plate 17. There is. Therefore, the shelf board 17 and the floor 18 below the shelf board 17 correspond to the loading / unloading portion, and the upper surface 17A and the floor surface 18A of the shelf board 17 correspond to the loading / unloading surface. The floor surface 18A and the upper surface 17A of the shelf board 17 are horizontal. In the luggage rack 13, the load W is placed on the shelf board 17 and the floor surface 18A below the shelf board 17.

荷Wはいずれもパレット20に載置されている。パレット20の上面20Aには荷Wが載置され、底面20Bは棚板17又は床18と接触する。パレット20にはフォーク34を差し込む差込口21が備えられている。オペレータは、リーチ式フォークリフト11を遠隔操作して荷棚13から荷Wを取り出したり、空いている棚板17へ荷Wを載置したりする。 All of the loads W are placed on the pallet 20. A load W is placed on the upper surface 20A of the pallet 20, and the bottom surface 20B comes into contact with the shelf board 17 or the floor 18. The pallet 20 is provided with an insertion port 21 into which the fork 34 is inserted. The operator remotely controls the reach type forklift 11 to take out the load W from the load shelf 13 or place the load W on the vacant shelf board 17.

図3、図4に示すように、リーチ式フォークリフト11の車体25には、左右一対のリーチレグ26が備えられている。左右一対のリーチレグ26は車体25の前部から前方へ向けて延在する。左右一対のリーチレグ26の前部には前輪27がそれぞれ備えられている。車体25の後部には後輪28およびキャスタ輪(図示せず)が設けられている。後輪28は操舵可能な駆動輪である。 As shown in FIGS. 3 and 4, the vehicle body 25 of the reach type forklift 11 is provided with a pair of left and right reach legs 26. The pair of left and right reach legs 26 extend from the front portion of the vehicle body 25 toward the front. Front wheels 27 are provided on the front portions of the pair of left and right reach legs 26. Rear wheels 28 and caster wheels (not shown) are provided at the rear of the vehicle body 25. The rear wheel 28 is a steerable drive wheel.

リーチ式フォークリフト11は荷役装置29を備えている。荷役装置29は車体25の前部における左右一対のリーチレグ26の間に位置する。荷役装置29は、左右一対のアウタマスト30およびアウタマスト30に対して昇降するインナマスト31を備えている。また、荷役装置29は、インナマスト31に連結されたリフトシリンダ32を備える。インナマスト31は、リフトシリンダ32への作動油の給排によって昇降する。インナマスト31に対して昇降可能なリフトブラケット33が備えられている。リフトブラケット33には、左右一対のフォーク34が備えられている。左右一対のフォーク34はティルトシリンダ(図示せず)により前後に傾動可能である。フォーク34は、前後方向に延在する載置部34Aと載置部34Aの基部(後部)から立ち上がる立ち上がり部34Bを有している。また、荷役装置29は、フォーク34の揚高を検出する揚高センサ36を備えている。 The reach type forklift 11 includes a cargo handling device 29. The cargo handling device 29 is located between the pair of left and right reach legs 26 at the front portion of the vehicle body 25. The cargo handling device 29 includes a pair of left and right outer masts 30 and an inner mast 31 that moves up and down with respect to the outer mast 30. Further, the cargo handling device 29 includes a lift cylinder 32 connected to the inner mast 31. The inner mast 31 moves up and down by supplying and discharging hydraulic oil to the lift cylinder 32. A lift bracket 33 that can be raised and lowered with respect to the inner mast 31 is provided. The lift bracket 33 is provided with a pair of left and right forks 34. The pair of left and right forks 34 can be tilted back and forth by a tilt cylinder (not shown). The fork 34 has a mounting portion 34A extending in the front-rear direction and a rising portion 34B rising from the base portion (rear portion) of the mounting portion 34A. Further, the cargo handling device 29 includes a lift sensor 36 that detects the lift of the fork 34.

図4に示すように、リフトブラケット33には、フォーク34の上方に位置するようにバックレスト37が取り付けられている。バックレスト37は、フォーク34に荷Wが載置されたときに荷Wの後面を支持する。バックレスト37の左右方向の長さは、車体25の幅より小さいがアウタマスト30の外側へはみ出す長さに設定されている。バックレスト37は、リフトブラケット33およびフォーク34とともに荷役装置29における昇降可能な昇降部に相当する。 As shown in FIG. 4, a backrest 37 is attached to the lift bracket 33 so as to be located above the fork 34. The backrest 37 supports the rear surface of the load W when the load W is placed on the fork 34. The length of the backrest 37 in the left-right direction is set to a length that is smaller than the width of the vehicle body 25 but protrudes to the outside of the outer mast 30. The backrest 37, together with the lift bracket 33 and the fork 34, corresponds to a liftable portion in the cargo handling device 29.

車体25には、荷役装置29に連結されたリーチシリンダ38が備えられている(図3を参照)。リーチシリンダ38は作動油の給排によってロッドが前後方向に進退する。リーチシリンダ38の作動により荷役装置29は、リーチレグ26に沿って前後に移動する。リーチ式フォークリフト11は、後輪28を駆動させる走行モータ39と後輪28を操舵する操舵モータ(図示せず)を備える。 The vehicle body 25 is provided with a reach cylinder 38 connected to the cargo handling device 29 (see FIG. 3). The rod of the reach cylinder 38 moves back and forth in the front-rear direction due to the supply and discharge of hydraulic oil. The operation of the reach cylinder 38 causes the cargo handling device 29 to move back and forth along the reach leg 26. The reach type forklift 11 includes a traveling motor 39 for driving the rear wheels 28 and a steering motor (not shown) for steering the rear wheels 28.

図1に示すように、リーチ式フォークリフト11は、車両通信部としての無線部40と、車両制御部41と、画像信号処理部42と、荷役用カメラ43と、を有する。無線部40は、次に説明する遠隔操作装置12と無線通信を行うためのものである。車両制御部41は、リーチ式フォークリフト11の各部と接続され、車両制御部41と接続された各部を制御するほか、揚高センサ36および無線部40と接続されている。荷役用カメラ43は、荷役作業に必要なフォーク34の先端部およびフォーク34の前方を撮影する。画像信号処理部42は、荷役用カメラ43により撮影された撮影画像を通信可能に信号処理する。なお、図示はされないが、リーチ式フォークリフト11には、荷役用カメラ43のほか、走行のために前方および後方を撮影する複数の走行用カメラおよび障害物を検出する複数のセンサが備えられている。 As shown in FIG. 1, the reach type forklift 11 has a radio unit 40 as a vehicle communication unit, a vehicle control unit 41, an image signal processing unit 42, and a cargo handling camera 43. The wireless unit 40 is for performing wireless communication with the remote control device 12 described below. The vehicle control unit 41 is connected to each part of the reach type forklift 11, controls each part connected to the vehicle control unit 41, and is also connected to the lift sensor 36 and the radio unit 40. The cargo handling camera 43 photographs the tip of the fork 34 and the front of the fork 34, which are necessary for cargo handling work. The image signal processing unit 42 signals the captured image captured by the cargo handling camera 43 so as to be communicable. Although not shown, the reach-type forklift 11 is provided with a cargo handling camera 43, a plurality of traveling cameras for photographing the front and rear for traveling, and a plurality of sensors for detecting obstacles. ..

次に、遠隔操作装置12について説明する。遠隔操作装置12は、無線部45と、制御部46と、操作部47と、表示部48と、画像信号処理部49と、入力部50を有する。無線部45はリーチ式フォークリフト11の無線部40と無線通信可能である。制御部46は、無線部45、操作部47、表示部48および画像信号処理部49と接続されている。制御部46は、操作部47の操作出力をリーチ式フォークリフト11へ指令する機能を備えるほか、パレット20の寸法、荷役用カメラ43の高さを設定して記憶する。また、制御部46は、設定されたパレット20の寸法および荷役用カメラ43の光軸の高さから、パレット20の底面20Bの高さと荷載置面の高さを算出するほか、底面20Bと荷載置面との離間距離を算出する機能を有する。制御部46は、荷載置面の高さを取得する荷載置面高さ取得部に相当するほか、パレット20の底面20Bの高さH4を求めるパレット底面高さ取得部に相当する。 Next, the remote control device 12 will be described. The remote control device 12 includes a wireless unit 45, a control unit 46, an operation unit 47, a display unit 48, an image signal processing unit 49, and an input unit 50. The wireless unit 45 can wirelessly communicate with the wireless unit 40 of the reach type forklift 11. The control unit 46 is connected to a radio unit 45, an operation unit 47, a display unit 48, and an image signal processing unit 49. The control unit 46 has a function of commanding the operation output of the operation unit 47 to the reach type forklift 11, and also sets and stores the dimensions of the pallet 20 and the height of the cargo handling camera 43. Further, the control unit 46 calculates the height of the bottom surface 20B of the pallet 20 and the height of the loading surface from the set dimensions of the pallet 20 and the height of the optical axis of the cargo handling camera 43, and also loads the bottom surface 20B and the loading surface. It has a function to calculate the distance from the mounting surface. The control unit 46 corresponds to the loading surface height acquisition unit that acquires the height of the loading surface, and also corresponds to the pallet bottom surface height acquisition unit that obtains the height H4 of the bottom surface 20B of the pallet 20.

操作部47における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。表示部48は、画面48Aを備える画像モニタであり、例えば、画面48A上にて各種図形を描画表示するほか、無線部45を通じて受信された撮影画像を画面48Aに表示したり、遠隔操作に必要な各種の情報を表示したりする。画像信号処理部49は、画像認識部および画像処理部に相当し、荷役用カメラ43により撮影された撮影画像の画像認識の処理のほか、表示部48に表示する撮影画像の並び替え等の編集や加工を行う。入力部50はデータ等の入力を可能としており、具体的には、例えば、キーボードやテンキー等である。入力部50には、荷Wの載置先となる棚板17の上面17Aの床面18Aからの高さを取得するための操作ボタン50Aが設けられている。操作ボタン50Aは、オペレータの操作による入力が可能な操作入力部に相当する。 As the operation method in the operation unit 47, a touch panel method, a mouse method, a joystick method, or the like is used. The display unit 48 is an image monitor provided with a screen 48A. For example, in addition to drawing and displaying various figures on the screen 48A, a captured image received through the wireless unit 45 can be displayed on the screen 48A, which is necessary for remote control. Various information is displayed. The image signal processing unit 49 corresponds to an image recognition unit and an image processing unit, and in addition to processing image recognition of captured images captured by the cargo handling camera 43, editing of rearrangement of captured images displayed on the display unit 48, etc. And processing. The input unit 50 can input data and the like, and specifically, for example, a keyboard and a numeric keypad. The input unit 50 is provided with an operation button 50A for acquiring the height of the upper surface 17A of the shelf board 17 on which the load W is placed from the floor surface 18A. The operation button 50A corresponds to an operation input unit capable of input by an operator's operation.

そして、遠隔操作装置12の操作部47がオペレータにより操作されると、制御部46は無線部45を介して操作内容をリーチ式フォークリフト11側に送る。リーチ式フォークリフト11では、遠隔操作装置12からの操作内容が無線部40にて受信され、車両制御部41は遠隔操作装置12側からの指示に基づきリーチ式フォークリフト11の各部を制御する。具体的には、走行駆動系の機器(走行モータ39、操舵モータ等)および荷役系の機器(リフトシリンダ32、リーチシリンダ38、ティルトシリンダ等)が車両制御部41の指令に基づいて駆動される。このように、遠隔操作装置12は、リーチ式フォークリフト11の走行および荷役装置29による荷役を遠隔操作することができるようになっている。 Then, when the operation unit 47 of the remote control device 12 is operated by the operator, the control unit 46 sends the operation content to the reach type forklift 11 side via the radio unit 45. In the reach type forklift 11, the operation content from the remote control device 12 is received by the radio unit 40, and the vehicle control unit 41 controls each part of the reach type forklift 11 based on the instruction from the remote control device 12 side. Specifically, the traveling drive system equipment (travel motor 39, steering motor, etc.) and cargo handling equipment (lift cylinder 32, reach cylinder 38, tilt cylinder, etc.) are driven based on the command of the vehicle control unit 41. .. In this way, the remote control device 12 can remotely control the traveling of the reach type forklift 11 and the cargo handling by the cargo handling device 29.

ところで、本実施形態の荷役用カメラ43は、荷役作業を行うためのカメラであるが、荷役用カメラ43は、図3、図4に示すように、昇降部であるバックレスト37の上部の中心にてレンズが前方を向くように取り付けられている。荷役用カメラ43がバックレスト37の上部の中心にて前方を向くように取り付けられていることにより、フォーク34の先端部およびフォーク34の前方は荷役用カメラ43により撮影可能である。また、荷役用カメラ43は、フォーク34により荷Wが支持されている場合でも、荷Wより高い位置に設けられており、荷置き先の荷載置面である棚板17の上面17Aが撮影画像に映り込む。つまり、荷役用カメラ43は、フォーク34が荷Wを支持する状態で前方を撮影可能であって、かつ、荷役装置29においてフォーク34とともに昇降可能な位置に設けられている。フォーク34の先端部およびフォーク34の前方は、遠隔操作により荷役作業を行うためにオペレータの確認が必要となる領域である。図6(a)、図6b(b)に示すように、バックレスト37の上部の中心にて前方を向く荷役用カメラ43により撮影された撮影画像Pでは、荷役用カメラ43の光軸OAは画面中央に位置し、光軸ラインMは、この光軸OAを通り画面を水平に横断する一点鎖線(平行線)により示される。つまり、撮影画像Pにおいては光軸OAを含む荷役用カメラ43の光軸面(X−Y平面)が光軸ラインMとして水平な直線により示される。したがって、撮影画像Pは、平面方向(X−Y軸方向)における荷役用カメラ43の光軸ラインMと荷載置面である棚板17の上面17Aが重畳しているか否かを確認し易い。 By the way, the cargo handling camera 43 of the present embodiment is a camera for performing cargo handling work, but the cargo handling camera 43 is the center of the upper part of the backrest 37 which is an elevating part as shown in FIGS. 3 and 4. The lens is attached so that it faces forward. Since the cargo handling camera 43 is attached so as to face forward at the center of the upper part of the backrest 37, the tip of the fork 34 and the front of the fork 34 can be photographed by the cargo handling camera 43. Further, the cargo handling camera 43 is provided at a position higher than the load W even when the load W is supported by the fork 34, and the upper surface 17A of the shelf plate 17 which is the loading surface of the loading destination is a photographed image. It is reflected in. That is, the cargo handling camera 43 is provided at a position where the fork 34 can take a picture of the front while supporting the load W and can be raised and lowered together with the fork 34 in the cargo handling device 29. The tip of the fork 34 and the front of the fork 34 are areas that require operator confirmation in order to perform cargo handling work by remote control. As shown in FIGS. 6A and 6b, in the photographed image P taken by the cargo handling camera 43 facing forward at the center of the upper part of the backrest 37, the optical axis OA of the cargo handling camera 43 is Located in the center of the screen, the optical axis line M is indicated by a alternate long and short dash line (parallel line) that passes through the optical axis OA and horizontally crosses the screen. That is, in the captured image P, the optical axis plane (XY plane) of the cargo handling camera 43 including the optical axis OA is indicated by a horizontal straight line as the optical axis line M. Therefore, it is easy to confirm whether or not the optical axis line M of the cargo handling camera 43 and the upper surface 17A of the shelf board 17 which is the loading surface overlap each other in the captured image P in the plane direction (XY axis direction).

本実施形態では、制御部46は、図5に示す下側の棚板17の上面17Aの床面18Aからの高さH1をオペレータの入力により求める。具体的には、図6(a)、図6(b)に示すように、フォーク34を昇降させて荷役用カメラ43の撮影画像Pから荷役用カメラ43の高さ(カメラの光軸ラインMの高さ)と、上面17Aの高さが一致したときに、オペレータは入力部50に設けられた高さ決定の操作ボタン50Aを押す。操作ボタン50Aが押された時の荷役用カメラ43の床面18Aからの高さは、高さ決定の操作ボタン50Aが押されたときの揚高センサ36により検出されたフォーク34の高さ(揚高)H3(図5を参照)と、制御部46に予め設定されたフォーク34から荷役用カメラ43までの高さに基づいて算出される。つまり、制御部46は、撮影画像Pにおいて荷役用カメラ43の光軸ラインMが荷載置面と重畳したときに操作ボタン50Aに入力された入力信号に基づき荷載置面の高さを取得する。上側の棚板17の上面17Aの床面18Aからの高さH2(図5を参照)についても、フォーク34を昇降させて荷役用カメラ43の高さと、上側の棚板17の上面17Aの高さH2とを一致させて高さ決定ボタンの操作ボタン50Aを押すようにすれば、高さH2が算出される。また、下側の棚板17の上面17Aの高さH1についても同様に荷役用カメラ43の高さと、下側の棚板17の上面17Aの高さH1とを一致させて高さ決定ボタンの操作ボタン50Aを押すようにすれば算出される。 In the present embodiment, the control unit 46 obtains the height H1 of the upper surface 17A of the lower shelf plate 17 shown in FIG. 5 from the floor surface 18A by input from the operator. Specifically, as shown in FIGS. 6 (a) and 6 (b), the fork 34 is moved up and down to raise and lower the height of the cargo handling camera 43 from the captured image P of the cargo handling camera 43 (optical axis line M of the camera). When the height of the upper surface 17A and the height of the upper surface 17A match, the operator presses the height determination operation button 50A provided on the input unit 50. The height of the cargo handling camera 43 from the floor surface 18A when the operation button 50A is pressed is the height of the fork 34 detected by the lift sensor 36 when the operation button 50A for determining the height is pressed ( Lifting height) H3 (see FIG. 5) and the height from the fork 34 preset in the control unit 46 to the cargo handling camera 43 are calculated. That is, the control unit 46 acquires the height of the loading surface based on the input signal input to the operation button 50A when the optical axis line M of the cargo handling camera 43 overlaps the loading surface in the captured image P. Regarding the height H2 (see FIG. 5) of the upper surface 17A of the upper shelf plate 17 from the floor surface 18A, the height of the cargo handling camera 43 by raising and lowering the fork 34 and the height of the upper surface 17A of the upper shelf plate 17 The height H2 is calculated by matching the height H2 with the height H2 and pressing the operation button 50A of the height determination button. Similarly, for the height H1 of the upper surface 17A of the lower shelf board 17, the height of the cargo handling camera 43 and the height H1 of the upper surface 17A of the lower shelf board 17 are matched with each other to match the height H1 of the height determination button. It is calculated by pressing the operation button 50A.

フォーク34にパレット20が差し込まれている状態では、パレット20の底面20Bの高さH4は、揚高センサ36により検出されたフォーク34の高さ(揚高)H3と、制御部46に設定されたパレット20の寸法と、に基づいて制御部46により算出される。従って、床面18Aからの高さH1、H2およびパレット20の底面20Bの高さH4により、制御部46は、パレット20の底面20Bと床面18Aとの離間距離や底面20Bと棚板17の上面17Aとの離間距離を算出することが可能である。図5に示すパレット20の底面20Bと荷置き先である荷載置面との離間距離△Hは、棚板17の上面17Aを荷載置面とするときは高さH4から高さH1又は高さH2を差し引けばよく、床面18Aを荷載置面とするときは高さH4が離間距離である。 When the pallet 20 is inserted into the fork 34, the height H4 of the bottom surface 20B of the pallet 20 is set to the height (lift) H3 of the fork 34 detected by the lift sensor 36 and the control unit 46. It is calculated by the control unit 46 based on the dimensions of the pallet 20. Therefore, due to the heights H1 and H2 from the floor surface 18A and the height H4 of the bottom surface 20B of the pallet 20, the control unit 46 determines the distance between the bottom surface 20B of the pallet 20 and the floor surface 18A and the distance between the bottom surface 20B and the shelf board 17. It is possible to calculate the distance from the upper surface 17A. The separation distance ΔH between the bottom surface 20B of the pallet 20 shown in FIG. 5 and the loading surface, which is the loading destination, is the height H4 to the height H1 or the height when the upper surface 17A of the shelf board 17 is used as the loading surface. H2 may be subtracted, and when the floor surface 18A is used as the loading surface, the height H4 is the separation distance.

荷役対象の荷Wの寸法が予め判明している場合には、制御部46に荷Wの寸法を設定し記憶させておく。制御部46に荷Wの寸法が設定され、パレット20の寸法の設定と併せることによりフォーク34に支持される状態の荷Wの上面の床面18Aからの高さH5(図5を参照)が制御部46により算出可能となる。また、荷棚13の最上部の横架材15は、上の棚板17に対して荷役の際にフォーク34や荷Wと干渉するおそれがあるため、横架材15の床面18Aからの高さH6(図5を参照)を制御部46に設定して記憶させる。 When the size of the load W to be handled is known in advance, the size of the load W is set and stored in the control unit 46 in the control unit 46. The size of the load W is set in the control unit 46, and the height H5 (see FIG. 5) of the upper surface of the load W supported by the fork 34 from the floor surface 18A is set in combination with the setting of the size of the pallet 20. It can be calculated by the control unit 46. Further, since the horizontal member 15 at the uppermost part of the load shelf 13 may interfere with the fork 34 and the load W during cargo handling with respect to the upper shelf plate 17, the horizontal member 15 is from the floor surface 18A of the horizontal member 15. The height H6 (see FIG. 5) is set in the control unit 46 and stored.

本実施形態の荷役支援システム10では、図8に示すフロー図の手順により荷載置面(棚板17の上面17A又は床面18A)およびパレット20の底面20Bが描画表示される。まず、制御部46は、揚高センサ36の検出信号からフォーク34の高さを検出する(ステップS01を参照)。次に、制御部46は、フォーク34の高さからパレット20の底面20Bの高さを算出する(ステップS02を参照)。次に、制御部46は、表示部48に撮影画像Pを表示させ、撮影画像Pに荷役用カメラ43の光軸ラインMを線として描画表示する(ステップS03を参照)。そして、オペレータは、荷載置面と荷役用カメラ43の光軸ラインMが重畳したときに、操作ボタン50Aを押す(ステップS04を参照)。制御部46は、操作ボタン50Aが押された時の揚高センサ36の検出信号から荷載置面の高さを算出する(ステップS05を参照)。制御部46は、パレット20の底面20Bと荷載置面との離間状況が判るように、パレット20の底面20Bと荷載置面とを表示部48に描画表示する(ステップS06を参照)。パレット20の底面20Bと荷載置面とが表示部48に描画表示されることにより、オペレータは荷載置面とパレット20の底面20Bとの離間状況を直感的に確認することができる。 In the cargo handling support system 10 of the present embodiment, the loading surface (upper surface 17A or floor 18A of the shelf board 17) and the bottom surface 20B of the pallet 20 are drawn and displayed according to the procedure of the flow chart shown in FIG. First, the control unit 46 detects the height of the fork 34 from the detection signal of the lift sensor 36 (see step S01). Next, the control unit 46 calculates the height of the bottom surface 20B of the pallet 20 from the height of the fork 34 (see step S02). Next, the control unit 46 causes the display unit 48 to display the captured image P, and draws and displays the optical axis line M of the cargo handling camera 43 as a line on the captured image P (see step S03). Then, the operator presses the operation button 50A when the loading surface and the optical axis line M of the cargo handling camera 43 overlap each other (see step S04). The control unit 46 calculates the height of the loading surface from the detection signal of the lifting height sensor 36 when the operation button 50A is pressed (see step S05). The control unit 46 draws and displays the bottom surface 20B of the pallet 20 and the loading surface on the display unit 48 so that the separation state between the bottom surface 20B of the pallet 20 and the loading surface can be known (see step S06). By drawing and displaying the bottom surface 20B of the pallet 20 and the loading surface on the display unit 48, the operator can intuitively confirm the separation status between the loading surface and the bottom surface 20B of the pallet 20.

次に、本実施形態の荷役支援システム10の作用について説明する。本実施形態のリーチ式フォークリフト11はオペレータの遠隔操作により走行し、荷役作業を行う。リーチ式フォークリフト11は、パレット20に載置された荷Wをフォーク34により支持している。オペレータの遠隔操作により、図5に示すように、リーチ式フォークリフト11が荷棚13と対向する。 Next, the operation of the cargo handling support system 10 of the present embodiment will be described. The reach-type forklift 11 of the present embodiment travels by remote control of the operator to perform cargo handling work. The reach type forklift 11 supports the load W placed on the pallet 20 by the fork 34. By remote control of the operator, the reach type forklift 11 faces the luggage rack 13 as shown in FIG.

オペレータが、例えば、2段目の荷載置部である下の棚板17上に荷Wを載置させたいとき、フォーク34を昇降させる。図6(a)に示す荷役用カメラ43による撮影画像Pでは、2段目の荷載置部である下の棚板17は、荷役用カメラ43の光軸ラインMよりも高い。つまり、荷役用カメラ43は、2段目の荷載置部である下の棚板17よりも低い位置である。このためオペレータはフォーク34を上昇させる。そして、図6(b)に示すように、荷役用カメラ43による撮影画像Pにおいて、荷役用カメラ43の光軸ラインMと棚板17の上面17Aとが重畳したとオペレータが判断すると、オペレータは高さ決定の操作ボタン50Aを押す。つまり、オペレータが荷役用カメラ43の高さが下の棚板17の上面17Aの高さH1と一致すると判断すると、オペレータは操作ボタン50Aを押す。 When the operator wants to load the load W on the lower shelf plate 17, which is the second-stage loading section, for example, the fork 34 is moved up and down. In the image P taken by the cargo handling camera 43 shown in FIG. 6 (a), the lower shelf plate 17 which is the second stage loading portion is higher than the optical axis line M of the cargo handling camera 43. That is, the cargo handling camera 43 is at a position lower than the lower shelf board 17 which is the second stage loading / unloading portion. Therefore, the operator raises the fork 34. Then, as shown in FIG. 6B, when the operator determines that the optical axis line M of the cargo handling camera 43 and the upper surface 17A of the shelf board 17 are superimposed on the image P captured by the cargo handling camera 43, the operator determines. Press the height determination operation button 50A. That is, when the operator determines that the height of the cargo handling camera 43 matches the height H1 of the upper surface 17A of the lower shelf plate 17, the operator presses the operation button 50A.

操作ボタン50Aが押されると、操作ボタン50Aが押されたときの揚高センサ36により検出されたフォーク34の高さ(揚高)H3と、制御部46に予め設定されたフォーク34からの荷役用カメラ43の高さに基づいて下の棚板17の上面17Aの高さH1が算出される。また、高さ決定の操作ボタン50Aが押されたときのパレット20の底面20Bの高さH4も求められ、制御部46は、求められた高さH1、H4に基づいて、図7(a)に示すように、表示部48に線L1、線L2を描画表示する。表示部48には、フォーク34を示す図形F1と、リフトブラケット33を示す図形F2と、荷役用カメラ43を示すF3と、荷Wを示すF4と、が描画される。表示部48に描画される図形F1〜F4、線L1、L2は側面から見た状態に対応する形状である。 When the operation button 50A is pressed, the height (lift) H3 of the fork 34 detected by the lift sensor 36 when the operation button 50A is pressed and the cargo handling from the fork 34 preset in the control unit 46. The height H1 of the upper surface 17A of the lower shelf board 17 is calculated based on the height of the camera 43. Further, the height H4 of the bottom surface 20B of the pallet 20 when the height determination operation button 50A is pressed is also obtained, and the control unit 46 is based on the obtained heights H1 and H4 in FIG. 7A. As shown in the above, the line L1 and the line L2 are drawn and displayed on the display unit 48. On the display unit 48, a figure F1 showing the fork 34, a figure F2 showing the lift bracket 33, F3 showing the cargo handling camera 43, and F4 showing the load W are drawn. The figures F1 to F4 and the lines L1 and L2 drawn on the display unit 48 have shapes corresponding to the state seen from the side surface.

図7(a)に示すように、線L1は下の棚板17の上面17Aを示し、線L2は、パレット20の底面20Bを示し、線L1、線L2の位置は高さH1、H4の関係を示す。そして、図7(b)に示すように、オペレータは、表示部48を確認しつつ、線L2が線L1より僅かに高い位置になるようにフォーク34を昇降させる。線L2が線L1より僅かに高い位置になることにより、荷Wの上面17Aへの載置が可能となる。オペレータは、荷Wをパレット20とともに下の棚板17上に載置する。 As shown in FIG. 7A, the line L1 indicates the upper surface 17A of the lower shelf board 17, the line L2 indicates the bottom surface 20B of the pallet 20, and the positions of the lines L1 and L2 are the heights H1 and H4. Show the relationship. Then, as shown in FIG. 7B, the operator raises and lowers the fork 34 so that the line L2 is slightly higher than the line L1 while checking the display unit 48. When the line L2 is located slightly higher than the line L1, the load W can be placed on the upper surface 17A. The operator places the load W together with the pallet 20 on the lower shelf board 17.

一方、3段目の荷載置部である上の棚板17上に荷Wを載置させたいとき、オペレータは、2段目の棚板17上に荷Wを載置させる場合と同様の操作を行う。つまり、荷役用カメラ43の高さが下の棚板17の上面17Aの高さH1と一致するようにフォーク34を昇降させ、撮影画像において荷役用カメラ43の高さが上の棚板17の上面17Aの高さH1と一致すると判断したとき高さ決定ボタンを押す。高さ決定ボタンが押されることにより、上の棚板17の上面17Aの高さH2およびパレット20の底面20Bの高さH4が算出され、表示部48に線L1、L2を描画表示する。線L1は上の棚板17の上面17Aを示し、線L2は、パレット20の底面20Bを示す。 On the other hand, when it is desired to place the load W on the upper shelf board 17 which is the third-stage loading section, the operator operates in the same manner as when the load W is placed on the second-stage shelf board 17. I do. That is, the fork 34 is raised and lowered so that the height of the cargo handling camera 43 coincides with the height H1 of the upper surface 17A of the lower shelf plate 17, and the height of the cargo handling camera 43 is the upper shelf plate 17 in the captured image. When it is determined that the height H1 of the upper surface 17A matches, the height determination button is pressed. When the height determination button is pressed, the height H2 of the upper surface 17A of the upper shelf board 17 and the height H4 of the bottom surface 20B of the pallet 20 are calculated, and the lines L1 and L2 are drawn and displayed on the display unit 48. The line L1 indicates the upper surface 17A of the upper shelf board 17, and the line L2 indicates the bottom surface 20B of the pallet 20.

なお、オペレータが、例えば、1段目の荷載置部である床面18A上に荷Wを載置させたいとき、フォーク34を最下位置まで下降させたとき、高さ決定ボタンを押す。床面18Aとパレット20の底面20Bとを高さ0とし、図7(c)に示すように、表示部48にて線L1、L2を表示する。そして、線L2を線L1よりも僅かに高い位置となるように、フォーク34を上昇させて前進し、床面18Aに荷Wを載置する。 The operator presses the height determination button when, for example, the operator wants to load the load W on the floor surface 18A, which is the first-stage loading portion, or when the fork 34 is lowered to the lowest position. The height of the floor surface 18A and the bottom surface 20B of the pallet 20 is set to 0, and the lines L1 and L2 are displayed on the display unit 48 as shown in FIG. 7C. Then, the fork 34 is raised to move forward so that the line L2 is slightly higher than the line L1, and the load W is placed on the floor surface 18A.

表示部48において線L1、L2および図形F1〜F4は、高さH1、H4、H5の関係が判るように描画表示されている。このため、オペレータはパレット20の底面20Bと棚板17との離間状況を直感的に認識できる。つまり、オペレータは、荷役を対象とする荷載置面を確実に把握でき、フォーク34に差し込まれたパレット20の底面20Bと荷載置面との間の離間状況を確認することができる。 On the display unit 48, the lines L1 and L2 and the figures F1 to F4 are drawn and displayed so that the relationship between the heights H1, H4 and H5 can be understood. Therefore, the operator can intuitively recognize the separation state between the bottom surface 20B of the pallet 20 and the shelf board 17. That is, the operator can surely grasp the loading surface for cargo handling, and can confirm the separation state between the bottom surface 20B of the pallet 20 inserted into the fork 34 and the loading surface.

本実施形態の荷役支援システム10は以下の作用効果を奏する。
(1)制御部46は、揚高センサ36により検出されるフォーク34の揚高H3および制御部46に予め設定されるパレット20の寸法に基づいてパレット20の底面20Bの高さを求める。荷棚13が備える荷載置面である棚板17の上面17Aの高さH1(H2)は、オペレータの入力により求められる。具体的には、制御部46は、揚高センサ36が検出するフォーク34の揚高H3に基づいて荷役用カメラ43の光軸ラインMの高さを求めるとともに、フォーク34の昇降により撮影画像Pにおける荷役用カメラ43の光軸ラインMが荷載置面と重畳したときの光軸ラインMの高さに基づき、荷棚13が備える荷載置面である棚板17の上面17Aの高さH1(H2)を取得する。表示部48は、棚板17の上面17Aの高さH1(H2)およびパレット20の底面20Bの高さを線L1、L2として描画表示する。このため、オペレータは、表示部48を確認することにより、荷役を対象とする棚板17の上面17Aを確実に把握でき、フォーク34に差し込まれたパレット20の底面20Bと棚板17の上面17Aとの間の離間状況を確認することができる。
The cargo handling support system 10 of the present embodiment has the following effects.
(1) The control unit 46 obtains the height of the bottom surface 20B of the pallet 20 based on the lift height H3 of the fork 34 detected by the lift sensor 36 and the dimensions of the pallet 20 preset in the control unit 46. The height H1 (H2) of the upper surface 17A of the shelf board 17, which is the loading surface of the loading shelf 13, is obtained by the input of the operator. Specifically, the control unit 46 obtains the height of the optical axis line M of the cargo handling camera 43 based on the lift height H3 of the fork 34 detected by the lift height sensor 36, and the captured image P is obtained by raising and lowering the fork 34. Based on the height of the optical axis line M when the optical axis line M of the cargo handling camera 43 overlaps the loading surface, the height H1 of the upper surface 17A of the shelf plate 17 which is the loading surface provided by the loading shelf 13 ( H2) is acquired. The display unit 48 draws and displays the heights H1 (H2) of the upper surface 17A of the shelf board 17 and the heights of the bottom surface 20B of the pallet 20 as lines L1 and L2. Therefore, the operator can surely grasp the upper surface 17A of the shelf board 17 for cargo handling by checking the display unit 48, and the bottom surface 20B of the pallet 20 and the upper surface 17A of the shelf board 17 inserted into the fork 34. It is possible to confirm the separation status between and.

(2)遠隔操作装置12にはリーチ式フォークリフト11のオペレータの操作による入力が可能な操作ボタン50Aが備えられている。荷載置面高さ取得部としての制御部46は、荷役用カメラ43の光軸ラインMが荷載置面と重畳したときに操作入力部に入力されると、操作ボタン50Aに入力された入力信号に基づき荷載置面の高さを取得する。このため、制御部46は、操作ボタン50Aに対するオペレータの操作の入力に基づいて荷載置面の高さを取得する。つまり、荷載置面の高さの取得の際に、オペレータの意思を反映して荷載置面の高さを取得することができる。 (2) The remote control device 12 is provided with an operation button 50A capable of inputting by the operator of the reach type forklift 11. When the control unit 46 as the loading surface height acquisition unit is input to the operation input unit when the optical axis line M of the cargo handling camera 43 is superimposed on the loading surface, the input signal input to the operation button 50A Obtain the height of the loading surface based on. Therefore, the control unit 46 acquires the height of the loading surface based on the input of the operator's operation with respect to the operation button 50A. That is, when acquiring the height of the loading surface, the height of the loading surface can be acquired by reflecting the intention of the operator.

(3)表示部48に荷役用カメラ43の光軸OAを通る平行線である光軸ラインMが線として描画表示されることにより、荷役用カメラ43の光軸ラインMが荷載置面と重畳することが判り易くなる。表示部48における光軸ラインMが視覚的に認識し易くなることから、オペレータが操作ボタン50Aを押して荷載置面の高さの取得するとき、オペレータは荷載置面の高さを取得し易くなる。 (3) The optical axis line M, which is a parallel line passing through the optical axis OA of the cargo handling camera 43, is drawn and displayed as a line on the display unit 48, so that the optical axis line M of the cargo handling camera 43 is superimposed on the loading surface. It becomes easier to understand what to do. Since the optical axis line M on the display unit 48 can be easily visually recognized, when the operator presses the operation button 50A to acquire the height of the loading surface, the operator can easily acquire the height of the loading surface. ..

(4)荷役支援システム10がリーチ式フォークリフト11の走行および荷役装置29による荷役を遠隔操作する遠隔操作装置12を備えることにより、遠隔操作されるリーチ式フォークリフト11の荷役を効果的に支援することができる。 (4) The cargo handling support system 10 is provided with a remote control device 12 for remotely controlling the traveling of the reach type forklift 11 and the cargo handling by the cargo handling device 29, thereby effectively supporting the cargo handling of the remotely operated reach type forklift 11. Can be done.

(第2の実施形態)
次に、第2の実施形態に係る荷役支援システムについて説明する。本実施形態は、荷載置面の高さがカメラの光軸ラインの高さに基づき取得されたとき、パレットの底面が荷載置面より高くなるように、フォークを自動的に上昇させる点で、第1の実施形態と相違する。第1の実施形態と同じ構成については第1の実施形態の説明を援用し、共通の符号を用いる。
(Second Embodiment)
Next, the cargo handling support system according to the second embodiment will be described. In the present embodiment, when the height of the loading surface is acquired based on the height of the optical axis line of the camera, the fork is automatically raised so that the bottom surface of the pallet is higher than the loading surface. It differs from the first embodiment. For the same configuration as that of the first embodiment, the description of the first embodiment is incorporated, and a common reference numeral is used.

荷役用カメラ43は、バックレスト37の上部の中心にてレンズが前方を向くように取り付けられている。荷棚13が備える荷載置面である棚板17の上面17Aの高さが取得されるとき、パレット20の底面20Bは棚板17の上面17Aより常に低い。このため、棚板17の上面17Aに荷Wを載置するとき、フォーク34を上昇させることが必要となる。そこで、本実施形態では、荷載置面である棚板17の上面17Aの高さが荷役用カメラ43の光軸ラインMに基づき取得されたとき、パレット20の底面20Bが棚板17の上面17Aより高くなるように、制御部46がフォーク34を自動的に上昇させる。 The cargo handling camera 43 is attached at the center of the upper part of the backrest 37 so that the lens faces forward. When the height of the upper surface 17A of the shelf board 17, which is the loading surface of the loading shelf 13, is acquired, the bottom surface 20B of the pallet 20 is always lower than the upper surface 17A of the shelf board 17. Therefore, when the load W is placed on the upper surface 17A of the shelf board 17, it is necessary to raise the fork 34. Therefore, in the present embodiment, when the height of the upper surface 17A of the shelf board 17, which is the loading surface, is acquired based on the optical axis line M of the cargo handling camera 43, the bottom surface 20B of the pallet 20 is the upper surface 17A of the shelf board 17. The control unit 46 automatically raises the fork 34 so that it is higher.

具体的には、図9のフロー図に示す一連の手順より、制御部46がフォーク34を自動的に上昇させる指令を出す。ステップS01からステップS06までは第1の実施形態のステップS01〜S06と同じである。パレット20の底面20Bと荷載置面との離間状況が判るように、パレット20の底面20Bと荷載置面とが表示部48に描画表示されると、フォーク34が上昇する(ステップS07を参照)。揚高センサ36により検出されるフォーク34の揚高が、取得した棚板17の上面17Aの高さを超えたか否かを判別する(ステップS08を参照)。揚高センサ36により検出されるフォーク34の揚高が、取得した棚板17の上面17Aの高さを超えていない場合には、制御部46はフォーク34の上昇を継続する。一方、揚高センサ36により検出されたフォーク34の揚高が、取得した棚板17の上面17Aの高さを超えたとき、フォーク34の上昇を停止する(ステップS09を参照)。 Specifically, the control unit 46 issues a command to automatically raise the fork 34 from a series of procedures shown in the flow chart of FIG. Steps S01 to S06 are the same as steps S01 to S06 of the first embodiment. When the bottom surface 20B of the pallet 20 and the loading surface are drawn and displayed on the display unit 48 so that the separation status between the bottom surface 20B of the pallet 20 and the loading surface can be known, the fork 34 rises (see step S07). .. It is determined whether or not the lift height of the fork 34 detected by the lift height sensor 36 exceeds the height of the upper surface 17A of the acquired shelf board 17 (see step S08). If the lift of the fork 34 detected by the lift sensor 36 does not exceed the height of the upper surface 17A of the acquired shelf board 17, the control unit 46 continues to raise the fork 34. On the other hand, when the lift height of the fork 34 detected by the lift height sensor 36 exceeds the height of the upper surface 17A of the acquired shelf board 17, the fork 34 stops rising (see step S09).

本実施形態によれば、荷載置面の高さを取得後にパレット20の底面20Bが荷載置面である棚板17の上面17Aより高くなるように、オペレータの操作を必要とせずにフォーク34が自動的に上昇するので、オペレータの操作負担を軽減することができる。 According to the present embodiment, the fork 34 does not require an operator operation so that the bottom surface 20B of the pallet 20 is higher than the upper surface 17A of the shelf board 17 which is the loading surface after the height of the loading surface is acquired. Since it rises automatically, the operational burden on the operator can be reduced.

本発明は、上記の実施形態に限定されるものではなく発明の趣旨の範囲内で種々の変更が可能であり、例えば、次のように変更してもよい。 The present invention is not limited to the above-described embodiment, and various modifications can be made within the scope of the gist of the invention. For example, the present invention may be modified as follows.

○ 上記の実施形態では、フォークリフトの遠隔操作に適用した例を説明したが、本発明の荷役支援システムは、有人運転によるフォークリフトに適用可能である。この場合、表示部、荷載置面高さ取得部およびパレット底面高さ取得部は、フォークリフトに搭載される。
○ 上記の実施形態では、荷載置面高さ取得部は、カメラの光軸ラインが荷載置面と重畳したときに操作入力部に入力されると、荷載置面の高さを取得するとしたが、これに限定されない。荷載置面高さ取得部は、例えば、画像認識によってカメラの光軸ラインが荷載置面と重畳する時間が所定時間を経過したときに荷載置面の高さを取得するようにしてもよい。この場合、オペレータによる入力操作が不要となり、オペレータの負荷を軽減することができる。
○ 上記の実施形態では、表示部にカメラの光軸ラインを線として描画表示するとしたが、この限りではない。カメラの光軸ラインは、必ずしも表示部に線として描画表示する必要はなく、例えば、カメラの撮影画像の上下方向の中心を通る水平位置をカメラの光軸ラインとすることにより、カメラの光軸ラインの線を描画表示しないようにしてもよい。
○ 上記の実施形態では、荷載置面の高さおよびパレットの底面の高さが線として表示部に描画表示されたほか、フォーク、バックレストおよび荷が描画表示されたが、このかぎりではない。表示部には、少なくとも荷載置面の高さおよびパレットの底面の高さが線として描画表示すればよい。
○ 上記の実施形態では、バックレストの上部付近にカメラ(荷役用カメラ)を設けたが、カメラを設ける位置はバックレストの上部付近に限定されない。カメラは、少なくとも荷役装置において昇降する部材に設けられるとともに、フォークが荷を支持している状態であっても荷の載置先を撮影することが可能であればよい。
-In the above embodiment, an example applied to remote control of a forklift has been described, but the cargo handling support system of the present invention can be applied to a forklift operated by manned operation. In this case, the display unit, the loading surface height acquisition unit, and the pallet bottom surface height acquisition unit are mounted on the forklift.
○ In the above embodiment, the loading surface height acquisition unit acquires the height of the loading surface when the optical axis line of the camera is input to the operation input unit when it overlaps with the loading surface. , Not limited to this. For example, the loading surface height acquisition unit may acquire the height of the loading surface when a predetermined time elapses for the time when the optical axis line of the camera overlaps with the loading surface by image recognition. In this case, the input operation by the operator becomes unnecessary, and the load on the operator can be reduced.
○ In the above embodiment, the optical axis line of the camera is drawn and displayed as a line on the display unit, but this is not the case. The optical axis line of the camera does not necessarily have to be drawn and displayed as a line on the display unit. For example, by setting the horizontal position passing through the vertical center of the image captured by the camera as the optical axis line of the camera, the optical axis of the camera The line of the line may not be drawn and displayed.
○ In the above embodiment, the height of the loading surface and the height of the bottom surface of the pallet are drawn and displayed on the display unit as lines, and the fork, backrest, and load are drawn and displayed, but this is not the case. At least the height of the loading surface and the height of the bottom surface of the pallet may be drawn and displayed as lines on the display unit.
○ In the above embodiment, the camera (cargo handling camera) is provided near the upper part of the backrest, but the position where the camera is provided is not limited to the vicinity of the upper part of the backrest. The camera may be provided at least on a member that moves up and down in the cargo handling device, and may be capable of photographing the loading destination even when the fork supports the load.

10 荷役支援システム
11 リーチ式フォークリフト
12 遠隔操作装置
13 荷棚
17 棚板
17A 棚板の上面
18 床
18A 床面
20 パレット
20B 底面
25 車体
29 荷役装置
34 フォーク
36 揚高センサ
37 バックレスト
41 車両制御部
43 荷役用カメラ
46 制御部
47 操作部
48 表示部
50 入力部
50A 操作ボタン
H1、H2、H3、H4、H5 高さ
L1、L2 線
OA 光軸
M 光軸ライン(荷役用カメラ)
P 撮影画像(荷役用カメラ)
W 荷
10 Cargo handling support system 11 Reach type forklift 12 Remote control device 13 Cargo shelf 17 Shelf board 17A Top surface of shelf board 18 Floor 18A Floor surface 20 Pallet 20B Bottom 25 Body 29 Cargo handling device 34 Fork 36 Lift sensor 37 Backrest 41 Vehicle control unit 43 Cargo handling camera 46 Control unit 47 Operation unit 48 Display unit 50 Input unit 50A Operation buttons H1, H2, H3, H4, H5 Height L1, L2 Line OA Optical axis M Optical axis line (Cargo handling camera)
P Photographed image (camera for cargo handling)
W load

Claims (6)

フォークを備えた荷役装置と、前記フォークの揚高を検出する揚高センサと、を有するフォークリフトを備え、
荷載置面を有する荷棚に対する前記フォークリフトの荷役作業の支援を行う荷役支援システムにおいて、
前記フォークが荷を支持する状態で前方を撮影可能であって、かつ、前記荷役装置において前記フォークとともに昇降可能な位置に設けられたカメラと、
前記カメラにより撮影された撮影画像を表示する表示部と、
前記揚高センサが検出する前記フォークの揚高に基づいて前記カメラの光軸の高さを求めるとともに、前記フォークの昇降により前記撮影画像における前記カメラの光軸が前記荷載置面と重畳したときの前記光軸の高さに基づき、前記荷載置面の高さを取得する荷載置面高さ取得部を備えることを特徴とする荷役支援システム。
A forklift equipped with a cargo handling device including a fork and a lift sensor for detecting the lift of the fork.
In a cargo handling support system that supports the cargo handling work of the forklift on a luggage rack having a loading surface.
A camera provided at a position where the fork can take a picture of the front while supporting the load and can be raised and lowered together with the fork in the cargo handling device.
A display unit that displays the captured image captured by the camera, and
When the height of the optical axis of the camera is obtained based on the lift of the fork detected by the lift sensor, and the optical axis of the camera in the captured image is superimposed on the loading surface due to the raising and lowering of the fork. A cargo handling support system comprising a loading surface height acquisition unit that acquires the height of the loading surface based on the height of the optical axis.
前記揚高センサが検出する前記フォークの揚高および前記フォークが支持するパレットの寸法に基づいて前記パレットの底面の高さを求めるパレット底面高さ取得部をさらに備え、
前記表示部は、前記荷載置面の高さおよび前記パレットの底面の高さを線として描画表示することを特徴とする請求項1記載の荷役支援システム。
Further provided with a pallet bottom height acquisition unit that obtains the height of the bottom surface of the pallet based on the lift height of the fork detected by the lift sensor and the dimensions of the pallet supported by the fork.
The cargo handling support system according to claim 1, wherein the display unit draws and displays the height of the loading surface and the height of the bottom surface of the pallet as lines.
前記荷載置面の高さを取得後、パレットの底面が前記荷載置面より高くなるように、前記フォークを上昇させることを特徴とする請求項1又は2記載の荷役支援システム。 The cargo handling support system according to claim 1 or 2, wherein after obtaining the height of the loading surface, the fork is raised so that the bottom surface of the pallet is higher than the loading surface. 前記フォークリフトのオペレータの操作による入力が可能な操作入力部を備え、
前記荷載置面高さ取得部は、前記撮影画像において前記カメラの光軸が前記荷載置面と重畳したときに前記操作入力部に入力された入力信号に基づき前記荷載置面の高さを取得することを特徴とする請求項1〜3のいずれか一項記載の荷役支援システム。
It is equipped with an operation input unit that allows input by the operation of the forklift operator.
The loading surface height acquisition unit acquires the height of the loading surface based on an input signal input to the operation input unit when the optical axis of the camera overlaps the loading surface in the captured image. The cargo handling support system according to any one of claims 1 to 3, wherein the cargo handling support system is characterized by
前記表示部は、前記カメラの光軸を通る平行線を線として描画表示することを特徴とする請求項1〜4のいずれか一項記載の荷役支援システム。 The cargo handling support system according to any one of claims 1 to 4, wherein the display unit draws and displays parallel lines passing through the optical axis of the camera as lines. 前記フォークリフトの走行および前記荷役装置による荷役を遠隔操作する遠隔操作装置を備え、
前記遠隔操作装置は、前記表示部を備えることを特徴とする請求項1〜5のいずれか一項記載の荷役支援システム。
A remote control device for remotely controlling the traveling of the forklift and the cargo handling by the cargo handling device is provided.
The cargo handling support system according to any one of claims 1 to 5, wherein the remote control device includes the display unit.
JP2019082486A 2019-04-24 2019-04-24 Cargo handling support system Active JP7099399B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019082486A JP7099399B2 (en) 2019-04-24 2019-04-24 Cargo handling support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019082486A JP7099399B2 (en) 2019-04-24 2019-04-24 Cargo handling support system

Publications (2)

Publication Number Publication Date
JP2020179953A true JP2020179953A (en) 2020-11-05
JP7099399B2 JP7099399B2 (en) 2022-07-12

Family

ID=73024265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019082486A Active JP7099399B2 (en) 2019-04-24 2019-04-24 Cargo handling support system

Country Status (1)

Country Link
JP (1) JP7099399B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697534A (en) * 2020-12-30 2022-07-01 超聚变数字技术有限公司 Lifting platform and control method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586620A (en) * 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
JP2001206696A (en) * 2000-01-21 2001-07-31 Nippon Yusoki Co Ltd Forklift
JP2003034496A (en) * 2001-07-18 2003-02-07 Toyota Industries Corp Announcing device for cargo handling support in industrial vehicle and industrial vehicle
US20050281657A1 (en) * 2004-06-04 2005-12-22 Michael Schuchard Device for aiding stacking and unstacking for a stacker truck
JP2007084162A (en) * 2005-09-20 2007-04-05 Toyota Industries Corp Cargo handling supporting device of fork lift
JP2015058985A (en) * 2013-09-17 2015-03-30 ニチユ三菱フォークリフト株式会社 Forklift
JP2018162122A (en) * 2017-03-24 2018-10-18 ソフトバンク株式会社 Conveyance device, program, and conveyance system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586620A (en) * 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
US5738187A (en) * 1995-05-12 1998-04-14 Crown Equipment Corporation Fork level indicator for lift trucks
JP2001206696A (en) * 2000-01-21 2001-07-31 Nippon Yusoki Co Ltd Forklift
JP2003034496A (en) * 2001-07-18 2003-02-07 Toyota Industries Corp Announcing device for cargo handling support in industrial vehicle and industrial vehicle
US20050281657A1 (en) * 2004-06-04 2005-12-22 Michael Schuchard Device for aiding stacking and unstacking for a stacker truck
JP2007084162A (en) * 2005-09-20 2007-04-05 Toyota Industries Corp Cargo handling supporting device of fork lift
JP2015058985A (en) * 2013-09-17 2015-03-30 ニチユ三菱フォークリフト株式会社 Forklift
JP2018162122A (en) * 2017-03-24 2018-10-18 ソフトバンク株式会社 Conveyance device, program, and conveyance system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697534A (en) * 2020-12-30 2022-07-01 超聚变数字技术有限公司 Lifting platform and control method thereof

Also Published As

Publication number Publication date
JP7099399B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2003062127A1 (en) Position control device and position control method of stevedoring apparatus in industrial vehicle
JP3900941B2 (en) Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle
WO2020039817A1 (en) Loading operation assistance device for forklift
JP7099399B2 (en) Cargo handling support system
JP2021022802A (en) Industrial vehicle remote operation system
JP5137209B2 (en) forklift
WO2021066138A1 (en) Operation assistance device for cargo handling vehicle
JP7070456B2 (en) Cargo handling support system
WO2020095602A1 (en) Remote operating system for forklift
JP7063283B2 (en) Cargo handling work support device for reach type forklift
JP4298453B2 (en) Loading support device and monitoring device
KR102012705B1 (en) A Front Monitoring Apparatus for Safety Work of Forklift Truck
JP7107078B2 (en) Cargo handling support device for reach-type forklifts
JP2021066539A (en) Cargo handling work support device for cargo handling vehicle
WO2020085068A1 (en) Remote control system for forklift
JP2003128395A (en) Cargo handling work support device in industrial vehicle and industrial vehicle
JP7087737B2 (en) Remote control system for forklifts
JP4961643B2 (en) Cargo handling control device and industrial vehicle in industrial vehicle
JP2001002395A (en) Cargo handling auxiliary device of forklift
JP7095553B2 (en) Forklift remote control system
JP3858703B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP2021020793A (en) Operation supporting device for cargo handling vehicle
JP2021187672A (en) Monitoring system and monitoring method for automatic forklift
JP2017088317A (en) Industrial vehicle management system
JP6965837B2 (en) Remote control system for forklifts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151