JP2021195247A - Industrial vehicle - Google Patents

Industrial vehicle Download PDF

Info

Publication number
JP2021195247A
JP2021195247A JP2020104616A JP2020104616A JP2021195247A JP 2021195247 A JP2021195247 A JP 2021195247A JP 2020104616 A JP2020104616 A JP 2020104616A JP 2020104616 A JP2020104616 A JP 2020104616A JP 2021195247 A JP2021195247 A JP 2021195247A
Authority
JP
Japan
Prior art keywords
marker
cargo handling
image pickup
recognition
industrial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020104616A
Other languages
Japanese (ja)
Other versions
JP7351263B2 (en
Inventor
俊介 奥村
Shunsuke Okumura
保紀 野々垣
Yasunori Nonogaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2020104616A priority Critical patent/JP7351263B2/en
Publication of JP2021195247A publication Critical patent/JP2021195247A/en
Application granted granted Critical
Publication of JP7351263B2 publication Critical patent/JP7351263B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Abstract

To provide an industrial vehicle that can suppress the degradation, due to shadows, of accuracy in marker recognition performed by a recognition device.SOLUTION: A forklift 1 is equipped with a traveling device 2, a cargo handling device 3 placed in front of the traveling device 2, and a recognition device 4 that recognizes a marker 35 attached to a cargo object (a pallet 31) handled by the cargo handling device 3. The cargo handling device 3 has a mast 21 attached to the front of the traveling device 2, a lift bracket 22 vertically movably supported by the mast 21, and a pair of forks 23, 23 attached to the lift bracket 22. The recognition device 4 has an image capturing device 41 that captures the front of the cargo handling device 3, and an illumination device 51 that irradiates an image capturing range of the image capturing device 41 with illumination light. The illumination device 51 is located in front of the lift bracket 22.SELECTED DRAWING: Figure 5

Description

本開示は、認識装置を有する産業車両に関する。 The present disclosure relates to an industrial vehicle having a recognition device.

従来の認識装置として、例えば特許文献１に記載の認識装置がある。この従来の認識装置は、ＲＧＢによるカラー画像を撮像部で取得し、このＲＧＢによるカラー画像を色相、彩度、及び明度の各成分情報を有するカラー画像に変換する。次に、各成分情報を有するカラー画像から赤・青・黄の色相成分情報を有する色相画像を生成し、道路標識に原則として使用されない緑に対応する色相値を色相環の０度の位置（基準値）にシフトし、道路標識を認識する。 As a conventional recognition device, for example, there is a recognition device described in Patent Document 1. In this conventional recognition device, an RGB color image is acquired by an imaging unit, and the RGB color image is converted into a color image having hue, saturation, and lightness component information. Next, a hue image having red, blue, and yellow hue component information is generated from the color image having each component information, and the hue value corresponding to green, which is not used in principle for road signs, is set at the 0 degree position of the hue circle ( Shift to the reference value) and recognize the road sign.

特開２００４−２１３１２７号公報Japanese Unexamined Patent Publication No. 2004-213127

上述のような認識装置は、自動運転フォークリフトといった産業車両への適用が検討されている。自動運転フォークリフトでは、屋内外の任意の位置に置かれたパレットの荷取りが行われる。この場合、例えば白黒柄のマーカをパレットに取り付け、当該マーカを車両側の認識装置で認識することにより、マーカの３次元位置の推定を実施できる。一方で、パレットが屋内外の任意の位置に置かれることから、パレットに取り付けられたマーカには、影がかかることがある。マーカの一部又は全部に影がかかると、マーカの柄が不鮮明となり、マーカの認識精度が低下してしまうおそれがある。 The above-mentioned recognition device is being studied for application to industrial vehicles such as self-driving forklifts. In the self-driving forklift, pallets placed at arbitrary positions indoors and outdoors are unloaded. In this case, for example, by attaching a black-and-white pattern marker to the pallet and recognizing the marker by the recognition device on the vehicle side, it is possible to estimate the three-dimensional position of the marker. On the other hand, since the pallet is placed at an arbitrary position indoors or outdoors, the marker attached to the pallet may be shaded. If a part or all of the marker is shaded, the pattern of the marker becomes unclear, and the recognition accuracy of the marker may be lowered.

本開示は、上記課題の解決のためになされたものであり、影による認識装置でのマーカの認識精度の低下を抑制できる産業車両を提供することを目的とする。 The present disclosure has been made to solve the above problems, and an object of the present invention is to provide an industrial vehicle capable of suppressing a decrease in marker recognition accuracy in a recognition device due to shadows.

本開示の一側面に係る産業車両は、走行装置と、走行装置の前側に配置された荷役装置と、荷役装置で取り扱う荷役対象物に取り付けられたマーカを認識する認識装置とを備えた産業車両であって、荷役装置は、走行装置の前部に取り付けられたマストと、マストに昇降可能に支持されたリフトブラケットと、リフトブラケットに取り付けられた一対のフォークとを有し、認識装置は、荷役装置の前方を撮像する撮像装置と、撮像装置の撮像範囲に照明光を照射する照明装置とを有し、照明装置は、リフトブラケットよりも前側に配置されている。 The industrial vehicle according to one aspect of the present disclosure is an industrial vehicle including a traveling device, a cargo handling device arranged on the front side of the traveling device, and a recognition device for recognizing a marker attached to a cargo handling object handled by the cargo handling device. The cargo handling device has a mast attached to the front portion of the traveling device, a lift bracket supported by the mast so as to be able to move up and down, and a pair of forks attached to the lift bracket. It has an image pickup device that images the front of the cargo handling device and a lighting device that irradiates the image pickup range of the image pickup device with illumination light, and the lighting device is arranged in front of the lift bracket.

この産業車両では、照明装置によって撮像装置の撮像範囲に照明光を照射する。これにより、荷役対象物が屋内外の任意の位置に置かれている場合であっても、マーカの一部又は全部に影がかかることを防止できる。また、照明装置は、リフトブラケットよりも前側に配置されているため、照明光の照射の際に撮像装置の撮像範囲にリフトブラケットの影がかかることもない。したがって、この産業車両では、影による認識装置でのマーカの認識精度の低下を抑制できる。 In this industrial vehicle, the illumination device irradiates the imaging range of the imaging device with illumination light. As a result, even when the cargo handling object is placed at an arbitrary position indoors or outdoors, it is possible to prevent a part or all of the marker from being shaded. Further, since the lighting device is arranged on the front side of the lift bracket, the shadow of the lift bracket is not cast on the image pickup range of the image pickup device when the illumination light is irradiated. Therefore, in this industrial vehicle, it is possible to suppress a decrease in the recognition accuracy of the marker in the recognition device due to the shadow.

照明装置は、荷役装置の平面視においてフォークと重なる位置に配置されていてもよい。この場合、照明装置の位置がフォークよりも車両幅方向の外側とならないため、荷役対象物を保持した状態での荷役装置の左右幅の増大を抑制できる。 The lighting device may be arranged at a position overlapping the fork in the plan view of the cargo handling device. In this case, since the position of the lighting device is not outside the fork in the vehicle width direction, it is possible to suppress an increase in the left-right width of the cargo handling device while holding the cargo handling object.

フォークの基部には、当該フォークによる荷役対象物の支持位置を規定するスペーサが配置され、照明装置は、スペーサ上に配置されていてもよい。スペーサの配置により、荷役対象物をフォークの先端側の所定位置で保持することができる。したがって、少ない動作で荷役対象物を所望の位置に置くことが可能となる。また、照明装置をスペーサ上に配置することで、スペーサ上の余剰空間を有効に利用した配置を実現できる。 At the base of the fork, a spacer that defines the support position of the cargo handling object by the fork is arranged, and the lighting device may be arranged on the spacer. By arranging the spacer, the cargo handling object can be held at a predetermined position on the tip end side of the fork. Therefore, it is possible to place the cargo handling object in a desired position with a small number of operations. Further, by arranging the lighting device on the spacer, it is possible to realize an arrangement that effectively utilizes the surplus space on the spacer.

照明装置は、一対のフォークのそれぞれに対応して配置されていてもよい。これにより、マーカの一部又は全部に影がかかることを一層確実に防止できる。 The illuminating device may be arranged corresponding to each of the pair of forks. As a result, it is possible to more reliably prevent the shadow from being cast on a part or all of the marker.

照明装置は、マーカと正対しない高さ位置に配置されていてもよい。この場合、照明光の反射光が過剰に撮像装置に入射することを防止できる。したがって、撮像装置での光量の飽和を抑制でき、認識装置におけるマーカの認識精度を担保できる。 The illuminating device may be arranged at a height position that does not face the marker. In this case, it is possible to prevent the reflected light of the illumination light from being excessively incident on the image pickup apparatus. Therefore, the saturation of the amount of light in the image pickup apparatus can be suppressed, and the recognition accuracy of the marker in the recognition apparatus can be ensured.

撮像装置は、マーカの高さ位置に対応する高さ位置に配置され、照明装置は、撮像装置よりも上方に配置されていてもよい。この場合、照明光の反射光が過剰に撮像装置に入射することを防止できる。したがって、撮像装置での光量の飽和を抑制でき、認識装置におけるマーカの認識精度を担保できる。 The image pickup device may be arranged at a height position corresponding to the height position of the marker, and the illumination device may be arranged above the image pickup device. In this case, it is possible to prevent the reflected light of the illumination light from being excessively incident on the image pickup apparatus. Therefore, the saturation of the amount of light in the image pickup apparatus can be suppressed, and the recognition accuracy of the marker in the recognition apparatus can be ensured.

本開示によれば、影による認識装置でのマーカの認識精度の低下を抑制できる。 According to the present disclosure, it is possible to suppress a decrease in marker recognition accuracy in a recognition device due to shadows.

本開示に係る産業車両の一実施形態であるフォークリフトを示す側面図である。It is a side view which shows the forklift which is one Embodiment of the industrial vehicle which concerns on this disclosure. フォークリフトで取り扱う荷役対象物としてのパレットの一例を示す正面図である。It is a front view which shows an example of a pallet as a cargo handling object handled by a forklift. フォークリフトに搭載される認識装置のブロック図である。It is a block diagram of the recognition device mounted on a forklift. マーカにかかる影の様子を示す図である。It is a figure which shows the appearance of the shadow on a marker. 図１に示したフォークリフトの要部を示す斜視図である。It is a perspective view which shows the main part of the forklift shown in FIG. 図１に示したフォークリフトの要部を示す側面図である。It is a side view which shows the main part of the forklift shown in FIG.

以下、図面を参照しながら、本開示の一側面に係る産業車両の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of industrial vehicles according to one aspect of the present disclosure will be described in detail with reference to the drawings.

図１は、本開示に係る産業車両の一実施形態であるフォークリフトを示す側面図である。図１に示すように、フォークリフト１は、４体の車輪２ａを有する走行装置２と、走行装置２の前側に配置された荷役装置３と、荷役装置３で取り扱う荷役対象物としてのパレット３１に取り付けられたマーカ３５（図２参照）を認識する認識装置４（図３参照）とを備えている。このフォークリフト１は、マーカ３５の３次元位置を推定することにより、屋内外の任意の位置に置かれたパレット３１の荷取位置まで自動で走行する自動運転フォークリフトとして構成されている。 FIG. 1 is a side view showing a forklift which is an embodiment of an industrial vehicle according to the present disclosure. As shown in FIG. 1, the forklift 1 is attached to a traveling device 2 having four wheels 2a, a cargo handling device 3 arranged on the front side of the traveling device 2, and a pallet 31 as a cargo handling object handled by the cargo handling device 3. It is equipped with a recognition device 4 (see FIG. 3) that recognizes the attached marker 35 (see FIG. 2). The forklift 1 is configured as an automatic operation forklift that automatically travels to a loading position of a pallet 31 placed at an arbitrary position indoors or outdoors by estimating a three-dimensional position of the marker 35.

走行装置２は、ヘッドガード１１ａを含むフレームによって構成された運転室１１を有している。運転室１１内には、リフトシリンダ１２の操作に用いるリフト操作レバー１３、ティルトシリンダ１４の操作に用いるティルト操作レバー１５、フォークリフト１の操舵のためのステアリング１６などが配置されている。本実施形態では、４体の車輪２ａのうち、前輪が駆動輪、後輪が操舵輪となっている。 The traveling device 2 has a driver's cab 11 configured by a frame including a head guard 11a. In the driver's cab 11, a lift operation lever 13 used to operate the lift cylinder 12, a tilt operation lever 15 used to operate the tilt cylinder 14, a steering 16 for steering the forklift 1, and the like are arranged. In the present embodiment, of the four wheels 2a, the front wheels are the driving wheels and the rear wheels are the steering wheels.

荷役装置３は、走行装置２の前部に取り付けられたマスト２１を有している。マスト２１には、リフトブラケット２２が昇降可能に支持されている。リフトブラケット２２には、後述するパレット３１を保持する左右一対のフォーク２３，２３が取り付けられている。また、リフトブラケット２２には、マストよりも前側に配置されたバックレスト２４が設けられている。バックレスト２４は、フォーク２３，２３で保持されたパレット３１が後方に変位することを防ぐ荷受け枠である。その他、荷役装置３には、フォーク２３を昇降させるリフトシリンダ１２、マスト２１を傾動させるティルトシリンダ１４などが配置されている。 The cargo handling device 3 has a mast 21 attached to the front portion of the traveling device 2. A lift bracket 22 is supported on the mast 21 so as to be able to move up and down. A pair of left and right forks 23, 23 for holding the pallet 31, which will be described later, are attached to the lift bracket 22. Further, the lift bracket 22 is provided with a backrest 24 arranged on the front side of the mast. The backrest 24 is a load receiving frame that prevents the pallet 31 held by the forks 23 and 23 from being displaced rearward. In addition, the cargo handling device 3 is provided with a lift cylinder 12 for raising and lowering the fork 23, a tilt cylinder 14 for tilting the mast 21, and the like.

図２は、フォークリフトで取り扱う荷役対象物としてのパレットの一例を示す正面図である。図２の例では、パレット３１は、メッシュパレットであり、メッシュ状（網状）に構成されたパレット本体３２と、パレット本体３２の下部に取り付けられた４体の脚部３３とを有している。パレット３１の前面（正面）の下部には、当該パレット３１の左右方向に延びるプレート３４が取り付けられている。 FIG. 2 is a front view showing an example of a pallet as a cargo handling object handled by a forklift. In the example of FIG. 2, the pallet 31 is a mesh pallet, and has a pallet main body 32 configured in a mesh shape (mesh shape) and four legs 33 attached to the lower part of the pallet main body 32. .. A plate 34 extending in the left-right direction of the pallet 31 is attached to the lower portion of the front surface (front surface) of the pallet 31.

このプレート３４には、認識装置４での認識対象となる２枚の位置検知用のマーカ３５，３５が貼り付けられている。図２では、２枚のマーカ３５は、いずれも正方形状をなし、プレート３４の左右の両端部にそれぞれ貼り付けられている。マーカ３５は、白黒柄のパターンを有している。マーカ３５の数は特に２枚に限られず、１枚であってもよい。マーカ３５を１枚とする場合、例えばプレート３４の中央にマーカ３５が貼り付けられる。 Two position detection markers 35, 35 to be recognized by the recognition device 4 are attached to the plate 34. In FIG. 2, the two markers 35 each have a square shape and are attached to the left and right ends of the plate 34, respectively. The marker 35 has a black and white pattern. The number of the markers 35 is not particularly limited to two, and may be one. When the number of markers 35 is one, for example, the marker 35 is attached to the center of the plate 34.

図３は、フォークリフトに搭載される認識装置のブロック図である。図３に示すように、認識装置４は、荷役装置３の前方を撮像する撮像装置４１と認識装置４等の動作を制御する制御部４２とを含んで構成されている。撮像装置４１と制御部４２とは、相互に情報通信可能に接続されている。 FIG. 3 is a block diagram of a recognition device mounted on a forklift. As shown in FIG. 3, the recognition device 4 includes an image pickup device 41 that images the front of the cargo handling device 3, and a control unit 42 that controls the operation of the recognition device 4, and the like. The image pickup apparatus 41 and the control unit 42 are connected to each other so as to be able to communicate with each other.

撮像装置４１は、例えばＣＣＤカメラなどの二次元撮像素子を備えて構成されている。撮像装置４１は、カラー画像を取得するものであってもよく、モノクロ画像を取得するものであってもよい。撮像装置４１は、パレット３１に貼り付けられているマーカ３５を撮像し、マーカ３５の画像データを取得する。撮像装置４１は、取得した画像データを制御部４２に出力する。 The image pickup device 41 is configured to include a two-dimensional image pickup element such as a CCD camera. The image pickup apparatus 41 may acquire a color image or a monochrome image. The image pickup apparatus 41 takes an image of the marker 35 attached to the palette 31 and acquires the image data of the marker 35. The image pickup apparatus 41 outputs the acquired image data to the control unit 42.

制御部４２は、物理的な構成要素として、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び入出力インターフェース等を備えている。制御部４２は、撮像装置４１で取得した画像データに基づいてマーカ３５の３次元位置を推定し、フォークリフト１がパレット３１の荷取位置に到達するように走行モータ４３及び操舵モータ４４を制御する。荷取位置とは、フォークリフト１の一対のフォーク２３，２３がパレット３１を荷取りすることが可能な位置である。走行モータ４３及び操舵モータ４４は、いずれも走行装置２を構成するモータである。走行モータ４３は、フォークリフト１の前側に配置された車輪２ａ（駆動輪）を回転させるモータである。操舵モータ４４は、フォークリフト１の後側に配置された車輪２ａ（操舵輪）を転舵させるモータである。 The control unit 42 includes a CPU, RAM, ROM, an input / output interface, and the like as physical components. The control unit 42 estimates the three-dimensional position of the marker 35 based on the image data acquired by the image pickup device 41, and controls the traveling motor 43 and the steering motor 44 so that the forklift 1 reaches the loading position of the pallet 31. .. The unloading position is a position where the pair of forks 23, 23 of the forklift 1 can unload the pallet 31. The traveling motor 43 and the steering motor 44 are both motors constituting the traveling device 2. The traveling motor 43 is a motor that rotates the wheels 2a (driving wheels) arranged on the front side of the forklift 1. The steering motor 44 is a motor that steers the wheels 2a (steering wheels) arranged on the rear side of the forklift 1.

制御部４２は、機能的な構成要素として、画像処理部４５と、マーカ認識部４６と、経路生成部４７と、駆動制御部４８とを備えている。画像処理部４５は、撮像装置４１から受け取ったマーカ３５の画像データを処理する部分である。画像処理部４５での画像処理としては、例えば二値化や特徴抽出などが挙げられる。画像処理部４５は、処理後の画像データをマーカ認識部４６に出力する。 The control unit 42 includes an image processing unit 45, a marker recognition unit 46, a route generation unit 47, and a drive control unit 48 as functional components. The image processing unit 45 is a unit that processes the image data of the marker 35 received from the image pickup apparatus 41. Examples of the image processing in the image processing unit 45 include binarization and feature extraction. The image processing unit 45 outputs the processed image data to the marker recognition unit 46.

マーカ認識部４６は、画像処理部４５から受け取った画像データに基づいてマーカ３５の３次元位置を推定する部分である。マーカ認識部４６は、マーカ３５の３次元位置の推定結果を示す結果情報を生成し、経路生成部４７に出力する。経路生成部４７は、マーカ認識部４６から受け取った結果情報に基づいて、パレット３１の荷取位置までのフォークリフト１の走行経路に関する経路情報を生成し、駆動制御部４８に出力する。駆動制御部４８は、経路生成部４７から受け取った経路情報に基づいて走行装置２を制御する部分である。駆動制御部４８は、経路情報に従い、フォークリフト１がパレット３１の荷取位置に到達するように走行モータ４３及び操舵モータ４４を制御する。 The marker recognition unit 46 is a portion that estimates the three-dimensional position of the marker 35 based on the image data received from the image processing unit 45. The marker recognition unit 46 generates result information indicating the estimation result of the three-dimensional position of the marker 35, and outputs the result information to the route generation unit 47. The route generation unit 47 generates route information regarding the travel route of the forklift 1 to the loading position of the pallet 31 based on the result information received from the marker recognition unit 46, and outputs the route information to the drive control unit 48. The drive control unit 48 is a unit that controls the traveling device 2 based on the route information received from the route generation unit 47. The drive control unit 48 controls the traveling motor 43 and the steering motor 44 so that the forklift 1 reaches the loading position of the pallet 31 according to the route information.

続いて、上述した認識装置４について更に詳細に説明する。 Subsequently, the above-mentioned recognition device 4 will be described in more detail.

マーカ３５を撮像装置４１で撮像し、その画像データを処理してマーカ３５を認識する場合、パレット３１が屋内外の任意の位置に置かれることから、パレット３１に取り付けられたマーカ３５に影がかかることがある。例えば晴天の屋外下で荷役作業を行っている際、図４（ａ）に示すように、マーカ３５の一部（半分部分など）に影Ｋがかかると、マーカ３５の白黒柄が不鮮明となり、認識装置４でのマーカ３５の認識精度が低下してしまうことが考えられる。また、例えばフォークリフト１の後方からの日射があるような場面では、図４（ｂ）に示すように、マーカ３５の全体に影Ｋがかかり、マーカ３５の認識自体ができなくなるおそれがある。 When the marker 35 is imaged by the image pickup apparatus 41 and the image data is processed to recognize the marker 35, since the pallet 31 is placed at an arbitrary position indoors or outdoors, a shadow is cast on the marker 35 attached to the pallet 31. It may take. For example, when cargo handling work is performed outdoors in fine weather, as shown in FIG. 4A, if a shadow K is cast on a part (half part or the like) of the marker 35, the black and white pattern of the marker 35 becomes unclear. It is conceivable that the recognition accuracy of the marker 35 in the recognition device 4 will decrease. Further, for example, in a scene where there is sunlight from the rear of the forklift 1, as shown in FIG. 4B, a shadow K may be cast on the entire marker 35, and the marker 35 may not be recognized.

このような課題に対し、フォークリフト１の認識装置４は、撮像装置４１の撮像範囲に照明光を照射する照明装置５１を有している（図５参照）。照明装置５１は、例えばＬＥＤ（light emitting diode）によって構成され、例えば運転室１１を構成する機台に備わるフォークリフト１の走行用の照明装置（不図示）とは別に設けられている。照明装置５１の光量は、走行用の照明装置の光量と同程度或いはそれ以上であることが好ましい。以下、照明装置５１及び照明装置５１と協働する撮像装置４１の配置構成について説明する。 To solve such a problem, the recognition device 4 of the forklift 1 has a lighting device 51 that irradiates the imaging range of the imaging device 41 with illumination light (see FIG. 5). The lighting device 51 is configured by, for example, an LED (light emitting diode), and is provided separately from, for example, a lighting device (not shown) for traveling of the forklift 1 provided in the machine base constituting the driver's cab 11. The amount of light of the illuminating device 51 is preferably equal to or greater than the amount of light of the illuminating device for traveling. Hereinafter, the arrangement configuration of the lighting device 51 and the image pickup device 41 that cooperates with the lighting device 51 will be described.

図５は、フォークリフトの要部を示す斜視図である。また、図６は、その側面図である。図５に示すように、撮像装置４１の配置にあたって、リフトブラケット２２には、矩形の取付板５２が設けられている。取付板５２は、左右のフォーク２３，２３間に位置し、撮像装置４１は、この取付板５２を介してリフトブラケット２２の車幅方向の中央に配置されている。これにより、撮像装置４１は、リフトブラケット２２よりも前側の位置でマーカ３５の撮像を行うようになっている。 FIG. 5 is a perspective view showing a main part of the forklift. Further, FIG. 6 is a side view thereof. As shown in FIG. 5, in arranging the image pickup apparatus 41, the lift bracket 22 is provided with a rectangular mounting plate 52. The mounting plate 52 is located between the left and right forks 23, 23, and the image pickup device 41 is arranged at the center of the lift bracket 22 in the vehicle width direction via the mounting plate 52. As a result, the image pickup apparatus 41 takes an image of the marker 35 at a position in front of the lift bracket 22.

撮像装置４１の高さ位置は、マーカ３５の高さ位置に対応している。マーカ３５の高さ位置は、パレット３１の脚部３３の先端からマーカ３５の中心までの高さである。撮像装置４１は、例えばフォークリフト１とパレット３１とが同一平面（例えば地平面）上に位置している場合に、撮像装置４１の撮像軸とマーカ３５の中心とが略一致するように、取付板５２の下縁部分に取り付けられている。 The height position of the image pickup apparatus 41 corresponds to the height position of the marker 35. The height position of the marker 35 is the height from the tip of the leg 33 of the pallet 31 to the center of the marker 35. The image pickup device 41 has a mounting plate so that, for example, when the forklift 1 and the pallet 31 are located on the same plane (for example, the ground plane), the image pickup axis of the image pickup device 41 and the center of the marker 35 are substantially aligned with each other. It is attached to the lower edge portion of 52.

図５及び図６に示すように、照明装置５１は、リフトブラケット２２よりも前側において、一対のフォーク２３，２３のそれぞれに対応して配置されている。より具体的には、照明装置５１は、フォーク２３の基部２３ａに配置されたスペーサ５３上に取り付けられている。スペーサ５３は、荷取りの際のフォーク２３によるパレット３１の支持位置を規定するための部材である。 As shown in FIGS. 5 and 6, the lighting device 51 is arranged on the front side of the lift bracket 22 so as to correspond to each of the pair of forks 23 and 23. More specifically, the illuminating device 51 is mounted on a spacer 53 arranged at the base 23a of the fork 23. The spacer 53 is a member for defining the support position of the pallet 31 by the fork 23 at the time of loading.

図５及び図６の例では、スペーサ５３は、フォーク２３の幅と同程度の幅を有する縦長の直方体形状をなしている。スペーサ５３の前面５３ａは、パレット３１の支持位置を規定する規定面となっている。荷取りの際にスペーサ５３の前面５３ａにパレット３１が突き当てられることにより、フォーク２３の先端側の所定位置でパレット３１が保持される。なお、左右のスペーサ５３，５３間（撮像装置４１の両脇）には、パレット３１がスペーサ５３の前面５３ａに突き当たったことを検出するセンサが設けられていてもよい。 In the examples of FIGS. 5 and 6, the spacer 53 has a vertically long rectangular parallelepiped shape having a width comparable to the width of the fork 23. The front surface 53a of the spacer 53 is a defined surface that defines the support position of the pallet 31. When the pallet 31 is abutted against the front surface 53a of the spacer 53 at the time of loading, the pallet 31 is held at a predetermined position on the tip end side of the fork 23. A sensor for detecting that the pallet 31 has hit the front surface 53a of the spacer 53 may be provided between the left and right spacers 53 and 53 (both sides of the image pickup apparatus 41).

スペーサ５３の頂面５３ｂは、照明装置５１が配置される配置面となっている。本実施形態では、スペーサ５３の頂面５３ｂは、取付板５２の上縁付近の高さに位置しており、撮像装置４１よりも上方に位置している。照明装置５１は、頂面５３ｂの略中央に取り付けられ、荷役装置３の平面視においてフォーク２３と重なる（フォーク２３からはみ出さない）ように配置されている。これにより、照明装置５１は、撮像装置４１よりも上方に位置し、荷取りの際にマーカ３５と正対しないようになっている。照明装置５１から出射する照明光の光軸は、水平方向に沿っていてもよく、地平面に載置された状態のパレット３１のマーカ３５に向かって下方傾斜していてもよい。 The top surface 53b of the spacer 53 is an arrangement surface on which the lighting device 51 is arranged. In the present embodiment, the top surface 53b of the spacer 53 is located at a height near the upper edge of the mounting plate 52, and is located above the image pickup apparatus 41. The lighting device 51 is attached to substantially the center of the top surface 53b, and is arranged so as to overlap the fork 23 (do not protrude from the fork 23) in the plan view of the cargo handling device 3. As a result, the lighting device 51 is located above the image pickup device 41 and does not face the marker 35 at the time of loading. The optical axis of the illumination light emitted from the illumination device 51 may be along the horizontal direction, or may be inclined downward toward the marker 35 of the pallet 31 placed on the ground plane.

以上説明したように、フォークリフト１では、照明装置５１によって撮像装置４１の撮像範囲に照明光を照射する。これにより、パレット３１が屋内外の任意の位置に置かれている場合であっても、マーカ３５の一部又は全部に影Ｋがかかることを防止できる。また、照明装置５１は、リフトブラケット２２よりも前側に配置されているため、照明光の照射の際に撮像装置４１の撮像範囲にリフトブラケット２２の影がかかることもない。したがって、このフォークリフト１では、影Ｋによる認識装置４でのマーカ３５の認識精度の低下を抑制できる。 As described above, in the forklift 1, the illumination device 51 irradiates the imaging range of the imaging device 41 with illumination light. As a result, even when the pallet 31 is placed at an arbitrary position indoors or outdoors, it is possible to prevent a shadow K from being cast on a part or all of the marker 35. Further, since the lighting device 51 is arranged in front of the lift bracket 22, the image pickup range of the image pickup device 41 is not shaded by the lift bracket 22 when the illumination light is irradiated. Therefore, in this forklift 1, it is possible to suppress a decrease in the recognition accuracy of the marker 35 in the recognition device 4 due to the shadow K.

本実施形態では、照明装置５１が荷役装置３の平面視においてフォーク２３と重なる位置に配置されている。これにより、照明装置５１の位置がフォーク２３よりも車両幅方向の内側とならないため、パレット３１を保持した状態での荷役装置３の左右幅の増大を抑制できる。 In the present embodiment, the lighting device 51 is arranged at a position overlapping the fork 23 in the plan view of the cargo handling device 3. As a result, the position of the lighting device 51 is not inside the fork 23 in the vehicle width direction, so that it is possible to suppress an increase in the left-right width of the cargo handling device 3 while holding the pallet 31.

本実施形態では、フォーク２３の基部２３ａに当該フォーク２３によるパレット３１の支持位置を規定するスペーサ５３が配置されている。このようなスペーサ５３の配置により、パレット３１をフォーク２３の先端側の所定位置で保持することができ、少ない動作でパレット３１を所望の位置に置くことが可能となる。また、本実施形態では、照明装置５１がフォーク２３の基部２３ａに配置されたスペーサ５３上に設けられている。照明装置５１をスペーサ５３上に配置することで、スペーサ５３上の余剰空間を有効に利用した配置を実現できる。 In the present embodiment, the spacer 53 that defines the support position of the pallet 31 by the fork 23 is arranged on the base 23a of the fork 23. By such an arrangement of the spacer 53, the pallet 31 can be held at a predetermined position on the tip end side of the fork 23, and the pallet 31 can be placed at a desired position with a small number of operations. Further, in the present embodiment, the lighting device 51 is provided on the spacer 53 arranged at the base portion 23a of the fork 23. By arranging the lighting device 51 on the spacer 53, it is possible to realize an arrangement that effectively utilizes the surplus space on the spacer 53.

さらに、この構成によれば、照明光の照射の際に撮像装置４１の撮像範囲にバックレスト２４の影がかかることも防止でき、影Ｋによる認識装置４でのマーカ３５の認識精度の低下を一層効果的に抑制できる。さらに、荷取りの際にフォーク２３でのパレット３１の支持位置の調整のためにサイドシフト（フォーク２３をマストに対して左右にシフトさせる動作）を行う場合であっても、照明装置５１の位置がバックレスト２４と連動してシフトするため、マーカ３５に対する照射光の照射状態を維持できる。 Further, according to this configuration, it is possible to prevent the shadow of the backrest 24 from being cast on the image pickup range of the image pickup device 41 when irradiating the illumination light, and the shadow K reduces the recognition accuracy of the marker 35 in the recognition device 4. It can be suppressed more effectively. Further, even when a side shift (operation of shifting the fork 23 to the left or right with respect to the mast) is performed to adjust the support position of the pallet 31 on the fork 23 at the time of loading, the position of the lighting device 51 Shifts in conjunction with the backrest 24, so that the irradiation state of the irradiation light to the marker 35 can be maintained.

本実施形態では、照明装置５１が一対のフォーク２３，２３のそれぞれに対応して配置されている。これにより、マーカ３５の一部又は全部に影がかかることを一層確実に防止できる。また、図２に示したように、パレット３１においてプレート３４の左右の両端部にそれぞれマーカ３５が貼り付けられている構成に対し、それぞれのマーカ３５に照射光を照射することができる。したがって、認識装置４でのマーカ３５の認識精度の向上が図られる。 In this embodiment, the lighting device 51 is arranged corresponding to each of the pair of forks 23, 23. As a result, it is possible to more reliably prevent a part or all of the marker 35 from being shaded. Further, as shown in FIG. 2, it is possible to irradiate each marker 35 with irradiation light for a configuration in which the markers 35 are attached to the left and right ends of the plate 34 in the pallet 31. Therefore, the recognition accuracy of the marker 35 in the recognition device 4 can be improved.

本実施形態では、照明装置５１は、マーカ３５と正対しない高さ位置に配置されている。より具体的には、撮像装置４１がマーカ３５の高さ位置に対応する高さ位置に配置され、照明装置５１が撮像装置４１よりも上方に配置されている。これにより、マーカ３５での照明光の反射光が過剰に撮像装置４１に入射することを防止できる。したがって、撮像装置４１での光量の飽和を抑制でき、認識装置４におけるマーカ３５の認識精度を担保できる。 In the present embodiment, the lighting device 51 is arranged at a height position that does not face the marker 35. More specifically, the image pickup device 41 is arranged at a height position corresponding to the height position of the marker 35, and the lighting device 51 is arranged above the image pickup device 41. This makes it possible to prevent the reflected light of the illumination light from the marker 35 from being excessively incident on the image pickup apparatus 41. Therefore, the saturation of the amount of light in the image pickup apparatus 41 can be suppressed, and the recognition accuracy of the marker 35 in the recognition apparatus 4 can be ensured.

本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、フォーク２３の基部２３ａ上に配置したスペーサ５３上に照明装置５１を設けているが、照明装置５１は、必ずしもスペーサ５３上に設ける必要はなく、バックレスト２４などに固定する態様としてもよい。また、照明装置５１から出射する照明光の光量をパレット３１（マーカ３５）とフォークリフト１との距離に応じて制御してもよい。この場合、例えばマーカ３５までの距離が近づくにつれて照明光の光量を減少させることで、撮像装置４１での光量の飽和をより確実に抑制できる。 The present disclosure is not limited to the above embodiment. For example, in the above embodiment, the lighting device 51 is provided on the spacer 53 arranged on the base portion 23a of the fork 23, but the lighting device 51 does not necessarily have to be provided on the spacer 53 and is fixed to the backrest 24 or the like. It may be an embodiment. Further, the amount of illumination light emitted from the illumination device 51 may be controlled according to the distance between the pallet 31 (marker 35) and the forklift 1. In this case, for example, by reducing the amount of illumination light as the distance to the marker 35 approaches, the saturation of the amount of light in the image pickup apparatus 41 can be suppressed more reliably.

また、上記実施形態では、パレット３１にマーカ３５が取り付けられる例を示したが、マーカ３５が取り付けられる荷役対象物は、パレット３１に限られるものではない。例えばマーカ３５は、荷物自体に取り付けられていてもよい。 Further, in the above embodiment, the example in which the marker 35 is attached to the pallet 31 is shown, but the cargo handling object to which the marker 35 is attached is not limited to the pallet 31. For example, the marker 35 may be attached to the luggage itself.

１…フォークリフト（産業車両）、２…走行装置、３…荷役装置、４…認識装置、２１…マスト、２２…リフトブラケット、２３…フォーク、２３ａ…基部、３１…パレット（荷役対象物）、３５…マーカ、４１…撮像装置、５１…照明装置、５３…スペーサ。 1 ... forklift (industrial vehicle), 2 ... traveling device, 3 ... cargo handling device, 4 ... recognition device, 21 ... mast, 22 ... lift bracket, 23 ... fork, 23a ... base, 31 ... pallet (loading object), 35 ... Marker, 41 ... Imaging device, 51 ... Lighting device, 53 ... Spacer.

Claims (6)

走行装置と、前記走行装置の前側に配置された荷役装置と、前記荷役装置で取り扱う荷役対象物に取り付けられたマーカを認識する認識装置とを備えた産業車両であって、
前記荷役装置は、前記走行装置の前部に取り付けられたマストと、前記マストに昇降可能に支持されたリフトブラケットと、前記リフトブラケットに取り付けられた一対のフォークとを有し、
前記認識装置は、前記荷役装置の前方を撮像する撮像装置と、前記撮像装置の撮像範囲に照明光を照射する照明装置とを有し、
前記照明装置は、前記リフトブラケットよりも前側に配置されている産業車両。 An industrial vehicle including a traveling device, a cargo handling device arranged on the front side of the traveling device, and a recognition device for recognizing a marker attached to a cargo handling object handled by the cargo handling device.
The cargo handling device has a mast attached to the front portion of the traveling device, a lift bracket vertically supported by the mast, and a pair of forks attached to the lift bracket.
The recognition device includes an image pickup device that images the front of the cargo handling device and a lighting device that irradiates the image pickup range of the image pickup device with illumination light.
The lighting device is an industrial vehicle arranged in front of the lift bracket. 前記照明装置は、前記荷役装置の平面視において前記フォークと重なる位置に配置されている請求項１記載の産業車両。 The industrial vehicle according to claim 1, wherein the lighting device is arranged at a position overlapping the fork in a plan view of the cargo handling device. 前記フォークの基部には、当該フォークによる前記荷役対象物の支持位置を規定するスペーサが配置され、
前記照明装置は、前記スペーサ上に配置されている請求項１又は２記載の産業車両。 At the base of the fork, a spacer that defines the support position of the cargo handling object by the fork is arranged.
The industrial vehicle according to claim 1 or 2, wherein the lighting device is arranged on the spacer. 前記照明装置は、前記一対のフォークのそれぞれに対応して配置されている請求項２又は３記載の産業車両。 The industrial vehicle according to claim 2 or 3, wherein the lighting device is arranged corresponding to each of the pair of forks. 前記照明装置は、前記マーカと正対しない高さ位置に配置されている請求項１〜４のいずれか一項記載の産業車両。 The industrial vehicle according to any one of claims 1 to 4, wherein the lighting device is arranged at a height position not facing the marker. 前記撮像装置は、前記マーカの高さ位置に対応する高さ位置に配置され、
前記照明装置は、前記撮像装置よりも上方に配置されている請求項１〜５のいずれか一項記載の産業車両。
The image pickup device is arranged at a height position corresponding to the height position of the marker.
The industrial vehicle according to any one of claims 1 to 5, wherein the lighting device is arranged above the image pickup device.
JP2020104616A 2020-06-17 2020-06-17 industrial vehicle Active JP7351263B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020104616A JP7351263B2 (en) 2020-06-17 2020-06-17 industrial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020104616A JP7351263B2 (en) 2020-06-17 2020-06-17 industrial vehicle

Publications (2)

Publication Number Publication Date
JP2021195247A true JP2021195247A (en) 2021-12-27
JP7351263B2 JP7351263B2 (en) 2023-09-27

Family

ID=79197186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020104616A Active JP7351263B2 (en) 2020-06-17 2020-06-17 industrial vehicle

Country Status (1)

Country Link
JP (1) JP7351263B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11278799A (en) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp Loading control device for unmanned fork lift, and loading control method for unmanned fork lift
JP2003212489A (en) * 2002-01-23 2003-07-30 Toyota Industries Corp Automatic position control device for cargo handling device in industrial vehicle, industrial vehicle and automatic position control method for cargo handling device
JP2003246597A (en) * 2002-02-20 2003-09-02 Fujitsu General Ltd Camera system for fork lift truck
JP2004210431A (en) * 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd Forklift
JP2006240873A (en) * 2005-03-07 2006-09-14 Apurikotto Instruments Kk Fork monitoring device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11278799A (en) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp Loading control device for unmanned fork lift, and loading control method for unmanned fork lift
JP2003212489A (en) * 2002-01-23 2003-07-30 Toyota Industries Corp Automatic position control device for cargo handling device in industrial vehicle, industrial vehicle and automatic position control method for cargo handling device
JP2003246597A (en) * 2002-02-20 2003-09-02 Fujitsu General Ltd Camera system for fork lift truck
JP2004210431A (en) * 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd Forklift
JP2006240873A (en) * 2005-03-07 2006-09-14 Apurikotto Instruments Kk Fork monitoring device

Also Published As

Publication number Publication date
JP7351263B2 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
JP3921968B2 (en) Position detection method and position detection apparatus
JP2019156641A (en) Image processing device for fork lift and control program
JP2006528122A (en) Movable sensor device on forklift load support means
US20190119084A1 (en) Industrial truck having a fork and a fork arm camera and method for operating such an industrial truck
WO2019163378A1 (en) Forklift image processing device and control program
JP2021195247A (en) Industrial vehicle
JP5924748B1 (en) Induction line plate and unmanned conveyance system using the same
JP2020015571A (en) Operation supporting control device of forklift and operation supporting system of forklift
JP5784099B2 (en) Unmanned forklift
JP7322800B2 (en) recognition device
WO2022190634A1 (en) Transport possibility determining device, distance measuring device, transportation unit, transport possibility determining method, and transport possibility determining program
KR102536448B1 (en) Monitoring device to detect the risk of forward collision of forklift
JP7095653B2 (en) Loading position detection device for automatic operation forklifts
JP2022007511A (en) Recognition device, recognition method, and marker
JP2003212490A (en) Cargo handling support device for industrial vehicle and industrial vehicle
JP7057053B1 (en) Cargo handling system
JP5995390B2 (en) Automated transport system
WO2022190628A1 (en) Conveyance platform detection device and conveyance platform detection system comprising same, conveyance platform detection method, and conveyance platform detection program
JP7057052B1 (en) Cargo handling vehicle
JP2021042071A (en) Side shift device control device for forklift
WO2022190629A1 (en) Conveying state detecting device, conveying state detecting system provided with same, conveying state detecting method, and conveying state detecting program
WO2022195705A1 (en) Moving body
JP6724864B2 (en) Forward confirmation device for cargo handling vehicles
JP2020040769A (en) Forklift image processing device and control program
JP2020142903A (en) Image processing apparatus and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R151 Written notification of patent or utility model registration

Ref document number: 7351263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151