JP2020040769A - フォークリフト用の画像処理装置、および制御プログラム - Google Patents

Abstract

【課題】フォークリフトの操作に役立つ指標を提供する。【解決手段】フォークリフト１０に用いられる画像処理装置は、フォークリフト１０の前方に光を照射する投光器２２と、複数の受光素子を有し、投光器２２により照射した光の物体からの反射光に応じた受信信号を出力する受光部２１と、受光信号により生成した受光データにおける輝度値の分布により、フォークリフト１０のフォーク１５前方のパレット差込口９１ａを検出するとともに、検出したパレット差込口９１ａの周辺の輝度値の分布により、フォーク１５に対するパレット差込口９１ａの左右方向における向きを判定する処理部２３と、判定の結果を出力する出力部３０５と、を備える。【選択図】図７

Description

本発明は、フォークリフト用の画像処理装置、および制御プログラムに関する。

フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転台に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。

また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークの前方や、フォークを差し込んだ状態でパレットの前方側を視認したいという要望がある。このような問題に対して特許文献１に開示されたフォークリフトでは、フォークに前方を撮影するカメラを設け、撮影した画像をディスプレイに表示させている。

また、フォークリフトの左右のフォークにそれぞれカメラを設けることで、前方視界を得るとともに、ステレオ視によって前方にある物体までの距離、およびフォークの前後方向に延びる中心軸と、パレット穴の中心軸とがなす角度を算出し、算出結果を表示する技術がある（特許文献２）。

特開２００３−２４６５９７号公報 特開２０１３−８６９５９号公報

特許文献１では、フォークに１台のカメラを設けている。この場合、前方視認はできるものの、その画像を見ただけでは前方にある物体との距離や向きはわからない。

この点、特許文献２に開示された技術では、２本のフォークのそれぞれにカメラを取り付けることで、ステレオ視により測距し、フォークとパレット穴との角度を算出している。

しかしながら、ステレオ視により測距する技術では、フォークリフトがパレットに近づくにつれ、測距ができなくなり、フォークを差し込む際に、パレット差込口（パレット穴）の正確な向きを検出するのは困難になる。例えば、２本のフォークのそれぞれにカメラを取り付ける構成においては、物体への距離が近くなるにつれて、両方のカメラでステレオ視する重複領域が減少するため、近距離での測距が困難になる。また、仮に１本のフォークに２台のカメラを取付けたとしてもステレオ視の原理上、同様に近距離での測距は難しく、そのためパレット差込口の正確な向きを検出できない。

本発明は、上記事情に鑑みてなされたものであり、フォークをパレット差込口に差し込む際に、フォークに対するパレット差込口の向きを判定することで、フォークリフトの操作に役立つ指標を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方に光を照射する投光器と、
複数の受光素子を有し、前記投光器により照射した光の物体からの反射光に応じた受光信号を出力する受光部と、
前記受光信号により生成した受光データにおける輝度値の分布により、前記フォークリフトのフォーク前方のパレット差込口を検出するとともに、検出した前記パレット差込口の周辺の輝度値の分布により、前記フォークに対する前記パレット差込口の左右方向における向きを判定する処理部と、
前記判定の結果を出力する出力部と、
を備える画像処理装置。

（２）前記フォークは、前記フォークリフトの前方側に昇降可能に支持されており、
前記投光器、および前記受光部は、前記フォークに設置されている、上記（１）に記載の画像処理装置。

（３）前記投光器、および前記受光部は、前記フォークの先端部分に設置されている、上記（２）に記載の画像処理装置。

（４）前記処理部は、前記パレット差込口の左右方向における輝度値の分布により、前記フォークに対する前記パレット差込口の左右方向における向きを判定する、上記（１）から上記（３）のいずれかに記載の画像処理装置。

（５）前記処理部は、前記パレット差込口の両脇の輝度値のピーク値、またはピーク値に対する半値幅内の輝度値の積分値を比較することで、前記フォークに対する前記パレット差込口の向きを検出する、上記（４）に記載の画像処理装置。

（６）前記処理部は、周囲よりも輝度値の低い部分から前記パレット差込口の位置を検出する、上記（１）から上記（５）のいずれかに記載の画像処理装置。

（７）前記処理部は、前記パレット差込口の周辺の輝度値の分布から、前記フォークに対する前記パレット差込口の上下方向の向きを検出する、上記（１）から上記（６）のいずれかに記載の画像処理装置。

（８）前記投光器は、パターン光を照射し、
前記処理部は、前記投光器の位置と異なる位置にある前記受光部から得られた受光データから、アクティブステレオ方式により、距離マップを生成する、上記（１）から上記（７）のいずれかに記載の画像処理装置。

（９）前記処理部は、前記投光器から照射した光の反射光を、前記受光素子で受光するまでの時間間隔から算出した距離値を用いて、距離マップを生成する、上記（１）から上記（７）のいずれかに記載の画像処理装置。

（１０）前記受光部は、前記複数の受光素子で構成される第１受光素子群、および、前記第１受光素子群とは異なる位置に配置した第２受光素子群を備え、
前記処理部は、前記第１受光素子群、および前記第２受光素子群からの受光データから、ステレオ方式により、距離マップを生成する、上記（１）から上記（７）のいずれかに記載の画像処理装置。

（１１）前記受光部の前記受光素子は可視光領域に感度を有し、前記受光部はカメラであり、
前記出力部は、映像を表示するディスプレイを含み、
前記処理部は、前記カメラにより撮影した画像に対して、前記判定の結果に応じて作成した付加画像を付加した合成画像を生成し、
前記出力部は、前記処理部が生成した合成画像をディスプレイに表示する、上記（１）から上記（１０）のいずれかに記載の画像処理装置。

（１２）フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方に光を照射する投光器と、複数の受光素子を有し、前記投光器により照射した光の物体からの反射光に応じた受信信号を出力する受光部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記受光部から出力された受光信号により受光データを生成するステップ（ａ）と、
前記受光データにおける輝度値の分布により、前記フォークリフトのフォーク前方のパレット差込口を検出するステップ（ｂ）と、
前記ステップ（ｂ）で検出した前記パレット差込口の周辺の輝度値の分布により、前記フォークに対する前記パレット差込口の位置、および左右方向における向きを判定するステップ（ｃ）と、
前記ステップ（ｃ）で判定した判定結果を出力するステップ（ｄ）と、
を含む処理を実行させるための制御プログラム。

本発明によれば、画像処理装置は、フォークリフト１０の前方に光を照射する投光器、および反射光に応じた受信信号を出力するカメラを備え、受光信号により生成した受光データにおける輝度値の分布により、フォークリフトのフォーク前方のパレット差込口を検出するとともに、検出したパレット差込口の周辺の輝度値の分布により、フォークに対するパレット差込口の左右方向における向きを判定し、判定結果を出力する。このように投光と、その受光信号による輝度値の分布によりフォークに対するパレット差込口の位置だけでなく、向きまでも判定できるので、運転者にフォークリフトの操作に役立つ指標を提供できる。

フォークリフトの外観を示す側面図である。 第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 １本のフォークの先端部にカメラ、および投光器を取り付けた状態を示す模式図である。 フォークの拡大図である。 パレット差込口とフォークとの位置関係、および輝度値の分布を示す模式図である。 パレット差込口とフォークとの位置関係、および輝度値の分布を示す模式図である。 画像処理装置が実行する向き判定処理を示すフローチャートである。 左右輝度ピーク値の比と、パレット差込口の向きとの関係を示すテーブルである。 ディスプレイに表示した表示画面の例である（図５に対応）。 ディスプレイに表示した表示画面の例である（図６に対応）。 第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第３の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第４の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 ディスプレイに表示した表示画面の例である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＺ方向、フォークリフトの進行方向をＸ方向、これらに直交する方向をＹ方向とする。

（フォークリフト）
図１は、フォークリフトの外観を示す側面図である。フォークリフト１０は、本体１１、運転台１２、マスト１３、フィンガバー１４、１対のフォーク１５、１６、およびヘッドガード１７を有する。フォーク１５、１６の上には、パレット９１、およびパレット９１上の荷物９２が荷積みされている。本体１１の前方には、上下方向に伸縮可能なマスト１３が設けられており、フォーク１５、１６はフィンガバー１４に支持されており、フィンガバー１４を介してマスト１３に上下に昇降可能に取り付けられている。マスト１３に取り付けられたチェーン（図示せず）とホイールを介して、フィンガバー１４がマスト１３に沿って上下に移動することで、フォーク１５、１６は、上下方向で位置制御される。また、フォーク１５、１６の地面（走行面）に対する傾斜角度（チルト）や両フォーク１５、１６間の開き角度、間隔は、フィンガバー１４内にある油圧シリンダー（図示せず）により所定範囲内で変更可能である。また、フォーク１５、１６は一般に硬い金属で構成される。

図２に示すように、画像処理装置２０は、カメラ２１、投光器２２、処理部２３、およびディスプレイ２９を有する。投光器２２は、フォークリフト１０の前方に向けて光を照射する。カメラ２１は、受光部として機能し、ＣＣＤ、またはＣＭＯＳ等の、投光器２２からの光の波長（例えば可視光領域）に感度を有する２次元の撮像面を有する複数の受光素子から構成される受光素子群と、レンズ等の光学系を備え、フォークリフト１０の前方を撮影しカラーの画像（映像）を取得する。また、投光器２２が照射した光の物体からの反射光を受光し、光量に応じた信号を出力する。なお、受光素子群は、投光器２２からの反射光の光量（輝度値）を測定できればよく、例えば、単なる受光素子を２次元に配置したモノクロのエリアセンサーであってもよく、Ｙ方向（左右方向）に複数の受光素子を並べた１次元のラインセンサーであってもよい。また、可視光領域に限られず、カメラ２１は赤外線波長の光に感度を有する構成とし、投光器２２によって赤外光を照射する構成としてもよい。

（カメラ２１、および投光器２２の取付け位置）
図３に示すように、第１の実施形態においては、フォークリフト１０の２本のフォーク１５、１６のうち、１本のフォーク１５の先端部分に、カメラ２１および投光器２２（以下、単に「カメラ２１等」ともいう）を本体１１の前方が撮影領域、および光照射領域となるように取り付けている。また、フォーク１５の幅方向（Ｙ方向）において、カメラ２１と投光器２２は所定間隔（基線長）だけ離している。しかしながら、カメラ２１と投光器２２を同じ位置に取り付け、両装置の光軸を一致させるようにしてもよい。また、同図に示す例では、左側のフォーク１５にカメラ２１、および投光器２２を取り付けているが、これに限られず、右側のフォーク１６に取り付けてもよい。また、カメラ２１と投光器２２の組み合わせに限られず、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式、またはアクティブステレオ方式の測距のための投光部と、受光素子群を用いてもよい（例えば、後述の第２、第３の実施形態）。なお、カメラ２１、投光器２２、および処理部２３とは、ケーブル（図示せず）または無線で接続しており、映像信号が処理部２３に伝送される。

次に、図４を参照し、カメラ２１等のフォーク１５への取付け位置について説明する。図４は、フォーク１５の先端側（「爪」または「ブレード」とも称される）の拡大図である。

カメラ２１は、より広い画角が得られるように、フォーク１５の側面の直線部と先端突部（後述の先端ｓ１）との境界近傍の側面または下面に配置することが好ましい。より具体的には、カメラ２１は、以下に説明するテーパー部ｓ５１に配置することが好ましい。

図４（ａ）は、カメラ２１等を取り付けたフォーク１５の側面図であり、図４（ｂ）は平面図であり、図４（ｃ）はフォーク１５の先端側から視た正面図である。

フォーク１５は先端ｓ１、上面ｓ２、下面ｓ３、および側面ｓ４、ならびに先端部分のテーパー部ｓ５１を有する。先端ｓ１はＹＺ平面に延在する平面である。ここで、「先端部分」とは、先端ｓ１のみならず、その周辺部分を含むものとする。例えば、Ｘ方向において先端ｓ１から二十数センチメートルの範囲が含まれる。さらにこの周辺部分には、テーパー部ｓ５１が包含される。テーパー部ｓ５１は、図４（ｂ）に示すように上面視において、先端ｓ１に向けて幅が徐々に狭くなるテーパー面で構成される。なお先端ｓ１を平面とせずに、曲面で形成されていてもよい。フォーク１５のサイズの例としては、同図に示すように、厚みが１０ｍｍで、幅が１００ｍｍ、テーパー部ｓ５１はＲ（半径）６０ｍｍであり、Ｘ方向において先端ｓ１から４０ｍｍまで、Ｙ方向において側面ｓ４から４０ｍｍまでがテーパー部ｓ５１である。なお、他の適用例として、側面のみならず、下面側にもテーパー面が設けられたフォーク１５を用いた場合には、そのテーパー部にカメラ２１、および投光器２２を配置するようにしてもよい。

フォーク１５のテーパー部ｓ５１の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ２１、および投光器２２はそれぞれ、この穴に埋め込まれている。カメラ２１等はレンズの前面が、テーパー部ｓ５１の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク１５の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。

広い視野（画角）を確保するためには側面ｓ４または下面ｓ３のテーパー部ｓ５１にカメラ２１、および投光器２２を設けることが好ましい。図４に示すように、側面側のテーパー部ｓ５１に配置したカメラ２１、および投光器２２は、フォーク１５の前方側に向けて広い視野を確保できる。

高さ方向（Ｚ方向）において、カメラ２１、および投光器２２は、上面ｓ２、下面ｓ３からそれぞれ２ｍｍ以上離れていることが好ましい。例えばフォーク１５の厚みが１０ｍｍであれば、カメラ２１、および投光器２２はともに下面から２〜８ｍｍの範囲内に収まるようなサイズ、および位置で配置することが好ましい。一般に、荷積み作業においては、フォーク１５を床面や荷物に意図的に接触し、衝突させる場合がある。そのため、このような配置とすることでカメラ２１等が床や荷物に、直接的に衝突することを防止する。また、カメラ２１のレンズの前面は、上面視において先端側の表面、すなわち先端ｓ１、およびテーパー部ｓ５１の表面よりも内側に配置されることが好ましい。このような配置にすることで、正面からの他の物体へフォークを（意図的に）衝突させた際に、カメラ２１が直接的に他の物体に衝突することを防止できる。

（画像処理装置２０）
再び、図２を参照し、処理部２３等について説明する。処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを備え、メモリに保存した制御プログラムをＣＰＵが実行することで画像処理装置２０全体の各種制御を行う。処理部２３が担う各機能については後述する。

ディスプレイ２９は、図１に示すように運転者の前方のヘッドガード１７を支えるフレームに取り付けられており、以下に説明するように処理部２３が生成し、加工した映像を表示する。加工とは、例えばカメラ２１が取得した画像に対して、パレット差込口の位置や向き、またはフォークをパレット差込口に向けて正しい位置になるように旋回させる向きを示す付加画像を画像（映像）に対して重畳する処理である。これにより、運転者はフォーク１５、１６に積載した荷物により前方の視認性が悪くなった場合であっても、ディスプレイ２５の表示画面により荷物の先の状況を確認できたり、フォーク１５を旋回すべきか否かを判断できたりする。

ディスプレイ２５は、例えば液晶ディスプレイである。また、ディスプレイ２５は、ＨＵＤ（ヘッドアップディスプレイ）であってもよい。ＨＵＤ用のディスプレイは、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、後述する処理部２３が生成した付加画像（付加情報）がある。運転台１２に座った運転者は、コンバイナーを通じて、その先にある実像を視認できるとともに、コンバイナーに反射する虚像を同時に認識できる。

（処理部２３）
処理部２３は、画像取得部３０１、判定部３０２、付加画像生成部３０３、画像合成部３０４、および画像出力部３０５として機能する。これらの機能は、処理部２３が、内部メモリに記憶しているプログラムを実行することにより行うが、これらの機能の一部を組み込み型の専用ハードウェア回路により行うようにしてもよい。

（画像取得部３０１）
画像取得部３０１は、カメラ２１の受光素子群により所定のフレームレートで撮影された画像を取得する。また、画像取得部３０１は、常時、または所定周期で投光器２２を発光させて光を照射させる。あるいは、画像取得部３０１は、検出したパレット差込口９１ａが所定以内の距離に近づいた以降に、投光器２２を発光させて光を照射させるようにしてもよい。また、カメラ２１の受光素子群による撮影タイミングに同期させて、パルス状のパターン光の照射を行うようにしてもよい。

（判定部３０２）
判定部３０２は、以下に説明するように、カメラ２１の受光素子群の受光信号により生成した受光データ、すなわち画像データから、輝度値の分布によりフォーク１５前方のパレット差込口９１ａを検出する。また。判定部３０２は、検出したパレット差込口９１ａ周辺の輝度値の分布により、パレット差込口９１ａの左右方向における向きを判定する。

図５、図６はパレット差込口９１ａと、フォーク１５との位置関係、および輝度値の分布を示す模式図である。図５では、フォーク１５の延在方向と、パレット差込口９１ａの延在方向（パレット９１の奥行き方向）（以下、単に「パレット差込口９１ａの向き」という）が平行になっている状態、すなわちパレット差込口９１ａが正面を向いている状態である。一方、図６では、フォーク１５に対してパレット差込口９１ａが左向きの状態である。図５（ａ）は、上面視におけるパレット９１（パレット差込口９１ａ）とカメラ２１等が取り付けられたフォーク１５との位置関係を示す図である。図５（ｂ）は、図５（ａ）の位置関係において、カメラ２１で撮影した画像の一部を示す図である。図５（ｃ）は、図５（ｂ）における線ｃ１に沿った輝度値の分布を示すグラフであり、縦軸は輝度値、横軸はＹ方向（左右方向）の位置を示している。線ｃ１は、パレット差込口９１ａの高さ方向の中心を通るＹ方向の線（水平線）である。図６（ａ）、（ｂ）はそれぞれ図５（ａ）、（ｃ）に対応する図である。

判定部３０２は、カメラ２１から取得した画像データからパレット差込口９１ａの位置を検出する。このパレット差込口９１ａの検出は、パレット９１の輪郭形状、およびパレット９１に対するパレット差込口９１ａの輪郭形状を予め登録しておき、この輪郭形状との類似度を判定することによるパターンマッチング法を用いてもよい。あるいは、輝度値の分布を調べ、周囲よりも輝度値が低い部分を抽出し、低い部分がパレット差込口９１ａの形状とマッチングするか否かにより、パレット差込口９１ａの位置を検出するようにしてもよい。

そして、判定部３０２は、パレット差込口９１ａの位置を検出した後に、そのパレット差込口９１ａ周辺の輝度値の分布によりフォーク１５に対するパレット差込口９１ａの向きを判定する。例えば、図５、図６に示すように、パレット差込口９１ａの中心を通る水平な線ｃ１における輝度値の分布を調べる。図５（ａ）のようにフォーク１５がパレット９１の正面を向いている場合には、図５（ｃ）のグラフでは、位置ｙ１と位置ｙ２の間は輝度値が低い区間であり、これはパレット差込口９１ａに対応する。また、位置ｙ１、ｙ２の直ぐ外側、すなわちパレット差込口９１ａの両脇の輝度値の左側輝度ピーク値ｖｌ１と右側輝度ピーク値ｖｒ１は略一致する。一方で、図６（ａ）のように左斜めになっている場合には、図６（ｂ）のように左側輝度ピーク値ｖｌ２＞右側輝度ピーク値ｖｒ２となる。これは、投光器２２による照射光の反射光量が、フォーク１５の先端により近い左側の方が、右側に比べて多くなるからである。このように判定部３０２は、輝度値の分布を調べることによりフォーク１５に対するパレット差込口９１ａの左右方向の向きを判定できる。

なお、この向きの判定は、建物内で使用するパレット９１の種類が共通であるような場合に、パレット９１の表面性（材質）が既知である場合には、角度と輝度値との関係を調べておき、このデータに基づいて輝度値の左右の輝度ピーク値を比較することで、フォーク１５に対するパレット差込口９１ａの角度を求めるようにしてもよい。

また、図５（ｃ）、図６（ｂ）の例では、水平な線ｃ１上の輝度ピーク値の比較によりパレット差込口９１ａの左右方向における向きを判定したが、これに限られず、積分値により比較するようにしてもよい。例えば、図５（ｃ）、図６（ｂ）のグラフにおいて、輝度ピーク値の半値幅内における輝度値の積分値を比較する。また、パレット差込口９１ａ周辺の輝度値の分布により判定する別の例としては、パレット差込口９１ａの両脇エッジの外側における所定面積内の輝度値の積分値を比較してもよい。

さらに、図４に示したように、カメラ２１と投光器２２とは基線長分だけ左右方向で離間しているので、その基線長を考慮して、輝度値のピークを補正するようにしてもよい。例えば、図４（ｂ）に示すような配置の場合には、カメラ２１の左側に投光器２２を配置しているので、左側の輝度値が右側よりも高くなる傾向となる。これを相殺するように左右方向の位置に応じた輝度値の補正を行う。

（付加画像生成部３０３）
付加画像生成部３０３は、判定部３０２が判定したフォークリフト１０のフォーク１５のパレット差込口９１ａに対する向きに応じた付加画像（アノテーション画像ともいう）を生成する。付加画像としては、例えば、フォーク１５、１６の位置を示す付加画像や、フォーク１５をパレット差込口９１ａの向きに合わせて旋回すべき方向を示す付加画像がある。また、他の付加画像としては、物体の種類、距離に応じて色や態様を変更した矩形枠、または要注意物が存在する場合などに、運転者に注意喚起するためのマーク、テキストであってもよい。さらに、付加画像として、水平面、または、フォークの開き角度、傾斜角度、もしくは地面からの高さの情報であってもよい。物体までの距離は、後述するように、アクティブステレオ方式を適用することで算出できる。このアクティブステレオ方式は、投光器２２から格子状や短冊状のパターン光を照射し、その物体からの反射光により、投光器２２と基線長だけ離れたカメラ２１により得られた画像から、各位置の物体までの測距点群（距離マップ）を算出する。

（画像合成部３０４）
画像合成部３０４は、付加画像生成部３０３が生成した付加画像を判定部３０２が検出した物体の位置に対応させた表示位置となるように、画像取得部３０１が取得した画像に対して重畳させ、合成画像を生成する。例えばパレット差込口９１ａに対する向きに応じた付加画像をパレット差込口差込口９１ａの位置に対応させた表示位置で重畳する。

（画像出力部３０５）
画像出力部３０５は、画像合成部３０４が生成した合成画像、すなわち加工後の画像（映像）をリアルタイムに、ディスプレイ２９に出力し、運転者に表示する。この画像出力部３０５とディスプレイ２９が協働することで出力部として機能する。

（向き判定処理）
図７は、画像処理装置２０が行う向き判定処理を示すフローチャートである。以下、図７を参照し、向き判定処理について説明する。

（ステップＳ１０１）
画像処理装置２０の処理部２３（画像取得部３０１）は、最初に、投光器２２に制御信号を出力して、フォークリフト１０の前方への光照射を行わせる。投光器２２による光照射は、常時照射する。処理部２３は、同時にカメラ２１を制御し、所定のフレームレートで撮影された画像を取得する。

（ステップＳ１０２）
次に、処理部２３（判定部３０２）は、カメラ２１から取得した画像を処理することより、パレット９１、およびパレット差込口９１ａを検出する。

（ステップＳ１０３）
ここでは、処理部２３は、パレット差込口９１ａ周辺の輝度値の分布から、フォーク１５に対するパレット差込口９１ａの左右方向における向きを検出する。図８は、図５（ｃ）、図６（ｂ）で示した右ピーク輝度値ｖｒに対する左ピーク輝度値ｖｌの比（ｖｌ／ｖｒ）と、フォーク１５に対するパレット差込口９１ａの向きのレベルとの関係を示すテーブルの例である。このテーブルは、予め画像処理装置２０の記憶部に記憶されている。例えば比が１．００前後（０．９３以上１．０９未満）であれば、フォーク１５に対してパレット差込口９１ａが正面を向いていると判定する。また、１．１８前後（１．０９以上１．２６未満）であれば、フォーク１５に対してパレット差込口９１ａが左向き小（傾斜角度が小さい）と判定し、１．４３前後（１．２６以上）であれば、左向き大と判定する。例えば図６のような位置関係であれば左向き大と判定する。なお、このテーブルの値は、使用するパレット９１の種類により異なる値となる。例えば木製と樹脂製のパレット９１では、表面性が異なるので、異なるテーブルを適用するようにしてもよい。

（ステップＳ１０４）
処理部２３（付加画像生成部３０３）は、向きに関する付加画像を生成する。例えば、図８のテーブルを参照して判定した、フォーク１５に対するパレット差込口９１ａの向きを示す付加画像（後述の図９、図１０参照）、または、向きおよびその程度（角度）を示す付加画像を生成する。

（ステップＳ１０５）
処理部２３（画像合成部３０４）は、ステップＳ１０４で生成した付加画像を、ステップＳ１０１で取得した画像に付加（重畳）させる合成処理を行う。

（ステップＳ１０６）
処理部２３の画像出力部３０５は、ステップＳ１０５で生成した合成画像をリアルタイムにディスプレイ２５に出力して、運転者に表示して処理を終了する（エンド）。

（表示例）
図９、図１０は、ステップＳ１０６において、ディスプレイ２５に表示した画面２９１の例である。フォークリフト１０の正面には、カメラ２１による撮影された物体としてのパレット９１、荷物９２、およびパレット差込口９１ａが表示されている。また、付加画像４０１〜４０３、および付加画像４１１〜４１３を表示している。付加画像４０１、４１１はフォーク１５の仮想先端を示している。付加画像４０２、４０３、４１２、４１３は、ステップＳ１０４で生成した、フォーク１５に対するパレット差込口９１ａの向き等を示す付加画像である。

図９は、図５の状態に対応する。図９では、フォーク１５に対してパレット差込口９１ａが正面を向いている。この状態に応じて、付加画像４０２では、パレット差込口９１ａの向きを示す情報、すなわち正面向きである旨を表示している。また、付加画像４０２、４０３では、フォーク１５を進めるべき方向を示す情報を表示している。

図１０は、図６の状態に対応する。図１０では、フォーク１５に対してパレット差込口９１ａが左を向いている。この状態に応じて、付加画像４１２では、パレット差込口９１ａの向きを示す情報、すなわち左向きである旨を表示している。また、付加画像４１２、４１３では、フォーク１５を進めるべき方向を示す情報、すなわち、フォーク１５を左に旋回する旨を表示している。なお、図９、１０の例では、１本のフォーク１５にのみカメラを搭載しているので、フォーク先端の仮想位置は１個のみ表示しているが、これに限られず２本のフォークそれぞれに対応させて２個の仮想位置を表示するようにしてもよい。

このように、本実施形態の画像処理装置２０は、フォークリフト１０の前方に光を照射する投光器２２、および反射光に応じた受信信号を出力するカメラ２１を備え、受光信号により生成した受光データにおける輝度値の分布により、フォークリフト１０のフォーク１５前方のパレット差込口９１ａを検出する、また、画像処理装置２０は、検出したパレット差込口９１ａの周辺の輝度値の分布により、フォーク１５に対するパレット差込口９１ａの左右方向における向きを判定し、判定結果を出力する。このように単純な投光と、カメラ２１による撮影により、フォーク１５に対するパレット差込口９１ａの位置だけでなく、向きまでも判定できるので、運転者にフォークリフト１０の操作に役立つ指標を提供でき、これにより容易にパレットを用いた荷役を行える。

（変形例）
第１の実施形態においては、パレット差込口９１ａ周辺の輝度値の分布により、左右方向におけるパレット差込口９１ａの向きを判定していたが、上下方向の向きを検出するようにしてもよい。例えば、図５（ｃ）で説明した手法と同様な手法で、上下方向において輝度値の分布を調べ、パレット差込口９１ａの上下端近傍の輝度ピーク値を比較することにより、フォーク１５に対する、パレット差込口９１ａの上下方向の傾きを判定し、その判定結果を出力する。これにより、運転者のフォークリフト１０の操作において、フォーク１５のチルト操作に役立つ指標を提供できる。

また、上下方向においてパレット差込口９１ａ、および荷物９２の上方向の切れ目（輝度の低下エッジ）を認識することで、荷物９２の縦方向のサイズを認識するようにしてもよい。さらに、カメラ２１を設けずに単なるモノクロのエリアセンサーを用いたような場合には、投光器２２の照射光の戻ってくる光量で、対象物であるパレット９１までの距離を推定するようにしてもよい。

（第２の実施形態）
図１１は、第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。第２の実施形態に係る画像処理装置においては、アクティブステレオ方式により測距を行う。同図に示す構成以外は、第１の実施形態と同様の構成を備える。第２の実施形態においては、カメラ２１、投光器２２を、第１の実施形態と同様に、１本のフォーク１５の先端に、光軸に垂直な方向に基線長さだけ離して配置する（図４等参照）。

第２の実施形態においては、画像取得部３０１は、投光器２２に対してパターン光を所定タイミングで出力するように制御信号を出力する。パターン光は、所定間隔でドット光を照射した格子状、またはライン光である。

距離マップ生成部３１１は、カメラ２１により撮影した画像から、パターン光の各ドット光またはライン光の間隔、または位置を検出する。検出したパターン光の位置、および基線長に基づく変換パラメータを用いて、取得した画像の複数画素における距離を算出し、距離マップを生成する。そして得られた距離マップは、逐次、画像処理装置２０の記憶部２４に記憶される。距離マップを記憶部２４に蓄積し、これを参照することで、フォークリフト１０のカメラ２１から死角領域となる位置の距離値を取得することができる。

そして、得られた距離マップに基づいて、判定部３０２は、フォークリフト１０の前方にある物体までの距離を検出する。そして付加画像生成部３０３は、取得した画像に、各物体までの距離に応じた付加画像（例えばパレット９１までの距離）を重畳する。そして画像出力部３０５は、処理後の画像をディスプレイ２９に表示する（後述の図１４参照）。

また、第２の実施形態においても、投光器２２、およびカメラ２１を用いて、第１の実施形態と同様に、図７に示した向き判定処理を行う。

このように、アクティブステレオ方式の画像処理装置２０において用いる投光器２２、およびカメラ２１を利用することで物体までの距離を測定できるとともに、特に専用のハードウェアを追加せずにフォーク１５に対するパレット差込口９１ａの向きを判定できるので、第１の実施形態と同様の効果が得られる。

（第３の実施形態）
図１２は、第３の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。第３の実施形態に係る画像処理装置においては、ＴｏＦ方式により測距を行う。また、第３の実施形態においては、同図に示す構成以外は、第１の実施形態と同様の構成を備える。第３の実施形態においては、受光部２１ｂ、および投光器２２ｂを備える。受光部２１ｂと投光器２２ｂは、１本のフォーク１５の先端に配置される。好ましくは、受光部２１ｂと投光器２２ｂは同じ位置に配置され、光軸が同一であることが望ましい。投光器２２ｂは、パルス状のレーザー光を、ポリゴンミラー等で走査することにより複数の方向に向けて照射し、各方向の対象物からの反射光を受光部２１ｂの受光素子により受ける。

距離マップ生成部３１１は、投光器２２ｂでレーザー光を照射開始してから、受光部２１ｂで反射光を受信するまでの時間間隔に基づいて、それぞれの照射方向における対象物までの距離を算出する。これを複数の方向に向けて行うことで、距離マップを生成する。そして、第２の実施形態と同様に、距離マップを利用して、物体までの距離に応じた付加画像を生成し、これを画像に重畳してディスプレイ２９に表示する。

また、第３の実施系形態においても各方向における受光信号の強度、すなわち輝度値に基づいて、第１の実施形態と同様に、図７に示した向き判定処理を行う。

このように、第３の実施形態においても、ＴｏＦ方式の画像処理装置２０において用いる、投光器２２ｂ、受光部２１ｂを利用することで物体までの距離を測定できるとともに、特に専用のハードウェアを追加せずにフォーク１５に対するパレット差込口９１ａの向きを判定できるので、第１の実施形態と同様の効果が得られる。

（第４の実施形態）
図１３は、第４の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。第４の実施形態に係る画像処理装置においては、ステレオカメラ方式により測距を行う。また、第４の実施形態においては、同図に示す構成以外は、第１の実施形態と同様の構成を備える。第４の実施形態においては、２つのカメラ２１１、２１２、および投光器２２を備える。これらは、１本のフォーク１５の先端に配置される。カメラ２１１、およびカメラ２１２は、光軸に垂直な方向に基線長さだけ離して配置する（図４等参照）。カメラ２１１は、カメラ２１と同じ位置に配置し、カメラ２１２は、投光器２２と同じ位置、すなわちフォーク１５の左側面に配置してもよい。

第４の実施形態においては、距離マップ生成部３１１は、ステレオカメラであるカメラ２１１、２１２から同じタイミングで撮影して得られた１組の画像を取得する。そして、１組の画像から抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。具体的には、左右に配置した１対のカメラ２１１、２１２において、基線長を用いて、左右のカメラから得られた画像データの同じ対応点の画素値のズレ量に応じてそれぞれの画素の距離値を算出する（測距）。これを複数の対応点に対して行うことで、距離マップを生成する。そして、第２、第３の実施形態と同様に、距離マップを利用して、物体までの距離に応じた付加画像を生成し、これを画像に重畳してディスプレイ２９に表示する。

また、第４の実施系形態においても投光器２２、ならびにカメラ２１１、および／またはカメラ２１２を用いて、第１の実施形態と同様に、図７に示した向き判定処理を行う。

このように、第４の実施形態においても、ステレオ方式の画像処理装置２０において用いる、カメラ２１１、またはカメラ２１２を利用することで物体までの距離を測定できるとともに、投光器２２を追加することで、フォーク１５に対するパレット差込口９１ａの向きを判定できるので、第１の実施形態と同様の効果が得られる。

（第２、第４の実施形態における表示例）
図１４は、ディスプレイ２９に表示した画面２９２の例である。フォークリフト１０の正面には、物体としてのトラック９５、その上のパレット９１、および荷物９２、ならびに作業者９６が存在し、トラック９５の荷台に向けフォークリフト１０を近づけている状況下における、カメラ２１（またはカメラ２１１、２１２）が撮影した、フォークリフト１０正面の映像を表示している。同図に示すように画面２５０においては、映像に重畳された付加画像４２１〜４２６が表示されている。付加画像４２１〜４２６は、上述のように距離マップの距離値を参照して生成した画像である。

具体的には、付加画像４２１は、フォーク１５、１６に対応するイラスト画像（アニメーション画像）である。付加画像４２２、４２３は、フォーク１５、１６を前方に向けて延長させた線およびその接触位置周辺を示す画像である。これにより運転者はフォーク１５、１６が当たる（挿入される）位置を認識できる。付加画像４２４、４２５は、フォークリフト１０の正面にある物体までの距離を示す画像である。この付加画像４２４、４２５は、付加画像４２３とともに距離梯子とも称される。付加画像４２６は、高さ方向における、トラック９５の荷台の上面までのフォーク１５、１６の距離を示している。付加画像４２７は、フォークリフト１０の前方に人（作業者９６）が近づいた場合に、運転者に注意を促すマークである。また、さらにフォーク１５、１６先端からの最短距離に関する情報を付加画像として表示するようにしてもよい。

図１４のような状態から、さらにパレット９１に近づいた場合には、例えば、２ｍ以内に近接した場合には、画像処理装置２０は、投光器２２による光照射を行い、フォーク１５に対するパレット差込口９１ａの向きを判定する処理を開始する。また、その際に、図９、または図１０のような近接用の画面に切り替えて表示する。このように、第２、第４の実施形態において、表示する映像に距離マップに基づいて生成した物体までの距離に関する付加画像を付加することで、作業支援や安全警告等を行えるので、より安全にフォークリフトを運転できる。

以上に説明したフォークリフト用の画像処理装置２０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。

上述した実施形態に係る画像処理装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
１０ フォークリフト
１１ 本体
１２ 運転台
１３ マスト
１４ フィンガバー
１５、１６ フォーク
２０ 画像処理装置
２１、２１１、２１２ カメラ
２１ｂ 受光部
２２、２２ｂ 投光器
２３ 処理部
３０１ 画像取得部
３０２ 判定部
３０３ 付加画像生成部
３０４ 画像合成部
３０５ 画像出力部
３１１ 距離マップ生成部
２４ 記憶部
２９ ディスプレイ
９１ パレット
９１ａ パレット差込口

Claims (12)

1. フォークリフトに用いられる画像処理装置であって、
   前記フォークリフトの前方に光を照射する投光器と、
   複数の受光素子を有し、前記投光器により照射した光の物体からの反射光に応じた受光信号を出力する受光部と、
   前記受光信号により生成した受光データにおける輝度値の分布により、前記フォークリフトのフォーク前方のパレット差込口を検出するとともに、検出した前記パレット差込口の周辺の輝度値の分布により、前記フォークに対する前記パレット差込口の左右方向における向きを判定する処理部と、
   前記判定の結果を出力する出力部と、
   を備える画像処理装置。
2. 前記フォークは、前記フォークリフトの前方側に昇降可能に支持されており、
   前記投光器、および前記受光部は、前記フォークに設置されている、請求項１に記載の画像処理装置。
3. 前記投光器、および前記受光部は、前記フォークの先端部分に設置されている、請求項２に記載の画像処理装置。
4. 前記処理部は、前記パレット差込口の左右方向における輝度値の分布により、前記フォークに対する前記パレット差込口の左右方向における向きを判定する、請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記処理部は、前記パレット差込口の両脇の輝度値のピーク値、またはピーク値に対する半値幅内の輝度値の積分値を比較することで、前記フォークに対する前記パレット差込口の向きを検出する、請求項４に記載の画像処理装置。
6. 前記処理部は、周囲よりも輝度値の低い部分から前記パレット差込口の位置を検出する、請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記処理部は、前記パレット差込口の周辺の輝度値の分布から、前記フォークに対する前記パレット差込口の上下方向の向きを検出する、請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記投光器は、パターン光を照射し、
   前記処理部は、前記投光器の位置と異なる位置にある前記受光部から得られた受光データから、アクティブステレオ方式により、距離マップを生成する、請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記処理部は、前記投光器から照射した光の反射光を、前記受光素子で受光するまでの時間間隔から算出した距離値を用いて、距離マップを生成する、請求項１から請求項７のいずれかに記載の画像処理装置。
10. 前記受光部は、前記複数の受光素子で構成される第１受光素子群、および、前記第１受光素子群とは異なる位置に配置した第２受光素子群を備え、
    前記処理部は、前記第１受光素子群、および前記第２受光素子群からの受光データから、ステレオ方式により、距離マップを生成する、請求項１から請求項７のいずれかに記載の画像処理装置。
11. 前記受光部の前記受光素子は可視光領域に感度を有し、前記受光部はカメラであり、
    前記出力部は、映像を表示するディスプレイを含み、
    前記処理部は、前記カメラにより撮影した画像に対して、前記判定の結果に応じて作成した付加画像を付加した合成画像を生成し、
    前記出力部は、前記処理部が生成した合成画像をディスプレイに表示する、請求項１から請求項１０のいずれかに記載の画像処理装置。
12. フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方に光を照射する投光器と、複数の受光素子を有し、前記投光器により照射した光の物体からの反射光に応じた受信信号を出力する受光部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
    前記受光部から出力された受光信号により受光データを生成するステップ（ａ）と、
    前記受光データにおける輝度値の分布により、前記フォークリフトのフォーク前方のパレット差込口を検出するステップ（ｂ）と、
    前記ステップ（ｂ）で検出した前記パレット差込口の周辺の輝度値の分布により、前記フォークに対する前記パレット差込口の位置、および左右方向における向きを判定するステップ（ｃ）と、
    前記ステップ（ｃ）で判定した判定結果を出力するステップ（ｄ）と、
    を含む処理を実行させるための制御プログラム。