JP2019142714A - フォークリフト用の画像処理装置 - Google Patents

Abstract

【課題】フォークリフトにおいて、荷積みした状態で前方を確認できるとともに、安定して、物体までの距離を測定する。【解決手段】１本のフォーク１５の先端部分に、フォーク１５の前方を撮影するカメラ２１、２２と、前方にある物体までの距離を検知するための検知センサーとを設け、検知センサーの検知情報に基づいて、カメラ２１、２２が取得した映像を加工して、ディスプレイ２５に表示する。【選択図】図３

Description

本発明は、フォークリフトに搭載されたフォークリフト用の画像処理装置に関する。

フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転台に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。

また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークの前方や、フォークを差し込んだ状態でパレットの前方側を視認したいという要望がある。このような問題に対して特許文献１に開示されたフォークリフトでは、フォークに前方を撮影するカメラを設け、撮影した画像をディスプレイに表示させている。

また、フォークリフトの左右のフォークにそれぞれカメラを設けることで、前方視界を得るとともに、ステレオ視によって前方にある物体までの距離を算出し、算出結果を表示する技術がある（特許文献２）。

特開２００３−２４６５９７号公報 特開２０１３−８６９５９号公報

フォークリフトの２本のフォークをフィンガバーに取り付けたとき、一般に、両者間に意図的に、がたつきを設けている。このため、走行時の振動などにより、２本のフォークが互いにバラバラな動きをしたり、取り付けられているフィンガバーやこれらを支持するマスト部分と異なる動きをしたりすることがある。

特許文献１では、フォークに１台のカメラを設けている。この場合、前方視認はできるものの、その画像を見ただけでは前方にある物体との距離はわからない。

この点、特許文献２に開示された技術では、２本のフォークのそれぞれにカメラを取り付けることで、ステレオ視により測距できる。しかしながら、上述のように、２本のフォークは、その間隔が安定しておらず、両カメラの間隔（基線長）が安定しないことや、フォークの取り付けガタにより、２本のフォークがバラバラに動く。また、２本のフォークの平行度が確保できないことが多い。このため、ステレオ視計算で精度を保つことが不可能か、または非常に困難になる。

本発明は、上述の事情に鑑みなされたものであり、その目的は、フォークリフトにおいて、荷積みした状態で前方を確認できるとともに、安定して、物体までの距離を測定できる、フォークリフト用の画像処理装置を提供することである。

本発明の上記目的は、下記の手段によって達成される。

（１）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
前記処理部が加工した加工後の映像を表示するディスプレイと、
を備える画像処理装置。

（２）１本の前記フォークに、第１の撮像素子および第２の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記（１）に記載の画像処理装置。

（３）前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて２次元のパターン光を照射する投光器、
を備え、
前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記（１）または上記（２）に記載の画像処理装置。

（４）前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、上記（１）に記載の画像処理装置。

（５）前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および／または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、上記（１）から上記（４）のいずれかに記載の画像処理装置。

（６）第１の撮像素子および第２の撮像素子が１本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第１、第２の撮像素子が配置されている、上記（１）に記載の画像処理装置。

（７）さらに、記憶部を備え、
前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、上記（１）から上記（６）のいずれかに記載の画像処理装置。

（８）前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、上記（７）に記載の画像処理装置。

（９）さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、上記（１）から上記（８）のいずれかに記載の画像処理装置。

（１０）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる上記（１）から上記（９）のいずれかに記載の画像処理装置。

（１１）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、上記（１）から上記（１０）のいずれかに記載の画像処理装置。

（１２）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（１）から上記（１１）のいずれかに記載の画像処理装置。

（１３）前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、上記（１）から上記（１２）のいずれかに記載の画像処理装置。

（１４）前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、上記（１３）に記載の画像処理装置。

（１５）前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、上記（１）から上記（１４）のいずれかに記載の画像処理装置。

（１６）前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、上記（１５）に記載の画像処理装置。

本発明によれば、１本のフォークの先端部分に、フォークの前方を撮影するカメラと、前方にある物体までの距離を検知するための検知センサーとを設け、検知センサーの検知情報に基づいて、カメラが取得した映像を加工して、ディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方を確認できるとともに、安定して物体までの距離を測定できる。

フォークリフトの外観を示す側面図である。 第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 １本のフォークの先端部に第１、第２カメラを取り付けた状態を示す模式図である。 フォークの拡大図である。 図４（ａ）のＡ−Ａ’断面図である。 他の例のフォークの拡大図である。 第１、第２カメラの水平方向の画角を説明する模式図である。 第１、第２カメラの垂直方向の画角を説明する模式図である。 カメラの取付け位置と画角を説明する模式図である。 ディスプレイに表示した表示画面の例である。 第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第３の実施形態に例に係る画像処理装置のハードウェア構成を示すブロック図である。 変形例に係る画像処理装置のハードウェア構成および処理部の機能構成を示すブロック図である。 １本のさやフォークの先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。 第３の変形例に係る画像処理装置のハードウェア構成および処理部の機能構成を示すブロック図である。 第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。 ＨＵＤの構成を示す模式図である。 １本のさやフォークの先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＺ方向、フォークリフトの進行方向をＸ方向、これらに直交する方向をＹ方向とする。

（フォークリフト）
図１は、フォークリフトの外観を示す側面図である。フォークリフト１０は、本体１１、運転台１２、マスト１３、フィンガバー１４、１対のフォーク１５、１６、およびヘッドガード１７を有する。フォーク１５、１６の上には、パレット９１、およびパレット９１上の荷物９２が荷積みされている。本体１１の前方には、上下方向に伸縮可能なマスト１３が設けられており、フォーク１５、１６はフィンガバー１４を介してマスト１３に上下に昇降可能に取り付けられている。マスト１３に取り付けられたチェーン（図示せず）とホイールを介して、フィンガバー１４がマスト１３に沿って上下に移動することで、フォーク１５、１６は、上下方向で位置制御される。また、フォーク１５、１６の地面（走行面）に対する傾斜角度（チルト）は、マスト１３に連結された油圧シリンダー（図示せず）により所定範囲内で変更可能である。また、フォーク１５、１６は一般に硬い金属で構成される。

（画像処理装置）
図２は、第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。図３は、１本のフォーク１５の先端部分に第１カメラ、第２カメラを取り付けた状態を示す模式図である。

画像処理装置２０は、第１カメラ２１、第２カメラ２２、処理部２３、記憶部２４、およびディスプレイ２５を有し、これらの構成部はフォークリフト１０に搭載されている。

図２に示すように第１、第２カメラ２１、２２は、それぞれＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子２００（第１、第２の撮像素子）と、レンズ等の光学系を備え、フォークリフト１０の前方を撮影し画像（映像）を取得する。第１、第２カメラ２１、２２の撮影領域の少なくとも一部は重なる。第１の実施形態においては、第１、第２カメラ２１、２２の両方の撮像素子２００が、処理部２３と協働することで距離を検知するための検知センサーとしても機能する。

（カメラ２１、２２）
図３に示すように、第１の実施形態においては、フォークリフト１０の２本のフォーク１５、１６のうち、１本のフォーク１５の先端部分に、ステレオ視（複眼ともいう）するための２台のカメラ２１、２２を本体１１の前方が撮影領域となるように取り付けている。また、フォーク１５の幅方向（Ｙ方向）において、両カメラ２１、２２は所定間隔（基線長）だけ離している。同図に示す例では、左側のフォーク１５に２台のカメラを取り付けているが、これに限られず、右側のフォーク１６に取り付けてもよい。カメラ２１、２２と処理部２３とは、ケーブル（図示せず）または無線で接続しており、映像信号が処理部２３に伝送される。

次に、図４、５を参照し、カメラ２１、２２のフォーク１５への取付け位置について説明する。図４は、フォーク１５の先端側（「爪」または「ブレード」とも称される）の拡大図であり、図５は、図４（ａ）のＡ−Ａ’断面図であり、図５においては、図４（ｂ）の上面ｓ２における輪郭線を破線で示している。

カメラ２１、２２は、より広い画角が得られるように、フォーク１５の側面の直線部と先端突部（後述の先端ｓ１）との境界近傍の側面または下面に配置することが好ましい。より具体的には、カメラ２１、２２は、以下に説明するテーパー部ｓ５１に配置することが好ましい。

図４（ａ）は、２台のカメラ２１、２２を取り付けたフォーク１５の側面図であり、図４（ｂ）は平面図であり、図４（ｃ）はフォーク１５の先端側から視た正面図である。

フォーク１５は先端ｓ１、上面ｓ２、下面ｓ３、および側面ｓ４、ならびに先端部分のテーパー部ｓ５１を有する。先端ｓ１はＹＺ平面に延在する平面である。ここで、「先端部分」とは、先端ｓ１のみならず、その周辺部分を含むものとする。例えば、Ｘ方向において先端ｓ１から二十数センチメートルの範囲が含まれる（後述の図９参照）。さらにこの周辺部分には、テーパー部ｓ５１が包含される。テーパー部ｓ５１は、図４（ｂ）に示すように上面視において、先端ｓ１に向けて幅が徐々に狭くなり、かつ、図４（ａ）に示すように側面視において下面ｓ３が傾斜することで厚みが先端ｓ１に向けて徐々に薄くなるテーパー面で構成される。なお先端ｓ１を平面とせずに、曲面で形成されていてもよい。

フォーク１５のテーパー部ｓ５１の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ２１、２２はそれぞれ、この穴に埋め込まれている。カメラ２１、２２はレンズの前面が、テーパー部ｓ５１の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク１５の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。

測距するために物体をステレオ視（立体視）するときは、２台のカメラ２１、２２の撮影領域を重複させる必要がある。広い視界（画角）を確保し、より多くの領域が重なるようにするためには側面ｓ４または下面ｓ３のテーパー部ｓ５１にカメラ２１、２２を設けることが好ましい。図５に示すように、テーパー部ｓ５１に配置した２台のカメラ２１、２２は、フォーク１５の前方側に向けて広い画角を確保できる。

図６は、他の例に係るフォーク１５の拡大図である。図６に示すフォーク１５は、厚みが１０ｍｍで、幅が１００ｍｍ、上面視において先端ｓ１に向けて幅が徐々に狭くなるテーパー部ｓ５１が設けられている。テーパー部ｓ５１は、Ｒ（半径）６０ｍｍであり、Ｘ方向において先端ｓ１から４０ｍｍまで、Ｙ方向において側面ｓ４から４０ｍｍまでがテーパー部ｓ５１である。第１、第２カメラ２１、２２は、このテーパー部ｓ５１に設けられている。

高さ方向（Ｚ方向）において、カメラ２１、２２は、上面ｓ２、下面ｓ３からそれぞれ２ｍｍ以上離れていることが好ましい。上述のようにフォーク１５の厚みが１０ｍｍであれば、カメラ２１、２２はともに下面から２〜８ｍｍの範囲内に収まるようなサイズ、および位置で配置することが好ましい。一般に、荷積み作業においては、フォーク１５を床面や荷物に意図的に接触し、衝突させる場合がある。そのため、このような配置とすることでカメラ２１、２２が床や荷物に、直接的に衝突することを防止する。また、カメラ２１、２２のレンズの前面は、上面視において先端側の表面、すなわち先端ｓ１、およびテーパー部ｓ５１の表面よりも内側に配置されることが好ましい。このような配置にすることで、正面からの他の物体へフォークを（意図的に）衝突させた際に、カメラ２１、２２が直接的に他の物体に衝突することを防止できる。

（画角）
以下、図７、図８を参照し、画角について説明する。図７は、水平方向の画角を説明する模式図である。図７においては、図６の形状のフォーク１５を例に示し画角を説明するが、図４、図５の形状のフォーク１５の様な、どのようなフォーク形状に対しても適用できる（図８も同様）。第１、第２カメラ２１、２２の画角は理想的には、前方を中心として、水平方向において１８０度あることが好ましい。しかしながら、先端ｓ１にカメラ２１、２２を配置することは、他の物体への衝突による衝撃を考慮すると難しい。水平方向の画角の最低値としては、フォーク１５の５ｍ前方で幅２ｍの物体を撮影（ステレオ視）できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。テーパー部ｓ５１にカメラ２１、２２を配置することで、最低値以上の画角を確保できる。幅２ｍの根拠は、大型のフォークリフトにおいては、２本のフォーク１５、１６の間隔は約２ｍであるため、フォーク１５の当たる領域（後述の付加画像４０２）を最低限ステレオ視できるようにするためである。

図８は、垂直方向の画角を説明する模式図である。垂直方向については、理想的には、フォークリフトの前方３ｍにある高さ５ｍのラックが撮影できることが好ましい。すなわちフォーク１５を地面すれすれに位置させた場合において、前方３ｍで高さ５ｍまでの範囲が撮影できるように、垂直方向の画角は１２０度（水平より上方の半画角で６０度）であることが好ましい。

垂直方向の画角の最低値としては、水平方向と同様に、フォーク１５の５ｍ前方で高さ２ｍの物体を撮影できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。５ｍ前方で、高さ２ｍとした根拠は、屋内で広く使用される小型のフォークリフトの全高が２ｍであるため、全高と同じ高さまで荷積みしながら、フォークリフトを前進させても、荷物またはフォークリフトの頭頂部が、前方の何らかの物体と接触しないことを確認できるようにするためである。

図９はフォーク１５をパレット９１の差込み口から挿入し、フォーク１５上にパレット９１を載せた状態を示している。同図では、フォーク１５を差し込む位置が、パレット９１の片側の差込口の中心（破線で示す）から、片側へ５０％シフトした場合を想定している。このような５０％ずれた位置であっても水平面（ＸＹ平面）で半画角３０度を確保するためには、カメラ２１、２２の先端位置は、パレット端部から１４ｃｍ以内に配置することが好ましい。

標準的なパレットの長さは１１０ｃｍであり、標準的なフォークの長さは１２２ｃｍであれば、パレット端部からのフォーク１５の先端ｓ１までの突出量は１２ｃｍとなる。よって、Ｘ方向において、フォーク１５の先端エッジ（先端ｓ１）から２６ｃｍ（１４＋１２ｃｍ）までの範囲内にレンズの全面が位置するようにカメラ２１、２２を配置することが好ましい。

このように本実施形態においては、１本の硬い（剛体）フォーク１５に２台のカメラ２１、２２を配置することにより、両カメラの相対位置は常に一定になる。これにより両カメラ２１、２２間の基線長と平行度を常に一定に保つことができ、後述する２台のカメラ２１、２２からの映像によって測距を行う場合に、高精度に安定して行うことができる。

また、カメラ２１、２２をフォーク１５の先端部分のテーパー部ｓ５１に配置することにより、平らな下面ｓ３、または側面ｓ４に比べて、画角を広くすることができ、より広範囲を撮影できる。

再び、図２を参照し、処理部２３等について説明する。処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを備え、メモリに保存した制御プログラムをＣＰＵが実行することで画像処理装置２０全体の各種制御を行う。処理部２３が担う各機能については後述する。

記憶部２４は、ハードディスクまたは半導体メモリであり、大容量のデータを記憶する。また記憶部２４は、後述する３次元の距離マップを記憶しており、処理部２３から送られた距離マップを蓄積、または更新する。記憶部２４は、フォークリフト１０に搭載されてもよいが、外部のファイルサーバー内に設けられもよい。外部のファイルサーバーとのデータ送受信は、画像処理装置２０が備える無線通信部により、ＬＡＮを経由して行う。

ディスプレイ２５は、図１に示すように運転者の前方のヘッドガード１７を支えるフレームに取り付けられており、以下に説明するように処理部２３が生成し、加工した映像を表示する。加工とは、例えばカメラ２１、２２が取得した画像の視点変換、および／または距離を示す付加画像を画像に重畳する加工である。これにより、運転者はフォーク１５、１６に積載した荷物により前方の視認性が悪くなった場合であっても、ディスプレイ２５の表示画面により荷物の先の状況を確認できる。ディスプレイ２５は、例えば液晶ディスプレイである。また、ディスプレイ２５は、ＨＵＤ（ヘッドアップディスプレイ）であってもよい。ＨＵＤ用のディスプレイは、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、後述する処理部２３が生成した付加画像（付加情報）がある。運転台１２に座った運転者は、コンバイナーを通じて、その先にある実像を視認できるとともに、コンバイナーに反射する虚像を同時に認識することもできる。

（処理部２３）
処理部２３は、画像取得部３０１、前処理部３０２、特徴点抽出部３０３、距離マップ生成部３０４、物体位置判定部３０５、付加画像生成部３０６、対応付け部３０７、視点変換部３０８、画像合成部３０９、および画像出力部３１０として機能する。これらの機能は、処理部２３が、内部メモリに記憶しているプログラムを実行することにより行うが、これらの機能の一部を組み込み型の専用ハードウェア回路により行うようにしてもよい。なお、以下に説明する実施形態においては、処理部２３により物体の位置、距離を把握できる距離マップを生成しているが、これに限られず、物体への距離測定だけを行うようにしてもよい。

（画像取得部３０１）
画像取得部３０１は、２台のカメラ２１、２２にタイミングトリガーをかけて同期させるなどの制御をし、これらの撮像素子２００により所定のフレームレートで撮影された画像を取得する。ここで、画像取得部３０１は、カメラ２１、２２の制御に関して、撮影画角において、中央部分を用いて露出を行うようにしてもよい。これは、特にパレット９１の差し込み口にフォークを挿入して、フォーク先端が差し込み口を突き抜けるまでの間においては、カメラからの映像は、中央部分のみが明るく、その周辺は暗くなるためである。すなわち、差し込み口のフォークが挿入される側と反対側を抜けた空間を適切な露出で撮影するために、画角の中央部分を用いて露出する。これにより露出オーバーにならずに中央部分からの映像を適切に撮影できる。

（前処理部３０２）
前処理部３０２は、２台のカメラ２１、２２から画像取得部３０１を介してそれぞれ取得した１組の画像の明るさ、コントラストの調整を行う。これらの調整は、既知の調整処理を適用できる。また、調整後の画像に対してさらに２値化処理等の後段の前処理を行い、処理後の画像を特徴点抽出部３０３に供給する。一方で、前処理部３０２は、前段の前処理を行ったカラー画像を視点変換部３０８に供給する。なお、１組の画像を、基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像を視点変換部３０８に供給してもよい。

（特徴点抽出部３０３）
特徴点抽出部３０３は、１組の画像それぞれから対応付けの指標となる物体の形状、輪郭に対応する特徴点を抽出する。なお、対応付けの指標としては、色、コントラスト、エッジ、および／またはフレームの情報を用いてもよい。

（距離マップ生成部３０４）
距離マップ生成部３０４は、１組の画像の抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。例えば左右に配置した１対のカメラ２１、２２において、基線長を用いて、同じ対応点の左右の画素値のズレ量に応じてそれぞれの画素の距離値を算出する（測距）。

また、距離マップ生成部３０４は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を行ってもよい。ＳＬＡＭ処理を実行するソフトとしては、ＺＥＤカメラ用ＳＤＫソフトがある。また、ＳＬＡＭを作るオープンソースとしてはＲＧＢ−Ｄ ＳＬＡＭＶ２などがあり、これらを用いてもよい。ＳＬＡＭ処理を行うことでフォークリフト１０の３次元の距離マップ内における移動位置をリアルタイムに把握できる。また、ＳＬＡＭ処理において、記憶部２４に記憶しているフォークリフト１０が使用される作業空間内の距離マップを利用してもよい。これによりカメラ２１、２２の撮影領域（画角範囲）から外れる領域内の状況をも把握できる。また、カメラ２１、２２が撮影した１組の画像がハロ、ゴースト、フレア、光芒、外部光源（太陽光等）の反射等の現象により、得られた画像に差が生じ、一次的に、あるいは一部の画素領域で測距出来ないような場合においては、記憶部２４に記憶している距離マップを用いて補正してもよい。この測距できない状況は、例えば、工場や倉庫の窓から外光が照らされたときに生じる。この補正としては、例えば撮影領域内で、距離値が検出できなかった領域に対して、過去の距離マップの対応する位置のデータで置換する処理がある。

（物体位置判定部３０５）
物体位置判定部３０５は、フォークリフト１０の前方にある物体の３次元空間での位置を判定する。この物体の判定は、例えば各画素の距離値の類似度に応じて画素をクラスタリングすることにより行ってもよい。また、距離値の類似度に、画素の色の類似度を組み合わせてクラスタリングしてもよい。クラスタリングより判定した各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体位置判定部３０５は算定したサイズが抽出対象の解析対象の物体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。通行する作業者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。また、フォークリフトが走行する環境が特定の倉庫内等で限定されるのであれば、その環境に存在する物体に応じたサイズ閾値を適用してもよい。また物体位置判定部３０５は、生成したフォークリフト前方の３次元の距離マップを記憶部２４に蓄積する。この距離マップには、所定サイズ以上の物体それぞれの大きさ、位置の情報が含まれる。なお、上述のように、処理負担軽減のために、物体までの距離測定のみを行うようにしてもよい。

（付加画像生成部３０６）
付加画像生成部３０６は、物体位置判定部３０５が判定したフォークリフト１０の前方にある物体までの距離、より具体的には、フォーク１５、１６を延長した先にある物体までの距離に応じた付加画像（アノテーション画像ともいう）を生成する。付加画像としては、距離を示す距離梯子や、数値表示がある（後述の図１０参照）。また、付加画像としては、物体の種類、距離に応じて色や態様を変更した矩形枠、または要注意物が存在する場合などに、運転者に注意喚起するためのマーク、テキストであってもよい。さらに、付加画像として、水平面、または、フォークの対パレット正面でのＸ−Ｙ平面での傾き角度、傾斜角度、もしくは地面からの高さの情報であってもよい。

（対応付け部３０７）
対応付け部３０７は、カメラ２１、２２が撮影した２次元の画像における各物体の位置と、距離マップにおける各物体の位置との対応付けを行う。

（視点変換部３０８）
視点変換部３０８は、運転台１２に座る運転者の視点位置に応じて予め指定された視点位置から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換を行う。運転者は、視点位置を画像処理装置２０のキーボート、ポインティングデバイス、タッチセンサー等の入力デバイス（図示せず）により設定できる。また、このとき、カメラからは撮影することができない死角領域に対する表示処理を行う。例えば、死角領域（データＮＵＬＬ領域）を記憶部２４にある、その領域に対応する画素で置換する。死角領域は、カメラの位置と、運転者の視点位置が異なる場合に生じる。また、この視点変換は、撮影領域に渡って、十分に距離マップが生成できていない場合等には、単純な台形補正により行ってもよい。

また、視点変換部３０８は、カメラ２１、２２から取得した映像により地面、または本体１１に対するフォーク１５に設けられたカメラ２１、２２自体の傾斜角度、または高さを判定し、その判定を視点変換に反映してもよい。例えば、フォーク１５が先端に向けて上方に傾斜した場合、または上方に移動した場合には、その傾斜角度、上方移動量を相殺するように視点変換を行う。フォーク１５の地面、または本体１１に対するフォーク１５の傾斜角度、または高さは、フォークリフト１０に取り付けられている種々のセンサー（後述の変形例参照）により検知してもよい。

（画像合成部３０９）
画像合成部３０９は、付加画像生成部３０６が生成した付加画像を物体位置判定部３０５で検出した物体の位置に対応させた表示位置で、視点変換部３０８が生成した画像に対して重畳させ、合成画像を生成する。

（画像出力部３１０）
画像出力部３１０は、画像合成部３０９が生成した合成画像、すなわち加工後の画像（映像）をリアルタイムに、ディスプレイ２５に出力し、運転者に表示する。

図１０は、ディスプレイ２５に表示した画面２５０の例である。フォークリフト１０の正面には、物体としてのトラック９５、その上のパレット９１、および荷物９２、ならびに作業者９６が存在し、トラック９５の荷台に向けフォークリフト１０を近づけている状況下における、カメラ２１、２２が撮影した、フォークリフト１０正面の映像を表示している。同図に示すように画面２５０においては、付加画像４０１〜４０６が重畳されている。

付加画像４０１は、フォーク１５、１６に対応するイラスト画像（アニメーション画像）である。付加画像４０２、４０３は、フォーク１５、１６を前方に向けて延長させた線およびその接触位置周辺を示す画像である。これにより運転者はフォーク１５、１６が当たる（挿入される）位置を認識できる。付加画像４０４、４０５は、フォークリフト１０の正面にある物体までの距離を示す画像である。この付加画像４０４、４０５は、付加画像４０３とともに距離梯子とも称される。付加画像４０６は、高さ方向における、トラック９５の荷台の上面までのフォーク１５、１６の距離を示している。付加画像４０７は、フォークリフト１０の前方に人（作業者９６）が近づいた場合に、運転者に注意を促すマークである。

なお、付加画像４０１〜４０６は、１対のフォーク１５、１６の間隔距離、およびフォーク１５、１６の地面に対する傾斜角度が、変更可能なフォークリフト１０であれば、間隔距離、傾斜角度の変更に応じて、形状、サイズ、向きを変更してもよい。例えば、フォーク１５が上方に傾斜した場合には、その傾斜角度に応じて、付加画像４０３〜４０６を変更する。この間隔距離、傾斜角度は、カメラ２１、２２から取得した画像により、処理部２３が求めてもよく、あるいは、フォークリフト１０に取り付けられている種々のセンサー（後述の変形例参照）により検知してもよい。

このように、本実施形態においては、１本のフォーク１５に設けた、１対のカメラ２１、２２を用い、カメラ２１、２２の撮像素子により取得した映像に基づいて、フォークリフト１０の前方にある、物体までの距離を検出するとともに、取得した映像に付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ２５に表示する。１本のフォーク１５に１対のカメラ２１、２２を設けることで、安定して測距できる。また、加工後の映像を表示することで、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であってもディスプレイ２５に表示した画面により前方を確認できる。また物体までの距離に関する付加画像を付加することで、作業支援や安全警告等を行えるので、より安全にフォークリフトを運転できる。

（第２の実施形態）
図１１は、第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。上述の第１の実施形態に係る画像処理装置（図２等）では、２台のカメラ２１、２２を用いて、フォークリフト１０の前方の撮影および測距を行った。これに対して、第２の実施形態は、１台のカメラ２１と、測距センサー２２ｂを用いて、前方の撮影および測距を行う。第２の実施形態では、この測距センサー２２ｂが距離を検知するための「検知センサー」として機能する。

測距センサー２２ｂとしては、例えばレーザーライダー（Ｌａｓｅｒ Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ））、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）スキャナー、ソナー、等のエリア測距器である。エリア測距器により出力部から可視光、赤外光、音波などをエネルギー出射し、物体から反射したエネルギーが入力部に届くまでの時間差により、前方の物体までの測距を行う。エリア測距器によりフォークリフト１０の前方にある物体までの距離を測定して、複数点の測距点群データを測定して、距離値の分布を示す測距点群データを取得する。

例えば測距センサー２２ｂとしてレーザーライダーを用いる場合であれば、出射したパルス状のレーザーを前方の測定空間内を走査しながら照射し、その反射光を検出する。そして、出射タイミングと受光タイミングとの時間差に応じて、各照射位置における距離情報を求め、測定空間内の測距点群データを取得する。

取得した測距点群データは、逐次、距離マップ生成部３０４に送られ、各種の処理に用いられる。また、この測距点群データは、距離マップとして記憶部２４に記憶される。

また、第１の実施形態と同様に、測距センサー２２ｂとカメラ２１は、１本のフォーク１５の先端部分に配置される。測距センサー２２ｂの測定空間と、カメラ２１の撮影領域とは、一部または全部が重なるように配置される。また、好ましくは測距センサー２２ｂとカメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４〜図９参照）。

このように、測距センサーと、カメラを用いた第２の実施形態においても、第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
図１２は、第３の実施形態に係る画像処理装置２０のハードウェア構成を示すブロック図である。第３の実施形態においては、１台のカメラ２１、投光器２２ｃを備える。本実施形態においては、以下に説明する投光器２２ｃおよび処理部２３が、カメラ２１と協働することでフォークリフトの前方にある物体までの距離を検知するための検知センサーとして機能する。

処理部２３の制御信号に応じて、投光器２２ｃはフォークリフトの前方に向けてパルス状のパターン光の投光を行う。パターン光としては例えば、複数本の縦横ライン光、または縦横所定間隔のドット光で構成される格子状のパターン光である。また、パターン光としてランダムなドットパターンを投光してもよい。このパターン光の照射領域は、カメラ２１の撮影領域の一部、または全部と重なる。なお、パターン光に代えて、１点の照射光を、カメラ２１の撮影領域内を順次走査するように構成してもよい。

第１の実施形態と同様に投光器２２ｃと、カメラ２１は、１本のフォーク１５の先端部分に配置され、フォーク１５の幅方向（Ｙ方向）において、投光器２２ｃと、カメラ２１は所定間隔（基線長）だけ離して、取り付けている。また、好ましくは投光器２２ｃと、カメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４〜図６参照）。

処理部２３（距離マップ生成部３０４）は、所定タイミングでパターン光を照射した際に、そのパターン光を構成する各ドット光、またはライン光の間隔、または位置を、撮影したカメラ２１が取得した画像により検出する。検出したパターン光の位置、および基線長に基づく変換パラメータを用いて、取得した画像の複数画素における距離を算出する。

そして、得られた距離値に基づいて、フォークリフトの前方にある物体までの距離を検出するとともに、取得した映像に、付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ２５に表示する。

このように、第３の実施形態においても、投光器２２ｃとカメラ２１（撮像素子）を用いることで、第１の実施形態と同様に、フォークリフト１０の前方の画像および、前方の物体までの距離を検出し、加工後の映像をディスプレイに表示する。これにより、第１の実施形態と同様の効果を得ることができる。

なお、図１２の例では、１台のカメラ２１を用いる例を示したが、これに限られず、１本のフォークに配置した２台のカメラ２１、２２を用いてもよい。すなわち第１の実施形態（図２等）の構成に、さらに投光器２２ｃを加える。この場合、例えば、フォーク１５の幅方向においてカメラ２２と同じ位置に投光器２２ｃを配置し、これと基線長離れるカメラ２１で取得した画像から、各画素の距離を算出する。このように２台のカメラによる測距と、投光器２２ｃを用いた測距を併用することで、より高精度に測距を行うことができる。

（変形例）
図１３は、変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。

変形例においては、第１の実施形態の構成に対して、さらに２台のカメラ２１、２２が設けられたフォーク１５の位置状態を取得する位置検知センサー２６を備える。

位置検知センサー２６としては、例えばフォーク１５の傾斜角度（チルト）を検知するセンサーであってもよい。また、位置検知センサー２６としては、フォーク１５のマスト１３に対する高さ、すなわち、地面に対する高さを検知するセンサーであってもよい。これらのセンサーは、例えばアクチュエータと光学素子から構成される。これらのセンサーにより本体１１に対するフォーク１５に設けられたカメラ２１、２２の相対的な位置を検出できる。また、位置検知センサー２６は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク１５に設けられたカメラ２１、２２の本体１１、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク１５（カメラ２１、２２）の角度（水平または傾斜）、水平面の把握が含まれる。

このような変形例においても第１の実施形態と同様の効果が得られるとともに、さらに、位置検知センサー２６を備えることで、付加画像を重畳したり、視点変換したりする処理部２３の処理負荷を低減させることができる。なお、変形例においては、画像処理装置２０は、第１の実施形態の構成に対して位置検知センサー２６を適用していたが、これに限られず、第２、第３の実施形態に位置検知センサー２６を適用してもよい。

（第２の変形例）
図１４は、第２の変形例における１本のさやフォーク１９の先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。本実施形態のように、さやフォーク１９をフォーク１５（またはフォーク１６）に先端側に装着する場合には、フォークの先端部、またはフォークの先端とは、さやフォーク１９の先端部、またはさやフォーク１９の先端を指す。さやフォーク１９は、フォーク１５に覆うように装着され、ネジ等の保持具（図示せず）により固定される。

図１４は、フォーク１５の先端側に装着したさやフォーク１９を示す図であり、図１４（ａ）は側面図であり、図１４（ｂ）は平面図である。

さやフォーク１９は先端ｓ１１、上面ｓ１２、下面ｓ１３、および側面ｓ１４、ならびに先端部分のテーパー部ｓ１５１を有する。フォーク１９の左右のテーパー部ｓ１５１にはそれぞれ、円柱状の穴が設けられており、カメラ２１、２２はそれぞれ、この穴に埋め込まれて配置されている。カメラ２１、２２の配置位置、およびその効果については、図４〜図９で説明した第１の実施形態と同様であり、説明を省略する。

カメラ２１、２２はフォークリフト１０の本体１１とケーブルまたは無線で接続しており、映像信号の処理部２３への伝送が行われる。ケーブル接続の場合は、本体１１から電力供給がなされ、無線接続の場合には、カメラ２１、２２とともに取り付けたバッテリーにより電力供給がなされる。

このように第２の変形例のように、さやフォーク１９に、第１、第２カメラ２１、２２を設けることによっても、第１の実施形態と同様の効果を得ることができる。さらに、第２、第３の実施形態についても、フォーク１５に代えてさやフォーク１９を用いてもよい。すなわち、カメラ２１と、測距センサー２２ｂまたは投光器２２ｃをさやフォーク１９の先端部に設ける。このようにしても、第２、第３の実施形態と同様の効果を得ることができる。

（第３の変形例）
図１５は、変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。第３の変形例においては、１台（単眼）のカメラ２１と、位置検知センサー２７を備える。また、第３の変形例においては、処理部２３にはオプティカルフロー処理部３２０が含まれる。本変形例においては、カメラ２１の撮像素子２００、位置検知センサー２７、および処理部２３（オプティカルフロー処理部３２０）が協働することで物体までの距離を検知するための検知センサーとして機能する。

位置検知センサー２７は、変形例に係る位置検知センサー２６と同様の構成を備える。位置検知センサー２７から、フォークリフト１０が移動する際のカメラ２１の進行方向や移動量に関する位置データを取得する。

オプティカルフロー処理部３２０は、公知のオプティカルフロー処理を用いて測距情報を取得する。具体的には、カメラ２１の時系列の複数フレーム（複数映像）間の差分を検出し、その時の位置検知センサー２７からの位置データを用いて、画像内の各物体までの距離値を取得する。このようにしても、上述の各実施形態と同様の効果を得ることができる。

（第４の変形例）
図１６は、第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。図１７は、ＨＵＤの構成を示す模式図である。第４の変形例は、ディスプレイとして、ＨＵＤ２５ｂを有する。ＨＵＤ２５ｂのコンバイナー５２２は、図１のディスプレイ２５と同様な位置であって、フォークリフトの前方側を透過できる位置に配置されている。ＨＵＤ２５ｂにより、運転者は、図１０で示した付加画像４０１〜４０７のような画像を虚像として投影しながら、前方の実像をコンバイナー越しに透過視できる。なお、この第４の変形例におけるＨＵＤ２５ｂを、上述した第１から第３の実施形態、および各変形例に適用してもよい。

図１７に示すように、ＨＵＤ２５ｂは、２次元的な表示面を有する表示素子５１、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換して投影する、ミラー５２１、およびコンバイナー５２２を含む虚像投影光学系５２、および移動機構５３を有する。なお、ミラー５２１を省略した構成としてもよい。表示素子５１は、液晶、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、または中間スクリーンであってもよい。コンバイナー５２２で反射された光は、運転者の瞳９１０に導かれ、虚像ｆとして認識される。虚像投影光学系５２は、ミラー５２１、コンバイナー５２２を含み、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換してコンバイナー５２２へ投影する。移動機構５３は、ミラー５２１、または表示素子５１を動かすことにより、運転者の座高に合わせた座高調整を行う。

ＨＵＤ２５ｂでの虚像は、荷物や荷棚、フォーク爪先を交互に見て作業する必要があるので、虚像距離の設定としては、フォーク爪先、荷棚、荷物が見やすい、ディスプレイより５０ｃｍから２０ｍの間である事が望ましい。運転席に座った運転者の瞳９１０に導かれる表示素子５１からの表示光により、運転者は、あたかもフォークリフトの車体前方にあるような表示像として、虚像ｆを観察することができる。この観察する虚像ｆまでの距離が虚像距離であり、図１７では瞳９１０と虚像ｆまでの距離に相当する。視認すべき実体物までの距離と虚像距離が近い事により、眼の焦点距離を殆ど変える事なく、実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。この虚像距離の設定は、フォークリフト１０のサイズまたはフォーク１５先端と運転席の距離に応じて行われることが好ましい。例えば１．５トン程度の小型のフォークリフトの場合、爪先から視点を外さないで、虚像も観察できるために、投影距離の設定は、１ｍから３ｍの範囲内が望ましい。

なお、ＨＵＤは、虚像投影距離を変更可能な構成としてもよい。例えば、表示素子５１を光軸ＡＸ方向の位置を変更する移動機構、またはミラー５２１を移動する移動機構を設け、これにより、虚像ｆまでの投影距離を変更してもよい。例えば、荷物９２またはパレット９１までの距離に応じて投影距離を変更する。さらに、他の形態として、中間スクリーンを設け、中間スクリーンの光軸方向の位置を変更することで、投影距離を変更するように構成してもよい。この中間スクリーンは、その表面に表示素子の表示面に形成した画像を投影する部材であり、摺りガラス等の拡散機能を有する部材であり、表示素子５１とミラー５２１との間に配置する。

また、さらに、ＨＵＤを３Ｄ−ＨＵＤの構成として、前方の荷物、荷棚、作業者等の実態物（オブジェクト）までの距離に対応させた虚像距離で、虚像を３次元的に表示するようにしてもよい。例えば、数十Ｈｚの周期で、移動機構により象面（表示素子５１やミラー５２１）を移動することで虚像距離を変更し、表示制御部が象面の移動タイミングに合わせて表示素子に形成する像を制御する。これにより運転者には、複数の異なる虚像距離の虚像が同時に表示されているように見える。

（第５の変形例）
図１８は、第５の変形例における、１本のさやフォーク１９の先端部に、第１カメラ、第２カメラ２１、２２を取り付けた状態を示す模式図である。第５の変形例は、第２の変形例と同様にさやフォーク１９を用いたものであり、さらに衝突時の衝撃緩和を考慮した構成としている。

図１８は、フォーク１５の先端側に装着したさやフォーク１９を示す側面断面図である。さやフォーク１９は、本体部１９１、蓋部１９２、透明板１９３、衝撃緩和部材１９４、および熱伝導部材１９５を有する。

基板ユニット４０は、アルミプレート４１、ならびにこのアルミプレート４１上に配置した第１、第２カメラ２１、２２、カメラ基板４２、およびＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）基板４３を有する。カメラ基板４２には、処理部２３の一部、または全部の機能が配置される。また、ＩＭＵ基板４３は、上述の位置検知センサー２７に対応する。蓋部１９２がボルトｂ１等により、本体部１９１に固定されることで、基板ユニット４０は、本体部１９１の空間内部に収納される。

本体部１９１、蓋部１９２は、鋼材で構成される。透明板１９３は、光を透過する部材で、例えばポリカーボネートで構成され、第１、第２カメラ２１、２２は、この透明板１９３を通じて、外部を撮影する。衝撃緩和部材１９４はシリコンゴム等の弾性体、またはゲル化素材で構成される。

熱伝導部材１９５は、可撓性で、高熱伝導性のアルミニウム、銅、カーボンなどの熱伝導率の高い材料、またはヒートパイプで構成された部材であり、アルミプレート４１と本体部１９１に貼り付けられ、アルミプレート４１、熱伝導部材１９５を介して、熱を本体部１９１に伝え、基板ユニット４０の各電子部品から発生した熱を放熱する。熱伝導部材１９５としては、例えば、カーボン基材のグラファイトシート（または熱伝導シート）を用いてもよく、フレキシブルなヒートパイプを用いてもよい。

衝撃緩和部材１９４は、蓋部１９２の内側表面上に貼り付けられており、その端部は、本体部１９１にも接触している。この衝撃緩和部材１９４により、カメラ、および検知センサーを構成する電子部品が、衝撃緩和部材１９４を介して間接的に本体部１９１とつながる。具体的には、図１８の例では、基板ユニット４０全体が衝撃緩和部材１９４により覆われており、さやフォーク１９へ物体が衝突することによる衝撃は緩和されて、基板ユニット４０の各電子部品に伝わる。

このように、第５の変形例では、衝撃緩和部材１９４により、カメラおよび検知センサーが保護されている。これにより、さやフォークへの衝撃による、これらの構成部品に与える影響を緩和できる。また、さらに、可撓性のフレキシブルな熱伝導部材１９５を用いることで、電子部品への振動や衝撃を緩和するととともに、電子部品からの排熱を行える。

なお、第５の変形例は、さやフォーク１９に衝撃緩和および放熱用の部材を適用した例を説明したが、これに限られず、図１６に示した構成を、図３から図５等に示したフォーク１５に適用してもよい。また、上述の第１の実施形態等の各実施形態に適用してもよい。

以上に説明したフォークリフト用の画像処理装置２０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。

例えば、本実施形態においては、ディスプレイ２５はフォークリフト１０に取り付けられたものを用いたが、これに限られない。ディスプレイ２５とともに、またはこれに代えて、フォークリフトが使用する作業空間に設けられた管理事務所に、ディスプレイを設け、処理部２３が無線等により伝送した映像信号をこのディスプレイに表示させるようにしてもよい。このようにすることで、管理事務所において作業状況を監督したり、作業記録を残す操作を行ったりすることができる。

１０ フォークリフト
１１ 本体
１２ 運転台
１３ マスト
１４ フィンガバー
１５、１６ フォーク
１９ さやフォーク
１９１ 本体部
１９２ 蓋部
１９３ 透明板
１９４ 衝撃緩和材
１９５ 熱伝導部材
２０ 画像処理装置
２１、２２ カメラ
２３ 処理部
３０１ 画像取得部
３０２ 前処理部
３０３ 特徴点抽出部
３０４ 距離マップ生成部
３０５ 物体位置判定部
３０６ 付加画像生成部
３０７ 対応付け部
３０８ 視点変換部
３０９ 画像合成部
３１０ 画像出力部
２４ 記憶部
２５ ディスプレイ
４０ 基板ユニット
４１ アルミプレート
４２ カメラ基板
４３ ＩＭＵ基板
２５ｂ ＨＵＤ
５１ 表示素子
５２ 虚像投影光学系
５２２ コンバイナー
５３ 移動機構
５４ 表示制御部
９１ パレット
４０１〜４０７ 付加画像

Claims (16)

1. フォークリフトに用いられる画像処理装置であって、
   前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
   前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
   前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
   前記処理部が加工した加工後の映像を表示するディスプレイと、
   を備える画像処理装置。
2. １本の前記フォークに、第１の撮像素子および第２の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
   前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
   前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１に記載の画像処理装置。
3. 前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて２次元のパターン光を照射する投光器、
   を備え、
   前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１または請求項２に記載の画像処理装置。
4. 前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、請求項１に記載の画像処理装置。
5. 前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および／または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、請求項１から請求項４のいずれかに記載の画像処理装置。
6. 第１の撮像素子および第２の撮像素子が１本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
   前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
   前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
   前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第１、第２の撮像素子が配置されている、請求項１に記載の画像処理装置。
7. さらに、記憶部を備え、
   前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、請求項７に記載の画像処理装置。
9. さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
   前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記処理部は、前記加工した映像として、
    前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる請求項１から請求項９のいずれかに記載の画像処理装置。
11. 前記処理部は、前記加工した映像として、
    前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項１から請求項１１のいずれかに記載の画像処理装置。
13. 前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、請求項１から請求項１２のいずれかに記載の画像処理装置。
14. 前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
    前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、請求項１３に記載の画像処理装置。
15. 前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、請求項１から請求項１４のいずれかに記載の画像処理装置。
16. 前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、請求項１５に記載の画像処理装置。