JP2019156641A - フォークリフト用の画像処理装置、および制御プログラム - Google Patents

Abstract

【課題】フォークリフトにおいて、荷積みした状態であっても前方を容易に確認できるとともに、安全な作業環境を提供する。【解決手段】フォークリフト１０の前方を撮影するカメラ２１，２２と、フォークリフト１０の前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーとを備え、カメラ２１、２２が取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイ２５に表示する。【選択図】図２

Description

本発明は、フォークリフトに搭載されたフォークリフト用の画像処理装置、および制御プログラムに関する。

フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転台に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。

また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークの前方や、フォークを差し込んだ状態でパレットの前方側を視認したいという要望がある。このような問題に対して特許文献１に開示されたフォークリフトでは、フォークに前方を撮影するカメラを設け、撮影した画像をディスプレイに表示させている。

また、フォークリフトの左右のフォークにそれぞれカメラを設けることで、前方視界を得るとともに、ステレオ視によって前方にある物体までの距離を算出し、算出結果を表示する技術がある（特許文献２）。

特開２００３−２４６５９７号公報 特開２０１３−８６９５９号公報

特許文献２に開示された技術では、それぞれのフォークの根元側にカメラを配置しているために、荷積みした状態では、前方の視界が非常に狭くなるため、前方の視界を十分に確保することができない。

また、特許文献１に開示された技術では、フォーク先端部にカメラを設けている。そのため、フォークに荷積みした状態では、一般に、フォーク先端部のカメラは、地面に近い位置にあり、そのカメラからの映像は、下から見上げるような画角となるために、そのカメラからの映像を表示したとしても、運転者は周囲の状況を把握しづらいという問題がある。

本発明は、上記事情に鑑みてなされたものであり、その目的は、フォークリフトにおいて、荷積みした状態であっても前方の状況を容易に確認できるとともに、安全な作業環境を提供することである。

本発明の上記目的は、下記の手段によって達成される。

（１）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方を撮影するカメラと、
前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
前記処理部が加工処理した処理後の映像を表示するディスプレイと、
を備える画像処理装置。

（２）前記カメラは、可視光領域に感度を有する撮像素子を含む、上記（１）に記載の画像処理装置。

（３）前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、上記（１）または上記（２）に記載の画像処理装置。

（４）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（３）に記載の画像処理装置。

（５）前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記（１）から上記（４）のいずれかに記載の画像処理装置。

（６）さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、上記（５）に記載の画像処理装置。

（７）さらに、記憶部を備え、
前記処理部は、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、上記（５）または上記（６）に記載の画像処理装置。

（８）前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、上記（７）に記載の画像処理装置。

（９）前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、上記（８）に記載の画像処理装置。

（１０）前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、上記（５）から上記（９）のいずれかに記載の画像処理装置。

（１１）前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（１０）に記載の画像処理装置。

（１２）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（１０）に記載の画像処理装置。

（１３）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、上記（１０）または上記（１２）に記載の画像処理装置。

（１４）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、上記（１０）または上記（１２）に記載の画像処理装置。

（１５）前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、上記（５）から上記（１４）のいずれかに記載の画像処理装置。

（１６）前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、上記（１）から上記（４）のいずれかに記載の画像処理装置。

（１７）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（１）から上記（１６）のいずれかに記載の画像処理装置。

（１８）前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、上記（１７）に記載の画像処理装置。

（１９）前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、上記（１６）から上記（１８）のいずれかに記載の画像処理装置。

（２０）前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、上記（１）から上記（１９）のいずれかに記載の画像処理装置。

（２１）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、上記（１）から上記（２０）のいずれかに記載の画像処理装置。

（２２）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、上記（１）から上記（２１）のいずれかに記載の画像処理装置。

（２３）フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記カメラにより映像を取得するステップ（ａ）と、
前記検知センサーで測距点群データを取得するステップ（ｂ）と、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
処理後の映像をディスプレイに表示するステップ（ｄ）と、
を含む処理を、前記コンピューターに実行させるための制御プログラム。

（２４）前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記（２３）に記載の制御プログラム。

（２５）前記処理は、さらに、
前記フォークリフトの前方にある物体を認識するステップ（ｅ）を含み、
前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（２３）または上記（２４）に記載の制御プログラム。

本発明によれば、フォークリフトの前方を撮影するカメラと、フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備え、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方の状況を容易に確認できるとともに、安全な作業環境を提供できる。

フォークリフトの外観を示す側面図である。 第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 １本のフォークの先端部に第１、第２カメラを取り付けた状態を示す模式図である。 フォークの拡大図である。 第１、第２カメラの水平方向の画角を説明する模式図である。 第１、第２カメラの垂直方向の画角を説明する模式図である。 画像処理装置が実行する表示処理を示すフローチャートである。 ディスプレイに表示した表示画面の例である。 俯瞰画像を追加した表示画面の変形例である。 視点変換により生じる死角領域への処理を説明する図である。 変形例に係る画像処理装置のハードウェア構成および処理部の機能構成を示すブロック図である。 第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第３の実施形態に例に係る画像処理装置のハードウェア構成を示すブロック図である。 第２の変形例に係る画像処理装置のハードウェア構成および処理部の機能構成を示すブロック図である。 第３の変形例におけるディスプレイに表示した近接用画面の例である。 第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。 ＨＵＤの構成を示す模式図である。 第４の変形例におけるＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＺ方向、フォークリフトの進行方向をＸ方向、これらに直交する方向をＹ方向とする。

（フォークリフト）
図１は、フォークリフトの外観を示す側面図である。フォークリフト１０は、本体１１、運転台１２、マスト１３、フィンガバー１４、１対のフォーク１５、１６、およびヘッドガード１７を有する。フォーク１５、１６の上には、パレット９１、およびパレット９１上の荷物９２が荷積みされている。本体１１の前方には、上下方向に伸縮可能なマスト１３が設けられており、フォーク１５、１６はフィンガバー１４に支持されており、フィンガバー１４を介してマスト１３に上下に昇降可能に取り付けられている。マスト１３に取り付けられたチェーン（図示せず）とホイールを介して、フィンガバー１４がマスト１３に沿って上下に移動することで、フォーク１５、１６は、上下方向で位置制御される。また、フォーク１５、１６の地面（走行面）に対する傾斜角度（チルト）や両フォーク１５、１６間の開き角度、間隔は、フィンガバー１４内にある油圧シリンダー（図示せず）により所定範囲内で変更可能である。また、フォーク１５、１６は一般に硬い金属で構成される。

図２に示すように、第１、第２カメラ２１、２２は、それぞれＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子２００と、レンズ等の光学系を備え、フォークリフト１０の前方を撮影し画像（映像）を取得する。第１、第２カメラ２１、２２の撮影領域の少なくとも一部は重なる。第１の実施形態においては、第１、第２カメラ２１、２２の両方の撮像素子２００が、処理部２３と協働することで物体までの距離を検知し、測距点群データを生成するための検知センサーとしても機能する。

（カメラ２１、２２の取付け位置）
図３に示すように、第１の実施形態においては、フォークリフト１０の２本のフォーク１５、１６のうち、１本のフォーク１５の先端部分に、ステレオ視（複眼ともいう）するための２台のカメラ２１、２２を本体１１の前方が撮影領域となるように取り付けている。また、フォーク１５の幅方向（Ｙ方向）において、両カメラ２１、２２は所定間隔（基線長）だけ離している。同図に示す例では、左側のフォーク１５に２台のカメラを取り付けているが、これに限られず、右側のフォーク１６に取り付けてもよい。カメラ２１、２２と処理部２３とは、ケーブル（図示せず）または無線で接続しており、映像信号が処理部２３に伝送される。

次に、図４を参照し、カメラ２１、２２のフォーク１５への取付け位置について説明する。図４は、フォーク１５の先端側（「爪」または「ブレード」とも称される）の拡大図である。

カメラ２１、２２は、より広い画角が得られるように、フォーク１５の側面の直線部と先端突部（後述の先端ｓ１）との境界近傍の側面または下面に配置することが好ましい。より具体的には、カメラ２１、２２は、以下に説明するテーパー部ｓ５１に配置することが好ましい。

図４（ａ）は、２台のカメラ２１、２２を取り付けたフォーク１５の側面図であり、図４（ｂ）は平面図であり、図４（ｃ）はフォーク１５の先端側から視た正面図である。

フォーク１５は先端ｓ１、上面ｓ２、下面ｓ３、および側面ｓ４、ならびに先端部分のテーパー部ｓ５１を有する。先端ｓ１はＹＺ平面に延在する平面である。ここで、「先端部分」とは、先端ｓ１のみならず、その周辺部分を含むものとする。例えば、Ｘ方向において先端ｓ１から二十数センチメートルの範囲が含まれる。さらにこの周辺部分には、テーパー部ｓ５１が包含される。テーパー部ｓ５１は、図４（ｂ）に示すように上面視において、先端ｓ１に向けて幅が徐々に狭くなるテーパー面で構成される。なお先端ｓ１を平面とせずに、曲面で形成されていてもよい。フォーク１５のサイズの例としては、同図に示すように、厚みが１０ｍｍで、幅が１００ｍｍ、テーパー部ｓ５１はＲ（半径）６０ｍｍであり、Ｘ方向において先端ｓ１から４０ｍｍまで、Ｙ方向において側面ｓ４から４０ｍｍまでがテーパー部ｓ５１である。なお、他の適用例として、側面のみならず、下面側にもテーパー面が設けられたフォーク１５を用いた場合には、そのテーパー部にカメラ２１、２２を配置するようにしてもよい。

フォーク１５のテーパー部ｓ５１の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ２１、２２はそれぞれ、この穴に埋め込まれている。カメラ２１、２２はレンズの前面が、テーパー部ｓ５１の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク１５の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。

測距するために物体をステレオ視（立体視）するときは、２台のカメラ２１、２２の撮影領域を重複させる必要がある。広い視界（画角）を確保し、より多くの領域が重なるようにするためには側面ｓ４または下面ｓ３のテーパー部ｓ５１にカメラ２１、２２を設けることが好ましい。図４に示すように、側面側のテーパー部ｓ５１に配置した２台のカメラ２１、２２は、フォーク１５の前方側に向けて広い画角を確保できる。

高さ方向（Ｚ方向）において、カメラ２１、２２は、上面ｓ２、下面ｓ３からそれぞれ２ｍｍ以上離れていることが好ましい。例えばフォーク１５の厚みが１０ｍｍであれば、カメラ２１、２２はともに下面から２〜８ｍｍの範囲内に収まるようなサイズ、および位置で配置することが好ましい。一般に、荷積み作業においては、フォーク１５を床面や荷物に意図的に接触し、衝突させる場合があるため、衝突時のカメラ２１、２２への衝撃をフォーク１５自体の金属部分で緩和するためである。また、カメラ２１、２２のレンズの前面は、上面視において先端側の表面、すなわち先端ｓ１、およびテーパー部ｓ５１の表面よりも内側に配置されることが好ましい。このような配置にすることで、正面からの他の物体への衝突によるカメラ２１、２２への衝撃を緩和できる。

（画角）
以下、図５、図６を参照し、画角について説明する。図５は、水平方向の画角を説明する模式図である。第１、第２カメラ２１、２２の画角は理想的には、前方を中心として、水平方向において１８０度あることが好ましい。しかしながら、先端ｓ１にカメラ２１、２２を配置することは、他の物体への衝突による衝撃を考慮すると難しい。水平方向の画角の最低値としては、フォーク１５の５ｍ前方で幅２ｍの物体を撮影（ステレオ視）できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。テーパー部ｓ５１にカメラ２１、２２を配置することで、最低値以上の画角を確保できる。幅２ｍの根拠は、大型のフォークリフトにおいては、２本のフォーク１５、１６の間隔は約２ｍであるため、フォーク１５の当たる領域（後述の付加画像４０２）を最低限ステレオ視できるようにするためである。

図６は、垂直方向の画角を説明する模式図である。垂直方向については、理想的には、フォークリフトの前方３ｍにある高さ５ｍのラックが撮影できることが好ましい。すなわちフォーク１５を地面すれすれに位置させた場合において、前方３ｍで高さ５ｍまでの範囲が撮影できるように、垂直方向の画角は１２０度（水平より上方の半画角で６０度）であることが好ましい。

垂直方向の画角の最低値としては、水平方向と同様に、フォーク１５の５ｍ前方で高さ２ｍの物体を撮影できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。５ｍ前方で、高さ２ｍとした根拠は、屋内で広く使用される小型のフォークリフトの全高が２ｍであるため、全高と同じ高さまで荷積みしながら、フォークリフトを前進させても、荷物またはフォークリフトの頭頂部が、前方の何らかの物体と接触しないことを確認できるようにするためである。

このように１本の硬い（剛体）フォーク１５に２台のカメラ２１、２２を配置することにより、両カメラの相対位置は常に一定になる。これにより両カメラ２１、２２間の基線長と平行度を常に一定に保つことができ、後述する２台のカメラ２１、２２からの映像によって測距を行う場合に、高精度に安定して行うことができる。

また、カメラ２１、２２をフォーク１５の先端部分のテーパー部ｓ５１に配置することにより、平らな下面ｓ３、または側面ｓ４に配置した場合に比べて、画角を広くすることができ、より広範囲を撮影できる。

再び、図２を参照し、処理部２３等について説明する。処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを備え、メモリに保存した制御プログラムをＣＰＵが実行することで画像処理装置２０全体の各種制御を行う。処理部２３が担う各機能については後述する。

記憶部２４は、ハードディスクまたは半導体メモリであり、大容量のデータを記憶する。また記憶部２４は、後述する３次元の距離マップを記憶しており、処理部２３から送られた距離マップを蓄積、または更新する。記憶部２４は、フォークリフト１０に搭載されてもよいが、全部、またはその一部を外部のファイルサーバー内に設けられもよい。記憶部２４の一部を、外部の装置に設けることで、特に後述の機外の測距センサー８０（図６、図１１参照）からの測距マップを用いる場合に有用である。外部のファイルサーバーとのデータ送受信は、画像処理装置２０が備える無線通信部により、ＬＡＮを経由して行う。

また、３次元の距離マップには、フォークリフト１０が使用される、すなわち、フォークリフトが走行する作業空間である、倉庫、工場等の建物または設備に関する図面データが反映されていてもよい。この図面データには、例えば、床面、壁面、窓、および照明装置の位置情報が含まれている。また、この３次元の距離マップには、建物内を走行する他のフォークリフト等の車両の位置情報が含まれてもよい。また、建物で用いられ、内部の荷物の物流を管理する外部の物流システム（後述の図１６参照）から取得した荷物９２の位置情報が含まれてもよい。

例えば、この物流システムはサーバーを有し、例えば画像処理装置２０とネットワーク接続する。そして、このサーバーには、建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。例えば、各荷物９２、または荷物９２を載置したパレット９１には、ＩＣタグが取り付けられており、物流システムは、このＩＣタグにより、各荷物９２の位置情報を把握することができる。なお、建物内で稼働する他の車両（フォークリフトを含む）の位置情報は、外部の測距センサー８０の信号により把握し、これを取得してもよく、あるいは画像処理装置２０が、他の車両に搭載した通信部とＰ２Ｐ（ピアツーピア）通信することにより、直接的に取得するようにしてもよい。

ディスプレイ２５は、図１に示すよう運転者の前方のヘッドガード１７を支えるフレームに、運転台１２の前方に運転者が運転しながら確認できるように取り付けられており、以下に説明するように処理部２３が生成し、加工処理した映像を表示する。加工処理した映像とは、例えばカメラ２１、２２が取得した画像の視点変換処理、および／または距離値の画像を付加する加工処理を行った映像である。この距離値の画像を付加する加工処理には、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を映像に重畳する処理が含まれる。これにより、運転者はフォーク１５、１６に積載した荷物により前方の視認性が悪くなった場合であっても、ディスプレイ２５の表示画面により荷物の先の状況を確認できる。ディスプレイ２５は、例えば液晶ディスプレイである。また、ディスプレイ２５は、ＨＵＤ（ヘッドアップディスプレイ）や、運転者が装着するヘッドマウントディスプレイであってもよい。ＨＵＤ用のディスプレイは、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、後述する処理部２３が生成した付加画像がある。運転台１２に座った運転者は、コンバイナーを通じて、その先にある実像を視認できるとともに、コンバイナーが反射する虚像を同時に認識できる。ＨＵＤとすることで、たとえ、コンバイナーを運転席の正面側に配置したとしても、映像を投影していないときには、コンバイナーは透明になるので、前方への視界を妨げることはない。

（処理部２３）
処理部２３は、画像取得部３０１、前処理部３０２、特徴点抽出部３０３、距離マップ生成部３０４、物体位置判定部３０５、付加画像生成部３０６、対応付け部３０７、視点変換部３０８、画像合成部３０９、および画像出力部３１０として機能する。これらの機能は、処理部２３が、内部メモリに記憶しているプログラムを実行することにより行うが、これらの機能の一部を組み込み型の専用ハードウェア回路により行うようにしてもよい。

（画像取得部３０１）
画像取得部３０１は、２台のカメラ２１、２２にタイミングトリガーをかけて同期させる等の制御をし、これらの撮像素子２００により所定のフレームレートで撮影された画像（映像）を取得する。ここで、画像取得部３０１は、カメラ２１、２２の制御に関して、撮影画角において、中央部分を用いて露出を行うようにしてもよい。これは、特にパレット９１の差し込み口にフォークを挿入して、フォーク先端が差し込み口を突き抜けるまでの間においては、カメラからの映像は、中央部分のみが明るく、その周辺は暗くなるためである。すなわち、差し込み口のフォークが挿入される側と反対側を抜けた空間を適切な露出で撮影するために、画角の中央部分を用いて露出する。これにより露出オーバーにならずに中央部分からの映像を適切に撮影できる。

（前処理部３０２）
前処理部３０２は、２台のカメラ２１、２２から画像取得部３０１を介してそれぞれ取得した１組の画像の明るさ、コントラストの調整を行う。これらの調整は、既知の調整処理を適用できる。また、調整後の画像に対してさらに２値化処理等の後段の前処理を行い、処理後の画像を特徴点抽出部３０３に供給する。一方で、前処理部３０２は、前段の前処理を行ったカラー画像を視点変換部３０８に供給する。なお、１組の画像を、基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像を視点変換部３０８に供給してもよく、両カメラ２１、２２の共通撮影領域の画像を視点変換部３０８に供給してもよい。

（特徴点抽出部３０３）
特徴点抽出部３０３は、１組の画像それぞれから対応付けの指標となる物体の形状、輪郭に対応する特徴点を抽出する。なお、対応付けの指標としては、色、コントラスト、エッジ、および／またはフレームの情報を用いてもよい。

（距離マップ生成部３０４）
距離マップ生成部３０４は、１組の画像の抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。例えば左右に配置した１対のカメラ２１、２２において、基線長を用いて、同じ対応点の左右の画素値のズレ量に応じてそれぞれの画素の距離値を算出する（測距）。

また、距離マップ生成部３０４は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を行ってもよい。ＳＬＡＭ処理を実行するソフトとしては、ＺＥＤカメラ用ＳＤＫソフトがある。また、ＳＬＡＭを作るオープンソースとしてはＲＧＢ−Ｄ ＳＬＡＭＶ２などがあり、これらを用いてもよい。ＳＬＡＭ処理を行うことでフォークリフト１０の３次元距離マップ（以下、単に「距離マップ」という）内における自車、すなわちフォークリフト１０の移動位置をリアルタイムに把握できる。また、ＳＬＡＭ処理において、記憶部２４に記憶しているフォークリフト１０が使用される作業空間内の距離マップを利用してもよい。これによりカメラ２１、２２の撮影領域（画角範囲）から外れる領域内の状況をも把握できる。また、カメラ２１、２２が撮影した１組の画像がハロ、ゴースト、フレア、光芒、外部光源（太陽光等）の反射等の現象により、得られた画像に差が生じ、一次的に、あるいは一部の画素領域で測距できないような場合においては、後述する外部の測距センサー８０（図６、および後述の図１１参照）、またはフォークリフト１０の過去の走行により生成し、記憶部２４に蓄積している距離マップを用いて補正してもよい。この測距できない状況は、例えば、工場や倉庫の窓から外光が照らされたときに生じる。この補正としては、例えば撮影領域内で、距離値が検出できなかった領域に対して、過去の３次元距離マップの対応する位置のデータで置換する処理がある。

（物体位置判定部３０５）
物体位置判定部３０５は、フォークリフト１０の前方にある物体の３次元空間での位置を、距離マップにおいて判定する。この物体の判定は、例えば各画素の距離値の類似度に応じて画素をクラスタリングすることにより行ってもよい。また、距離値の類似度に、画素の色の類似度を組み合わせてクラスタリングしてもよい。クラスタリングより判定した各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体位置判定部３０５は算定したサイズが抽出対象の解析対象の物体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。通行する作業者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。また、フォークリフトが走行する環境が特定の倉庫内等で限定されるのであれば、その環境に存在する物体に応じたサイズ閾値を適用してもよい。また物体位置判定部３０５は、生成したフォークリフト前方における、所定サイズ以上の物体それぞれの大きさ、位置の情報が含まれる３次元距離マップを記憶部２４に蓄積する。

また、物体の種類として人間と他の物体との判別については、機械学習を用いたり、プロポーション判別（縦横比）を用いたりしてもよい。機械学習では、コンピューターが得られた３次元距離マップのデータを用いて、学習を繰り返す。とくに作業空間内においては、甚大な事故を防ぐために、作業者を判別することは重要であり、これらを用いることにより判別精度の向上が見込まれる。

（付加画像生成部３０６）
付加画像生成部３０６は、物体位置判定部３０５が判定したフォークリフト１０の前方にある物体までの距離、より具体的には、フォーク１５、１６を延長した先にある物体までの距離に応じた付加画像（アノテーション画像ともいう）を生成する。付加画像としては、距離を示す距離梯子や、数値表示がある（後述の図８参照）。また、付加画像としては、物体の種類、距離に応じて色や態様を変更した矩形枠、または要注意物が存在する場合などに、運転者に注意喚起するためのマーク、テキストであってもよい。さらに、付加画像として、水平面、または、フォークの開き角度、傾斜角度、もしくは地面からの高さの情報であってもよい。

さらに、物流システムから荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等を取得し、これらの情報を付加画像として生成してもよい（後述の図１８参照）。

なお、付加画像として、さらに、荷物を上げる時に、フォーク１５、１６とトラック荷台までの高さ方向の距離、マスト１３と建物もしくは設備の天井との距離、荷物９２の前面側上端と、天井、トラックの天蓋、または棚の上段までの高さ方向の距離に応じた付加画像を生成してもよい。また、これらのうち、フォーク１５、１６の先端との相対位置関係に応じた付加画像は、フォーク１５上のカメラ２１、２２の姿勢情報、すなわち、フォーク１５の向き（開き角度）、高さ、傾斜角度（チルト）、およびフォーク１５、１６の間隔の変更に応じて、変更される。これらのフォーク１５の向き、高さ、傾斜角度、フォーク間の間隔は、カメラ２１、２２の撮影画像から検出してもよく、フォークリフト１０の本体１１に取り付けられている種々のセンサーにより検知してもよい。

また、パレット９１の傾き量に応じた付加画像を生成してもよい。具体的には、物体位置判定部３０５が、前方にあるパレット９１の差し込み口の形状を認識し、予め記憶部２４に登録しておいた差し込み口の形状、寸法との比較に応じて、傾き量を判定する。そして付加画像生成部３０６が、傾き量に応じた付加画像を生成する。この傾き量としては、例えば、図１のようにパレット９１と荷物９２を２段以上重ねた場合に、荷物９２の上面が水平でない場合に生じる、水平面に対する傾き角度（チルト）である。また、この傾き角度は、フォーク１５との相対角度であってもよい。また、水平面（ＸＹ面）における、フォーク１５の仮想延長線とパレット９１との相対的な傾き角度（ｙａｗ角）であってもよい。また、これらの傾き量が所定値以上の場合には、警告を行うようにしてもよい。

（対応付け部３０７）
対応付け部３０７は、カメラ２１、２２が撮影した２次元の画像における各物体の位置と、距離マップにおける各物体の位置との対応付けを行う。

（視点変換部３０８）
視点変換部３０８は、運転台１２に座る運転者の目の高さに応じた視点位置に応じて予め指定された仮想視点位置から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換を行う。運転者は、仮想視点位置を画像処理装置２０のキーボート、ポインティングデバイス、タッチセンサー等の入力デバイス（図示せず）により設定できる。また、このとき、カメラからは撮影することができない死角領域に対する表示処理を行う。例えば、死角領域（データＮＵＬＬ領域）を記憶部２４にある、その領域に対応する画素で置換する。死角領域は、カメラの位置と、運転者の視点位置が異なる場合に生じる。また、この視点変換は、カメラ２１、２２の床面に対する傾斜角度、または高さに応じた画像の台形補正による変換と、３次元の距離マップを用いて、画像内の物体までの距離に応じた変換を行う場合が含まれる。例えば、撮影領域に渡って、十分に距離マップが生成できていない場合等には、台形補正により行うようにしてもよい。

また、視点変換部３０８は、カメラ２１、２２から取得した映像により地面、または本体１１に対するフォーク１５に設けられたカメラ２１、２２自体の姿勢情報として傾斜角度、または高さを判定し、その判定を視点変換に反映してもよい。例えば、フォーク１５が先端に向けて上方に傾斜した場合、または上方に移動した場合には、その傾斜角度、上方移動量を相殺するように視点変換を行う。フォーク１５、およびカメラ２１、２２の姿勢情報は、フォークリフト１０に取り付けられている種々のセンサー（後述の図１１の変形例参照）により検知してもよい。

（視点変換の変形例）
仮想視点位置としては、運転者の視点位置を仮想視点位置とする視点変換処理に代えて、これよりも高い位置を仮想視点位置とする視点変換処理、または、フォークリフト１０の本体から離れた位置を仮想視点位置とする視点変換処理を行ってもよい。例えば、フォーク１５、１６の高さ位置、または、これにパレット９１、およびこれの上の荷物９２の高さ相当の距離を加えた高さ位置を仮想視点位置とする視点変換処理や、フォークリフト１０の上方からの仮想視点位置（俯瞰）、または背後から前方に向けた仮想位置視点（三人称視点位置）とする視点変換処理である。これにより俯瞰画像を得ることができる。俯瞰画像により、例えば、運転者の目線よりも高所の棚に荷物９２を下ろすときに、フォークリフト１０の前方を容易に確認できる。なお、これらの仮想視点位置の変更や、位置の設定は、フォークリフト１０に設けられた入力デバイスから適宜設定できる。

また、これらの高い位置、または本体から離れた位置を仮想視点位置とする視点変換処理においては、第１、第２カメラ２１、２２の撮影により生成した距離マップに加えて、外部の測距センサー８０により取得し、記憶部２４に蓄積した距離マップを用いることが好ましい。この測距センサー８０は、例えばレーザーライダー（Ｌａｓｅｒ Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ））であり、図６に示すように、フォークリフト１０が用いられる建物または設備の天井に設けられる。

さらに、これらの視点変換処理は、フォークリフト１０から物体までの距離に応じて、視点変換の有無、または視点変換量（強度）を変更するようにしてもよい。具体的には、距離値が所定以上の物体に関しては、視点変換処理をオフしたり、視点変換量（視点移動距離）を減少させたり、２次元の台形補正により処理したりしてもよい。また、この視点変換に用いる２次元の映像は、２つのカメラ２１、２２の重複する領域のみから画像を切り出し、その画像に基づき、視点変換処理してもよく、２つの画像を基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像用いてもよい。その場合、中央の重複領域に対して３次元距離マップを用いて視点変換処理し、重複しない領域の画素に対しては、２次元の台形補正により、視点変換処理するようにしてもよい。

また、視点変換処理を行う際に、死角領域が多くなる場合には視点変換量を減少させてもよい。例えば、撮影画像に対して、上方視への視点変換処理をする場合に、総表示画像数に対して、死角領域となる画素数の割合が所定値以上になる場合には、仮想視点位置を設定位置よりも低くなるように制限したり、２次元の台形補正に切り替えたりする。

（画像合成部３０９）
画像合成部３０９は、付加画像生成部３０６が生成した付加画像を物体位置判定部３０５で検出した物体の位置に対応させた表示位置で、視点変換部３０８が生成した画像に対して重畳させ、合成画像を生成する。

なお、ディスプレイ２５として、ＨＵＤや透明スクリーン（透過スクリーン）を使用する場合、付加画像の表示位置、および内容は、運転者が見ている物体（実像）に重畳させるように、表示方向、位置を計算して、生成する。また、さらに、ＨＵＤにおいて、虚像距離を変更できる構成とした場合には、物体の位置、方向に対応させた虚像距離で付加画像を生成するようにしてもよい。

（画像出力部３１０）
画像出力部３１０は、画像合成部３０９が生成した処理後の画像、すなわち視点変換処理、および／または付加画像を重畳した処理後の画像（映像）をリアルタイムに、ディスプレイ２５に出力し、運転者に表示する。

（画像表示処理）
図７は、画像処理装置２０が行う表示処理を示すフローチャートである。以下、図７を参照し、表示処理について説明する。

（ステップＳ１０１）
画像処理装置２０の処理部２３（画像取得部３０１）は、最初に、第１、第２のカメラ２１、２２を制御し、所定のフレームレートで撮影された映像を取得する。

（ステップＳ１０２）
次に、処理部２３は、それぞれのカメラ２１、２２から取得した対応する２枚の画像を処理することより、距離マップを取得する。この処理は、上述の前処理部３０２、特徴点抽出部３０３、および距離マップ生成部３０４により行われる。すなわち、取得した画像に対して、前処理を行った後、基線長を用いて、２枚の画像の特徴点の対応関係により、各画素の距離値を算出して、距離マップを生成する。

（ステップＳ１０３）
続いて、処理部２３は、生成した距離マップを用いて、ステップＳ１０１で取得した２次元の映像に対して、視点変換処理を施す。この処理は、物体位置判定部３０５、対応付け部３０７、および視点変換部３０８により行われる。すなわち、前方にある物体の３次元空間での位置を判定し、判定した物体それぞれを、２次元の映像の各画素に対して対応付けをする。そして、運転台１２に座る運転者の視点位置等に対応した、予め指定された仮想視点位置から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換処理を行う。

（ステップＳ１０４）
処理部２３は、付加画像を作成する。具体的には、付加画像生成部３０６は、フォークリフト１０の前方にある物体と、フォーク１５、１６の先端との距離に応じた付加画像を生成する。また、処理部２３は、接近予測を行う。すなわち、フォーク１５等が物体に近づき過ぎて物体までの距離が所定値以下となった場合には発報条件を満たすと判断する。

（ステップＳ１０５）
処理部２３は、ステップＳ１０４で生成した付加画像を、ステップＳ１０３で視点変換処理した画像に付加（重畳）させる加工処理を行う。具体的には、画像合成部３０９は、付加画像を物体の位置に対応させた表示位置で重畳させた合成画像を生成する。なお、ステップＳ１０３による視点変換処理を省略し、ステップＳ１０４による加工処理のみにより、映像に対して加工処理してもよい。

（ステップＳ１０６）
処理部２３の画像出力部３１０は、ステップＳ１０５で生成した合成画像をリアルタイムにディスプレイ２５に出力して、運転者に表示する。また、ステップＳ１０４で接近予測として、発報条件を満たすと判断した場合には、処理部２３は、ディスプレイ２５周辺に設けられたスピーカーにより警告音を出力したり、所定の警告表示をディスプレイに表示したりする発報処理を行う。

（表示例）
図８は、ステップＳ１０６において、ディスプレイ２５に表示した画面２５０の例である。フォークリフト１０の正面には、物体としてのトラック９５、その上のパレット９１、および荷物９２、ならびに作業者９６が存在し、トラック９５の荷台に向けフォークリフト１０を近づけている状況下における、カメラ２１、２２が撮影した、フォークリフト１０正面の映像を表示している。同図に示すように画面２５０においては、映像に重畳された付加画像４０１〜４０６が表示されている。

付加画像４０１は、フォーク１５、１６に対応するイラスト画像（アニメーション画像）である。付加画像４０２、４０３は、フォーク１５、１６を前方に向けて延長させた線およびその接触位置周辺を示す画像である。これにより運転者はフォーク１５、１６が当たる（挿入される）位置を認識できる。付加画像４０４、４０５は、フォークリフト１０の正面にある物体までの距離を示す画像である。この付加画像４０４、４０５は、付加画像４０３とともに距離梯子とも称される。付加画像４０６は、高さ方向における、トラック９５の荷台の上面までのフォーク１５、１６の距離を示している。付加画像４０７は、フォークリフト１０の前方に人（作業者９６）が近づいた場合に、運転者に注意を促すマークである。なお、人が所定範囲内に近づき接近予測をした場合には、発報処理として、ディスプレイ２５の脇に取り付けられたスピーカーから警告音が鳴る。また、このとき付加画像４０７は、警告を示すために、色を変更したり、点滅させたりしてもよい。

また、フォーク１５、１６先端からの最短距離に関する情報を出力するようにしてもよい。この情報としては、例えば、前方映像に最短距離の距離値を重畳させたり、音声で距離情報を出力したり、所定値以下の危険な距離になった時に、フォークリフト１０に設けた警告ランプ（図示せず）で光を点滅させたりする。また、パレット９１だけの位置でなく、パレット９１の上下左右の空間情報（その中でのパレット９１の位置）を必要とするので、一点だけの距離情報ではなく、ある程度の広さをもつ範囲（カメラ撮影範囲）の距離情報を表示するようにしてもよい。具体的には、例えば付加画像４０２の上下左右に（画角における）所定間隔で配置した格子状の複数のポイントに対する距離情報を表示する。また、その中でパレット９１への相対的な位置として、ＹＺ平面における距離を表示する。

このように、本実施形態においては、フォーク１５に設けた１対のカメラ２１、２２を用い、カメラ２１、２２の撮像素子により取得した映像に基づいて、フォークリフト１０の前方の物体までの距離を測距し、距離値の分布を示す測距点群データを取得し、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このように距離値の画像を付加する加工処理することで、前方の風景が距離として把握できるので、単に映像を見るより安全に作業を行うことができる。また、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であってもディスプレイ２５に表示した画面により容易に前方の状況を確認できる。また、視点変換処理した映像をディスプレイ２５に表示することで、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であっても、視点変換処理した加工後の映像によって、より容易に前方を確認できる。

（表示変形例１）
図９は、ディスプレイ２５に表示した画面２５１の変形例である。変形例では俯瞰画像を追加しており、画面２５１は、正面視の正面画像２５０１と俯瞰画像２５０２から構成される。正面画像２５０１は、図８の画面２５０と同じであり、これを縮小表示したものである。俯瞰画像２５０２は、付加画像生成部３０６が、物体までの距離値に応じて真上視点（上方視点）の俯瞰画像を生成し、これを正面画像２５０１に並べて表示したものである。俯瞰画像２５０２は、距離を示す付加画像４０９、およびフォーク１５、１６に対応するイラスト画像である付加画像４１０が表示されている。通常は、フォークリフト１０に面する物体の前面側、あるいは前面側、側面、上面の距離値が得られるが、物体の背面側に関しては、何ら距離値の情報が得られない。そのため、背面側については表示データがない。しかしながら、フォークリフト１０の運転に関しては、背面側の距離値は分からなくても、正面側の距離値が判別できれば十分である。なお、背面側に対しては、図９の例に示すように記憶部２４に記憶している距離マップを参照することで、死角領域に存在する物体の輪郭を生成し、重畳するようにしてもよい。図９の破線は、死角領域の物体（トラック、作業者）の輪郭を示している。このように、俯瞰画像２５０２を表示することで運転者は、周囲の状況をより正しく把握することができ、より安全にフォークリフトを運転できる。

（死角領域の処理）
次に、図１０を参照し、死角領域の処理について説明する。図１０（ａ）は、カメラ２１、２２により撮影した画像（元画像）であり、図１０（ｂ）は図１０（ａ）の画像に対して、説明のために、画像内の各物体に符号を付与した模式図である。物体９７１から９７５は直方体の物体であり、物体９７１が最もカメラ２１、２２に近く、以下、物体９７２、９７３、９７４、９７５の順に遠く位置に配置されている。

図１０（ｃ）は、視点変換部３０８により、図１０（ａ）の元画像に対して、カメラ２１、２２よりも高い位置を仮想視点位置とする視点変換を行った画像である。物体の背面側は、カメラ２１、２２で撮影することができない死角領域である。そのため、上方への視点変換においては、物体の背面側は、画素情報が欠損（Ｎｕｌｌ）した状態となる。図１０（ｄ）は、図１０（ｃ）の画像に対して、説明のために、符号を付与した模式図である。図１０（ｄ）では、死角領域ｂ１からｂ３が各物体の背面側に発生している。死角領域ｂ１からｂ３に対しては、それぞれ黒画素を割り当ててもよいが、見易さのために以下のような画素を割り当ててもよい。

例えば、（１）死角領域を形成される物体の上方で、かつ、この物体よりも遠い距離にある物体の表面のテクスチャー、すなわち表面を構成する画素の色、模様を、死角領域に割り当てる。このようにすることで、死角領域が生じたしたとしても、遠い側の物体の表面に溶け込むので、表示での違和感を緩和できる。あるいは（２）記憶部２４に記憶している３次元距離マップにおける物体の輪郭情報を用いて、死角領域に対して、死角領域に存在する物体の輪郭を生成し、画像に重畳させる。このようにしても表示での死角領域による違和感を緩和できる。

（変形例）
図１１は、変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。

変形例においては、第１の実施形態の構成に対して、さらにフォーク１５に設けられた２台のカメラ２１、２２の姿勢情報を取得する位置検知センサー２６を備える。また、建物または設備に設置された外部の測距センサー８０（図６参照）が取得した測距点群データによる測距マップが、記憶部２４に蓄積されている。ここで、姿勢情報には、地面に対する傾斜角度、高さ、または、フォークリフト１０の本体１１に対する高さ、両フォーク１５、１６間の開き角度、間隔の情報が含まれる。

例えば、位置検知センサー２６は、フォーク１５の地面に対する傾斜角度（チルト）を検知するセンサーである。また、位置検知センサー２６は、フォーク１５のマスト１３に対する高さ、すなわち、地面に対する高さを検知するセンサーである。これらのセンサーは、例えばアクチュエータと光学素子から構成される。また、両フォーク１５、１６の開き角度、および間隔を検知するセンサーを含めてもよい。これらのセンサーは、フォークリフト１０に設けられたモーターに設けられたエンコーダーである。位置検知センサー２６によりこれらのセンサーにより本体１１に対するフォーク１５に設けられたカメラ２１、２２の相対的な位置を検出できる。また、位置検知センサー２６は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク１５に設けられたカメラ２１、２２の本体１１、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク１５（カメラ２１、２２）の角度（水平または傾斜）、水平面の把握が含まれる。

このような変形例においても第１の実施形態と同様の効果が得られるとともに、さらに、位置検知センサー２６を備えることで、付加画像を重畳したり、視点変換したりする処理部２３の処理負荷を低減させることができる。また、外部の測距センサー８０から得られた測距マップを記憶部２４に蓄積することで、フォークリフト１０の前方の物体へ測距を行う場合に、測距精度をより向上させることができる。また、この測距マップを用いることで、カメラ２１、２２で撮影することができない、物体の背面側の輪郭等の形状情報を得ることができる。

（第２の実施形態）
図１２は、第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。上述の第１の実施形態に係る画像処理装置（図２等）では、２台のカメラ２１、２２を用いて、フォークリフト１０の前方の撮影および測距を行った。これに対して、第２の実施形態は、１台のカメラ２１と、測距センサー２２ｂを用いて、前方の撮影および測距を行う。第２の実施形態では、この測距センサー２２ｂが距離を検知するための「検知センサー」として機能する
測距センサー２２ｂとしては、例えばレーザーライダー、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）スキャナー、ソナー、等のエリア測距器である。エリア測距器により出力部から可視光、赤外光、音波などをエネルギー出射し、物体から反射したエネルギーが入力部に届くまでの時間差により、前方の物体までの測距を行う。エリア測距器によりフォークリフト１０の前方にある物体までの距離を測定して、複数点の測距点群データを測定して、距離値の分布を示す測距点群データを取得する。

例えば測距センサー２２ｂとしてレーザーライダーを用いる場合であれば、出射したパルス状のレーザーを前方の測定空間内を走査しながら照射し、その反射光を検出する。そして、出射タイミングと受光タイミングとの時間差に応じて、各照射位置における距離情報を求め、測定空間内の測距点群データを取得する。

取得した測距点群データは、逐次、距離マップ生成部３０４に送られ、各種の処理に用いられる。また、この測距点群データは、距離マップとして記憶部２４に記憶される。

また、第１の実施形態と同様に、測距センサー２２ｂとカメラ２１は、１本のフォーク１５の先端部分に配置される。測距センサー２２ｂの測定空間と、カメラ２１の撮影領域とは、一部または全部が重なるように配置される。また、好ましくは測距センサー２２ｂとカメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４参照）。

このように、測距センサーと、カメラを用いた第２の実施形態においても、第１の実施形態と同様の効果を得ることができる。なお、第２の実施形態に対しても、図１１で示した変形例のように、位置検知センサー２６を備えたり、外部の測距センサー８０で取得し、記憶部２４に記憶した距離マップを用いたりしてもよい。

（第３の実施形態）
図１３は、第３の実施形態に係る画像処理装置２０のハードウェア構成を示すブロック図である。第３の実施形態においては、１台のカメラ２１、投光器２２ｃを備える。本実施形態においては、以下に説明する投光器２２ｃおよび処理部２３が、カメラ２１と協働することでフォークリフトの前方にある物体までの距離を検知するための検知センサーとして機能する。

処理部２３の制御信号に応じて、投光器２２ｃはフォークリフトの前方に向けてパルス状のパターン光の投光を行う。パターン光としては例えば、複数本の縦横ライン光、または縦横所定間隔のドット光で構成される格子状のパターン光である。また、パターン光としてランダムなドットパターンを投光してもよい。このパターン光の照射領域は、カメラ２１の撮影領域の一部、または全部と重なる。なお、パターン光に代えて、１点の照射光を、カメラ２１の撮影領域内を順次走査するように構成してもよい。

第１の実施形態と同様に投光器２２ｃと、カメラ２１は、１本のフォーク１５の先端部分に配置され、フォーク１５の幅方向（Ｙ方向）において、投光器２２ｃと、カメラ２１は所定間隔（基線長）だけ離して、取り付けている。また、好ましくは投光器２２ｃと、カメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４参照）。

処理部２３（距離マップ生成部３０４）は、所定タイミングでパターン光を照射した際に、そのパターン光を構成する各ドット光、もしくはライン光の間隔、または位置を、撮影したカメラ２１が取得した画像により検出する。検出したパターン光の位置、および基線長に基づく変換パラメータを用いて、取得した画像の複数画素における距離を算出する。

そして、得られた距離値に基づいて、フォークリフトの前方にある物体までの距離を検出するとともに、取得した映像に、視点変換したり、付加画像を重畳したりし、処理後の映像をディスプレイ２５に表示する。

このように、第３の実施形態においても、投光器２２ｃとカメラ２１（撮像素子）を用いることで、第１の実施形態と同様に、フォークリフト１０の前方の画像および、前方の物体までの距離値の分布を示す測距点群データを取得し、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理した処理後の映像をディスプレイに表示する。これにより、第１の実施形態と同様の効果を得ることができる。

なお、図１３の例では、１台のカメラ２１を用いる例を示したが、これに限られず、１本のフォークに配置した２台のカメラ２１、２２を用いてもよい。すなわち第１の実施形態（図２等）の構成に、さらに投光器２２ｃを加える。この場合、例えば、フォーク１５の幅方向においてカメラ２２と同じ位置に投光器２２ｃを配置し、これと基線長離れるカメラ２１で取得した画像から、各画素の距離を算出する。このように２台のカメラによる測距と、投光器２２ｃを用いた測距を併用することで、より高精度に測距を行うことができる。

（第２の変形例）
図１４は、第２の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。第２の変形例においては、１台（単眼）のカメラ２１と、位置検知センサー２７を備える。また、第２の変形例においては、処理部２３にはオプティカルフロー処理部３２０が含まれる。本変形例においては、カメラ２１の撮像素子２００、位置検知センサー２７、および処理部２３（オプティカルフロー処理部３２０）が協働することで物体までの距離を検知するための検知センサーとして機能する。

位置検知センサー２７は、変形例に係る位置検知センサー２６と同様の構成を備える。位置検知センサー２７から、フォークリフト１０が移動する際のカメラ２１の進行方向や移動量に関する位置データを取得する。

オプティカルフロー処理部３２０は、公知のオプティカルフロー処理を用いて測距情報を取得する。具体的には、カメラ２１の時系列の複数フレーム（複数映像）間の差分を検出し、その時の位置検知センサー２７からの位置データを用いて、画像内の各物体までの距離値を取得する。このようにしても、上述の各実施形態と同様の効果を得ることができる。

（第３の変形例）
図１５は、第３の変形例における、ディスプレイに表示した近接用画面の例である。上述の図７のステップＳ１０４では、物体までの距離が所定値以下となった場合に発報条件を満たすと判断し、警告表示等の発報処理を行っていた。第３の変形例においては、処理部２３はフォーク１５の先端から物体までの距離が所定距離以下、例えば２ｍ以下になった場合には、発報処理に替えて、図１５に示すような近接用画面２５２を生成し、ディスプレイの表示をこの近接用画面２５２に切り替える。図１５に示す近接用画面２５２は、荷物９２を載せたパレット９１の差し込み口にフォーク１５の先端を挿入する直前の状態を示している。

この近接用画面２５２では、それまでに表示していた図８の画面２５０と異なり、フォーク１５に近接する物体を表示するとともに、この物体に対するフォーク１５先端の仮想位置を示す付加画像を追加する。具体的には、近接用画面２５２では、付加画像４０３、４０４、４０５の距離梯子は無くなり、その代わりにフォーク１５の仮想先端を示す付加画像４１１を表示する。パレット９１にフォーク１５が近接した時には、前方物体までの距離よりもパレット９１の差し込み口９１ａとフォーク１５先端の位置関係が最大の関心事になる。そのため、近接用画面２５２に切り替えることは有効である。図１５に示す近接用画面２５２の例では、差し込み口９１ａの中央よりもやや左側にフォーク１５先端が位置していることを示しており、運転者は、少し右側にフォーク１５先端をシフトさせることで、差し込み口９１ａの中央にフォーク１５を挿入することができる。なお、同図の例では、１本のフォーク１５にのみカメラを搭載しているので、フォーク先端の仮想位置は１個のみ表示しているが、これに限られず２本のフォークそれぞれに対応させて２個の仮想位置を表示するようにしてもよい。このように、フォーク１５の先端からの距離が所定値以下になった場合に、近接用画面２５２に切り替えることで、運転者は、フォーク１５の先端が、パレット９１の差し込み口９１ａに対してどのような位置にあるか容易に把握することができる。

（第４の変形例）
図１６は、第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。図１７は、ＨＵＤの構成を示す模式図である。図１８は、ＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。

第４の変形例は、ディスプレイとして、ＨＵＤ２５ｂを有する。また、画像処理装置２０は、ネットワークを介して外部の物流システム６０と接続する。建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。

ＨＵＤ２５ｂのコンバイナー５２２は、図１のディスプレイ２５と同様な位置であって、フォークリフトの前方側を透過できる位置に配置されている。ＨＵＤ２５ｂにより、運転者は、図８で示した付加画像４０１〜４０７のような画像を虚像として投影しながら、前方の実像をコンバイナー越しに透過視できる。なお、この第４の変形例におけるＨＵＤ２５ｂを、上述した第１から第３の実施形態、および各変形例に適用してもよい。

図１７に示すように、ＨＵＤ２５ｂは、２次元的な表示面を有する表示素子５１、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換して投影する、ミラー５２１、およびコンバイナー５２２を含む虚像投影光学系５２、および移動機構５３を有する。なお、ミラー５２１を省略した構成としてもよい。表示素子５１は、液晶、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、または中間スクリーンであってもよい。コンバイナー５２２で反射された光は、運転者の瞳９１０に導かれ、虚像ｆとして認識される。虚像投影光学系５２は、ミラー５２１、コンバイナー５２２を含み、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換してコンバイナー５２２へ投影する。移動機構５３は、ミラー５２１、または表示素子５１を動かすことにより、運転者の座高に合わせた座高調整を行う。

なお、ＨＵＤは、虚像投影距離を変更可能な構成としてもよい。例えば、表示素子５１を光軸ＡＸ方向の位置を変更する移動機構、またはミラー５２１を移動する移動機構を設け、これにより、虚像ｆまでの投影距離を変更してもよい。例えば、荷物９２またはパレット９１までの距離に応じて投影距離を変更する。さらに、他の形態として、中間スクリーンを設け、中間スクリーンの光軸方向の位置を変更することで、投影距離を変更するように構成してもよい。この中間スクリーンは、その表面に表示素子の表示面に形成した画像を投影する部材であり、摺りガラス等の拡散機能を有する部材であり、表示素子５１とミラー５２１との間に配置する。

また、さらに、ＨＵＤを３Ｄ−ＨＵＤの構成として、前方の荷物、荷棚、作業者等の実態物（オブジェクト）までの距離に対応させた虚像距離で、虚像を３次元的に表示するようにしてもよい。例えば、数十Ｈｚの周期で、移動機構により象面（表示素子５１やミラー５２１）を移動することで虚像距離を変更し、表示制御部が象面の移動タイミングに合わせて表示素子に形成する像を制御する。これにより運転者には、複数の異なる虚像距離の虚像が同時に表示されているように見える。

図１８は、第４の変形例におけるＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。運転者は、コンバイナー５２２越しに、実像（物体）である床、棚、荷物９２、パレット９１を直接見ることができる。また、コンバイナー５２２には、ＨＵＤ２５ｂにより虚像ｆ１１からｆ１３が投影され、運転者は、所定の虚像距離で虚像を見ることができる。この虚像距離は、測定した実像までの距離に近い値に設定される。３次元的に虚像を表示する態様であれば、対象となる各実像までの距離に合わせて、それぞれ異なる虚像距離に設定してもよい。虚像ｆ１１は荷物内容（「製品番号」、「原材料」）であり、虚像ｆ１２は空棚情報（「原材料ＢＢ用スペース」）であり、虚像ｆ１３は荷役手順情報（「荷役順位」）である。これらの情報は、外部の物流システム６０から、取得した情報である。なお、図１８は、ＨＵＤにおける表示例であるが、これに限られず、第１の実施形態等で用いた液晶のディスプレイ２５に適用してもよい。例えば、虚像ｆ１１〜ｆ１３に対応する荷物内容情報、空棚情報、荷役手順情報に関する付加画像を、第１の実施形態等で用いた液晶のディスプレイ２５に表示する映像に付加する。

このように、第４の変形例においては、ディスプレイとしてＨＵＤを用いることで実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。また、付加情報として、荷物内容情報、空棚情報、荷役手順情報を用い、これを虚像として投影することで、運転者は、作業に戸惑うことなく、より安全、かつ、スムーズに荷役作業を行える。

以上に説明したフォークリフト用の画像処理装置２０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。

例えば、本実施形態においては、ディスプレイ２５はフォークリフト１０に取り付けられたものを用いたが、これに限られない。ディスプレイ２５とともに、またはこれに代えて、フォークリフトが使用する作業空間に設けられた管理事務所に、ディスプレイを設け、処理部２３が無線等により伝送した映像信号をこのディスプレイに表示させるようにしてもよい。このようにすることで、管理事務所において作業状況を監督したり、作業記録を残す操作を行ったりすることができる。

上述した実施形態に係る画像処理装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込まれてもよい。

１０ フォークリフト
１１ 本体
１２ 運転台
１３ マスト
１４ フィンガバー
１５、１６ フォーク
２０ 画像処理装置
２１、２２ カメラ
２３ 処理部
３０１ 画像取得部
３０２ 前処理部
３０３ 特徴点抽出部
３０４ 距離マップ生成部
３０５ 物体位置判定部
３０６ 付加画像生成部
３０７ 対応付け部
３０８ 視点変換部
３０９ 画像合成部
３１０ 画像出力部
２４ 記憶部
２５ ディスプレイ
２５ｂ ＨＵＤ
５１ 表示素子
５２ 虚像投影光学系
５２２ コンバイナー
５３ 移動機構
５４ 表示制御部
９１ パレット
４０１〜４０６、４０９〜４１１ 付加画像

Claims (25)

1. フォークリフトに用いられる画像処理装置であって、
   前記フォークリフトの前方を撮影するカメラと、
   前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
   前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
   前記処理部が加工処理した処理後の映像を表示するディスプレイと、
   を備える画像処理装置。
2. 前記カメラは、可視光領域に感度を有する撮像素子を含む、請求項１に記載の画像処理装置。
3. 前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、請求項１または請求項２に記載の画像処理装置。
4. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項３に記載の画像処理装置。
5. 前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項１から請求項４のいずれかに記載の画像処理装置。
6. さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
   前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、請求項５に記載の画像処理装置。
7. さらに、記憶部を備え、
   前記処理部は、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、請求項５または請求項６に記載の画像処理装置。
8. 前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、請求項７に記載の画像処理装置。
9. 前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、請求項８に記載の画像処理装置。
10. 前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、請求項５から請求項９のいずれかに記載の画像処理装置。
11. 前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項１０に記載の画像処理装置。
12. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項１０に記載の画像処理装置。
13. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、請求項１０または請求項１２に記載の画像処理装置。
14. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、請求項１０または請求項１２に記載の画像処理装置。
15. 前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、請求項５から請求項１４のいずれかに記載の画像処理装置。
16. 前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
    前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、請求項１から請求項４のいずれかに記載の画像処理装置。
17. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項１から請求項１６のいずれかに記載の画像処理装置。
18. 前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、請求項１７に記載の画像処理装置。
19. 前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、請求項１６から請求項１８のいずれかに記載の画像処理装置。
20. 前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、請求項１から請求項１９のいずれかに記載の画像処理装置。
21. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、請求項１から請求項２０のいずれかに記載の画像処理装置。
22. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、請求項１から請求項２１のいずれかに記載の画像処理装置。
23. フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
    前記カメラにより映像を取得するステップ（ａ）と、
    前記検知センサーで測距点群データを取得するステップ（ｂ）と、
    前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
    処理後の映像をディスプレイに表示するステップ（ｄ）と、
    を含む処理を、前記コンピューターに実行させるための制御プログラム。
24. 前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項２３に記載の制御プログラム。
25. 前記処理は、さらに、
    前記フォークリフトの前方にある物体を認識するステップ（ｅ）を含み、
    前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項２３または請求項２４に記載の制御プログラム。