JP2020057057A - 警告装置 - Google Patents

Abstract

【課題】産業車両が近くにいることを産業車両の周辺の人物に認識させることができる警告装置を提供する。【解決手段】フォークリフト１０には、警告装置３０が搭載されている。警告装置は、ステレオカメラ３２と、画像処理部５１と、発光制御部６１と、発光部３７と、を備える。画像処理部は、ステレオカメラの画像から人物を検出する。画像処理部は、ステレオカメラの画像から視差画像を取得し、視差画像から人物の位置を検出する。発光制御部は、フォークリフトから人物までの距離が警告閾値未満になると、発光部を点滅発光させる。【選択図】図２

Description

本発明は、警告装置に関する。

警告装置を備える産業車両としては、例えば、特許文献１に記載されている。特許文献１に記載の警告装置は、カメラと、画像処理装置と、音による警告を行う音出力装置と、を備える。画像処理装置は、カメラの撮像により得られた画像から人物を検出する。人物が検出されると、音出力装置からの音が出力される。音出力装置は、産業車両の座席付近に設置され、搭乗者に対して警告を行う。これにより、産業車両の搭乗者は、周辺に人物が存在することを認識することができる。

特開２０１８−３６９３７号公報

ところで、産業車両の周辺に人物が存在する場合、産業車両の周辺の人物に産業車両が近くにいることを認識させることが好ましい。
本発明の目的は、産業車両が近くにいることを産業車両の周辺の人物に認識させることができる警告装置を提供することにある。

上記課題を解決する警告装置は、産業車両に搭載され、人物に対して警告を行う警告装置であって、ステレオカメラと、前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である発光部と、前記ステレオカメラの画像から前記人物を検出する人物検出部と、前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、前記視差画像から前記人物の位置を検出する人物位置検出部と、前記発光部の制御を行う発光制御部と、を備え、前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、前記発光部を点滅発光させる。

これによれば、視差画像から人物の位置が検出されることで、産業車両から人物までの距離を検出できる。発光制御部は、産業車両から人物までの距離が警告閾値未満の場合、発光部を点滅発光させるため、産業車両の周辺の人物に産業車両が近くにいることを認識させることができる。

上記警告装置について、前記発光部と、前記ステレオカメラとは、同一の筐体に収容されることでユニット化されていてもよい。これによれば、発光部とステレオカメラとをユニット化された１つの部材として扱うことができる。このため、発光部とステレオカメラとの相対位置の調整を行いやすい。

上記警告装置について、前記筐体は、前記ステレオカメラを筐体外に露出させるための撮像孔が開口する撮像面と、前記発光部を筐体外に露出させるための発光孔が開口する発光面と、を備え、前記発光面は、前記撮像面に対して傾斜しており、前記ステレオカメラは、前記撮像孔を介して前記筐体外を撮像可能に配置され、前記発光部は、前記発光孔を介して前記筐体外に光を照射可能に配置され、前記筐体は、前記撮像面よりも下方に前記発光面が位置するように前記産業車両に設置されていてもよい。これによれば、発光孔が、撮像孔よりも下方に配置されるので、発光部から照射された光がステレオカメラの画像に影響を及ぼすことを抑制することができる。

上記警告装置について、前記発光部のうち前記筐体外に露出する露出面は、前記発光面よりも筐体の内側に配置されていてもよい。これによれば、発光部の光は、発光孔を通過して筐体外に照射されることになる。発光孔により発光部の光が拡がることを抑制できるため、発光部から照射された光がステレオカメラの画像に影響を及ぼすことを抑制することができる。

上記警告装置について、前記発光制御部は、前記視差画像の特定の領域の視差数である有効視差数が閾値未満の場合、前記発光部を点灯させてもよい。これによれば、有効視差数が閾値未満の場合、産業車両の周辺環境を照らすことができる。有効視差数が閾値未満の場合、産業車両の周辺環境が暗所であり、視差を得にくい状態と考えられる。このような場合に発光部の点灯で周辺環境を照らすことで、視差を取得しやすくできる。

上記警告装置について、前記発光部を複数備えていてもよい。これによれば、広範囲に亘って警告を行うことができる。
上記警告装置について、前記発光部は、水平方向に並んで設けられており、前記発光部は、それぞれ、前記ステレオカメラの撮像可能範囲を複数に区分した範囲に対応付けられており、前記発光制御部は、前記人物のいる前記範囲に対応した前記発光部を点滅発光させる。これによれば、人物の位置に応じた一部の発光部を点滅発光させて警告を行うことができる。

上記警告装置について、前記発光部は、水平方向に並んで設けられており、前記発光制御部は、前記産業車両の操舵方向に位置する前記発光部を点滅発光させてもよい。これによれば、人物に対して産業車両の進行する方向を認識させることができる。

上記警告装置について、前記発光制御部は、前記人物までの距離が近いほど前記発光部を点滅発光させる際の点滅速度を速くしてもよい。これによれば、産業車両と人物との位置が近いほど、人物に産業車両が近くにいることを認識させやすい。

本発明によれば、産業車両が近くにいることを産業車両の周辺の人物に認識させることができる。

警告装置が搭載されるフォークリフトの側面図。 フォークリフト、及び、警告装置の概略構成図。 警告ユニットの斜視図。 警告装置が行う警告処理を示すフローチャート。 人物が写る第１画像を示す図。 第１画像を基準画像として得られた視差画像を示す図。 第１実施形態の発光警告判定を示すフローチャート。 特定の領域を示す図。 第２実施形態の発光警告判定を示すフローチャート。 撮像可能範囲を複数に区分した範囲を示す模式図。

（第１実施形態）
以下、警告装置の第１実施形態について説明する。
図１に示すように、フォークリフト１０は、車体１１と、車体１１に設けられた荷役装置１２と、を備える。なお、フォークリフト１０は、自動で走行動作及び荷役動作が行われるものであってもよいし、搭乗者による操作によって走行動作及び荷役動作が行われるものであってもよい。

図２に示すように、フォークリフト１０は、メインコントローラ２０と、走行用モータＭ１と、走行用モータＭ１を制御する走行制御装置２３と、車速センサ２４と、操舵角センサ２５と、を備える。メインコントローラ２０は、走行動作及び荷役動作に関する制御を行う。メインコントローラ２０は、ＣＰＵ２１と、種々の制御を行うためのプログラムなどが記憶されたメモリ２２と、を備える。

メインコントローラ２０のＣＰＵ２１は、フォークリフト１０の車速が目標速度となるように走行制御装置２３に走行用モータＭ１の回転数の指令を与える。本実施形態の走行制御装置２３は、モータドライバである。本実施形態の車速センサ２４は、走行用モータＭ１の回転数を検出する回転数センサである。車速センサ２４は、走行用モータＭ１の回転数を走行制御装置２３に出力する。走行制御装置２３は、メインコントローラ２０からの指令に基づき、走行用モータＭ１の回転数が指令と一致するように走行用モータＭ１を制御する。操舵角センサ２５は、操舵輪の舵角を検出し、検出結果をメインコントローラ２０に出力する。

産業車両としてのフォークリフト１０には、フォークリフト１０の周囲の人物に対して、フォークリフト１０との距離が近いことを警告する警告装置３０が搭載されている。警告装置３０は、警告ユニット３１と、画像処理部５１と、発光制御部６１と、を備える。

図２及び図３に示すように、警告ユニット３１は、１つのステレオカメラ３２と、３つの発光部３５，３６，３７と、ステレオカメラ３２及び各発光部３５，３６，３７を収容する筐体４１と、を備える。ステレオカメラ３２と発光部３５，３６，３７とは、筐体４１に収容されることでユニット化されている。ステレオカメラ３２は、２つのカメラ３３，３４を備える。カメラ３３，３４としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。各カメラ３３，３４は、互いの光軸が平行となるように配置されている。発光部３５，３６，３７は、光源やレンズを備える。光源としては、例えば、発光ダイオード、電球、蛍光灯などを用いることができるが、指向性を有する発光ダイオードを用いることが好ましい。

図３に示すように、筐体４１は、２つの撮像孔４４が開口する撮像面４２と、３つの発光孔４５が開口する発光面４３と、を備える。撮像面４２及び発光面４３は、それぞれ、筐体４１の外面のうちの１つであり、互いに隣り合う面である。発光面４３は、撮像面４２に対して傾斜しており、発光面４３と撮像面４２とのなす角は、鈍角となっている。

撮像孔４４は、筐体４１の内外を連通している。ステレオカメラ３２は、各カメラ３３，３４のレンズと各撮像孔４４とが向かい合うように筐体４１に収容されている。これにより、ステレオカメラ３２は、撮像孔４４によって筐体４１外に露出している。詳細にいえば、各カメラ３３，３４のレンズが筐体４１外に露出している。また、ステレオカメラ３２は、撮像孔４４を介して筐体４１外を撮像可能に配置されている。

発光孔４５は、発光部３５，３６，３７と同数設けられている。発光孔４５は、筐体４１の内外を連通している。各発光孔４５は、２つの撮像孔４４同士の並ぶ方向と同一方向に並んで設けられている。各発光孔４５は同一形状である。発光孔４５は、四角形状の孔であり、発光面４３から筐体４１内に向けて徐々に開口面積が小さくなる。発光部３５，３６，３７は、発光孔４５と向かい合うように筐体４１に収容されている。これにより、発光部３５，３６，３７は、各発光孔４５によって筐体４１外に露出している。詳細にいえば、発光部３５，３６，３７のレンズが筐体４１外に露出している。また、発光部３５，３６，３７のうち筐体４１の外部に露出する露出面３８は、発光面４３よりも筐体４１の内側に配置されている。従って、発光部３５，３６，３７から筐体４１外に照射される光は、発光面４３よりも筐体４１の内側から照射されることになる。

警告ユニット３１は、車体１１の上部などフォークリフト１０の上方からフォークリフト１０の走行する路面をステレオカメラ３２により鳥瞰できるように配置されている。なお、車体１１とは、座席や走行に関する部材を備える基台や、座席の上部に設けられるヘッドガードを含む。警告ユニット３１は、２つのカメラ３３，３４が水平方向に並ぶように配置されている。警告ユニット３１は、各発光部３５，３６，３７同士が水平方向に並ぶように配置されている。

筐体４１は、撮像面４２よりも下方に発光面４３が位置するように配置されている。発光孔４５の向く方向は、撮像孔４４の向く方向よりも下方である。発光孔４５の中心軸は、撮像孔４４の中心軸よりも下側に傾いている。

警告ユニット３１は、ステレオカメラ３２及び各発光部３５，３６，３７がフォークリフト１０の後方を向くように配置されている。従って、ステレオカメラ３２は、フォークリフト１０の後方を撮像することになり、各発光部３５，３６，３７はフォークリフト１０の後方に光を照射することになる。

画像処理部５１及び発光制御部６１は、筐体４１に収容され、警告ユニット３１の一部とされていてもよいし、筐体４１外に配置され、警告ユニット３１とは別体とされていてもよい。画像処理部５１は、ステレオカメラ３２によって撮像された画像から、人物の検出及び人物の位置の演算を行う。発光制御部６１は、発光部３５，３６，３７の制御を行う。発光制御部６１は、発光部３５，３６，３７の点灯、消灯及び点滅発光を行うことが可能である。画像処理部５１及び発光制御部６１は互いに接続され、互いに情報の取得が可能である。画像処理部５１及びメインコントローラ２０は互いに接続され、互いに情報の取得が可能である。なお、メインコントローラ２０を発光制御部として機能させるようにしてもよい。即ち、メインコントローラ２０により発光部３５，３６，３７の制御が行われるようにしてもよい。

画像処理部５１は、ＣＰＵ５２と、ＲＡＭ及びＲＯＭ等からなる記憶部５３と、を備える。記憶部５３には、ステレオカメラ３２によって撮像された画像から人物の検出や人物の位置を演算するための種々のプログラムが記憶されている。発光制御部６１は、ＣＰＵ６２と、ＲＡＭ及びＲＯＭ等からなる記憶部６３と、を備える。記憶部６３には、発光部３５，３６，３７を制御するための種々のプログラムが記憶されている。画像処理部５１及び発光制御部６１は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。画像処理部５１及び発光制御部６１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。

次に、画像処理部５１及び発光制御部６１の行う警告処理について説明する。警告処理は、フォークリフト１０が起動状態のときに行われる。起動状態とは、フォークリフト１０に走行動作及び荷役動作を行わせることが可能な状態である。

図４に示すように、画像処理部５１は、ステップＳ１において、ステレオカメラ３２から画像を取得する。画像は、２つのカメラ３３，３４から取得する。２つのカメラ３３，３４のうち、一方を第１カメラ３３、他方を第２カメラ３４とする。第１カメラ３３によって撮像された画像を第１画像、第２カメラ３４によって撮像された画像を第２画像とすると、第１画像と第２画像では同一の人物が横方向にずれて写ることになる。詳細にいえば、同一の人物を撮像した場合、第１画像に写る人物と、第２画像に写る人物では、横方向の画素［ｐｘ］にカメラ３３，３４間の距離に応じたずれが生じることになる。第１画像及び第２画像は、画素数が同じであり、例えば、６４０×４８０［ｐｘ］＝ＶＧＡの画像が用いられる。第１画像及び第２画像は、ＲＧＢ形式の画像である。

図４及び図５に示すように、次に、ステップＳ２において、画像処理部５１は、画像から人物を検出する。人物の検出は、画像のうち第１画像を用いて行われる。人物の検出は、画像から特徴量を抽出する特徴量抽出法により行われ、例えば、HOG：Histograms of Oriented Gradientsや、SIFT：Scale Invariant Feature Transformを用いて行われる。第１画像から人物が検出された場合、画像処理部５１は、第１画像に写る人物の座標を記憶部５３に一時的に記憶する。本実施形態では、人物の座標として、第１画像において人物により占有される横方向の画素数及び縦方向の画素数を把握できるように２点の座標を取得している。

図５には、人物が写る第１画像Ｉ１の一例を示す。第１画像Ｉ１の横方向の座標をＸ座標とし、第１画像Ｉ１の縦方向の座標をＹ座標とする。Ｘ座標は横方向の画素位値を示し、Ｙ座標は縦方向の画素位置を示す。第１画像Ｉ１のＸ座標は左ほど小さく、第１画像Ｉ１のＹ座標は上ほど小さい。図５に示す例では、人物の座標（Ｘ，Ｙ）として座標（１００，１５０）と座標（２００，３５０）が検出される。本実施形態において、画像処理部５１が人物検出部として機能することになる。

図４に示すように、次に、ステップＳ３において、画像処理部５１は、人物が検出されたか否かを判定する。ステップＳ３の判定結果が否定の場合、画像処理部５１は、ステップＳ４において位置演算フラグをオフにする。詳細にいえば、位置演算フラグがオフの場合にはオフを維持し、過去の制御周期で位置演算フラグがオンにされている場合には、位置演算フラグをオフにする。次に、ステップＳ５において、発光制御部６１は、発光部３５，３６，３７の点滅発光をオフにする。詳細に言えば、発光部３５，３６，３７が点灯又は消灯している場合にはその状態を維持し、発光部３５，３６，３７が点滅発光している場合には点滅発光をオフにする。

ステップＳ３の判定結果が肯定の場合、画像処理部５１は、ステップＳ６において位置演算フラグをオンにする。詳細にいえば、位置演算フラグがオフの場合には位置演算フラグをオンにし、過去の制御周期で位置演算フラグがオンにされている場合には、位置演算フラグをオンに維持する。

ステップＳ７において、画像処理部５１は、ステップＳ２〜ステップＳ６による画像からの人物検出と並行して、画像から視差画像を生成するステレオ処理を行う。ステレオ処理とは、第１画像Ｉ１と第２画像とを比較し、各画像に写る同一特徴点について第１画像Ｉ１と第２画像の画素数の差である視差を算出することである。なお、特徴点とは、物体や人物のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。

画像処理部５１は、各画像を一時的に格納するＲＡＭを用いて、ＲＧＢからＹＣｒＣｂへの変換を行う。なお、画像処理部５１は、歪み補正、エッジ強調処理などを行ってもよい。画像処理部５１は、第１画像Ｉ１の各画素と第２画像の各画素との類似度を比較して視差を算出する。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。各画素の類似度の比較には、例えば、SAD：Sum of Absolute Difference、SSD：Sum of Squared Differenceなどが用いられる。画像処理部５１は、第１画像Ｉ１を基準画像、第２画像を比較画像として視差を算出する。画像処理部５１は、第１画像Ｉ１の画素毎に、最も類似する第２画像の画素を抽出し、第１画像Ｉ１の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。

図４及び図６に示すように、ステップＳ８において、画像処理部５１は、視差画像ｄｐを生成する。視差画像ｄｐの生成は、基準画像である第１画像Ｉ１の各画素にステップＳ７で取得された視差を対応付けることで行われる。なお、視差画像ｄｐとは、必ずしも表示を要するものではなく、視差画像ｄｐにおける各画素に視差が対応付けられたデータのことを示す。本実施形態では、画像処理部５１が、視差画像取得部として機能しているといえる。

図６には、第１画像Ｉ１と第２画像から得られた視差画像ｄｐを示す。図６に示す視差画像ｄｐでは、視差の大小を濃淡で表現している。視差は、ステレオカメラ３２に近い位置ほど大きくなり、ステレオカメラ３２から離れるほど小さくなる。以下、視差画像ｄｐの横方向の座標をＸ座標とし、視差画像ｄｐの縦方向の座標をＹ座標とする。視差画像ｄｐの座標は、第１画像Ｉ１の座標と一致している。視差画像ｄｐの中心座標のＸ座標は、フォークリフト１０の幅方向の中央に対応している。

図４に示すように、画像処理部５１は、第１画像Ｉ１に人物が存在するか否かの判断が行われ、かつ、視差画像ｄｐが生成されると、ステップＳ９の処理を行う。ステップＳ９において、画像処理部５１は、位置演算フラグがオンか否かを判定する。ステップＳ９の判定結果が否定の場合、画像処理部５１は、処理を終了する。一方で、ステップＳ９の判定結果が肯定の場合、画像処理部５１は、ステップＳ１０の処理を行う。

ステップＳ１０において、画像処理部５１は、人物の位置を演算する。まず、画像処理部５１は、視差画像ｄｐ中の人物の座標を認識する。本実施形態では、視差画像ｄｐを生成する際の基準画像と、人物の検出が行われる画像をともに第１画像Ｉ１としていることで、第１画像Ｉ１中の人物の座標と視差画像ｄｐ中の人物の座標とは同一座標となる。このため、ステップＳ２で記憶した人物の座標を視差画像ｄｐに適用することで、視差画像ｄｐ中の人物の座標を認識することができる。

次に、画像処理部５１は、カメラ座標系における人物の位置を演算する。カメラ座標系は、光軸をＺ軸とし、光軸に直交する２つの軸のそれぞれをＸ軸、Ｙ軸とする３軸直交座標系である。カメラ座標系における人物の位置は、カメラ座標系におけるＺ座標Ｚｃ、Ｘ座標Ｘｃ、Ｙ座標Ｙｃで表わすことができる。Ｚ座標Ｚｃ、Ｘ座標Ｘｃ、及び、Ｙ座標Ｙｃは、それぞれ、以下の（１）式〜（３）式を用いて算出することができる。

ここで、Ｂはステレオカメラ３２の眼間距離＝基線長［ｍ］、ｆは焦点距離［ｍ］、ｄは視差［ｐｘ］である。ｘｐは視差画像ｄｐ中の任意のＸ座標、ｘ’は視差画像ｄｐの中心Ｘ座標である。ｙｐは視差画像ｄｐ中の任意のＹ座標、ｙ’は視差画像ｄｐの中心Ｙ座標である。

ｘｐを視差画像ｄｐ中の人物のＸ座標、ｙｐを視差画像ｄｐ中の人物のＹ座標、視差を人物の座標に対応付けられた視差とすることで、カメラ座標系における人物の位置が演算される。

ここで、フォークリフト１０の進行方向に延びる軸をＹ軸、鉛直方向に延びる軸をＺ軸、Ｙ軸及びＺ軸に直交する軸をＸ軸とする３軸直交座標系での座標を実空間上での座標であるワールド座標とする。実空間上での人物の位置は、実空間上におけるＸ座標Ｘｗ、Ｙ座標Ｙｗ、Ｚ座標Ｚｗで表わすことができる。

画像処理部５１は、以下の（４）式を用いてカメラ座標系をワールド座標系に変換する。

ここで、Ｈはワールド座標系におけるステレオカメラ３２の取り付け高さであり、θはカメラ３３，３４の光軸と、水平面とがなす角＋９０°の角度である。

ワールド座標変換で得られたワールド座標のうちＸ座標Ｘｗは、フォークリフト１０の左右方向に対するフォークリフト１０から人物までの距離を示す。なお、左右とは、ステレオカメラ３２が向いている方向を前とした場合の左右である。Ｙ座標Ｙｗは、フォークリフト１０の進行方向に対するフォークリフト１０から人物までの距離を示す。本実施形態において、画像処理部５１が人物位置検出部として機能している。

次に、画像処理部５１及び発光制御部６１は、ステップＳ２０において、発光警告判定を行う。以下、発光警告判定について詳細に説明を行う。
図７及び図８に示すように、ステップＳ２１において、画像処理部５１は、有効視差数を取得する。有効視差数とは、視差画像ｄｐのうちの特定の領域Ａに含まれる視差の数である。特定の領域Ａとは、横方向の画素数が視差画像ｄｐの横方向の画素数と同一であり、縦方向の画素数が視差画像ｄｐの縦方向の画素数よりも少ない範囲である。領域Ａ外の部分は、ステレオカメラ３２から過剰に近い位置と、ステレオカメラ３２から過剰に離れた部分である。領域Ａは、フォークリフト１０の進行に際して、人物の検出を行うべき範囲である。

次に、ステップＳ２２において、画像処理部５１は、有効視差数が閾値未満か否かを判定する。閾値としては、例えば、領域Ａ内の画素数のうちの半数の値が用いられ、領域Ａ内の各画素のうち半分以上の画素に視差が対応付けられているか否かが判定されることになる。なお、閾値としては、視差画像ｄｐから距離の算出を行うことが可能な数の有効視差数があればよく、適宜変更してもよい。

ステップＳ２２の判定結果が否定の場合、ステップＳ２３において、発光部３５，３６，３７の消灯が行われる。詳細にいえば、発光部３５，３６，３７が点灯している場合には、発光部３５，３６，３７の消灯が行われ、発光部３５，３６，３７が消灯している場合には、発光部３５，３６，３７の消灯が維持される。発光部３５，３６，３７の消灯は、発光制御部６１により行われる。

ステップＳ２２の判定結果が肯定の場合、ステップＳ２４において、発光部３５，３６，３７の点灯が行われる。詳細にいえば、発光部３５，３６，３７が消灯している場合には、発光部３５，３６，３７の点灯が行われ、発光部３５，３６，３７が点灯している場合には、発光部３５，３６，３７の点灯が維持される。発光部３５，３６，３７の点灯は、発光制御部６１により行われる。

視差は、画像中の特徴点を用いて算出される。暗所では、特徴点を抽出しにくく、得られる視差の数が減少する。このため、有効視差数が閾値未満の場合には、発光部３５，３６，３７を点灯させることで特徴点の抽出を行いやすくする。即ち、ステップＳ２４で発光部３５，３６，３７の点灯が行われると、次の制御周期から視差を取得しやすくなる。

次に、画像処理部５１は、ステップＳ２５の処理を行う。ステップＳ２５において、画像処理部５１は、フォークリフト１０から人物までの距離が警告閾値未満か否かを判定する。フォークリフト１０から人物までの距離は、実空間上でのＹ座標Ｙｗに対応している。画像処理部５１は、Ｙ座標Ｙｗによりフォークリフト１０から人物までの距離を把握することができる。なお、人物までの距離は、Ｙ座標Ｙｗ及びＸ座標Ｘｗの両方から把握してもよい。

警告閾値は、フォークリフト１０と人物との距離が過剰に近くなる前に人物に対して警告を行えるように設定されている。警告閾値は、フォークリフト１０の使用される環境などに応じて設定される。ステップＳ２５の判定結果が否定の場合、画像処理部５１及び発光制御部６１は処理を終了する。一方で、ステップＳ２５の判定結果が肯定の場合、発光制御部６１は、ステップＳ２６の処理を行う。

ステップＳ２６において、発光部３５，３６，３７の点滅発光が行われる。詳細にいえば、発光部３５，３６，３７が点灯又は消灯している場合には点滅発光が行われ、発光部３５，３６，３７が点滅発光していれば点滅発光が維持される。発光部３５，３６，３７の点滅発光は、発光制御部６１により行われる。発光制御部６１は、全ての発光部３５，３６，３７を一定の点滅速度で点滅発光させる。

第１実施形態の作用について説明する。
画像処理部５１により人物が検出され、フォークリフト１０から人物までの距離が警告閾値未満になると、発光部３５，３６，３７の点滅発光が行われる。点滅発光により人物への警告が行われることで、人物は、フォークリフト１０が近付いていることを認識することができる。

点滅発光や点灯により発光部３５，３６，３７から光が照射され、この光が第１カメラ３３のレンズ及び第２カメラ３４のレンズに入り込むと、第１画像Ｉ１と第２画像に光による差が生じるおそれがある。すると、視差が正しく算出されないおそれがある。本実施形態では、ステレオカメラ３２と発光部３５，３６，３７との配置により、発光部３５，３６，３７からの光が第１カメラ３３のレンズ及び第２カメラ３４のレンズに入り込むことを抑制している。

発光部３５，３６，３７の露出面３８は、発光孔４５よりも筐体４１の内側に配置されている。このため、発光部３５，３６，３７の光は、発光孔４５を通過して照射されることになり、発光孔４５によって光が拡がることが抑制されている。即ち、発光部３５，３６，３７の光が発光孔４５を通過するように発光部３５，３６，３７を配置することで、発光孔４５を絞りとして機能させている。

また、発光面４３は、撮像面４２に対して斜めになっており、発光孔４５は撮像孔４４よりも下方を向いている。従って、発光部３５，３６，３７からの光は、第１カメラ３３のレンズ及び第２カメラ３４のレンズから離れるように照射されることになり、第１カメラ３３のレンズ及び第２カメラ３４のレンズに光が入り込むことが抑制されている。

第１実施形態の効果について説明する。
（１−１）発光制御部６１は、フォークリフト１０から人物までの距離が警告閾値未満の場合、発光部３５，３６，３７を点滅発光させる。人物に対して警告を行うことで、周辺の人物にフォークリフト１０が近くにいることを認識させることができる。

また、発光部３５，３６，３７は、フォークリフト１０の周辺環境に光を照射することで視差を取得しやすくすることにも用いられる。発光部３５，３６，３７を用いて警告を行うことで、周辺環境を照らすための部材と警告を行うための部材を兼用することができる。

（１−２）発光部３５，３６，３７とステレオカメラ３２はユニット化されているため、１つの部材である警告ユニット３１として扱うことができる。このため、発光部３５，３６，３７とステレオカメラ３２とを別々にフォークリフト１０に設置する場合に比べて、両者の相対位置の調整を行いやすい。詳細にいえば、発光部３５，３６，３７とステレオカメラ３２を別々に設置する場合、発光部３５，３６，３７からの光がステレオカメラ３２に影響を与えにくいように相対位置を調整する必要がある。発光部３５，３６，３７とステレオカメラ３２とをユニット化することで、予め両者の相対位置は定まっているため、フォークリフト１０に設置を行う際に相対位置の調整を行いやすい。

（１−３）筐体４１の発光面４３は、撮像面４２よりも下方に位置し、発光孔４５の向く方向は、撮像孔４４の向く方向よりも下方である。このため、発光部３５，３６，３７から照射される光は、ステレオカメラ３２から離れるように照射される。発光部３５，３６，３７から照射された光がステレオカメラ３２に到達しにくく、発光部３５，３６，３７から照射された光がステレオカメラ３２の画像に影響を及ぼすことを抑制することができる。

（１−４）発光部３５，３６，３７の露出面３８は、発光面４３よりも筐体４１の内側に配置されている。発光部３５，３６，３７の光は、発光孔４５を通過して筐体４１外に照射されることになる。発光孔４５により発光部３５，３６，３７の光が拡がることを抑制できるため、発光部３５，３６，３７から照射された光がステレオカメラ３２の画像に影響を及ぼすことを抑制することができる。

（１−５）有効視差数が閾値未満の場合には、発光部３５，３６，３７を点灯させている。発光部３５，３６，３７が点灯することで、視差を取得しやすくなるため、視差の不足により人物の位置が検出できなかったり、視差の不足により人物の位置の検出精度が低下することを抑制できる。また、有効視差数が閾値未満の場合、搭乗者の視認性も悪いと考えられる。発光部３５，３６，３７を点灯させることで、搭乗者により操作されるフォークリフト１０では、周辺環境に対する搭乗者の視認性を向上させることができる。

（１−６）発光部３５，３６，３７は、複数設けられている。このため、発光部３５，３６，３７が１つの場合に比べて、広範囲に亘って警告を行うことができる。
（１−７）発光部３５，３６，３７によって警告を行っている。フォークリフト１０の使用される環境は、工場内など騒音のする場所の場合もある。従って、音による警告を行う場合に比べて、環境に依存することなく人物への警告を行うことができる。

（第２実施形態）
以下、警告装置の第２実施形態について説明する。なお、第１実施形態と同様の部分については、説明を省略する。

図２に破線で示すように、第２実施形態の警告装置３０は、照度センサ７１を備える。照度センサ７１は、例えば、ステレオカメラ３２及び発光部３５，３６，３７とともに筐体４１に収容されることで警告ユニット３１の一部を構成する。照度センサ７１は、フォークリフト１０の周辺の照度である環境照度を検出する。詳細にいえば、照度センサ７１は、ステレオカメラ３２による撮像が行われる環境の照度を検出する。

第２実施形態の発光警告判定について作用とともに説明する。
図９に示すように、ステップＳ３１において、発光制御部６１は、照度センサ７１から環境照度を取得する。次に、ステップＳ３２において、発光制御部６１は、照度センサ７１から取得した環境照度が設定照度以下か否かを判定する。設定照度としては、周辺環境の照度が視差を十分に取得できる値か否かを判断できるように設定されている。なお、視差を十分に取得できる照度とは、例えば、第１実施形態における有効視差数が閾値以上となると予想される照度である。

ステップＳ３２の判定結果が否定の場合、発光制御部６１は、ステップＳ３３において、発光部３５，３６，３７を消灯させる。ステップＳ３２の判定結果が肯定の場合、ステップＳ３４において、発光制御部６１は、発光部３５，３６，３７を点灯させる。第１実施形態では、有効視差数から発光部３５，３６，３７を点灯するか消灯するかを判断していたのに対し、第２実施形態では環境照度から発光部３５，３６，３７を点灯するか消灯するかが判断されることになる。

次に、ステップＳ３５において、発光制御部６１は、画像処理部５１から人物の位置を取得する。次に、ステップＳ３６において、発光制御部６１は、フォークリフト１０から人物までの距離が警告閾値未満か否かを判定する。ステップＳ３６の判定結果が否定の場合、発光制御部６１は、処理を終了する。一方で、発光制御部６１は、ステップＳ３６の判定結果が肯定の場合、ステップＳ３７の処理を行う。

ステップＳ３７において、発光制御部６１は、人物の位置の判定を行う。
図１０に示すように、ステレオカメラ３２の撮像可能範囲ＩＡは、３つの範囲ＩＡ１〜ＩＡ３に区分されている。ステレオカメラ３２の撮像可能範囲ＩＡは、水平画角及び垂直画角により定まる。３つの範囲ＩＡ１〜ＩＡ３は、撮像可能範囲ＩＡを左右方向に区分した範囲であり、各範囲ＩＡ１〜ＩＡ３の左右方向の寸法は同一である。なお、左右方向は、ワールド座標系におけるＸ座標Ｘｗに対応する。

３つの範囲ＩＡ１〜ＩＡ３のうち左側を左範囲ＩＡ１、中央を中央範囲ＩＡ２、右側を右範囲ＩＡ３とする。左範囲ＩＡ１と中央範囲ＩＡ２との境となるワールド座標系でのＸ座標を−Ｘ、中央範囲ＩＡ２と右範囲ＩＡ３との境となるワールド座標系でのＸ座標をＸとする。

各範囲ＩＡ１〜ＩＡ３は、３つの発光部３５，３６，３７に対応している。３つの発光部３５，３６，３７のうち左側の発光部３５を左部３５、中央の発光部３６を中央部３６、右側の発光部３７を右部３７とすると、中央部３６は撮像可能範囲ＩＡの左右方向の中心に対応して設けられている。左部３５は、中央部３６よりも左側に位置しているため、中央部３６に比べて左範囲ＩＡ１に寄って設けられていることになる。同様に、右部３７は、中央部３６に比べて右範囲ＩＡ３に寄って設けられていることになる。左部３５は左範囲ＩＡ１、中央部３６は中央範囲ＩＡ２、右部３７は右範囲ＩＡ３にそれぞれ対応付けられている。

図９に示すように、ステップＳ３７では、人物のＸ座標Ｘｗが左範囲ＩＡ１、中央範囲ＩＡ２、右範囲ＩＡ３のうちいずれの範囲内に位置するかの判定が行われる。発光制御部６１は、人物のＸ座標Ｘｗが−Ｘ未満であれば、ステップＳ３８において、左部３５を点滅発光させる。人物のＸ座標Ｘｗが−Ｘ未満の場合、人物は左範囲ＩＡ１にいる。従って、人物が左範囲ＩＡ１にいる場合には、左部３５が点滅発光されることになる。

発光制御部６１は、人物のＸ座標Ｘｗが−Ｘ以上、かつ、Ｘ以下であれば、ステップＳ３９において、中央部３６を点滅発光させる。人物のＸ座標Ｘｗが−Ｘ以上、かつ、Ｘ以下の場合、人物は中央範囲ＩＡ２にいる。従って、人物が中央範囲ＩＡ２にいる場合には、中央部３６が点滅発光されることになる。

発光制御部６１は、人物のＸ座標ＸｗがＸより大きければ、ステップＳ４０において、右部３７を点滅発光させる。人物のＸ座標ＸｗがＸより大きい場合、人物は右範囲ＩＡ３にいる。従って、人物が右範囲ＩＡ３にいる場合には、右部３７が点滅発光されることになる。

発光制御部６１は、人物のいる方向に位置する発光部３５，３６，３７を点滅発光させることで、人物に警告を行うことになる。この際、発光部３５，３６，３７として指向性の高いものを用いることで、遠方まで警告を行うことができる。

なお、人物が複数の範囲ＩＡ１〜ＩＡ３に跨がって存在している場合や、複数の人物が別々の範囲ＩＡ１〜ＩＡ３に存在している場合、複数の範囲ＩＡ１〜ＩＡ３に対応して複数の発光部３５，３６，３７が点滅発光することになる。また、ステップＳ３７の判定により点滅発光が行われない発光部３５，３６，３７は、ステップＳ３３で消灯されていれば消灯、ステップＳ３４で点灯されていれば点灯した状態に維持されている。

第２実施形態の効果について説明する。
（２−１）発光制御部６１は、人物のいる範囲に対応した発光部３５，３６，３７を点滅発光させる。従って、人物の位置に応じた一部の発光部３５，３６，３７を点滅発光させることが許容される。一部の発光部３５，３６，３７を点滅発光させることができるため、点滅発光させている発光部３５，３６，３７以外の発光部３５，３６，３７を点灯又は消灯させることができる。全ての発光部３５，３６，３７を点滅発光させる場合に比べて、特定の人物に対して警告を行いやすい。例えば、左範囲ＩＡ１に警告閾値よりも近くにいる人物が存在し、中央範囲ＩＡ２に警告閾値よりも離れた位置に人物が存在する場合に、左範囲ＩＡ１の人物に警告を行うことができる。

各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○第２実施形態において、３つの発光部３５，３６，３７のうちいずれを点滅発光させるかは、人物のＸ座標ではなく、フォークリフト１０の操舵方向によって判定されてもよい。発光制御部６１は、画像処理部５１を介して、メインコントローラ２０から、操舵角センサ２５の検出結果及び車速センサ２４の値を取得する。発光制御部６１は、フォークリフト１０が直進する場合には中央部３６、フォークリフト１０が左折する場合には左部３５、フォークリフト１０が右折する場合には右部３７をそれぞれ点滅発光させる。これにより、フォークリフト１０の周辺にいる人物は、フォークリフト１０が進行する方向を認識することができる。

○各実施形態において、発光制御部６１は、人物とフォークリフト１０との距離が短いほど点滅発光をする際の点滅速度を速くしてもよい。発光制御部６１は、画像処理部５１から人物の位置を取得し、人物のＹ座標Ｙｗを認識する。Ｙ座標Ｙｗは、フォークリフト１０の進行方向に対するフォークリフト１０から人物までの距離を示す。発光制御部６１は、Ｙ座標Ｙｗの値が小さいほど点滅速度を速くする。これにより、フォークリフト１０と人物との位置が近いほど、人物にフォークリフト１０が近くにいることを認識させやすい。

○各実施形態において、複数の発光部３５，３６，３７の配置位置は、適宜変更してもよい。例えば、複数の発光部３５，３６，３７を鉛直方向に並べてもよいし、水平方向に複数の発光部３５，３６，３７を並べた列を鉛直方向に複数設けてもよい。

○各実施形態において、水平方向に並ぶ発光部３５，３６，３７の数を、２つにしてもよいし、４つ以上にしてもよい。第２実施形態では、発光部３５，３６，３７の数に合わせて撮像可能範囲ＩＡを区分する数を変更してもよい。例えば、発光部３５，３６，３７の数が２つであれば、撮像可能範囲ＩＡを２つに区分して２つの範囲としてもよい。

○各実施形態において、警告装置３０は、発光部３５，３６，３７のいずれかのみを備えていてもよい。即ち、発光部は単数であってもよい。
○第２実施形態において、発光部が単数の場合、光の照射方向を変更することで、人物の位置に応じた警告をしてもよい。

○第１実施形態において、有効視差数による発光部３５，３６，３７の点灯判定を行わなくてもよい。有効視差数が閾値未満であっても、発光部３５，３６，３７の点灯は行われないことになる。この場合、フォークリフト１０は、暗所などの視差が取得しにくくなる箇所が少ない場所で用いられることが好ましい。

同様に、第２実施形態において、環境照度による発光部３５，３６，３７の点灯判定は行われなくてもよい。この場合、第２実施形態の警告装置３０は、照度センサ７１を備えていなくてもよい。

○各実施形態において、発光部３５，３６，３７のうち筐体４１の外部に露出する露出面３８は、発光面４３と同一平面上に位置するようにしてもよい。また、露出面３８は、発光面４３よりも筐体４１の外部に突出してもよい。

○各実施形態において、筐体４１の形状は適宜変更してもよい。例えば、撮像面４２と発光面４３とを同一面とし、ステレオカメラ３２と発光部３５，３６，３７とを同一面に露出させてもよいし、撮像面４２と発光面４３とが互いに隣り合っていなくてもよい。また、発光面４３が撮像面４２よりも上方に位置するようにしてもよい。この場合、発光部３５，３６，３７の光が第１カメラ３３のレンズ及び第２カメラ３４のレンズに入り込まないように、筐体４１に遮蔽物を設けてもよい。

また、発光孔４５の向く方向は、撮像孔４４の向く方向よりも上方であってもよいし、同一方向であってもよい。
○各実施形態において、ステレオカメラ３２と発光部３５，３６，３７とをユニット化していなくてもよい。この場合、ステレオカメラ３２と発光部３５，３６，３７とは個別にフォークリフト１０に設置される。

○各実施形態において、発光部として、フォークリフト１０に備えられるヘッドライトや、バックライトを用いてもよい。この場合、各発光部３５，３６，３７は設けられなくてもよいし、設けられていてもよい。

○各実施形態において、警告装置３０は、フォークリフト１０の周辺に人物がいる場合にフォークリフト１０の搭乗者に警告を行う警告部を備えていてもよい。警告部としては、周辺の人物に警告を行う場合と同様に、発光部を用いてもよいし、音を発するブザーなどを用いてもよい。

○各実施形態において、警告装置３０は、発光部３５，３６，３７の点滅発光による警告に加えて、文字やシンボルの表示、あるいは、音によって人物に警告を行ってもよい。
○各実施形態において、人物の検出は、視差画像ｄｐを用いて行われてもよい。視差を用いることで、視差画像ｄｐ中の人物の輪郭を抽出することができる。この輪郭から人物の検出を行ってもよい。

○各実施形態において、画像処理部５１は、人物の位置を検出することに加えて、フォークリフト１０の走行の妨げとなる障害物や、壁を検出するようにしてもよい。障害物や壁は、視差から検出することができる。

○各実施形態において、カメラ座標系からワールド座標系への座標変換は、（４）式に代えて、テーブルデータによって行われてもよい。テーブルデータは、Ｙ座標ＹｃとＺ座標Ｚｃの組み合わせにＹ座標Ｙｗを対応させたテーブルデータと、Ｙ座標ＹｃとＺ座標Ｚｃとの組み合わせにＺ座標Ｚｗを対応させたテーブルデータである。これらのテーブルデータを画像処理部５１のＲＯＭなどに記憶しておくことで、カメラ座標系におけるＹ座標ＹｃとＺ座標Ｚｃから、ワールド座標系におけるＹ座標Ｙｗ及びＺ座標Ｚｗを求めることができる。

○各実施形態において、画像処理部５１は、領域Ａを定めず、視差画像ｄｐの全体の視差数が予め設定された閾値未満か否かにより、発光部３５，３６，３７を点灯させるかの判定を行ってもよい。

○各実施形態において、視差画像取得部、人物検出部及び人物位置検出部、それぞれ、個別の制御装置によって構成されていてもよい。
○各実施形態において、画像処理部５１と発光制御部６１とを同一の制御装置としてもよい。

○各実施形態において、第１カメラ３３と第２カメラ３４は、鉛直方向に並んで配置されていてもよい。
○各実施形態において、第１画像Ｉ１の画素数と第２画像の画素数とは異なっていてもよい。例えば、比較画像である第２画像の画素数を視差画像ｄｐの画素数と同一とし、基準画像である第１画像Ｉ１の画素数を第２画像の画素数よりも多くしてもよい。

○各実施形態において、ステレオカメラ３２は、３つ以上のカメラを備えていてもよい。
○各実施形態において、フォークリフト１０は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。

○各実施形態において、警告ユニット３１は、ステレオカメラ３２及び各発光部３５，３６，３７がフォークリフト１０の前方を向くように配置されていてもよい。この場合、フォークリフト１０の前方にいる人物に対して警告が行われることになる。また、後方を向いて配置される警告ユニット３１と、前方を向いて配置される警告ユニット３１の両方をフォークリフト１０に搭載してもよい。即ち、ステレオカメラ３２及び発光部３５，３６，３７の配置を変更することで、任意の方向の人物に対して警告を行うことが可能である。ステレオカメラ３２及び各発光部３５，３６，３７がフォークリフト１０の前方を向くように警告ユニット３１を設ける場合、例えば、荷役装置１２の上部や車体１１の上部に警告ユニット３１は設けられる。

○警告装置３０は、建設機械、自動搬送車、トーイングトラクタなどの産業車両に搭載されてもよい。

Ａ…領域、ＩＡ…撮像可能範囲、ＩＡ１，ＩＡ２，ＩＡ３…範囲、１０…フォークリフト（産業車両）、３０…警告装置、３２…ステレオカメラ、３５，３６，３７…発光部、３８…露出面、４１…筐体、４２…撮像面、４３…発光面、４４…撮像孔、４５…発光孔、５１…画像処理部（視差画像取得部、人物検出部及び人物位置検出部）、６１…発光制御部。

Claims (9)

1. 産業車両に搭載され、人物に対して警告を行う警告装置であって、
   ステレオカメラと、
   前記ステレオカメラによる撮像が行われる方向に向けて光を照射可能である発光部と、
   前記ステレオカメラの画像から前記人物を検出する人物検出部と、
   前記ステレオカメラの画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
   前記視差画像から前記人物の位置を検出する人物位置検出部と、
   前記発光部の制御を行う発光制御部と、を備え、
   前記発光制御部は、前記産業車両から前記人物までの距離が警告閾値未満の場合、前記発光部を点滅発光させる警告装置。
2. 前記発光部と、前記ステレオカメラとは、同一の筐体に収容されることでユニット化されている請求項１に記載の警告装置。
3. 前記筐体は、
   前記ステレオカメラを筐体外に露出させるための撮像孔が開口する撮像面と、
   前記発光部を筐体外に露出させるための発光孔が開口する発光面と、を備え、
   前記発光面は、前記撮像面に対して傾斜しており、
   前記ステレオカメラは、前記撮像孔を介して前記筐体外を撮像可能に配置され、
   前記発光部は、前記発光孔を介して前記筐体外に光を照射可能に配置され、
   前記筐体は、前記撮像面よりも下方に前記発光面が位置するように前記産業車両に設置されている請求項２に記載の警告装置。
4. 前記発光部のうち前記筐体外に露出する露出面は、前記発光面よりも筐体の内側に配置されている請求項３に記載の警告装置。
5. 前記発光制御部は、
   前記視差画像の特定の領域の視差数である有効視差数が閾値未満の場合、前記発光部を点灯させる請求項１〜請求項４のうちいずれか一項に記載の警告装置。
6. 前記発光部を複数備える請求項１〜請求項５のうちいずれか一項に記載の警告装置。
7. 前記発光部は、水平方向に並んで設けられており、
   前記発光部は、それぞれ、前記ステレオカメラの撮像可能範囲を複数に区分した範囲に対応付けられており、
   前記発光制御部は、前記人物のいる前記範囲に対応した前記発光部を点滅発光させる請求項６に記載の警告装置。
8. 前記発光部は、水平方向に並んで設けられており、
   前記発光制御部は、前記産業車両の操舵方向に位置する前記発光部を点滅発光させる請求項６に記載の警告装置。
9. 前記発光制御部は、前記人物までの距離が近いほど前記発光部を点滅発光させる際の点滅速度を速くする請求項１〜請求項８のうちいずれか一項に記載の警告装置。