JP2022123537A - 荷役状態判定装置、運転支援システム及び運転支援プログラム - Google Patents

Abstract

【課題】不安定な荷物運搬による荷役車両からの荷物落下事故を防止する。【解決手段】車載器は、荷物が載置されたパレットを搬送するフォークリフトに取り付けられ、フォークリフトの爪と荷物とパレットとを含む領域を撮像する車載カメラにより撮像された画像を取得し、前記画像において、荷物の外郭座標を検出する（ステップＳ１４）。車載器は、前記画像において設定された基準軸に対する荷物の外郭座標の位置に応じて、荷物が基準軸に対して偏って配置されているか否かを判定する（ステップＳ１７）。【選択図】図５

Description

本発明は、荷役状態判定装置、運転支援システム及び運転支援プログラムに関する。

フォークリフトの運転を支援するための技術が提案されている（例えば、特許文献１参照）。特許文献１は、移動体と障害物との位置関係が把握不能になるのを抑止するための技術を示している。特許文献１に開示される安全装置は、フォークリフトに搭載され、２つの撮像装置（ステレオカメラ）と、画像処理装置と、を備える。撮像装置は、垂直画角の最も上側が水平面よりも上となるように配置されている。画像処理装置は、撮像装置によって撮像された画像から、障害物の位置を算出して記憶する。画像処理装置は、撮像装置によって障害物が撮像されなくなった場合、記憶された位置情報に基づいて、障害物の位置を推定する。

また、パレットに積載された段ボール箱等の物体をパレットから降ろすデパレタイズ工程をロボットが行う際に、物体がどのように積載されているかを把握するための技術が提案されている（例えば、特許文献２参照）。特許文献２に開示された画像処理装置は、デパレタイズ用のロボットのコントローラに接続され、投影手段と、撮像手段と、制御手段と、を備える。投影手段は、パレットに積載された複数のワークに、格子パターンを投影する。撮像手段は、投影された格子パターンを撮像する。制御手段は、ワークを積載したパレットが存在しない状態で投影された格子パターンを撮像した第１の画像データと、ワークを積載したパレットが存在する状態で投影された格子パターンを撮像した第２の画像データと、に基づいて、ワークに関する情報を作成する。制御手段は、各画像データにおける格子パターンの交点の間の距離に基づいて、ワークの高さに関する情報を作成できる。

特開２０１９－８９６３６号公報 特開２００３－９７９１８号公報

ところで、例えば工場敷地内や倉庫のようにフォークリフトを使用して荷物を運搬する作業現場では、フォークリフトで運搬中の荷物を落下させてしまい、荷物が破損するような事故が発生している。

この種の実際の作業では、パレット上に載置された状態の荷物をパレットごと下からフォークリフトの爪で持ち上げてそのまま荷物を運搬することになる。
フォークリフトで運搬中の荷物落下の発生頻度は、パレットに載せられた荷物の安定度合に大きく依存する。そのため、運搬中の荷物の落下を未然に防止するために、一般的には運搬する前に、荷物の安定度合を目視等により確認することが望まれる。
フォークリフトで運搬しようとする荷物については、パレットの中央部に重心が位置するように積み上げておくことが理想的である。しかしながら、忙しい作業現場においては慎重な荷物積み上げ作業や、手間のかかる目視の確認作業のために十分な注意を払うことは難しいのが実情である。

一方、フォークリフトで運搬する前や、運搬中に荷物が不安定であることに作業者等が気づいた場合には、その都度、荷物の荷姿を修正することが望ましい。しかし、忙しい作業現場では、手間のかかる荷姿の修正作業を実施する余裕がないので、作業者は「修正しなくても大丈夫だろう」と考えてそのまま荷姿を修正することなく作業を継続してしまう場合がある。

上記特許文献１に記載の技術によれば、障害物との衝突を回避して、衝突による荷物落下事故を防止し得るものの、衝突によらない荷物落下事故を防止することはできない。また、上記特許文献２に記載の技術によれば、パレットに載せられた荷物が、ホストコンピュータから送信された荷物の積載パターンと実際の積載状態とがずれている場合にずれに関する情報を作成し得る。しかし、特許文献２の画像処理装置をフォークリフトの運転支援に適用した場合においては、基準となる荷物の積載パターンに関する情報を取得していない場合には、荷物の積載状態を把握できず、荷物落下事故を防止できない。また、パレットに積載した荷物をフォークリフトで運搬する都度、安定した荷姿の積載パターンに関する情報を作成した上で、荷物及びパレットの有無が異なる二種類の格子パターン投影画像を撮影することは、現実的には困難である。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、不安定な荷物運搬による荷役車両からの荷物落下事故を防止することにある。

前述した目的を達成するために、本発明に係る荷役状態判定装置、運転支援システム及び運転支援プログラムは、下記（１）～（１０）を特徴としている。
（１）荷物が載置された載置台を搬送する荷役車両に取り付けられ、前記荷役車両の一部分と前記荷物と前記載置台とを含む領域を撮像する撮像装置により撮像された画像を取得する画像取得部と、
前記画像において、前記荷物の外郭座標を検出する荷物座標検出部と、
前記画像を幅方向に二分割する基準軸に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する判定部と、を備える、
荷役状態判定装置。
（２）前記画像を幅方向に二等分する、前記画像において上下方向に延びる直線を、前記基準軸として設定する基準軸設定部をさらに備える、
上記（１）に記載の荷役状態判定装置。
（３）前記画像において、前記荷役車両の一部分の外郭座標と、前記載置台の外郭座標とに基づいて前記基準軸を設定する基準軸設定部をさらに備える、
上記（１）に記載の荷役状態判定装置。
（４）前記荷役車両の一部分は、車両本体から突出する爪であり、
前記基準軸設定部は、前記画像において、前記載置台の幅方向に延びる一辺と前記爪との各交点の中心点を通過する直線を、前記基準軸として設定する、
上記（３）に記載の荷役状態判定装置。
（５）前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、
前記基準軸設定部は、前記第一画像における前記各交点である二つの第一交点を認識し、前記第二画像における前記各交点である二つの第二交点を認識し、前記第一交点から前記第二交点への各移動ベクトルを合成し、合成したベクトルを前記中心点の移動ベクトルとして算出し、前記中心点の移動ベクトルを含む直線を前記基準軸として設定する、
上記（４）に記載の荷役状態判定装置。
（６）前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、
前記判定部は、
前記第一画像における前記荷物の幅方向に離間した二つの特徴点である第一特徴点を認識し、前記第二画像における前記荷物の幅方向に離間した二つの特徴点である第二特徴点を認識し、前記第一特徴点から前記第二特徴点への各移動ベクトルである荷物移動ベクトルをそれぞれ算出し、
前記基準軸に対する前記荷物移動ベクトルの距離及び角度の少なくともいずれか一方に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する、
上記（１）から（５）のいずれか一に記載の荷役状態判定装置。
（７）前記画像取得部は、前記載置台に前記爪を挿入する過程におけるいずれかの時点で、前記領域を撮像する、
上記（５）又は（６）に記載の荷役状態判定装置。
（８）前記判定部が、前記荷物が前記基準軸に対して偏って配置されていると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部を備える、
上記（１）～（７）のいずれか一に記載の荷役状態判定装置。
（９）上記（１）～（８）のいずれか一に記載の荷役状態判定装置を有する通信端末と、
前記撮像装置を有する車載器と、を備える、
運転支援システム。
（１０）荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータに、
前記荷役車両に取り付けられ、前記荷役車両の一部分と前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップと、
前記画像において、前記荷物の外郭座標を検出するステップと、
前記画像において設定された基準軸に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定するステップと、
を実行させる運転支援プログラム。

上記（１）の構成の荷役状態判定装置、上記（９）の構成の運転支援システム、及び上記（１０）の構成の運転支援プログラムによれば、画像を幅方向に二分割する基準軸に対する荷物の外郭座標の位置に応じて、荷物が基準軸に対して偏って配置されていると判定される。例えば、荷物の複数の外郭座標の位置が、基準軸から一方向に離間している場合には、荷物が載置台上において幅方向に偏って配置されていることを検知できる。したがって、荷姿が不安定な状態の場合には車速や旋回速度を制限して、荷崩れや荷物落下事故を未然に防止できる。

上記（２）の構成の荷役状態判定装置によれば、画像を幅方向に二等分する上下方向に延びる直線を基準軸とするので、この基準軸に対する荷物の外郭座標の位置に応じて、荷物が載置台上において幅方向に偏って配置されていることを検知できる。

上記（３）の構成の荷役状態判定装置によれば、荷役車両の一部分の外郭座標と載置台の外郭座標とに基づいて基準軸を設定するので、実際の撮像状況に応じて精度よく、荷物の偏りを判定できる。

上記（４）の構成の荷役状態判定装置によれば、爪と載置台の一辺との各交点の中心点を通過する直線を基準軸とすることで、載置台を保持する爪の中心位置を基準に、載置台の幅方向における荷物の偏りを正確に判定できる。よって、カメラが車両の左右方向中心に取り付けられていない場合であっても、載置台の幅方向における荷物偏りの有無を正確に判定できる。

上記（５）の構成の荷役状態判定装置によれば、中心点の移動ベクトルを含む直線を基準軸として設定することで、幅方向における荷物偏りの有無を正確に判定できる。

上記（６）の構成の荷役状態判定装置によれば、例えば、基準軸を挟んで左右の荷物移動ベクトルが非対称の場合には荷物偏り有りと判定するなど、幅方向における荷物偏りの有無を正確に判定できる。

上記（７）の構成の荷役状態判定装置によれば、載置台に爪を挿入する過程におけるいずれかの時点で撮像された画像に基づいて、判定部が、例えば移動ベクトルを算出し、基準軸に対して左右均等か否かを判断する。したがって、リフト操作がされる前の荷姿の安定性を正確に判定できる。

上記（８）の構成の荷役状態判定装置によれば、荷物が偏って配置されていることを検知した場合に、荷役車両の移動速度や旋回速度を制限することにより、運搬中に荷物が落下する確率を低減することができ、落下事故の防止に役立つ。

本発明によれば、不安定な荷物運搬による荷役車両からの荷物落下事故を防止できる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の一実施形態における運転支援システムのハードウェア構成を示すブロック図である。 図２は、作業中のフォークリフトの外観及び荷物の例を示す側面図である。 図３は、荷物撮影カメラとフォークリフトとの関係の一例を示す側面図である。 図４は、荷物撮影カメラが撮影した画像の一例を示す図である。 図５は、図１に示す車載器における荷役状態判定動作の例を示すフローチャートである。 図６は、荷物撮影カメラが撮影した画像の一例を示す図である。 図７は、荷物撮影カメラが撮影した画像の一例を示す図である。 図８は、荷物撮影カメラが撮影した画像の一例を示す図である。 図９は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１０は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１１は、荷物撮影カメラが撮影した画像の一例を示す図である。 図１２は、他の荷物撮影カメラが撮影した画像の一例を示す図である。 図１３は、他の荷物撮影カメラが撮影した画像の一例を示す図である。 図１４は、本発明の一実施形態における運転支援システムを実現するための機能上の構成例を示すブロック図である。 図１５は、基準軸の求め方の他の例を説明するための図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

＜システムの構成＞
本発明の一実施形態における運転支援システムのハードウェア構成を図１に示す。図１に示した運転支援システムは、主としてフォークリフトのような荷役車両を運転して荷物の運搬作業を行う場合の運転支援のために利用される。

図１に示した運転支援システムは、各々の荷役車両に搭載した状態で使用される車載器１０と、各荷役車両、作業者、作業内容等を管理するために所定の事務所に設置される事務所ＰＣ３０とを含んでいる。詳細については後述するが、本実施形態の車載器１０は主要な機能として、荷物運搬作業において荷物の落下等を防止するために役立つ運転支援機能を備えている。

なお、車載器１０と事務所ＰＣ３０との間は、ネットワークを介して接続されていなくてもよく、その場合、車載器１０は、車載器で記録したデータを保持するメモリカード６５を読み込む構成にする。また、車載器１０は例えばドライブレコーダのように一般的な車載器の機能を含むものであってもよい。

事務所ＰＣ３０は、事務所に設置された汎用のコンピュータ装置で構成され、荷役車両の稼働状況や荷物の運搬量などを管理する。図１の例では、車載器１０と事務所ＰＣ３０との間で行われるデータ通信を中継するためにアクセスポイント８０が設置されている。アクセスポイント８０と車載器１０との間の無線通信については、ＬＴＥ（Long Term Evolution）／５Ｇ(5th Generation)等のモバイル通信網（携帯回線網）で行われてもよいし、無線ＬＡＮ（Local Area Network）で行われてもよい。

車載器１０は、様々な信号の入力又は出力を可能にするために、様々なインタフェース（Ｉ／Ｆ）１２Ａ、１２Ｂ、１３、１４、１６、１９、及び２９を備えている。
速度Ｉ／Ｆ１２Ａは、車両側に搭載されている車速センサ５１の出力する車速パルス信号を入力するための機能を有する。エンジン回転Ｉ／Ｆ１２Ｂは、車両側から出力されるエンジン回転パルス信号を入力するための機能を有する。外部入力Ｉ／Ｆ１３は様々な外部信号の入力に利用される。

センサ入力Ｉ／Ｆ１４は、様々なセンサの信号を入力するために利用される。図１の例では、Ｇセンサ２８及びジャイロセンサ５２がセンサ入力Ｉ／Ｆ１４に接続されている。Ｇセンサ２８は、この車載器１０を搭載する車両に加わった様々な方向の加速度の大きさを検知する。ジャイロセンサ５２は、この車載器１０を搭載する車両の角速度を検知することにより、水平面内における車両の旋回速度や方向の変化を示す信号を出力できる。

アナログ入力Ｉ／Ｆ２９は、様々なアナログ信号の入力に利用される。
カメラＩ／Ｆ１６は、車載カメラ２３を接続するための機能を有している。すなわち、車載カメラ２３が出力する映像信号を取り込んでコンピュータの処理に適した所定のデジタル画像データに変換する機能を有している。

音声Ｉ／Ｆ１９は、音声による注意喚起などに利用可能な所定の音声信号を生成する機能を有している。

車載器１０における主要な機能を実現する制御部１１は、マイクロコンピュータ（ＣＰＵ）のプロセッサを主体とする電子回路により構成されている。このマイクロコンピュータは、不揮発メモリ２６Ａなどに予め保持されているプログラムを実行することにより、後述する車載器１０の制御機能を実現する。

制御部１１の入力に、上述の各インタフェース１２Ａ、１２Ｂ、１３、１４、１６、及び２９が接続されている。また、制御部１１の出力に音声Ｉ／Ｆ１９を介してスピーカ２０が接続されている。

また、ＧＰＳ受信部１５、記録部１７、表示部２７、電源部２５、通信部２４、不揮発メモリ２６Ａ、揮発メモリ２６Ｂ、カードＩ／Ｆ１８、ＲＴＣ部２１、スイッチ入力部２２、及び信号出力部５３が制御部１１に接続されている。

ＧＰＳ受信部１５は、複数のＧＰＳ（Global Positioning System）衛星からの電波をアンテナ１５ａを介して受信する。ＧＰＳ受信部１５が受信した複数の受信信号に基づいて、現在位置を表す情報を計算して得ることができる。なお、現在位置の情報を把握するために、ＧＰＳの代わりにビーコンを利用することもできる。

記録部１７は、例えば車載カメラ２３が出力する映像の画像データなどを自動的に記録して一定時間保持するために利用される。
表示部２７は、車載器１０の操作に必要な文字などの可視情報や、運転操作に関する注意喚起の情報などを運転者が視認できるように表示するために利用できる。

電源部２５は、車両側から供給される電源電力に基づいて安定した電源電力を生成し、生成した電源電力を制御部１１を含む車載器１０内の各回路に対して供給する。
通信部２４は、この車載器１０とアクセスポイント８０との間でデータ通信するための無線通信機能を提供する。

不揮発メモリ２６Ａは、半導体メモリにより構成され、制御部１１のマイクロコンピュータが実行可能なプログラムや、制御上必要になる各種定数データ、テーブルなどを予め保持している。

揮発メモリ２６Ｂは、制御部１１が処理中に生成するデータなどを一時的に保持するために利用される。
カードＩ／Ｆ１８には、運転者が所持するメモリカード６５が挿抜自在に接続される。制御部１１は、カードＩ／Ｆ１８に装着されたメモリカード６５からデータを読み出すことができ、制御部１１が生成した各種データをカードＩ／Ｆ１８を介してメモリカード６５に書き込むこともできる。

ＲＴＣ（real time clock）部２１は、時計の機能を有する集積回路により構成されている。すなわち、ＲＴＣ部２１は、現在時刻の情報を生成したり、経過時間などを把握することができる。

スイッチ入力部２２は、車載器１０の操作に必要な各種スイッチの状態を表す信号を入力するために利用される。
信号出力部５３は、例えば荷役車両の運転を制限するために利用可能な運転制限信号ＳＧＡ、ＳＧＢを車載器１０から出力することができる。運転制限信号ＳＧＡは、例えば荷役車両の走行速度を制限する目的で利用することが想定される。運転制限信号ＳＧＢは、例えば荷役車両における旋回速度を制限する目的で利用することが想定される。

一方、事務所ＰＣ３０は、汎用のオペレーティングシステムで動作するＰＣである。事務所ＰＣ３０は、荷役車両の運転状況を把握したり、荷物の運搬量などを把握するための稼働管理装置として利用できる。事務所ＰＣ３０は、制御部（ＣＰＵ）３１、通信部３２、表示部３３、記憶部３４、カードＩ／Ｆ３５、操作部３６、出力部３７、音声Ｉ／Ｆ３８、及び外部Ｉ／Ｆ４８を有する。

制御部３１は、事務所ＰＣ３０の各部を統括的に制御する。通信部３２は、アクセスポイント８０を介して車載器１０と通信可能である。
表示部３３は、各荷役車両の稼働管理に利用可能な様々な情報を表示することができる。記憶部３４は、各荷役車両に搭載された車載器１０が生成したデータを取得して管理することができる。

カードＩ／Ｆ３５には、メモリカード６５が挿抜自在に装着される。カードＩ／Ｆ３５は、車載器１０で記録された様々なデータをメモリカード６５から入力するために利用される。操作部３６は、キーボードやマウス等を有し、事務所ＰＣ３０の管理者の操作を受け付ける。出力部３７は、各種データを出力する。音声Ｉ／Ｆ３８には、マイク４１及びスピーカ４２が接続される。管理者は、マイク４１及びスピーカ４２を用いて音声通話を行うことも可能である。

外部Ｉ／Ｆ４８には、運行データデータベース（ＤＢ）、ハザードマップデータベース（ＤＢ）といった外部記憶装置（図示せず）等が接続可能である。ハザードマップＤＢは、フォークリフトのような荷役車両が事故を起こしやすい特定地点を表すデータなどを保持することができる。

＜荷役車両の具体例＞
作業中のフォークリフトの外観及び荷物の例を図２に示す。図２において左側がフォークリフトの前進方向を表し、右側が後退方向を表している。

図２に示すように、フォークリフト９０は、車両本体から運転席の前方に長く突出する複数の（本実施形態では２つの）爪９１（荷役車両の一部分）及びバックレスト９２を有している。爪９１及びバックレスト９２は、マスト９３に沿って上下方向に昇降可能な状態でマスト９３に支持されて、車両本体に取り付けられている。また、フォークリフト９０は、所定の昇降機構を駆動することにより、爪９１及びバックレスト９２の位置を上下方向に駆動することができる。更に、フォークリフト９０には、爪９１及びバックレスト９２を支持しているマスト９３の傾斜角度を変更する駆動機構が備わっており、爪９１及びバックレスト９２のチルト角を調整することができる。

一方、フォークリフト９０で運搬しようとする様々な荷物１００は、一般的には地面９８上に配置された載置台であるパレット１１０上に載置された状態で保管されている。したがって、この荷物１００を実際に運搬する際には、図２のように爪９１を下方に下げた状態でフォークリフト９０をパレット１１０に向かって前進させ、パレット１１０の内側に爪９１を通した状態にする。その状態でフォークリフト９０が爪９１を上方に持ち上げると、パレット１１０上に載置されている荷物１００をパレット１１０と共に持ち上げることができる。そして、荷物１００及びパレット１１０を持ち上げた状態でフォークリフト９０を移動すれば、荷物１００及びパレット１１０を運搬することができる。

ところで、例えば工場敷地内や倉庫のようにフォークリフトを使用して荷物を運搬する作業現場では、フォークリフトで運搬中の荷物を落下させてしまい、荷物が破損するような事故が度々発生している。

この種の実際の作業では、図２のようにパレット１１０上に載置された状態の荷物１００をパレット１１０ごと下からフォークリフト９０の爪９１で持ち上げてそのまま荷物１００を運搬することになる。

フォークリフトで運搬中の荷物落下の発生頻度は、パレットに載せられた荷物の安定度合に大きく依存する。そのため、運搬中の荷物の落下を未然に防止するために、一般的には運搬する前に、荷物の安定度合を目視等により確認することが望まれる。

フォークリフトで運搬しようとする荷物については、パレットの中央部に重心が位置するように積み上げておくことが理想的である。しかしながら、忙しい作業現場においては慎重な荷物積み上げ作業や、手間のかかる目視の確認作業のために十分な注意を払うことは難しいのが実情である。

一方、フォークリフトで運搬する前や、運搬中に荷物が不安定であることに作業者等が気づいた場合には、その都度、荷物の荷姿を修正することが望ましい。しかし、忙しい作業現場では、手間のかかる荷姿の修正作業を実施する余裕がないので、作業者は「修正しなくても大丈夫だろう」と考えてそのまま荷姿を修正することなく作業を継続してしまう場合がある。

図１に示した車載器１０及びフォークリフト９０の稼働を管理する事務所ＰＣ３０は、フォークリフト９０で運搬中の荷物１００の落下などを防止するために役立つ運転支援機能を備えている。本実施形態では、運転支援に必要な情報を取得するためにフォークリフト９０の車体に取り付けた車載カメラ２３を利用する。

＜車載カメラの取り付け位置、撮影範囲＞
荷物を撮影するための車載カメラ２３とフォークリフト９０との関係の一例を図３に示す。

図３に示した例では、車載カメラ２３がマスト９３の上部に設置され、撮影方向は、水平方向に対して４５度程度下方に傾斜した方向を向くように調整してある。つまり、図３に示した撮影範囲２３Ａの領域が撮影対象になるので、フォークリフト９０の爪９１や、運搬するパレット１１０及び荷物１００を車載カメラ２３で撮影することができる。車載カメラ２３の撮影範囲２３Ａについては、荷物１００及びパレット１１０の略全域を同時に撮影できるように、例えば１２０度程度の広い範囲にしておくことが望ましい。

＜撮影した画像の例＞
荷物１００を撮影するためにフォークリフト９０に設置された車載カメラ２３が撮影した画像の一例を図４に示す。

図４の例では、車載カメラ２３が撮影したカメラ画像２００の中に、地面９８に相当する地面領域２０１や、フォークリフト９０の爪９１に相当する爪パターン２０２が含まれている。図４の例では、荷物１００及びパレット１１０が車載カメラ２３の撮影範囲２３Ａ内には存在しない状況を表している。
また、図４の例ではカメラ画像２００の画面中央上端に近い位置にＦＯＥ（Focus Of Expansion）点（消失点）２０３が存在している。

＜荷役状態判定動作＞
図１に示す車載器１０における荷役状態判定動作の例を図５に示す。また、荷物を撮影する車載カメラ２３の撮影した画像の例を図６～図１１に示す。

車載器１０の制御部１１は、不揮発メモリ２６Ａ上にある所定のプログラムを実行することにより、図５に示した荷役状態判定動作を行うことができる。フォークリフト９０が稼働を開始すると、制御部１１は、車載カメラ２３の撮影範囲２３Ａの中に爪９１が含まれるか否か、すなわち、車載カメラ２３により撮影された映像（画像）に爪９１が映っているか否かを判断する（ステップＳ１１）。爪９１が映っていれば、図６に示すようなカメラ画像２００Ａが得られ、制御部１１はステップＳ１１からステップＳ１２に進む。

図６に示したカメラ画像２００Ａの中には、地面領域２０１に加え、爪パターン２０２が現れている。したがって、例えばカメラ画像２００Ａの内容を制御部１１が画像処理して認識することにより、フォークリフト９０の爪９１の位置を把握できる（ステップＳ１２）。

フォークリフト９０が荷物１００が積載されたパレット１１０に接近すると、図７に示すようなカメラ画像２００Ｂが得られる。したがって、例えばカメラ画像２００Ｂの内容を制御部１１が画像処理して認識することにより、制御部１１は、フォークリフト９０がパレット１１０に積載された荷物１００に接近したことを検知でき（ステップＳ１３でＹＥＳ）、ステップＳ１４に進む。

図７に示したカメラ画像２００Ｂの中には、地面領域２０１及び爪パターン２０２の他に、パレット１１０に相当するパレットパターン２１０と、荷物１００に相当する荷物パターン２２０とが現れている。

したがって、制御部１１はカメラ画像２００Ｂからパレットパターン２１０及び荷物パターン２２０をそれぞれ認識することができる。制御部１１は、ステップＳ１４でパレット１１０の手前側下辺の座標及び荷物１００の特徴点座標の検出を開始する。すなわち制御部１１は、パレットパターン２１０の外郭のうち、パターン中の最も下側（図７の下方側）の角部の各特徴点座標から下辺Ｂを検出して把握する。また、制御部１１は、荷物パターン２２０の外郭のうち、パターン中の最も外側の角部（図７の左右方向における距離が最も長くなる二点）の各座標を検出して荷物１００の特徴点を把握する。図７に示したカメラ画像２００Ｂは逐次更新され、フォークリフト９０の移動に伴ってカメラ画像２００Ｂ中の各パターンの位置及び大きさが変化し、各特徴点も変化するので、下辺Ｂの検出及び荷物１００の特徴点座標の検出は制御部１１により繰り返し実行される。

制御部１１は、ステップＳ１４で検出したパレットパターン２１０の下辺Ｂ及び荷物パターン２２０の特徴点座標に基づき、爪９１がパレット１１０に差し込まれたか否かを検知する（ステップＳ１５）。すなわち、制御部１１は、爪パターン２０２がパレットパターン２１０の下辺Ｂの座標に一致した場合に、爪９１がパレット１１０に差し込まれたことを検知する。

制御部１１は、次のステップＳ１６で、荷物１００における幅方向に離間した二つの特徴点の移動ベクトルＶｃ１、Ｖｃ２及びパレット１１０の移動ベクトルＶｐの計測を開始する。移動ベクトルＶｃ１、Ｖｃ２、Ｖｐの計測は制御部１１により繰り返し実行される。

例えば図８に示したカメラ画像２００Ｃが得られる状態から、フォークリフト９０が前進すると、フォークリフト９０が荷物１００及びパレット１１０に近づくので、カメラ画像２００Ｃ中の各特徴点の座標が時間の経過と共に移動する。具体的には、ＦＯＥ点２０３の位置からその周辺に向かう放射方向に対してそれぞれ特徴点が移動する。カメラ画像２００Ｃ中の各特徴点の移動量は、車載カメラ２３との間の距離及びフォークリフト９０の走行速度に応じて変化する。各特徴点の移動方向及び移動量を表すベクトルが移動ベクトルである。

パレット１１０の移動ベクトルの算出例について説明する。制御部１１によって爪９１がパレット１１０に差し込まれたことが検知された時点における、左右の爪パターン２０２の各内側エッジ（左右の爪パターン２０２のうち、互いに近接するエッジ）とパレットパターン２１０の下辺Ｂとの各交点Ａ１、Ａ２を基準とする。制御部１１は、基準である各交点Ａ１、Ａ２から、爪パターン２０２のうち爪９１の先端部に相当する部分がパレットパターン２１０に覆われて見えなくなった時点における左右の爪パターン２０２の各内側エッジと下辺Ｂとの各交点へのベクトルＶａ１、Ｖａ２をそれぞれ算出する。制御部１１は、交点Ａ１、Ａ２の中間点を、パレット１１０の左右中心に相当するパレットパターン２１０の中心点Ｐとみなし、ベクトルＶａ１、Ｖａ２を合成したベクトルＶｐを、中心点Ｐの移動ベクトルすなわちパレット１１０の移動ベクトルとして算出する。尚、爪９１の先端部は、フォークリフト９０においてリフト操作が行われる際にパレット１１０内部に差し込まれる部分である。

このように、制御部１１は図８中に示すように、パレットパターン２１０における中心点Ｐの移動ベクトルＶｐ、荷物パターン２２０における各特徴点の移動ベクトルＶｃ１、Ｖｃ２を算出することができる。各移動ベクトルＶｃ１、Ｖｃ２及びＶｐは、カメラ画像２００Ｃの更新に伴って変化する。

実際には、ある時刻ｔ１で撮影された第一画像中の荷物パターン２２０の特徴点及びパレットパターン２１０の中心点Ｐ（以下、「特徴点等」とも云う。）の各座標と、一定時間を経過した後の時刻ｔ２で撮影された第二画像中の各座標との間の移動量及び移動方向を算出することで、移動ベクトルＶｃ１、Ｖｃ２、Ｖｐが得られる。

制御部１１は、フォークリフト９０において、荷物１００が積載されたパレット１１０のリフト操作が開始されるまで、逐次変化する移動ベクトルＶｃ１、Ｖｃ２、Ｖｐのそれぞれを算出し、記憶する（ステップＳ１６）。

更に、制御部１１は、ステップＳ１６での算出結果に基づき、パレット１１０の移動ベクトルＶｐを基準として、荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等であるか否かを判断する（ステップＳ１７）。すなわち、制御部１１は、パレット１１０の移動ベクトルＶｐを含む直線、すなわち、中心点ＰとＦＯＥ点２０３とを結ぶ直線（図９中に一点鎖線で示す直線）を基準軸Ｊとする。そして、制御部１１は、この基準軸Ｊに対する、荷物パターン２２０の特徴点の位置や、荷物１００の移動ベクトルＶｃ１、Ｖｃ２の距離や角度に応じて、荷物１００が偏って積載されている異常の有無を判断する。なお、基準軸として、中心点ＰとＦＯＥ点２０３とを結ぶ直線に限らず、中心点Ｐを通過する他の直線を用いることができる。例えば、中心点Ｐからパレットパターン２１０の辺に対して引いた垂線、又は、連続する画像から中心点Ｐの移動ベクトルを求めその移動ベクトルを延長した直線等を用いることができる。また、精度は落ちるものの、画像を左右に二等分する上下方向に延びる直線を基準軸としてもよい。なお、図９のカメラ画像２００Ｄは、図８のカメラ画像２００Ｃにおいて荷物パターン２２０及びパレットパターン２１０の記載を省略したものに相当する。

制御部１１は、ステップＳ１７において荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等であると判断した場合、荷物１００がパレット１１０にバランスよく積載されている（荷物安定）と判定する（ステップＳ１８）。図１０のカメラ画像２００Ｅは、荷物安定と判定された例を示す。カメラ画像２００Ｅにおいて、荷物１００の移動ベクトルＶｃ１、Ｖｃ２は、移動ベクトルＶｐを挟んで、互いに対称に配置されている。なお、制御部１１は、基準軸Ｊに対する荷物１００の移動ベクトルＶｃ１、Ｖｃ２の距離や角度が、互いに大きく異ならない場合には、左右均等と判断してもよい。

一方、制御部１１は、ステップＳ１７において荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等でないと判断した場合、荷物１００がパレット１１０に偏って積載されている異常を検出する（ステップＳ１９）。図１１のカメラ画像２００Ｆは、荷物１００が偏っていると判定された例を示す。カメラ画像２００Ｆにおいて、荷物１００の移動ベクトルＶｃ１、Ｖｃ２は、パレット１１０の移動ベクトルＶｐで左右に二分割された分割領域の一方に双方が位置しており、他方にはいずれの移動ベクトルＶｃ１、Ｖｃ２も位置していない。すなわち、荷物１００の移動ベクトルＶｃ１、Ｖｃ２は、パレット１１０の移動ベクトルＶｐを含む基準軸Ｊから、一方向に離間して位置している。

図１１に示したカメラ画像２００Ｆにおいては、荷物１００を表す荷物パターン２２０が、パレットパターン２１０の上に偏って載置された状況が示されている。図１１のカメラ画像２００Ｆのような状況は、パレット１１０上の荷物１００の状態が非常に不安定であることを意味している。つまり、荷物１００が運搬中にパレット１１０から落下しやすい。そのため、図１１の状況では荷物１００の落下を防止するために運転者に注意喚起して安全な運転を支援する必要がある。

そこで制御部１１は、ステップＳ１９で荷物偏りの異常を検出した場合には、フォークリフト９０の走行速度、及び／又は旋回速度の制限を実行する（ステップＳ２０）。具体的には、走行速度、又は旋回速度が大きい場合に、制御部１１は、音声などのメッセージを出力したり、画面表示などを用いて運転者に注意を喚起したり、運転制限信号ＳＧＡ、又はＳＧＢを制御することにより、フォークリフト９０の運転動作に制限を加える。運転制限信号ＳＧＡ、又はＳＧＢを利用する場合には、例えばフォークリフト９０の走行速度が上がらないように制限したり自動的にブレーキをかける。また、フォークリフト９０の旋回速度が上がらないように旋回動作の速度が上がらないように制限する。この制限により、荷物落下事故を防止できる。

このように、制御部１１は、フォークリフト９０の爪９１とパレット１１０の外郭座標に基づいて基準軸Ｊ（パレット１１０の移動ベクトルＶｐを含む直線）を設定する。そして制御部１１は、この基準軸Ｊに対する、荷物１００の外郭座標（特徴点）の位置や、移動ベクトルＶｃ１、Ｖｃ２の距離及び角度の少なくともいずれか一方に応じて、荷物偏りの異常を検出する。例えば、荷物１００の外郭座標が全て基準軸Ｊに対して一方向に離間した位置にある場合には、荷物１００がパレット１１０の幅方向に偏って配置されていると判定する。車載器１０によれば、荷物１００がパレット１１０上において幅方向に偏って配置されていることを検知できるので、不安定な状態の場合には車速や旋回速度を制限して、荷崩れを未然に防止できる。

また、車載器１０は、左右の爪パターン２０２とパレットパターン２１０の一辺（下辺Ｂ）との各交点Ａ１、Ａ２の中心点Ｐと、ＦＯＥ点２０３とを結ぶ直線を基準軸Ｊとすることで、フォークリフト９０の幅方向中心からの偏りを正確に判定できる。よって、車載カメラ２３がフォークリフト９０の左右方向中心に取り付けられていない場合であっても、フォークリフト９０の幅方向における荷物偏りの有無を正確に判定できる。

＜撮影した画像の他の例＞
図１２及び図１３は、車載カメラ２３を、フォークリフト９０の幅方向中心からずれた位置に取り付けた場合のカメラ画像２００Ｇ、２００Ｈをそれぞれ示す。図１２及び図１３は、車載カメラ２３の画角が１８０°程度である場合の画像例を示す。この車載カメラ２３では、爪９１、荷物１００、パレット１１０に加え、バックレスト９２の上部が撮影され、カメラ画像２００Ｇ、２００Ｈにおいて、爪パターン２０２、荷物パターン２２０、パレットパターン２１０に加え、バックレストパターン２０４が含まれる。

カメラ画像２００Ｇ、２００Ｈにおいても、制御部１１は、図８に示した場合と同様に、パレットパターン２１０の下辺と左右の爪パターン２０２との各交点Ａ１、Ａ２からベクトルＶａ１、Ｖａ２を算出して、中心点Ｐの移動ベクトルＶｐを算出する。また、制御部１１は、荷物１００の移動ベクトルＶｃ１、Ｖｃ２を算出し、移動ベクトルＶｐを基準として、荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等であるか否かを判断する。カメラ画像２００Ｇにおいては、移動ベクトルＶｐを基準として荷物１００の移動ベクトルＶｃ１、Ｖｃ２が対象に配置されており、荷物安定と判定される。一方、カメラ画像２００Ｈにおいては、移動ベクトルＶｐを含む直線（基準軸Ｊ）に対する荷物１００の移動ベクトルＶｃ１、Ｖｃ２の距離及び角度がいずれも異なる（対称でない）。すなわち、カメラ画像２００Ｈにおいては、荷物偏りの異常が検出されるため、車載器１０は、走行速度、旋回速度の制限を実行する。

このように、車載カメラ２３がフォークリフト９０の幅方向中心に取り付けられていない場合であっても、車載器１０は、パレット１１０上の荷物１００が偏って積載されている異常を検知し、走行速度の制限等の実行により荷崩れを未然に防止できる。また、荷物１００（パレット１１０）が地面に置かれていない状況であっても、上述の移動ベクトルＶｐを基準として荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等か否かを判断することにより、車載器１０は、荷物偏りの異常を検出できる。

また、車載器１０は、パレット１１０への爪９１の挿入が開始された時点で撮像された画像と、爪９１の先端部がパレット１１０に挿入された時点で撮像された画像とにおいて、中心点Ｐ及び荷物１００の特徴点の移動ベクトルＶｐ、Ｖｃ１、Ｖｃ２を算出する。さらに車載器１０は、この移動ベクトルＶｐに対して、移動ベクトルＶｃ１、Ｖｃ２が左右均等か否かを判断する。したがって、車載器１０は、リフト操作がされる直前の荷姿の安定性を正確に判定できる。

本発明者らによる先行発明によれば、荷役車両（フォークリフト）に搭載された撮像装置で載置台に載置された荷物の荷姿を撮影した撮影画像に基づいて、荷物が、載置台の奥側に偏って配置されているか否かを判定できた（特願２０２０－０７３０４６参照）。これに対し、本実施形態によれば、上述したように、荷物が載置台の左右に偏っているか否かについて判定できる。したがって、先行発明に係る技術と本実施形態の技術とを組み合わせることで、車載器１０は、荷物が載置台の奥側又は左右に偏って配置されている異常の有無を判定できる。

＜システムの機能上の構成例＞
図１に示した運転支援システムにおける各特徴事項を実現するために必要とされる機能上の構成例を図１４に示す。図１４に示した各機能は、制御部１１又は事務所ＰＣ３０のコンピュータが予め用意したプログラムを実行することにより実現することもできるし、専用の電子回路のハードウェアを用いて実現することもできる。

図１４に示した例では、車載器１０が画像処理部３０２、画像記憶部３０３、爪画像認識部３０４ａ、接近検知部３０４ｂ、爪差込検出部３０４ｃ、パレット画像認識部３０５、荷物画像認識部３０６、パレット辺検出部３０７、荷物外郭座標検出部３０８の各機能を備えている。また、車載器１０が、パレット移動ベクトル算出部３１１、荷物移動ベクトル算出部３１２、荷物偏り異常判定部３１４、警報報知部３１６、走行速度監視部３１７、旋回速度監視部３１８、車両稼働制限部３１９の各機能も備えている。また、車載器１０が、荷物体積算出部３２１、荷物体積記録部３２２、時刻情報管理部３２３、データ記憶部３２４、警報記録部３２５の各機能も備えている。

図１４中に示した機能の一部分については、事務所ＰＣ３０側に配置してもよく、その場合は車載器１０と事務所ＰＣ３０との間のデータ通信、又はメモリカード６５を利用したデータ受け渡しにより、システム全体として適切に動作するように機能させることができる。

画像処理部３０２は、車載カメラ２３から出力される車載カメラ映像３０１を入力して、制御部１１がデータ処理をするのに適した画像データを生成する。画像記憶部３０３は、画像処理部３０２から出力される画像データを一時的に記憶することができる。

爪画像認識部３０４ａは、最新の画像フレームにおける画像データを画像処理部３０２の出力から取り込み、同時に所定時間前（例えば１秒前）に撮影された過去の画像フレームにおける画像データを画像記憶部３０３から読み出して取り込む。そして爪画像認識部３０４ａは、時間の異なる２つの画像フレームのそれぞれについて、爪９１に相当するパターンを認識するための処理を実施する。
接近検知部３０４ｂは、最新の画像フレームにおける画像データに基づいて、荷物１００にフォークリフト９０が接近したことを検知する。
爪差込検出部３０４ｃは、最新の画像フレームにおける画像データ及び過去の画像フレームにおける画像データに基づいて、爪９１とパレット１１０との交点を検出した場合に、爪９１がパレット１１０に差し込まれたことを検出する。

パレット画像認識部３０５は、最新の画像フレームにおける画像データを画像処理部３０２の出力から取り込み、同時に所定時間前（例えば１秒前）に撮影された過去の画像フレームにおける画像データを画像記憶部３０３から読み出して取り込む。そしてパレット画像認識部３０５は、時間の異なる２つの画像フレームのそれぞれについて、パレット１１０に相当するパターンを認識するための処理を実施する。

荷物画像認識部３０６は、最新の画像フレームにおける画像データを画像処理部３０２の出力から取り込み、同時に所定時間前（例えば１秒前）に撮影された過去の画像フレームにおける画像データを画像記憶部３０３から読み出して取り込む。そして、荷物画像認識部３０６は、時間の異なる２つの画像フレームのそれぞれについて、荷物１００に相当するパターンを認識するための処理を実施する。

パレット辺検出部３０７は、パレット画像認識部３０５が認識したパレット１１０のパターンについて、そのパターン外郭の下辺を表す各角部の複数の座標を画像フレーム毎に検出することができる。

荷物外郭座標検出部３０８は、荷物画像認識部３０６が認識した荷物１００のパターンについて、そのパターン外郭を表す各角部の複数の座標を画像フレーム毎に検出することができる。

パレット移動ベクトル算出部３１１は、爪差込検出部３０４ｃが検出した爪９１とパレット１１０との交点の中間点における移動ベクトルを算出する。すなわち、パレット移動ベクトル算出部３１１は、ある画像フレームにおける交点Ａ１、Ａ２の座標と、一定時間前の画像フレームにおける交点Ａ１、Ａ２の座標との間の移動量及び方向として、移動ベクトルをそれぞれ算出する。そしてパレット移動ベクトル算出部３１１は、それらを合成して中心点Ｐの移動ベクトルＶｐを算出する。

荷物移動ベクトル算出部３１２は、荷物外郭座標検出部３０８が検出した荷物１００の各特徴点について、移動ベクトルを算出する。すなわち、荷物移動ベクトル算出部３１２は、ある画像フレームにおける特徴点の座標と、一定時間前の画像フレームにおける特徴点の座標との間の移動量及び方向として、移動ベクトルＶｃ１、Ｖｃ２をそれぞれ算出する。

荷物偏り異常判定部３１４は、荷物位置の偏りに関する異常の有無を判定するための機能を有する。すなわち、荷物偏り異常判定部３１４は、パレット１１０の移動ベクトルＶｐをパレット移動ベクトル算出部３１１から入力する。荷物偏り異常判定部３１４は、パレット１１０の移動ベクトルＶｐをパレット移動ベクトル算出部３１１から入力し、荷物１００の移動ベクトルＶｃ１、Ｖｃ２を荷物移動ベクトル算出部３１２から入力する。そして、荷物偏り異常判定部３１４は、パレット１１０の移動ベクトルＶｐを基準として荷物１００の移動ベクトルＶｃ１、Ｖｃ２が左右均等であるかを、図５のステップＳ１７のように比較することで異常の有無を判定する。

警報報知部３１６は、荷物偏り異常判定部３１４が異常を検知した場合に、異常の発生を表す警報信号ＳＧ０を生成する。

この警報信号ＳＧ０により、例えば音声Ｉ／Ｆ１９が音声信号を生成し、運転者に注意喚起するための音声アナウンスをスピーカ２０から出力する。また、表示部２７の画面上に注意喚起のメッセージが出力される。

走行速度監視部３１７は、車速センサ５１の出力する信号を監視することにより、フォークリフト９０の走行速度を把握し速度が高すぎないかどうかを監視している。旋回速度監視部３１８は、ジャイロセンサ５２が出力する信号に基づいて角速度を監視し、フォークリフト９０の旋回速度が過大になっていないかどうかを監視している。

車両稼働制限部３１９は、荷物偏り異常判定部３１４が異常を検知した場合に、フォークリフト９０の走行速度や旋回速度を制限するための運転制限信号ＳＧＡ、ＳＧＢを生成する。車両稼働制限部３１９は、走行速度監視部３１７、旋回速度監視部３１８の出力を利用して、運転制限信号ＳＧＡ、ＳＧＢを生成する。これらの運転制限信号ＳＧＡ、ＳＧＢはフォークリフト９０側に入力される。

一方、荷物体積算出部３２１は、それぞれの運搬作業において車載器１０を搭載したフォークリフト９０が実際に運搬している荷物１００の体積を算出して把握する。すなわち、運搬する各荷物１００を表すパターン外郭の各特徴点の座標が荷物外郭座標検出部３０８の出力に得られるので、各特徴点の座標から荷物毎の形状や大きさを計算により推定することができる。また、車載カメラ２３の取り付け位置が一定であり、撮影範囲２３Ａも一定であるため、各座標から各特徴点の位置、距離、座標間の寸法を把握することが可能であり、荷物の体積を算出できる。

荷物体積記録部３２２は、荷物体積算出部３２１が算出した各荷物の体積の情報を、時刻情報管理部３２３が出力する現在時刻の情報と共にデータ記憶部３２４に、例えば一定時間おきに逐次記憶する。

時刻情報管理部３２３は、ＲＴＣ部２１の出力から現在時刻の情報を取得する。
警報記録部３２５は、警報報知部３１６が生成した警報の情報を、時刻情報管理部３２３が出力する現在時刻の情報と共にデータ記憶部３２４に記憶する。

データ記憶部３２４に記憶される体積の情報は、作業を行った時刻と関連付けられている。したがって、データ記憶部３２４上に蓄積されているデータを解析することにより、該当するフォークリフト９０の稼働によって、実際に運搬した荷物１００の体積の総量を正確に把握することが可能である。また、警報の発生回数や発生時刻も把握できる。

事務所ＰＣ３０は、それぞれのフォークリフト９０に搭載された車載器１０がデータ記憶部３２４に蓄積しているデータを、無線データ通信などで取得してリアルタイムで管理することにより、全体の作業の進捗状況などを管理することが容易になる。

なお、図５に示した各処理ステップについては、車載器１０上の制御部１１、及び事務所ＰＣ３０の制御部３１のいずれが実行してもよい。

上述した実施形態においては、左右の爪パターン２０２の各内側エッジとパレットパターン２１０の下辺Ｂとの各交点Ａ１、Ａ２の中間点を中心点Ｐとみなし、中心点Ｐの移動ベクトルＶｐを含む直線を基準軸Ｊとしたが、基準軸の求め方はこれに限定されない。例えば、図１５に示すように、左右の爪パターン２０２の各外側エッジとパレットパターン２１０の下辺Ｂとの各交点Ａ１－１、Ａ２－１の中間点を中心点Ｐとしてもよい。そして、各交点Ａ１－１、Ａ２－１を始点とするベクトルＶａ１－１、Ｖａ２－１を合成したベクトルを、中心点Ｐの移動ベクトルＶｐとし、この移動ベクトルＶｐを含む直線を基準軸Ｊとしてもよい。爪パターン２０２の外側エッジを用いることで、爪９１が１つの場合等であっても、爪９１の本数に依存することなく、二枚以上の連続した画像から基準軸Ｊを求めることができる。

ここで、上述した本発明の実施形態に係る荷役状態判定装置、運転支援システム及び運転支援プログラムの特徴をそれぞれ以下［１］～［１０］に簡潔に纏めて列記する。
［１］荷物（１００）が載置された載置台（パレット１１０）を搬送する荷役車両（フォークリフト９０）に取り付けられ、前記荷役車両の一部分（爪９１）と前記荷物と前記載置台とを含む領域を撮像する撮像装置（車載カメラ２３）により撮像された画像を取得する画像取得部（画像処理部３０２、Ｓ１１）と、
前記画像において、前記荷物の外郭座標を検出する荷物座標検出部（荷物外郭座標検出部３０８、Ｓ１４）と、
前記画像を幅方向に二分割する基準軸（Ｊ）に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する判定部（荷物偏り異常判定部３１４、Ｓ１７）と、を備える、
荷役状態判定装置（車載器１０の制御部１１）。
［２］前記画像を幅方向に二等分する、前記画像において上下方向に延びる直線を、前記基準軸として設定する基準軸設定部をさらに備える、
上記［１］に記載の荷役状態判定装置。
［３］前記画像において、前記荷役車両の一部分の外郭座標と、前記載置台の外郭座標とに基づいて前記基準軸を設定する基準軸設定部をさらに備える、
上記［１］に記載の荷役状態判定装置。
［４］前記荷役車両の一部分は、車両本体から突出する爪（９１）であり、
前記基準軸設定部は、前記画像において、前記載置台の幅方向に延びる一辺と前記爪との各交点（Ａ１、Ａ２）の中心点（Ｐ）を通過する直線を、前記基準軸として設定する、
上記［３］に記載の荷役状態判定装置。
［５］前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、
前記基準軸設定部は、前記第一画像における前記各交点である二つの第一交点（Ａ１、Ａ２）を認識し、前記第二画像における前記各交点である二つの第二交点を認識し、前記第一交点から前記第二交点への各移動ベクトル（Ｖａ１、Ｖａ２）を合成し、合成したベクトルを前記中心点の移動ベクトル（Ｖｐ）として算出し、前記中心点の移動ベクトルを含む直線を前記基準軸として設定する、
上記［４］に記載の荷役状態判定装置。
［６］前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、
前記判定部は、
前記第一画像における前記荷物の幅方向に離間した二つの特徴点である第一特徴点を認識し、前記第二画像における前記荷物の幅方向に離間した二つの特徴点である第二特徴点を認識し、前記第一特徴点から前記第二特徴点への各移動ベクトルである荷物移動ベクトル（Ｖｃ１、Ｖｃ２）をそれぞれ算出し、
前記基準軸に対する前記荷物移動ベクトルの距離及び角度の少なくともいずれか一方に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する、
上記［１］から［５］のいずれか一に記載の荷役状態判定装置。
［７］前記画像取得部は、前記載置台に前記爪を挿入する過程におけるいずれかの時点で、前記領域を撮像する、
上記［５］又は［６］に記載の荷役状態判定装置。
［８］前記判定部が、前記荷物が前記基準軸に対して偏って配置されていると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部（Ｓ２０、車両稼働制限部３１９）を備える、
上記［１］～［４］のいずれか一に記載の荷役状態判定装置。
［９］上記［１］～［８］のいずれか一に記載の荷役状態判定装置を有する通信端末（事務所ＰＣ３０）と、
前記撮像装置を有する車載器（１０）と、を備える、
運転支援システム。
［１０］荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータ（制御部１１又は３１）に、
前記荷役車両に取り付けられ、前記荷役車両の一部分（爪９１）と前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップ（画像処理部３０２）と、
前記画像において、前記荷物の外郭座標を検出するステップ（Ｓ１４）と、
前記画像において設定された基準軸に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定するステップ（Ｓ１７）と、
を実行させる運転支援プログラム。

１０ 車載器
１１ 制御部
１２Ａ，１２Ｂ，１３，１４，１６，１８，１９，２９ インタフェース（Ｉ／Ｆ）
１５ ＧＰＳ受信部
１７ 記録部
２０ スピーカ
２１ ＲＴＣ部
２２ スイッチ入力部
２３ 車載カメラ
２３Ａ 撮影範囲
２４ 通信部
２５ 電源部
２６Ａ 不揮発メモリ
２６Ｂ 揮発メモリ
２７ 表示部
２８ Ｇセンサ
３０ 事務所ＰＣ
３１ 制御部
３２ 通信部
３３ 表示部
３４ 記憶部
３５，３８，４８ インタフェース
３６ 操作部
３７ 出力部
４１ マイク
４２ スピーカ
５１ 車速センサ
５２ ジャイロセンサ
５３ 信号出力部
６５ メモリカード
８０ アクセスポイント
９０ フォークリフト
９１ 爪
９２ バックレスト
９３ マスト
９８ 地面
１００ 荷物
１１０ パレット
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ，２００Ｅ，２００F，２００Ｇ，２００Ｈ カメラ画像
２０１ 地面領域
２０２ 爪パターン
２０３ ＦＯＥ点
２１０ パレットパターン
Ｂ 下辺
２２０ 荷物パターン
Ｊ 基準軸

Claims (10)

1. 荷物が載置された載置台を搬送する荷役車両に取り付けられ、前記荷役車両の一部分と前記荷物と前記載置台とを含む領域を撮像する撮像装置により撮像された画像を取得する画像取得部と、
   前記画像において、前記荷物の外郭座標を検出する荷物座標検出部と、
   前記画像を幅方向に二分割する基準軸に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する判定部と、を備える、
   荷役状態判定装置。
2. 前記画像を幅方向に二等分する、前記画像において上下方向に延びる直線を、前記基準軸として設定する基準軸設定部をさらに備える、
   請求項１に記載の荷役状態判定装置。
3. 前記画像において、前記荷役車両の一部分の外郭座標と、前記載置台の外郭座標とに基づいて前記基準軸を設定する基準軸設定部をさらに備える、
   請求項１に記載の荷役状態判定装置。
4. 前記荷役車両の一部分は、車両本体から突出する爪であり、
   前記基準軸設定部は、前記画像において、前記載置台の幅方向に延びる一辺と前記爪との各交点の中心点を通過する直線を、前記基準軸として設定する、
   請求項３に記載の荷役状態判定装置。
5. 前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、
   前記基準軸設定部は、前記第一画像における前記各交点である二つの第一交点を認識し、前記第二画像における前記各交点である二つの第二交点を認識し、前記第一交点から前記第二交点への各移動ベクトルを合成し、合成したベクトルを前記中心点の移動ベクトルとして算出し、前記中心点の移動ベクトルを含む直線を前記基準軸として設定する、
   請求項４に記載の荷役状態判定装置。
6. 前記画像取得部は、第一画像と、前記第一画像の撮像後に撮像された第二画像と、を取得し、 前記判定部は、
   前記第一画像における前記荷物の幅方向に離間した二つの特徴点である第一特徴点を認識し、前記第二画像における前記荷物の幅方向に離間した二つの特徴点である第二特徴点を認識し、前記第一特徴点から前記第二特徴点への各移動ベクトルである荷物移動ベクトルをそれぞれ算出し、
   前記基準軸に対する前記荷物移動ベクトルの距離及び角度の少なくともいずれか一方に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定する、
   請求項１から５のいずれか一項に記載の荷役状態判定装置。
7. 前記荷役車両の一部分は、車両本体から突出する爪であり、
   前記画像取得部は、前記載置台に前記爪を挿入する過程におけるいずれかの時点で、前記領域を撮像する、
   請求項５又は６に記載の荷役状態判定装置。
8. 前記判定部が、前記荷物が前記基準軸に対して偏って配置されていると判定した場合に、前記荷役車両の移動速度及び旋回速度の少なくともいずれか一方を制限する制限部を備える、
   請求項１～７のいずれか一項に記載の荷役状態判定装置。
9. 請求項１～８のいずれか一項に記載の荷役状態判定装置を有する通信端末と、
   前記撮像装置を有する車載器と、を備える、
   運転支援システム。
10. 荷物が載置された載置台を搬送する荷役車両の運転支援を行う運転支援プログラムであって、コンピュータに、
    前記荷役車両に取り付けられ、前記荷役車両の一部分と前記荷物と前記載置台とを含む領域を撮像する撮像装置から、撮像された画像を取得するステップと、
    前記画像において、前記荷物の外郭座標を検出するステップと、
    前記画像において設定された基準軸に対する前記荷物の外郭座標の位置に応じて、前記荷物が前記基準軸に対して偏って配置されているか否かを判定するステップと、
    を実行させる運転支援プログラム。

Images