JP2022158930A - 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム - Google Patents

荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム Download PDF

Info

Publication number
JP2022158930A
JP2022158930A JP2022017039A JP2022017039A JP2022158930A JP 2022158930 A JP2022158930 A JP 2022158930A JP 2022017039 A JP2022017039 A JP 2022017039A JP 2022017039 A JP2022017039 A JP 2022017039A JP 2022158930 A JP2022158930 A JP 2022158930A
Authority
JP
Japan
Prior art keywords
coordinate system
unit
coordinates
distance measuring
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022017039A
Other languages
English (en)
Inventor
孝介 原
Kosuke Hara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Material Handling Systems Co Ltd
Original Assignee
Sumitomo Heavy Industries Material Handling Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Material Handling Systems Co Ltd filed Critical Sumitomo Heavy Industries Material Handling Systems Co Ltd
Priority to JP2022017039A priority Critical patent/JP2022158930A/ja
Publication of JP2022158930A publication Critical patent/JP2022158930A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Ship Loading And Unloading (AREA)

Abstract

【課題】測距センサの位置や姿勢に関する誤差を効果的に検出できる荷揚げ装置を提供する。【解決手段】船荷を荷揚げする荷揚げ装置1は、船200に対して移動可能な走行部2と、走行部2に対して旋回可能な旋回フレーム5と、旋回フレーム5とブーム7を介して連結され船荷を搬出する荷揚げ部9と、荷揚げ部9に設けられ測定対象物との距離を測定する測距センサ191~193と、埠頭102上のレール3等を測距センサ191~193で測定して測距点座標を取得する測距点座標取得部と、測距点座標およびレール3等の既知の座標を同一座標系に変換する座標変換部と、同一座標系において測距点座標とレール3等の既知の座標の誤差を検出する座標誤差検出部とを備える。【選択図】図5

Description

本発明は船の積荷を荷下ろしする荷下ろし装置に関する。
船の積荷を荷下ろしする荷下ろし装置として、船に積まれた船荷を陸に荷揚げする荷揚げ装置が知られている。このような荷揚げ装置のうち、石炭や鉄鉱石等のばら積み貨物またはばら荷を荷役するものはアンローダ(Unloader)とも呼ばれる。また、船に積まれたばら荷を連続的に荷役するという意味で、連続アンローダまたは船舶用連続アンローダ(Continuous Ship Unloader)と呼ばれることもある。本明細書ではその略語であるCSUの表記を用いることがある。
特開2016-160034号公報
CSUには、ばら荷を格納する船庫またはばら荷との距離を測定する測距センサがばら荷を搬出する搬出部に設けられることがある。測距センサで測定された船庫またはばら荷との距離に応じて、CSUの各可動部(後述する移動部、旋回部、搬出部等)を正確に制御できれば、船庫内に挿入された搬出部の船庫への衝突を防止でき、ばら荷を効率的に荷揚げできる。しかし、測距センサの取り付け位置や姿勢に誤差がある場合や、搬出部自体や荷役中のばら荷の重量、温度等の外部環境の変化によって測距センサと各可動部との関係(相対的な位置や姿勢)が変化する場合は、上記の測距センサの効果が減殺する。
本発明はこうした状況に鑑みてなされたものであり、その目的は、測距部の位置や姿勢に関する誤差を効果的に検出できる荷下ろし装置を提供することにある。
上記課題を解決するために、本発明のある態様の荷下ろし装置は、船の積荷を荷下ろしする荷下ろし装置であって、船に対して移動可能な移動部と、移動部に対して旋回可能な旋回部と、旋回部に設けられ、積荷を搬出する搬出部と、搬出部に設けられ、測定対象物との距離を測定する測距部と、移動部が移動する地上を基準とする地上座標系における座標が既知の基準物を測距部で測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する測距点座標取得部と、測距部に対する搬出部の関係、搬出部に対する旋回部の関係、旋回部に対する移動部の関係に基づいて、測距部座標系における測距点座標および地上座標系における基準物の既知の座標を同一座標系に変換する座標変換部と、同一座標系において測距点座標と基準物の既知の座標の誤差を検出する座標誤差検出部とを備える。
この態様によれば、測距部が既知の基準物を測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する。この測距点座標および基準物の既知の座標は座標変換部によって同一座標系に変換され、両座標の誤差が検出される。ここで、「測距部を基準とする測距部座標系」とは、測距部座標系においてその基準となった測距部の位置および姿勢が追跡可能であることを意味する。例えば、測距部を原点とする座標系では、測距部が常に原点にあり姿勢も一定であるため「測距部を基準とする測距部座標系」に該当する。また、「地上を基準とする地上座標系」とは、地上の任意の点、または、地上における位置が既知の物体を原点とする座標系である。例えば、移動部が地上に敷設された既定のレール上を一定姿勢で移動する場合、レール上またはレール外の任意の点を地上座標系の原点としてもよいし、地上における位置が既知の移動部を地上座標系の原点としてもよい。この意味で、移動部を基準とする移動部座標系は、地上座標系の一つである。
本発明の別の態様は、荷下ろし装置の校正方法である。この方法は、船に対して移動可能な移動部と、移動部に対して旋回可能な旋回部と、旋回部に設けられ、船の積荷を搬出する搬出部と、搬出部に設けられ、測定対象物との距離を測定する測距部とを備える荷下ろし装置の校正方法であって、移動部が移動する地上を基準とする地上座標系における座標が既知の基準物を測距部で測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する測距点座標取得ステップと、測距部に対する搬出部の関係、搬出部に対する旋回部の関係、旋回部に対する移動部の関係に基づいて、測距部座標系における測距点座標および地上座標系における基準物の既知の座標を同一座標系に変換する座標変換ステップと、同一座標系において測距点座標と基準物の既知の座標の誤差を検出する座標誤差検出ステップと、座標誤差検出ステップで検出された誤差が小さくなるように、地上座標系と測距部座標系の関係を補正する座標系補正ステップとを備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、測距部の位置や姿勢に関する誤差を効果的に検出できる荷下ろし装置を提供できる。
荷揚げ装置の全体的な構成を示す正面図である。 荷揚げ装置の全体的な構成を示す斜視図である。 荷揚げ部の詳細な構成を示す図である。 測距センサの外観を示す図である。 測距センサの配置例を示す上面図である。 第1実施形態に係る校正装置の機能ブロック図である。 荷揚げ装置に関して設定される各座標系を模式的に示す図である。 荷揚げ装置による基準物の測定例を示す上面図である。 第1実施形態に係る校正装置による測距センサの校正処理例を示すフローチャートである。 第2実施形態に係る校正装置の機能ブロック図である。 第2実施形態に係る校正装置によるカメラの校正処理例を示すフローチャートである。 第3実施形態に係る校正装置の機能ブロック図である。 第3実施形態に係る校正装置による複数の検知部の校正処理例を示すフローチャートである。 第4実施形態に係る異常検知装置の機能ブロック図である。 第4実施形態に係る異常検知装置による異常検知処理例を示すフローチャートである。
以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
図1は、本発明の第1実施形態に係る荷下ろし装置としての荷揚げ装置1の全体的な構成を示す。荷揚げ装置1は船200に積まれた船荷としてのばら荷Mを陸に荷揚げする連続アンローダまたは船舶用連続アンローダである。以下、荷揚げ装置1をCSU1とも表記する。CSU1は港湾等の埠頭102の岸壁101に接岸された船200の船庫201内に格納されたばら荷Mを連続的に陸上へ搬出する。ばら荷Mとしては、石炭、コークス、鉱石等が例示される。CSU1は、その本体部に設けられる主操作室16内の操作者によって操作される。CSU1を操作する操作室は、CSU1の他の場所に設けてもよいし、CSU1外の陸地上の任意の場所に設けてもよい。
船200が接岸する埠頭102は、ばら荷Mが荷揚げされる陸地を構成し、鉄筋コンクリート等の高強度の材料で構成される。図2の斜視図にも示されるように、埠頭102には、岸壁101に接岸して停泊中の船200の長手方向(図1の紙面に垂直な方向)に沿った線路としての一対の平行なレール3が設けられる。レール3はCSU1の移動部としての走行部2が移動可能または走行可能な軌道を構成する。このレール3によってCSU1は停泊中の船200に対して移動可能である。図2に示されるようにレール3の設置方向は停泊中の船200または岸壁101の長手方向と一致させるのが好ましいが、その他の任意の方向としてもよい。また、レール3は曲線部や屈曲部を含んでもよい。船200からの荷揚げの際は、CSU1がレール3上を移動して荷揚げ対象の船庫201の開口部21に接近した位置で停止する。その後、後述する旋回フレーム5(旋回部)および荷揚げ部9(搬出部)を駆動して、船庫201からばら荷Mを荷揚げする。
埠頭102には、荷揚げされたばら荷Mを一定方向に運搬するコンベアとしてのベルトコンベア45が一対のレール3の間に設けられる。図2に示されるようにベルトコンベア45の設置方向すなわち運搬方向はレール3の設置方向と一致させるのが好ましいが、その他の任意の方向としてもよい。また、ベルトコンベア45は曲線部や屈曲部を含んでもよい。ベルトコンベア45は、CSU1から荷揚げされたばら荷Mを受け取る場所では一対のレール3の間に設けられる必要があるが、それ以外の場所では一対のレール3の外側に設けられてもよい。
CSU1は、船200に対して移動可能な移動部としての走行部2と、走行部2に対して旋回可能な旋回部を構成する旋回フレーム5と、旋回フレーム5の先端側に設けられ、ばら荷Mを搬出する搬出部としての荷揚げ部9を備える。旋回フレーム5は走行部2上に鉛直方向(図1の上下方向)の旋回軸の周りに旋回可能に支持される。旋回フレーム5には旋回軸に交差する横方向に延びるブーム7が設けられ、その先端部に荷揚げ部9の主要部を構成するバケットエレベータが支持される。
荷揚げ部9は、旋回フレーム5、ブーム7、平行リンク8との間で構成される平行リンク機構によって、ブーム7の起伏角度(図1の紙面に垂直な起伏軸の周りの回転角度)によらず鉛直姿勢を保つ。また、旋回フレーム5におけるブーム7の先端部とは反対側の後端部にはカウンタウエイト13が設けられる。カウンタウエイト13はバランシングレバー12を介してブーム7の先端部と接続される。このカウンタウエイト13の作用によって荷揚げ部9は実質的に無負荷の状態となり、安定した荷重バランスが実現される。なお、旋回フレーム5、ブーム7、バランシングレバー12、カウンタウエイト13等、旋回部を構成する主要な構成を以下では本体部と総称することがある。
ブーム7の起伏角度を調整するためにシリンダ15が設けられる。シリンダ15が基準長の時は起伏角度が0°、すなわちブーム7は地面に平行または水平(図1の左右方向)である。シリンダ15を基準長より伸ばすとブーム7の先端部が上昇し、正の起伏角度が生じる。シリンダ15を基準長より縮めるとブーム7の先端部が下降し、負の起伏角度が生じる。ブーム7の先端部に支持された荷揚げ部9は、ブーム7の起伏角度が大きくなると鉛直姿勢を保ったまま上昇し、ブーム7の起伏角度が小さくなると鉛直姿勢を保ったまま下降する。
CSU1を操作する主操作室16は本体部に設けられる。具体的には、旋回フレーム5の荷揚げ部9側に主操作室16が設けられる。主操作室16内の操作者は荷揚げ部9を視認しながら安全にCSU1を操作できる。主操作室16の操作に応じて、走行部2の位置、旋回フレーム5の旋回角度、ブーム7の起伏角度等のCSU1の位置や姿勢に関するパラメータが制御される。また、荷揚げ部9によるばら荷Mの搬出動作も主操作室16によって操作可能である。
荷揚げ部9は、ばら荷Mを掻き取る掻き取り部11と、掻き取られたばら荷Mを上方に運搬するエレベータ部としてのバケットエレベータを備える。掻き取り部11は荷揚げ部9の下部に設けられ、その外周に沿って移動可能に設けられた多数のバケット27(図3参照)によって船庫201内のばら荷Mを連続的に掘削して掻き取る。掻き取られたばら荷Mは、バケットエレベータによってバケット27と共に上方に運搬される。
図3は、荷揚げ部9の詳細な構成を示す。バケットエレベータは、鉛直方向に延伸する筒状のエレベータ本体14と、エレベータ本体14に対して周回運動するチェーンバケット29を備える。チェーンバケット29は、それぞれが無端チェーンで構成される一対のローラチェーン25と、当該一対のローラチェーン25によって両側が支持される複数のバケット27を備える。具体的には、一対のローラチェーン25は図3(B)の紙面に垂直な方向に並設され、各バケット27は一対のローラチェーン25の間に吊り下げられるように取り付けられる。
バケットエレベータは、架け渡されたローラチェーン25をガイドする駆動ローラ31aと、従動ローラ31b、31cと、転向ローラ33を備える。駆動ローラ31aは、バケットエレベータの最上部9aに設けられ、図示しないモータ等によって回転駆動されることでチェーンバケット29を周回運動させる。従動ローラ31bは掻き取り部11の前方(図3(B)の左方)に設けられ、従動ローラ31cは掻き取り部11の後方(図3(B)の右方)に設けられ、それぞれ周回運動するチェーンバケット29をガイドする。転向ローラ33は駆動ローラ31aの下方に設けられる従動ローラであり、周回運動するチェーンバケット29をガイドすると共に、その運動方向を転換する。従動ローラ31bと従動ローラ31cの間には伸縮可能なシリンダ35が設けられる。このシリンダ35が伸縮すると、両従動ローラ31b、31cの軸間距離が変わり、チェーンバケット29の周回運動の軌道が変わる。シリンダ35の伸縮制御は、主操作室16の操作で行ってもよいし、CSU1に組み込まれたコンピュータがプログラムに従って自動的に行ってもよい。なお、ローラチェーン25が2本設けられることに対応して、駆動ローラ31a、従動ローラ31b、31c、転向ローラ33も、それぞれ2個設けられ、図3(B)の紙面に垂直な方向に並設される。
駆動ローラ31aの回転駆動によって、チェーンバケット29はエレベータ本体14に対して周回運動する。例えば、チェーンバケット29は図3(B)に示される矢印Wに沿って反時計回りに周回運動する。このとき、チェーンバケット29は、バケットエレベータの最下部に設けられる掻き取り部11と、バケットエレベータの最上部9aに設けられる駆動ローラ31aの間で往復する。
チェーンバケット29の各バケット27は、その開口部を上方に向けた姿勢を保ってエレベータ本体14内を上昇する。バケットエレベータの最上部9aにおいて各バケット27が駆動ローラ31aを通過する際、その運動方向が上向きから下向きに変化するのに伴って、各バケット27の開口部も上向きから下向きに転回する。このように下向きに転回した各バケット27の開口部の下方には図示しない排出シュートが設けられ、各バケット27が掻き取ったばら荷Mが排出される。排出シュートは、荷揚げ部9の上部の外周に設けられる回転フィーダ37(図1)上にばら荷Mを排出する。
回転フィーダ37は、エレベータ本体14の延伸方向すなわち鉛直方向の回転軸の周りに回転し、排出シュートから排出されたばら荷Mをブーム7のブームコンベア39に移送する。ブームコンベア39はブーム7内でばら荷Mを旋回フレーム5の旋回軸の近傍まで搬送し、そこに設けられる図示しないホッパに供給する。ホッパの吐き出し口の下方の走行部2内にはばら荷Mを受ける機内コンベア43が設けられる。機内コンベア43は、陸地としての埠頭102に設けられる前述のベルトコンベア45にばら荷Mを移送する。
続いて、以上の構成を備えるCSU1の基本的な荷揚げ動作を説明する。
CSU1の操作者は主操作室16でCSU1を操作する。初めにレール3上で走行部2を走行させ、荷揚げ対象の船庫201の開口部21に接近した位置に停止させる。続いて、上面視(図1の上方から見た場合)で走行部2と重なる位置に設けられる鉛直方向の旋回軸を中心に旋回フレーム5を旋回させ、ブーム7の先端部に設けられる荷揚げ部9を荷揚げ対象の船庫201の開口部21の上方に移動させる。ここで、荷揚げ部9が埠頭102や船200に衝突しないように、ブーム7を正方向(図1の時計回り方向)に起伏させ、荷揚げ部9が上昇した状態で走行動作および旋回動作を行うのが好ましい。続いて、ブーム7を負方向(図1の反時計回り方向)に起伏させ、荷揚げ部9の先端に設けられる掻き取り部11を開口部21から船庫201内に挿入する。なお、走行部2の移動、旋回フレーム5の旋回、ブーム7の起伏は同時に行ってもよい。
掻き取り部11が船庫201内に挿入された後、ローラチェーン25を矢印Wに沿って周回運動させる。ローラチェーン25に取り付けられた複数のバケット27は、ローラチェーン25と一体的に周回運動をする際に、船庫201内に格納されたばら荷Mを掘削して掻き取る。各バケット27で掻き取られたばら荷Mは、ローラチェーン25の周回運動に伴ってエレベータ本体14内で上方に運搬される。
掻き取り部11は、船庫201内の各所のばら荷Mを効率的に掻き取るために船庫201内の三次元位置を適宜変更する。例えば、荷揚げ作業の進捗に応じてばら荷Mの表面位置が低くなった場合、ブーム7を負方向に起伏させて掻き取り部11を下降させる。また、船庫201の壁付近のばら荷Mを掻き取るために、走行部2および/または旋回フレーム5を操作して、掻き取り部11の水平面内の位置を変更してもよい。掻き取り部11は三次元位置だけでなく姿勢や形状も変更できる。例えば、掻き取り部11はエレベータ本体14の延伸方向すなわち鉛直方向の回転軸の周りに回転可能であり、その向きを任意に変更可能である。また、図3(B)に一点鎖線で示されるように、掻き取り部11は垂直方向に収縮し水平方向に伸長した傾斜形状または横長形状を取ることができる。これにより、開口部21から壁までの水平距離が大きい船庫201であっても、掻き取り部11を壁に近づけて効率的にばら荷Mを掻き取れる。
以上のような船庫201内での掻き取り部11の位置、姿勢、形状の変更は、後述する測距センサやカメラを利用してCSU1が自律的に行ってもよいし、船庫201内にいる作業員と連絡を取りながら主操作室16にいる操作者がマニュアルで行ってもよい。
船庫201内のばら荷Mを掻き取ったバケット27はエレベータ本体14内を上昇し、その最上部9aで駆動ローラ31aを通過する際に上向きから下向きに転回する。バケット27の転回によって落下したばら荷Mは排出シュートに入り、回転フィーダ37上に排出される。以降、ばら荷Mは、ブームコンベア39および機内コンベア43を経て、陸地としての埠頭102に設けられるベルトコンベア45に移送される。以上のような搬出動作が複数のバケット27によって繰り返し行われることで、船庫201内のばら荷Mが連続的に陸揚げされる。
続いて、荷揚げの安全性と効率性を向上させるためにCSU1に設けられる測距センサについて説明する。
図1に示されるように、荷揚げ部9の上部には下方および側方にある測定対象物との距離を測定する複数の測距センサ19が設けられる。図示の荷揚げ時では、開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、掻き取り部11、船200、ブーム7/旋回フレーム5/走行部2/主操作室16等のCSU1の他の部分、岸壁101、埠頭102、レール3、ベルトコンベア45等が測距センサ19の測定対象物となる。複数の測距センサ19は、例えば、筒状のエレベータ本体14の上部に、当該エレベータ本体14の外周を囲むように配置されてもよい。あるいは、複数の測距センサ19は、エレベータ本体14の上部を旋回可能に支持するフランジ部91に、エレベータ本体14の外周を囲むように設けてもよい。複数の測距センサ19の下方および側方の測定範囲にブーム7が入らないように、複数の測距センサ19は荷揚げ部9とブーム7の接続部分より下方に設けられるのが好ましい。一方、複数の測距センサ19が荷揚げ部9とブーム7の接続部分より上方に設けられる場合、上面視(図1の上方から見た場合)で各測距センサ19をブーム7と重ならない位置に設ければよい。複数の測距センサ19の上面視での配置については後述する。なお、測距センサ19の数は任意である。例えば、荷揚げ部9の下方を中心に測距する測距センサ19と、荷揚げ部9の側方を中心に測距する測距センサ19を、それぞれ任意の数設けてもよい。
荷揚げ部9の下部の掻き取り部11には上方、側方、下方にある測定対象物との距離を測定する複数の測距センサ18が設けられる。図示の荷揚げ時では、開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、ブーム7等のCSU1の他の部分等が測距センサ18の測定対象物となる。測距センサ18は、掻き取り部11の前部(図1の左側部分)と後部(図1の右側部分)にそれぞれ設けられる。掻き取り部11のバケット27が掻き取ったばら荷Mの粉塵等による測定精度の悪化を避けるため、複数の測距センサ18はバケット27がばら荷Mを掘削する箇所(掻き取り部11の下部)から離れた位置(掻き取り部11の上部)に設けられるのが好ましい。なお、測距センサ18の数は任意である。例えば、掻き取り部11の側方を中心に測距する測距センサ18と、掻き取り部11の下方を中心に測距する測距センサ18を、それぞれ任意の数設けてもよい。
図4は、測距センサ18、19の外観を示す。測距センサ18、19は測距可能なレーザセンサであり、測定対象物にレーザ光を送る送波部としてのレーザ発光部(図示せず)と、測定対象物で反射したレーザ光を受ける受波部としてのレーザ受光部(図示せず)を備え、測定対象物との距離を測定する測距部を構成する。測距センサ18、19の円柱状の筐体17の側面の全周に亘ってレーザ光が透過可能な透光部171が無端帯状に形成される。
筐体17内の透光部171に対向する位置に複数のレーザ発光部が設けられ、透光部171を介して筐体17外に直線状のレーザ光を発射する。各レーザ発光部は筐体17の軸Aの方向(図4の上下方向)に沿って所定間隔を置いて配置されるが、図4では簡易的に一点からレーザ光が発射されるように示す。また、模式的に図示されるように、各レーザ発光部の発射角度には互いに0.1°~3°程度の差異が設けられる。このような構成によって、測距センサ18、19は、筐体17の軸Aに垂直な面を基準面Sとして、基準面Sの上下の所定角度範囲内(図ではθ-~θ+の範囲内)にレーザ光を照射できる。θ-およびθ+は任意に設計可能だが、以下では-θ-=θ+=15°とする。このとき測距センサ18、19は基準面Sを中心とする±15°の範囲内にレーザ光を照射する。また、これらの複数のレーザ発光部は筐体17の軸Aの周りに360°回転可能に一体的に設けられる。このような構成によって、測距センサ18、19は、筐体17の周囲(側方)にある全ての測定対象物にレーザ光を照射できる。なお、CSU1や船200の内部や周囲にいる人を妨害しないように、近赤外線等の非可視波長のレーザ光を用いるのが好ましい。
測距センサ18、19は、複数のレーザ発光部を一体的に回転させながら、所定の回転角度毎にパルス状のレーザ光を発射させる。各レーザ発光部が発射したパルス状のレーザ光は、測定対象物で反射または散乱して測距センサ18、19に戻り、筐体17内に各レーザ発光部と共に設けられるレーザ受光部で受けられる。測距センサ18、19の演算部(図示せず)は、レーザ発光部がレーザ光のパルスを発射してからレーザ受光部が反射したレーザ光のパルスを受けるまでの時間に基づき、測定対象物との距離を演算する。この技術はLIDAR(Light Detection and RangingまたはLaser Imaging Detection and Ranging)とも呼ばれる。
以上では測距センサ18、19の例としてレーザセンサを挙げたが、測距センサ18、19はその他の電磁波を用いるセンサでもよい。例えば、波長が1mm~10mm程度のいわゆるミリ波を用いたミリ波センサを測距センサ18、19として用いてもよい。ミリ波は、周波数が30GHz~300GHz程度と高いため、直進性が高くレーザと同様に扱える。ミリ波センサは図4のレーザセンサと同様に構成でき、レーザ発光部の代わりに測定対象物にミリ波を送るミリ波送信部を、レーザ受光部の代わりに測定対象物で反射したミリ波を受けるミリ波受信部を設ければよい。また、Time of Flight(ToF)方式のイメージセンサのように、レーザ光に限らない光を用いた光学センサを測距センサ18、19として用いてもよい。また、測距センサ18、19は、測定対象物に電磁波を送る送波部を備えないものでもよい。例えば、測定対象物を異なる方向から同時に撮影することで測距可能なステレオカメラ等を測距センサ18、19として用いてもよい。
図4の測距センサ18、19は測定目的に応じた任意の姿勢で図1のCSU1に取り付けられる。例えば、掻き取り部11の測距センサ18は、図4の軸Aが鉛直方向で基準面Sが水平面となるように取り付けられる。このとき、測距センサ18は掻き取り部11の側方を中心に船庫201内を測距できる。また、測距センサ18は、図4の軸Aが水平方向で基準面Sが鉛直面となるように取り付けられてもよい。このとき、測距センサ18は掻き取り部11の上方の開口部21や掻き取り部11の下方のばら荷Mを測距できる。なお、測距センサ18の軸Aの向きは鉛直方向または水平方向に限らず任意の向きでよい。
荷揚げ部9の上部の測距センサ19は、図4の軸Aが水平方向で基準面Sが鉛直面となるように取り付けられる。このとき、測距センサ19は下方にある船庫201の開口部21の縁や船庫201内のばら荷M等を測距できる。なお、この測距センサ19は上方にもレーザ光を発射できるが、上方には測定対象物が存在しないため、測距センサ19の上側を遮光性のカバーで覆う等によって上方の測距が無効化される。また、測距センサ19は、図4の軸Aが鉛直方向で基準面Sが水平面と平行になるように取り付けられてもよい。このとき、測距センサ19は側方にある船庫201外の測定対象物を効率的に測距できる。測距センサ19の軸Aの向きは水平方向または鉛直方向に限らず任意の向きでよいが、以下では水平方向の場合を詳細に説明する。
以上のような測距センサ18、19を荷揚げ部9に設けることで、開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、掻き取り部11等の各種の測定対象物の位置を正確に把握できる。したがって、荷揚げ中の荷揚げ部9が他の物と衝突するのを防止でき、ばら荷Mを効率的に荷揚げできる。
図5は、測距センサ19の配置例を上面視で示す。測距センサ19として三つの測距センサ191、192、193が、フランジ部91またはエレベータ本体14の外周を囲むように配置される。測距センサ191は、図4の軸Aが図5の左右方向で、図4の基準面Sに対応する基準面S1が図5の上下方向になるように配置される。測距センサ191は基準面S1を中心とする±15°の範囲内にレーザ光を照射して測距する。測距センサ192、193は、図4の軸Aが図5の上下方向で、図4の基準面Sに対応する基準面S2、S3が図5の左右方向になるように配置される。測距センサ192、193は基準面S2、S3を中心とする±15°の範囲内にレーザ光を照射して測距する。測距センサ192、193の基準面S2、S3は互いに平行な異なる平面であり、測距センサ191の基準面S1と直交する。
CSU1は図5に示される姿勢を荷揚げ時の基本姿勢として船庫201からばら荷Mを搬出する。この基本姿勢において、走行部2は船庫201の正面位置からずれた位置にあり、旋回フレーム5およびブーム7は走行部2の軌道を構成するレール3に対して鋭角をなす旋回位置にある。このとき、荷揚げ部9は船200の船庫201の上方にあり、その下部の掻き取り部11が開口部21から船庫201内に挿入される。
船庫201の開口部21は、船200の進行方向(図5の左右方向)に長尺の矩形状であることが多い。この場合、開口部21の短辺(図5の上下方向の辺)に平行にレーザ光を照射する測距センサ191によって、開口部21の上辺の縁E11および下辺の縁E12を検出できる。なお、縁E11、E12の中心に示す点は測距センサ191の基準面S1上のレーザ光が開口部21の縁に当たる位置を表し、それを囲む矩形は基準面S1を中心とする±15°の範囲内に照射されたレーザ光が開口部21の縁に当たる範囲を模式的に表す。以下、測距センサ192、193についても同様の表記を用いる。
同様に、開口部21の長辺(図5の左右方向の辺)に平行にレーザ光を照射する測距センサ192、193によれば、開口部21の左辺の縁E21、E31および右辺の縁E22、E32を検出できる。二つの測距センサ192、193を用いることで、短尺方向に比べて測距難易度が高い長尺方向でも高精度に測距できる。このように図5の測距センサ191、192、193の配置は、長方形などの一方向に長尺な形状の開口部21の縁の検出に好適である。
なお、CSU1が図5に示される基本姿勢にない場合でも、荷揚げ部9が上面視で開口部21内にあれば、三つの測距センサ191、192、193によって、E11、E12、E21、E22、E31、E32に相当する開口部21の縁上の六つの測距点群を取得でき、開口部21の位置を正確に把握できる。
また、CSU1の荷揚げ時の基本姿勢は図5に示すものに限らず、例えば、走行部2が船庫201の正面にあり、旋回フレーム5およびブーム7がレール3に対して直角をなす姿勢を基本姿勢としてもよい。この場合、ブーム7の延伸方向が開口部21の短辺方向に一致するため、測距センサ191の基準面S1はブーム7の延伸方向と平行になり、測距センサ192、193の基準面S2、S3はブーム7の延伸方向と垂直になる。ここで、測距センサ191、192、193を筒状のエレベータ本体14の軸の周りに一体的に回転可能とすれば、CSU1の荷揚げ時の基本姿勢の変更に応じて、上記の長尺形状の開口部21に好適な測距センサ191、192、193の配置を容易に実現できる。
上記の測距センサ19の数および配置は一例に過ぎず、任意の数および配置を採用できる。測距センサ19の数は、上面視で荷揚げ部9を囲む開口部21の形状を効率的に測定するために、少なくとも2個とするのが好ましい。より好ましくは3個以上とする。複数の測距センサ19は、フランジ部91またはエレベータ本体14の外周に沿って等間隔で配置してもよい。この場合の各測距センサ19の設置姿勢は任意であるが、例えば、各測距センサ19の基準面Sがフランジ部91またはエレベータ本体14の外周と接するように設置する。このように対称的な配置とすれば、CSU1の荷揚げ時の姿勢によらず安定的に開口部21の形状を測定できる。
以上のような測距センサ18、19で測定された船庫201内外の測定対象物との距離に応じて、CSU1の各可動部、すなわち、移動可能な走行部2、旋回可能な旋回フレーム5、起伏可能なブーム7、回転および変形可能な掻き取り部11等を制御することで、荷揚げ中の荷揚げ部9が船庫201内外の他の物と衝突するのを防止でき、ばら荷Mを効率的に荷揚げできる。しかし、測距センサ18、19の取り付け位置や姿勢に誤差がある場合や、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によって測距センサ18、19とCSU1の各可動部との関係(相対的な位置および姿勢)が変化する場合は、上記の測距センサ18、19の効果が減殺する。そこで本実施形態では測距センサ18、19から最大の効果を得るため、測距センサ18、19の取り付け位置や姿勢の誤差や測距センサ18、19とCSU1の各可動部との関係の変化を校正(キャリブレーション)または補正する校正装置300が設けられる。
図6は、校正装置300の機能ブロック図である。校正装置300は、測距点座標取得部301と、座標変換部302と、座標誤差検出部303と、座標系補正部304を備える。これらの機能ブロックは、CSU1内外のコンピュータの中央演算処理装置、メモリ、入力装置、出力装置、コンピュータに接続される周辺機器等のハードウェア資源と、それらを用いて実行されるソフトウェアの協働により実現される。コンピュータの種類や設置場所は問わず、上記の各機能ブロックは、単一のコンピュータのハードウェア資源で実現してもよいし、複数のコンピュータに分散したハードウェア資源を組み合わせて実現してもよい。
校正装置300の各機能ブロックを説明する前に、その前提となる座標系を説明する。図7は、CSU1に関して設定される各座標系を模式的に示す。図7(A)は走行部2、旋回フレーム5、ブーム7、荷揚げ部9を含む鉛直面内のCSU1の模式図であり、図7(B)は上面視のCSU1の模式図である。図7(A)は、図7(B)において斜め左下に延伸するブーム7を含む面による断面図である。
座標系uは、走行部2が走行する地上を基準とする地上座標系(または走行部2を基準とする移動部座標系)であり、xyz直交座標系におけるx軸としてのu軸と、y軸としてのu軸と、z軸としてのu軸によって定められる。座標系uの原点はレール3が構成する走行部2の軌道上に設けられ、u軸の方向は走行部2の移動方向であるレール3の敷設方向と一致し、u軸の方向は水平面内でu軸と直交する方向であり、u軸の方向は鉛直方向である。
ここで「座標系uが地上を基準とする地上座標系である」とは、座標系uが、地上の任意の点、または、地上における位置が既知の物体を原点とすることを意味する。例えば、地上座標系uは、走行部2が設置される陸地としての埠頭102上の任意の位置を原点とする座標系としてもよいし、地上における位置が既知の走行部2を原点とする座標系としてもよい。なお、地上座標系uは走行部2を基準とする移動部座標系でもある。ここで「座標系uが走行部2を基準とする移動部座標系である」とは、座標系uにおいてその基準である走行部2の位置および姿勢が正確に追跡可能であることを意味する。図示の例では、座標系uにおいて走行部2は一定姿勢でu軸方向のみに移動するため、そのu座標およびu座標は変化しない(以下では説明を簡素化するため走行部2のu座標およびu座標を0とする)。走行部2のu座標は、走行部2のレール3上の位置xtlを測定する位置センサ等によって正確に追跡できる。このように、座標系uにおける走行部2の三次元座標(u,u,u)=(xtl,0,0)および姿勢が正確に追跡可能であるため、座標系uは走行部2を基準とする移動部座標系である。なお、図示の例では説明の簡素化のためにu軸の方向をレール3の敷設方向と一致させたが、地上座標系uの各軸の方向は任意に設定できる。
座標系rは、旋回フレーム5を基準とする旋回部座標系であり、xyz直交座標系におけるx軸としてのr軸と、y軸としてのr軸と、z軸としてのr軸によって定められる。座標系rの原点は、図7(B)の上面視で旋回フレーム5の旋回中心Oと一致し、図7(A)の断面視で旋回中心O直下の陸地上の点と一致する。r軸の方向はu軸の方向に対して旋回角θだけ旋回しており、r軸の方向は水平面内でr軸と直交する方向(上面視の図7(B)におけるブーム7の延伸方向)であり、r軸の方向は鉛直方向である。
ここで「座標系rが旋回フレーム5を基準とする旋回部座標系である」とは、座標系rにおいてその基準である旋回フレーム5の旋回中心Oの位置および姿勢が正確に追跡可能であることを意味する。図示の例では、上面視で旋回中心Oが座標系rの原点と一致するため、そのr座標およびr座標は0である。また、旋回中心Oのr座標は陸地からの高さhで一定である。また、旋回フレーム5の姿勢を表す旋回角θは角度センサ等によって測定可能である。このように、座標系rにおける旋回フレーム5の旋回中心Oの三次元座標(r,r,r)=(0,0,h)および姿勢が正確に追跡可能であるため、座標系rは旋回フレーム5を基準とする旋回部座標系である。なお、旋回部座標系rは、旋回部を構成する旋回フレーム5、ブーム7、カウンタウエイト13や、旋回部と一体的に旋回可能な主操作室16上の任意の位置を原点とする座標系としてもよい。また、図示の例では説明の簡素化のためにr軸の方向を上面視でブーム7の延伸方向と一致させたが、旋回部座標系rの各軸の方向は任意に設定できる。
座標系bは、ブーム7および荷揚げ部9を基準とする起伏部座標系であり、xyz直交座標系におけるx軸としてのb軸と、y軸としてのb軸と、z軸としてのb軸によって定められる。座標系bの原点は、ブーム7と荷揚げ部9の連結部分に設けられる。b軸の方向は水平方向かつ図7(B)の上面視でブーム7の延伸方向と一致する方向であり、b軸の方向は水平面内でb軸と直交する方向であり、b軸の方向は鉛直方向である。
ここで「座標系bがブーム7および荷揚げ部9を基準とする起伏部座標系である」とは、座標系bにおいてその基準である起伏中心Oの位置および姿勢が正確に追跡可能であることを意味する。図示の例では、ブーム7が基端側の起伏中心Oの周りに起伏角θだけ起伏している。図7(A)に示されるように座標系bの原点と起伏中心のOの距離をLb1とすれば、座標系bにおける起伏中心Oの座標(b,b,b)は(0,-Lb1cosθ,-Lb1sinθ)である。また、起伏部の姿勢を表す起伏角θは角度センサ等によって測定可能である。このように、座標系bにおける起伏中心Oの位置および姿勢が正確に追跡可能であるため、座標系bはブーム7および掻き取り部9を基準とする起伏部座標系である。なお、起伏部座標系bの原点は、起伏部を構成するブーム7上の任意の点でよく、例えば起伏中心Oを起伏部座標系bの原点としてもよい。この場合、各軸の方向は図示のままとして、ブーム7と掻き取り部9の連結部分の座標(b,b,b)は(0,Lb1cosθ,Lb1sinθ)となる。また、図示の例では説明の簡素化のためにb軸の方向を上面視でブーム7の延伸方向と一致させたが、起伏部座標系bの各軸の方向は任意に設定できる。
座標系lは、測距センサ19を基準とする測距部座標系であり、xyz直交座標系におけるx軸としてのl軸と、y軸としてのl軸と、z軸としてのl軸によって定められる。座標系lの原点は、測距センサ19の取り付け位置に設けられる。l軸の方向は水平方向かつ図7(B)の上面視でブーム7の延伸方向と一致する方向であり、l軸の方向は水平面内でl軸と直交する方向であり、l軸の方向は鉛直方向である。図5の測距センサ191~193のように測距センサが複数設けられる場合、座標系lは複数の測距センサに共通としてもよいし、測距センサごとに座標系lを設定してもよい。
ここで「座標系lが測距センサ19を基準とする測距部座標系である」とは、座標系lにおいてその基準である測距センサ19の位置および姿勢が正確に追跡可能であることを意味する。上記の例では、座標系lの原点と一致する測距センサ19の三次元座標(l,l,l)は常に(0,0,0)であり姿勢も一定である。なお、測距部座標系lは、測距センサ19が取り付けられる荷揚げ部9の上部における任意の位置を原点としてもよい。この場合、荷揚げ部9の上部における各測距センサ19の取り付け位置および姿勢を記録しておけば、測距部座標系lの原点に対する各測距センサ19の位置および姿勢を算出できる。また、図示の例では説明の簡素化のためにl軸の方向を上面視でブーム7の延伸方向と一致させたが、測距部座標系lの各軸の方向は任意に設定できる。
座標系dは、測距センサ18を基準とする測距部座標系であり、xyz直交座標系におけるx軸としてのd軸と、y軸としてのd軸と、z軸としてのd軸によって定められる。座標系dの原点は、エレベータ本体14と掻き取り部11の連結部分に設けられる。d軸の方向は水平方向かつ図7(B)の上面視で掻き取り部11(図示せず)の延伸方向と一致する方向であり、d軸の方向は水平面内でd軸と直交する方向であり、d軸の方向は鉛直方向である。図7(B)に示されるように、d軸の方向は、b軸およびr軸の方向すなわち上面視のブーム7の延伸方向に対して回転角θだけずれている。これは、掻き取り部11がエレベータ本体14の軸の周りにθだけ回転していることを示す。
ここで「座標系dが測距センサ18を基準とする測距部座標系である」とは、座標系dにおいてその基準である測距センサ18の位置および姿勢が正確に追跡可能であることを意味する。図1において掻き取り部11上の複数の測距センサ18の取り付け位置および姿勢は既知であるため、エレベータ本体14と掻き取り部11の連結部分にある測距部座標系dの原点に対する各測距センサ18の三次元座標および姿勢を算出できる。なお、測距部座標系dの原点は掻き取り部11上の任意の位置でよく、例えば、測距センサ18の取り付け位置を測距部座標系dの原点としてもよい。ここで、図1のように測距センサ18が複数設けられる場合、座標系dは複数の測距センサに共通としてもよいし、測距センサごとに座標系dを設定してもよい。また、図示の例では説明の簡素化のためにd軸の方向を鉛直方向としたが、測距部座標系dの各軸の方向は任意に設定できる。
なお、図7(A)では、エレベータ本体14の軸方向と直交する方向に延伸する矩形として掻き取り部11を示したが、図7(C)に模式的に示すように、ばら荷Mを掻き取る主要部11Aと、エレベータ本体14に対して屈曲可能な屈曲部11Bによって掻き取り部11を構成してもよい。この場合も測距部座標系dの原点は、掻き取り部11上すなわち主要部11Aおよび屈曲部11B上の任意の位置に設定できる。後述する座標変換においては、屈曲部11Bの屈曲角θも考慮される。
続いて、図6の校正装置300の各機能ブロックを説明する。測距点座標取得部301は、走行部2が走行する地上を基準とする地上座標系uにおける座標が既知の基準物を測距センサ18、19でそれぞれ測定し、当該測距センサ18、19をそれぞれ基準とする測距部座標系l、dにおける測距点座標を取得する。
図8は、CSU1による基準物の測定例を上面視で示す。この例では旋回フレーム5の旋回角度が互いに45°ずつ異なる8つの測定位置P1~P8が設けられる。CSU1は各測定位置P1~P8で、測距センサ18(図示せず)および測距センサ19(191~193)によって基準物を測定する。基準物とは、校正装置300によるCSU1の校正に利用される地上座標系uの座標が既知の任意の静止物である。図7に関して説明したように、地上座標系uの原点は埠頭102上の任意の位置でよい。したがって、埠頭102上の任意の静止物を基準物として利用できる。好ましくは、測距センサ18、19で測定しやすい線状の縁およびその両側に平面を有する構造物を基準物として利用する。例えば、図8に示される岸壁101、レール3、ベルトコンベア45は長尺の直線状の縁およびその両側に広い平面を有するため基準物として好適である。また、図7で示した地上座標系uの原点は走行部2の軌道上に設けられるため、当該軌道に沿って配置された構造物であるレール3、ベルトコンベア45は基準物として特に好適である。詳細は後述するが、この場合、測距センサ18、19による基準物の測距情報のうち、基準物が延伸する方向のu座標のみを実質的に考慮すればよいので、効率的にCSU1を校正できる。さらに、測距センサ18、19の測距精度を上げるため、測距センサ18、19からのレーザ光の反射性能が高いリフレクタを、レール3やベルトコンベア45に沿って配置してもよい。
測定位置P1は図5に示したものである。荷揚げ時を示す図5では荷揚げ部9の下方に船200が存在したが、CSU1の校正のために基準物を測距する際は船200が存在しなくてもよい。一方、図5と同様に船200が存在する場合は、その船庫201からばら荷Mの荷揚げを行いながら、リアルタイムでCSU1を校正できる。各測距センサ191~193から両方向に伸びる点線はそれぞれの基準面S1~S3(図5参照)を表し、これらの点線が基準物と交差する場合に測距可能である。したがって、測定位置P1では測距センサ191のみが埠頭102上の基準物を測距できる。測距センサ191から埠頭102に向かって伸びる点線と各基準物との各交点である測距点を黒丸で示す。測距点座標取得部301は、これらの測距点の位置を、測距センサ191を基準とする測距点座標系lにおける測距点座標(l,l,l)として取得する。同様に、図示しない測距センサ18も測定位置P1で埠頭102上の各基準物を測距し、測距センサ18を基準とする測距点座標系dにおける測距点座標(d,d,d)が測距点座標取得部301によって取得される。
同様に、他の測定位置P2~P8でも、測距点座標取得部301が、測距センサ18、19によって基準物の測距点座標(l,l,l)、(d,d,d)を取得する。測距センサ19について、測定位置P2では全測距センサ191~193が、測定位置P3では測距センサ192、193が、測定位置P4では全測距センサ191~193が、測定位置P5では測距センサ191が、測定位置P6では全測距センサ191~193が、測定位置P7では測距センサ192、193が、測定位置P8では全測距センサ191~193が、それぞれ埠頭102上の基準物を測距可能である。このように、各測定位置P1~P8で基準物を測距可能な測距センサ191~193は異なるが、複数の測定位置P1~P8をCSU1に巡回させることで全ての測距センサ191~193を校正できる。なお、図8には旋回角度が互いに45°ずつ異なる8つの測定位置P1~P8を例示したが、測定位置の旋回角度は任意である。
前述の通り、測定位置P1~P8のうち図5の基本姿勢で荷揚げが行われるのは測定位置P1のみである。その他の測定位置P2~P8では基本姿勢での荷揚げが想定されていないが、本実施形態ではこのように荷揚げを通常行わない姿勢でも測距点座標取得部301が基準物の測距点座標を取得する。換言すれば、測距点座標取得部301は、旋回フレーム5の旋回によって荷揚げ部9が船200の上方にない時(測定位置P1に船200がいない時を含む)に測距点座標を取得する。また、測定位置P2~P6では荷揚げ部9が陸地(埠頭102)の上方にある。このように、本実施形態ではCSU1が荷揚げの際に取り得ない姿勢でも測距点座標取得部301が基準物の測距点座標を取得する。特に、測定位置P2およびP6では測距センサ18、19が設けられた荷揚げ部9が測距対象物としての基準物の真上にあるため、全ての測距センサで高精度に測距点座標を取得でき、CSU1を効率的に校正できる。
なお、図7における旋回角θによって定まる各測定位置P1~P8では、ブーム7の起伏角θ、掻き取り部11の回転角θ、掻き取り部11の屈曲角θ等のCSU1の各パラメータを変化させながら、測距点座標取得部301によって可能な限り多くの測距点座標を取得するのが好ましい。また、走行部2の軌道(レール3)に沿って基準物が配置される上記の例では、CSU1の校正のために走行部2を動かす必要はないが、基準物が走行部2の軌道に沿わない形状をしている場合は、走行部2の位置xtlも変化させながら測距点座標を取得するのが好ましい。
座標変換部302は、測距センサ18、19に対する荷揚げ部9の相対的な位置や姿勢、荷揚げ部9に対する旋回フレーム5の相対的な位置や姿勢、旋回フレーム5に対する走行部2の相対的な位置や姿勢に基づいて、測距部座標系l、dにおける測距点座標および地上座標系uにおける基準物の既知の座標を同一座標系に変換する。以下では変換先の同一座標系を地上座標系uとして説明する。この場合、座標変換部302は埠頭102上の基準物の測距点座標(l,l,l)、(d,d,d)を測距部座標系l、dから地上座標系uの座標(u,u,u)に変換する。
測距センサ19が測距した基準物の測距部座標系lにおける測距点座標をp=(l,l,l)という三次元ベクトルで表す。この測距点座標pを測距部座標系lから地上座標系uに変換するために、座標変換部302は、測距部座標系lの座標pから起伏部座標系bの座標p=(b,b,b)への変換、起伏部座標系bの座標pから旋回部座標系rの座標p=(r,r,r)への変換、旋回部座標系rの座標pから地上座標系uの座標p=(u,u,u)への変換、という三段階の座標変換を行う。各座標変換は以下の式で表される。
Figure 2022158930000002
第1の式は、測距部座標系lの座標pを起伏部座標系bの座標pに変換する式である。tlbは測距部座標系lの原点と起伏部座標系bの原点の間を結ぶ三次元並進ベクトルであり、Rlbは測距部座標系lと起伏部座標系bの姿勢の相違すなわち回転を表す3×3行列である。tlbおよびRlbは、測距センサ19が荷揚げ部9に設けられる位置や姿勢に応じて定まる。なお、図7の例では、各軸の方向が一致している測距部座標系lと起伏部座標系bの間に回転がないため、Rlbは3×3の単位行列である。
第2の式は、起伏部座標系bの座標pを旋回部座標系rの座標pに変換する式である。R(±θ)は起伏部座標系bの原点を通るb軸の周りに起伏角θだけ正方向または負方向に三次元座標を回転させる3×3の回転行列である。最初にR(-θ)をpに適用することで、そのy座標を起伏角θで起伏中のブーム7の延伸方向に沿った値に変換する。その上で、この方向に沿った起伏中心Oまでの距離Lb1が加算される。続いてR(+θ)を適用することで、元々の起伏部座標系bの姿勢(変換目標の旋回部座標系rと同じ姿勢でもある)に沿った座標に戻される。その上で、起伏中心Oと旋回部座標系rの原点のy方向の距離Lb3が減算され、z方向の距離Lが加算される。このように第2の式は、起伏中心Oを介した起伏部座標系bから旋回部座標系rへの座標変換を与える。また、この式のパラメータθ、Lb1、Lb3、Lは、荷揚げ部9に対する旋回フレーム5の相対的な位置や姿勢に応じて定まる。
第3の式は、旋回部座標系rの座標pを地上座標系uの座標pに変換する式である。R(θ)は旋回部座標系rの原点を通るr軸の周りに旋回角θだけ三次元座標を回転させる3×3の回転行列であり、旋回部座標系rを地上座標系uの姿勢に合わせる作用をする。また、x座標としてxtlを持つx方向のベクトルは旋回部座標系rの原点と地上座標系uの原点の間を結ぶ並進ベクトルである。このように第3の式は、回転成分を変換する第1項と並進成分を変換する第2項によって、旋回部座標系rから地上座標系uへの座標変換を与える。また、この式のパラメータθは旋回フレーム5に対する走行部2の相対的な姿勢に基づいて定まり、xtlは走行部2のレール3上の位置を測定する位置センサ等によって測定される。
以上の第1~3の式によって、測距センサ19が測距した基準物の測距部座標系lにおける測距点座標p=(l,l,l)が、起伏部座標系bおよび旋回部座標系rを経て、地上座標系uにおける測距点座標p=(u,u,u)に変換される。同様に、測距センサ18が測距した基準物の測距部座標系dにおける測距点座標p=(d,d,d)も、起伏部座標系bおよび旋回部座標系rを経て、地上座標系uにおける測距点座標p=(u,u,u)に変換できる。この場合、上記の第1の式は測距部座標系dの座標pを起伏部座標系bの座標pに変換する式に置き換えられる。測距センサ18の位置や姿勢は、図7(B)(C)に示される掻き取り部11の回転角θおよび屈曲角θによっても変わるため、これらのパラメータが変換式に盛り込まれる。
座標誤差検出部303は、基準物の地上座標系uにおける測距点座標p=(u,u,u)と、基準物の既知の座標pu0=(ux0,uy0,uz0)の誤差を検出する。ここで、基準物が埠頭102上の特定の点に設けられる目印や端点である場合や、基準物としての岸壁101、レール3、ベルトコンベア45上の特定の点に目印が付されている場合は、測距センサ18、19が目印を測距して得られる測距点座標p=(u,u,u)と目印の既知の座標pu0=(ux0,uy0,uz0)の各座標の誤差u-ux0、u-uy0、u-uz0や、距離((u-ux0)^2+(u-uy0)^2+(u-uz0)^2)^0.5等が座標誤差として座標誤差検出部303によって検出される。有意な検出誤差が検出された場合、後段の座標系補正部304でその検出誤差が補正ないし校正される。
一方、岸壁101、レール3、ベルトコンベア45、長尺のリフレクタ等、一定の範囲に亘って基準物が設けられる場合、測距センサ18、19による基準物の測距点座標p=(u,u,u)が、基準物上のどの点に対応するか不明な場合もある。このような場合、一つの測距点ではなく同一の測距センサ18、19から得られる複数の測距点の群に基づいて座標誤差が検出される。図4および図5に関して前述したように、一つの測距センサ18、19は複数のレーザ発光部を含み、基準面Sを中心とする所定角度範囲(図5のθ-~θ+)を同時に測距できる。このため、直線状の縁を有する岸壁101、レール3、ベルトコンベア45、長尺のリフレクタ等を測距センサ18、19で測距すると、縁に対応して直線状に並んだ複数の測距点の群と、縁の両側の平面に対応して直交または交差する二つの平面状に並んだ複数の測距点の群が得られる。座標誤差検出部303は、この測距点群によって構成される線分または平面が基準物の既知の縁や平面に重なるか否かによって、基準物の測距点座標p=(u,u,u)と既知の座標pu0=(ux0,uy0,uz0)の誤差の有無を判定する。なお、測距センサ18、19の測距範囲にベルトコンベア45等の基準物の端点(角)が含まれている場合、基準物の端点に対応する測距点座標を容易に特定できるため、それを基準として測距点群と基準物の既知の形状的特徴を正確に比較できる。詳細については後段の座標系補正部304の処理に関して説明する。
座標系補正部304は、座標誤差検出部303で検出された誤差が小さくなるように、地上座標系uと測距部座標系l、dの関係を補正する。測距部座標系lと地上座標系uの関係を補正する補正モデルは例えば以下の式で表される。
Figure 2022158930000003
第1~3の式は、座標変換部302による座標変換式の第1~3の式に対応するが、座標誤差検出部303で検出された誤差の原因となりやすいパラメータが以下の補正パラメータによって補正される。
Figure 2022158930000004
第1の補正パラメータRxyz(φ)は、測距センサ19の姿勢の誤差を補正するものである。例えば、測距センサ19の取り付け時の誤差や、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によって荷揚げ部9等が変形し、測距センサ19と荷揚げ部9の関係が変化することで生じる測距センサ19の姿勢の誤差がRxyz(φ)によって補正される。具体的には、測距部座標系lと起伏部座標系bの間の回転を表す3×3行列Rlbが実際の測距センサ19の姿勢と整合していない場合、その不整合を最小化する三次元回転を与える3×3行列Rxyz(φ)によってRlbが補正される。ここで、Rxyz(φ)による回転軸の方向および回転角度φは、測距センサ19の姿勢の不整合を最小化するように演算によって求められる。
第2の補正パラメータbは、測距センサ19の位置の誤差を補正するものである。例えば、測距センサ19の取り付け時の誤差や、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によって荷揚げ部9等が変形し、測距センサ19と荷揚げ部9の関係が変化することで生じる測距センサ19の位置の誤差がbによって補正される。具体的には、測距部座標系lの原点と起伏部座標系bの原点の間を結ぶ三次元並進ベクトルtlbが実際の測距センサ19の位置と整合していない場合、その不整合を最小化する三次元並進ベクトルbによってtlbが補正される。ここで、bの方向および大きさは、測距センサ19の位置の不整合を最小化するように演算によって求められる。
第3の補正パラメータρは、起伏角θの誤差を補正するものである。例えば、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によってブーム7等が変形し、荷揚げ部9と旋回フレーム5の関係が変化することで生じる起伏角θの誤差や起伏角θを測定する角度センサの誤差がρによって補正される。具体的には、起伏角θが実際のブーム7の起伏角と整合していない場合、その不整合を最小化する補正角ρによってθが補正される。ここで、ρの方向および大きさは、起伏角θの不整合を最小化するように演算によって求められる。
第4の補正パラメータρは、旋回角θの誤差を補正するものである。例えば、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によって旋回フレーム5等が変形し、旋回フレーム5と走行部2の関係が変化することで生じる旋回角θの誤差や旋回角θを測定する角度センサの誤差がρによって補正される。具体的には、旋回角θが実際の旋回フレーム5の旋回角と整合していない場合、その不整合を最小化する補正角ρによってθが補正される。ここで、ρの方向および大きさは、旋回角θの不整合を最小化するように演算によって求められる。
第5の補正パラメータdは、ブーム7の延伸方向に沿った長さLb1(図7で起伏座標系bの原点と起伏中心Oの距離)の誤差を補正するものである。例えば、荷揚げ部9自体や荷役中のばら荷Mの重量、温度等の外部環境の変化によってブーム7が変形することで生じる長さLb1の誤差がdによって補正される。具体的には、長さLb1が実際のブーム7の長さと整合していない場合、その不整合を最小化する補正量dによってLb1が補正される。ここで、dの方向および大きさは、長さLb1の不整合を最小化するように演算によって求められる。なお、起伏中心Oと旋回部座標系rの原点のy方向の距離Lb3およびz方向の距離Lには補正パラメータが設定されていないが、ブーム7の長さLb1に比べて生じうる誤差が小さいと考えられるためである。しかし、より精緻な補正を行うためにLb3、距離Lにも補正パラメータを設定してもよい。
また、補正モデルの第3の式における補正パラメータc、cは、それぞれ走行部2のu方向、u方向の位置の誤差を補正するものである。例えば、レール3の敷設時の誤差や、温度等の外部環境の変化によって走行部2やレール3が変形することで生じる走行部2の位置の誤差がc、cによって補正される。具体的には、補正モデルの第3の式の右辺における第1項および第2項で演算される基準物の測距点座標が、基準物のu方向、u方向の実際の位置と整合していない場合、その不整合を最小化する補正量c、cによって測距点座標が補正される。ここで、c、cの方向および大きさは、測距点座標の不整合を最小化するように演算によって求められる。なお、鉛直方向であるu方向の走行部2の位置の誤差はu方向、u方向の走行部2の位置の誤差に比べて小さいと考えられるため、u方向の補正パラメータcは設定されていない。しかし、より精緻な補正を行うためにu方向の補正パラメータcを設定してもよい。
以上の補正モデルで使用される各補正パラメータを以下のようにまとめてxと表す。
Figure 2022158930000005
また、以上の補正モデルの三つの式は、測距部座標系lの測距点座標pと地上座標系uの測距点座標pの関係を表す以下の式に変形できる。
Figure 2022158930000006
2行目の表記は、測距部座標系lと地上座標系uの間の回転Rluおよび並進tluに着目したものであり、3行目の表記は、測距部座標系lの測距点座標p、CSU1の起伏/旋回/移動の状態を表すベクトルu=(θ,θ,xtl)、補正パラメータxを変数とする関数gとしてまとめたものである。
座標系補正部304は、以上の補正モデルを用いて、座標誤差検出部303で検出された誤差が小さくなるように、地上座標系uと測距部座標系lの関係を補正する。ここではベルトコンベア45を基準物とした補正例を説明する。図8に示されるように、ベルトコンベア45は上面視でu方向の長辺とu方向の短辺を有する長方形状である。また図2に示されるように、ベルトコンベア45は鉛直方向(u方向)に高さを持つ直方体形状である。
校正対象の測距センサ19が時刻kにベルトコンベア45を測距して得られる測距部座標系lにおける測距点座標pの群のうち、ベルトコンベア45の側面(u方向を法線とする面)に対応する測距点の集合と、ベルトコンベア45の上面(u方向を法線とする面)に対応する測距点の集合を、それぞれ以下のように表す。
Figure 2022158930000007
Figure 2022158930000008
一方、地上座標系uにおいて、ベルトコンベア45の側面のu座標をd、u方向の法線ベクトルをn=(0,1,0)とし、ベルトコンベア45の上面のu座標をd、u方向の法線ベクトルをn=(0,0,1)とする。
この時、以下の誤差評価式において、ng-d=n-dは地上座標系uに変換されたベルトコンベア45側面の測距点座標pのu座標(n)とベルトコンベア45側面の既知のu座標(d)の誤差を表し、ng-d=n-dは地上座標系uに変換されたベルトコンベア45上面の測距点座標pのu座標(n)とベルトコンベア45上面の既知のu座標(d)の誤差を表す。したがって、以下の誤差評価式の目的関数E(x)は、ベルトコンベア45側面の測距点座標の総二乗誤差とベルトコンベア45上面の測距点座標の総二乗誤差の平均を、時刻1からKに亘って足し合わせたものである。
Figure 2022158930000009
測距点座標に全く誤差がない場合、目的関数E(x)は0になり、測距センサ19の校正は不要である。一方、測距点座標に誤差がある場合、目的関数E(x)は正の値を持つ。このとき、座標系補正部304は、目的関数E(x)を最小化する補正パラメータxを探索することで、測距センサ19を校正する。
なお、補正パラメータxは多数の補正パラメータ(φ、ρ、ρ、b、c、c、d)を含む高次元の量であり、目的関数E(x)を最小化する解xを一意的に求めることが難しい場合もある。そこでE(x)を最小化する代わりに、L2正則化を行った以下の式を最小化する。ηは正則化係数であり、Nは点の総数である。
Figure 2022158930000010
また、以上の目的関数E(x)を用いた誤差評価式に加えて/代えて、ベルトコンベア45側面についての二乗平均平方根誤差RMSEと、ベルトコンベア45上面についての二乗平均平方根誤差RMSEを個別に評価し、それらが最小化されるように補正パラメータxを調整してもよい。
Figure 2022158930000011
以上、測距部座標系lに設けられる測距センサ19の座標系補正部304による校正方法について説明した。測距部座標系dに設けられる測距センサ18も同様に校正できる。「測距センサ19」を「測距センサ18」に、測距部座標系の「l」を「d」に置換すれば、以上の式や説明は測距センサ18の校正にほとんどそのまま当てはまる。なお、掻き取り部11に設けられる測距センサ18では、CSU1の状態を表すパラメータとして掻き取り部11の回転角θと屈曲角θが加わるため、CSU1の状態を表すベクトルuは(θ,θ,θ,θ,xtl)と書き換えられる。また、θ、θの補正パラメータρ、ρと同様に、θ,θの補正パラメータρ、ρを設定してもよい。
なお、以上の校正装置300の説明では、測距部座標系l、dの測距点座標p、pを地上座標系uの測距点座標pに変換した上で、基準物の既知の座標との誤差を検出していたが、誤差の検出は地上座標系u以外の任意の座標系で行ってもよい。例えば、上記とは逆に地上座標系uにおける基準物の既知の座標を測距部座標系l、dに変換した上で、測距部座標系l、dの測距点座標p、pとの誤差を検出してもよい。また、測距部座標系l、dと地上座標系uの中間にある座標系、例えば起伏部座標系bや旋回部座標系rに測距点座標と基準物の既知の座標をそれぞれ変換して誤差を検出してもよい。また、上記の各座標系以外の任意の同一座標系に測距点座標と基準物の既知の座標をそれぞれ変換して誤差を検出してもよい。
次に、座標系補正部304が測距部座標系lと地上座標系uの関係を補正する補正モデルの第2の例を示す。この補正モデルは以下の式で表される。
Figure 2022158930000012
また、第2の補正モデルで設定される補正パラメータは以下の通りである。
Figure 2022158930000013
Figure 2022158930000014
第2の補正モデルは、CSU1の荷揚げ中に生じる各種の誤差をリアルタイムで高精度に補正することを目的とする。このようなリアルタイムの誤差としては、荷揚げ中のCSU1各部の位置や姿勢、CSU1各部自体や荷役中のばら荷Mの重量、荷揚げ中にCSU1各部に加わる外力、温度等の外部環境の変化等によって生じる荷揚げ部9の傾きやブーム7のねじれが例示される。また、起伏部、旋回部におけるギアのバックラッシュ等によって、起伏角θ、旋回角θをセンサで正確に測定できないこともある。
このようなリアルタイムの誤差を補正するために、第2の補正モデルは第1の補正モデルに加え、荷揚げ部9の傾きを補正する3×3行列Rbs、ブーム7のねじれを補正する3×3行列R(ζ)、起伏角θ、旋回角θを補正する補正角ξ、ξを補正パラメータとして含む。ここで、Rbsに含まれるパラメータκ、κはそれぞれ荷揚げ部9のx方向、y方向の傾き角を表し、R(ζ)に含まれるパラメータζはブーム7のねじれ角を表す。なお、上付き添え字kは離散的な時刻を表し、上付き添え字m(=1~M)は各測距センサ19の番号を表す。
以上の第2の補正モデルの三つの式は、測距部座標系lの測距点座標pと地上座標系uの測距点座標pの関係を表す以下の式に変形できる。
Figure 2022158930000015
この式において、以下のx(yおよびz)は第1の補正モデルにおける補正パラメータxに対応し、第1の補正モデルに関して説明した方法によって座標誤差を最小化する最適なものを見つけることができる。
Figure 2022158930000016
一方、以下のvは第2の補正モデルで追加的に設けられたリアルタイム誤差を補正するための補正パラメータである。以下、リアルタイム誤差を最小化する最適な補正パラメータvを見つける方法を説明する。
Figure 2022158930000017
最適な補正パラメータvを見つけるための誤差評価式は例えば以下で与えられる。
Figure 2022158930000018
この誤差評価式は、E(x)を目的関数とする第1の補正モデルの誤差評価式に対応する。ここで、括弧内の第1項におけるiは基準物としてのベルトコンベア45の側面(u方向を法線とする面)を表す集合に属する測距点の番号(1~N)を表し、括弧内の第2項におけるiは基準物としてのベルトコンベア45の上面(u方向を法線とする面)を表す集合に属する測距点の番号(1~N)を表す。また、第1の補正モデルの誤差評価式でd、dと表記されたベルトコンベア45の側面のu座標、上面のu座標は、ここではβ、βと表記されている。
測距点座標に全く誤差がない場合、目的関数E(v)は0になり、測距センサ19の校正は不要である。一方、測距点座標に誤差がある場合、目的関数E(v)は正の値を持つ。このとき、座標系補正部304は、目的関数E(v)を最小化する補正パラメータvを探索することで、測距センサ19をリアルタイムに校正する。
なお、最適な補正パラメータvを見つけるために、以下の式を用いてもよい。
Figure 2022158930000019
括弧内の第2項は正則化項であり、補正パラメータvの推定を安定化させる効果を持つ。χは各補正パラメータの必要補正量に応じて設定されるパラメータ群であり、必要補正量の大きな補正パラメータに対応する値は小さく、良好なセンサが設置されている等の必要補正量の小さな補正パラメータに対応する値は大きく設定される。
括弧内の第3項は前時刻k-1の推定値vk-1との差分を考慮することで、現時刻kの補正パラメータvの推定を安定化させる効果を持つ。γは各補正パラメータの変動量に応じて設定されるパラメータ群であり、変動量の大きな補正パラメータに対応する値は小さく、変動量の小さな補正パラメータに対応する値は大きく設定される。
図9は、校正装置300による測距センサ18、19の校正処理例を示すフローチャートである。フローチャートにおける「S」はステップを意味する。
S1では、校正装置300が、図8に示されるような測定位置P1~P8の一つにCSU1の各可動部を移動させる。S2では、校正装置300が、S1でCSU1が移動した測定位置から測距センサ18、19に埠頭102上の基準物を測距させる。この際、S1でCSU1が移動した測定位置を基準としつつ、ブーム7の起伏角θ、旋回フレーム5の旋回角θ、掻き取り部11の回転角θ、掻き取り部11の屈曲角θ、走行部2の位置xtl等のCSU1の各状態パラメータを変化させ、測距センサ18、19の測定姿勢を少しずつ変えながら基準物を測距するのが好ましい。
S3では、測距点座標取得部301が、S2で測距センサ18、19が測距した結果である測距点座標を取得する。測距センサ18の測距点座標pは測距部座標系lに属し、測距センサ19の測距点座標pは測距部座標系dに属する。S4では、測距点座標取得部301が、S3で取得した測距点座標の群から、ベルトコンベア45等の基準物の側面(u方向を法線とする面)に対応する測距点の平面状の集合や、ベルトコンベア45等の基準物の上面(u方向を法線とする面)に対応する測距点の平面状の集合や、ベルトコンベア45等の基準物の直線状の縁に対応する測距点の線分状の集合を抽出する。
S5では、校正装置300が、S2の各測距時刻におけるCSU1の状態ベクトルu=(θ,θ,θ,θ,xtl)を取得する。S6では、校正装置300が、全ての測定位置での測距が完了したか否かを判定する。未測距の測定位置がある場合はS1に戻り、CSU1の各可動部が次の測定位置に移動する。前述の通り、船200からの荷揚げ中のCSU1は基本的に図8の測定位置P1にいる必要があるため、荷揚げ中にリアルタイムで校正を行う場合は測定位置P1に関してS1~S5の処理が実行されて後続のS7に進む。一方、船200の寄港前等のCSU1が荷揚げを行っていない間は測定位置P1以外の測定位置P2~P8でも基準物の測距を行うことで校正精度を向上できる。
S6で全ての測定位置での測距が完了したと判定された場合、S7において座標変換部302が、S5で取得されたCSU状態に基づいて、S3で取得された測距部座標系l、dにおける測距点座標および地上座標系uにおける基準物の既知の座標を同一座標系に変換する。S8では座標誤差検出部303が、S7で変換された同一座標系において測距点座標および基準物の既知の座標の誤差を検出する。
S9では、座標系補正部304が、S8で検出された誤差が小さくなるように、地上座標系uと測距部座標系l、dの関係を補正する補正パラメータを求める。ここで、CSU1が荷揚げを行っていない間に校正を行う場合は、第1の補正モデルによって補正パラメータxを求めるのが好ましい。一方、CSU1が荷揚げを行っている間にリアルタイムで校正を行う場合は、第2の補正モデルによって静的な補正パラメータxに加えて動的な補正パラメータvをリアルタイムで求めるのが好ましい。この場合、S9で求められた補正パラメータx、vは即時にCSU1に適用され、一定時間経過後に再びS2に戻り以降の処理S2~S9(S6はスキップ)が繰り返される。
続いて、本発明の第2実施形態を説明する。第2実施形態に係るCSU1では、第1実施形態における測距センサ18、19に代えて/加えて、撮影対象物を撮影する撮影部としての一個または複数個のカメラが荷揚げ部9の任意の位置に任意の姿勢で設けられる。カメラは、測距センサ18のように荷揚げ部9の下部の掻き取り部11に設けても良いし、測距センサ19のように荷揚げ部9の上部に設けてもよい。カメラの撮影対象物は特に限定されるものではないが、CSU1の荷揚げ時は、測距センサ18、19と同様に、開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、掻き取り部11、船200、ブーム7/旋回フレーム5/走行部2/主操作室16等のCSU1の他の部分、岸壁101、埠頭102、レール3、ベルトコンベア45等が撮影対象物となる。カメラを荷揚げ部9に設けることで、開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、掻き取り部11等の位置を正確に把握できる。したがって、荷揚げ中の荷揚げ部9が他の物と衝突するのを防止でき、ばら荷Mを効率的に荷揚げできる。
図10は、第2実施形態に係る校正装置300の機能ブロック図である。図6における測距点座標取得部301が画素座標取得部305に置き換わっている点を除いて、第1実施形態に係る校正装置300と同様の構成である。
画素座標取得部305は、走行部2が走行する地上を基準とする地上座標系uにおける座標が既知の基準物をカメラで撮影し、得られた画像中の画素座標系における基準物の画素座標を取得する。ここで、画素座標系とは画像を構成する画素の位置を定める座標系であり、平面画像の場合は二次元直交座標系となり、ToF方式のイメージセンサを備えるカメラ等で得られる立体画像の場合は三次元直交座標系となる。なお、立体画像を撮影可能なカメラは第1実施形態の測距センサ18、19として扱えるため、以下の第2実施形態では、カメラで撮影される画像が平面画像であり、画素座標系が二次元直交座標系である場合を説明する。画素座標系を構成する二つの直交軸をu軸およびv軸とし、画素座標をq=(q,q)等と表す。
画素座標取得部305がカメラの取り付け位置や姿勢の校正のために撮影する基準物は、第1実施形態と同様に埠頭102上の任意の静止物でよい。画像認識技術によって画像中の基準物を認識し、その各点の画素座標qを取得できる。特に、現在の画像認識技術では画像中の線(境界線等)の検出精度が高いため、検出しやすい線状の縁を有する構造物を基準物とするのが好ましい。したがって、第1実施形態と同様に、岸壁101、レール3、ベルトコンベア45等の長尺の直線状の縁を有する構造物が基準物として好適である。また、線状の縁を有するマーカー(目印)をレール3等に沿って配置したものを基準物としてもよい。この場合、画素座標取得部305は基準物の縁上の少なくとも二点の画素座標を取得する。なお、画素座標取得部305が画素座標を取得する形状的な特徴は直線に限らず、曲線、点線、鎖線、角、円、楕円、多角形等でもよい。
画素座標取得部305は、第1実施形態の図8と同様に、CSU1の各可動部の位置および姿勢を変えながらカメラで埠頭102上の基準物を順次撮影できる。CSU1が基本姿勢で荷揚げしている間は図8の撮影位置P1にあるが、CSU1が基本姿勢で荷揚げをしていない間は他の撮影位置P2~P8も巡回しながら異なる位置および姿勢で多数の画素座標を取得でき、後段の座標系補正部304によって高精度にカメラを校正できる。
座標変換部302は、カメラに対する荷揚げ部9の相対的な位置や姿勢、荷揚げ部9に対する旋回フレーム5の相対的な位置や姿勢、旋回フレーム5に対する走行部2の相対的な位置や姿勢に基づいて、画素座標系における画素座標および地上座標系uにおける基準物の既知の座標を同一座標系に変換する。以下では変換先の同一座標系を画素座標系として説明するが、地上座標系u、旋回部座標系r、起伏部座標系b、測距部座標系l、d、後述する撮影部座標系cを含む他の任意の座標系としてもよい。座標変換部302は、基準物の既知の座標を地上座標系uから画素座標系の座標(r,r)に変換する。具体的には、基準物の直線状の縁の二つの端点の地上座標系uにおける既知の座標pu1=(pu1x,pu1y,pu1z)、pu2=(pu2x,pu2y,pu2z)を、画素座標系における線分の端点r=(r1u,r1v)、r=(r2u,r2v)に射影する座標変換が行われる。
まず、座標変換部302は以下の式のpにpu1、pu2をそれぞれ代入し、カメラを基準とする撮影部座標系cの三次元座標pに変換する(それぞれpc1、pc2とする)。ここで、撮影部座標系cは第1実施形態における測距部座標系l、dに対応し、座標系を表す添え字がcに変わっている点を除いて座標変換式は第1実施形態で説明したものと同様である。すなわち、第1の式におけるtcbおよびRcbはカメラが荷揚げ部9に設けられる位置や姿勢に応じて定まる。具体的には、tcbは撮影部座標系cの原点と起伏部座標系bの原点の間を結ぶ三次元並進ベクトルであり、Rcbは撮影部座標系cと起伏部座標系bの姿勢の相違すなわち回転を表す3×3行列である。なお、上付き添え字kはカメラによる撮影時刻を表す。
Figure 2022158930000020
以上の座標変換によって得られる撮影部座標系cにおける二つの三次元座標pc1、pc2は、カメラのモデルに従って平面画像上の画素座標に射影される。例えば、カメラがピンホールカメラモデルに従う場合、その焦点距離f、fおよび画像中心c、cが既知であるとして、以下の式によって、pc1=(pc1x,pc1y,pc1z)がr=(r1u,r1v)に射影され、pc2=(pc2x,pc2y,pc2z)がr=(r2u,r2v)に射影される。
1u=f(pc1x/pc1z)+c
1v=f(pc1y/pc1z)+c
2u=f(pc2x/pc2z)+c
2v=f(pc2y/pc2z)+c
以上の通り、座標変換部302によって、基準物の縁の端点の地上座標系uにおける既知の座標pu1=(pu1x,pu1y,pu1z)、pu2=(pu2x,pu2y,pu2z)が、撮影部座標系cにおける座標pc1=(pc1x,pc1y,pc1z)、pc2=(pc2x,pc2y,pc2z)を経て、画素座標系における座標r=(r1u,r1v)、r=(r2u,r2v)に変換された。
座標誤差検出部303は、基準物をカメラで撮影して得られる画素座標q=(q,q)と、基準物の既知の座標r=(r,r)の誤差を、画素座標系において検出する。より具体的には、座標誤差検出部303は、基準物の線分状の縁をカメラで撮影して得られる縁上の少なくとも二点の画素座標q=(q1u,q1v)、q=(q2u,q2v)を結ぶ画像上の線分と、基準物の縁上の少なくとも二点の既知の座標r=(r1u,r1v)、r=(r2u,r2v)を結ぶ画像上の線分のずれを座標誤差として検出する。例えば、rとrを結ぶ既知の線分に対する点qの距離をd、点qの距離をdとした場合、d+d、d^2+d^2、(d^2+d^2)^0.5等の線分間のずれを表す量に基づいて座標誤差を検出する。
座標系補正部304は、座標誤差検出部303で検出された座標誤差が小さくなるように、地上座標系uと画素座標系の関係を補正する。前述したように、地上座標系uは撮影部座標系cを介して画素座標系と関係づけられる。ここで、撮影部座標系cと画素座標系はピンホールカメラモデル等によってほぼ固定的に関係づけられるため、主な補正対象となるのは地上座標系uと撮影部座標系cの関係である。地上座標系uと撮影部座標系cの関係を補正する補正モデルは例えば以下の式で表される。
Figure 2022158930000021
第1~3の式は、座標変換部302による座標変換式の第1~3の式に対応するが、座標誤差検出部303で検出された誤差の原因となりやすいパラメータが以下の補正パラメータによって補正される。
Figure 2022158930000022
これらの補正パラメータの趣旨は第1実施形態と同様なので説明を省略する。第1実施形態と同様に、各補正パラメータを以下のようにまとめてxと表す。
Figure 2022158930000023
また、以上の補正モデルの三つの式は、撮影部座標系cの三次元座標pと地上座標系uの三次元座標pの関係を表す以下の式に変形できる。
Figure 2022158930000024
2行目の表記は、撮影部座標系cと地上座標系uの間の回転Rcuおよび並進tcuに着目したものである。
座標系補正部304は、以上の補正モデルを用いて、座標誤差検出部303で検出された座標誤差が小さくなるように、地上座標系uと画素座標系の関係を補正する。例えば、座標系補正部304は、以下の誤差評価式の目的関数E(x)を最小化する最適な補正パラメータxを見つける。
Figure 2022158930000025
この誤差評価式において、添え字kはカメラによる撮影時刻を表し、添え字iは基準物の複数の縁の番号を表す。右辺の第1項は、時刻kで撮影されたi番目の既知の縁(線分)に対する画素座標qの距離dの二乗を、時刻kおよび縁番号iに亘って足し合わせて2で割ったものである。右辺の第2項は、時刻kで撮影されたi番目の既知の縁(線分)に対する画素座標qの距離dの二乗を、時刻kおよび縁番号iに亘って足し合わせて2で割ったものである。このように、以上の目的関数E(x)は、基準物の既知の縁に対する画素座標の誤差(距離)の大きさを反映する。
画素座標に全く誤差がない場合、目的関数E(x)は0になり、カメラの校正は不要である。一方、画素座標に誤差がある場合、目的関数E(x)は正の値を持つ。このとき、座標系補正部304は、目的関数E(x)を最小化する補正パラメータxを探索することで、カメラを校正する。
なお、E(x)を最小化する代わりに、二次の正則化を行った以下の式を最小化してもよい。これによって撮影画像の数や基準物における縁の数が小さい場合でも安定して最適解xを求めることができる.この式において、Λは対角行列であり、Nは距離の取得総数である。対角行列Λでは、xのうち必要補正量の大きな補正パラメータに対応する成分は小さく、必要補正量の小さな補正パラメータに対応する成分は大きく設定される。具体的には、CSU1の設計値は安定していることが多いため、カメラの取り付け位置や姿勢に関するφ、bに対応する成分を小さく、CSU1の設計値に関するρ、ρ、c、c、dに対応する成分を大きく設定するのが好ましい。
Figure 2022158930000026
以上の補正モデルは第1実施形態における第1の補正モデルに対応する。第1実施形態ではCSU1の荷揚げ中に生じる各種の誤差をリアルタイムで高精度に補正するための第2の補正モデルも例示したが、第2実施形態でも同様に第2の補正モデルを構成できる。具体的な内容は第1実施形態の説明から理解できるため、ここでは重複して説明しない。
図11は、第2実施形態に係る校正装置300によるカメラの校正処理例を示すフローチャートである。
S11では、校正装置300が、図8に示されるような撮影位置P1~P8の一つにCSU1の各可動部を移動させる。S12では、校正装置300が、S11でCSU1が移動した撮影位置からカメラに埠頭102上の基準物を撮影させる。この際、S11でCSU1が移動した撮影位置を基準としつつ、ブーム7の起伏角θ、旋回フレーム5の旋回角θ、掻き取り部11の回転角θ、掻き取り部11の屈曲角θ、走行部2の位置xtl等のCSU1の各状態パラメータを変化させ、カメラの撮影姿勢を少しずつ変えながら基準物を撮影するのが好ましい。
S13では、画素座標取得部305が、S12で撮影された画像に映る基準物の形状的特徴を抽出する。形状的特徴としては、直線、曲線、点線、鎖線、角、端点、円、楕円、多角形等が例示される。S14では、画素座標取得部305が、S13で抽出された形状的特徴上の画素座標を取得する。
S15では、校正装置300が、S12の各撮影時刻におけるCSU1の状態ベクトルu=(θ,θ,θ,θ,xtl)を取得する。S16では、校正装置300が、全ての撮影位置での撮影が完了したか否かを判定する。未撮影の撮影位置がある場合はS11に戻り、CSU1の各可動部が次の撮影位置に移動する。前述の通り、船200からの荷揚げ中のCSU1は基本的に図8の撮影位置P1にいる必要があるため、荷揚げ中にリアルタイムで校正を行う場合は撮影位置P1に関してS11~S15の処理が実行されて後続のS17に進む。一方、船200の寄港前等のCSU1が荷揚げを行っていない間は撮影位置P1以外の撮影位置P2~P8でも基準物の撮影を行うことで校正精度を向上できる。
S16で全ての撮影位置での撮影が完了したと判定された場合、S17において座標変換部302が、S15で取得されたCSU状態に基づいて、S14で取得された画素座標系における画素座標および地上座標系uにおける基準物の既知の座標を同一座標系に変換する。S18では座標誤差検出部303が、S17で変換された同一座標系において画素座標および基準物の既知の座標の誤差を検出する。
S19では、座標系補正部304が、S18で検出された誤差が小さくなるように、地上座標系uと画素座標系の関係を補正する補正パラメータを求める。ここで、CSU1が荷揚げを行っていない間に校正を行う場合は、第1の補正モデルによって補正パラメータxを求めるのが好ましい。一方、CSU1が荷揚げを行っている間にリアルタイムで校正を行う場合は、第2の補正モデルによって静的な補正パラメータxに加えて動的な補正パラメータvをリアルタイムで求めるのが好ましい。この場合、S19で求められた補正パラメータx、vは即時にCSU1に適用され、一定時間経過後に再びS12に戻り以降の処理S12~S19(S16はスキップ)が繰り返される。
続いて、本発明の第3実施形態を説明する。第3実施形態に係るCSU1では、第1実施形態で説明した測距センサや第2実施形態で説明したカメラが、検知対象物を検知する検知部としてCSU1の異なる位置に複数設けられ、各検知部間で校正が行われる。第1実施形態および第2実施形態では検知部(測距センサまたはカメラ)が荷揚げ部9に設けられたが、第3実施形態では荷揚げ部9に限定されないCSU1の任意の位置に設けられる。例えば、検知部はブーム7、旋回フレーム5、走行部2、カウンタウエイト13、主操作室16等に設けてもよい。
以下、校正対象の検知部の任意の対のうち一方を第1検知部といい他方を第2検知部という。第1検知部および第2検知部は、それぞれ測距センサまたはカメラによって構成される。したがって、第1検知部および第2検知部の両方が測距センサの場合、第1検知部および第2検知部の両方がカメラの場合、第1検知部および第2検知部の一方が測距センサで他方がカメラの場合があり得る。測距センサとカメラの違いは、それぞれで検知される検知対象物の座標が属する座標系の違いとして表れる。
荷揚げ部9に設けられる測距センサで検知される検知対象物の座標系は第1実施形態で説明した測距部座標系l、dとなる。また、測距センサがブーム7等に設けられる場合は起伏部座標系bとなり、測距センサが旋回フレーム5等に設けられる場合は旋回部座標系rとなり、測距センサが走行部2等に設けられる場合は走行部座標系uとなる。また、カメラで検知される検知対象物の座標系は第2実施形態で説明した画素座標系となる。第2実施形態で説明したように、画素座標系はピンホールカメラモデル等によって撮影部座標系cに関係づけられる。さらに撮影部座標系cはカメラの設置位置によって起伏部座標系b、旋回部座標系r、地上座標系uと関係づけられる。以下、第1検知部を基準とする座標系を第1検知部座標系といい、第2検知部を基準とする座標系を第1検知部座標系という。以上のように、第1検知部座標系および第2検知部座標系は、それぞれ、測距部座標系、起伏部座標系、旋回部座標系、地上座標系、画素座標系(または撮影部座標系)となる可能性があるが、第1実施形態および第2実施形態で詳述したように、これらの各座標系を相互に変換する式が与えられる。したがって、第1検知部座標系および第2検知部座標系は相互に変換可能である。
図12は、第3実施形態に係る校正装置300の機能ブロック図である。第1検知部座標取得部306は、検知対象物を第1検知部で検知し第1検知部座標系における第1検知部座標を取得する。第1検知部が測距センサの場合、第1検知部座標取得部306は第1実施形態(図6)の測距点座標取得部301として機能し、第1検知部がカメラの場合、第1検知部座標取得部306は第2実施形態(図10)の画素座標取得部305として機能する。第2検知部座標取得部307は、検知対象物を第2検知部で検知し第2検知部座標系における第2検知部座標を取得する。第2検知部が測距センサの場合、第2検知部座標取得部307は第1実施形態(図6)の測距点座標取得部301として機能し、第2検知部がカメラの場合、第2検知部座標取得部307は第2実施形態(図10)の画素座標取得部305として機能する。
第3実施形態に係る校正装置300は、第1検知部座標取得部306および第2検知部座標取得部307によって同一の検知対象物の検知部座標を取得し、座標変換部302によって同一座標系に変換した上で、座標誤差検出部303による座標誤差の検出と座標系補正部304による座標系の補正を行う。
第1実施形態および第2実施形態では検知部の校正のために埠頭102上の基準物を検知対象物としたが、第3実施形態において第1検知部および第2検知部が共通して検知する検知対象物は埠頭102上の基準物に限らず、各検知部が同じ時刻または異なる時刻に検知可能な任意の物でよい。例えば、図2では開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、船200、荷揚げ部9/ブーム7/旋回フレーム5/走行部2/主操作室16等のCSU1の各部、岸壁101、埠頭102、レール3、ベルトコンベア45等を第1検知部および第2検知部の共通の検知対象物として各検知部を校正できる。なお、第1検知部および第2検知部が同じ時刻に検知を行う場合は、船庫201内のばら荷Mや人等の時間変化の大きい物も検知対象物とできるが、第1検知部および第2検知部が異なる時刻に検知を行う場合は、時間変化の小さいその他の物を検知対象物とするのが好ましい。
座標変換部302は、第1検知部と第2検知部の相対的な位置や姿勢に基づいて、第1検知部座標系における第1検知部座標および第2検知部座標系における第2検知部座標を同一座標系に変換する。座標系の変換については、第1実施形態において測距部座標系l、dと起伏部座標系b、旋回部座標系r、地上座標系uの間の変換式を示し、第2実施形態において画素座標系および測定部座標系cと起伏部座標系b、旋回部座標系r、地上座標系uの間の変換式を示した。これらの変換式の組合せにより、第1検知部座標系および第2検知部座標系が測距部座標系、起伏部座標系、旋回部座標系、地上座標系、画素座標系のいずれの場合でも、両検知部座標を同一座標系に変換できる。なお、座標変換部302の変換先の同一座標系は、第1検知部座標系でもよいし、第2検知部座標系でもよいし、第1検知部座標系および第2検知部座標系以外の任意の座標系でもよい。
座標誤差検出部303は、座標変換部302によって変換された同一座標系において第1検知部座標および第2検知部座標の誤差を検出する。第1検知部および/または第2検知部として測距センサが用いられる場合、第1実施形態で説明したように測距点群が構成する検知対象物の縁や平面等の形状的特徴に基づいて座標誤差を検出できる。第1検知部および/または第2検知部としてカメラが用いられる場合、第2実施形態で説明したように画像に映る検知対象物の形状的特徴(直線、曲線、点線、鎖線、角、端点、円、楕円、多角形等)に基づいて座標誤差を検出できる。
座標系補正部304は、座標誤差検出部303で検出された誤差が小さくなるように、第1検知部座標系と第2検知部座標系の関係を補正する。第1実施形態では、三次元座標系である地上座標系uにおいて、検知対象物の形状的特徴に基づく誤差(ベルトコンベア45の側面および上面に関する誤差)を最小化する誤差評価式および目的関数E(x)を示した。第2実施形態では、二次元座標系である画素座標系において、検知対象物の形状的特徴に基づく誤差(基準物の縁に対応する線分に関する誤差)を最小化する誤差評価式および目的関数E(x)を示した。これらの誤差評価式およびE(x)によって、座標誤差検出部303による座標誤差検出および座標系補正部304による座標系補正を実行する座標系が三次元座標系(例えば測距部座標系、起伏部座標系、旋回部座標系、地上座標系、撮影部座標系)の場合も二次元座標系(例えば画素座標系)の場合も、座標誤差を最小化する最適な補正パラメータxを見つけることができる。
なお、第1実施形態および第2実施形態の目的関数E(x)では校正対象の検知部が一つだったが、本実施形態の目的関数E(x)では校正対象の検知部が二つ(対)になるため、以下のように補正パラメータxは各検知部の取り付け姿勢に関するφと各検知部の取り付け位置に関するbを二つずつ含む。以下の例では、測距部座標系lの第1検知部の姿勢に関するφ、位置に関するbおよび撮影部座標系cの第2検知部の姿勢に関するφ、位置に関するbが補正パラメータxに含まれる。
Figure 2022158930000027
また、第1実施形態および第2実施形態と同様に、静的な補正パラメータxに加えて動的な補正パラメータvを設定し、荷揚げ部9の傾きやブーム7のねじれ等のCSU1の荷揚げ中に生じる誤差をリアルタイムに補正してもよい。
図13は、第3実施形態に係る校正装置300による第1検知部および第2検知部の校正処理例を示すフローチャートである。図13(A)は、船200の寄港前等のCSU1が荷揚げを行っていない間に複数の検知部を相互に校正するフローチャートであり、図13(B)は、船200からの荷揚げ中にリアルタイムで複数の検知部を相互に校正するフローチャートである。
S21では、校正装置300が、任意の検知位置の一つにCSU1の各可動部を移動させる。第1実施形態および第2実施形態では、図8に示されるように、レール3等の埠頭102上の基準物を各検知部が異なる位置と姿勢で検知できるように、CSU1の各可動部を所定の検知位置P1~P8に移動させていた。一方、本実施形態で第1検知部および第2検知部が検知する検知対象物は埠頭102上の基準物に限らない任意の物でよいため、必ずしも所定の検知位置P1~P8で検知対象物を検知する必要はなく、任意の検知位置で検知対象物を検知できる。
S22では、校正装置300が、S21でCSU1が移動した検知位置から第1検知部および第2検知部に検知対象物を検知させる。ここで、S21の検知位置において第1検知部および第2検知部の両方の検知範囲に検知対象物が入っている場合は、両検知部が検知対象物を同じ時刻に検知する。また、一方の検知部の検知範囲のみに検知対象物が入っている場合は、当該一方の検知部のみが検知対象物を検知する(第1時刻)。他方の検知部は、後の時刻(第2時刻)に再度実行されるS21においてCSU1が他の検知位置に移動した際に、この検知対象物を検知する。このように本実施形態の校正装置300によれば、異なる第1時刻および第2時刻に取得される検知部座標(S24)に基づいて複数の検知部を相互に校正できる。
S23では、第1検知部座標取得部306および第2検知部座標取得部307が、S22で得られた検知データから検知対象物の形状的特徴を抽出する。S24では、第1検知部座標取得部306および第2検知部座標取得部307が、S23で抽出された形状的特徴に対応する第1検知部座標および第2検知部座標を取得する。
S25では、校正装置300が、S22の各検知時刻におけるCSU1の状態ベクトルu=(θ,θ,θ,θ,xtl)を取得する。S26では、校正装置300が、全ての検知位置での検知が完了したか否かを判定する。未検知の検知位置がある場合はS21に戻り、CSU1の各可動部が次の検知位置に移動する。
S26で全ての検知位置での検知が完了したと判定された場合、S27において座標変換部302が、S25で取得されたCSU状態から認識できる第1検知部と第2検知部の相対的な位置や姿勢に基づいて、S24で取得された第1検知部座標および第2検知部座標を同一座標系に変換する。S28では座標誤差検出部303が、S27で変換された同一座標系において第1検知部座標および第2検知部座標の誤差を検出する。
S29では、座標系補正部304が、S28で検出された誤差が小さくなるように、第1検知部座標系と第2検知部座標系の関係を補正する補正パラメータを求める。ここで、CSU1が荷揚げを行っていない間に校正を行う図13(A)では、荷揚げ中に生じるリアルタイム誤差を考慮する第2の補正モデルを使用する必要はなく、より簡素な第1の補正モデルを使用するのが好ましい。
CSU1が荷揚げを行っている間にリアルタイムで校正を行う図13(B)では、最初のS30でCSU1の各可動部が荷揚げ位置(例えば図8のP1)に移動する。その後、図13(A)と同様の処理S22~25、27~29が実行される。S29の座標系の補正では、荷揚げ中に生じるリアルタイム誤差を考慮する第2の補正モデルを使用するのが好ましい。S29で求められた静的な補正パラメータxおよび動的な補正パラメータvは即時に適用され、検知部が荷揚げ中にリアルタイムで校正される。S30では、校正装置300が、荷揚げが終了したか否かを判定する。以降、荷揚げが終了するまで、処理S22~25、27~29が繰り返される。
以上の繰り返し処理において、CSU1は所定の荷揚げ位置(例えば図8のP1)に停止している。このような場合、埠頭102上の基準物を検知部の校正に利用する第1実施形態および第2実施形態では、検知部の取り付け位置や姿勢によって校正のための検知データ(測距点座標、画素座標)の取得に制限があった。例えば、図8の荷揚げ位置P1では測距センサ192、193が基準物を測距できないため、これらを荷揚げ中にリアルタイムで校正することはできなかった。
しかし、本実施形態では検知部の校正に利用する検知対象物は任意の物でよいため、測距センサ192、193も校正のための測距を荷揚げ中にリアルタイムで行える。例えば、図5に示されるように、測距センサ192、193は、荷揚げ中に船200、開口部21、船庫201等を検知できる。これらの検知対象物を撮影可能な検知部としてのカメラをブーム7等に設ければ、当該カメラと測距センサ192、193の間で相互に校正を行える。このように、第3実施形態の校正装置300は、CSU1の荷揚げ中にリアルタイムで検知部を校正する用途に好適である。
一方、船200の寄港前等のCSU1が荷揚げを行っていない間に検知部を校正する用途では、埠頭102上の絶対的な基準物に基づいて各検知部を個別に校正する第1実施形態および第2実施形態の校正装置300が好適である。したがって、CSU1が荷揚げを行っていない時に第1実施形態および第2実施形態の基準物に基づく絶対的な校正を行い、CSU1が荷揚げを行っている時に第3実施形態の複数検知部に基づく相対的な校正を行うのが好ましい。同様に、旋回フレーム5の旋回によって荷揚げ部9が船200の上方にない時に第1実施形態および第2実施形態の基準物に基づく絶対的な校正を行い、旋回フレーム5の旋回によって荷揚げ部9が船200の上方にある時に第3実施形態の複数検知部に基づく相対的な校正を行うのが好ましい。また、旋回フレーム5の旋回によって荷揚げ部9が陸地の上方にある時に第1実施形態および第2実施形態の基準物に基づく絶対的な校正を行い、旋回フレーム5の旋回によって荷揚げ部9が陸地の上方にない時に第3実施形態の複数検知部に基づく相対的な校正を行うのが好ましい。
続いて、本発明の第4実施形態を説明する。第4実施形態に係るCSU1では、第3実施形態と同様にCSU1の任意の位置に設けられる検知部(測距センサまたはカメラ)が検知する検知対象物の位置に基づいてCSU1の異常の検知を行う異常検知装置400が設けられる。ここで、異常検知装置400が検知するCSU1の異常の類型としては、検知部の取り付け位置や姿勢の変化、荷揚げ部9/ブーム7/旋回フレーム5/走行部2等のCSU1各部の変形や相対的な位置や姿勢の変化、走行部2が移動するレール3の変形、起伏角θ/旋回角θ/回転角θ/屈曲角θ/走行位置xtl等のCSU1の状態パラメータの操作量と測定量の乖離等が例示される。
図14は、異常検知装置400の機能ブロック図である。異常検知装置400は、検知部座標取得部401と、座標変換部402と、位置記憶部403と、位置比較部404と、異常検知部405と、異常推定部406を備える。
検知部座標取得部401は、検知対象物を検知部で検知し、当該検知部を基準とする検知部座標系における検知部座標を取得する。ここで、検知部は測距センサまたはカメラによって構成される。第3実施形態と同様に、CSU1に設けられる検知部の数は任意であり、その取り付け位置や姿勢も任意である。例えば、各検知部は、荷揚げ部9、ブーム7、旋回フレーム5、走行部2、カウンタウエイト13、主操作室16等に取り付けられる。また、検知部で検知する検知対象物は、第3実施形態と同様に、埠頭102上の基準物に限らない任意の物でよい。例えば、図2では開口部21の縁、船庫201の天井/壁/底、ばら荷Mその他の物、船庫201内の人/構造物、船200、荷揚げ部9/ブーム7/旋回フレーム5/走行部2/主操作室16等のCSU1の各部、岸壁101、埠頭102、レール3、ベルトコンベア45等を検知対象物とできる。また、検知対象物の数は任意である。
検知部を基準とする検知部座標系は、検知部の取り付け箇所と、測距センサまたはカメラの別に応じて異なる。検知部が荷揚げ部9に設けられる測距センサの場合、第1実施形態で説明した測距部座標系l、dが検知部座標系となる。同様に、ブーム7等に設けられる測距センサの場合は起伏部座標系bが検知部座標系となり、旋回フレーム5等に設けられる測距センサの場合は旋回部座標系rが検知部座標系となり、走行部2等に設けられる測距センサの場合は地上座標系(または移動部座標系)uが検知部座標系となる。また、検知部がカメラの場合、第2実施形態で説明した画素座標系が検知部座標系となる。以上のように、各検知部が検知部座標を取得する検知部座標系は互いに異なる可能性があるが、第1~3実施形態で説明したように、これらの各座標系を相互に変換する式が与えられる。次に述べる座標変換部402は、異なる検知部から取得された検知部座標を同一座標系で比較するための座標変換を行う。この変換先の同一座標系は任意であり、第1~3実施形態で説明した測距部座標系、起伏部座標系、旋回部座標系、地上座標系、画素座標系、撮影部座標系のいずれかでもよいし、その他の任意の座標系でもよい。以下では、座標変換部402が各検知部座標を各検知部座標系から地上座標系uに変換する例を説明する。
座標変換部402は、検知部と走行部2の相対的な位置や姿勢に基づいて、検知部座標取得部401で取得された検知部座標を検知部座標系から地上座標系uに変換する。なお、検知部が地上座標系(または移動部座標系)uに設けられている場合は座標変換の必要はない。また、後段の位置比較処理において、同一の検知部が異なる時刻に取得する検知部座標(位置)を比較する場合や、CSU1の同一箇所(例えば荷揚げ部9)に設けられる複数の検知部が取得する検知部座標(位置)を比較する場合は、検知部座標系のまま位置比較が可能であるため、必ずしも地上座標系uに変換する必要はない。しかし、後述するように、座標変換の演算過程をトレースすることで異常箇所の推定が可能となるため、同一の検知部座標系に由来する検知部座標を比較する際も座標変換部402による座標変換を行うのが好ましい。
位置記憶部403は、座標変換部402によって地上座標系uに変換された検知部座標を検知対象物の位置データとして記憶する。以下、位置記憶部403に記憶される検知対象物の位置データをP(k,m,n)と表記する。ここで、kは離散的な検知時刻を表し、m(=1~M)は検知部の番号を表し、n(=1~N)は検知対象物(または検知対象物における各検知対象箇所)の番号を表す。したがって、位置データP(k,m,n)は時刻kにm番目の検知部がn番目の検知対象物を検知した位置を表す。
位置比較部404は、位置記憶部403に記憶された同一の検知対象物の複数の位置データ同士を、または、位置記憶部403に記憶された位置データと検知部で新たに検知した同一の検知対象物の位置データを比較する。後者の場合、新たに検知された位置データは位置記憶部403に記憶しなくてもよいが、便宜上、上記のP(k,m,n)の表記を当該位置データにも用いる。ここで、n番目の検知対象物が位置比較対象であるとして、比較対象の第1位置データはP(k,m,n)と表され、比較対象の第2位置データはP(k,m,n)と表される。すなわち、第1位置データは時刻k(第1時刻)にm番目の検知部がn番目の検知対象物を検知した位置を表し、第2位置データは時刻k(第2時刻)にm番目の検知部がn番目の検知対象物を検知した位置を表す。
ここで、第1時刻kと第2時刻kは同時刻でもよい。この場合、異なる検知部(m≠m)が同時刻(k=k=k)に同一検知対象物(n)を検知した位置データP(k,m,n)とP(k,m,n)が比較される。また、第1時刻kと第2時刻kは異なる時刻でもよい。この場合、同一検知部(m=m=m)が異なる時刻(k≠k)に同一検知対象物(n)を検知した位置データP(k,m,n)とP(k,m,n)を比較してもよいし、異なる検知部(m≠m)が異なる時刻(k≠k)に同一検知対象物(n)を検知した位置データP(k,m,n)とP(k,m,n)を比較してもよい。このように、位置比較部404は、異なる検知時刻や異なる検知部の間で位置データP(k,m,n)を比較できる。
位置比較部404の位置比較処理では、第1~3実施形態の座標誤差検出部303に関して説明したように、検知点群(測距センサによる測距点群やカメラによる画素群)が構成する検知対象物の形状的特徴に基づいて両位置データP(k,m,n)、P(k,m,n)の誤差を検出してもよい。
異常検知部405は、位置比較部404で比較された第1位置データP(k,m,n)と第2位置データP(k,m,n)の差異が一定以上の場合にCSU1の異常を検知する。第1位置データP(k,m,n)および第2位置データP(k,m,n)は、同一座標系(地上座標系u)に変換された同一検知対象物(n)の検知部座標であるため、通常であれば一致する。逆に、これらの差異が一定以上の場合はCSU1に異常が生じている可能性が高いため、異常検知部405はその旨を主操作室16のオペレータ等に報知する。
異常検知部405はCSU1の異常を検知する際、複数の位置データ対の比較結果を参照する。前述したように、n番目の検知対象物の検知位置の差異を評価するための位置データ対P(k,m,n)、P(k,m,n)は、検知時刻k、kおよび検知部番号m、mの組合せに応じて複数ある。また、検知対象物は全部でN個(n=1~N)あるため、その分CSU1の異常検知の際に参照できる位置データ対の数は多くなる。このように異常検知部405がCSU1の異常を検知する際に参照可能な位置データ対の総数をNとする。
異常検知部405が複数の位置データ対の比較結果に基づいてCSU1の異常を検知する基準は任意に設定できる。例えば、N個の位置データ対のうち一定数以上(例えば半分(N/2)以上)の位置データ対の差異が一定以上の場合にCSU1に異常が発生したと判断する。また、検知対象物に着目し、N個の検知対象物のうち一定数以上(例えば半分(N/2)以上)の検知対象物において位置データ対の差異が一定以上の場合にCSU1に異常が発生したと判断する。また、検知部に着目し、M個の検知部のうち一定数以上(例えば半分(M/2)以上)の検知部が検知した位置データ対の差異が一定以上の場合にCSU1に異常が発生したと判断する。このように、異常検知部405がCSU1の異常検知の際に複数の位置データ対の比較結果を参照することで、特定時刻k、特定番号mの検知部、特定番号nの検知対象物に一時的に生じる外乱や異物検知等の偶発的な事象による誤検知を防止できる。
異常推定部406は、異常検知部405が異常を検知した際、座標変換部402における演算過程をトレースし、CSU1に発生した異常の類型を推定する。具体的には、検知部の取り付け位置や姿勢の変化、CSU1各部の変形や相対的な位置や姿勢の変化、走行部2が移動するレール3の変形、CSU1の状態パラメータの操作量と測定量の乖離等の異常の類型を推定する。
異常推定部406は、位置比較部404で検出された位置データ(検知部座標)の誤差に対して、第3実施形態の座標系補正部304が実行した第1の補正モデルまたは第2の補正モデルに基づく補正処理を施す。第1の補正モデルに基づく補正処理の結果、目的関数E(x)を最小化する最適な補正パラメータxが求められる。第3実施形態で示したように、補正パラメータxには、位置比較部404で比較された位置データを生成した各検知部の姿勢に関するφと位置に関するb、起伏角θに関するρ、旋回角θに関するρ、走行部2の位置に関するc、c、ブーム7の長さLb1に関するd等が含まれる。
異常推定部406は、これらの各補正パラメータの異常発生前後の変化を観測することで、異常発生の箇所や原因を推定できる。すなわち、φが異常発生前後で有意に変化した場合は検知部の姿勢に異常が生じたことが分かり、bが異常発生前後で有意に変化した場合は検知部の位置に異常が生じたことが分かり、ρが異常発生前後で有意に変化した場合は起伏角θの操作系統やセンサに異常が生じたことがわかり、ρが異常発生前後で有意に変化した場合は旋回角θの操作系統やセンサに異常が生じたことがわかり、c、cが異常発生前後で有意に変化した場合は走行部2やレール3に異常が生じたことが分かり、dが異常発生前後で有意に変化した場合はブーム7の変形等が生じたことが分かる。
また、異常推定部406が第2の補正モデルに基づく補正処理を施した場合、上記の補正パラメータxに加え、目的関数E(v)を最小化する最適な補正パラメータvが求められる。第1実施形態で示したように、補正パラメータvには、起伏角θのリアルタイム誤差に関するξ、旋回角θのリアルタイム誤差に関するξ、荷揚げ部9の傾きに関するκ、κ、ブーム7のねじれに関するζ等が含まれる。上記と同様に、ξが異常発生前後で有意に変化した場合は起伏角θの操作系統やセンサにリアルタイム誤差が生じたことがわかり、ξが異常発生前後で有意に変化した場合は旋回角θの操作系統やセンサにリアルタイム誤差が生じたことがわかり、κ、κが異常発生前後で有意に変化した場合は荷揚げ部9に傾きが生じたことが分かり、ζが異常発生前後で有意に変化した場合はブーム7にねじれが生じたことがわかる。
異常推定部406が推定した異常発生の箇所や原因は、異常発生の旨と共に主操作室16のオペレータ等に異常検知部405が報知する。これによって、オペレータは異常の調査と解消に向けたアクションを迅速に取れる。また、異常発生によって最適な補正パラメータx、vが変化した場合、異常推定部406は、第1~3実施形態の座標系補正部304のように変化後の最適な補正パラメータx、vを即時にCSU1に適用して異常の解消を試みてもよい。
図15は、第4実施形態に係る異常検知装置400による異常検知処理例を示すフローチャートである。図15(A)は、船200の寄港前等のCSU1が荷揚げを行っていない間に正常時の位置データを記憶するフローチャートであり、図15(B)は、船200からの荷揚げ中にCSU1に発生した異常を検知するフローチャートである。
図15(A)の処理は以下の通りである。S41では、異常検知装置400が、任意の検知位置の一つにCSU1の各可動部を移動させる。第3実施形態と同様に、検知部が検知する検知対象物は埠頭102上の基準物に限らない任意の物でよいため、検知位置は図8に示されるP1~P8に限られない。
S42では、異常検知装置400が、S41でCSU1が移動した検知位置から検知部に検知対象物を検知させる。S43では、検知部座標取得部401が、S42で得られた検知データから検知対象物の形状的特徴を抽出する。S44では、検知部座標取得部401が、S43で抽出された形状的特徴に対応する検知部座標を取得する。
S45では、異常検知装置400が、S42の各検知時刻におけるCSU1の状態ベクトルu=(θ,θ,θ,θ,xtl)を取得する。S46では、異常検知装置400が、全ての検知位置での検知が完了したか否かを判定する。未検知の検知位置がある場合はS41に戻り、CSU1の各可動部が次の検知位置に移動する。
S46で全ての検知位置での検知が完了したと判定された場合、S47において座標変換部402が、S45で取得されたCSU状態に基づいて、S44で取得された検知部座標を検知部座標系から地上座標系uに変換する。S48では、位置記憶部403が、S47で地上座標系uに変換された検知部座標を検知対象物の位置データP(k,m,n)として記憶する。
図15(B)の処理は以下の通りである。S49では、CSU1の各可動部が荷揚げ位置(例えば図8のP1)に移動する。その後、図15(A)と同様の処理S42~45、47が実行される。S50では、位置比較部404が、S48で記憶された正常時の検知対象物の第1位置データP(k,m,n)と、図15(B)のS44で新たに取得された同一検知対象物(n)の第2位置データP(k,m,n)を比較する。
S51では、異常検知部405が、S50で比較された第1位置データP(k,m,n)と第2位置データP(k,m,n)の差異が一定以上の場合にCSU1に異常が発生したと判定する。S51で異常が発生したと判定された場合はS52に進み、異常推定部406が、S50で検出された位置データの誤差に対して所定の補正モデルを適用することでS47における座標変換の演算過程をトレースし、CSU1に発生した異常の類型を推定する。S53では、異常検知部405が、S52で推定された異常の類型と共に異常発生の旨を主操作室16のオペレータ等に報知する。
以上の通り、本実施形態に係る異常検知装置400によれば、図15(A)でCSU1が荷揚げを行っていない間に記録した正常時の検知対象物の位置データをリファレンスとして、図15(B)でCSU1が荷揚げを行っている間に発生した異常を効果的に検知して報知できる。また、第1~3実施形態で説明した補正モデルを利用することで、CSU1に発生した異常の類型を具体的に特定できる。
以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
本発明は、実施形態で説明したバケットエレベータ式の連続アンローダに限らず、スパイラル型の連続アンローダや、エアー搬送機構を備える連続アンローダにも適用できる。
なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
1 荷揚げ装置(CSU)、2 走行部、3 レール、5 旋回フレーム、7 ブーム、9 荷揚げ部、11 掻き取り部、14 エレベータ本体、16 主操作室、18 測距センサ、19 測距センサ、21 開口部、45 ベルトコンベア、101 岸壁、102 埠頭、191~193 測距センサ、200 船、201 船庫、300 校正装置、301 測距点座標取得部、302 座標変換部、303 座標誤差検出部、304 座標系補正部、305 画素座標取得部、306 第1検知部座標取得部、307 第2検知部座標取得部、400 異常検知装置、401 検知部座標取得部、402 座標変換部、403 位置記憶部、404 位置比較部、405 異常検知部、406 異常推定部。

Claims (17)

  1. 船の積荷を荷下ろしする荷下ろし装置であって、
    前記船に対して移動可能な移動部と、
    前記移動部に対して旋回可能な旋回部と、
    前記旋回部に設けられ、前記積荷を搬出する搬出部と、
    前記搬出部に設けられ、測定対象物との距離を測定する測距部と、
    前記移動部が移動する地上を基準とする地上座標系における座標が既知の基準物を前記測距部で測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する測距点座標取得部と、
    前記測距部に対する前記搬出部の関係、前記搬出部に対する前記旋回部の関係、前記旋回部に対する前記移動部の関係に基づいて、測距部座標系における前記測距点座標および地上座標系における前記基準物の既知の座標を同一座標系に変換する座標変換部と、
    前記同一座標系において前記測距点座標と前記基準物の既知の座標の誤差を検出する座標誤差検出部と
    を備える荷下ろし装置。
  2. 前記座標誤差検出部で検出された誤差が小さくなるように、前記地上座標系と前記測距部座標系の関係を補正する座標系補正部を更に備える請求項1に記載の荷下ろし装置。
  3. 前記座標系補正部は、前記移動部、前記旋回部、前記搬出部の少なくとも一つの位置または姿勢の誤差を補正する補正パラメータを算出する請求項2に記載の荷下ろし装置。
  4. 前記座標系補正部は、前記搬出部が前記積荷を搬出している時に生じる誤差をリアルタイムで補正する請求項2または3に記載の荷下ろし装置。
  5. 前記搬出部は、前記積荷を掻き取る掻き取り部と、掻き取られた積荷を上方に運搬するエレベータ部を備え、
    前記測距部は前記掻き取り部に設けられる
    請求項1から4のいずれかに記載の荷下ろし装置。
  6. 前記移動部は所定の軌道に沿って移動可能であり、
    前記基準物は前記軌道に沿って配置された構造物である
    請求項1から5のいずれかに記載の荷下ろし装置。
  7. 前記基準物は線状の縁を有する構造物である請求項6に記載の荷下ろし装置。
  8. 前記基準物は平面を有する構造物である請求項6または7に記載の荷下ろし装置。
  9. 前記基準物は端点を有する構造物である請求項6から8のいずれかに記載の荷下ろし装置。
  10. 前記基準物はリフレクタである請求項6から9のいずれかに記載の荷下ろし装置。
  11. 前記基準物は前記軌道を構成する線路である請求項6から10のいずれかに記載の荷下ろし装置。
  12. 前記基準物は荷下ろしされた前記積荷を前記地上座標系における一定方向に運搬するコンベアである請求項1から11のいずれかに記載の荷下ろし装置。
  13. 前記測距点座標取得部は、前記搬出部が前記積荷を搬出していない時に前記測距点座標を取得する請求項1から12のいずれかに記載の荷下ろし装置。
  14. 前記測距点座標取得部は、前記旋回部の旋回によって前記搬出部が前記船の上方にない時に前記測距点座標を取得する請求項1から13のいずれかに記載の荷下ろし装置。
  15. 前記測距点座標取得部は、前記旋回部の旋回によって前記搬出部が陸地の上方にある時に前記測距点座標を取得する請求項1から14のいずれかに記載の荷下ろし装置。
  16. 船に対して移動可能な移動部と、
    前記移動部に対して旋回可能な旋回部と、
    前記旋回部に設けられ、前記船の積荷を搬出する搬出部と、
    前記搬出部に設けられ、測定対象物との距離を測定する測距部と
    を備える荷下ろし装置の校正方法であって、
    前記移動部が移動する地上を基準とする地上座標系における座標が既知の基準物を前記測距部で測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する測距点座標取得ステップと、
    前記測距部に対する前記搬出部の関係、前記搬出部に対する前記旋回部の関係、前記旋回部に対する前記移動部の関係に基づいて、測距部座標系における前記測距点座標および地上座標系における前記基準物の既知の座標を同一座標系に変換する座標変換ステップと、
    前記同一座標系において前記測距点座標と前記基準物の既知の座標の誤差を検出する座標誤差検出ステップと、
    前記座標誤差検出ステップで検出された誤差が小さくなるように、前記地上座標系と前記測距部座標系の関係を補正する座標系補正ステップと
    を備える荷下ろし装置の校正方法。
  17. 船に対して移動可能な移動部と、
    前記移動部に対して旋回可能な旋回部と、
    前記旋回部に設けられ、前記船の積荷を搬出する搬出部と、
    前記搬出部に設けられ、測定対象物との距離を測定する測距部と
    を備える荷下ろし装置の校正プログラムであって、
    前記移動部が移動する地上を基準とする地上座標系における座標が既知の基準物を前記測距部で測定し、当該測距部を基準とする測距部座標系における測距点座標を取得する測距点座標取得ステップと、
    前記測距部に対する前記搬出部の関係、前記搬出部に対する前記旋回部の関係、前記旋回部に対する前記移動部の関係に基づいて、測距部座標系における前記測距点座標および地上座標系における前記基準物の既知の座標を同一座標系に変換する座標変換ステップと、
    前記同一座標系において前記測距点座標と前記基準物の既知の座標の誤差を検出する座標誤差検出ステップと、
    前記座標誤差検出ステップで検出された誤差が小さくなるように、前記地上座標系と前記測距部座標系の関係を補正する座標系補正ステップと
    をコンピュータに実行させる荷下ろし装置の校正プログラム。
JP2022017039A 2021-03-31 2022-02-07 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム Pending JP2022158930A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022017039A JP2022158930A (ja) 2021-03-31 2022-02-07 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021059472 2021-03-31
JP2022017039A JP2022158930A (ja) 2021-03-31 2022-02-07 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021059472 Division 2021-03-31 2021-03-31

Publications (1)

Publication Number Publication Date
JP2022158930A true JP2022158930A (ja) 2022-10-17

Family

ID=87884917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022017039A Pending JP2022158930A (ja) 2021-03-31 2022-02-07 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム

Country Status (1)

Country Link
JP (1) JP2022158930A (ja)

Similar Documents

Publication Publication Date Title
ES2541805T3 (es) Métodos y sistemas para el automatizado de la capa límite e inspección de orientación
US7289876B2 (en) Container crane, and method of determining and correcting a misalignment between a load-carrying frame and a transport vehicle
US12002240B2 (en) Vision system for a robotic machine
US20130073089A1 (en) Robot system and imaging method
US20230348237A1 (en) Mapping of a Crane Spreader and a Crane Spreader Target
TWI719402B (zh) 卸載裝置
JP2907386B1 (ja) 連続アンローダの相対位置計測装置
EP1894881A2 (en) Load control device for a crane
TWI719403B (zh) 卸載裝置
CN117361331B (zh) 一种基于激光雷达的集装箱吊具位姿检测方法
JP2022158930A (ja) 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム
JP2022155994A (ja) 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム
JP2022155993A (ja) 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム
JP2022155991A (ja) 荷下ろし装置、荷下ろし装置の異常検知方法、荷下ろし装置の異常検知プログラム
AU2017274080B2 (en) Three dimensional object mapping
JP2022158931A (ja) 貨物室検出装置、貨物室検出方法、貨物室検出プログラム、荷下ろし装置
JP7272848B2 (ja) 荷揚げ装置
JP2023131543A (ja) 貨物室検出装置、貨物室検出方法、貨物室検出プログラム
JP2022155992A (ja) 構造検出装置、構造検出方法、構造検出プログラム、荷下ろし装置
WO2023166947A1 (ja) 荷下ろし装置、荷下ろし装置の制御方法、荷下ろし装置の制御プログラム、制御システム
JP7285122B2 (ja) 形状導出装置
JP7412274B2 (ja) 荷揚げ装置
JP7285121B2 (ja) 荷揚げ装置
JP2023131542A (ja) 荷下ろし装置、荷下ろし装置の制御方法、荷下ろし装置の制御プログラム
JP7237702B2 (ja) 荷揚げ装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20240214