JP2021183527A - ブームカメラシステムおよびブームカメラシステムを備える移動式クレーン - Google Patents

Abstract

【課題】ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができるブームカメラシステムおよびブームカメラシステムを備えた移動式クレーンを提供する。【解決手段】ブームカメラ３１と、ブームカメラ３１が撮影した画像を取得する画像取得部３５、ブームカメラ３１が撮影した画像において表示範囲Ａ０の基準となる基準形状ＢＳを設定する基準形状設定部３６、および、ブームカメラ３１が現在撮影している現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致画像Ｉａを基準形状ＢＳに基づいて抽出し、表示範囲Ａ０のうち、現在画像の撮影範囲と一致していない不一致範囲を算出し、画像取得部３５が取得した所定時間Ｔ前の過去画像から不一致画像Ｉｂを抽出し、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを生成する画像生成部３９を含む画像処理装置３４と、を具備する。【選択図】図５

Description

本発明は、ブームカメラシステムおよびブームカメラシステムを備える移動式クレーンに関する。

従来、作業車両である移動式クレーンは、旋回台に起伏自在に設けられている伸縮ブームによって荷物を吊り上げて目的地点まで搬送することができる。このような移動式クレーンは、操縦者が地表面の状態、吊り上げられた荷物等の状態を確認するブームカメラを有するものがある。ブームカメラは、ブームの鉛直下方向の対象物を撮影するためにブームの先端に設けられている。例えば、特許文献１の如くである。

特許文献１に記載のモニタ用カメラは、カメラ本体と、カメラ本体をカメラフレームに対して免振支持する免振支持機構と、カメラ本体の振動を検出する振動検出手段と、カメラ本体に内蔵され、撮像素子上に形成される画像の振れを抑制するように像振れ防止用レンズを駆動する防振アクチュエータと、前記振動検出手段により検出された振動に基づいて、前記防振アクチュエータを制御する制御部と、を有する。前記モニタ用カメラは、前記像振れ防止用レンズが前記防振アクチュエータによって前記振動検出手段が検出した振動を打ち消すように駆動されることにより、前記撮像素子上に形成される画像の振れが抑制される。

このように構成される前記モニタ用カメラは、前記アクチュエータで前記像振れ防止用レンズを駆動させている。このため、前記モニタ用カメラは、前記像振れ防止用レンズの駆動によって抑制できる画像の振れの大きさが構造上制限される。つまり、機構の制御によって画像の振れを抑制するモニタ用カメラは、機構の可動範囲を超える振動による画像の振れを抑制できない点で不利であった。また、モニタ用カメラは、前記振動検出手段が検出したモニタカメラ自体の振動による画像の振れを抑制しているので、クレーンに吊り下げられた荷物等、画像に映っている特定の物体の振れを抑制することができない。

特開２０１１−３０００２号公報

本発明の目的は、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができるブームカメラシステムおよびブームカメラシステムを備えた移動式クレーンの提供を目的とする。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、第１の発明は、旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンのブームカメラシステムであって、前記ブームに設けられるブームカメラと、前記ブームカメラが撮影した画像を取得する画像取得部、前記ブームカメラが撮影した画像において表示範囲の基準となる基準形状を設定する基準形状設定部、および、前記ブームカメラが現在撮影している現在画像の撮影範囲のうち、前記表示範囲と一致している一致範囲の画像を前記基準形状に基づいて抽出し、前記表示範囲のうち、前記現在画像の撮影範囲と一致していない不一致範囲を算出し、前記画像取得部が取得した所定時間前の過去画像から前記不一致範囲の画像を抽出し、前記一致範囲の画像と前記不一致範囲の画像とを繋ぎ合わせた合成画像を生成する画像生成部を含む画像処理装置と、を具備するブームカメラシステムである。

第２の発明は、前記合成画像は、前記不一致範囲の画像が識別可能な状態で表示されるブームカメラシステムである。

第３の発明は、前記基準形状は、前記ブームカメラが撮影した画像から任意に選択可能に構成されるブームカメラシステムである。

第４の発明は、前記基準形状設定部は、前記基準形状が前記ブームと連動しない部分の形状である場合、前記ブームの操作信号に基づいて前記基準形状を移動させるブームカメラシステムである。

第５の発明は、前記基準形状設定部は、前記基準形状を前記表示範囲の中心に移動させるブームカメラシステムである。

第６の発明は、旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンであって、上述の発明のいずれか一つに記載のブームカメラシステムを備える移動式クレーンである。

本発明は、以下に示すような効果を奏する。

第１の発明および第６の発明において、ブームカメラシステムは、ブームカメラの振動により現在画像に所定の形状を基準として定めた表示範囲の全範囲が含まれていない場合、欠損している範囲を過去画像からで補完することで表示範囲の全範囲の画像を生成する。ブームカメラシステムは、ブームカメラの振動によって移動する撮影範囲の画像を全て取得しているので、過去画像に欠損している範囲の画像が含まれる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の映像の振れを抑制することができる。

第２の発明において、ブームカメラシステムは、過去画像で補完されている範囲が認識できるように合成画像を表示するので、過去画像の補完によって操縦者が混乱することがない。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。

第３の発明において、ブームカメラシステムは、操縦者が選択した任意の物体を基準として表示範囲が設定され、操縦者が選択した任意の物体を基準とした過去画像によって画像範囲の欠損部分が補われる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。

第４の発明において、ブームカメラシステムは、ブームの操作信号を取得すると、ブームカメラが移動していると判定して、操作信号に基づいて表示範囲の位置を移動させるので、ブームの移動による表示範囲の変動が除外される。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。

第５の発明において、ブームカメラシステムは、荷物または吊り下げ装置等の特定の形状を表示範囲の中心に配置した状態で表示範囲の合成画像を生成する。つまり、ブームカメラシステムは、荷物等がブームカメラと異なる振動で揺れていても荷物等の画像の揺れを抑制することができる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。

クレーンの全体構成を示す側面図。 クレーンの制御構成を示すブロック図。 本発明に係るブームカメラシステムの制御構成を示すブロック図。 図４は揺れていないサブフックブロックを基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）はサブフックブロックを基準形状に定めた状態を示すブームカメラの画像を示し、（Ｂ）は荷物が搬送されている状態でのブームカメラの画像を示し、（Ｃ）は表示範囲にブームカメラの現在画像を表示させている画像を示す。 図５は揺れているサブフックブロックを基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）はサブフックブロックが表示範囲の基準形状の位置座標からずれている状態でのブームカメラの画像を示し、（Ｂ）は現在画像と表示範囲との一致範囲と不一致範囲を示し、（Ｃ）は表示範囲に現在画像から抽出した一致画像と過去画像から抽出した不一致画像とからなる合成画像を示す。 図６は地物を基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）は地物を基準形状に定めた状態を示すブームカメラの画像を示し、（Ｂ）はブームが移動している状態でのブームカメラの画像を示し、（Ｃ）は表示範囲に現在画像から抽出した一致画像と過去画像から抽出した不一致画像とからなる合成画像を示す。 ブームカメラシステムの振れ制御の態様を表すフローチャートを示す図。

以下に、図１と図２とを用いて、本発明における移動式クレーンの一実施形態であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等であればよい。

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行体である車両２、作業装置であるクレーン装置６、制御装置２９を有する。また、クレーン１は、ブームカメラシステム３０（図２参照）を具備する。

車両２は、クレーン装置６を搬送する移動体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる装置である。クレーン装置６は、旋回台７、旋回用油圧モータ８、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メイン用油圧モータ１３ａ、メインワイヤロープ１４、サブウインチ１５、サブ用油圧モータ１５ａ、サブワイヤロープ１６およびキャビン１７等を具備する。クレーン装置６には、ブームカメラシステム３０を介してブームカメラ３１が設けられている。

旋回台７は、クレーン装置６を旋回する装置である。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。

旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２２（図２参照）によって回転操作される。旋回用バルブ２２は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。旋回台７には、旋回台７の基準位置からの旋回した角度である旋回角度を検出する旋回用センサ２６（図２参照）が設けられている。

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する梁部材である。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に起伏可能に設けられている。ブーム９は、電磁比例切換弁である伸縮用バルブ２３（図２参照）によって伸縮操作される。各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。ブーム９には、ブーム９の長さを検出する伸縮用センサ２７、荷物Ｗの重量を検出する重量センサ等が設けられている。さらに、ブーム９には、ブームカメラシステム３０を構成するブームカメラ３１が設けられている。

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊り下げる部材である。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２４（図２参照）によって伸縮操作される。ブーム９には、ブーム９の起伏角度を検出する起伏用センサ２８（図２参照）が設けられている。

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータであるメイン用油圧モータ１３ａによって回転されるように構成されている。サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータであるサブ用油圧モータ１５ａによって回転されるように構成されている。

メイン用油圧モータ１３ａは、電磁比例切換弁であるメイン用バルブ２５ｍ（図２参照）によって回転操作される。メインウインチ１３は、メイン用バルブ２５ｍによってメイン用油圧モータ１３ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２５ｓ（図２参照）によってサブ用油圧モータ１５ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。

キャビン１７は、旋回台７に搭載されている。キャビン１７は、図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具、クレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている。

制御装置２９は、各操作弁を介してクレーン１のアクチュエータを制御する装置である。制御装置２９は、キャビン１７内に設けられている。制御装置２９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２９は、各アクチュエータ、切換え弁、センサ等の動作を制御するために種々のプログラム、データが格納されている。

制御装置２９は、ブームカメラ３１、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓに接続され、ブームカメラ３１の映像を取得し、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓのそれぞれの操作量を取得することができる。

制御装置２９は、旋回用バルブ２２、伸縮用バルブ２３、起伏用バルブ２４、メイン用バルブ２５ｍおよびサブ用バルブ２５ｓに接続され、旋回用バルブ２２、伸縮用バルブ２３、起伏用バルブ２４、メイン用バルブ２５ｍおよびサブ用バルブ２５ｓに制御信号を伝達することができる。

制御装置２９は、旋回用センサ２６、伸縮用センサ２７および起伏用センサ２８に接続され、旋回台７の旋回角度、ブーム９のブーム長さ、起伏角度、メインワイヤロープ１４およびサブワイヤロープ１６の繰り出し長さ等の姿勢情報および荷物Ｗの重量を取得することができる。

制御装置２９は、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓの操作信号に基づいて各操作具に対応した制御信号を生成することができる。

制御装置２９は、ブームカメラシステム３０の画像処理装置３４に有線または無線で接続され、画像処理装置３４にクレーン装置６の各操作具の操作信号を送信することができる。

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度に起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム長さに延伸させたりすることでクレーン装置６の揚程、作業半径を拡大することができる。また、クレーン１は、サブドラム操作具２１ｓ等によって荷物Ｗを吊り上げて、旋回操作具１８の操作によって旋回台７を旋回させることで荷物Ｗを搬送することができる。

次に、図１から図３を用いて、ブームカメラシステム３０について説明する。ブームカメラシステム３０は、ブームカメラ３１が撮影する画像の振れを抑制するシステムである。ブームカメラシステム３０は、ブームカメラ３１、傾斜計３２、表示装置３３、画像処理装置３４を備える。ブームカメラ３１に伝達される振動は、ブーム９の姿勢状態と操作によって生じる振動、風等の自然現象による振動を含む。

図１から図３に示すように、ブームカメラ３１は、荷物Ｗおよび荷物Ｗ周辺の地物Ｃを撮影する撮影装置である。ブームカメラ３１は、ブーム９の軸線方向に揺動自在に設けられている。ブームカメラ３１は、ブーム９の起伏角度に関わらず重力で鉛直下方向を向くように、ブーム９の先端部に設けられている。ブームカメラ３１は、荷物Ｗの上方から荷物Ｗおよびクレーン１周辺の地物Ｃ、地形を撮影可能に構成されている。ブームカメラ３１は、画像処理装置３４に画像情報を送信可能に構成される。

傾斜計３２は、ブームカメラ３１の角度を計測する計測器である。傾斜計３２は、ブームカメラ３１に設けられている。傾斜計３２は、鉛直方向に対するブームカメラ３１の現在の姿勢角である現在姿勢角θを検出する（図３参照）。傾斜計３２は、画像処理装置３４に現在姿勢角θに関する信号を送信可能に構成される。

表示装置３３は、ブームカメラ３１が撮影した画像またはブームカメラ３１が撮影した画像同士を合成した画像等の画像情報を表示する装置である。表示装置３３は、タッチパネル機能付き液晶モニタ等から構成されている。表示装置３３は、キャビン１７に設けられている。表示装置３３は、画像処理装置３４から画像情報を取得可能に構成される。

画像処理装置３４は、ブームカメラ３１が撮影した画像を表示範囲Ａ０の画像として合成処理する装置である。画像処理装置３４は、キャビン１７内に設けられている。画像処理装置３４は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。画像処理装置３４は、ブームカメラ３１が撮影した画像を処理するために種々のプログラム、データが格納されている。画像処理装置３４は、画像取得部３５、基準形状設定部３６、画像生成部３９を含む。本実施形態において、表示範囲Ａ０は、傾斜計３２が検出するブームカメラ３１の現在姿勢角θがゼロ度とみなせる所定角度範囲θｓ未満においてブームカメラ３１が撮影している範囲とする。すなわち、表示範囲Ａ０は、ブームカメラ３１が鉛直下方を向いているとみなせる状態において撮影している範囲である。

画像取得部３５は、ブームカメラ３１が撮影した画像を取得する画像処理装置３４の一部である。

画像取得部３５は、ブームカメラ３１に接続されている。画像取得部３５は、ブームカメラ３１が撮影した画像を取得することができる。また、画像取得部３５は、ブームカメラ３１が撮影した画像を所定時間Ｔの保持期間だけ保持することができる。つまり、画像取得部３５は、所定時間Ｔ内にブームカメラ３１の振動によって移動しながら撮影した範囲である振動撮影範囲Ａ１の画像を全て取得することができる。

基準形状設定部３６は、表示装置３３に表示する表示範囲Ａ０の基準を設定する画像処理装置３４の一部である。基準形状設定部３６は、傾斜計３２の現在姿勢角θが所定角度範囲θｓ未満である状態においてブームカメラ３１が撮影した画像内から任意に選択された形状の座標情報を表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準位置移動操作具３７と地物選択操作具３８とを備える。

基準形状設定部３６は、傾斜計３２に接続されている。基準形状設定部３６は、傾斜計３２から現在姿勢角θを取得することができる。

基準形状設定部３６は、表示装置３３に接続されている。基準形状設定部３６は、表示装置３３で指定された形状の座標情報と輝度、色彩等の画像情報を取得することができる。

基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含む形状を抽出することができる。基準形状設定部３６は、抽出した形状の座標情報を基準形状ＢＳの座標情報として設定することができる。また、基準形状設定部３６は、基準位置移動操作具３７の操作によって基準形状ＢＳの位置座標を表示範囲Ａ０の中心に変更することができる。さらに、基準形状設定部３６は、地物選択操作具３８の操作によって、基準形状ＢＳの位置座標をブーム９の操作信号に基づいて移動させることができる。つまり、基準形状設定部３６は、基準形状ＢＳがブーム９と連動しない部分の形状である場合、基準形状ＢＳの位置座標をブーム９の操作信号に基づいて移動させることができる。この際、基準形状設定部３６は、基準形状ＢＳの移動量が基準値を超えると、ブームカメラシステム３０による振れ抑制制御を解除する。基準形状ＢＳの座標情報は、表示範囲Ａ０における基準形状ＢＳの位置座標を含む情報である。

基準形状設定部３６は、クレーン１の制御装置２９に接続されている。基準形状設定部３６は、制御装置２９からブーム９の操作信号を取得することができる。基準形状設定部３６は、取得した操作信号に基づいて表示範囲Ａ０を移動させることができる。すなわち、基準形状設定部３６は、操作信号に基づいて、表示範囲Ａ０における基準形状ＢＳの位置座標を変更することができる。

画像生成部３９は、表示範囲Ａ０に表示する画像を生成する画像処理装置３４の一部である。

画像生成部３９は、ブームカメラ３１に接続されている。画像生成部３９は、ブームカメラ３１からブームカメラ３１が現在撮影している現在画像を取得することができる。

画像生成部３９は、画像取得部３５から所定時間Ｔ前までの過去画像を取得することができる。

画像生成部３９は、基準形状設定部３６から基準形状ＢＳの座標情報を取得することができる。また、画像生成部３９は、取得した基準形状ＢＳの座標情報に基づいて、現在画像から基準形状ＢＳを検出することができる。

画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在画像における基準形状ＢＳの位置座標とを一致させるようにして表示範囲Ａ０に現在画像を重ね合わせることができる。また、画像生成部３９は、現在画像の撮影範囲である現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出することができる。

画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない部分を算出することができる。さらに、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から一致していない不一致範囲の画像を不一致画像Ｉｂとして抽出することができる。

画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを生成することができる。

画像生成部３９は、生成した合成画像Ｉｃを表示装置３３に表示することができる。この際、画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとが認識可能な状態（例えば、色、枠表示等による表示）で合成画像Ｉｃを表示装置３３に表示させることができる。

このように構成されるブームカメラシステム３０は、ブームカメラ３１が所定時間Ｔ前までの過去に撮影した過去画像と、ブームカメラ３１現在撮影している現在画像とから、任意に選択された基準形状ＢＳの座標情報に基づいた表示範囲Ａ０の合成画像Ｉｃを生成するように構成されている。このように構成されることで、ブームカメラシステム３０は、選択された基準形状ＢＳを表示範囲Ａ０の所定の位置に表示することができる。また、ブームカメラシステム３０は、ブームカメラ３１の振動によって現在の撮影範囲と表示範囲Ａ０との間にずれが生じても、所定時間Ｔ前までに撮影された過去画像を利用することで、表示範囲Ａ０内に基準形状ＢＳを含む合成画像Ｉｃを表示させることができる。

次に、図４から図６を用いて、ブームカメラシステム３０の振れ制御について具体的に説明する。本実施形態において、ブームカメラシステム３０は、ブームカメラ３１の現在姿勢角θが鉛直下方を向いているとみなせる現在姿勢角θに含まれる状態での撮影範囲（画角）を表示範囲Ａ０とする。また、ブームカメラ３１は、ブーム９の伸縮方向に揺動自在に構成されているものとする。なお、便宜的に、表示範囲Ａ０は、紙面に向かって上方向をＸ方向、右方向をＹ方向と定義する。

図４に示すように、ブームカメラシステム３０は、ブームカメラ３１の振動によって撮影範囲が移動している状態で撮影された過去画像が画像取得部３５に保持されている。これにより、ブームカメラシステム３０は、ブームカメラ３１が現在撮影している現在撮影範囲Ａ２よりも広い振動撮影範囲Ａ１の過去映像を保持している。

図４（Ａ）に示すように、ブームカメラシステム３０は、振れを抑制したい形状として表示装置３３に表示されている現在画像からサブフックブロック１１が選択されると、基準形状設定部３６によってサブフックブロック１１の座標情報と輝度、色彩等の画像情報、現在姿勢角θを取得する。基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含むサブフックブロック１１を抽出し、表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準形状ＢＳの座標情報に基づいて基準形状ＢＳの位置座標に十字マーク（破線）を表示させる。

図４（Ｂ）に示すように、ブームカメラシステム３０は、画像生成部３９によってブームカメラ３１から現在撮影範囲Ａ２の現在画像を取得するとともに、現在画像からサブフックブロック１１を検出させる。本実施形態において、現在画像は、ブーム９によってブームカメラ３１がＹ方向に移動された状態を示す。

図４（Ｃ）に示すように、画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在撮影範囲Ａ２におけるサブフックブロック１１の位置座標とを一致させるようにして表示範囲Ａ０に現在画像を重ね合わせる。ブームカメラ３１の現在姿勢角θが所定角度範囲θｓ未満であり、かつ現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致している場合、つまり、サブフックブロック１１がブームカメラ３１に対して相対的に振動していない場合、現在撮影範囲Ａ２の現在画像は、表示範囲Ａ０とが全範囲で一致している。従って、画像生成部３９は、現在画像全体を一致画像Ｉａとして抽出する（薄墨部分）。一方、画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない不一致範囲が存在しない旨を算出する。

図５（Ａ）に示すように、ブームカメラ３１の現在姿勢角θが所定角度範囲θｓ未満であり、かつ現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、サブフックブロック１１がブームカメラ３１に対して相対的に振動している場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標からサブフックブロック１１の移動方向と移動量によって定まる距離Ｄだけずれている。

図５（Ｂ）に示すように、画像生成部３９は、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標と表示範囲Ａ０における基準形状ＢＳの位置座標とが一致するように現在撮影範囲Ａ２を移動させる。画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する（薄い薄墨部分）。一方、画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない不一致範囲を算出する。画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する（濃い薄墨部分）。

同様に、ブームカメラ３１の現在姿勢角θがゼロ度でなく、現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、ブームカメラ３１またはブームカメラ３１とサブフックブロック１１が振動している場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標からブームカメラ３１の移動方向および移動量またはブームカメラ３１の移動方向および移動量とサブフックブロック１１の移動方向および移動量との合算によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。

なお、基準形状ＢＳであるサブフックブロック１１の位置座標が表示範囲Ａ０の中心でない状態において、基準位置移動操作具３７の操作によりブームカメラシステム３０がサブフックブロック１１の表示位置を表示範囲Ａ０の中心に移動させた場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から基準形状ＢＳの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。

図５（Ｃ）に示すように、画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させる。また、画像生成部３９は、不一致画像Ｉｂを識別可能な表示方法（本実施形態においては、不一致画像Ｉｂの薄墨表示）で表示させる。画像生成部３９は、合成画像Ｉｃのサブフックブロック１１が表示範囲Ａ０における基準形状ＢＳに一致するように合成画像Ｉｃを表示させる。このように構成することで、ブームカメラシステム３０は、サブフックブロック１１の振動の有無に関わらず、表示範囲Ａ０における基準形状ＢＳの座標位置にサブフックブロック１１が表示される。

図６（Ａ）に示すように、ブームカメラシステム３０は、振れを抑制したい形状として表示装置３３に表示されている現在画像から地物Ｃが選択されると、基準形状設定部３６によって地物Ｃの座標情報と輝度、色彩等の画像情報、現在姿勢角θを取得する。基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含む地物Ｃを抽出し、表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準形状ＢＳの座標情報に基づいて基準形状ＢＳの位置座標に十字マーク（破線）を表示させる。

図６（Ｂ）に示すように、ブームカメラシステム３０は、画像生成部３９によってブームカメラ３１から現在画像を取得するとともに、現在画像から地物Ｃを検出する。本実施形態において、現在画像は、ブーム９によってブームカメラ３１が−Ｙ方向に移動された状態を示す。

図６（Ｃ）に示すように、画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在画像に現在撮影範囲Ａ２おける地物Ｃの位置座標を一致させるようにして表示範囲Ａ０に現在画像を重ね合わせる。ブームカメラシステム３０は、現在画像における地物Ｃの座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、ブーム９、ブームカメラ３１の振動によってブームカメラ３１が地物Ｃに対して相対的に振動している場合、現在撮影範囲Ａ２の現在画像における地物Ｃの位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から地物Ｃの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂ（薄墨部分）を抽出する。

画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させる。画像生成部３９は、合成画像Ｉｃの地物Ｃを表示範囲Ａ０における基準形状ＢＳに一致させながら表示装置３３に表示させる。このように構成することで、ブームカメラシステム３０は、ブーム９またはブームカメラ３１の振動の有無に関わらず、表示範囲Ａ０における基準形状ＢＳの座標位置に地物Ｃが表示される。

ブームカメラシステム３０は、地物選択操作具３８が操作された場合、つまり、ブームの旋回操作、起伏操作、伸縮操作等に基づいて、基準形状ＢＳの位置座標が移動された場合、現在撮影範囲Ａ２の現在画像における地物Ｃの位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から基準形状ＢＳの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。

次に、図７を用いて、ブームカメラシステム３０による振れ抑制制御について具体的に説明する。なお、本実施形態において、ブームカメラシステム３０は、ブームカメラ３１が現在撮影している現在撮影範囲Ａ２よりも広い振動撮影範囲Ａ１の過去映像を保持していることとする。また、ブームカメラシステム３０には、サブフックブロック１１が基準形状ＢＳとして選択されたものとする。

図７に示すように、振動抑制制御のステップＳ１１０において、画像処理装置３４は、表示装置３３の画面上に表示されている現在画像で選択されたサブフックブロック１１の座標情報を基準形状ＢＳの座標情報として抽出し、ステップをステップＳ１２０に移行させる。

ステップＳ１２０において、画像処理装置３４は、傾斜計３２から現在姿勢角θを取得し、ステップをステップＳ１３０に移行させる。

ステップＳ１３０において、画像処理装置３４は、取得した現在姿勢角θが所定角度範囲θｓ未満か否かを判定する。
その結果、取得した現在姿勢角θが所定角度範囲θｓ未満である場合、すなわちブームカメラ３１が鉛直下方向を向いているとみなせる場合、画像処理装置３４はステップをステップＳ１４０に移行させる。
一方、取得した現在姿勢角θが所定角度範囲θｓ未満でない場合、すなわちブームカメラ３１が鉛直下方向を向いていない場合、画像処理装置３４はステップをステップＳ１３５に移行させる。

ステップＳ１３５において、画像処理装置３４は、基準形状ＢＳの座標情報を、現在姿勢角θがゼロ度における場合の座標情報に換算して基準形状ＢＳの座標情報として設定し、ステップをステップＳ１４０に移行させる。

ステップＳ１４０において、画像処理装置３４は、抽出した基準形状ＢＳの座標情報を基準として表示範囲Ａ０を設定し、ステップをステップＳ１５０に移行させる。

ステップＳ１５０において、画像処理装置３４は、基準位置移動操作具３７が操作されたか否かを判定する。
その結果、基準位置移動操作具３７が操作された場合、ステップをステップＳ１６０に移行させる。
一方、基準位置移動操作具３７が操作されていない場合、画像処理装置３４はステップをステップＳ１７０に移行させる。

ステップＳ１６０において、画像処理装置３４は、基準形状ＢＳの位置座標を表示範囲Ａ０の中心に移動させて、ステップをステップＳ１７０に移行させる。

ステップＳ１７０において、画像処理装置３４は、ブームカメラ３１から現在画像を取得するとともに、サブフックブロック１１の画像を抽出し、ステップをステップＳ１８０に移行させる。

ステップＳ１８０において、画像処理装置３４は、取得した現在画像のサブフックブロック１１位置座標を表示範囲Ａ０の基準形状ＢＳの位置座標に一致させるようにして、現在画像を表示範囲Ａ０に表示し、ステップをステップＳ１９０に移行させる。

ステップＳ１９０において、画像処理装置３４は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している部分の画像を一致画像Ｉａとして抽出する。一方、画像処理装置３４は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出し、ステップをステップＳ２００に移行させる。

ステップＳ２００において、画像処理装置３４は、一致画像Ｉａと不一致画像Ｉｂとを区別できるように繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させ、ステップをステップＳ１１０に移行させる。

このように構成されるブームカメラシステム３０は、任意に選択された所定の形状を基準形状ＢＳとして設定する。さらに、ブームカメラシステム３０は、基準形状ＢＳを基準として表示装置３３にブームカメラ３１が撮影した現在映像を表示させる。この際、ブームカメラシステム３０は、ブームカメラ３１の振動によって現在画像に表示範囲Ａ０の全範囲が含まれていない場合、欠損している範囲を過去画像から抽出した不一致画像Ｉｂで補完した合成画像Ｉｃを生成する。ブームカメラシステム３０は、ブームカメラ３１の振動によって移動しながら撮影された画像を全て取得しているので、過去画像に不一致画像Ｉｂが含まれる。

この際、ブームカメラシステム３０は、過去画像で補完されている部分が認識できるように合成画像Ｉｃを表示するので、過去画像による補完によって操縦者が混乱することがない。つまり、ブームカメラシステム３０は、表示される現在画像に合成する過去画像の時間的範囲を所定時間Ｔの期間に限定することで、現在画像と過去画像との整合性をある程度まで担保しつつ、ブームカメラ３１の振動による欠損部分を過去画像で補完可能に構成されている。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさに関わらず現在画像に映っている任意の物体の画像の振れを抑制することができる。

また、ブームカメラシステム３０は、操縦者が選択した任意の物体の画像を基準形状ＢＳとして表示範囲Ａ０を設定し、操縦者が選択した任意の物体の画像を基準とした過去画像によって画像範囲の欠損部分を補う。つまり、ブームカメラシステム３０は、操縦者が任意に選択した物体についての画像の振れを抑制することができる。さらに、ブームカメラシステム３０は、地物選択操作具３８が操作された状態でブーム９の操作信号を取得すると、ブームカメラ３１がブーム９によって移動されていると判定する。そして、ブームカメラシステム３０は、操作信号に基づいて表示範囲Ａ０の位置を移動させるので、ブーム９の移動による表示範囲Ａ０の変動が表示範囲に表示される合成画像Ｉｃに反映される。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさ、ブーム９の操作に関わらず現在画像に映っている任意の物体の画像の振れのみを抑制することができる。

また、ブームカメラシステム３０は、基準位置移動操作具３７が操作されると、荷物Ｗまたはサブフックブロック１１等の任意の形状を表示範囲Ａ０の中心に配置した状態で表示範囲Ａ０の合成画像Ｉｃを生成する。つまり、ブームカメラシステム３０は、荷物Ｗ等がブームカメラ３１と異なる振動で揺れていても荷物Ｗ等の画像を表示範囲Ａ０の中心に振れを抑制させた状態で表示することができる。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさに関わらず現在画像に映っている任意の物体の画像の振れを抑制することができる。

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに、上述の実施形態は、種々なる形態で実施し得ることは勿論のことである。本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

１ クレーン
６ クレーン装置
９ ブーム
３０ 画像処理装置
３１ ブームカメラ
３４ ブーカメラシステム
３５ 画像取得部
３６ 基準形状設定部
３９ 画像生成部
ＢＳ 基準形状
Ａ０ 表示範囲
Ｉａ 一致画像
Ｉｂ 不一致画像
Ｉｃ 合成画像

Claims (6)

1. 旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンのブームカメラシステムであって、
   前記ブームに設けられるブームカメラと、
   前記ブームカメラが撮影した画像を取得する画像取得部、
   前記ブームカメラが撮影した画像において表示範囲の基準となる基準形状を設定する基準形状設定部、
   および、前記ブームカメラが現在撮影している現在画像の撮影範囲のうち、前記表示範囲と一致している一致範囲の画像を前記基準形状に基づいて抽出し、前記表示範囲のうち、前記現在画像の撮影範囲と一致していない不一致範囲を算出し、前記画像取得部が取得した所定時間前の過去画像から前記不一致範囲の画像を抽出し、前記一致範囲の画像と前記不一致範囲の画像とを繋ぎ合わせた合成画像を生成する画像生成部、
   を含む画像処理装置と、を具備するブームカメラシステム。
2. 前記合成画像は、前記不一致範囲の画像が識別可能な状態で表示される請求項１に記載のブームカメラシステム。
3. 前記基準形状は、前記ブームカメラが撮影した画像から任意に選択可能に構成される請求項１または請求項２に記載のブームカメラシステム。
4. 前記基準形状設定部は、前記基準形状が前記ブームと連動しない部分の形状である場合、前記ブームの操作信号に基づいて前記基準形状を移動させる請求項１から請求項３のいずれか一項に記載のブームカメラシステム。
5. 前記基準形状設定部は、前記基準形状を前記表示範囲の中心に移動させる請求項１から請求項４のいずれか一項に記載のブームカメラシステム。
6. 旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンであって、
   請求項１から請求項５のいずれか一項に記載のブームカメラシステムを備える移動式クレーン。

Images