JP2013159480A - 視覚補助装置 - Google Patents
視覚補助装置 Download PDFInfo
- Publication number
- JP2013159480A JP2013159480A JP2012025272A JP2012025272A JP2013159480A JP 2013159480 A JP2013159480 A JP 2013159480A JP 2012025272 A JP2012025272 A JP 2012025272A JP 2012025272 A JP2012025272 A JP 2012025272A JP 2013159480 A JP2013159480 A JP 2013159480A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- crane
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control And Safety Of Cranes (AREA)
Abstract
【解決手段】操作者に対するクレーンの操作を補助する画像を表示する視覚補助装置において、前記クレーンによる作業部周辺を撮影する複数の撮像手段と、前記複数の撮像手段により得られる複数の画像のうち、前記クレーン本体の旋回角度に基づいて少なくとも1つの画像を選択する画像選択手段と、前記画像選択手段により得られた画像を強調表示する画面を生成する画面生成手段とを有することにより、上記課題を解決する。
【選択図】図2
Description
なお、上述したようにトングを利用してスラブを挟んで吊り上げる方式では、搬送過程での脱落や吊り上げ姿勢の不良を防止する点等から、トングによるスラブの拘束状況を知ることが重要である。
本発明は、例えばクレーン本体の作業部周辺を撮影する複数のカメラ(撮像手段)を有する。具体的には、例えば360度の方向からクレーン本体の先端部(例えば、吊り部)の周囲を見るために、カメラを4箇所に設置する。また、本発明は、そのカメラによって撮影される画像(単に画像だけでなく映像も含む)のうち、例えば吊り部等の旋回量(向き)から、オペレータに確認させる画像を選択し、その画像を強調表示してもよい。なお、強調表示とは、他の画像に対して強調した表示全般を意味し、例えば選択した画像のみを表示したり、選択した画像を別画面で表示したり、全ての画像を表示した場合でも選択画像の周りに太枠線を設けたり、選択画像の表示サイズを他の画像の表示サイズよりも大きくする(他の画像の表示サイズを小さくしてもよい)等の表示形態を含む。
まず、第1の実施例における天井クレーンの概略構成例について図を用いて説明する。図1は、第1の実施例における天井クレーンの概略構成例を説明するための図である。なお、図1(A)は、天井クレーンの主要構成のみを示し、図1(B)は、天井クレーンの走行内容を示し、図1(C)は、カメラから得られる画像例を示している。
次に、第2の実施例における天井クレーンの概略構成例について図を用いて説明する。図2は、第2の実施例における天井クレーンの概略構成例を説明するための図である。なお、図2の例では、説明の便宜上、天井クレーンの概略図と、オペレータの位置とを把握するための図を示すものとし、上述した図1の天井クレーンと同様の構成については、同じ番号を付するものとし、ここでの具体的な説明は省略する。
ここで、第2の実施例における視覚補助装置31の機能構成例について、図を用いて説明する。図3は、第2の実施例における視覚補助装置の機能構成例を示す図である。図3に示す視覚補助装置31は、旋回角度(旋回量)検出手段51と、表示制御手段52と、表示手段53とを有するよう構成されている。また、表示制御手段52は、画像選択手段52−1と、画面生成手段52−2とを有するよう構成されている。
次に、上述した第2の実施例における視覚補助装置31の表示制御処理手順について説明する。図4は、第2の実施例における表示制御処理手順の一例を示すフローチャートである。図4に示す第2の実施例では、まず予め閾値角度θth1〜θth4の設定を行う(S01)。なお、第2の実施例における閾値角度とは、例えば、クレーン本体11のある所定の位置(角度)を基準(0度)として0度<θth1≦90度、90度<θth2≦180度、180度<θth3≦270度、270度<θth4≦360度(=0度)というように、各角度の範囲を閾値として設定する。
ここで、第2の実施例におけるカメラ画像の選択手法について図を用いて説明する。図5は、カメラ画像の選択手法の具体例を説明するための図である。図5に示す例では、上述した4つのカメラを用いた選択例を示しているが、本発明におけるカメラ台数についてはこれに限定されるものではなく、複数のカメラが設けられていればよい。
ここで、上述した第2の実施例では、クレーン本体11の旋回角度を検出し、その検出角度に応じて表示手段53に表示する内容を選択していたが、例えばカメラ13から得られた画像を解析してオペレータ16が確認すべき画像を選択してもよい。そこで、上述した内容を第3の実施例として以下に説明する。なお、第3の実施例における天井クレーンの概略構成例については、上述した第2の実施例における天井クレーンの概略構成例を同様であるためのここでの説明は省略する。
次に、上述した第3の実施例における視覚補助装置60の表示制御処理手順について説明する。図7は、第3の実施例における表示制御処理手順の一例を示すフローチャートである。図7に示す第3の実施例では、4つのカメラ13−1〜13−4の画像を取得し(S21)、吊り部11−3の周辺(作業部周辺)を撮影した各カメラからの画像を解析し、各画像に表示されている吊り部11−3の角度を取得する画像処理を行う(S22)。
ここで、本実施形態におけるピット内とカメラ配置との関係について図を用いて説明する。図8は、本実施形態におけるピット内とカメラ配置との関係を説明するための図である。図8に示す例では、上述した図1(B)と同様にピット17内を移動する天井クレーン30は、天井クレーン30は、図8(A),(B)に示すように、ピット17内の4隅に移動した場合には、例えば施設内の壁等に遮蔽されてピット17内が見えてないカメラが存在する可能性がある。このような場合に、特に第3の実施例に示すように、各カメラ13−1〜13−4から得られた画像を解析する画像処理を行うことで、正面に近い(最も正面らしい)画像を高精度に選択することができる。
次に、第4の実施例について説明する。第4の実施例では、4つのカメラ13−1〜13−4から得られる画像からカメラ姿勢角に基づいて作業部周辺を正面(真正面を含む)から見たような画像を生成したり、また上(真上を含む)から見たような画像を生成して、その何れか又は両方の画像を表示する。これにより、よりオペレータ16に作業部付近の映像を表示して、より高精度な視覚補助を行い、オペレータによる容易な確認と高精度な操作を行うことができる。
ここで、第4の実施例における視覚補助装置71の機能構成例について、図を用いて説明する。図10は、第4の実施例における視覚補助装置の機能構成例を示す図である。図10に示す視覚補助装置71は、旋回角度検出手段51と、表示制御手段91と、表示手段53とを有するよう構成されている。また、表示制御手段91は、画像選択手段52−1と、画像変換手段91−1と、画像変換パラメータ保持手段91−2と、画像合成手段91−3と、画面生成手段91−4とを有するよう構成されている。
次に、上述した第4の実施例における視覚補助装置71の表示制御処理手順について説明する。図11は、第4の実施例における表示制御処理手順の一例を示すフローチャートである。図11に示す第4の実施例では、まず予め閾値角度θth1〜4の設定を行う(S31)。なお、第4の実施例における閾値角度は、例えば、上述した第2の実施例における表示制御処理と同様に設定することができる。
次に、上述した画像変換手段91−1における画像変換(視点変換)の具体例について図を用いて説明する。図12は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図12において、カメラ13の入力画像平面R3は、カメラ13の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルMDは、XYZ直交座標系における立体面として表されるものとする。
四元数Rがカメラ13のそれぞれで不変であることから、
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、画像変換手段91−1は、カメラ13の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ13の光軸Gとが形成する入射角αを算出する。
次に、画像変換手段91−1による座標間の対応付けについて説明する。図13は、画像変換手段による座標間の対応付けについて説明するための図である。図13(A)は、一例として通常射影(h=ftanα)を採用するカメラ13の入力画像平面R3上の座標と空間モデルMD上の座標との間の対応関係を示す図であり、画像変換手段91−1は、カメラ13の入力画像平面R3上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ13の光学中心Cを通過するようにして両座標を対応付ける。
次に、視覚補助装置71が入力画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。図14は、出力画像生成処理の一例を示すフローチャートである。なお、図14は、出力画像生成処理の流れを示すフローチャートであり、カメラ13(入力画像平面R3)、空間モデルMD(水平面R1及び垂直面R2)、並びに仮想カメラ13V(出力画像平面R4)の配置は予め決定されているものとする。
次に、第5の実施例について説明する。第5の実施例では、上述した第4の実施例について、上述した第3の実施例と同様に、例えばカメラ13に表示されている画像を解析することで、オペレータ16に見せるべき最適な画像を選択する。なお、第5の実施例における天井クレーンの概略構成例については、上述した第4の実施例における天井クレーンの概略構成例を同様であるためのここでの説明は省略する。
次に、上述した第5の実施例における視覚補助装置91の表示制御処理手順について説明する。図16は、第5の実施例における表示制御処理手順の一例を示すフローチャートである。図16に示す第5の実施例では、カメラ姿勢パラメータを入力する(S61)。ここで、S61で入力されるパラメータは、例えば上述したS32の入力と同様のものであり、処理開始前に予め設定されていてもよい。
11 クレーン部
12 ガントリー部
13 カメラ(撮像手段)
14,31,60,71,100 視覚補助装置
15 操作装置
16 オペレータ(操作者)
17 ピット
18 レール
20,40,80 表示画面
21,41,81 画像
42 スライド機能
43 マーカ表示ボタン
44 レンズ歪補正ボタン
51 旋回角度検出手段
52,61,91,101 表示制御手段
52−1,61−3 画像選択手段
52−2,61−4,91−4,101−1 画面生成手段
53 表示手段
61−1 画像処理手段
61−2 比較対象保持手段
82 ボタン
91−1 画像変換手段
91−2 画像変換パラメータ保持手段
91−3 画像合成手段
Claims (7)
- 操作者に対するクレーンの操作を補助する画像を表示する視覚補助装置において、
前記クレーンによる作業部周辺を撮影する複数の撮像手段と、
前記複数の撮像手段により得られる複数の画像のうち、前記クレーン本体の旋回角度に基づいて少なくとも1つの画像を選択する画像選択手段と、
前記画像選択手段により得られた画像を強調表示する画面を生成する画面生成手段とを有することを特徴とする視覚補助装置。 - 前記画像選択手段により得られる選択画像に対して、前記クレーン本体に設けられた吊り部の正面又は上から見えるように画像の視点を変換する画像変換手段を有することを特徴とする請求項1に記載の視覚補助装置。
- 前記画像変換手段は、
前記画像選択手段により得られる画像が複数ある場合に、複数の選択画像に対して視点変換を行い、視点変換された各画像の一部を合成した画像を生成することを特徴とする請求項2に記載の視覚補助装置。 - 前記画像選択手段は、
前記複数の撮像手段により得られる複数の画像のうち、前記クレーンの位置情報に基づいて少なくとも1つの画像を選択することを特徴とする請求項1乃至3の何れか1項に記載の視覚補助装置。 - 前記画面生成手段は、
強調表示する画像が複数ある場合に、前記クレーンの移動方向に応じて強調表示する画像を選択することを特徴とする請求項1乃至4の何れか1項に記載の視覚補助装置。 - 前記クレーンの旋回角度を検出する旋回角度検出手段を有することを特徴とする請求項1乃至5の何れか1項に記載の視覚補助装置。
- 前記旋回角度検出手段は、
前記複数の撮像手段により得られる複数の画像を解析し、各画像に含まれる前記吊り部の旋回角度を取得することを特徴とする請求項6に記載の視覚補助装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025272A JP5917178B2 (ja) | 2012-02-08 | 2012-02-08 | 視覚補助装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025272A JP5917178B2 (ja) | 2012-02-08 | 2012-02-08 | 視覚補助装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013159480A true JP2013159480A (ja) | 2013-08-19 |
JP5917178B2 JP5917178B2 (ja) | 2016-05-11 |
Family
ID=49172049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012025272A Active JP5917178B2 (ja) | 2012-02-08 | 2012-02-08 | 視覚補助装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5917178B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015229532A (ja) * | 2014-06-03 | 2015-12-21 | 住友重機械工業株式会社 | クレーン装置 |
WO2016156667A1 (en) * | 2015-04-01 | 2016-10-06 | Konecranes Global Corporation | Method, load handling device, computer program and computer program product for positioning gripping means |
JP2017160027A (ja) * | 2016-03-10 | 2017-09-14 | 株式会社タダノ | クレーンの操作支援装置 |
JP2019104582A (ja) * | 2017-12-12 | 2019-06-27 | 株式会社北川鉄工所 | 吊荷の旋回角度検出方法 |
WO2019172413A1 (ja) * | 2018-03-09 | 2019-09-12 | 株式会社タダノ | クレーン |
US11198391B2 (en) | 2018-07-13 | 2021-12-14 | Epsilon Kran Gmbh | Crane control comprising a visualisation apparatus |
JP2022061682A (ja) * | 2020-10-07 | 2022-04-19 | 株式会社神戸製鋼所 | クレーン監視装置および該方法ならびに天井クレーン |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54115855A (en) * | 1978-03-01 | 1979-09-08 | Hitachi Ltd | Position controller for loader |
JPH06312894A (ja) * | 1993-04-28 | 1994-11-08 | Mitsubishi Heavy Ind Ltd | クレーンの運転装置 |
JP2012030948A (ja) * | 2010-07-30 | 2012-02-16 | Sumitomo Heavy Ind Ltd | 画像生成システム |
-
2012
- 2012-02-08 JP JP2012025272A patent/JP5917178B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54115855A (en) * | 1978-03-01 | 1979-09-08 | Hitachi Ltd | Position controller for loader |
JPH06312894A (ja) * | 1993-04-28 | 1994-11-08 | Mitsubishi Heavy Ind Ltd | クレーンの運転装置 |
JP2012030948A (ja) * | 2010-07-30 | 2012-02-16 | Sumitomo Heavy Ind Ltd | 画像生成システム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015229532A (ja) * | 2014-06-03 | 2015-12-21 | 住友重機械工業株式会社 | クレーン装置 |
US10584016B2 (en) | 2015-04-01 | 2020-03-10 | Konecranes Global Corporation | Method, load handling device, computer program and computer program product for positioning gripping means |
CN107428515A (zh) * | 2015-04-01 | 2017-12-01 | 科尼全球公司 | 用于定位夹持部件的方法、负载操纵装置、计算机程序和计算机程序产品 |
US20180282132A1 (en) * | 2015-04-01 | 2018-10-04 | Konecranes Global Corporation | Method, load handling device, computer program and computer program product for positioning gripping means |
EP3277614A4 (en) * | 2015-04-01 | 2018-12-05 | Konecranes Global Corporation | Method, load handling device, computer program and computer program product for positioning gripping means |
WO2016156667A1 (en) * | 2015-04-01 | 2016-10-06 | Konecranes Global Corporation | Method, load handling device, computer program and computer program product for positioning gripping means |
JP2017160027A (ja) * | 2016-03-10 | 2017-09-14 | 株式会社タダノ | クレーンの操作支援装置 |
JP2019104582A (ja) * | 2017-12-12 | 2019-06-27 | 株式会社北川鉄工所 | 吊荷の旋回角度検出方法 |
WO2019172413A1 (ja) * | 2018-03-09 | 2019-09-12 | 株式会社タダノ | クレーン |
JP2019156533A (ja) * | 2018-03-09 | 2019-09-19 | 株式会社タダノ | クレーン |
US11198391B2 (en) | 2018-07-13 | 2021-12-14 | Epsilon Kran Gmbh | Crane control comprising a visualisation apparatus |
JP2022061682A (ja) * | 2020-10-07 | 2022-04-19 | 株式会社神戸製鋼所 | クレーン監視装置および該方法ならびに天井クレーン |
JP7440009B2 (ja) | 2020-10-07 | 2024-02-28 | 株式会社神戸製鋼所 | クレーン監視装置および該方法ならびに天井クレーン |
Also Published As
Publication number | Publication date |
---|---|
JP5917178B2 (ja) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5917178B2 (ja) | 視覚補助装置 | |
JP5550970B2 (ja) | 画像生成装置及び操作支援システム | |
JP6965050B2 (ja) | ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法 | |
JP3842233B2 (ja) | 画像処理装置及びロボットシステム | |
JP6321977B2 (ja) | 重機用周辺監視装置 | |
JP6052881B2 (ja) | 作業機械用周辺監視装置 | |
JP6456584B2 (ja) | 作業機械用周辺監視装置 | |
CN102792684B (zh) | 图像生成装置及操作支持系统 | |
JP2014183500A (ja) | 作業機械用周辺監視装置 | |
JP2019023569A (ja) | 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン | |
JP5971994B2 (ja) | クレーン作業監視装置 | |
JP6302624B2 (ja) | 画像生成装置 | |
CN102792686B (zh) | 图像生成装置及操作支持系统 | |
JP2018093501A (ja) | 作業機械 | |
JP5575571B2 (ja) | 画像生成システム | |
JP6080450B2 (ja) | 監視カメラ装置 | |
JP5595822B2 (ja) | 画像生成システム | |
JP6290497B2 (ja) | ショベル | |
JP2006026790A (ja) | 教示モデル生成装置 | |
JP6421451B2 (ja) | カメラ姿勢検出装置 | |
JP2014183497A (ja) | 作業機械用周辺監視装置 | |
JP5844172B2 (ja) | クレーンシステム | |
JP2013205956A (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP6832806B2 (ja) | ガイド情報表示装置、クレーンおよびガイド情報の生成方法 | |
JP6301536B2 (ja) | ショベル |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5917178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |