JP2019218198A - 操作支援システム - Google Patents

Abstract

【課題】荷を対象箇所に移動させる操作を安全且つ容易に行うことができる操作支援システムを提供する。【解決手段】一実施形態に係る操作支援システムは、クレーンＣによって吊荷Ｐ１を対象箇所Ｔ１に移動させる操作を支援する操作支援システムであって、対象箇所Ｔ１の位置を取得する対象箇所位置取得手段３と、対象箇所Ｔ１を撮影するカメラ２と、対象箇所Ｔ１から延びると共に対象箇所Ｔ１への経路を示すＡＲモデルＦ１を、カメラ２によって撮影された画像と共に表示する表示手段と、を備える。【選択図】図１

Description

本発明は、重機によって荷を対象箇所に移動させる操作を支援する操作支援システムに関する。

特許第５５７５５７１号公報には、フック等の吊り具を斜め上方から見下ろしながら操作するクレーンの操作を支援する出力画像を生成する画像生成システムが記載されている。この画像生成システムは、吊り具を斜め上方から撮影する撮像装置と、撮像装置によって撮影された画像に視点変換処理を施す出力画像生成手段とを備え、撮像装置が撮影した入力画像に出力画像生成手段が視点変換処理を施すことによって出力画像が生成される。

出力画像生成手段は、視点変換処理によって吊り具を水平方向から見た出力画像を生成する。このように、出力画像として吊り具をあたかも水平方向から撮影したような画像が出力されるので、出力画像を見たクレーンの操作者が吊り具と床面との間の距離を認識する。よって、この画像生成システムでは、操作者に吊り具と床面との間の距離を認識させることによって吊り具の上げ下げの操作を支援している。

特許第６０３８７０１号公報には、遠隔操作支援システムが記載されている。この遠隔操作システムは、操作者から見て遮へい窓の奥側に位置する操作の対象物を把持するスレーブアーム、及び操作者が操作するマスターアームを有するマスタースレーブマニピュレータ（ＭＳＭ）を備える。遮へい窓の操作者側には、遮へい窓を覆うようにシースルー式モニタが取り付けられている。

シースルー式モニタには、操作者から実際に見える対象物の画像と、操作者から見えない部分をカバーする画像とが表示される。操作者から見えない部分をカバーする画像には、スレーブアームが対象物を遮っている部分の画像が含まれる。このように、実際に見える対象物の画像と、スレーブアームが対象物を遮っている部分の画像とが合成されてシースルー式モニタに表示されることにより、操作者は、実際に全体が見えるような感覚で操作を行うことが可能となる。

特許第５５７５５７１号公報 特許第６０３８７０１号公報

ところで、重機によって荷を所定の対象箇所に移動させる操作において、操作者から対象箇所が見えづらいことがある。例えば、クレーンで吊荷を荷降し箇所に吊降ろすときに荷降し箇所が建物等によって遮られることにより、操作者から荷降し箇所が見えづらいという問題が発生しうる。その結果、操作者が荷を移動させる操作を上手く行えないことにより、荷が落下する問題、及び荷が建物等に衝突する問題の発生が懸念される。

また、荷降し箇所の近くに配置された合図者の合図によって操作が行われることがあり、この場合、合図者を配置しなければならないと共に、操作者が合図者の合図に応じて操作をしなければならないので荷を移動させる作業が煩わしいという問題がある。更に、前述したシースルー式モニタ等では、対象物を遮っている部分の画像が合成されて表示される。しかしながら、対象物を遮っている部分の画像が合成されて表示されたとしても、操作者は荷を対象箇所に移動させる操作を上手く行えない場合があるので、操作の方法を判断することが困難である場合がある。従って、荷を対象箇所に移動させる操作の操作性の点において改善の余地がある。

本発明は、荷を対象箇所に移動させる操作を安全且つ容易に行うことができる操作支援システムを提供することを目的とする。

本発明の一側面に係る操作支援システムは、重機によって荷を対象箇所に移動させる操作を支援する操作支援システムであって、対象箇所の位置を取得する対象箇所位置取得手段と、対象箇所を撮影するカメラと、対象箇所から延びると共に対象箇所への経路を示す図形を、カメラによって撮影された画像と共に表示する表示手段と、を備える。

この操作支援システムでは、対象箇所位置取得手段が、重機によって荷を移動させる対象である対象箇所の位置を取得する。表示手段は、カメラによって撮影された画像と共に、対象箇所位置取得手段によって取得された対象箇所の位置を基に対象箇所への経路を示す図形を表示する。表示手段によって対象箇所への経路を示す図形は対象箇所から延びる図形として表示される。よって、操作者は、カメラの撮影画像と共に、対象箇所から延びており且つ対象箇所への経路を示す図形を見ることによって対象箇所への経路を視覚的に把握することができる。従って、対象箇所自体が建物等によって遮られるとしても、カメラの撮影画像と共に対象箇所から延びる図形を見ることによって、操作者は、対象箇所への経路を把握することができる。その結果、操作者は、表示された図形に沿って荷が移動するように操作を行えばよいので、荷が落下したり建物等に衝突したりする問題の発生を抑制することができる。また、操作者は、対象箇所から延びる図形を見ることによって操作を容易に行うことができるので、合図者を削減することができる。更に、対象箇所への経路を示す図形が対象箇所から延び出す図形として表示されることにより、操作者は、荷を移動させる経路を視覚的に把握できるので、荷を対象箇所に移動させる操作の方法を容易に判断することができる。従って、荷を移動させる操作の操作性を高めることができると共に、荷を対象箇所に移動させる操作を安全且つ容易に行うことができる。

また、前述した操作支援システムは、荷の位置を取得する荷位置取得手段を備え、表示手段は、荷から延びると共に荷の移動可能範囲を示す図形を、画像及び経路を示す図形と共に表示してもよい。この場合、荷位置取得手段が重機による移動対象の荷の位置を取得し、表示手段は、カメラによって撮影された画像と共に、荷位置取得手段によって取得された荷の位置を基に荷の移動可能範囲を示す図形を表示する。表示手段によって荷の移動可能範囲を示す図形は荷から延びる図形として表示される。よって、操作者は、カメラの撮影画像、及び対象箇所への経路を示す図形と共に、荷の移動可能範囲を示す図形を見ることによって、操作によって荷が移動する範囲を視覚的に把握することができる。従って、荷の移動可能範囲を示す図形と、対象箇所への経路を示す図形とを見ることにより、操作者は、対象箇所への経路の位置と荷の移動可能範囲の位置との位置関係を視覚的に把握することができる。その結果、操作者は、荷の移動可能範囲を示す図形が対象箇所への経路を示す図形に近づくように操作をすればよいので、荷を対象箇所に移動させる操作の操作性をより高めることができる。

また、前述した操作支援システムは、荷が対象箇所への経路を示す図形に含まれるか否かを通知する通知手段を備えてもよい。この場合、通知手段は、対象箇所への経路を示す図形に荷が含まれるか否かを操作者に通知する。従って、操作者は、荷が対象箇所への経路を示す図形に含まれることを知ることができるので、この場合は安心して荷を移動させる操作を行うことができる。一方、荷が対象箇所への経路を示す図形に含まれない場合には、その旨が通知手段によって操作者に通知される。これにより、操作者に荷を安全に移動させるよう促すことができる。従って、荷を移動させる操作を安全に行えているかどうかを操作者に把握させることができるので、安全に荷を移動させる操作を操作者に促すことができる。

また、通知手段は、荷が対象箇所への経路を示す図形に含まれなくなったときに警告する警告手段を備えてもよい。この場合、荷が対象箇所への経路を示す図形に含まれなくなったときに警告手段が操作者に警告を行う。従って、警告手段により、荷が経路から外れたときに操作者に注意喚起することができるので、安全に荷を移動させる操作を操作者に促すことができる。

また、警告手段は、荷が対象箇所への経路を示す図形に含まれなくなったときに、対象箇所への経路を示す図形を異ならせてもよい。この場合、荷が対象箇所への経路を示す図形に含まれなくなったときに警告手段が当該図形の態様を変更する。従って、警告手段が図形を変更することにより、操作者は荷が経路から外れたことを視覚的に把握することができる。その結果、荷を安全に移動させる操作を操作者により確実に促すことができる。

また、警告手段は、荷が対象箇所への経路を示す図形に含まれなくなったときに、対象箇所への経路を示す図形の色彩を異ならせてもよい。この場合、警告手段は、荷が対象箇所への経路を示す図形に含まれなくなったときに当該図形の色彩を変更する。よって、警告手段が図形の色彩を変更することにより、操作者は荷が経路から外れたことを色彩の変化によって一層容易に把握することができる。また、警告手段は図形の色彩を変更するので、図形の形状等を変更する場合と比較して、警告処理にかかる負荷を抑えることができる。

また、警告手段は、荷が対象箇所への経路を示す図形に含まれなくなったときに音声を出力してもよい。この場合、荷が対象箇所への経路を示す図形に含まれなくなったときに警告手段が音声を出力する。よって、警告手段が音声を出力することにより、操作者は荷が経路から外れたことを音声によって把握することができる。従って、荷を安全に移動させる操作を操作者に一層確実に促すことができる。

また、対象箇所位置取得手段はＡＲマーカーを含んでおり、表示手段は、カメラによって撮影されたＡＲマーカーを認識して、経路を示す図形を表示してもよい。この場合、カメラが撮影した画像と同一のスケールで当該図形をＡＲモデルとして表示することができる。従って、カメラが撮影した現実の空間に対象位置への経路を示す図形をＡＲモデルとして表示することができるので、実際の現場の様子を確認しながら荷を移動させる操作を行うことができる。よって、更に安全に荷を移動させる操作を行うことができる。

本発明の別の側面に係る操作支援システムは、重機によって荷を対象箇所に移動させる操作を支援する操作支援システムであって、荷の位置を取得する荷位置取得手段と、対象箇所を撮影するカメラと、荷から延びると共に荷の移動可能範囲を示す図形を、カメラによって撮影された画像と共に表示する表示手段と、を備える。

この操作支援システムでは、荷位置取得手段が重機によって移動される荷の位置を取得する。表示手段は、カメラによって撮影された画像と共に、荷位置取得手段によって取得された荷の位置に基づいて荷の移動可能範囲を示す図形を表示する。表示手段によって荷の移動可能範囲を示す図形は、荷から延びる図形として表示される。よって、操作者は、カメラの撮影画像と共に、荷から延びると共に荷の移動可能範囲を示す図形を見ることによって荷の移動可能範囲を視覚的に把握することができる。従って、荷を移動させる対象である対象箇所と荷の移動可能範囲との関係を視覚的に把握することができる。その結果、操作者は、荷の移動可能範囲が対象箇所に近づくように操作を行えばよいので、前述した操作支援システムと同様、操作を安全且つ容易に行うことができる。

また、表示手段は、荷の移動可能範囲を示す図形を荷から鉛直方向に延びる態様で表示してもよい。この場合、荷から鉛直方向に延びる図形を見ることにより、操作者は、荷の平面位置と、荷を移動させる対象である対象箇所の平面位置との関係を視覚的に把握することができる。従って、操作者は、荷を対象箇所に移動させる操作を一層容易に行うことができる。

また、荷位置取得手段はＡＲマーカーを含んでおり、表示手段は、カメラによって撮影されたＡＲマーカー、及び荷の輪郭の少なくともいずれか一方を認識して、荷の移動可能範囲を示す図形を表示してもよい。この場合、当該図形をＡＲモデルとして表示することができると共に、ＡＲマーカー及び荷の輪郭の少なくともいずれか一方を認識させて当該図形を表示することができる。従って、荷を移動させる作業を更に容易に行うことができる。

本発明によれば、荷を対象箇所に移動させる操作を安全且つ容易に行うことができる。

第１実施形態に係る操作支援システムが適用された現場の例を示す図である。 第１実施形態に係る操作支援システムの概略構成図である。 図２の操作支援システムの機能を示すブロック図である。 図２の操作支援システムによる対象箇所への経路を示す図形の例を示す図である。 図２の操作支援システムによる荷の移動可能範囲を示す図形の例を経路を示す図形と共に表現した図である。 （ａ）は、荷が対象箇所への経路を示す図形に含まれる例を示す図である。（ｂ）は、荷が図６（ａ）の図形に含まれなくなった例を示す図である。 ＡＲモデルの事前登録、及びＡＲモデルの表示の各工程を示すフローチャートである。 （ａ）は、吊荷の形状の認識に伴うＡＲモデルの作成の各工程を示すフローチャートである。（ｂ）は、図８（ａ）で作成されたＡＲモデルの表示の各工程を示すフローチャートである。 第１実施形態に係る操作支援方法の各工程の例を示すフローチャートである。 第２実施形態に係る操作支援システムによって表示されるＡＲモデルの例を示す図である。 第３実施形態に係る操作支援システムによって表示されるＡＲモデルの例を示す図である。 第４実施形態に係る操作支援システムによって表示されるＡＲモデルの例を示す図である。 第５実施形態に係る操作支援システムの吊荷回転制御治具を示す図である。 （ａ）は、荷の移動可能範囲を示すＡＲモデルの変形例を示す図である。（ｂ）は、荷の移動可能範囲を示すＡＲモデルの別の変形例を示す図である。（ｃ）は、荷の移動可能範囲を示すＡＲモデルの更に別の変形例を示す図である。（ｄ）は、対象箇所に配置された荷から延びるＡＲモデルの例を示す図である。

以下では、図面を参照しながら本発明に係る操作支援システムの実施形態について説明する。図面の説明において、同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易のため、一部を簡略化又は誇張して描いている場合があり、寸法等は図面に記載のものに限定されない。

（第１実施形態）
図１は、第１実施形態に係る操作支援システム１が適用される例である現場Ａ１を示す図である。図２は、操作支援システム１の概略構成図である。現場Ａ１は、例えば、吊荷Ｐ１（荷）を対象箇所Ｔ１（吊り降ろし地点）である建物Ｂ１の屋上Ｂ１１に吊り降ろす現場を示しており、吊荷Ｐ１を吊り降ろす操作はクレーンＣの操作者Ｍによって行われる。クレーンＣの操作者ＭはクレーンＣのキャビンＣ１でモニタＣ２を見ながら遠隔操作を行う。

一例として、クレーンＣは、キャリアに設けられると共にキャビンＣ１を含む旋回台Ｃ３と、旋回台Ｃ３に上下揺動自在に取り付けられた伸縮ブームＣ５と、伸縮ブームＣ５の先端から下方に延び出すワイヤロープＣ６と、ワイヤロープＣ６の下端に位置するフックを有する吊り下げ部Ｃ７とを備える。吊り下げ部Ｃ７のフックには、例えば、吊荷Ｐ１を吊り下げると共に吊荷Ｐ１から上方に延び出す複数の紐Ｐ１１が引っ掛けられる。一例として、伸縮ブームＣ５は、基端ブームＣ５１と先端ブームＣ５２が入れ子式に嵌挿されて構成され、内部に設けられた伸縮シリンダの作動によって伸縮自在とされている。なお、前述したクレーンＣの構成は一例であり適宜変更可能である。

例えば、建物Ｂ１はクレーンＣのキャビンＣ１に対して高く延びており、キャビンＣ１の中で操作を行う操作者Ｍからは建物Ｂ１の屋上Ｂ１１を見ることができない。しかしながら、本実施形態に係る操作支援システム１は、対象箇所Ｔ１を撮影する複数のカメラ２を備えており、カメラ２によって撮影された画像をモニタＣ２に表示する。

カメラ２によって対象箇所Ｔ１を含む現場Ａ１の領域をモニタＣ２に表示することによって、操作者ＭはモニタＣ２を見ながら吊荷Ｐ１を吊り降ろす操作を行うことが可能となる。例えば、カメラ２は、建物Ｂ１の屋上Ｂ１１に設けられるが、クレーンＣに設けられてもよく、カメラ２の数及び配置場所は適宜変更可能である。

ところで、単に対象箇所Ｔ１を含む現場Ａ１の領域をモニタＣ２に表示するだけでは、実際の吊荷Ｐ１の位置と対象箇所Ｔ１の位置との位置関係が分からないため、操作者Ｍは安全且つ容易に吊荷Ｐ１を吊り降ろす操作を行うことができないという問題がある。よって、従来は対象箇所Ｔ１の付近に合図者を配置して操作者Ｍが合図者の合図に従いながら作業を行っていた。しかしながら、合図者は合図を上手く行えなかったり、操作者Ｍは合図を上手く認識できなかったりすることがあるので、吊り降ろしの作業が煩雑であるという問題がある。

本実施形態に係る操作支援システム１は、制御部１０を備えており、制御部１０が、カメラ２の撮影画像と共に、対象箇所Ｔ１への経路を示すＡＲモデルＦ１（図形）、及び吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２（図形）をモニタＣ２に表示することによって前述した問題を解決している。すなわち、キャビンＣ１の中で操作を行う操作者Ｍは、対象箇所Ｔ１への経路を示すＡＲモデルＦ１、及び吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２をモニタＣ２で見ることにより、合図者を削減しても適切に吊荷Ｐ１を対象箇所Ｔ１に移動させることができる。

一例として、ＡＲモデルＦ１の形状は円柱状であり、ＡＲモデルＦ２の形状は角柱状であるが、これらの形状は適宜変更可能である。例えば、ＡＲモデルＦ１及びＡＲモデルＦ２は、ＡＲモデルＦ１及びＡＲモデルＦ２の向こう側が視認できるように、半透明に表示される。なお、制御部１０の詳細については後述する。

なお、本明細書において、ＡＲモデルとは、ＡＲ（Augmented Reality）技術によって生成された仮想画像を示している。本実施形態に係る操作支援システム１では、カメラ２が撮影した現場Ａ１の画像に操作支援用のＡＲモデルが重ねて表示されることにより、荷を移動させる操作者Ｍの操作支援を実現させている。

対象箇所Ｔ１への経路を示すＡＲモデルＦ１は、対象箇所Ｔ１から延び出す態様で表示され、一例として対象箇所Ｔ１から鉛直方向に延びるように表示される。また、吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２は、吊荷Ｐ１から延び出す態様で表示され、一例として吊荷Ｐ１から鉛直方向（鉛直下方）に延びるように表示される。ＡＲモデルＦ１が対象箇所Ｔ１から延び出す態様で表示されることにより操作者Ｍは対象箇所Ｔ１への経路を確実に把握することができる。また、ＡＲモデルＦ２が吊荷Ｐ１から延び出す態様で表示されることにより操作者Ｍは吊荷Ｐ１の移動操作をどのように行えばよいかを確実に把握することができる。

なお、「対象箇所から延びる」とは、対象箇所そのものから延びる場合のほか、対象箇所に対して若干離れた位置から延びることも含んでいる。また、「荷（吊荷Ｐ１）から延びる」とは、荷そのものから延びる場合のほか、荷に対して若干離れた位置から延びることも含んでいる。

操作支援システム１は、対象箇所Ｔ１の位置を取得する対象箇所位置取得手段３と、吊荷Ｐ１の位置を取得する荷位置取得手段４とを備える。例えば、対象箇所位置取得手段３はＡＲマーカー３ａを含んでおり、荷位置取得手段４はＡＲマーカー４ａを含んでいる。操作支援システム１では、ＡＲマーカー３ａがカメラ２で撮影されることによって対象箇所Ｔ１の位置が取得され、ＡＲマーカー４ａがカメラ２で撮影されることによって吊荷Ｐ１の位置が取得される。

本明細書において、ＡＲマーカーとは、ＡＲモデルを表示する位置を指定するための標識を示しており、予め定められたパターンを有する。ＡＲマーカーには、図形、静止画像、動画又は音声等の各種情報を対応付けることができ、ＡＲマーカーに対応付けられる情報を適宜書き換えることが可能である。本実施形態では、ＡＲマーカー３ａに対象箇所Ｔ１への経路を示す図形（ＡＲモデルＦ１）を対応付ける例、及びＡＲマーカー４ａに吊荷Ｐ１の移動可能経路を示す図形（ＡＲモデルＦ２）を対応付ける例、について説明する。

例えば、対象箇所Ｔ１には１つのＡＲマーカー３ａが設けられ、吊荷Ｐ１の上方に位置する吊り下げ部Ｃ７には複数のＡＲマーカー４ａが設けられる。一例として、複数のＡＲマーカー４ａは、吊り下げ部Ｃ７に対して互いに対称となる位置に一対に設けられる。このように、複数のＡＲマーカー４ａが設けられることにより、たとえ吊り下げ部Ｃ７が回転したとしても確実にＡＲマーカー４ａを撮影することが可能となる。

次に、操作支援システム１のシステム構成について説明する。図２及び図３に示されるように、操作支援システム１は、前述したカメラ２、対象箇所位置取得手段３及び荷位置取得手段４と、制御部１０と、モニタＣ２とを備える。制御部１０は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶部１３とを備えて構成されている。制御部１０の各機能は、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することによって実現される。制御部１０は、一例としてキャビンＣ１に設けられたコンピュータ（端末）であるが、制御部１０の形態及び配置場所については特に限定されない。

モニタＣ２は、前述したカメラ２の撮影画像及びＡＲモデルＦ１，Ｆ２のほか、制御部１０による各制御の内容を表示してもよいし、ＡＲモデルＦ１，Ｆ２を拡大した画像を表示してもよい。モニタＣ２は、一例として、対象箇所Ｔ１及び吊荷Ｐ１から離れた位置に設けられたコンピュータ（例えば制御部１０）のディスプレイである。また、制御部１０は操作支援システム１を構成する操作支援アプリケーションを含んでいてもよく、この場合、操作者ＭはモニタＣ２を見ながら当該操作支援アプリケーションによる操作支援を受けることが可能となる。

制御部１０には、カメラ２が撮影した対象箇所Ｔ１及び吊荷Ｐ１を含む現場Ａ１の画像が入力される。制御部１０に入力される画像には、カメラ２が撮影したＡＲマーカー３ａ及びＡＲマーカー４ａの画像が含まれる。制御部１０は、モニタＣ２に画像を表示する表示手段である表示制御部１１と、吊荷Ｐ１が適切に移動できているか否かを通知する通知手段である通知部１２と、ＡＲモデルＦ１，Ｆ２を含む各種情報を記憶する記憶部１３とを備える。

図４に示されるように、表示制御部１１は、カメラ２によって撮影された対象箇所Ｔ１及び吊荷Ｐ１の画像にＡＲモデルＦ１を付加してモニタＣ２に表示する。例えば、表示制御部１１は、カメラ２によって撮影されたＡＲマーカー３ａを認識して対象箇所Ｔ１から延び出すＡＲモデルＦ１を表示する。また、表示制御部１１は、カメラ２によって撮影されたＡＲマーカー４ａを認識して吊り下げ部Ｃ７からＡＲモデルＦ１に向かって延び出すＡＲモデルＦ３を表示してもよい。ＡＲモデルＦ３は、一例として、吊り下げ部Ｃ７からＡＲモデルＦ１に向かって延び出す矩形状の図形として表示される。このように対象箇所Ｔ１から延び出すＡＲモデルＦ１とＡＲモデルＦ３とをモニタＣ２に表示することにより、操作者Ｍは吊荷Ｐ１の移動経路を視覚的に把握することができる。

また、図５に示されるように、表示制御部１１は、カメラ２によって撮影された対象箇所Ｔ１及び吊荷Ｐ１の画像にＡＲモデルＦ１，Ｆ３の他に更にＡＲモデルＦ２を付加してモニタＣ２に表示してもよい。この場合、表示制御部１１は、カメラ２によって撮影されたＡＲマーカー４ａを認識すると共に、撮影された吊荷Ｐ１の輪郭Ｐ１２を認識して吊荷Ｐ１から延び出すＡＲモデルＦ２を表示する。例えば、吊荷Ｐ１の輪郭Ｐ１２は、認識しやすい吊荷Ｐ１の角部であってもよい。このように吊荷Ｐ１から延び出すと共に吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２をモニタＣ２に表示することにより、操作者Ｍは吊荷Ｐ１の移動可能範囲を視覚的に把握することができる。

また、現場Ａ１の進入禁止領域（例えば、障害物がある所等の揚重制限範囲）を事前に設定し、設定された進入禁止領域を避けるように表示制御部１１が経路を示すＡＲモデルＦ１を表示してもよい。更に、表示制御部１１は、最初に経路を示すＡＲモデルＦ１を表示した後に、進入禁止領域を避けた経路を示すＡＲモデルを表示し直してもよい。このように、表示制御部１１の経路表示のさせ方は適宜変更可能である。

通知部１２は、例えば、吊荷Ｐ１が所定の経路に沿って移動されているか否かをモニタＣ２を通じて操作者Ｍに通知する。一例として、通知部１２は、対象箇所Ｔ１への経路を示すＡＲモデルＦ１の色彩を変更することによって吊荷Ｐ１が所定の経路に沿って移動されているか否かを通知する。また、通知部１２は、吊荷Ｐ１（吊荷Ｐ１から延び出すＡＲモデルＦ２）が対象箇所Ｔ１への経路を示すＡＲモデルＦ１から外れたときに警告を出力する警告部１２ａ（警告手段）を有する。警告部１２ａは、吊荷Ｐ１が所定の経路から外れたことをモニタＣ２を通じて操作者Ｍに通知し、例えば、対象箇所Ｔ１への経路を示すＡＲモデルＦ１の色彩を変更することによって警告を行う。

また、警告部１２ａ（警告手段）は、前述した進入禁止領域に吊荷Ｐ１が入ったときに警告を行ってもよい。更に、警告部１２ａ（警告手段）は、現場Ａ１のパトライト（登録商標）又はスピーカ等の警報機器に出力信号を発信し、パトライト又はスピ―カ等を作動させることによって警告を行ってもよい。このように、現場Ａの警報機器に警告部１２ａ（警告手段）が出力信号を発信することにより、安全性を一層高めることが可能となる。

具体例として、図５、図６（ａ）及び図６（ｂ）に示されるように、警告部１２ａを備える通知部１２は、吊荷Ｐ１から延び出すＡＲモデルＦ２が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に到達する前にはＡＲモデルＦ１を桃色で表示し、ＡＲモデルＦ２がＡＲモデルＦ１に含まれたときにはＡＲモデルＦ１を水色で表示する。なお、ＡＲモデルＦ２がＡＲモデルＦ１に含まれたときに変更するＡＲモデルＦ１の色彩は、桃色又は水色以外の色彩であってもよい。当該水色は、安全に吊荷Ｐ１を移動できていることを示す色彩の一例を示している。

そして、ＡＲモデルＦ２がＡＲモデルＦ１に含まれた後にＡＲモデルＦ２がＡＲモデルＦ１から外れると、警告部１２ａがＡＲモデルＦ１を赤色で表示する。このように警告部１２ａがＡＲモデルＦ１の色彩を赤色に変更することにより、操作者Ｍは、安全に吊荷Ｐ１を移動できていないことを把握できる。なお、ＡＲモデルＦ２がＡＲモデルＦ１に含まれなくなったときに変更するＡＲモデルＦ１の色彩は、赤色以外の色彩であってもよい。当該赤色は、安全に吊荷Ｐ１を移動できていないことを示す色彩の一例を示している。

警告部１２ａは、ＡＲモデルＦ２がＡＲモデルＦ１から外れたときに警告の音声を出力する音声出力部を備えていてもよい。音声出力部は、例えば、キャビンＣ１の内部に設けられたスピーカから警告に関する音声を出力する。このように、警告部１２ａが警告の音声を出力することにより、操作者Ｍに吊荷Ｐ１が対象箇所Ｔ１への経路から外れたことを注意喚起することができる。その結果、操作者Ｍに安全な操作を促すことができる。

例えば、表示制御部１１は、吊荷Ｐ１から延び出すＡＲモデルＦ２が対象箇所Ｔ１への経路を示すＡＲモデルＦ１と重なるときに、ＡＲモデルＦ２とＡＲモデルＦ１の前後関係（ＡＲモデルＦ１及びＡＲモデルＦ２のうちどちらがカメラ２側（手前）に位置しているか）が分かるようにＡＲモデルＦ１，Ｆ２の表示を変更してもよい。

具体例として、ＡＲモデルＦ１及びＡＲモデルＦ２のうち手前側に位置する方を実線で表示すると共に奥側に位置する方を破線で表示してもよい。また、ＡＲモデルＦ１及びＡＲモデルＦ２のうち手前側に位置する方を太線で表示すると共に奥側に位置する方を細線で表示してもよい。更に、ＡＲモデルＦ１及びＡＲモデルＦ２のうち手前側に位置する方の線の色彩を薄くすると共に奥側に位置する方の線の色彩を濃くしてもよい。このように、ＡＲモデルＦ１とＡＲモデルＦ２の前後関係が分かるように表示を行うことにより、操作者Ｍは、対象箇所Ｔ１への経路の位置と吊荷Ｐ１の位置との前後関係を把握することができる。

記憶部１３には、例えば、ＡＲマーカー３ａ，４ａが撮影されることによってモニタＣ２に表示されるＡＲモデルＦ１，Ｆ２，Ｆ３が予め記憶される。以下では、ＡＲモデルＦ１，Ｆ２，Ｆ３を記憶部１３に事前に登録する登録方法の例について図７を参照しながら説明する。まず、ＡＲマーカー３ａ，４ａを撮影するカメラのキャリブレーションを行い（ステップＳ１）、ＡＲマーカー３ａ，４ａの画像をキャプチャーする（ステップＳ２）。

そして、前述した操作支援システム１の操作支援アプリケーションがＡＲマーカー３ａ，４ａのパターンを検出して当該パターンを登録する（ステップＳ３，Ｓ４）。その後、当該パターンに対応付けられるＡＲモデルＦ１，Ｆ２，Ｆ３を作成した後に、ＡＲモデルＦ１，Ｆ２，Ｆ３が記憶部１３に記憶される（ステップＳ５）。

次に、ＡＲモデルＦ１，Ｆ２，Ｆ３を表示する各工程について説明する。まず、ＡＲマーカー３ａ，４ａを撮影するカメラを起動してＡＲマーカー３ａ，４ａの映像をキャプチャーする（ステップＳ６，Ｓ７）。そして、操作支援アプリケーションがＡＲマーカー３ａ，４ａを検出し（ステップＳ８）、ＡＲマーカー３ａ，４ａのパターンの特徴点を抽出した後に抽出したパターンを記憶部１３に記憶されているパターンにマッチングさせる（ステップＳ９，Ｓ１０）。

操作支援アプリケーションは、前述したように抽出したパターンが記憶されているＡＲマーカー３ａ，４ａのパターンに正しくマッチングするか否かを判定する（ステップＳ１１）。そして、抽出したパターンが正しくマッチングしていると判定した場合には、ＡＲマーカー３ａ，４ａに対応付けられたＡＲモデルＦ１，Ｆ２，Ｆ３をモニタ２ａに表示する（ステップＳ１２）。一方、抽出したパターンが正しくマッチングしていないと判定した場合には、再度ステップＳ８に移行してＡＲマーカー３ａ，４ａの映像のキャプチャーを行う。

次に、吊荷Ｐ１の輪郭Ｐ１２（例えば角部）から移動可能範囲を示すＡＲモデルＦ２を作成する各工程の例について図８（ａ）を参照しながら説明する。まず、吊荷Ｐ１を撮影するカメラのキャリブレーションを行い（ステップＳ２１）、複数の吊荷Ｐ１の画像をキャプチャーする（ステップＳ２２）。そして、操作支援アプリケーションは、吊荷Ｐ１のポーズ（姿勢）の初期化を行った後に例えば吊荷Ｐ１の輪郭Ｐ１２（角部）を検出して輪郭Ｐ１２のパターンを登録する（ステップＳ２３，Ｓ２４，Ｓ２５）。その後、輪郭Ｐ１２のパターンに対応付けられるＡＲモデルＦ２を作成し、作成されたＡＲモデルＦ２が記憶部１３に記憶される（ステップＳ２６）。

続いて、ステップＳ２６で作成したＡＲモデルＦ２を表示するときの各工程について図８（ｂ）を参照しながら説明する。まず、吊荷Ｐ１を撮影するカメラを起動して吊荷Ｐ１の映像をキャプチャーして吊荷Ｐ１を検出する（ステップＳ２７，Ｓ２８，Ｓ２９）。そして、吊荷Ｐ１のコントロールポイントのサンプリング、輪郭Ｐ１２（角部）の検出及びパターンの対象検索を行って（ステップＳ３０，Ｓ３１，Ｓ３２）、撮影した吊荷Ｐ１の形状とポーズを推定した後にＡＲモデルＦ２を表示する（ステップＳ３３，Ｓ３４）。

以上のように構成された操作支援システム１を用いて現場Ａ１で吊荷Ｐ１を移動させる操作を支援する操作支援方法の例について図９を参照しながら説明する。図９は、現場Ａ１で吊荷Ｐ１を対象箇所Ｔ１に吊り降ろす操作を支援する操作支援方法の一例を示している。まず、予め吊荷Ｐ１及び対象箇所Ｔ１を撮影可能な箇所にカメラ２を設置すると共に（ステップＳ４１）、ＡＲマーカー３ａ，４ａの設置を事前に行う。

続いて、カメラ２が現場Ａ１を撮影してモニタＣ２に対象箇所Ｔ１を含む現場Ａ１を表示すると共に、操作者ＭがクレーンＣによって吊荷Ｐ１の荷下ろしを行う。このとき、カメラ２が対象箇所Ｔ１のＡＲマーカー３ａ及び吊荷Ｐ１のＡＲマーカー４ａを撮影すると、撮影画像がカメラ２から制御部１０に出力されて表示制御部１１がＡＲマーカー３ａ，４ａを認識する（ステップＳ４２）。

ＡＲマーカー３ａ，４ａの認識に伴って、表示制御部１１は、カメラ２の撮影画像と共に、例えば、予め記憶部１３に記憶した対象箇所Ｔ１から延びるＡＲモデルＦ１と吊荷Ｐ１から延びるＡＲモデルＦ２，Ｆ３をモニタＣ２に表示する（ステップＳ４３）。操作者Ｍは、モニタＣ２を見ながら、例えば、ＡＲモデルＦ２がＡＲモデルＦ１に近づくようにクレーンＣの操作を行う。

前述したように操作者Ｍが操作を行っているときに、制御部１０は、吊荷Ｐ１から延び出すＡＲモデルＦ２が対象箇所Ｔ１から延び出すＡＲモデルＦ１に入ったか否かを判定する（ステップＳ４４）。制御部１０は、ＡＲモデルＦ２がＡＲモデルＦ１に入っていないと判定したときにはステップＳ４４に戻って引き続き上記の判定を行う。このとき、吊荷Ｐ１は未だ対象箇所Ｔ１から延び出すＡＲモデルＦ１に含まれていない。よって、通知部１２は、例えばＡＲモデルＦ１の色彩を桃色にして、吊荷Ｐ１が未だにＡＲモデルＦ１に入っていない旨を操作者Ｍに通知する。

制御部１０は、ＡＲモデルＦ２がＡＲモデルＦ１に入ったと判定したときには（ステップＳ４４でＹＥＳ）、例えば、ＡＲモデルＦ１の色彩を変更する（ステップＳ４５）。このとき、通知部１２は、ＡＲモデルＦ１の色彩を例えば水色に変更して、吊荷Ｐ１が対象箇所Ｔ１から延び出す経路であるＡＲモデルＦ１に入ったことを操作者Ｍに通知する。

その後、制御部１０は、吊荷Ｐ１がＡＲモデルＦ１から出ているか否かを判定する（ステップＳ４６）。制御部１０は、吊荷Ｐ１がＡＲモデルＦ１から出たと判定した場合には、操作者Ｍへの警告を行う（ステップＳ４７）。例えば、警告部１２ａは、ＡＲモデルＦ１を変更することによって吊荷Ｐ１がＡＲモデルＦ１から外れた旨の警告を行い、一例としてＡＲモデルＦ１の色彩を赤色に変更すると共に音声を出力して操作者Ｍに注意喚起する。

続いて、制御部１０は、吊荷Ｐ１が対象箇所Ｔ１に到達したか否かを判定する（ステップＳ４８）。制御部１０は、吊荷Ｐ１が対象箇所Ｔ１に到達していないと判定した場合には、ステップＳ４６に戻り、再度吊荷Ｐ１がＡＲモデルＦ１から出ているか否かの判定を行う。一方、制御部１０は、吊荷Ｐ１が対象箇所Ｔ１に到達したと判定したときには、一連の工程を終了する。

次に、本実施形態に係る操作支援システム１から得られる作用効果について詳細に説明する。図１に示されるように、操作支援システム１では、対象箇所位置取得手段３（ＡＲマーカー３ａ）が、クレーンＣによって吊荷Ｐ１を移動させる対象である対象箇所Ｔ１の位置を取得する。表示制御部１１は、カメラ２によって撮影された画像と共に、対象箇所位置取得手段３によって取得された対象箇所Ｔ１の位置を基に対象箇所Ｔ１への経路を示すＡＲモデルＦ１を表示する。表示制御部１１によって、対象箇所Ｔ１への経路を示すＡＲモデルＦ１は対象箇所Ｔ１から延びる図形として表示される。よって、操作者Ｍは、カメラ２の撮影画像と共に、対象箇所Ｔ１から延びており且つ対象箇所Ｔ１への経路を示すＡＲモデルＦ１を見ることによって対象箇所Ｔ１への経路を視覚的に把握することができる。

従って、対象箇所Ｔ１自体が建物Ｂ１によって遮られるとしても対象箇所Ｔ１から延びるＡＲモデルＦ１をモニタＣ２で見ることによって、操作者Ｍは、対象箇所Ｔ１への経路を把握することができる。その結果、操作者Ｍは、表示されたＡＲモデルＦ１に沿って吊荷Ｐ１が移動するように操作を行えばよいので、吊荷Ｐ１が落下したり建物Ｂ１等に衝突したりする問題の発生を抑制することができる。

また、操作者Ｍは、対象箇所Ｔ１から延びるＡＲモデルＦ１を見ることによって操作を容易に行うことができるので、合図者を削減することができる。更に、対象箇所Ｔ１への経路を示すＡＲモデルＦ１を対象箇所Ｔ１から延び出す図形として表示することにより、操作者Ｍは、吊荷Ｐ１を移動させる経路を視覚的に把握することができる。よって、操作者Ｍは、吊荷Ｐ１を対象箇所Ｔ１に移動させる操作の方法を容易に判断することができるので、吊荷Ｐ１を移動させる操作の操作性を高めることができる。従って、吊荷Ｐ１を対象箇所Ｔ１に移動させる操作を安全且つ容易に行うことができる。

また、操作支援システム１は、吊荷Ｐ１の位置を取得する荷位置取得手段４（ＡＲマーカー４ａ）を備え、表示制御部１１は、吊荷Ｐ１から延びると共に吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２を、カメラ２の画像及びＡＲモデルＦ１と共に表示してもよい。この場合、ＡＲマーカー４ａがクレーンＣによる移動対象の吊荷Ｐ１の位置を取得し、表示制御部１１は、カメラ２によって撮影された画像と共に、ＡＲマーカー４ａによって取得された位置にある吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２を表示する。

表示制御部１１によって、吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２は、吊荷Ｐ１から延びる図形として表示される。よって、操作者Ｍは、カメラ２の撮影画像、及び対象箇所Ｔ１への経路を示すＡＲモデルＦ１と共に、吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２を見ることによって、操作によって吊荷Ｐ１が移動する範囲を視覚的に把握することができる。

従って、吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２と、対象箇所Ｔ１への経路を示すＡＲモデルＦ１とを見ることにより、操作者Ｍは、対象箇所Ｔ１への経路の位置と吊荷Ｐ１の移動可能範囲との位置関係を視覚的に把握することができる。その結果、操作者Ｍは、吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ２が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に近づくように操作をすればよいので、吊荷Ｐ１を対象箇所Ｔ１に移動させる操作の操作性を高めることができる。

また、操作支援システム１は、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれるか否かを通知する通知部１２を備える。通知部１２は、対象箇所Ｔ１への経路を示すＡＲモデルＦ１に吊荷Ｐ１が含まれるか否かを操作者Ｍに通知する。従って、操作者Ｍは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれている状態を知ることができるので、この場合は安心して吊荷Ｐ１を移動させる操作を行うことができる。

一方、操作者Ｍは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれないことを知ることができる。従って、この場合は吊荷Ｐ１を安全に移動させるべく、吊荷Ｐ１が対象箇所Ｔ１を示すＡＲモデルＦ１に含まれるように操作しなければならないことを操作者Ｍに促すことができる。よって、操作者Ｍに操作を安全に行えているかどうかを把握させることができるので、より安全に吊荷Ｐ１を移動させる操作を行うことができる。

また、通知部１２は、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに警告する警告部１２ａを備える。よって、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに警告部１２ａが操作者Ｍに警告を行う。従って、警告部１２ａにより、吊荷Ｐ１が経路から外れたときに操作者Ｍに注意喚起することができるので、安全に荷を移動させる操作を操作者Ｍに促すことができる。

また、警告部１２ａは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに、対象箇所Ｔ１への経路を示すＡＲモデルＦ１を異ならせる。すなわち、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに警告部１２ａがＡＲモデルＦ１の態様を変更する。従って、警告部１２ａがＡＲモデルＦ１を変更することにより、操作者Ｍは吊荷Ｐ１が経路から外れたことを視覚的に把握することができる。その結果、吊荷Ｐ１を安全に移動させる操作を操作者Ｍにより確実に促すことができる。

また、警告部１２ａは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに、対象箇所Ｔ１への経路を示すＡＲモデルＦ１の色彩を異ならせる。すなわち、警告部１２ａは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときにＡＲモデルＦ１の色彩を変更する。従って、警告部１２ａがＡＲモデルＦ１の色彩を変更することにより、操作者Ｍは吊荷Ｐ１が経路から外れたことを色彩の変化によって一層容易に把握することができる。また、警告部１２ａはＡＲモデルＦ１の色彩を変更するので、ＡＲモデルＦ１の形状等を変更する場合と比較して、警告処理にかかる負荷を抑えることができる。

また、警告部１２ａは、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに音声を出力してもよい。この場合、吊荷Ｐ１が対象箇所Ｔ１への経路を示すＡＲモデルＦ１に含まれなくなったときに警告部１２ａが音声を出力する。よって、警告部１２ａが音声を出力することにより、操作者Ｍは吊荷Ｐ１が経路から外れたことを音声によって把握することができる。従って、吊荷Ｐ１を安全に移動させる操作を操作者Ｍに一層確実に促すことができる。

また、対象箇所位置取得手段３はＡＲマーカー３ａを含んでおり、表示制御部１１は、カメラ２によって撮影されたＡＲマーカー３ａを認識して、経路を示すＡＲモデルＦ１を表示する。よって、カメラ２が撮影した画像と同一のスケールで図形をＡＲモデルＦ１として表示することができる。従って、カメラ２が撮影した現実の空間に対象箇所Ｔ１への経路を示す図形をＡＲモデルＦ１として表示することができるので、実際の現場の様子を確認しながら吊荷Ｐ１を移動させる操作を行うことができる。よって、更に安全に吊荷Ｐ１を移動させる操作を行うことができる。

また、荷位置取得手段４はＡＲマーカー４ａを含んでおり、表示制御部１１は、カメラ２によって撮影されたＡＲマーカー４ａ、及び吊荷Ｐ１の輪郭Ｐ１２の少なくともいずれか一方を認識して、吊荷Ｐ１の移動可能範囲を示す図形をＡＲモデルＦ２として表示してもよい。よって、当該図形をＡＲモデルＦ２として表示することができると共に、ＡＲマーカー４ａ及び吊荷Ｐ１の輪郭Ｐ１２の少なくともいずれか一方を認識させて当該図形を表示することができる。従って、吊荷Ｐ１を移動させる作業を更に容易に行うことができる。更に、吊荷Ｐ１の輪郭Ｐ１２を認識させてＡＲモデルＦ２の表示を行うことにより、吊荷Ｐ１にマーカー等を貼り付けることを不要とすることができる。その結果、吊荷Ｐ１を移動させる作業を更に容易に行うことができる。

（第２実施形態）
次に、第２実施形態に係る操作支援システムについて図１０を参照しながら説明する。第２実施形態に係る操作支援システムの構成は、第１実施形態に係る操作支援システム１の構成と同様であり、モニタＣ２に表示する図形が第１実施形態と異なる。以下では、第１実施形態と重複する説明を適宜省略する。

第２実施形態に係る操作支援システムは、カメラ２と、荷位置取得手段４と、表示制御部１１を有する制御部１０と、モニタＣ２とを備える。表示制御部１１は、カメラ２によって撮影された吊荷Ｐ１の画像にＡＲモデルＦ４，Ｆ５，Ｆ６を付加してモニタＣ２に表示する。ＡＲモデルＦ４は、ＡＲモデルＦ２と同様、吊荷Ｐ１の移動可能範囲を示す図形を示しており、例えば、吊荷Ｐ１から鉛直方向に延び出している。一例として、ＡＲモデルＦ４は、吊荷Ｐ１から下方に延び出す半透明の円柱状とされている。また、表示制御部１１は、第１実施形態と同様、カメラ２によって撮影された荷位置取得手段４のＡＲマーカー４ａを認識してＡＲモデルＦ４を表示する。

ＡＲモデルＦ５はクレーンＣの伸縮ブームＣ５の移動可能範囲を示す図形を示しており、ＡＲモデルＦ６は旋回台Ｃ３による吊り下げ部Ｃ７の旋回可能範囲を示す図形を示している。本実施形態において、例えば、ＡＲモデルＦ４，Ｆ５，Ｆ６は、ある単一操作による吊荷Ｐ１の移動軌跡を示している。例えば、ＡＲモデルＦ５は平面状に表示され、ＡＲモデルＦ６は曲面状に表示される。ＡＲモデルＦ５は伸縮ブームＣ５の方向が分かる運転支援画像に相当し、ＡＲモデルＦ６は旋回による吊り下げ部Ｃ７の軌跡が分かる運転支援画像に相当する。一例として、ＡＲモデルＦ５，Ｆ６は、伸縮ブームＣ５及び吊り下げ部Ｃ７の現在位置と予め記憶された伸縮ブームＣ５の諸元とに基づいて作成される。しかしながら、ＡＲモデルＦ４，Ｆ５，Ｆ６の作成手段は適宜変更可能である。

以上、第２実施形態に係る操作支援システムでは、荷位置取得手段４がクレーンＣによって移動される吊荷Ｐ１の位置を取得し、表示制御部１１がカメラ２によって撮影された画像と共に、荷位置取得手段４によって取得された吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ４を表示する。表示制御部１１によって吊荷Ｐ１の移動可能範囲を示す図形は吊荷Ｐ１から延びるＡＲモデルＦ４として表示される。よって、操作者Ｍは、カメラ２の撮影画像と共に、吊荷Ｐ１から延びると共に吊荷Ｐ１の移動可能範囲を示すＡＲモデルＦ４を見ることによって吊荷Ｐ１の移動可能範囲を視覚的に把握することができる。

従って、吊荷Ｐ１を移動させる対象である対象箇所Ｔ１と吊荷Ｐ１の移動可能範囲との関係を視覚的に把握することができる。その結果、操作者Ｍは、吊荷Ｐ１の移動可能範囲が対象箇所Ｔ１に近づくように操作を行えばよいので、操作支援システム１と同様、操作を安全且つ容易に行うことができる。

また、表示制御部１１は、吊荷Ｐ１の移動可能範囲を示す図形を吊荷Ｐ１から鉛直方向に延びる態様で表示する。よって、吊荷Ｐ１から鉛直方向に延びるＡＲモデルＦ４を見ることにより、操作者Ｍは、吊荷Ｐ１の平面位置と、吊荷Ｐ１を移動させる対象である対象箇所Ｔ１の平面位置との関係を視覚的に把握することができる。従って、操作者Ｍは、吊荷Ｐ１を対象箇所Ｔ１に移動させる操作を一層容易に行うことができる。

更に、表示制御部１１は、伸縮ブームＣ５の移動可能範囲を示すＡＲモデルＦ５、及び吊り下げ部Ｃ７の旋回可能範囲を示すＡＲモデルＦ６を表示するので、操作者Ｍは、クレーンＣの各部の移動範囲をモニタＣ２から容易に把握することができる。従って、クレーンＣによる吊荷Ｐ１の移動の操作を更に容易に行うことができる。また、第２実施形態から分かるように、表示するＡＲモデルの種類が異なる場合であっても第１実施形態と同様の効果が得られる。更に、第２実施形態では、対象箇所位置取得手段３、及び対象箇所Ｔ１から延び出すＡＲモデルＦ１を省略することも可能である。

（第３実施形態）
次に、図１１を参照しながら第３実施形態に係る操作支援システムについて説明する。図１１に示されるように、第３実施形態は、前述した現場Ａ１とは異なる現場Ａ２に適用される操作支援システムである点が前述した各実施形態とは異なっている。現場Ａ２は、建物Ｂ２の外装のカーテンウォールＰ２を取り付ける作業を行う現場であり、カーテンウォールＰ２をクレーンＣの吊り下げ部Ｃ７で対象箇所Ｔ２に移動させる。対象箇所Ｔ２には対象箇所位置取得手段３のＡＲマーカー３ａが設けられている。

第３実施形態に係る操作支援システムは、少なくとも、カメラ２と、対象箇所位置取得手段３と、表示制御部１１を有する制御部１０と、モニタＣ２とを備える。表示制御部１１は、カメラ２によって撮影された現場Ａ２の画像に、対象箇所Ｔ２への経路を示すＡＲモデルＦ７を付加してモニタＣ２に表示する。ＡＲモデルＦ７は、例えば、対象箇所Ｔ２から吊り下げ部Ｃ７に吊り下げられたカーテンウォールＰ２に向かって延びており、一例として、対象箇所Ｔ２から水平方向に延び出している。

以上、第３実施形態に係る操作支援システムでは、対象箇所位置取得手段３が対象箇所Ｔ２の位置を取得し、表示制御部１１がカメラ２によって撮影された画像と共に、対象箇所位置取得手段３によって取得された対象箇所Ｔ２への経路を示すＡＲモデルＦ７を表示する。よって、操作者Ｍは、カメラ２の撮影画像と共に対象箇所Ｔ２から延びており対象箇所Ｔ２への経路を示すＡＲモデルＦ７を見ることによって対象箇所Ｔ２への経路を視覚的に把握することができる。従って、操作を安全且つ容易に行うことができるので、前述した各実施形態と同様の効果が得られる。また、第３実施形態から分かるように、本発明が適用される現場の種類、荷の種類、荷を移動させる方向、及びＡＲモデルが延び出す方向は適宜変更可能である。

（第４実施形態）
続いて、図１２を参照しながら第４実施形態に係る操作支援システムについて説明する。図１２に示されるように、第４実施形態は、前述した各実施形態とは異なる現場Ａ３に適用される操作支援システムであると共に、重機がマニピュレータＮである点が前述の各実施形態とは異なっている。マニピュレータＮは、例えば、自走可能なベースマシンＮ１と、揺動自在とされたアーム部Ｎ２と、アーム部Ｎ２の先端に設けられた把持部Ｎ３とを備える。一例として、ベースマシンＮ１の内部にはモニタＣ２と同様のモニタＮ４が設けられている。マニピュレータＮは、把持部Ｎ３で取付け資材である荷Ｐ３を把持して荷Ｐ３を対象箇所Ｔ３に移動させ、対象箇所Ｔ３には対象箇所位置取得手段３のＡＲマーカー３ａが設けられている。

第４実施形態に係る操作支援システムにおいて、表示制御部１１は、カメラ２によって撮影された現場Ａ３に、対象箇所Ｔ３への経路を示すＡＲモデルＦ８を付加してモニタＣ２に表示する。ＡＲモデルＦ８は、例えば、対象箇所Ｔ３から把持部Ｎ３によって把持された荷Ｐ３に向かって延びており、一例として、対象箇所Ｔ３から斜め上方に延び出している。

以上、第４実施形態では、対象箇所位置取得手段３が対象箇所Ｔ３の位置を取得し、表示制御部１１は、カメラ２によって撮影された画像と共に、対象箇所位置取得手段３によって取得された位置に基づいてＡＲモデルＦ８を表示する。従って、前述した各実施形態と同様の効果が得られる。この第４実施形態から分かるように、重機の種類は適宜変更可能である。

（第５実施形態）
次に、図１３を参照しながら第５実施形態に係る操作支援システムについて説明する。第５実施形態に係る操作支援システムは、吊荷Ｐ１の回転を制御する回転制御装置５０を備える点が第１実施形態と異なる。例えば、回転制御装置５０は、クレーンＣの吊り下げ部Ｃ７のフックに引っ掛けられた吊荷Ｐ１に取り付けられる。一例として、回転制御装置５０は、基体５１と、メインユニット５２と、制御ユニット５４とを備えており、メインユニット５２はメインフライホイール、第１駆動部及び第２駆動部を有する。

例えば、制御ユニット５４は、第１駆動部を制御して鉛直方向に延びる軸線Ｌの周りにおける吊荷Ｐ１の姿勢が所望の姿勢となるようにメインフライホイールを動作させる第１制御と、メインフライホイールの角速度が所定の角速度に達したときに第２駆動部を制御してメインフライホイールの回転方向が逆向きとなるように制御する第２制御と、をこの順で繰り返し行う。

また、前述したように吊荷Ｐ１から延びるＡＲモデルＦ２をモニタＣ２に表示する場合、回転制御装置５０による吊荷Ｐ１の回転制御に伴ってＡＲモデルＦ２が回転してもよい。第５実施形態に係る操作支援システムは、回転制御装置５０による吊荷Ｐ１の回転制御と、ＡＲモデルＦ２の回転データとを連動させることによって吊荷Ｐ１の回転を自動で制御してもよい。従って、クレーンＣによる揚重中に吊荷Ｐ１が風等によって回転したとしても、吊荷Ｐ１の回転を自動制御することができるため、吊荷Ｐ１の移動の操作を一層容易に行うことができる。

以上、本発明に係る操作支援システムの実施形態について説明したが、本発明に係る操作支援システムは、前述の各実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。すなわち、本発明に係る操作支援システムの各部の構成は、各請求項の要旨を変更しない範囲において適宜変更することが可能である。

例えば、荷から延び出す図形（ＡＲモデル）のモニタへの表示態様は適宜変更可能である。図１４（ａ）に示されるように、表示制御部（表示手段）は、前述したＡＲモデルＦ２に代えて、吊荷Ｐ１の外形を投影した図形Ｆ１１をモニタに表示してもよいし、図１４（ｂ）に示されるように、吊り下げ部Ｃ７から鉛直下方に延びる線Ｆ１２をモニタに表示してもよい。

また、図１４（ｃ）に示されるように、表示制御部（表示手段）は、吊荷Ｐ１の回転円を投影した図形Ｆ１３をモニタに表示してもよいし、対象箇所（荷降ろし位置）に配置された別の吊荷Ｐ４の重心から鉛直上方に延びる線Ｆ１４をモニタに表示してもよい。このように、モニタに表示する図形の形状及び種類、並びにモニタに表示する図形の場所については適宜変更可能である。

また、前述した実施形態では、表示制御部１１がカメラ２によってリアルタイムで撮影される画像にＡＲモデルを付加する例について説明した。しかしながら、表示手段は、予め撮影されている画像にＡＲモデルを付加してもよい。更に、前述したように、カメラ２は、建物Ｂ１の屋上Ｂ１１に限られず、例えば、クレーンのブーム、トロリ又はガーダ等、重機の移動する部分に設置されてもよい。

また、前述した実施形態では、カメラ２がＡＲマーカー３ａを撮影することによって対象箇所位置取得手段３が対象箇所Ｔ１の位置を取得し、カメラ２がＡＲマーカー４ａを撮影することによって荷位置取得手段４が吊荷Ｐ１の位置を取得する例について説明した。しかしながら、対象箇所位置取得手段及び荷位置取得手段は、ＡＲマーカー以外の手段によって位置の取得を行ってもよい。例えば、対象箇所位置取得手段及び荷位置取得手段の少なくともいずれかは、ＧＰＳ、又はトータルステーション等の測量機等によって位置の取得を行ってもよい。更に、ステレオカメラを用いて既存画像の中の既知の特徴点から表示手段がＡＲモデルをモニタに表示してもよい。

また、表示手段は、クレーンの制御情報、又はクレーンに取り付けられたセンサ等によってカメラ２の位置又は向きを取得してＡＲモデルをモニタに表示してもよいし、撮影範囲に目印を設置して目印の情報からカメラ２の位置又は向きを取得してＡＲモデルをモニタに表示してもよい。このように、ＡＲモデルを表示するときに用いられる情報は適宜変更可能である。更に、表示手段は、カメラ２が撮影した画像に画像処理を施して視点を変えた画像をモニタに表示してもよいし、複数の画像を合成した画像をモニタに表示してもよい。

また、前述した実施形態では、吊荷Ｐ１がＡＲモデルＦ１に含まれなくなったときに、警告部１２ａがＡＲモデルＦ１の色彩を変更したり音声を出力したりする例について説明した。しかしながら、警告部（警告手段）による警告の手段は適宜変更可能であり、通知部（通知手段）による通知の手段も適宜変更可能である。例えば、通知手段は、吊荷Ｐ１がＡＲモデルＦ１に入ったときに、モニタに表示されている表示物（アイコン等）の色彩を変えたり、音声を出力したり、又は光を発したりすることによって操作者Ｍに通知してもよい。

また、警告手段は、荷が予め設定された進入禁止範囲に入ったとき、又は当該進入禁止範囲に接近したとき、操作者Ｍに警告してもよい。この場合、当該進入禁止範囲への荷の侵入を抑制する安全装置を提供することができる。更に、操作支援システムは、荷が当該進入禁止範囲に接近したときに、荷の移動を停止するように重機を制御してもよいし、荷の移動速度を低下させるように重機を制御してもよい。また、操作支援システムは、複数の重機を制御して複数の重機間の衝突を抑制してもよい。更に、操作支援システムは、クレーンＣ又はマニピュレータＮ以外の重機にも適用させることが可能である。

１…操作支援システム、２…カメラ、３…対象箇所位置取得手段、３ａ，４ａ…ＡＲマーカー、４…荷位置取得手段、１０…制御部、１１…表示制御部（表示手段）、１２…通知部（通知手段）、１２ａ…警告部（警告手段）、１３…記憶部、５０…回転制御装置、５１…基体、５２…メインユニット、５４…制御ユニット、Ａ１，Ａ２，Ａ３…現場、Ｂ１，Ｂ２…建物、Ｂ１１…屋上、Ｃ…クレーン（重機）、Ｃ１…キャビン、Ｃ２…モニタ、Ｃ３…旋回台、Ｃ５…伸縮ブーム、Ｃ５１…基端ブーム、Ｃ５２…先端ブーム、Ｃ６…ワイヤロープ、Ｃ７…吊り下げ部、Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８…ＡＲモデル（図形）、Ｆ１１，Ｆ１３…図形、Ｆ１２，Ｆ１４…線（図形）、Ｌ…軸線、Ｍ…操作者、Ｎ…マニピュレータ（重機）、Ｎ１…ベースマシン、Ｎ２…アーム部、Ｎ３…把持部、Ｎ４…モニタ、Ｐ１，Ｐ４…吊荷（荷）、Ｐ１１…紐、Ｐ１２…輪郭、Ｐ２…カーテンウォール（荷）、Ｐ３…荷、Ｔ１，Ｔ２，Ｔ３…対象箇所。

Claims (11)

1. 重機によって荷を対象箇所に移動させる操作を支援する操作支援システムであって、
   前記対象箇所の位置を取得する対象箇所位置取得手段と、
   前記対象箇所を撮影するカメラと、
   前記対象箇所から延びると共に前記対象箇所への経路を示す図形を、前記カメラによって撮影された画像と共に表示する表示手段と、
   を備える操作支援システム。
2. 前記荷の位置を取得する荷位置取得手段を備え、
   前記表示手段は、前記荷から延びると共に前記荷の移動可能範囲を示す図形を、前記画像及び前記経路を示す図形と共に表示する、
   請求項１に記載の操作支援システム。
3. 前記荷が前記対象箇所への経路を示す図形に含まれるか否かを通知する通知手段を備える、
   請求項１又は２に記載の操作支援システム。
4. 前記通知手段は、前記荷が前記対象箇所への経路を示す図形に含まれなくなったときに警告する警告手段を備える、
   請求項３に記載の操作支援システム。
5. 前記警告手段は、前記荷が前記対象箇所への経路を示す図形に含まれなくなったときに、前記対象箇所への経路を示す図形を異ならせる、
   請求項４に記載の操作支援システム。
6. 前記警告手段は、前記荷が前記対象箇所への経路を示す図形に含まれなくなったときに、前記対象箇所への経路を示す図形の色彩を異ならせる、
   請求項４又は５に記載の操作支援システム。
7. 前記警告手段は、前記荷が前記対象箇所への経路を示す図形に含まれなくなったときに音声を出力する、
   請求項４〜６のいずれか一項に記載の操作支援システム。
8. 前記対象箇所位置取得手段はＡＲマーカーを含んでおり、
   前記表示手段は、前記カメラによって撮影された前記ＡＲマーカーを認識して、前記経路を示す図形を表示する、
   請求項１〜７のいずれか一項に記載の操作支援システム。
9. 重機によって荷を対象箇所に移動させる操作を支援する操作支援システムであって、
   前記荷の位置を取得する荷位置取得手段と、
   前記対象箇所を撮影するカメラと、
   前記荷から延びると共に前記荷の移動可能範囲を示す図形を、前記カメラによって撮影された画像と共に表示する表示手段と、
   を備える操作支援システム。
10. 前記表示手段は、前記荷の移動可能範囲を示す図形を前記荷から鉛直方向に延びる態様で表示する、
    請求項９に記載の操作支援システム。
11. 前記荷位置取得手段はＡＲマーカーを含んでおり、
    前記表示手段は、前記カメラによって撮影された前記ＡＲマーカー、及び前記荷の輪郭の少なくともいずれか一方を認識して、前記荷の移動可能範囲を示す図形を表示する、
    請求項９又は１０に記載の操作支援システム。