JP2022066987A - 画像提供システム - Google Patents
画像提供システム Download PDFInfo
- Publication number
- JP2022066987A JP2022066987A JP2020175626A JP2020175626A JP2022066987A JP 2022066987 A JP2022066987 A JP 2022066987A JP 2020175626 A JP2020175626 A JP 2020175626A JP 2020175626 A JP2020175626 A JP 2020175626A JP 2022066987 A JP2022066987 A JP 2022066987A
- Authority
- JP
- Japan
- Prior art keywords
- providing system
- image
- image providing
- work
- work machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims description 85
- 238000004891 communication Methods 0.000 claims description 54
- 238000010276 construction Methods 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 83
- 230000008569 process Effects 0.000 description 82
- 230000007246 mechanism Effects 0.000 description 11
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000035515 penetration Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 101001135619 Homo sapiens Tyrosine-protein phosphatase non-receptor type 5 Proteins 0.000 description 1
- 241001570513 Potamogeton diversifolius Species 0.000 description 1
- 102100033259 Tyrosine-protein phosphatase non-receptor type 5 Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】作業用の目印と作業機械のアタッチメントの所定部位との位置合わせ作業を容易かつ迅速に実施することができる画像提供システムを提供する。【解決手段】画像提供システム1のクライアント30の端末制御装置300は、丁張り41~45の位置情報を記憶し、オペレータによって丁張り41~45のうちの丁張り42が選択されたときに、丁張り42の位置情報を含む飛行指令信号をドローン20に送信し、ドローン20から画像信号を受信した際、環境画像信号に含まれる作業環境画像をディスプレイ31に表示させる。【選択図】図10
Description
本発明は、作業用の目印が含まれる画像を作業機械のオペレータに提供する画像提供システムに関する。
従来、作業機械の画像提供システムとして、特許文献1に記載されたものが知られている。この画像提供システムは、作業機械のバケットの先端部と掘削面との位置関係を表す仮想空間画像を、作業機械を遠隔操作するオペレータに提供するものであり、作業機械に設けられた撮像装置及び各種センサと、遠隔操作室に設けられた制御装置及び表示装置などを備えている。
この画像提供システムでは、制御装置によって、撮像装置が撮像した画像信号及び各種センサの検出信号と、制御装置が記憶している三次元マップのデータとに基づいて、仮想空間画像が作成され、表示装置に表示される。この仮想空間画像には、作業機械のバケットの画像と、バケットの先端部を前方の掘削面に投影した前方投影線と、バケットの先端部を下方に投影した下方投影線などが表示される。それにより、オペレータは、バケットの先端部と掘削面との距離を認識することができる。
作業機械による作業手順の1つとして、丁張りと呼ばれる作業用の目印を施工対象面に設け、この丁張りと、バケットの先端部との位置合わせを実施する位置合わせ作業が知られている。上記従来の画像提供システムをこの位置合わせ作業に適用した場合、仮想空間画像では、バケットの先端部が、これを作業機械のキャビン側から見ている状態で表示されるので、バケットの先端部と丁張りとの位置関係が判りにくく、位置合わせ作業が困難になってしまう。この問題は、バケットの先端部を位置合わせする場合に限らず、アタッチメントの所定部位を位置合わせする場合にも発生する。
本発明は、上記課題を解決するためになされたもので、作業用の目印と作業機械のアタッチメントの所定部位との位置合わせ作業を容易かつ迅速に実施することができる画像提供システムを提供することを目的とする。
上記目的を達成するために、請求項1に係る発明は、飛行体の撮像装置によって撮像された作業用の目印と作業機械の所定部位との位置関係を示す作業環境画像を、作業機械のオペレータに提供するための画像提供システムであって、1つ以上の目印の位置情報を記憶する記憶部と、飛行体との間で通信可能な通信部と、所定送信条件が成立したか否かを判定し、判定結果が肯定的である場合、飛行指令信号を飛行体に送信するように、通信部を制御する第1制御部と、飛行体から作業環境画像が含まれる環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像を出力インターフェースに供給することにより、出力インターフェースに出力させる第2制御部と、を備え、所定送信条件は、1つ以上の目印の中からいずれか1つの目印が指定目印として指定されたことを条件として含み、飛行指令信号は、指定目印の位置情報を含むことを特徴とする。
この画像提供システムによれば、第1制御部により、所定送信条件が成立したか否かが判定され、判定結果が肯定的である場合、指定目印の位置情報を含む飛行指令信号を飛行体に送信するように通信部が制御されるので、飛行体を指定目印の位置付近まで飛行させて、指定目印の位置を含む作業環境画像を取得させることができる。そして、第2制御部により、飛行体から作業環境画像が含まれる環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースに供給されることにより、出力インターフェースによって出力される。このように飛行体の撮像装置によって撮像された作業環境画像が出力インターフェースによって出力されるので、オペレータは、アタッチメントの所定部位と指定目印との位置関係を俯瞰視したり、両者に近接した位置で視認したりしながら、両者の位置合わせ作業を実施することができる。それにより、オペレータは、この位置合わせ作業を容易に実施することができ、その作業時間を短縮することができる。
請求項2に係る発明は、請求項1に記載の画像提供システムにおいて、作業機械の位置を取得する位置取得部をさらに備え、所定送信条件は、指定目印の位置と作業機械の位置との間の距離が所定値以下であることを条件としてさらに含むことを特徴とする。
この画像提供システムによれば、所定送信条件として、指定目印が指定されたことに加えて、指定目印の位置と作業機械の位置との間の距離が所定値以下であることが成立した場合には、通信部から飛行指令信号が飛行体に送信され、飛行体から環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースから出力されることになる。このように、指定目印の位置と作業機械の位置との間の距離が所定値以下であるという、位置合わせ作業を実行する可能性が高い状況において、飛行指令信号が飛行体に自動的に送信されるので、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。なお、本明細書における「作業機械の位置を取得する」ことは、センサなどにより作業機械の位置を直接検出することに限らず、作業機械の位置を他のパラメータに基づいて推定することを含む。
請求項3に係る発明は、請求項1に記載の画像提供システムにおいて、作業機械の位置を取得する位置取得部をさらに備え、所定送信条件は、作業機械が指定目印側に向かって移動していることを条件としてさらに含むことを特徴とする。
この画像提供システムによれば、所定送信条件として、指定目印が指定されたことに加えて、作業機械が指定目印側に向かって移動していることがさらに成立した場合には、通信部から飛行指令信号が飛行体に送信され、飛行体から環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースから出力されることになる。このように、作業機械が指定目印側に向かって移動しているという、位置合わせ作業を実行する可能性が高い状況において、飛行指令信号が飛行体に自動的に送信されるので、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。
請求項4に係る発明は、請求項2又は3に記載の画像提供システムにおいて、位置取得部は、作業機械の位置として作業機械の所定部位の位置を取得することを特徴とする。
この画像提供システムによれば、作業機械の位置として作業機械の所定部位の位置に基づいて所定送信条件の1つが判定され、所定送信条件が満たされた場合には、通信部から飛行指令信号が飛行体に送信され、飛行体から環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースから出力されることになる。このように、作業機械の所定部位としてのアタッチメント等の位置に基づいて所定送信条件が判定されるので、所定部位の動作に伴う位置の変化に応じて位置合わせ作業が行われる可能性が高くなる状況において、飛行指令信号が飛行体に自動的に送信されることになる。それにより、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。
請求項5に係る発明は、請求項1に記載の画像提供システムにおいて、オペレータによる入力インターフェースの操作によって指定目印が指定されるように構成されていることを特徴とする
この画像提供システムによれば、オペレータによる入力インターフェースの操作によって指定目印が指定された場合、第1制御部により、所定送信条件の1つが成立したと判定される。それにより、通信部から飛行指令信号が飛行体に送信され、飛行体から環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースから出力されることになる。このように、オペレータは、入力インターフェースを介して指定目印を指定するだけで、出力インターフェースからの作業環境画像を参照しながら、作業用の目印と作業機械の所定部位との位置合わせ作業を容易かつ迅速に実施することができる。
請求項6に係る発明は、請求項1に記載の画像提供システムにおいて、作業機械の位置を取得する位置取得部と、作業機械の向きを取得する向き取得部と、をさらに備え、第1制御部は、1つ以上の目印の位置、作業機械の位置及び作業機械の向きに基づき、作業機械の正面方向に位置している目印を指定目印として指定することを特徴とする。
この画像提供システムによれば、第1制御部により、1つ以上の目印の位置、作業機械の位置及び作業機械の向きに基づき、作業機械の正面方向に位置している目印が指定目印として指定され、所定送信条件の1つが成立したと判定される。それにより、通信部から飛行指令信号が飛行体に送信され、飛行体から環境画像信号を通信部で受信した際、環境画像信号に含まれる作業環境画像が出力インターフェースから出力されることになる。このように、指定目印が自動的に指定され、飛行指令信号が飛行体に自動的に送信されるので、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。
請求項7に係る発明は、請求項1ないし6のいずれかに記載の画像提供システムにおいて、第1制御部は、作業環境画像が出力インターフェースに出力されている際、オペレータによる入力インターフェースの所定操作が実行されたときには、撮像装置による作業環境画像の撮像状態を変更するための変更指令が含まれる変更指令信号を飛行体に送信するように、通信部を制御することを特徴とする。
この画像提供システムによれば、作業環境画像が出力インターフェースに出力されている際、オペレータによる入力インターフェースの所定操作が実行されたときには、第1制御部により、撮像装置による作業環境画像の撮像状態を変更するための変更指令が含まれる変更指令信号を飛行体に送信するように、通信部が制御される。それにより、オペレータは、入力インターフェースの所定操作を実行するだけで、作業環境画像の撮像状態を変更することができ、位置合わせ作業の作業性を向上させることができる。
請求項8に係る発明は、請求項7に記載の画像提供システムにおいて、変更指令信号は、作業環境画像のアングルを変更するための変更指令を含むことを特徴とする。
この画像提供システムによれば、変更指令信号が、作業環境画像のアングルを変更するための変更指令を含んでいるので、オペレータは、入力インターフェースの所定操作を実行するだけで、作業環境画像のアングルを変更することができ、位置合わせ作業の作業性を向上させることができる。
請求項9に係る発明は、請求項7又は8に記載の画像提供システムにおいて、変更指令信号は、作業環境画像の倍率を変更するための変更指令を含むことを特徴とする。
この画像提供システムによれば、変更指令信号が、作業環境画像の倍率を変更するための変更指令を含んでいるので、オペレータは、入力インターフェースの所定操作を実行するだけで、作業環境画像の倍率を変更することができ、位置合わせ作業の作業性を向上させることができる。
請求項10に係る発明は、請求項1ないし9のいずれかに記載の画像提供システムにおいて、記憶部は、飛行体の基準位置から1つ以上の目印の上方の位置までの飛行ルートをさらに記憶しており、飛行指令信号は、指定目印の位置情報に加えて、飛行ルートをさらに含んでおり、飛行体は、飛行指令信号を受信したときに、飛行ルートに沿って基準位置から指定目印の上方の位置まで自律飛行した後、撮像装置によって作業環境画像を撮像するように構成されていることを特徴とする。
この画像提供システムによれば、飛行体が、飛行指令信号を受信したときに、飛行ルートに沿って基準位置から指定目印の上方の位置まで自律飛行した後、撮像装置によって作業環境画像を撮像するように構成されているので、飛行体の操縦者が不要となることで、その分、ランニングコストを削減することができる(なお、本明細書における「指定目印の上方の位置」は、指定目印の真上の位置に限らず、斜め上方の位置を含む)。
請求項11に係る発明は、請求項1ないし10のいずれかに記載の画像提供システムにおいて、記憶部は、1つ以上の目印の位置に対応して作業機械が実行すべき施工内容に関連する施工情報をさらに記憶しており、第2制御部は、環境画像信号を通信部で受信した際、作業環境画像に加えて施工情報を出力インターフェースに出力させることを特徴とする。
この画像提供システムによれば、環境画像信号を通信部で受信した際、作業環境画像に加えて施工情報が出力インターフェースから出力されるので、オペレータは、位置合わせ作業が終了した後の、目印の位置における施工内容に関連する情報を把握することができる。それにより、利便性を向上させることができる。
請求項12に係る発明は、請求項1ないし11のいずれかに記載の画像提供システムにおいて、1つ以上の目印は、仮想空間における仮想の目印であり、作業環境画像は、仮想の目印の位置を実空間の画像に重ね合わせることによって作成されることを特徴とする。
この画像提供システムによれば、作業環境画像が、仮想の目印の位置を実空間の画像に重ね合わせることによって作成されるので、実物の目印を施工対象面に設ける必要がなくなることで、その分、工数を削減することができる。
以下、図面を参照しながら、本発明の第1実施形態に係る画像提供システムについて説明する。本実施形態の画像提供システム1は、作業機械10によって施工対象面を施工する際に用いられるものであり、図1に示すように、作業機械10、ドローン20及びクライアント30などを備えている。
作業機械10、ドローン20及びクライアント30は、無線ネットワーク2を介して互いに無線通信可能に接続されており、この無線ネットワーク2は、無線LANネットワーク又は移動体通信ネットワークなどで構成されている。
図1に示すように、作業機械10は、実機制御装置100、実機入力インターフェース110、実機出力インターフェース120及び作動機構140などを備えている。
この実機制御装置100は、CPU、RAM、EEPROM(登録商標)、ROM、I/Oインターフェース及び各種の電気回路(いずれも図示せず)などからなるマイクロコンピュータで構成されている。実機制御装置100は、作動機構140の作動状態などを制御するとともに、後述する実機無線通信機器122を介して、ドローン20及びクライアント30の間での無線通信を制御する。
作業機械10は、クローラショベルタイプの建設機械であり、クローラ式の下部走行体11と、下部走行体11に旋回機構を介して旋回可能に搭載されている上部旋回体12と、動力源としての内燃機関(図示せず)などを備えている。上部旋回体12の前側部にはキャビン13(運転室)が設けられている。上部旋回体12の前方中央部には作動機構140が設けられている。
実機入力インターフェース110は、実機操作機構111及びセンサ装置112などを備えている。実機操作機構111は、キャビン13の内部に配置されたシートの周囲に配置された複数の実機操作レバー(図示せず)を備えている。
センサ装置112は、ブーム角度センサ及びアーム角度センサなどで構成されている。このブーム角度センサは、ブーム角度を検出するものであり、このブーム角度は、上部旋回体12に対するブーム141の角度である。また、アーム角度センサは、アーム角度を検出するものであり、このアーム角度は、ブーム141に対するアーム142の角度である。
実機出力インターフェース120は、測位装置121及び実機無線通信機器122などを備えている。測位装置121は、作業機械10のキャビン13の位置である機械位置(例えば、地理座標系の位置)を検出するためのものであり、GNSS受信機(GNSS:Global Navigation Satellite System)によって構成されている。また、実機無線通信機器122は、ドローン20及びクライアント30との間で無線通信を実行する。
作動機構140は、ブーム141、アーム142及びバケット143を備えている。ブーム141は、上部旋回体12に起伏可能に装着されており、ブームシリンダによって駆動されることにより水平軸回りに回動し、それにより、ブーム角が変更される。
また、アーム142は、ブーム141の先端に回動可能に連結されており、アームシリンダによって駆動されることによって水平軸回りに回動し、それにより、アーム角が変更される。さらに、バケット143は、アーム142の先端に回動可能に連結されており、バケットシリンダによって駆動されることにより、アーム142に対して水平軸回りに回動する。
一方、ドローン20は、1個以上の回転翼を回転させて飛行する回転翼機型の飛行体であり、後述するように、予め設定された飛行ルートに沿って自立飛行するように構成されている。
図1に示すように、ドローン20は、制御装置200、駆動装置210、撮像装置220、センサ装置230及び無線通信機器240を備えている。制御装置200は、CPU、RAM、EEPROM、ROM、I/Oインターフェース及び各種の電気回路(いずれも図示せず)などからなるマイクロコンピュータで構成されている。なお、本実施形態では、ドローン20が飛行体に相当する。
駆動装置210は、複数の回転翼と、これらの回転翼をそれぞれ駆動する複数のモータなどで構成されている。制御装置200は、駆動装置210を制御することにより、ドローン20の飛行状態を制御する。
また、撮像装置220は、カメラと、これを駆動する駆動機構(いずれも図示せず)などで構成されている。制御装置200は、ドローン20の飛行中、撮像装置220の駆動機構を制御することにより、カメラのアングル及びズームを制御するとともに、ドローン20の下方の作業環境画像を撮像するように、カメラの撮像動作を制御する。
一方、センサ装置230は、慣性計測装置、気圧センサ及び測位装置などで構成されている。制御装置200は、慣性計測装置の検出信号に基づき、ドローン20の速度及び加速度などを取得し、気圧センサの検出信号に基づき、ドローン20の高度を取得する。さらに、測位装置は、GNSS受信機で構成されており、制御装置200は、ドローン20の飛行中、測位装置の検出信号に基づいて、ドローン20の位置(例えば、地理座標系の位置)を取得する。
さらに、制御装置200は、無線通信機器240を制御することにより、後述するように、クライアント30との間での無線通信を制御する。
一方、クライアント30は、タブレット端末タイプのものであり、図1に示すように、端末制御装置300、ディスプレイ31及び端末無線通信機器330などを備えている。
端末制御装置300は、CPU、RAM、EEPROM、ROM、I/Oインターフェース及び各種の電気回路(いずれも図示せず)などからなるマイクロコンピュータで構成されている。端末制御装置300には、後述するように、丁張り41~45の位置情報及びドローン20の飛行ルート(図5参照)が記憶される。また、端末制御装置300は、後述するように、端末無線通信機器330を制御することにより、ドローン20及びクライアント30の間での無線通信を制御する。なお、本実施形態では、端末制御装置300が記憶部、第1制御部及び第2制御部に相当し、端末無線通信機器330が通信部に相当する。
また、ディスプレイ31は、タッチパネル式のものであり、端末入力インターフェース311及び端末出力インターフェース312としての機能を備えている。クライアント30では、後述するように、作業機械10のオペレータ(図示せず)によってディスプレイ31が操作されることにより、飛行指令信号及び変更指令信号がドローン20に送信される。さらに、ドローン20からの画像信号がクライアント30に入力された際、画像信号に含まれる作業環境画像がディスプレイ31に表示される。なお、本実施形態では、ディスプレイ31が出力インターフェース及び入力インターフェースに相当する。
次に、図2~図6を参照しながら、画像提供システム1の機能などについて説明する。例えば、図2に示す施工対象面60,61を作業機械10によって掘削して施工目標面70,71となるように施工する場合、最初に、5つの第1~第5丁張り41~45が、施工対象面60,61の上端に連続する平らな地面50,51に設置される。この場合、丁張りの数は5つに限らず、施工対象面の状況によって決定される。これらの第1~第5丁張り41~45の間には、水糸46が張られる。なお、本実施形態では、第1~第5丁張り41~45が目印に相当する。
第1~第5丁張り41~45は互いに同様に構成されているので、第1丁張り41を例にとって説明する。図3に示すように、第1丁張り41は、2つの杭41a,41b、水平貫41c及び斜め貫41dを備えている。2つの杭41a,41bは、互いに平行かつほぼ鉛直な姿勢で地面50に固定されており、水平貫41cは、地面50に対してほぼ水平な姿勢で2つの杭41a,41bに固定されている。さらに、斜め貫41dは、地面50に対して傾斜した姿勢で2つの杭41a,41bに固定されている。
これらの杭41a,41b及び2つの貫41c,41dの各々には、施工対象面60を施工目標面70まで施工する際の施工情報が文字で記載されている(図示せず)。また、図4に示すように、斜め貫41dは施工目標面70の角度を示し、斜め貫41dの下縁面は、施工目標面70の角度及び位置を表すものとして設定されている。
以上のように、第1~第5丁張り41~45が設置された後、5つの丁張り41~45の位置(例えば、地理座標系の位置)及び高さ(例えば、標高)に基づいて、図5に示すように、ドローン20の飛行ルートが決定される。
すなわち、ドローン20が図5に示す基準位置から飛行を開始した以降、第1~第5丁張り41~45の上空を第1丁張り41⇒第2丁張り42⇒第3丁張り43⇒第4丁張り44⇒第5丁張り45の順に所定高さで飛行した後、基準位置に帰還するように、ドローン20の飛行ルートが決定される。そして、この飛行ルートは、クライアント30における端末制御装置300内に記憶される。
また、上記のように、第1~第5丁張り41~45が設置された場合、第1~第5丁張り41~45の位置情報と、第1~第5丁張り41~45が表す施工情報とが、端末制御装置300内に記憶される。この場合、位置情報及び施工情報は、例えば、第1~第5丁張り41~45を設置した際に作業者が手元端末等で入力することにより、端末制御装置300内に記憶される。また、施工情報が設計図面の情報に基づいて端末制御装置300内に記憶されるように構成してもよい。さらに、後述するように、作業機械10のオペレータが第1~第5丁張り41~45のいずれかを選択する際には、図6に示すような選択画像がクライアント30のディスプレイ31上に表示される。
すなわち、ディスプレイ31の下側には、作業機械10が表示され、その上側には、施工目標面70,71が俯瞰視した状態で表示される。さらに、これらの施工目標面70,71の上側には、5つの丸数字(1)~(5)のボタン81~85が表示される。これらのボタン81~85は、第1~第5丁張り41~45にそれぞれ対応するものである。例えば、丸数字(1)のボタン81は第1丁張り41に、丸数字(2)のボタン82は第2丁張り42にそれぞれ対応している。
次に、図7~図9を参照しながら、以上のように構成された画像提供システム1の制御動作について説明する。この制御動作は、以下に述べる位置合わせ作業を容易にするために、クライアント30とドローン20の間の無線通信によって、ドローン20で撮像された画像をクライアント30に送信するものである。
すなわち、オペレータが作業機械10を運転することによって、前述した図2に示す施工対象面60,61を施工目標面70,71まで施工する際、その施工開始前に、作業機械10のバケット143の先端を第1~第5丁張り41~45のいずれかに位置合わせする必要がある(図10参照)。
すなわち、設計図面上における所定の位置座標に配置されている丁張りに対してバケット143の先端を確実に位置合わせすることが要求され、それにより、施工対象面60と施工目標面70の境目に位置する杭42aの根元位置にバケット143の先端が位置合わせされることがある。また、設計図面上における施工目標面70,71の傾斜角とバケット143の角度を合わせるために、斜め貫42dの傾斜とバケット143の背面の先端側143aを合わせることもある。したがって、この位置合わせ作業を容易に実施するために、画像提供システム1の制御動作が以下に述べるように実行される。
図7に示すように、まず、クライアント30において、丁張り選択判定処理が実行される(図7/STEP1)。この丁張り選択判定処理では、オペレータによって、第1~第5丁張り41~45のいずれかが選択されたか否かが判定される。具体的には、前述した図6の選択画像がディスプレイ31に表示されている状態で、前述したボタン81~85のいずれかがタップ操作されたか否かが判定される。なお、本実施形態では、オペレータによって選択された第1~第5丁張り41~45のいずれかの丁張りが指定目印に相当する。
本実施形態では、以下、バケット143の先端を第2丁張り42に位置合わせするために、オペレータによってボタン82がタップ操作され、第2丁張り42が選択されたと判定された場合を例にとって説明する。
丁張り選択判定処理において、上記のように、第2丁張り42が選択されたと判定された場合、飛行指令信号がクライアント30からドローン20に送信される。この飛行指令信号は、指令位置の情報として、第2丁張り42の位置情報を含むとともに、前述した飛行ルートを含むものである。
この飛行指令信号がドローン20に受信された場合、ドローン20において、第1飛行制御処理が実行される。この第1飛行制御処理は、前述した制御装置200によって所定制御周期で実行されるものであり、具体的には、図8に示すように実行される。
図8に示すように、まず、上述した飛行指令信号が受信済みであるか否かが判定される(図8/STEP21)。この判定が否定(図8/STEP21…NO)のときには、そのまま本処理が終了する。
一方、この判定が肯定(図8/STEP21…YES)で、飛行指令信号が受信済みであるときには、ドローン20が指令位置に到達済みであるか否かが判定される(図8/STEP22)。すなわち、ドローン20が第2丁張り42の上空の位置に到達済みであるか否かが判定される。
この判定が否定(図8/STEP22…NO)で、ドローン20が指定位置に到達していないときには、指令位置飛行制御処理が実行される(図8/STEP23)。この指令位置飛行制御処理では、前述した飛行ルートに沿って、ドローン20が前述した基準位置から指令位置すなわち第2丁張り42の上空の位置まで飛行するように、駆動装置210が制御される。その後、本処理が終了する。
一方、前述した判定が肯定(図8/STEP22…YES)で、ドローン20が指定位置に到達済みであるときには、ホバリング制御処理が実行される(図8/STEP24)。このホバリング制御処理では、ドローン20が指令位置すなわち第2丁張り42の上空の所定高さの位置で空中に停止するように、駆動装置210が制御される(図10参照)。
次いで、撮像制御処理が実行される(図8/STEP25)。この撮像制御処理では、図10に示すように、撮像装置220により、ドローン20の下方の第2丁張り42及びバケット143を含む作業環境画像が撮像される。
次に、画像信号がクライアント30に送信される(図8/STEP26)。この画像信号は、上記のように撮像装置220によって撮像された作業環境画像を含むものである。その後、本処理が終了する。
図7に戻り、ドローン20において第1飛行制御処理が以上のように実行されることにより、画像信号がクライアント30に送信される。クライアント30は、この画像信号を受信した際、画像表示処理を実行する(図7/STEP3)。この画像表示処理では、図11に示すような作業環境画像がクライアント30のディスプレイ31に表示される。
同図に示すように、ディスプレイ31の画面の中央上部には、第2丁張り42が表示され、そのすぐ下側には、バケット143が表示される。また、バケット143の下側には、標高、法長及び法長勾配などの施工情報90が重畳して表示される。
さらに、ディスプレイ31の画面の下部には、3つのドローン操作ボタン32,33,34及びカメラ操作ボタン35が表示される。ドローン操作ボタン32は、ドローン20を俯瞰視したときのドローン20の位置を左右前後方向に変更するためのものであり、オペレータがドローン20の位置を左右前後方向のいずれかに変更したい場合には、このドローン操作ボタン32が変更したい方向にスワイプ操作又はドラッグ操作される。
また、ドローン操作ボタン33は、ドローン20の高度をより上方に変更するためのものであり、オペレータがドローン20の高度をより上方に変更したいときには、このドローン操作ボタン33が押下される。さらに、ドローン操作ボタン34は、ドローン20の高度をより下方に変更するためのものであり、オペレータがドローン20の高度をより下方に変更した場合には、このドローン操作ボタン33が押下される。
一方、カメラ操作ボタン35は、撮像装置220のカメラのアングルを変更するためのものであり、オペレータがカメラのアングルを変更した場合、このカメラ操作ボタン35がカメラのアングルを変更したい方向にスワイプ操作又はドラッグ操作される。また、オペレータがカメラのズームを変更した場合には、ディスプレイ31上でのピンチアウト操作又はピンチイン操作が実行される。
上記の画像表示処理に続けて変更操作判定処理が実行される(図7/STEP4)。この変更操作判定処理では、オペレータが前述した4つのボタン32~35を操作したか否か、及び、ディスプレイ31上でのピンチアウト操作又はピンチイン操作を実行したか否かが判定される。そして、いずれかの操作がオペレータによって実行された際、ドローン20の位置変更指令、カメラのアングル変更指令又はカメラのズーム変更指令を含む変更指令信号がドローン20に送信される。
ドローン20は、この変更指令信号を受信した際、変更制御処理を実行する(図7/STEP5)。この変更制御処理は、前述した制御装置200によって所定制御周期で実行されるものであり、具体的には、図9に示すように実行される。
図9に示すように、まず、位置変更指令が変更指令信号に含まれているか否かが判定される(図9/STEP41)。この判定が肯定(図9/STEP41…YES)で、位置変更指令が変更指令信号に含まれているときには、位置変更制御処理が実行される(図9/STEP42)。この位置変更制御処理では、駆動装置210が位置変更指令に応じて制御されることにより、ドローン20の位置が変更される。
このように位置変更制御処理を実行したとき、又は前述した判定が否定(図9/STEP41…NO)で、位置変更指令が変更指令信号に含まれていないときには、アングル変更指令が変更指令信号に含まれているか否かが判定される(図9/STEP43)。
この判定が肯定(図9/STEP43…YES)で、アングル変更指令が変更指令信号に含まれているときには、アングル変更制御処理が実行される(図9/STEP44)。このアングル変更制御処理では、撮像装置220の駆動機構がアングル変更指令に応じて制御されることにより、カメラのアングルが変更される。それにより、撮像装置220によって撮像される作業環境画像のアングルが変更される。
このようにアングル変更制御処理を実行したとき、又は前述した判定が否定(図9/STEP43…NO)で、アングル変更指令が変更指令信号に含まれていないときには、ズーム変更指令が変更指令信号に含まれているか否かが判定される(図9/STEP45)。
この判定が肯定(図9/STEP45…YES)で、ズーム変更指令が変更指令信号に含まれているときには、ズーム変更制御処理が実行される(図9/STEP46)。このズーム変更制御処理では、撮像装置220の駆動機構がズーム変更指令に応じて制御されることにより、カメラのズームが変更される。それにより、撮像装置220によって撮像される作業環境画像の倍率が変更される。
このようにズーム変更制御処理を実行したとき、又は前述した判定が否定(図9/STEP45…NO)で、ズーム変更指令が変更指令信号に含まれていないときには、撮像制御処理が実行される(図9/STEP47)。この撮像制御処理では、前述したように、撮像装置220によって、第2丁張り42及びバケット143を含む作業環境画像が撮像される。
次いで、撮像装置220によって撮像された作業環境画像を含む画像信号がクライアント30に送信される(図9/STEP48)。その後、本処理が終了する。
図7に戻り、ドローン20において変更制御処理が以上のように実行されることにより、画像信号がクライアント30に送信される。クライアント30は、この画像信号を受信した際、画像表示処理を実行する(図7/STEP6)。この画像表示処理では、前述した図11と同様の画像がクライアント30のディスプレイ31に表示される。
以上の変更操作判定処理、変更制御処理及び画像表示処理を一連の処理として、これらの一連の処理が少なくとも1回以上、実行されることにより、クライアント30には、オペレータが作業機械10のバケット143の先端を第2丁張り42に対して位置合わせするのに最適な画像が表示された状態となる。それに伴い、オペレータによって、第2丁張り42に対するバケット143の先端の位置合わせ作業が実行される。
上記の画像表示処理に続けて帰還操作判定処理が実行される(図9/STEP7)。この帰還操作判定処理では、オペレータがクライアント30の図示しない帰還操作ボタンを押下したか否かが判定される。そして、第2丁張り42に対するバケット143の先端の位置合わせ作業が終了し、オペレータがクライアント30の図示しない帰還操作ボタンを押下した際には、帰還指令信号がドローン20に送信される。
ドローン20は、帰還指令信号を受信した際、帰還制御処理を実行する(図9/STEP8)。この帰還制御処理では、ドローン20が第2丁張り42の上空の位置から前述した飛行ルートで基準位置まで帰還するように、駆動装置210が制御される。
以上のように、第1実施形態の画像提供システム1によれば、クライアント30において、丁張り選択判定処理が実行され、例えば、オペレータによって5つの丁張り41~45から第2丁張り42が選択された場合、第2丁張り42の位置情報及び飛行ルートを含む飛行指令信号がドローン20に送信される。そして、クライアント30がドローン20から作業環境画像が含まれる環境画像信号を受信した際、環境画像信号に含まれる作業環境画像がディスプレイ31に表示される。
このように、オペレータは、クライアント30のディスプレイ31に表示された5つのボタン81~85をタップ操作するだけで、ディスプレイ31に表示された作業環境画像を参照することにより、バケット143の先端部と第2丁張り42との位置関係を参照しながら、両者の位置合わせ作業を実施することができる。それにより、バケット143の先端部と第2丁張り42との位置合わせ作業を容易かつ迅速に実施することができ、その作業時間を短縮することができる。
また、変更操作判定処理が実行され、変更指令信号がドローン20に送信されることにより、ドローン20において変更制御処理が実行される。この変更制御処理では、変更指令信号がドローン20の位置変更指令を含む場合には、位置変更制御処理が実行され、変更指令信号がカメラのアングル変更指令を含む場合には、アングル変更制御処理が実行されるとともに、カメラのズーム変更指令を含む場合には、ズーム変更制御処理が実行される。したがって、オペレータは、クライアント30のディスプレイ31上におけるボタン32~35を操作したり、ディスプレイ31のピンチアウト操作又はピンチイン操作を実行したりするだけで、ドローン20の位置を変更したり、作業環境画像のアングルを変更したり、作業環境画像の倍率を変更したりすることができる。その結果、位置合わせ作業の作業性を向上させることができる。
さらに、ドローン20は、飛行指令信号を受信した場合、飛行ルートに沿って基準位置から丁張りの上方の位置まで自律飛行した後、撮像装置220によって作業環境画像を撮像するように構成されているので、ドローン20の操縦者が不要となることで、その分、ランニングコストを削減することができる。
なお、第1実施形態は、記憶部、通信部、第1制御部、第2制御部、出力インターフェース及び入力インターフェースとして、クライアント30を用いた例であるが、これに代えて、記憶部、第1制御部及び第2制御部として実機制御装置100を、通信部として実機無線通信機器122をそれぞれ用いてもよい。その場合には、実機制御装置100が、出力インターフェース及び出力インターフェースとして、タッチパネル式のディスプレイを備えるように構成し、オペレータがこのディスプレイを操作することによって、実機制御装置100が図7のクライアント30における各処理(STEP1,3,4,6,7)を実行するとともに、その操作結果が実機無線通信機器122によってドローン20に送信されるように構成すればよい。
また、オペレータが作業機械10から離間した位置にある遠隔操作装置を操作することによって作業機械10を遠隔操作する遠隔システムにおいては、この遠隔操作装置を、記憶部、通信部、第1制御部、第2制御部及び出力インターフェースとして用いるように構成してもよい。その場合には、遠隔操作装置が制御装置、タッチパネル式のディスプレイ及び無線通信機器を備えるとともに、オペレータが遠隔操作装置のディスプレイを操作することによって、遠隔操作装置が図7のクライアント30における各処理(STEP1,3,4,6,7)を実行し、その操作結果が遠隔操作装置の無線通信機器によってドローン20に送信されるように構成すればよい。
第1実施形態は、目印として、5つの丁張り41~45を用いた例であるが、本発明の目印は、これに限らず、作業用の目印であればよい。例えば、目印として、5つの丁張り41~45に代えて、仮想空間における仮想の目印を用いてもよい。その場合には、5つの丁張り41~45の位置をクライアント30の端末制御装置300に記憶させ、オペレータによって5つの丁張り41~45からいずれかの丁張りが選択された際、その丁張りの位置を表す仮想の目印の画像を空間の画像に重ね合わせることによって図11に示すような画像を作成し、これを図7のSTEP3の画像表示処理において表示するように構成すればよい。このように構成した場合、実物の目印を施工対象面に設ける必要がなくなることで、その分、工数を削減することができる。
第1実施形態は、飛行体として、ドローン20を用いた例であるが、本発明の飛行体は、これに限らず、撮像装置によって作業環境画像を撮像可能なものであればよい。例えば、飛行体として、飛行船、動力付きの気球及び軽飛行機などを用いてもよい。
第1実施形態は、作業機械10として、クローラショベルタイプの建設機械を用いた例であるが、これに代えて、移動式クレーンなどの作業機械を用いてもよい。
第1実施形態は、画像表示処理(図9/STEP6)に続けて帰還操作判定処理を実行した例であるが、帰還操作判定処理の実行前に、丁張り選択判定処理(図7/STEP1)を実行するように構成してもよい。この丁張り選択判定処理において、例えば、第2丁張り42を選択した場合、バケット143の先端部と第2丁張り42との位置合わせ作業後にドローン20を帰還させず第2丁張り42の上空に待機させることができ、それにより、第2丁張り42における施工作業を実施する傍ら当該施工作業の様子を含む作業環境画像を撮像装置220に撮像させることができる。
また、第2丁張り42における施工作業の完了後に丁張り選択判定処理が実行され、次の施工対象として第2丁張り42以外の丁張りが選択された場合には、ドローン20は5つの丁張り41~45の上空の飛行ルートに沿って図5の矢印方向又は矢印と逆方向に飛行することになる。それにより、ドローン20は、選択された丁張りの上空に迅速に到達することができ、次の施工対象における作業環境画像を迅速に撮像装置220に撮像させることができる。
次に、図12~14を参照しながら、本発明の第2実施形態に係る画像提供システムについて説明する。本実施形態の画像提供システムは、一部を除いて、第1実施形態の画像提供システム1と同様に構成されているので、以下、第1実施形態の画像提供システム1と異なっている点についてのみ説明する。
本実施形態の場合、第1~第5丁張り41~45が前述したように設置された場合、第1~第5丁張り41~45の位置情報が前述した実機制御装置100に記憶される。なお、本実施形態では、実機制御装置100が記憶部、第1制御部、位置取得部及び向き取得部に相当し、実機無線通信機器122が通信部に相当し、端末制御装置300が第2制御部に相当する。さらに、ディスプレイ31が出力インターフェース及び入力インターフェースに相当する。
本実施形態の画像提供システムの場合、図12に示すように、制御動作が実行される。この図12と前述した図7を比較すると明らかなように、第1実施形態の画像提供システム1の場合、クライアント30とドローン20の間で無線通信が実行されたのに対して、本実施形態の画像提供システムの場合、クライアント30、作業機械10及びドローン20の間で無線通信が実行される。
図12に示すように、まず、作業機械10において、飛行指令処理が実行される(図12/STEP61)。この飛行指令処理は、具体的には、作業機械10の実機制御装置100において、図13に示すように所定周期で実行される。
図13に示すように、まず、前述した測位装置121の検出信号に基づき、機械位置が算出される(図13/STEP81)。
次いで、キャビン13の正面の方向として機械の向きが取得される(図13/STEP82)。この場合、機械の向きは、下部走行体11を走行させたり下部走行体11に対して上部旋回体12を旋回させたりすることにより変化するが、上部旋回体12に搭載したジャイロセンサ(図示せず)によって取得(検出)される。また、機械の向きは、上部旋回体12に複数の測位装置121を搭載することによっても取得可能である。
次いで、丁張り候補の判定処理が実行される(図13/STEP83)。この判定処理では、上記の機械位置、上記の機械の向きおよび丁張り41~45の位置情報に基づいて、キャビン13の正面方向に位置する丁張りが丁張り41~45から択一的に選択される。この場合、例えば、機械の向きに対して所定角度範囲(例えば±数度の範囲)内の位置に存在する丁張りがキャビン13の正面方向に位置するものとして選択される。
なお、本実施形態では、このキャビン13の正面方向に位置する丁張りが指定目印に相当する。本実施形態では、以下、第2丁張り42がキャビン13の正面方向に位置しており、丁張り候補の判定処理(図13/STEP83)において、第2丁張り42が丁張り候補として選択された場合を例にとって説明する。
次いで、距離Dが算出される(図13/STEP84)。この距離Dは、図14に示すように、機械位置と第2丁張り42の位置との間の距離である。なお、本実施形態では、キャビン13が作業機械の所定部位に相当し、距離Dが目印の位置と所定部位の位置との間の距離に相当する。
次に、距離偏差DDが算出される(図13/STEP85)。この距離偏差DDは、距離Dの前回値と今回値との偏差として算出される。この前回値は、前回の制御タイミングでの距離Dの算出値であり、今回値は、今回の制御タイミングでの距離Dの算出値である。
次いで、距離Dが所定値Dref以下であるか否かが判定される(図13/STEP86)。この所定値Drefは、正の所定値に設定される。この判定が否定(図13/STEP86…NO)であるときには、そのまま本処理が終了する。
一方、この判定が肯定(図13/STEP86…YES)で、D≦Drefが成立しているときには、距離偏差DDが所定値DDrefより大きいか否かが判定される(図13/STEP87)。この所定値DDrefは、正の所定値に設定される。
この判定が否定(図13/STEP87…NO)であるときには、そのまま本処理が終了する。一方、この判定が肯定(図13/STEP87…YES)で、DD>DDrefが成立しているとき、すなわち作業機械10が第2丁張り42に向かって移動している場合において、D≦Drefが成立しているときには、飛行指令信号が作業機械10からドローン20に送信される(図13/STEP88)。この飛行指令信号は、指令位置の情報として、丁張り候補の判定処理(図13/STEP83)において選択された丁張りの位置情報すなわち第2丁張り42の位置情報を含むとともに、前述した飛行ルートを含むものである。その後、本処理が終了する。
この飛行指令信号がドローン20で受信された以降、ドローン20及びクライアント30において、前述した図7と同様に、第1飛行制御処理から帰還飛行制御処理(図13/STEP62~68)までの処理が実行される。これらの処理の内容は、図7の処理と同一であるので、その説明を省略する。
なお、図13の飛行指令処理において、STEP84~87の各処理を省略するように構成してもよく、STEP84、86の各処理を省略するように構成してもよく、STEP85、87の各処理を省略するように構成してもよい。
以上のように、第2実施形態の画像提供システムによれば、第1実施形態の画像提供システム1と同様の作用効果を得ることができる。また、丁張り候補の判定処理において、指定目印としての丁張りが自動的に選択され、それを含む飛行指令信号がドローン20に自動的に送信されるので、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。これに加えて、作業機械10のキャビン13の所定部位が第2丁張り42側に向かって移動していることや、機械位置と第2丁張り42の位置との間の距離Dが所定値Dref以下であることを条件として、実機制御装置100から飛行指令信号がドローン20に送信され、作業環境画像がクライアント30のディスプレイ31から自動的に出力されるので、オペレータの負担を低減することができ、位置合わせ作業の作業性をさらに向上させることができる。
第2実施形態は、キャビン13の位置を作業機械10の所定部位の位置とした例であるが、これに代えて、キャビン13以外の部位の位置を作業機械10の所定部位の位置としてもよい。例えば、バケット143の先端部の位置を作業機械10の所定部位の位置としてもよく、その場合には、バケット143の先端部の位置を、センサ装置112及び測位装置121の検出信号に基づいて取得すればよい。このように構成した場合、作業機械10の位置が変化しない状況で、例えばバケット143が第2丁張り42に向かって移動することを条件として、実機制御装置100から飛行指令信号がドローン20に送信されるように構成することが可能となる。
1 画像提供システム
10 作業機械
13 キャビン(作業機械の所定部位)
20 ドローン(飛行体)
30 クライアント
31 ディスプレイ(出力インターフェース、入力インターフェース)
300 端末制御装置(記憶部、第1制御部、第2制御部)
330 端末無線通信機器(通信部)
41~45 第1~第5丁張り(目印)
100 実機制御装置(記憶部、第1制御部、位置取得部、向き取得部)
122 実機無線通信機器(通信部)
D 距離(目印の位置と所定部位の位置との間の距離)
Dref 所定値
10 作業機械
13 キャビン(作業機械の所定部位)
20 ドローン(飛行体)
30 クライアント
31 ディスプレイ(出力インターフェース、入力インターフェース)
300 端末制御装置(記憶部、第1制御部、第2制御部)
330 端末無線通信機器(通信部)
41~45 第1~第5丁張り(目印)
100 実機制御装置(記憶部、第1制御部、位置取得部、向き取得部)
122 実機無線通信機器(通信部)
D 距離(目印の位置と所定部位の位置との間の距離)
Dref 所定値
Claims (12)
- 飛行体の撮像装置によって撮像された、作業用の目印と作業機械の所定部位との位置関係を示す作業環境画像を、当該作業機械のオペレータに提供するための画像提供システムであって、
1つ以上の前記目印の位置情報を記憶する記憶部と、
前記飛行体との間で通信可能な通信部と、
所定送信条件が成立したか否かを判定し、当該判定結果が肯定的である場合、飛行指令信号を前記飛行体に送信するように、前記通信部を制御する第1制御部と、
当該飛行体から前記作業環境画像が含まれる環境画像信号を前記通信部で受信した際、当該環境画像信号に含まれる当該作業環境画像を出力インターフェースに供給することにより、当該出力インターフェースに出力させる第2制御部と、
を備え、
前記所定送信条件は、前記1つ以上の目印の中からいずれか1つの前記目印が指定目印として指定されたことを条件として含み、
前記飛行指令信号は、前記指定目印の位置情報を含むことを特徴とする画像提供システム。 - 請求項1に記載の画像提供システムにおいて、
前記作業機械の位置を取得する位置取得部をさらに備え、
前記所定送信条件は、前記指定目印の位置と前記作業機械の位置との間の距離が所定値以下であることを条件としてさらに含むことを特徴とする画像提供システム。 - 請求項1に記載の画像提供システムにおいて、
前記作業機械の位置を取得する位置取得部をさらに備え、
前記所定送信条件は、前記作業機械が前記指定目印側に向かって移動していることを条件としてさらに含むことを特徴とする画像提供システム。 - 請求項2又は3に記載の画像提供システムにおいて、
前記位置取得部は、前記作業機械の位置として前記作業機械の所定部位の位置を取得することを特徴とする画像提供システム。 - 請求項1に記載の画像提供システムにおいて、
前記オペレータによる入力インターフェースの操作によって前記指定目印が指定されるように構成されていることを特徴とする画像提供システム。 - 請求項1に記載の画像提供システムにおいて、
前記作業機械の位置を取得する位置取得部と、
前記作業機械の向きを取得する向き取得部と、をさらに備え、
前記第1制御部は、前記1つ以上の目印の位置、前記作業機械の位置及び前記作業機械の向きに基づき、前記作業機械の正面方向に位置している前記目印を前記指定目印として指定することを特徴とする画像提供システム。 - 請求項1ないし6のいずれかに記載の画像提供システムにおいて、
前記第1制御部は、前記作業環境画像が前記出力インターフェースに出力されている際、前記オペレータによる入力インターフェースの所定操作が実行されたときには、前記撮像装置による前記作業環境画像の撮像状態を変更するための変更指令が含まれる変更指令信号を前記飛行体に送信するように、前記通信部を制御することを特徴とする画像提供システム。 - 請求項7に記載の画像提供システムにおいて、
前記変更指令信号は、前記作業環境画像のアングルを変更するための前記変更指令を含むことを特徴とする画像提供システム。 - 請求項7又は8に記載の画像提供システムにおいて、
前記変更指令信号は、前記作業環境画像の倍率を変更するための前記変更指令を含むことを特徴とする画像提供システム。 - 請求項1ないし9のいずれかに記載の画像提供システムにおいて、
前記記憶部は、前記飛行体の基準位置から前記1つ以上の目印の上方の位置までの飛行ルートをさらに記憶しており、
前記飛行指令信号は、前記指定目印の前記位置情報に加えて、前記飛行ルートをさらに含んでおり、
前記飛行体は、前記飛行指令信号を受信したときに、当該飛行ルートに沿って前記基準位置から前記指定目印の前記上方の位置まで自律飛行した後、前記撮像装置によって前記作業環境画像を撮像するように構成されていることを特徴とする画像提供システム。 - 請求項1ないし10のいずれかに記載の画像提供システムにおいて、
前記記憶部は、前記1つ以上の目印の位置に対応して前記作業機械が実行すべき施工内容に関連する施工情報をさらに記憶しており、
前記第2制御部は、前記環境画像信号を前記通信部で受信した際、前記作業環境画像に加えて前記施工情報を前記出力インターフェースに出力させることを特徴とする画像提供システム。 - 請求項1ないし11のいずれかに記載の画像提供システムにおいて、
前記1つ以上の目印は、仮想空間における仮想の目印であり、
前記作業環境画像は、前記仮想の目印の位置を実空間の画像に重ね合わせることによって作成されることを特徴とする画像提供システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175626A JP2022066987A (ja) | 2020-10-19 | 2020-10-19 | 画像提供システム |
PCT/JP2021/026946 WO2022085259A1 (ja) | 2020-10-19 | 2021-07-19 | 画像提供システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175626A JP2022066987A (ja) | 2020-10-19 | 2020-10-19 | 画像提供システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022066987A true JP2022066987A (ja) | 2022-05-02 |
JP2022066987A5 JP2022066987A5 (ja) | 2023-09-05 |
Family
ID=81290413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020175626A Pending JP2022066987A (ja) | 2020-10-19 | 2020-10-19 | 画像提供システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022066987A (ja) |
WO (1) | WO2022085259A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108370432A (zh) * | 2015-12-08 | 2018-08-03 | 住友重机械工业株式会社 | 挖土机的通信系统、多旋翼飞行器及挖土机 |
CN108699814B (zh) * | 2016-01-29 | 2022-04-12 | 住友建机株式会社 | 挖土机以及在挖土机的周围飞行的自主式飞行体 |
CN110998230B (zh) * | 2017-08-01 | 2021-11-02 | 认为股份有限公司 | 作业机械的驾驶系统 |
-
2020
- 2020-10-19 JP JP2020175626A patent/JP2022066987A/ja active Pending
-
2021
- 2021-07-19 WO PCT/JP2021/026946 patent/WO2022085259A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022085259A1 (ja) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11492783B2 (en) | Shovel and autonomous aerial vehicle flying around shovel | |
WO2019189260A1 (ja) | ショベル | |
WO2020003631A1 (ja) | 表示制御装置、および表示制御方法 | |
JP7266374B2 (ja) | クレーンを使用して吊荷を移動させる方法 | |
JP2016181119A (ja) | 移動機器の周囲状況提示システム | |
JP7080750B2 (ja) | 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法 | |
WO2020090985A1 (ja) | 表示制御システムおよび表示制御方法 | |
CN111386369B (zh) | 工程机械 | |
JP7006449B2 (ja) | 作業車両の管理システム | |
JP2019133441A (ja) | 作業車両の管理システム | |
JP6893746B2 (ja) | 重機の遠隔操作装置 | |
WO2022085259A1 (ja) | 画像提供システム | |
JP2022118330A (ja) | 作業支援システムおよび作業支援複合システム | |
JP7003798B2 (ja) | 圃場作業車両の管理システム | |
EP3964910B1 (en) | Work support system for work machine | |
JP7014261B2 (ja) | 制御方法及び制御装置 | |
US20220389683A1 (en) | Work assist server, work assist method, and work assist system | |
CN115315407A (zh) | 起重机、起重机主体及程序 | |
JP2021155996A (ja) | 施工支援システム及び作業機械 | |
WO2022070567A1 (ja) | 遠隔操作支援装置及び遠隔操作支援システム | |
JP2020165235A (ja) | ショベル | |
US11835970B2 (en) | Unmanned aerial vehicle with work implement view and overview mode for industrial vehicles | |
EP4368781A2 (en) | Work machine and information processing device | |
JP2023177374A (ja) | 架空線地図作成装置及び運転支援システム | |
JP2023105836A (ja) | 支援装置および支援装置を含むシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240412 |