JP2022144495A

JP2022144495A - 遠隔操作支援システムおよび遠隔操作支援方法

Info

Publication number: JP2022144495A
Application number: JP2021045536A
Authority: JP
Inventors: 大輝石田; Daiki Ishida; 涼太羽馬; Ryota Hama; 誠司佐伯; Seiji Saeki; 洋一郎山▲崎▼; Yoichiro Yamazaki
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2022-10-03
Also published as: EP4060129B1; EP4060129A1; CN115118873A; US20220298748A1

Abstract

【課題】作業機械の状態に鑑みて適当な形態で当該作業機械の環境をオペレータに把握させることができるシステム等を提供する。【解決手段】作業機械４０が第１状態（操作されうる状態）にある場合、遠隔出力インターフェース２２０に出力されている撮像画像（環境画像）の表示倍率が指定表示倍率以下の範囲でのみ制御される、あるいは、指定表示倍率以下の値に固定される。その一方、作業機械４０が第２状態（操作されえない状態）にある場合、オペレータによる遠隔入力インターフェース２１０を通じたズーム操作に応じて、実機撮像装置４１２のズーム機能が発揮される。【選択図】図６

Description

本発明は、油圧ショベル等の作業機械のオペレータによる遠隔操作を支援するための技術に関する。

オペレータが作業機械の作業状況を表わす遠隔画像を参照しながら、遠隔操作装置を用いて作業機械を操作する技術が提案されている（例えば、特許文献１参照）。

特開２０１８－０２１３９５号公報特開２０１７－０２１５１７号公報

作業機械の実搭乗と比べて、遠隔操作を行う場合には作業状況を確認しにくい。このため、特定箇所（ＡＴＴおよび／または施工対象物）の拡大詳細画像を表示させたいという要望がある。このため、オペレータは、カメラの表示倍率や向きを変更することで特定個所を狙って拡大詳細画像を表示させる操作を行う。

ところで、遠隔操作をするオペレータは、作業を行う際に周囲の状況をより的確に把握することが求められる。したがって、オペレータは、作業状況の確認後、カメラの表示倍率を大きくした設定を解除して最小（初期）表示倍率に戻してから表示装置に出来るだけ広い視野の画像を表示する操作を行う。

しかしながら、オペレータがカメラの表示倍率を大きくした設定を解除するのを失念してしまったりカメラの表示倍率が最小（初期）表示倍率に戻り切らなかったりすると、周囲の状況の把握に支障が生じてしまい、作業を行うのに必要な周囲の状況の把握が不十分となる。

従来技術２のように、運転用画像と注意用画像を同時表示させようとすると、オペレータは、注意用画像が運転用画像のどの位置にあるのか把握しにくく、また、注意用画像を画面いっぱいに表示させることができず、周囲の状況の確認に支障をきたしてしまう。

そこで、本発明は、作業機械の状態に鑑みて適当な形態で当該作業機械の環境をオペレータに把握させることができるシステム等を提供することを目的とする。

本発明の撮像機能制御システムは、
入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御するシステムであって、
前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を指定倍率以下に制御する第１撮像機能制御要素と、
前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を、前記入力インターフェースを通じたズーム操作に応じて制御する第２撮像機能制御要素と、
を備えている。

当該構成の撮像機能制御システムによれば、第１状態においては、出力インターフェースに出力される撮像画像を通じて、オペレータに作業機械の環境を俯瞰的に把握させたうえで、入力インターフェースを通じて当該作業機械を操作させることができる。その一方、第２状態においては、オペレータによる入力インターフェースを通じたズーム操作に応じて、実機撮像装置のズーム機能が発揮されることにより、任意の表示倍率の撮像画像が出力インターフェースを通じて出力され、作業機械の環境をオペレータにその所望の形態で把握させることができる。

前記構成の撮像機能制御システムにおいて、
前記第１撮像機能制御要素が、前記第１状態において、前記実機撮像装置の撮像機能としてのズーム機能を停止させる
ことが好ましい。

当該構成の撮像機能制御システムによれば、第１状態において、出力インターフェースに出力されている撮像画像の表示倍率が指定表示倍率以下に固定されるので、オペレータに作業機械の環境を俯瞰的に把握させたうえで、入力インターフェースを通じて当該作業機械を操作させることができる。

前記構成の撮像機能制御システムにおいて、
前記第２撮像機能制御要素が、前記第２状態において、前記作業機械の作業進捗状況に応じて、前記実機撮像装置の撮像機能としてのズーム機能における前記撮像画像の表示倍率の変化速度を変化させる
ことが好ましい。

当該構成の撮像機能制御システムによれば、第２状態において、作業機械による作業進捗状況の相違によってズームインおよび／またはズームアウトの速度が調節されるため、オペレータに作業機械の環境を把握させる際の利便性の向上が図られる。

前記構成の撮像機能制御システムにおいて、
前記第１撮像機能制御要素が、前記第１状態において、前記実機撮像装置の撮像機能としての手振れ補正機能を停止させ、
前記第２撮像機能制御要素が、前記第２状態において、前記実機撮像装置の撮像機能としての手振れ補正機能を発揮させる
ことが好ましい。

当該構成の撮像機能制御システムによれば、第１状態においては、実機撮像装置の手振れ補正機能が停止されることにより、撮像画像の画像処理コストが増加することが防止される。このため、実機撮像装置から出力インターフェースへの伝送遅延、ひいては当該出力インターフェースにおける撮像画像の出力遅延が回避される。その結果、オペレータによる作業機械の環境の把握、ひいてはこれに応じた入力インターフェースを通じた作業機械の操作に支障が生じる事態が回避される。その一方、第２状態においては、実機撮像装置の手振れ補正機能が発揮されることにより、出力インターフェースにおいて出力される手振れ補正された撮像画像を通じて、作業機械の環境をオペレータに容易かつ正確に把握させることができる。

遠隔操作支援システムの構成に関する説明図。遠隔操作装置の構成に関する説明図。作業機械の構成に関する説明図。遠隔操作支援システム（撮像機能制御システム）の機能に関する説明図。作業環境画像に関する説明図。実機撮像装置のズーム機能の制御態様に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。本実施形態では、遠隔操作支援サーバ１０が「撮像機能制御システム」を構成し、第２支援処理要素１２２が「第１撮像機能制御要素」および「第２撮像機能制御要素」を構成する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

左側操作レバー２１１１および右側操作レバー２１１２のそれぞれのオペレータにより把持される箇所には、後述するように実機撮像装置４１２のズームイン角度およびズームアウト角度のそれぞれを調節するためのズームインスイッチＳＷ＋およびズームアウトイッチＳＷ－のそれぞれが設けられている。

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の遠隔操作支援システムおよび撮像機能制御システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得され、かつ、実機無線通信機器４２２を通じて、当該画像処理が施された撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１０）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる環境画像が遠隔画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１のズーム操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該ズーム操作態様に応じたズーム指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１４）。ズーム操作態様は、左側操作レバー２１１１および右側操作レバー２１１２のそれぞれの把持箇所に設けられた、ズームインスイッチＳＷ＋およびズームアウトイッチＳＷ－のそれぞれの操作姿勢により特定される（図２参照）。ズームインスイッチＳＷ＋が継続的に押下されることにより、実機撮像装置４１２のズーム倍率γが徐々にまたは段階的に上昇する。ズームアウトイッチＳＷ－が継続的に押下されることにより、実機撮像装置４１２のズーム倍率γが徐々にまたは段階的に低下する。

遠隔操作支援サーバ１０において、ズーム指令が受信された場合（図４／Ｃ１２）、第２支援処理要素１２２により、作業機械４０との通信結果に基づき、当該作業機械４０の状態が判定される（図４／ＳＴＥＰ１２０）。「第１状態」は、作業機械４０が操作されうる状態（または作業機械４０が作業している状態）である。「第２状態」は、作業機械４０が操作されえない状態（または作業機械４０が作業を停止している状態）である。例えば、作業機械４０の実機操作機構４１１を構成する操作遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。また、遠隔入力インターフェースとして油圧遮断レバーを模した遠隔油圧遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。

作業機械４０が第１状態にあると判定された場合（図４／ＳＴＥＰ１２０‥１）、第２支援処理要素１２２（第１撮像機能制御要素）により、第１ズーム指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１２１）。その一方、作業機械４０が第２状態にあると判定された場合（図４／ＳＴＥＰ１２０‥２）、第２支援処理要素１２２（第２撮像機能制御要素）により、第２ズーム指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１２２）。

作業機械４０において、実機無線通信機器４２２を通じて第２ズーム指令が受信された場合（図４／Ｃ４２）、実機制御装置４００により実機撮像装置４１２のズーム機能が、ズームインスイッチＳＷ＋および／またはズームアウトスイッチＳＷ－の操作態様に応じて通常態様で制御され、そのズーム倍率γが調節される（図４／ＳＴＥＰ４１２）。

例えば、図６に実線で示されているようにズーム操作量が変化した場合、図６に二点鎖線で示されているように当該ズーム操作量に比例する（比例係数＝ゲイン係数）ように、ズーム倍率が調節される。ズーム操作量は、ズームインスイッチＳＷ＋が操作される場合には増加し、ズームアウトスイッチＳＷ－が操作される場合には減少する。これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される環境画像に映り込んでいる実空間領域の広狭が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。例えば、実機撮像装置４１２のズームインによりズーム倍率γが増大される場合、環境画像に映り込んでいる実空間領域がそれまでよりも小さくまたは狭くなる。また、実機撮像装置４１２のズームアウトによりズーム倍率γが低減される場合、環境画像に映り込んでいる実空間領域がそれまでよりも大きくまたは広くなる。

その一方、作業機械４０において、実機無線通信機器４２２を通じて第１ズーム指令が受信された場合（図４／Ｃ４１）、実機制御装置４００により実機撮像装置４１２のズーム倍率が、ズームインスイッチＳＷ＋および／またはズームアウトスイッチＳＷ－の操作態様に応じているものの、通常態様よりも制限的な態様で制御される（図４／ＳＴＥＰ４１１）。

例えば、図６に実線で示されているようにズーム操作量が変化した場合、図６に一点鎖線で示されているようにズーム指定倍率γ₀以下である状態では当該ズーム操作量に比例するように、ズーム倍率が調節されるものの、通常であればズーム指定倍率γ₀を超える状態（時刻t₁から時刻t₂までの期間）では、ズーム操作量の変化とは無関係にズーム倍率γがズーム指定倍率γ₀に維持される。そのほか、図６に破線で示されているように、実機撮像装置４１２のズーム倍率γが指定倍率γ₀以下の値（例えば、一定値）に制御されてもよい。さらに、ズームインスイッチＳＷ＋および／またはズームアウトスイッチＳＷ－の操作態様によらず、ズーム機能が停止されて実機撮像装置４１２のズーム倍率が最小倍率またはこれに近い倍率に固定されてもよい。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２０）。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１４）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４４）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（作用効果）
当該構成の遠隔操作支援システムを構成する撮像機能制御システムによれば、作業機械４０が第１状態にある場合、遠隔出力インターフェース２２０に出力されている撮像画像（環境画像）の表示倍率（ズーム倍率γ）が指定表示倍率以下の範囲でのみ制御される、あるいは、指定表示倍率以下の値に固定される（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２１→Ｃ４１→ＳＴＥＰ４１１、図６の一点鎖線および破線参照）。これにより、遠隔出力インターフェース２２０（遠隔画像出力装置２２１）に出力される撮像画像（環境画像）を通じて、オペレータに作業機械４０の環境を俯瞰的に把握させたうえで、遠隔入力インターフェース２１０（遠隔操作機構２１１）を通じて当該作業機械４０を操作させることができる。

その一方、作業機械４０が第２状態にある場合、オペレータによる遠隔入力インターフェース２１０（ズームインスイッチＳＷ＋およびズームアウトスイッチＳＷ－）を通じたズーム操作に応じて、実機撮像装置４１２のズーム機能が発揮される（図４／ＳＴＥＰ１２０‥２→ＳＴＥＰ１２２→Ｃ４２→ＳＴＥＰ４１２、図６の二点鎖線参照）。これにより、任意の表示倍率の撮像画像（環境画像）が遠隔出力インターフェース２２０を通じて出力され、作業機械４０の環境をオペレータにその所望の形態で把握させることができる。

（本発明の他の実施形態）
前記実施形態では、遠隔操作支援サーバ１０により撮像機能制御システムが構成され、かつ、第２支援処理要素１２２により第１撮像機能制御要素および第２撮像機能制御要素が構成されていたが、他の実施形態として、作業機械４０および／または遠隔操作装置２０により撮像機能制御システムが構成され、かつ、実機制御装置４００および／または遠隔制御装置２００により第１撮像機能制御要素および／または第２撮像機能制御要素が構成されていてもよい。

作業機械４０が第２状態にある場合、作業機械４０の作業進捗状況に応じて、実機撮像装置の撮像機能４１２のズーム倍率γの変化速度を変化させてもよい。例えば、作業機械４０により作業機構４４０を用いて、図５に示されているような瓦礫または土砂の山を掘削する作業を行う際（第１状態）に、オペレータが掘削中に掘削面の様子を確認したくなったときには、作業を一時的に中断して（第２状態）、遠隔入力インターフェース２１０（ズームインスイッチＳＷ＋およびズームアウトスイッチＳＷ－）を通じたズーム操作が行われることがあり、このズーム操作に伴うズーム倍率γの変化速度を通常時の速度よりも上げるようにされてもよい。作業の進捗に伴って掘削面が深くなる場合には、ズーム操作に伴うズーム倍率γの変化速度をさらに向上させてもよい。

当該構成の撮像機能制御システムによれば、第２状態において、作業機械による作業進捗状況の相違によってズームインおよび／またはズームアウトの速度が調節されるため、オペレータに作業機械の環境を把握させる際の利便性の向上が図られる。特に、作業中に作業を中断して作業対象の確認をする場合には、当該作業を中断する時間を短くし作業効率を向上させることができる。

第２支援処理要素１２２（第１撮像機能制御要素）により、第１ズーム指令とともに「第１手振れ補正指令」が作業機械４０に対して送信され（図４／ＳＴＥＰ１２１参照）、実機撮像装置４１２の撮像機能としての手振れ補正機能が停止され、第２支援処理要素１２２（第２撮像機能制御要素）により、第２ズーム指令とともに「第２手振れ補正指令」が作業機械４０に対して送信され（図４／ＳＴＥＰ１２２参照）、実機撮像装置４１２の撮像機能としての手振れ補正機能が発揮されてもよい。

当該構成の撮像機能制御システムによれば、第１状態においては、実機撮像装置４１２の手振れ補正機能が停止されることにより、撮像画像の画像処理コストが増加することが防止される。このため、実機撮像装置４１２から遠隔出力インターフェース２２０（遠隔画像出力装置２２１）への伝送遅延、ひいては当該遠隔出力インターフェース２２０における撮像画像（環境画像）の出力遅延が回避される（図４／ＳＴＥＰ４１０→Ｃ１１→ＳＴＥＰ１１０→Ｃ２１→ＳＴＥＰ２１２、図５参照）。その結果、オペレータによる作業機械４０の環境の把握、ひいてはこれに応じた遠隔入力インターフェース２１０（遠隔操作機構２１１）を通じた作業機械４０の操作に支障が生じる事態が回避される。

その一方、第２状態においては、実機撮像装置４１２の手振れ補正機能が発揮されることにより、遠隔出力インターフェース２２０において出力される手振れ補正された撮像画像（環境画像）を通じて、作業機械４０の環境をオペレータに容易かつ正確に把握させることができる（図５参照）。

前記実施形態では、作業機械４０が第１状態にある場合、遠隔出力インターフェース２２０に出力されている撮像画像（環境画像）の表示倍率が指定表示倍率以下の範囲でのみ制御されるが、このような表示倍率を制限する制御は作業機械４０が第１状態になった直後のみ行われるようにしてもよい。その結果、第１状態においても、任意の表示倍率の撮像画像（環境画像）が遠隔出力インターフェース２２０を通じて出力され作業機械４０の環境をオペレータにその所望の形態で把握させることができ、かつ、作業機械４０が第１状態になった直後にはオペレータによる作業機械４０の環境の把握、ひいてはこれに応じた遠隔入力インターフェース２１０（遠隔操作機構２１１）を通じた作業機械４０の操作に支障が生じる事態される。

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素（第１撮像機能制御要素、第２撮像機能制御要素）、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）、ＳＷ＋‥ズームインスイッチ、ＳＷ－‥ズームアウトスイッチ。

Claims

入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御するシステムであって、
前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を指定倍率以下に制御する第１撮像機能制御要素と、
前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を、前記入力インターフェースを通じたズーム操作に応じて制御する第２撮像機能制御要素と、
を備えている撮像機能制御システム。
請求項１に記載の撮像機能制御システムにおいて、
前記第１撮像機能制御要素が、前記第１状態において、前記実機撮像装置の撮像機能としてのズーム機能を停止させる
撮像機能制御システム。
請求項１または２に記載の撮像機能制御システムにおいて、
前記第２撮像機能制御要素が、前記第２状態において、前記作業機械の作業進捗状況に応じて、前記実機撮像装置の撮像機能としてのズーム機能における前記撮像画像の表示倍率の変化速度を変化させる
撮像機能制御システム。
請求項１～３のうちいずれか１項に記載の撮像機能制御システムにおいて、
前記第１撮像機能制御要素が、前記第１状態において、前記実機撮像装置の撮像機能としての手振れ補正機能を停止させ、
前記第２撮像機能制御要素が、前記第２状態において、前記実機撮像装置の撮像機能としての手振れ補正機能を発揮させる
撮像機能制御システム。
入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御する方法であって、
前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を指定倍率以下に制御する第１撮像制御処理と、
前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態では、前記実機撮像装置の撮像機能としてのズーム機能によってズーム倍率を、前記入力インターフェースを通じたズーム操作に応じて制御する第２撮像制御処理と、
を演算処理装置が実行する工程として含んでいる撮像機能制御方法。