JP2021160072A - ロボット制御装置、ロボット制御システム及びロボット制御方法 - Google Patents

Abstract

【課題】操作者がロボットを遠隔操作するシステムにおいて、作業場における対象物に対する様々な作業を適切に行えるようにする。【解決手段】本発明の一実施形態に係るロボット制御装置１は、操作者が遠隔操作をするロボットが作業場を撮像した撮像画像と、作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信する受信部１１２と、撮像情報に基づいて位置を特定するとともに、撮像画像に基づいて、位置に配置される、ロボットが作業対象とする対象物に対して必要な作業を特定する特定部１１４と、ロボットを操作するための操作者端末に、作業及び位置を示す作業情報を送信する送信部１１１と、を有する。【選択図】図２

Description

本発明は、作業場において作業をするロボットを制御するためのロボット制御装置、ロボット制御システム及びロボット制御方法に関する。

店舗等の作業場において、ロボットを用いて商品の陳列等の作業を行うシステムの導入が進められている。特許文献１には、操作者がロボットを遠隔操作することによって、遠隔地からロボットによって作業を行えるようにするシステムが開示されている。

特開２００４−８２２９３号公報

店舗等の作業場においては、商品の陳列だけでなく、商品の整列、廃棄、移動等の様々な作業が発生し得る。しかしながら、ロボットを遠隔操作する操作者は作業場について精通しているとは限らないため、操作者が対象物に対して必要な作業を適切に行えないことがあるという問題があった。

本発明は上述の点に鑑みてなされたものであり、操作者がロボットを遠隔操作するシステムにおいて、作業場における対象物に対する様々な作業を適切に行えるようにすることを目的とする。

本発明の第１の態様のロボット制御装置は、操作者が遠隔操作をするロボットが作業場を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信する受信部と、前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、前記ロボットを操作するための操作者端末に、前記作業及び前記位置を示す作業情報を送信する送信部と、を有する。

前記特定部は、前記位置への前記対象物の補充と、前記位置に配置された前記対象物の移動と、前記位置に配置された前記対象物の廃棄と、前記位置に配置された前記対象物の向きの変更と、前記対象物の状態の確認と、前記対象物の個数の確認とのうち少なくとも１つを前記作業として特定してもよい。

前記受信部は、前記送信部が前記作業情報を前記操作者端末に送信した後に、前記操作者端末から、前記ロボットに対する前記遠隔操作の内容を示す操作要求を受信し、前記送信部は、前記操作要求が示す前記遠隔操作の内容を前記ロボットに行わせる操作指示を前記ロボットに送信してもよい。

前記送信部は、前記作業場内において前記ロボットが巡回する巡回経路を示す巡回指示を前記ロボットに送信し、前記受信部は、前記ロボットが前記巡回経路上を巡回して撮像した前記撮像画像を受信してもよい。

前記送信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方において入力された情報に基づいて、前記巡回経路上の巡回の開始、中断及び終了、並びに前記巡回経路の変更のうち少なくとも１つを示す前記巡回指示を前記ロボットに送信してもよい。

前記送信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方において入力された情報に基づいて、前記ロボットが撮像をするタイミング及び位置の少なくとも一方を示す撮像指示を前記ロボットに送信してもよい。

前記受信部は、前記作業場における前記対象物の在庫の量を示す在庫情報を受信し、前記特定部は、前記撮像画像及び前記在庫情報に基づいて前記作業を特定してもよい。

前記ロボット制御装置は、前記特定部が特定した一又は複数の前記作業が完了したか否かを判定する判定部をさらに有し、前記送信部は、前記判定部が完了していないと判定した一又は複数の前記作業を示す情報を、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方に送信してもよい。

前記受信部は、前記管理者端末及び前記操作者端末の少なくとも一方から、前記判定部が完了していないと判定した一又は複数の前記作業の中断又は順序変更を示す変更要求を受信し、前記送信部は、前記変更要求に基づいて前記作業情報を前記操作者端末に送信してもよい。

前記受信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方から、追加作業を示す追加要求を受信し、前記送信部は、前記操作者端末に、前記特定部が特定した前記作業と、前記追加要求が示す前記追加作業とを示す前記作業情報を送信してもよい。

前記送信部は、前記撮像画像上に、前記特定部が特定した前記作業を行う前記位置を重畳して表示するための表示情報を、前記操作者端末に送信してもよい。

前記操作者端末は、複数の前記ロボットを切り替えて操作可能であり、前記特定部は、複数の前記ロボットそれぞれに関連付けて前記作業を特定し、前記送信部は、前記特定部が特定した前記作業と、前記作業に関連付けられた前記ロボットとを示す前記作業情報を、前記操作者端末に送信してもよい。

前記ロボット制御装置は、前記撮像画像に基づいて、前記作業場内の通路上に存在する物体を検出する検出部をさらに有し、前記送信部は、前記検出部が検出した前記物体に関する情報を前記操作者端末に送信してもよい。

前記特定部は、前記ロボットが備える撮像部によって撮像された第１撮像画像と、前記作業場に配置されている撮像部によって撮像された第２撮像画像とに基づいて、前記作業を特定してもよい。

本発明の第２の態様のロボット制御システムは、操作者が遠隔操作をするロボットと、前記ロボットを制御するためのロボット制御装置と、を含み、前記ロボットは、作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを送信する送信部を有し、前記ロボット制御装置は、前記ロボットが送信した前記撮像画像及び前記撮像情報を受信する受信部と、前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信する送信部と、を有する。

前記ロボット制御装置の前記送信部は、前記作業場内において前記ロボットが巡回する巡回経路を示す巡回指示を前記ロボットに送信し、前記ロボットは、前記ロボット制御装置が送信した前記巡回指示が示す前記巡回経路上を前記ロボットが移動することを制御する移動制御部をさらに有してもよい。

前記ロボットは、前記撮像画像に基づいて、前記作業場内において前記ロボットが巡回する巡回経路を決定し、決定した前記巡回経路上を前記ロボットが移動することを制御する移動制御部をさらに有してもよい。

本発明の第３の態様のロボット制御方法は、プロセッサが実行する、操作者が遠隔操作をするロボットが作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信するステップと、前記撮像情報に基づいて前記位置を特定するステップと、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定するステップと、前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信するステップと、を有する。

本発明の第４の態様のロボット制御システムは、操作者が遠隔操作をするロボットを制御するためのロボット制御システムであって、前記ロボットが送信した作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信する受信部と、前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信する送信部と、を有する。

本発明によれば、操作者がロボットを遠隔操作するシステムにおいて、操作者が作業場における対象物に対する様々な作業を適切に行えるという効果を奏する。

実施形態に係るロボット制御システムの模式図である。 実施形態に係るロボット制御システムのブロック図である。 作業場内においてロボットが巡回する巡回経路の模式図である。 特定部が対象物に対して必要な作業を特定する方法を説明するための模式図である。 操作者端末が表示する操作画面の模式図である。 管理者端末が表示する作業管理画面の模式図である。 管理者端末が表示する作業追加画面の模式図である。 実施形態に係るロボット制御システムが実行するロボット制御方法のシーケンス図である。

［ロボット制御システムＳの概要］
図１は、本実施形態に係るロボット制御システムＳの模式図である。ロボット制御システムＳは、ロボット制御装置１と、ロボット２と、操作者端末３と、管理者端末４とを含む。ロボット２、操作者端末３及び管理者端末４は、それぞれ複数設けられてもよい。ロボット制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。

ロボット制御装置１は、ロボット２から受信した撮像画像に基づいて対象物に対して必要な作業を特定するとともに、操作者がロボット２を遠隔操作するための制御をするコンピュータである。ロボット制御装置１は、ローカルエリアネットワーク、インターネット等のネットワークを介して、ロボット２、操作者端末３及び管理者端末４に接続される。

ロボット２は、操作者がネットワークを介して遠隔操作をする装置である。ロボット２は、店舗、倉庫等の作業場に配置されており、ロボット制御装置１から受信した情報に従って所定の作業を行う。ロボット２が実行する作業の一部は自動化されており、例えばロボット２は作業場内を自動的に移動し、また操作者による遠隔操作によって作業をする。ロボット２は、例えば、頭部、腕部、脚部等の複数の部位からなる体を備えている。ロボット２は、モータ、アクチュエータ等の駆動部を有しており、駆動部の動力を用いて動作する。また、ロボット２は、撮像部（カメラ）を有しており、撮像部を用いて撮像した撮像画像をロボット制御装置１に送信する。

操作者端末３は、操作者が利用する情報端末（コンピュータ）である。操作者端末３は、ロボット制御装置１によって特定された作業を示す作業情報を操作者に対して表示するとともに、ロボット２を遠隔操作するための操作情報の入力を操作者から受け付ける。操作者端末３は、操作者による入力を受け付け可能なキーボードやタッチパネル等の入力部と、情報を表示可能な液晶ディスプレイ等の表示部と、情報を音声で出力可能なスピーカ等の音声出力部とを有する。さらに操作者端末３は、ロボット２の触覚（すなわちロボット２が物体に接触する感覚）を提示可能な触覚提示部を有してもよい。

操作者端末３の入力部は、操作者による操作に基づいて、操作指示の入力を受け付ける。また、操作者端末３の入力部は、操作者の体に装着されたセンサを含み、当該センサが測定した測定情報に基づいて、操作指示の入力を受け付けてもよい。また、操作者端末３の入力部は、操作者の体を撮像する撮像部（カメラ）を含み、当該撮像部が撮像した撮像画像に基づいて、操作指示の入力を受け付けてもよい。操作者端末３の表示部は、操作者の体に装着された、眼鏡型のディスプレイ（すなわち、ヘッド・マウント・ディスプレイ）を含んでもよい。また、操作者端末３は、作業に関する情報（作業の内容、量、残量等）を表示部に表示し、作業に関する情報を示す音声を音声出力部から出力する。操作者端末３は、図１に示した例示的な構成に限らず、操作者による操作の入力を受け付けるとともに、操作者に対して情報を提示可能なその他の構成を備えてもよい。

管理者端末４は、ロボット２や操作者等を管理する管理者が利用する情報端末（コンピュータ）である。管理者端末４は、ロボット制御装置１によって特定された作業のリストを表示し、また管理者から作業の順序変更や中断をする操作を受け付ける。管理者端末４は、管理者による入力を受け付け可能なキーボードやタッチパネル等の入力部と、情報を表示可能な液晶ディスプレイ等の表示部とを有する。ロボット制御システムＳは、管理者端末４を含まなくてもよい。

本実施形態に係るロボット制御システムＳが実行する処理の概要を以下に説明する。ロボット２は、作業場内を巡回しながら、作業場に配置された棚や通路を撮像する。ロボット２は、撮像した撮像画像を、作業場における撮像画像に対応する位置を特定可能な撮像情報とともに、ロボット制御装置１に送信する（ａ）。

ロボット制御装置１は、ロボット２が送信した撮像画像及び撮像情報を受信する。ロボット制御装置１は、撮像情報に基づいて、作業場における撮像画像に対応する位置を特定するとともに、撮像画像に基づいて、特定した位置に配置される対象物に対して必要な作業を特定する（ｂ）。対象物は、ロボット２が作業対象とする物品であり、例えば棚に配置された商品又は配置される予定の商品である。

ロボット制御装置１は、特定した作業を示す作業情報を、操作者端末３に送信する（ｃ）。操作者端末３は、ロボット制御装置１が送信した作業情報を表示部上に表示する。操作者は、表示された作業情報が示す作業を実行するように、ロボットを遠隔操作する（ｄ）。

このように本実施形態に係るロボット制御システムＳにおいて、ロボット制御装置１は、ロボット２が撮像した作業場の撮像画像と、作業場における撮像画像に対応する位置に関する撮像情報とに基づいて、作業場内の様々な位置に配置される対象物に対して必要な作業を特定する。そしてロボット制御装置１は、特定した作業を示す情報を、ロボット２を遠隔操作するための操作者端末３に送信する。これにより、操作者は、ロボット２を遠隔操作する際に、対象物に対して必要な作業をその都度判断する必要がないため、作業場における対象物に対する様々な作業を適切に行うことができる。

［ロボット制御システムＳの構成］
図２は、本実施形態に係るロボット制御システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

ロボット制御装置１は、制御部１１と、記憶部１２とを有する。制御部１１は、送信部１１１と、受信部１１２と、検出部１１３と、特定部１１４と、判定部１１５とを有する。制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、送信部１１１、受信部１１２、検出部１１３、特定部１１４及び判定部１１５として機能する。

送信部１１１は、ロボット２、操作者端末３及び管理者端末４へ情報を送信する。受信部１１２は、ロボット２、操作者端末３及び管理者端末４が送信した情報を受信する。検出部１１３は、ロボット２が送信した撮像画像に基づいて、作業場の通路上に存在する物体を検出する。特定部１１４は、ロボット２が送信した撮像画像に基づいて、対象物に対して必要な作業を特定する。判定部１１５は、作業の進捗状況（例えば、作業が完了したか否か）を判定する。

制御部１１の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、制御部１１がネットワーク経由で実行されるプログラムを実行することによって実現されてもよい。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１１が実行するプログラムを予め記憶している。記憶部１２は、ロボット制御装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１１との間でデータの授受を行ってもよい。

ロボット２は、制御部２１と、記憶部２２とを有する。制御部２１は、受信部２１１と、移動制御部２１２と、送信部２１３と、駆動制御部２１４とを有する。制御部２１は、例えばＣＰＵ等のプロセッサであり、記憶部２２に記憶されたプログラムを実行することにより、受信部２１１、移動制御部２１２、送信部２１３及び駆動制御部２１４として機能する。

受信部２１１は、ロボット制御装置１が送信した情報を受信する。移動制御部２１２は、ロボット制御装置１が送信した移動指示に従ってロボット２を移動させる。送信部２１３は、ロボット２の撮像部が撮像した撮像画像をロボット制御装置１に送信する。駆動制御部２１４は、ロボット制御装置１が送信した操作指示に従ってロボット２を駆動する。

制御部２１の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部２１の機能の少なくとも一部は、制御部２１がネットワーク経由で実行されるプログラムを実行することによって実現されてもよい。

記憶部２２は、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を含む記憶媒体である。記憶部２２は、制御部２１が実行するプログラムを予め記憶している。記憶部２２は、ロボット２の外部に設けられてもよく、その場合にネットワークを介して制御部２１との間でデータの授受を行ってもよい。

本実施形態に係るロボット制御システムＳは、図２に示す具体的な構成に限定されない。ロボット制御装置１、ロボット２、操作者端末３及び管理者端末４は、それぞれ２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。また、ロボット制御装置１は、ロボット２に内蔵されてもよい。また、ロボット制御装置１は、コンピュータ資源の集合であるクラウドによって構成されてもよい。

［ロボット制御方法の説明］
以下、ロボット制御システムＳがロボット２を制御するための処理を詳細に説明する。図３は、作業場内においてロボット２が巡回する巡回経路の模式図である。操作者端末３又は管理者端末４は、例えば、予め定義された作業場の地図上で、巡回経路を設定するための入力を受け付ける。巡回経路は、ロボット２が作業場内を巡回する通路（領域）によって表される。また、操作者端末３又は管理者端末４は、巡回経路と関連付けて、巡回を開始する時刻を示す情報、及び特定の通路（領域）を通行しない時間帯を示す情報の入力を受け付けてもよい。

さらに、操作者端末３又は管理者端末４は、設定された巡回経路上でロボット２が撮像をする位置及びタイミングを設定するための入力を受け付ける。撮像をする位置は、例えば、作業場内の所定位置を基準として座標によって表される。撮像をするタイミングは、例えば、ロボット２が巡回を開始してから経過した時間によって表される。操作者端末３又は管理者端末４は、操作者又は管理者によって入力された巡回経路及び撮像に関する巡回経路情報を、ロボット制御装置１に送信する。

さらに操作者端末３又は管理者端末４は、作業場内の各位置において発生し得る候補作業の選択を受け付ける。操作者端末３又は管理者端末４は、例えば、作業場の地図上の位置と関連付けて、対象物の補充、移動、廃棄、向きの変更、状態の確認、及び個数の確認から選択された少なくとも１つの作業を、候補作業として受け付ける。操作者端末３又は管理者端末４は、作業場内の位置と、選択された候補作業とを関連付けた候補作業情報を、ロボット制御装置１に送信する。

ロボット制御装置１は、操作者端末３又は管理者端末４が送信した巡回経路情報及び候補作業情報を、記憶部１２に予め記憶させる。これにより、ロボット制御装置１は、ロボット２に作業場内を巡回させながら、ロボット２が作業場内の所定の位置を撮像させることが可能になる。また、ロボット制御装置１は、作業場の撮像画像に基づいて、選択された候補作業の中から対象物に対して必要な作業を特定することが可能になる。

ロボット制御装置１において、送信部１１１は、操作者端末３及び管理者端末４の少なくとも一方において巡回を開始するための操作が行われた場合に、ロボット２に巡回経路上の巡回を開始させる巡回指示をロボット２に送信する。巡回指示は、記憶部１２に予め記憶された巡回経路情報が示す巡回経路を示す。巡回経路が通路を通行しない時間帯を示す情報に関連付けられている場合に、送信部１１１は、巡回をする時刻において通行しない通路が除外された巡回経路を示す巡回指示をロボット２に送信する。また、送信部１１１は、記憶部１２に予め記憶された巡回経路情報が示す撮像をする位置及びタイミングの少なくとも一方を示す撮像指示をロボット２に送信する。

また、送信部１１１は、巡回経路が巡回を開始する時刻を示す情報に関連付けられている場合であって、現在時刻が当該時刻に到達した場合に、ロボット２に巡回経路上の巡回を開始させる巡回指示をロボット２に送信してもよい。また、送信部１１１は、ＰＯＳ（Point Of Sales）システム等の管理システムから受信した決済情報に基づいて（例えば、商品の販売数が所定値以上になった場合に）、ロボット２に巡回経路上の巡回を開始させる巡回指示をロボット２に送信してもよい。

また、送信部１１１は、操作者端末３及び管理者端末４の少なくとも一方において巡回を中断する操作、巡回を終了する操作又は巡回経路を変更する操作が行われた場合に、ロボット２に巡回経路上の巡回の中断、終了又は巡回経路の変更を示す巡回指示をロボット２に送信してもよい。

ロボット２において、受信部２１１は、ロボット制御装置１が送信した巡回指示及び撮像指示を受信する。移動制御部２１２は、受信部２１１が受信した巡回指示が示す巡回経路上をロボット２が移動することを制御する。これにより、ロボット制御装置１は、操作者又は管理者から受け付けた巡回経路上を、ロボット２に巡回させることができる。

また、移動制御部２１２は、自律的に巡回経路を決定して作業場内を巡回してもよい。この場合に、移動制御部２１２は、例えば、ロボット２が備える撮像部が撮像した作業場内の撮像画像に対して既知の画像認識処理を実行することによって、作業場内の通路を特定し、特定した通路をロボット２が移動できるように巡回経路を決定する。そして移動制御部２１２は、特定した巡回経路上をロボット２が移動することを制御する。これにより、ロボット制御装置１は、操作者又は管理者から巡回経路の設定を予め受け付けることなく、ロボット２に作業場内を巡回させることができる。

ロボット２は、巡回経路上を移動している最中に、受信部２１１が受信した撮像指示が示す位置及びタイミングの少なくとも一方で、撮像部を用いて作業場内を撮像する。これにより、ロボット制御装置１は、操作者又は管理者から受け付けた位置及びタイミングで、ロボット２に作業場内を撮像させることができる。

また、ロボット２は、撮像指示によらず、自律的に作業場内の様々な位置（例えば、通路）を撮像してもよい。これにより、ロボット制御装置１は、操作者又は管理者から指定された位置だけでなく、作業場内の様々な位置をロボット２に撮像させることができる。ロボット２は、撮像した際のロボット２の位置及び向きを撮像画像と関連付けて記憶する。

送信部２１３は、撮像部を用いて作業場内を撮像した撮像画像と、作業場における撮像画像に対応する位置を特定可能な撮像情報とを、ロボット制御装置１に送信する。撮像情報は、撮像画像の撮像範囲に対応する作業場内の位置を特定するための情報であり、例えば撮像時のロボット２の位置及び向きによって表される。送信部２１３は、撮像する度に撮像画像及び撮像情報を送信してもよく、所定時間ごとに又は巡回が完了してから一又は複数の撮像画像及び撮像情報を送信してもよい。

ロボット制御装置１において、受信部１１２は、ロボット２が送信した撮像画像及び撮像情報を受信する。さらに、受信部１１２は、作業場に配置されている撮像部が撮像した撮像画像及び撮像情報を受信してもよい。さらに、受信部１１２は、ＰＯＳシステム等の管理システムから、作業場における対象物の在庫の量を示す在庫情報を受信してもよい。

検出部１１３は、受信部１１２が受信した撮像画像及び撮像情報に基づいて、作業場内の通路上に存在する物体を障害物として検出する。検出部１１３は、例えば、撮像画像に対して既知の画像認識処理を実行することによって、撮像画像に含まれる物体を検出する。検出部１１３は、検出した物体が、作業場の地図において通路上に存在している場合に、当該物体を障害物として検出する。

特定部１１４は、受信部１１２が受信した撮像情報に基づいて、受信部１１２が受信した一又は複数の撮像画像それぞれに対して作業場における撮像画像に対応する位置を特定する。特定部１１４は、例えば、撮像情報が示す撮像時のロボット２の位置及び向きを用いて、当該位置から当該向きに所定距離進んだ位置を、撮像画像の撮像範囲に対応する作業場内の位置として算出する。

次に特定部１１４は、受信部１１２が受信した撮像画像に基づいて、特定した位置に配置される、ロボット２が作業対象とする対象物に対して必要な作業を特定する。図４は、特定部１１４が対象物に対して必要な作業を特定する方法を説明するための模式図である。図４は、作業場において対象物が配置される棚の例示的な撮像画像を表している。

特定部１１４は、例えば、撮像画像に対して既知の画像認識処理を実行することによって、撮像画像の撮像範囲に含まれている対象物の種類及び向きを特定する。また、特定部１１４は、例えば、撮像画像に対して既知の文字認識処理を実行することによって、撮像画像の撮像範囲に含まれている対象物に付されている文字を特定する。

そして特定部１１４は、記憶部１２に記憶された候補作業情報において特定した位置に関連付けられた一又は複数の候補作業の中から、特定した対象物の種類、向き及び文字に対応する作業を特定する。特定部１１４は、例えば、候補作業が対象物の補充を含む場合であって、特定した位置にある当該対象物の量が所定値以下である場合に、当該対象物に対して必要な作業として補充を特定する。

特定部１１４は、例えば、候補作業が対象物の廃棄を含む場合であって、特定した位置にある当該対象物に付された文字が所定条件を満たす場合（例えば、消費期限又は賞味期限が近い場合）に、当該対象物に対して必要な作業として廃棄を特定する。

また、特定部１１４は、候補作業情報を用いずに作業を特定してもよい。特定部１１４は、例えば、対象物の配置が偏っていたり、予め対象物の種類ごとに定義された位置からずれていたりする場合に、当該対象物に対して必要な作業として移動（整列、前出し、並べ替え、他の棚への移動）を特定する。特定部１１４は、例えば、特定した対象物の向きが予め定義された向きとは異なる場合に、当該対象物に対して必要な作業として向きの変更を特定する。

また、特定部１１４は、物流センターや倉庫等の商品の棚卸しのために、作業場内の位置ごとに配置された対象物に対して必要な作業として、対象物の状態の確認や、対象物の個数の確認を特定してもよい。特定部１１４は、上述の具体的な作業に限られず、対象物の入れ替え、対象物の清掃等、作業場内の撮像画像から特定可能なその他の作業を特定してもよい。このように、ロボット制御装置１は、巡回するロボット２が備える撮像部を用いて作業場内の様々な位置の撮像画像を取得することで、作業場内の多数の位置に撮像部を配置しなくとも、当該様々な位置に配置される対象物に対して必要な作業を特定することができる。

また、特定部１１４は、受信部１１２が受信したロボット２が備える撮像部によって撮像された撮像画像（第１撮像画像）と、受信部１１２が受信した作業場に配置されている撮像部によって撮像された撮像画像（第２撮像画像）とに基づいて、作業を特定してもよい。この場合に特定部１１４は、第１撮像画像及び第２撮像画像それぞれに基づいて、上述の方法により作業場における撮像画像に対応する位置を特定するとともに、対象物に対して必要な作業を特定する。このように、ロボット制御装置１は、ロボット２が備える撮像部だけでなく作業場の中に配置された撮像部を用いて、ロボット２の巡回を待たずに作業場内の特定の位置（例えば、商品の搬入位置）の撮像画像を取得し、当該位置に配置される対象物に対して必要な作業を特定することができる。

また、特定部１１４は、受信部１１２が受信した撮像画像と、受信部１１２が受信した在庫情報とに基づいて、作業を特定してもよい。この場合に、特定部１１４は、例えば、撮像画像に基づいて特定した対象物の量が所定値以下である場合であって、かつ当該対象物を補充する量が在庫情報の在庫量以下である場合に、対象物に対して必要な作業として補充を特定する。一方、特定部１１４は、当該対象物を補充する量が在庫情報の在庫量より多い場合に、対象物に対して必要な作業として補充を特定せずに、在庫量が不足している旨を示す情報を出力する。これにより、ロボット制御装置１は、撮像画像だけでなく、対象物の在庫を考慮して、対象物に対して必要な作業を特定することができる。

また、特定部１１４は、作業の内容に対して予め定められた優先度に従って作業の順序を決定する（廃棄、補充、向きの変更の順等）。また、特定部１１４は、対象物に対して又は対象物と作業の内容との組み合わせに対して予め定められた優先度に従って作業の順序を決定してもよい。また、特定部１１４は、作業の順序は、作業を行う時間帯に応じて作業の順序を変更してもよい。作業の順序は、後述の作業管理画面において管理者又は操作者によって変更可能である。

特定部１１４は、特定した位置及び特定した作業を示す作業情報を記憶部１２に記憶させる。送信部１１１は、特定部１１４が特定した位置及び特定した作業を示す作業情報を、操作者端末３に送信する。ここで送信部１１１は、ロボット２が撮像した撮像画像上に、特定部１１４が特定した位置、作業（作業内容）、及び作業の順序を重畳して表示するための表示情報を、操作者端末３に送信する。

さらに送信部１１１は、検出部１１３が検出した障害物に関する障害物情報を操作者端末３に送信する。ここで送信部１１１は、ロボット２が撮像した撮像画像上に、検出部１１３が検出した障害物の位置を重畳して表示するための表示情報を、操作者端末３に送信する。これにより、ロボット制御装置１は、商品等の対象物だけでなく、障害物に関する情報を操作者端末３に提供することができる。操作者端末３は、ロボット制御装置１が送信した表示情報に基づいて、ロボット２を遠隔操作するための操作画面を表示上に表示する。

図５は、操作者端末３が表示する操作画面３１の模式図である。操作画面３１は、撮像画像３１１と、作業情報３１２と、障害物情報３１３とを含む。撮像画像３１１は、ロボット２が撮像した撮像画像（視野画像）である。作業情報３１２は、ロボット制御装置１が撮像画像に基づいて特定した作業を表す情報である。図５の例では、作業情報３１２は、作業の対象物と、作業の内容と、作業の順序（番号）とを表している。作業情報３１２は、対象物の特定に用いられた作業場における撮像画像に対応する位置に対応する、撮像画像３１１内の位置の近傍に重畳表示されている。

障害物情報３１３は、ロボット制御装置１が撮像画像に基づいて検出した、通路上にある物体（障害物）を表す情報である。障害物情報３１３は、障害物の検出に用いられた作業場における撮像画像に対応する位置に対応する、撮像画像３１１内の位置の近傍に重畳表示されている。操作者は、操作画面３１を参照することによって、作業場内の各位置に配置される対象物に対して必要な作業を容易に把握することができる。また操作者は、操作画面３１を参照することによって、作業場の通路上に障害物が存在することを把握し、通路を迂回したり、障害物を撤去したりすることができる。

操作者端末３は、ロボット制御装置１が送信した作業情報を表示部上に表示しながら、操作者からロボット２が対象物に対する作業をするための遠隔操作の入力を受け付ける。操作者端末３は、入力された情報に基づいて、ロボット２に対する遠隔操作の内容を指定した操作要求をロボット制御装置に送信する。ロボット制御装置１において、受信部１１２は、操作者端末３が送信した操作要求を受信する。送信部１１１は、受信部１１２が受信した操作要求において指定された遠隔操作の内容をロボット２に行わせる操作指示をロボット２に送信する。

ロボット２において、受信部２１１は、ロボット制御装置１が送信した操作指示を受信する。駆動制御部２１４は、受信部２１１が受信した操作指示に従って、ロボット２の駆動を制御する。ロボット２の駆動制御と並行して、送信部２１３は、ロボット２が備える撮像部を用いて撮像した撮像画像を、ロボット制御装置１に送信する。ロボット制御装置１において、送信部１１１は、受信部１１２が受信した撮像画像を操作者端末３に送信する。操作者端末３は、ロボット制御装置１が送信した撮像画像を操作画面３１に表示する。これにより、操作者は、ロボット２が撮像した撮像画像（視野画像）を参照しながら、ロボット２に作業位置において作業を行わせるための遠隔操作を行うことができる。

操作者端末３が一又は複数の作業場に配置された複数のロボット２を切り替えて操作可能である場合に、ロボット制御装置１において、特定部１１４は、複数のロボット２それぞれが撮像した撮像画像に基づいて、上述の方法で複数のロボット２それぞれに関連付けて作業を特定する。送信部１１１は、特定部１１４が特定した作業と、作業に関連付けられたロボット２とを示す作業情報を、表示情報とともに、操作者端末３に送信する。操作者端末３は、ロボット制御装置１が送信した表示情報に基づいて、操作画面３１において、操作中のロボット２が撮像した撮像画像に加えて、他のロボット２が撮像した撮像画像を表示する。

操作者端末３は、ロボット制御装置１が送信した作業情報に基づいて、他のロボット２に関連付けられた作業が新たに発生した場合に、当該他のロボット２に対応する撮像画像の表示態様（色、形状、大きさ等）を変更する。これにより、操作者は、複数のロボット２のうち、いずれのロボット２が巡回した場所で作業が発生したかを容易に把握できる。

操作者端末３において他のロボット２が撮像した撮像画像を選択する操作が行われた場合に、ロボット制御装置１は、操作中のロボット２を、選択された撮像画像に対応する他のロボット２に切り替える。これにより、操作者は、ロボット２を切り替えながら、作業を効率的に進めることができる。

ロボット制御装置１において、判定部１１５は、特定部１１４が特定した、一又は複数の対象物それぞれに対する作業が完了したか否かを判定する。判定部１１５は、例えば、ロボット２が備える撮像部が撮像した撮像画像に対して既知の画像認識処理を行うことによって、作業が完了したか否かを判定する。また、判定部１１５は、操作者端末３又は管理者端末４において入力された情報に基づいて、作業が完了したか否かを判定してもよい。判定部１１５は、記憶部１２において、作業が完了したか否かを示す進捗情報を、作業情報と関連付けて記憶させる。

送信部１１１は、判定部１１５が完了していないと判定した一又は複数の対象物それぞれに対する作業（すなわち、未完了作業）を示す作業情報を、操作者端末３及び管理者端末４の少なくとも一方に送信する。操作者端末３及び管理者端末４は、ロボット制御装置１が送信した作業情報を含む作業管理画面を、表示部上に表示する。

図６は、管理者端末４が表示する作業管理画面４１の模式図である。操作者端末３が同様の作業管理画面４１を表示してもよい。作業管理画面４１は、作業情報４１１と、設定ボタン４１２と、追加ボタン４１３とを含む。作業情報４１１は、ロボット制御装置１が送信した作業情報が示す未完了作業の内容を表す。設定ボタン４１２は、例えば、作業の順序を変更するボタン（アイコン）と、作業を中断することを設定するボタンと、作業が完了したことを設定するボタンとを含む。操作者端末３又は管理者端末４は、設定ボタン４１２が含むいずれかのボタンの選択を受け付けた場合に、選択されたボタンに応じて作業の中断、完了又は順序変更を指定した変更要求を、ロボット制御装置１に送信する。

ロボット制御装置１において、受信部１１２は、操作者端末３又は管理者端末４が送信した変更要求を受信する。受信部１１２は、受信した変更要求に基づいて、記憶部１２において、作業情報に関連付けられた進捗情報を中断若しくは完了の状態に変更し、又は作業情報の順序を変更する。そして送信部１１１は、受信部１１２が受信した変更要求に基づいて、作業情報を操作者端末３に送信する。これにより、ロボット制御装置１は、操作者端末３又は管理者端末４からの要求に基づいて、行うべき作業を柔軟に変更できる。

操作者端末３又は管理者端末４は、追加ボタン４１３が選択された場合に、ロボット制御装置１において、送信部１１１は、記憶部１２に予め記憶された、作業場の三次元地図を表示するための地図情報を、操作者端末３に送信する。作業場の三次元地図は、例えばＳＬＡＭ（Simultaneous Localization and Mapping)のような既知の地図生成処理を用いて予め生成される。三次元地図は、コンピュータによって生成されたグラフィックで表されてもよく、作業場内の撮像画像で表されてもよい。操作者端末３又は管理者端末４は、ロボット制御装置１が送信した地図情報に基づいて、作業を追加するための作業追加画面を、表示部上に表示する。

図７は、管理者端末４が表示する作業追加画面４２の模式図である。操作者端末３が同様の作業追加画面４２を表示してもよい。作業追加画面４２は、作業場の三次元地図４２１を含む。操作者端末３は、操作者によって三次元地図４２１上のいずれかの位置が選択された場合に、選択された位置に関連付けて作業追加欄４２２を表示する。作業追加欄４２２は、対象物（商品）の選択欄と、追加作業（作業内容）の選択欄と、追加ボタンとを含む。

操作者端末３又は管理者端末４は、作業追加欄４２２において追加ボタンの選択を受け付けた場合に、選択された位置と、選択された対象物に対する追加作業とを指定した追加要求を、ロボット制御装置１に送信する。追加要求は、図７の例において、三次元地図４２１上で選択された位置に対応する作業場内の位置に配置されている商品を、選択された商品Ｄに入れ替える作業を指定する。これにより、操作者又は管理者は、作業場の三次元地図上で直感的に作業を追加できる。

ロボット制御装置１において、受信部１１２は、操作者端末３又は管理者端末４が送信した追加要求を受信する。受信部１１２は、受信した追加要求において指定された位置及び追加作業を示す作業情報を記憶部１２に記憶させる。送信部１１１は、特定部１１４が特定した作業と、受信部１１２が受信した追加要求において指定された追加作業とを示す作業情報を、操作者端末３に送信する。これにより、ロボット制御装置１は、撮像画像から特定された作業だけでなく、操作者又は管理者によって追加された作業を操作者に提示できる。

［ロボット制御方法のシーケンス］
図８は、本実施形態に係るロボット制御システムＳが実行するロボット制御方法のシーケンス図である。ロボット制御装置１において、送信部１１１は、操作者端末３及び管理者端末４の少なくとも一方において巡回を開始するための操作が行われた場合に、記憶部１２に予め記憶された巡回経路情報に基づいて、ロボット２に巡回経路上の巡回を開始させる巡回指示と、撮像をする位置及びタイミングの少なくとも一方を示す撮像指示とを、ロボット２に送信する（Ｓ１１）。巡回経路情報は、操作者端末３又は管理者端末４において予め入力され、記憶部１２に記憶される。

ロボット２において、受信部２１１は、ロボット制御装置１が送信した巡回指示及び撮像指示を受信する。移動制御部２１２は、受信部２１１が受信した巡回指示が示す巡回経路上をロボット２が移動することを制御する。ロボット２は、巡回経路上を移動している最中に、受信部２１１が受信した撮像指示が示す位置及びタイミングの少なくとも一方で、撮像部を用いて作業場内を撮像する（Ｓ１２）。送信部２１３は、撮像部を用いて作業場内を撮像した撮像画像と、作業場における撮像画像に対応する位置を特定可能な撮像情報とを、ロボット制御装置１に送信する。

ロボット制御装置１において、受信部１１２は、ロボット２が送信した撮像画像及び撮像情報を受信する。検出部１１３は、受信部１１２が受信した撮像画像及び撮像情報に基づいて、作業場内の通路上に存在する物体を障害物として検出する（Ｓ１３）。

特定部１１４は、受信部１１２が受信した撮像情報に基づいて、受信部１１２が受信した一又は複数の撮像画像それぞれに対して作業場における撮像画像に対応する位置を特定する（Ｓ１４）。特定部１１４は、受信部１１２が受信した撮像画像に基づいて、特定した位置に配置される、ロボット２が作業対象とする対象物に対して必要な作業を特定する（Ｓ１５）。

送信部１１１は、特定部１１４が特定した位置及び特定した作業を示す作業情報と、検出部１１３が検出した障害物に関する障害物情報とを、操作者端末３に送信する（Ｓ１６）。ここで送信部１１１は、ロボット２が撮像した撮像画像上に、特定部１１４が特定した位置及び作業（作業内容）と、検出部１１３が検出した障害物の位置とを重畳して表示するための表示情報を、操作者端末３に送信する。

操作者端末３は、ロボット制御装置１が送信した表示情報に基づいて、作業情報及び障害物情報を含む操作画面を表示上に表示する（Ｓ１７）。操作者端末３は、ロボット制御装置１が送信した作業情報を表示部上に表示しながら、操作者からロボット２が対象物に対する作業をするための遠隔操作の入力を受け付ける（Ｓ１８）。操作者端末３は、入力された情報に基づいて、ロボット２に対する遠隔操作の内容を指定した操作要求をロボット制御装置に送信する。

ロボット制御装置１において、受信部１１２は、操作者端末３が送信した操作要求を受信する。送信部１１１は、受信部１１２が受信した操作要求において指定された遠隔操作の内容をロボット２に行わせる操作指示をロボット２に送信する（Ｓ１９）。ロボット２において、受信部２１１は、ロボット制御装置１が送信した操作指示を受信する。駆動制御部２１４は、受信部２１１が受信した操作指示に従って、ロボット２の駆動を制御する（Ｓ２０）。

［実施形態の効果］
従来、遠隔操作ロボットの操作者は、作業場において対象物が配置される棚等を撮像した撮像画像を見て、必要な作業を判断する必要があった。一方、本実施形態に係るロボット制御システムＳにおいて、ロボット制御装置１は、ロボット２が撮像した作業場の撮像画像と、作業場における撮像画像に対応する位置に関する撮像情報とに基づいて、作業場内の様々な位置に配置される対象物に対して必要な作業を特定する。そしてロボット制御装置１は、特定した作業を示す情報を、ロボット２を遠隔操作するための操作者端末３に送信する。これにより、操作者は、ロボット２を遠隔操作する際に、対象物に対して必要な作業をその都度判断する必要がないため、作業場における対象物に対する様々な作業を適切に行うことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

ロボット制御装置１、ロボット２、操作者端末３及び管理者端末４のプロセッサは、図８に示すロボット制御方法に含まれる各ステップ（工程）の主体となる。すなわち、ロボット制御装置１、ロボット２、操作者端末３及び管理者端末４のプロセッサは、図８に示すロボット制御方法を実行するためのプログラムを記憶部から読み出し、当該プログラムを実行してロボット制御システムＳの各部を制御することによって、図８に示すロボット制御方法を実行する。図８に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ ロボット制御システム
１ ロボット制御装置
１１ 制御部
１１１ 送信部
１１２ 受信部
１１３ 検出部
１１４ 特定部
１１５ 判定部
２ ロボット
２１ 制御部
２１２ 移動制御部
２１３ 送信部
３ 操作者端末
４ 管理者端末

Claims (19)

1. 操作者が遠隔操作をするロボットが作業場を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信する受信部と、
   前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、
   前記ロボットを操作するための操作者端末に、前記作業及び前記位置を示す作業情報を送信する送信部と、
   を有する、ロボット制御装置。
2. 前記特定部は、前記位置への前記対象物の補充と、前記位置に配置された前記対象物の移動と、前記位置に配置された前記対象物の廃棄と、前記位置に配置された前記対象物の向きの変更と、前記対象物の状態の確認と、前記対象物の個数の確認とのうち少なくとも１つを前記作業として特定する、
   請求項１に記載のロボット制御装置。
3. 前記受信部は、前記送信部が前記作業情報を前記操作者端末に送信した後に、前記操作者端末から、前記ロボットに対する前記遠隔操作の内容を示す操作要求を受信し、
   前記送信部は、前記操作要求が示す前記遠隔操作の内容を前記ロボットに行わせる操作指示を前記ロボットに送信する、
   請求項１又は２に記載のロボット制御装置。
4. 前記送信部は、前記作業場内において前記ロボットが巡回する巡回経路を示す巡回指示を前記ロボットに送信し、
   前記受信部は、前記ロボットが前記巡回経路上を巡回して撮像した前記撮像画像を受信する、
   請求項１から３のいずれか一項に記載のロボット制御装置。
5. 前記送信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方において入力された情報に基づいて、前記巡回経路上の巡回の開始、中断及び終了、並びに前記巡回経路の変更のうち少なくとも１つを示す前記巡回指示を前記ロボットに送信する、
   請求項４に記載のロボット制御装置。
6. 前記送信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方において入力された情報に基づいて、前記ロボットが撮像をするタイミング及び位置の少なくとも一方を示す撮像指示を前記ロボットに送信する、
   請求項１から５のいずれか一項に記載のロボット制御装置。
7. 前記受信部は、前記作業場における前記対象物の在庫の量を示す在庫情報を受信し、
   前記特定部は、前記撮像画像及び前記在庫情報に基づいて前記作業を特定する、
   請求項１から６のいずれか一項に記載のロボット制御装置。
8. 前記特定部が特定した一又は複数の前記作業が完了したか否かを判定する判定部をさらに有し、
   前記送信部は、前記判定部が完了していないと判定した一又は複数の前記作業を示す情報を、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方に送信する、
   請求項１から７のいずれか一項に記載のロボット制御装置。
9. 前記受信部は、前記管理者端末及び前記操作者端末の少なくとも一方から、前記判定部が完了していないと判定した一又は複数の前記作業の中断又は順序変更を示す変更要求を受信し、
   前記送信部は、前記変更要求に基づいて前記作業情報を前記操作者端末に送信する、
   請求項８に記載のロボット制御装置。
10. 前記受信部は、前記ロボットを管理するための管理者端末及び前記操作者端末の少なくとも一方から、追加作業を示す追加要求を受信し、
    前記送信部は、前記操作者端末に、前記特定部が特定した前記作業と、前記追加要求が示す前記追加作業とを示す前記作業情報を送信する、
    請求項１から９のいずれか一項に記載のロボット制御装置。
11. 前記送信部は、前記撮像画像上に、前記特定部が特定した前記作業を行う前記位置を重畳して表示するための表示情報を、前記操作者端末に送信する、
    請求項１から１０のいずれか一項に記載のロボット制御装置。
12. 前記操作者端末は、複数の前記ロボットを切り替えて操作可能であり、
    前記特定部は、複数の前記ロボットそれぞれに関連付けて前記作業を特定し、
    前記送信部は、前記特定部が特定した前記作業と、前記作業に関連付けられた前記ロボットとを示す前記作業情報を、前記操作者端末に送信する、
    請求項１から１１のいずれか一項に記載のロボット制御装置。
13. 前記撮像画像に基づいて、前記作業場内の通路上に存在する物体を検出する検出部をさらに有し、
    前記送信部は、前記検出部が検出した前記物体に関する情報を前記操作者端末に送信する、
    請求項１から１２のいずれか一項に記載のロボット制御装置。
14. 前記特定部は、前記ロボットが備える撮像部によって撮像された第１撮像画像と、前記作業場に配置されている撮像部によって撮像された第２撮像画像とに基づいて、前記作業を特定する、
    請求項１から１３のいずれか一項に記載のロボット制御装置。
15. 操作者が遠隔操作をするロボットと、
    前記ロボットを制御するためのロボット制御装置と、
    を含み、
    前記ロボットは、
    作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを送信する送信部を有し、
    前記ロボット制御装置は、
    前記ロボットが送信した前記撮像画像及び前記撮像情報を受信する受信部と、
    前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、
    前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信する送信部と、
    を有する、ロボット制御システム。
16. 前記ロボット制御装置の前記送信部は、前記作業場内において前記ロボットが巡回する巡回経路を示す巡回指示を前記ロボットに送信し、
    前記ロボットは、前記ロボット制御装置が送信した前記巡回指示が示す前記巡回経路上を前記ロボットが移動することを制御する移動制御部をさらに有する、
    請求項１５に記載のロボット制御システム。
17. 前記ロボットは、前記撮像画像に基づいて、前記作業場内において前記ロボットが巡回する巡回経路を決定し、決定した前記巡回経路上を前記ロボットが移動することを制御する移動制御部をさらに有する、
    請求項１５に記載のロボット制御システム。
18. プロセッサが実行する、
    操作者が遠隔操作をするロボットが作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信するステップと、
    前記撮像情報に基づいて前記位置を特定するステップと、
    前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定するステップと、
    前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信するステップと、
    を有する、ロボット制御方法。
19. 操作者が遠隔操作をするロボットを制御するためのロボット制御システムであって、
    前記ロボットが送信した作業場内を撮像した撮像画像と、前記作業場における前記撮像画像に対応する位置を特定可能な撮像情報とを受信する受信部と、
    前記撮像情報に基づいて前記位置を特定するとともに、前記撮像画像に基づいて、前記位置に配置される、前記ロボットが作業対象とする対象物に対して必要な作業を特定する特定部と、
    前記ロボットを操作するための操作者端末に、前記作業を示す作業情報を送信する送信部と、
    を有する、ロボット制御システム。

Images