JP2021144735A - ロボット制御装置、ロボット制御方法及びロボット - Google Patents

Abstract

【課題】作業者が行う作業の作業予定を管理できるようにする。【解決手段】本発明の一実施形態に係るロボット制御装置１は、作業者による作業の作業予定として、作業の作業場所と、作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部１２と、作業予定情報が画像の取得が必要であることを示す場合に、ロボットに作業場所を撮像した撮像画像を取得させる取得指示を、ロボットへ送信する取得指示送信部１１２と、取得指示送信部が取得指示を送信したロボットから、撮像画像を受信する作業状況受信部１１４と、を有する。【選択図】図２

Description

本発明は作業者による作業を支援するロボットを制御するためのロボット制御装置、ロボット制御方法及びロボットに関する。

生産効率を高めるためにロボットと人間とが協働して作業をすることが提案されている。特許文献１には、生産効率の低下を防ぐために、ロボットが作業者に対してワーク（作業の対象物）を供給し、作業者の作業を監視することによって、作業者が疲労状態にあるか否かを判定するシステムが開示されている。

特開２０１８−２０５８１８号公報

生産性を高めるには、予定どおりに作業を進めることが重要である。作業者が疲労していなくても作業が予定どおりに行われていないこともあるので、従来のシステムのように作業者の疲労状態を管理するだけでは、作業予定に沿って作業が行われているか否かを管理することはできないという問題があった。

本発明はこれらの点に鑑みてなされたものであり、作業者が行う作業の作業予定を管理できるようにすることを目的とする。

本発明の第１の態様のロボット制御装置は、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信する取得指示送信部と、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記撮像画像を受信する作業状況受信部と、を有する。

前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者の作業状況を受信し、前記ロボット制御装置は、前記作業状況が、前記作業予定情報が示す前記作業予定に沿っているか否かを判定する判定部をさらに有してもよい。

前記ロボット制御装置は、前記判定部による前記作業状況が前記作業予定に沿っているか否かの判定結果を、前記作業予定情報と関連付けて出力する出力部をさらに有してもよい。

前記出力部は、前記作業状況が前記作業予定に沿っていないと前記判定部が判定した場合に、前記作業予定と前記作業状況との間の差異を、前記作業予定情報と関連付けて出力してもよい。

前記取得指示送信部は、前記ロボットの現在位置と、前記作業場所と、に基づいて、前記ロボットを前記作業場所に移動させるための移動情報を決定し、決定した移動情報を含む前記取得指示を前記ロボットへ送信してもよい。

前記取得指示送信部は、前記ロボットに前記作業者が前記作業場所にいるか否かを示す情報を取得させる前記取得指示を、前記ロボットへ送信し、前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者が前記作業場所にいるか否かを示す情報を受信してもよい。

本発明の第２の態様のロボット制御方法は、プロセッサが実行する、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部から、前記作業予定情報を取得するステップと、前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信するステップと、前記送信するステップが前記取得指示を送信した前記ロボットから、前記撮像画像を受信するステップと、を有する。

本発明の第３の態様のロボットは、撮像部と、作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、前記作業予定情報が画像の取得が必要であることを示す場合に、前記撮像部を用いて前記作業場所を撮像した撮像画像を取得する作業状況取得部と、を有する。

本発明によれば、作業者が行う作業の作業予定を管理できるという効果を奏する。

実施形態に係るロボット制御システムの模式図である。 実施形態に係るロボット制御システムのブロック図である。 作業予定情報記憶部が記憶する作業予定情報及び作業者特定情報の模式図である。 作業状況取得部が作業者を認識する方法の模式図である。 作業情報画面を表示している表示部の正面図である。 無人飛行装置が作業場所の撮像画像を取得する方法の模式図である。 作業状況判定結果画面を表示している管理端末の正面図である。 体調変化検知画面を表示している管理端末の正面図である。 実施形態に係るロボット制御システムが実行するロボット制御方法のシーケンス図である。

［ロボット制御システムＳの概要］
図１は、本実施形態に係るロボット制御システムＳの模式図である。ロボット制御システムＳは、ロボット制御装置１と、ロボット２と、管理端末３とを含む。ロボット制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。

ロボット制御装置１は、作業予定の設定を受け付け、作業者の作業状況をロボットに取得させるための取得指示を送信し、ロボットから受信した作業状況が作業予定に沿っているか否かの判定結果を出力するコンピュータである。作業者は、製造、工事、整備等の作業を行う人間である。ロボット制御装置１は、インターネット、ローカルエリアネットワーク等のネットワークを介して、ロボット２及び管理端末３と通信可能である。

ロボット２は、ロボット制御装置１から受信した取得指示に従って作業場所に移動してから作業状況を取得し、取得した作業状況をロボット制御装置１へ送信する可動装置である。ロボット２は、空中を飛行可能な無人飛行装置（ドローン）であってもよい。

管理端末３は、管理者の操作を受け付けるとともに、様々な情報を表示する通信端末である。管理者は、作業者が行う作業を管理する人間である。例えば管理端末３は、スマートフォン、タブレット端末等の携帯端末、又はパーソナルコンピュータである。管理端末３は、人間による操作を受け付け可能なタッチパネル等の操作部と、情報を表示可能な液晶ディスプレイ等の表示部とを有する。

本実施形態に係るロボット制御システムＳがロボットを制御する処理の概要を以下に説明する。まず管理者は、管理端末３を操作して、作業予定情報をロボット制御装置１に設定する（ａ）。作業予定情報は、作業者による作業の予定を示す情報であり、例えば作業内容、作業期間及び作業場所を含み、作業者を特定可能な作業者特定情報（作業者のＩＤ、顔、生体情報等）と関連付けられている。

ロボット制御装置１は、管理者によって設定された作業予定情報に基づいて取得指示を生成し、ロボット２へ送信する（ｂ）。取得指示は、ロボット２を作業場所へ移動させるための移動情報と、作業者特定情報とを含む。

ロボット２は、ロボット制御装置１から受信した取得指示が含む移動情報に従って、作業場所へ移動する（ｃ）。移動が完了した後、ロボット２は、ロボット制御装置１から受信した取得指示が含む作業者特定情報が示す作業者の作業状況を取得する（ｄ）。そしてロボット２は、取得した作業状況をロボット制御装置１へ送信する（ｅ）。ロボット制御装置１は、ロボット２から受信した作業状況が作業予定に沿っているか否かを判定し（ｆ）、判定結果を作業予定情報と関連付けて出力する（ｇ）。

このように本実施形態に係るロボット制御システムＳは、作業者の作業状況をロボット２に取得させ、作業状況が作業予定に沿っているか否かを判定し、判定結果を出力する。そのため、ロボット制御システムＳは、ロボット２を利用して、作業者が行う作業の作業予定を管理することができる。

［ロボット制御システムＳの構成］
図２は、本実施形態に係るロボット制御システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

ロボット制御装置１は、制御部１１と、記憶部１２とを有する。制御部１１は、作業予定情報設定部１１１と、取得指示送信部１１２と、通知指示送信部１１３と、作業状況受信部１１４と、判定部１１５と、出力部１１６とを有する。記憶部１２は、作業予定情報記憶部１２１と、作業情報記憶部１２２と、作業状況記憶部１２３とを有する。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１１が実行するプログラムを予め記憶している。記憶部１２は、ロボット制御装置１の外部に設けられてもよく、その場合にネットワークを介して制御部１１との間でデータの授受を行ってもよい。作業予定情報記憶部１２１は、作業者による作業の予定を示す情報を記憶する。作業情報記憶部１２２は、作業手順、作業の注意点等、作業に関連する情報を記憶する。作業状況記憶部１２３は、ロボット２が取得した作業状況を記憶する。作業予定情報記憶部１２１、作業情報記憶部１２２及び作業状況記憶部１２３は、記憶部１２上の記憶領域であってもよく、あるいは記憶部１２上で構成されたデータベースであってもよい。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、作業予定情報設定部１１１、取得指示送信部１１２、通知指示送信部１１３、作業状況受信部１１４、判定部１１５及び出力部１１６として機能する。制御部１１の機能の少なくとも一部は電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部はネットワーク経由で実行されるプログラムによって実行されてもよい。

ロボット２は、制御部２１と、記憶部２２と、駆動部２３と、表示部２４と、入力部２５とを有する。制御部２１は、指示受信部２１１と、駆動制御部２１２と、作業状況取得部２１３と、作業状況送信部２１４とを有する。入力部２５は、操作部２５１と、撮像部２５２と、音声入力部２５３とを有する。

操作部２５１は、キーボード、マウス等、人間の操作によって情報を入力可能な操作装置を備える。撮像部２５２は、所定の撮像範囲を撮像する撮像装置（カメラ）を備える。音声入力部２５３は、人間が発した声を入力可能な音声入力装置（マイクロフォン）を備える。入力部２５は、ここに示した入力装置に限られず、取得する情報の種類に応じてその他の入力装置を有してもよい。例えば入力部２５は、作業者の指紋を読み取る指紋スキャナを有してもよい。

表示部２４は、液晶ディスプレイ等、情報を表示可能な表示装置を含む。表示部２４として人間による接触の位置を検出可能なタッチスクリーンを用いることによって、表示部２４と操作部２５１とを一体に構成してもよい。

駆動部２３は、制御信号に従って所定の動力を発生させるモータ、アクチュエータ等の駆動機構を備える。駆動部２３は、ロボット２を移動させるように駆動し、またロボット２又は入力部２５の向きを変えるように駆動する。

記憶部２２は、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を含む記憶媒体である。記憶部２２は、制御部２１が実行するプログラムを予め記憶している。記憶部２２は、ロボット２の外部に設けられてもよく、その場合にネットワークを介して制御部２１との間でデータの授受を行ってもよい。

制御部２１は、例えばＣＰＵ等のプロセッサであり、記憶部２２に記憶されたプログラムを実行することにより、指示受信部２１１、駆動制御部２１２、作業状況取得部２１３及び作業状況送信部２１４として機能する。制御部２１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部２１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

本実施形態に係るロボット制御システムＳは、図２に示す具体的な構成に限定されない。ロボット制御装置１、ロボット２及び管理端末３は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。

［ロボット制御方法の説明］
以下、本実施形態に係るロボット制御システムＳが実行するロボット制御方法を詳細に説明する。まず管理者は、管理端末３において、作業者による作業の作業予定を示す作業予定情報と、作業者を特定可能な作業者特定情報とを入力する操作を行う。ロボット制御装置１の作業予定情報設定部１１１は、管理者によって入力された作業予定情報を、作業者特定情報と関連付けて作業予定情報記憶部１２１に記憶させる。

図３は、作業予定情報記憶部１２１が記憶する作業予定情報Ｗ１及び作業者特定情報Ｗ２の模式図である。作業予定情報Ｗ１は、作業予定として、作業を識別するための識別情報（作業ＩＤ）と、作業場所と、作業期間と、画像取得の要否とを含む。作業予定情報Ｗ１は、作業を行う作業者を特定可能な作業者特定情報Ｗ２と関連付けられている。

作業場所は、作業者が作業をする予定の場所であり、例えば３次元の座標によって表される。作業場所は、例えば管理端末３の表示部に表示された地図上で、管理者によって入力される。作業期間は、作業者が作業をする予定の期間であり、例えば開始時刻及び終了時刻によって表される。画像取得の要否は、画像の取得が必要か否かを示す情報であり、例えば「要」及び「否」の文字で表される。作業期間及び画像取得の要否は、例えば管理端末３の表示部に表示された画面上で、管理者によって入力される。

作業者特定情報Ｗ２は、後述のロボット２が作業者を特定するために用いる情報である。図３の例では、作業者特定情報Ｗ２は、作業者の識別情報（作業者ＩＤ）である。この場合に、作業者ＩＤは、管理端末３の表示部に表示された画面上で、管理者によって入力される。ロボット２は、作業者が有するカードや携帯端末から近距離無線通信によって作業者ＩＤを取得することによって、作業者を特定できる。

作業者特定情報Ｗ２は、作業者の顔の画像であってもよい。この場合に、作業者の顔の画像は、管理端末３が作業者の顔を撮像することによって入力される。ロボット２は、撮像部２５２を用いて作業者の顔の撮像画像を取得し、作業者特定情報Ｗ２が示す画像と比較することによって、作業者を特定できる。

作業者特定情報Ｗ２は、作業者の生体情報（声、指紋等）であってもよい。この場合に、作業者の生体情報は、管理端末３が作業者の生体情報を取得することによって入力される。ロボット２は、音声入力部２５３や指紋スキャナを用いて作業者の生体情報を取得し、作業者特定情報Ｗ２が示す生体情報と比較することによって、作業者を特定できる。また、作業者特定情報Ｗ２は、作業者ＩＤ、作業者の顔の画像及び作業者の生体情報のうち複数を含んでもよい。

作業予定情報Ｗ１及び作業者特定情報Ｗ２は、図３に例示した内容に限られず、その他の情報を含んでもよい。例えば作業予定情報Ｗ１は、作業を管理する管理者の識別情報（管理者ＩＤ）や、作業情報を取得するロボットの識別情報（ロボットＩＤ）にさらに関連付けられてもよい。

図３において作業予定情報Ｗ１及び作業者特定情報Ｗ２は視認性のために文字列の表で表されているが、各データは任意の形式で記録されてもよく、例えば文字列データ、数値データおよびバイナリデータのいずれでもよい。作業予定情報Ｗ１及び作業者特定情報Ｗ２は、データベースとして記録されてもよく、あるいはデータを列挙したリストとして記録されてもよい。

作業情報記憶部１２２は、作業ＩＤに関連付けられた作業情報を予め記憶している。作業情報は、作業手順、作業の注意点等、作業に関連する情報である。作業手順は、例えば作業者が行う作業の内容を工程ごとに表す情報である。作業の注意点は、例えば過去の類似作業で発生したエラーや事故等を表す情報である。ロボット２は、作業場所において作業者を特定した場合に、特定した作業者が行う作業に関連する作業情報を、表示部２４上に表示する。

取得指示送信部１１２は、作業予定情報記憶部１２１に記憶された作業予定情報及び作業者特定情報に基づいて、作業予定情報が示す作業期間の前に、ロボット２に作業状況を取得させる取得指示を生成する。取得指示送信部１１２は、作業期間の所定時間前（例えば１０分前）に取得指示を生成してもよく、あるいはロボット２の現在位置と作業場所との間の距離に基づいて決定された時刻に取得指示を生成してもよい。

具体的には、取得指示送信部１１２は、取得指示を生成する際に、ロボット２の現在位置を取得する。このとき取得指示送信部１１２は、ロボット２が測定した現在位置をロボット２から受信してもよく、あるいはロボット２が配置されている建物内に設置されたカメラやビーコンが測定した情報に基づいてロボット２の現在位置を特定してもよい。

取得指示送信部１１２は、ロボット２の現在位置と、作業予定情報記憶部１２１に記憶された作業予定情報が含む作業場所とを用いて、ロボット２を作業場所に移動させるための移動情報を決定する。例えば取得指示送信部１１２は、ロボット２の現在位置から作業場所までの移動経路と、ロボット２の移動後の位置を基準とした作業場所への向きとを、移動情報として決定する。

さらに、取得指示送信部１１２は、ロボット２に取得させる取得対象の作業状況を決定する。取得対象の作業状況は、（１）作業者が作業場所にいるか否か、（２）作業者による作業情報の確認状況、（３）作業中の作業者の撮像画像又は声、及び（４）作業場所の撮像画像のうち少なくとも１つを示す情報である。

取得指示送信部１１２は、（１）〜（４）の全ての情報を、取得対象の作業状況として決定してもよい。また、取得指示送信部１１２は、作業予定情報に基づいて、作業者が行う作業ごとに取得対象の作業状況を決定してもよい。例えば、作業予定情報記憶部１２１に記憶された作業予定情報が、画像の取得が必要であることを示す場合に、取得指示送信部１１２は、作業場所の撮像画像を取得対象の作業状況として決定し、そうでない場合に作業場所の撮像画像を取得対象の作業状況として決定しない。作業予定情報が含む作業ＩＤごとに、（１）〜（４）のうちいずれの情報を取得対象の作業状況とするかが予め定義されてもよい。

そして取得指示送信部１１２は、作業予定情報に基づいて決定した移動情報と、取得対象の作業状況と、作業予定情報に関連付けられた作業者特定情報とを含む取得指示を生成する。

取得指示送信部１１２は、生成した取得指示を、ロボット２へ送信する。複数のロボット２が配備されている場合には、作業予定情報記憶部１２１において、ロボット２の識別情報（例えばロボットＩＤ）と、ロボット２が作業状況の取得対象とする作業予定情報とが予め関連付けられる。取得指示送信部１１２は、生成した取得指示を、取得指示の対象である作業予定情報に関連付けられたロボットＩＤのロボット２へ送信する。これにより、ロボット２ごとに作業状況の取得対象とする作業予定情報を割り当てることができる。

取得指示送信部１１２が取得指示を生成した後、又は取得指示送信部１１２が取得指示を生成するのと並行して、通知指示送信部１１３は、ロボットに作業情報を作業者へ通知させる通知指示を生成する。具体的には、通知指示送信部１１３は、作業情報記憶部１２２において、取得指示が対象とする作業予定情報（作業ＩＤ）に関連付けられた作業情報を取得する。そして通知指示送信部１１３は、作業予定情報に関連付けられた作業情報と、作業予定情報に関連付けられた作業者特定情報とを含む通知指示を生成し、ロボット２へ送信する。

通知指示送信部１１３は、ロボットに作業場所に関する環境情報を作業者へ通知させる通知指示を生成してもよい。例えば環境情報は、作業場所における天気、気温、風速等である。この場合に、通知指示送信部１１３は、外部サーバから取得した気象情報（天気予報等）、又はロボット２が備えるセンサ（降雨センサ、風速センサ等）による測定情報に基づいて、環境情報を特定する。これにより、ロボット２は、作業者に対して悪天候等の注意喚起を行うことができる。

ロボット２において、指示受信部２１１は、ロボット制御装置１から取得指示及び通知指示を受信する。駆動制御部２１２は、取得指示が含む移動情報に従って駆動部２３を駆動させることによって、ロボット２を移動させ、またロボット２又は入力部２５の向きを変えさせる。ロボット２が移動情報に従って移動して向きを変えた後、すなわちロボット２が作業場所に到達した後、作業状況取得部２１３は、作業予定情報が示す作業期間に、作業予定情報が示す作業場所において、作業者を認識する。

図４（ａ）〜図４（ｃ）は、作業状況取得部２１３が作業者を認識する方法の模式図である。図４（ａ）は、ロボット２が作業者の顔を撮像することによって作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者の顔の画像である。作業状況取得部２１３は、撮像部２５２に作業場所を撮像させる。作業状況取得部２１３は、既知の顔認識技術を用いて、作業者特定情報としての作業者の顔の画像に基づいて、撮像画像中で作業者の顔を認識する。作業状況取得部２１３は、撮像画像中に作業者の顔を認識した場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。

図４（ｂ）は、ロボット２が作業者の声、指紋等の生体情報を取得することによって作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者の生体情報である。作業状況取得部２１３は、音声入力部２５３や指紋スキャナに作業者の生体情報を取得させる。作業状況取得部２１３は、既知の生体認証技術を用いて、作業者特定情報としての生体情報が、取得した生体情報に対応しているか否かを判定する。作業状況取得部２１３は、作業者特定情報としての生体情報が、取得した生体情報に対応している場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。

図４（ｃ）は、作業者が有するカード又は携帯端末とロボット２が近距離無線通信することによって、作業者を認識する方法を表している。この場合に、取得指示及び通知指示が含む作業者特定情報は、作業者ＩＤである。作業状況取得部２１３は、近距離無線通信によって、作業者が有するカードや携帯端末から作業者ＩＤを取得する。作業状況取得部２１３は、作業者が有するカードや携帯端末に表された作業者ＩＤを、撮像部２５２を用いて光学的に取得してもよい。作業状況取得部２１３は、作業者特定情報としての作業者ＩＤと、取得した作業者ＩＤとが一致した場合に、作業場所に作業者がいると判定し、そうでない場合に、作業場所に作業者がいないと判定する。

作業状況取得部２１３は、ここに示した方法に限られず、その他の方法によって作業場所に作業者がいるか否かを判定してもよい。これにより、作業状況取得部２１３は、作業を行う作業者が作業場所にいるか否かを、自動的に判定することができる。

そして作業状況取得部２１３は、取得指示が含む作業予定情報の作業期間に、取得指示が含む取得対象の作業状況を取得する。作業者が作業場所にいるか否かを示す情報が取得対象の作業状況である場合に、作業状況取得部２１３は、作業場所において作業者特定情報が示す作業者を認識したか否か、すなわち作業期間に作業者が作業場所にいるか否かを示す情報を、作業状況として取得する。

作業者による作業情報の確認状況が取得対象の作業状況である場合に、作業状況取得部２１３は、通知指示が含む作業情報を含む作業情報画面を、表示部２４に表示させる。図５は、作業情報画面を表示している表示部２４の正面図である。

作業情報画面は、作業情報２４１と、確認ボタン２４２とを含む。作業情報２４１は、通知指示が含む作業情報を表す文字列である。作業情報２４１は、画像や図によって作業情報を表してもよい。また、作業情報２４１は、複数の項目を含んでもよい。この場合には、作業情報２４１が含む複数の項目それぞれに確認ボタン２４２が配置される。

確認ボタン２４２は、作業者が押下可能な仮想的なボタン又はアイコンである。作業者は、作業情報２４１を確認した後に、ロボット２の操作部２５１を操作して、確認ボタン２４２を押下する。作業状況取得部２１３は、確認ボタン２４２が押下されたか否か、すなわち作業者が作業情報を確認したか否かを示す情報を、作業状況として取得する。作業状況取得部２１３は、確認ボタン２４２が押下された際に撮像部２５２を用いて撮像した作業者の撮像画像を、作業状況として取得してもよい。これにより、ロボット制御システムＳは、意図した作業者が作業情報を確認したかどうかを記録することができる。

ロボット２は、通知指示が含む作業情報を、スピーカを用いて声で出力してもよい。また、作業者は、作業情報を確認した後に、所定の声（例えば「ＯＫ」や「確認」等）を発してもよい。この場合に、ロボット２は、音声入力部２５３を用いて作業者が発した声を取得し、取得した声が所定の声であるか否か、すなわち作業者が作業情報を確認したか否かを示す情報を、作業状況として取得する。

ロボット２は、作業者が発した声に対応する作業情報を出力してもよい。この場合に、作業者は、ロボット２に対して、作業情報を確認したい作業を示すキーワードを発声する。ロボット２は、音声入力部２５３を用いて作業者が発した声を取得し、既知の音声解析技術を用いて、取得した声に含まれるキーワードを抽出する。そしてロボット２は、通知指示が含む作業情報のうち、抽出したキーワードに対応する作業情報を出力する。ロボット２は、表示部２４に表示された文字列、画像又は図によって作業情報を出力してもよく、あるいはスピーカを用いて声で作業情報を出力してもよい。

また、ロボット２は、作業者と管理者との間のビデオ通話を実行してもよい。この場合に、作業者がロボット２の操作部２５１を用いて所定の操作を行うこと、又は管理者が管理端末３を用いて所定の操作を行うことによって、ロボット２は、ロボット制御装置１を介して管理端末３との間でビデオ通話を開始する。

このとき、ロボット２は、撮像部２５２を用いて撮像した撮像画像と、音声入力部２５３を用いて取得した音声とを、ロボット制御装置１を介して管理端末３へ送信する。ロボット２は、作業者が操作部２５１を用いて行った操作に基づいて、撮像部２５２の撮像範囲を変更してもよい。また、ロボット２は、管理端末３が取得した撮像画像及び音声（又は音声のみ）を、管理端末３からロボット制御装置１を介して受信し、表示部２４及びスピーカを用いて出力する。これにより、管理者は、ロボット２を介したビデオ通話によって直接的に作業者の作業状況を知ることができる。

ロボット２は、撮像部２５２を用いて撮像した撮像画像に基づいて、作業者が作業手順に迷っているか否かを判定してもよい。例えばロボット２は、撮像画像に、迷い状態を示す特徴的な動作をしている作業者が含まれている場合に、作業者が作業手順に迷っていると判定する。ロボット２は、作業者が作業手順に迷っていると判定した場合に、表示部２４に作業情報の確認や管理者への確認を促す情報を表示させ、あるいは作業手順に迷っている作業者を示す情報を管理端末３へ送信する。さらに作業者が操作部２５１を用いて管理者への確認をする操作を行った場合に、ロボット２は予め記憶された管理者のスケジュールに基づいて、管理者への確認の可否を示す情報を、表示部２４に表示させる。管理者への確認が可能である場合に、ロボット２は自動的に管理者とのビデオ通話を開始してもよい。

作業中の作業者の撮像画像又は声が取得対象の作業状況である場合に、作業状況取得部２１３は、撮像部２５２を用いて作業中の作業者を撮像して撮像画像を取得し、又は音声入力部２５３を用いて作業中の作業者が発した声を取得する。作業状況取得部２１３は、作業中の作業者を撮像した撮像画像、又は作業中の作業者が発した声を、作業状況として取得する。

作業場所の撮像画像が取得対象の作業状況である場合に、作業状況取得部２１３は、撮像部２５２を用いて作業場所を撮像して撮像画像を取得する。作業状況取得部２１３は、作業場所を撮像した撮像画像を、作業状況として取得する。

作業状況送信部２１４は、作業状況取得部２１３が取得した作業状況を示す情報を、ロボット制御装置１へ送信する。ロボット制御装置１において、作業状況受信部１１４は、取得指示送信部１１２が取得指示を送信したロボット２から作業状況を示す情報を受信し、作業状況記憶部１２３に記憶させる。

作業状況受信部１１４は、ロボット２とは異なる無人飛行装置４が撮像した撮像画像を受信してもよい。図６は、無人飛行装置４が作業場所の撮像画像を取得する方法の模式図である。無人飛行装置４は、ロボット制御装置１と通信可能であり、ロボット制御装置１から受信した情報に従って飛行し、所定の撮像範囲を撮像する撮像装置（カメラ）を備えるドローンである。作業状況受信部１１４は、上述の取得指示を、無人飛行装置４へ送信する。

無人飛行装置４は、ロボット制御装置１から取得指示を受信する。無人飛行装置４は、取得指示が含む移動情報に従って作業場所へ飛行する。無人飛行装置４は、移動情報に従って飛行した後、撮像装置を用いて撮像場所を撮像する。無人飛行装置４は、作業者を撮像してもよい。そして無人飛行装置４は、撮像画像をロボット制御装置１へ送信する。作業状況受信部１１４は、無人飛行装置４から撮像画像を受信し、作業状況として作業状況記憶部１２３に記憶させる。これにより、作業状況受信部１１４は、ロボット２では撮像が難しい位置（例えば上空）から撮像した作業場所や作業者の撮像画像を取得できる。

判定部１１５は、作業状況受信部１１４が受信した作業状況が、作業予定情報記憶部１２１に記憶された作業予定情報が示す作業予定に沿っているか否かを判定する。具体的には、判定部１１５は、作業状況が、作業期間に作業者が作業場所にいたことを示している場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定する。

また、判定部１１５は、作業中の作業者の撮像画像又は声に基づいて作業の工程を特定し、特定した工程が作業予定に沿っているかを判定してもよい。この場合には、作業予定情報は、作業を構成する工程と、工程ごとの作業期間とを含む。例えば判定部１１５は、作業中の作業者の撮像画像（静止画像又は動画像）と、予め工程ごとに定義された作業の画像とを比較することによって、作業者が作業のいずれの工程を行っているかを特定する。作業ごとに作業者の体勢や動きが異なるため、撮像画像において作業中の作業者がどのような体勢や動きをしているかによって、作業の工程を特定できる。

また、判定部１１５は、作業中の作業者が発した声と、予め工程ごとに定義された声とを比較することによって、作業者が作業のいずれの工程を行っているかを特定してもよい。作業ごとに作業者が特定の声（「抜去」、「電源ヨシ」等）を発することがあるため、作業者が特定の声を発したか否かによって、作業の工程を特定できる。

そして判定部１１５は、特定した工程が行われた時刻（すなわち作業状況が取得された時刻）が、作業予定情報が含む工程ごとの作業期間に含まれている場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定する。これにより、判定部１１５は、作業の工程を特定して、作業状況をより細かく判定できる。さらに判定部１１５は、特定した工程が行われた時刻に基づいて、作業予定情報記憶部１２１に記憶された作業予定情報を更新してもよい。例えば判定部１１５は、特定した工程が行われた時刻が、作業予定情報が含む工程ごとの作業期間よりも早い場合に、作業予定情報記憶部１２１に記憶された作業予定情報が含む工程ごとの作業期間を早めるように更新する。これにより、ロボット制御装置１は、実際の作業の状況に作業予定を合わせることができる。

また、判定部１１５は、作業中の作業者の撮像画像に基づいて、作業者が所定の禁止動作（例えばスマートフォンの操作や通話）をしているかを判定してもよい。作業者が禁止動作をしていると判定部１１５が判定した場合に、通知指示送信部１１３は、ロボット２に注意喚起の情報を作業者へ通知させる通知指示を生成し、出力部１１６は、禁止動作をした作業者を示す情報を管理端末３へ出力する。これにより、ロボット２は作業者に対して注意喚起をし、作業者が望ましくない動作を行うことを抑制できる。

また、判定部１１５は、作業状況が、作業者が作業情報を確認したことを示している場合に、作業状況が作業予定に沿っていると判定し、そうでない場合に、作業状況が作業予定に沿っていないと判定してもよい。これにより、判定部１１５は、作業者が作業場所にいることだけでなく、作業者が作業手順や注意点を確認したか否かに基づいて、作業状況を判定できる。判定部１１５は、ここに示した基準に限られず、その他の基準によって作業状況が予定に沿っているか否かを判定してもよい。

判定部１１５は、作業状況が作業予定に沿っていないと判定した場合には、作業状況が作業予定に沿っているか否かを示す情報に加えて、予定と作業状況との間の差異を、判定結果としてもよい。すなわち、判定部１１５は、作業期間に作業者が作業場所にいないこと、作業の工程が行われた時刻が作業期間外であること、及び作業者が作業情報を確認していないことの少なくとも１つを、予定と作業状況との間の差異を示す判定結果とする。

さらに判定部１１５は、作業者の撮像画像又は声に基づいて、作業者の体調変化の有無を判定する。具体的には、作業状況取得部２１３が認識した作業者について、判定部１１５は、過去に作業状況記憶部１２３に記憶された作業者の撮像画像と、作業状況受信部１１４が受信した作業者の撮像画像とを比較し、それらの差異が所定の条件を満たす場合に作業者の体調変化が有ると判定し、そうでない場合に作業者の体調変化が無いと判定する。例えば判定部１１５は、過去に作業状況記憶部１２３に記憶された撮像画像における作業者の顔の色と、作業状況受信部１１４が受信した撮像画像における作業者の顔の色との差が所定範囲を超える場合に、体調変化があると判定する。作業者の顔が紅潮していると作業者が発熱等の状態である可能性があるため、判定部１１５は作業者の顔の色に基づいて体調変化の有無を判定する。

また、作業状況取得部２１３が認識した作業者について、判定部１１５は、過去に作業状況記憶部１２３に記憶された作業者の声と、作業状況受信部１１４が受信した作業者の声とを比較し、それらの差異が所定の条件を満たす場合に作業者の体調変化が有ると判定し、そうでない場合に作業者の体調変化が無いと判定してもよい。また、判定部１１５は、サーモグラフィー機能を有する撮像部によって作業者の体温を取得し、体温の変化に基づいて作業者の体調変化の有無を判定してもよい。また、判定部１１５は、撮像画像に対して既知の推定技術を用いて作業者の体温又は脈拍数を推定し、体温又は脈拍数の変化に基づいて作業者の体調変化の有無を判定してもよい。

また、例えば判定部１１５は、過去に作業状況記憶部１２３に記憶された作業者が発した声の周波数又は音量と、作業状況受信部１１４が受信した作業者が発した声の周波数又は音量との差が所定範囲を超える場合に、体調変化があると判定する。作業者の声が変化していると作業者が風邪等の状態である可能性があるため、判定部１１５は作業者が発した声に基づいて体調変化の有無を判定する。

判定部１１５は、作業者の体調変化が有ると判定した場合には、作業者の体調変化の有無に加えて、作業者の体調変化の内容（顔色の変化、体温の変化、声の変化等）と、作業者の撮像画像とを、判定結果としてもよい。

出力部１１６は、判定部１１５による作業状況が作業予定に沿っているか否かの判定結果を、作業予定情報及び作業者特定情報と関連付けて出力する。本実施形態において、出力部１１６は、判定結果を管理端末３へ送信することによって、管理端末３の表示部に表示させる。これに限られず、出力部１１６は、記憶媒体に記憶させること、ネットワークを介して送信すること、プリンタを用いて紙に印刷すること、又はスピーカを用いて音声を発生すること等によって、判定結果を作業予定情報と関連付けて出力してもよい。

管理端末３は、ロボット制御装置１から判定結果、作業予定情報及び作業者特定情報を受信した場合に、作業状況判定結果画面を表示部に表示させる。図７は、作業状況判定結果画面を表示している管理端末３の正面図である。作業状況判定結果画面は、作業予定情報３１と、作業者特定情報３２と、作業状況３３とを含む。作業予定情報３１は、例えば作業予定情報が含む作業ＩＤである。作業予定情報３１は、作業予定情報が含む作業期間、作業場所等のその他の情報を表してもよい。作業者特定情報３２は、例えば作業者ＩＤである。作業者特定情報３２は、作業者の顔の画像、作業者の名前等のその他の情報を表してもよい。

作業状況３３は、作業状況が作業予定に沿っているか否かの判定結果を表す。図７の例では、作業状況３３は、判定結果が示す、予定と作業状況との間の差異を表している。ロボット制御装置１の判定部１１５が、作業期間に作業者が作業場所にいないと判定した場合に、作業状況３３は「作業者不在」に設定される。ロボット制御装置１の判定部１１５が、作業の工程が行われた時刻が作業期間外であると判定した場合に、作業状況３３は「工程遅れ」に設定される。ロボット制御装置１の判定部１１５が、作業者が作業情報を確認していないと判定した場合に、作業状況３３は「手順未確認」に設定される。作業状況３３は、作業状況が作業予定に沿っている場合には、「ＯＫ」に設定されてもよく、空欄に設定されてもよい。

管理端末３は、図７に例示した表示態様に限られず、その他の内容、配置及び外観の作業状況判定結果画面を表示してもよい。管理者は、作業状況判定結果画面を参照することによって、作業予定情報が示す作業それぞれについて作業状況が作業予定に沿っているか否かを把握できる。

管理端末３は、ロボット制御装置１から作業者の体調変化が有ることを示す判定結果を受信した場合に、体調変化検知画面を表示部に表示させる。図８は、体調変化検知画面を表示している管理端末３の正面図である。体調変化検知画面は、作業者特定情報３４と、体調変化の内容３５と、作業者の撮像画像３６とを含む。作業者特定情報３４は、例えば作業者ＩＤである。

体調変化の内容３５は、ロボット制御装置１の判定部１１５が判定した体調変化の内容を表す。例えば、ロボット制御装置１の判定部１１５が、体温が変化したと判定した場合に、体調変化の内容３５は「体温変化あり」に設定される。作業者の撮像画像３６は、ロボット制御装置１において、過去に作業状況記憶部１２３に記憶された作業者の撮像画像、及び作業状況受信部１１４が受信した作業者の撮像画像である。

管理端末３は、図８に例示した表示態様に限られず、その他の内容、配置及び外観の体調変化検知画面を表示してもよい。管理者は、体調変化検知画面を参照することによって、体調変化が有ると推定された作業者を把握できる。

［ロボット制御方法のシーケンス］
図９は、本実施形態に係るロボット制御システムＳが実行するロボット制御方法のシーケンス図である。まず管理者は、管理端末３において、作業者による作業の予定を示す作業予定情報と、作業者を特定可能な作業者特定情報とを入力する。ロボット制御装置１において、ロボット制御装置１の作業予定情報設定部１１１は、管理者によって入力された作業予定情報を、作業者特定情報と関連付けて作業予定情報記憶部１２１に記憶させる（Ｓ１１）。

取得指示送信部１１２は、作業予定情報記憶部１２１に記憶された作業予定情報及び作業者特定情報に基づいて、作業予定情報が示す作業期間の前に、ロボット２に作業状況を取得させる取得指示を生成する（Ｓ１２）。取得指示送信部１１２は、作業期間の所定時間前（例えば１０分前）に取得指示を生成してもよく、あるいはロボット２の現在位置と作業場所との間の距離に基づいて決定された時刻に取得指示を生成してもよい。取得指示送信部１１２は、生成した取得指示を、ロボット２へ送信する。

取得指示送信部１１２が取得指示を生成した後、又は取得指示送信部１１２が取得指示を生成するのと並行して、通知指示送信部１１３は、ロボットに作業情報を作業者へ通知させる通知指示を生成する（Ｓ１３）。そして通知指示送信部１１３は、生成した通知指示を生成し、ロボット２へ送信する。

ロボット２において指示受信部２１１は、ロボット制御装置１から取得指示及び通知指示を受信する。駆動制御部２１２は、取得指示が含む移動情報に従って駆動部２３を駆動させることによって、ロボット２を移動させ、またロボット２又は入力部２５の向きを変えさせる（Ｓ１４）。ロボット２が移動情報に従って移動して向きを変えた後、すなわちロボット２が作業場所に到達した後、作業状況取得部２１３は、作業予定情報が示す作業期間に、作業予定情報が示す作業場所において、作業者を認識する（Ｓ１５）。そして作業状況取得部２１３は、取得指示が示す取得対象の作業状況を取得する（Ｓ１６）。

ロボット制御装置１において、作業状況受信部１１４は、取得指示送信部１１２が取得指示を送信したロボット２から作業状況を示す情報を受信し、作業状況記憶部１２３に記憶させる。判定部１１５は、作業状況受信部１１４が受信した作業状況が、作業予定情報記憶部１２１に記憶された作業予定情報が示す作業予定に沿っているか否かを判定する（Ｓ１７）。さらに判定部１１５は、作業者の撮像画像又は声に基づいて、作業者の体調変化の有無を判定する（Ｓ１８）。

出力部１１６は、判定部１１５による作業状況が作業予定に沿っているか否かの判定結果を、作業予定情報及び作業者特定情報と関連付けて出力する（Ｓ１９）。

［変形例］
上述の実施形態では、ロボット制御装置１が取得指示をロボット２へ送信することによってロボット２の移動及び作業状況の取得を制御しているが、ロボット２が自律的に移動及び作業状況の取得を行ってもよい。以下では、図２のロボット制御システムＳとの違いを説明する。

本変形例において、ロボット２の制御部２１は、指示受信部２１１、駆動制御部２１２、作業状況取得部２１３及び作業状況送信部２１４に加えて、作業予定情報設定部１１１、取得指示送信部１１２、通知指示送信部１１３、判定部１１５及び出力部１１６を有する。ただし、取得指示送信部１１２及び通知指示送信部１１３が生成する取得指示及び通知指示は、外部に送信されず、ロボット２自体の中で利用される。また、ロボット２の記憶部２２は、作業予定情報記憶部１２１、作業情報記憶部１２２及び作業状況記憶部１２３を有する。すなわち、ロボット２は、図２に示すロボット制御装置１の機能と、図２に示すロボット２の機能とを合わせ持つ。

このような構成により、本変形例に係るロボット制御システムＳでは、ロボット２が自律的に作業予定情報に基づいて作業場所に移動し、作業者作業状況を取得し、作業状況が作業予定に沿っているか否かの判定結果を出力できる。

［実施形態の効果］
本実施形態に係るロボット制御システムＳは、管理者によって設定された作業予定情報に基づいて、ロボット２に作業者の作業状況を取得させ、作業状況が作業予定に沿っているか否かを判定し、判定結果を出力する。そのため、ロボット制御システムＳは、ロボット２を利用して、作業者が行う作業の作業予定を管理することができる。管理者は作業場所に行って作業者の作業状況を収集する必要がないため、管理者の負担が軽減され、また管理者が複数の作業場所における作業状況を同時に把握することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

ロボット制御装置１、ロボット２及び管理端末３のプロセッサは、図９に示すロボット制御方法に含まれる各ステップ（工程）の主体となる。すなわち、ロボット制御装置１、ロボット２及び管理端末３のプロセッサは、図９に示すロボット制御方法を実行するためのプログラムを記憶部から読み出し、該プログラムを実行してロボット制御システムＳの各部を制御することによって、図９に示すロボット制御方法を実行する。図９に示すロボット制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ ロボット制御システム
１ ロボット制御装置
１１ 制御部
１１２ 取得指示送信部
１１３ 通知指示送信部
１１４ 作業状況受信部
１１５ 判定部
１１６ 出力部
１２ 記憶部
２ ロボット
２１ 制御部
２１３ 作業状況取得部
２２ 記憶部
４ 無人飛行装置

Claims (8)

1. 作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、
   前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信する取得指示送信部と、
   前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記撮像画像を受信する作業状況受信部と、
   を有する、ロボット制御装置。
2. 前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者の作業状況を受信し、
   前記作業状況が、前記作業予定情報が示す前記作業予定に沿っているか否かを判定する判定部をさらに有する、
   請求項１に記載のロボット制御装置。
3. 前記判定部による前記作業状況が前記作業予定に沿っているか否かの判定結果を、前記作業予定情報と関連付けて出力する出力部をさらに有する、
   請求項２に記載のロボット制御装置。
4. 前記出力部は、前記作業状況が前記作業予定に沿っていないと前記判定部が判定した場合に、前記作業予定と前記作業状況との間の差異を、前記作業予定情報と関連付けて出力する、
   請求項３に記載のロボット制御装置。
5. 前記取得指示送信部は、前記ロボットの現在位置と、前記作業場所と、に基づいて、前記ロボットを前記作業場所に移動させるための移動情報を決定し、決定した移動情報を含む前記取得指示を前記ロボットへ送信する、
   請求項１から４のいずれか一項に記載のロボット制御装置。
6. 前記取得指示送信部は、前記ロボットに前記作業者が前記作業場所にいるか否かを示す情報を取得させる前記取得指示を、前記ロボットへ送信し、
   前記作業状況受信部は、前記取得指示送信部が前記取得指示を送信した前記ロボットから、前記作業者が前記作業場所にいるか否かを示す情報を受信する、
   請求項１から５のいずれか一項に記載のロボット制御装置。
7. プロセッサが実行する、
   作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部から、前記作業予定情報を取得するステップと、
   前記作業予定情報が画像の取得が必要であることを示す場合に、ロボットに前記作業場所を撮像した撮像画像を取得させる取得指示を、前記ロボットへ送信するステップと、
   前記送信するステップが前記取得指示を送信した前記ロボットから、前記撮像画像を受信するステップと、
   を有する、ロボット制御方法。
8. 撮像部と、
   作業者による作業の作業予定として、前記作業の作業場所と、前記作業において画像の取得が必要か否かを示す情報と、を含む作業予定情報を記憶する記憶部と、
   前記作業予定情報が画像の取得が必要であることを示す場合に、前記撮像部を用いて前記作業場所を撮像した撮像画像を取得する作業状況取得部と、
   を有する、ロボット。

Images