JP2022001387A - ロボット制御装置、ロボット制御方法及びロボット制御システム - Google Patents

Abstract

【課題】ロボットを遠隔操作する操作者の利き腕でない腕を用いてロボットに作業をさせる場合の作業効率を向上させる。【解決手段】ロボット制御装置１は、ロボット３に設けられた撮像部で生成された撮像画像データを受信するデータ受信部１６１と、撮像画像データを左右反転させた反転画像データに基づく反転画像を、ロボット３の操作者Ｕが視認可能な表示デバイス２１に表示させる表示処理部１６２と、操作者Ｕの動作を特定する動作特定部１６４と、動作特定部１６４が特定した操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信することによりロボット３を制御する動作制御部１６７と、を有する。【選択図】図３

Description

本発明は、ロボットを制御するためのロボット制御装置、ロボット制御方法及びロボット制御システムに関する。

店舗等の作業場において、ロボットを用いて商品の陳列等の作業を行うシステムの導入が進められている。特許文献１には、ロボットが商品棚に商品を配置する作業を行うためのシステムが開示されている。

特開２０１８−１４７１３８号公報

ロボットが作業をする場所における制約やロボットの構造上の制約により、操作者の利き腕と反対の腕を用いてロボットが作業をしなければならない場合がある。操作者が利き腕でない腕を用いて操作をすると、作業効率が低下してしまうという問題が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、ロボットを遠隔操作する操作者の利き腕でない腕を用いてロボットに作業をさせる場合の作業効率を向上させることを目的とする。

本発明の第１の態様のロボット制御装置は、ロボットに設けられた撮像部で生成された撮像画像データを受信するデータ受信部と、前記撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させる表示処理部と、前記操作者の動作を特定する動作特定部と、前記動作特定部が特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信することにより前記ロボットを制御する動作制御部と、を有する。

前記動作制御部は、前記操作者が前記ロボットの操作に用いる操作デバイスを用いて検知された前記操作者の一以上の部位の位置を示す座標情報、又は前記一以上の部位の回転方向を示す回転情報の少なくともいずれかを左右反転させた反転動作情報を前記制御データとして前記ロボットに送信してもよい。

前記データ受信部は、前記ロボットが検知した触覚を示す触覚データ、前記ロボットが収集した音を示す音データ、又は前記ロボットの関節の状態を示す関節状態データの少なくともいずれかのロボット状態データをさらに受信し、前記ロボット制御装置は、前記ロボット状態データを左右反転させた反転状態データを前記操作者が使用する操作装置に送信する状態データ処理部をさらに有してもよい。

前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードの設定を受け付ける設定部をさらに有し、前記動作制御部は、前記設定部が前記反転モードの設定を受け付けた場合に、前記前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信してもよい。

前記ロボット制御装置は、前記操作者の利き腕の設定を受け付ける設定部をさらに有し、前記動作制御部は、前記操作者の利き腕と、前記ロボットが行う作業で用いる腕との関係に基づいて、前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードで動作するか否かを決定してもよい。

前記動作制御部は、前記ロボットが左手で作業をすると判定した場合に、前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードで動作し、前記ロボットが右手で作業をすると判定した場合に、前記操作者の動作を左右反転させない動作を前記ロボットが行うための前記制御データを前記ロボットに送信する非反転モードで動作してもよい。

前記動作制御部は、前記ロボットの右腕又は左腕のそれぞれの使用の必要性の有無を判定した結果に基づいて、右腕又は左腕のうち一方の腕を使用しないで前記ロボットを動作させてもよい。

前記ロボット制御装置は、前記ロボットが行う作業の内容を特定する作業内容特定部をさらに有し、前記動作制御部は、前記作業内容特定部が特定した前記作業の内容に基づいて、前記右腕又は前記左腕のうち使用する腕を決定してもよい。

前記動作制御部は、前記ロボットの前記右腕を使用しないと判定した場合に、前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信してもよい。

前記表示処理部は、前記操作者の動作を左右反転させて前記ロボットを動作させている反転モードで動作中であることを示す情報、又は前記ロボットの一方の腕を使用しない動作制限モードで動作中であることを示す情報の少なくともいずれかを前記表示装置に表示させてもよい。

前記表示処理部は、前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信する反転モードで前記ロボットを動作させる作業が連続するように複数の作業の順序を決定し、決定した順序を示す情報を前記表示装置に表示させてもよい。

前記表示処理部は、前記撮像画像データにおいて文字が含まれる文字領域を特定し、前記文字領域の画像は左右反転されていない状態で前記表示装置に表示させてもよい。

本発明の第２の態様のロボット制御システムは、ロボットを操作する操作者が使用する操作装置と、前記ロボットを制御するロボット制御装置と、を備え、前記ロボットに設けられた撮像部で生成された撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させる表示処理部と、前記操作者の動作を特定する動作特定部と、前記動作特定部が特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うよう制御する動作制御部と、を有する。

本発明の第３の態様のロボット制御方法は、コンピュータが実行する、ロボットに設けられた撮像部で生成された撮像画像データを受信するステップと、前記撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させるステップと、前記操作者の動作を特定するステップと、特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信することにより前記ロボットを制御するステップと、を有する。

本発明によれば、ロボットを遠隔操作する操作者の利き腕でない腕を用いてロボットに作業をさせる場合の作業効率が向上するという効果を奏する。

ロボット制御システムの概要を示す図である。 反転モードについて説明するための図である。 ロボット制御装置の機能構成を示す図である。 作業内容と、ロボットが使用する保持手段との関係を示すデータの一例を示す図である。 ロボットの各保持手段がどちらの腕に設けられているかを示すデータの一例を示す図である。 ロボット制御システムにおける処理の流れを示すシーケンス図である。 動作制御部が動作モードを決定する動作の一例を示すフローチャートである。

［ロボット制御システムＳの概要］
図１は、ロボット制御システムＳの概要を示す図である。ロボット制御システムＳは、遠隔地にある物が近くにあるかのようにユーザＵに感じさせながら、操作者Ｕが物に対する操作をリアルタイムに行うことができるテレイグジスタンス環境を提供するシステムである。

ロボット制御システムＳは、ロボット制御装置１と、操作装置２と、ロボット３とを有する。ロボット制御装置１は、操作者Ｕの操作に応じてロボット３を制御するためのコックピット機能を有する装置であり、例えばコンピュータである。操作装置２は、操作者Ｕが装着するデバイスであり、表示デバイス２１及び操作デバイス２２を含む。表示デバイス２１は、操作者Ｕが視認可能なディスプレイを有しており、例えばゴーグル型の表示装置である。表示デバイス２１は、右側に設けられたスピーカ及び左側に設けられたスピーカから音を発生してもよい。

操作デバイス２２は、操作者Ｕがロボット３を操作するために用いるデバイスである。操作デバイス２２は、例えば、操作者Ｕの身体の部位（例えば手及び腕）の動きをロボット制御装置１が検出できるようにするために、ロボット制御装置１から照射された赤外光を反射する反射部材を有する。操作デバイス２２は、操作者Ｕの動きを検出する加速度センサーを有していてもよい。操作デバイス２２は、ロボット３の状態を操作者Ｕが感知することができるように、ロボット３の状態に対応する熱、圧力又は振動等を発生するための素子も有する。

ロボット３は、ネットワークＮを介してロボット制御装置１から受信する制御データに基づいて動作する。また、ロボット３は、周辺を撮影可能なカメラを有しており、カメラにより生成した撮像画像データをロボット制御装置１に送信する。さらに、ロボット３は、ロボット３が検知した触覚を示す触覚データ、ロボット３が収集した音を示す音データ、又はロボット３の関節の状態を示す関節状態データの少なくともいずれかのロボット状態データをロボット制御装置１に送信する。なお、本実施の形態に係るロボット３は、一例として、多数の商品が棚に並べられた状態で販売される店舗内で、商品を棚に並べる作業を行うが、ロボット３が設けられている場所及び作業の内容は任意である。

ロボット３は、商品を保持するために使用する保持手段として複数種類の機構を有している。ロボット３は、例えば少なくとも１つの腕の先に、商品を挟むことにより商品を保持するための挟持部を有している。挟持部は、例えば人間の指のように、角度が可変の複数のアクチュエータを含む。また、ロボット３は、少なくとも１つの腕の先に、商品を吸着させることにより商品を保持するための吸着部を有している。吸着部には、空気を吸引するための開口が形成されている。

ロボット制御装置１は、ロボット３から受信した撮像画像データに基づく画像を表示デバイス２１に表示させる。また、ロボット制御装置１は、ロボット３から受信したロボット状態データに基づいて操作デバイス２２を加熱したり振動させたりする。これらの構成により、操作者Ｕは、ロボット３から離れた場所において、あたかもロボット３に入っているかのような感覚でロボット３の周辺の環境を体感することができる。

また、ロボット制御装置１は、操作デバイス２２から送信される操作者Ｕの動作内容を示す情報に基づいて、操作者Ｕの動作内容を特定する。操作者Ｕの動作内容を示す情報は、例えば、操作者Ｕの各部の動きを示す情報である。ロボット制御装置１は、例えば、赤外光を操作者Ｕに向けて照射し、照射した赤外光が操作デバイス２２において反射した光に基づいて操作者Ｕの動作内容を特定する。ロボット制御装置１は、特定した動作内容に基づいて、ロボット３を動作させるための制御データを作成し、作成した制御データをロボット３に送信することによりロボット３の動作を制御する。

ところで、ロボット３は、操作者Ｕの利き腕と反対の腕を用いてロボット３が作業をしなければならない場合がある。例えば、操作者Ｕが右利きであるにもかかわらず、ロボット３が、右腕を用いて行うことが困難な作業を行う場合がある。また、ロボット３の右腕の機能と左腕の機能とが異なる場合、ロボット３が行う作業によっては操作者Ｕの利き腕と異なる腕を使ってロボット３が作業をする場合がある。

操作者Ｕの利き腕とロボット３が使用する腕との関係によらず、操作者Ｕが利き腕を用いて操作をすることができるように、本実施の形態に係るロボット制御装置１は、非反転モードと反転モードを切り替えて動作することができる。非反転モードは、例えば、操作者Ｕの利き腕とロボット３が使用する腕とが一致している場合の動作モードである。非反転モードにおいて、ロボット制御装置１は、ロボット３から送信された撮像画像データを左右反転することなく表示デバイス２１に送信する。また、ロボット制御装置１は、ロボット３から送信されたロボット状態データを操作デバイス２２に送信する。また、ロボット制御装置１は、操作者Ｕの動作内容がそのまま反映された制御データをロボット３に送信する。

反転モードは、例えば、操作者Ｕの利き腕とロボット３が使用する腕とが一致していない場合の動作モードである。反転モードにおいて、ロボット制御装置１は、ロボット３から送信された撮像画像データの左右を反転させた反転画像データを表示デバイス２１に送信する。また、ロボット制御装置１は、ロボット３から送信されたロボット状態データの左右を反転させた反転状態データを操作デバイス２２に送信する。また、ロボット制御装置１は、操作者Ｕが利き腕（例えば右腕）で操作したことに応じて、ロボット３における利き腕と反対の腕（例えば左腕）を動かせるようにロボット３を制御する。具体的には、反転モードにおいて、ロボット制御装置１は、操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信する。

図２は、反転モードについて説明するための図である。図２（ａ）は、ロボット３が作業をしている商品棚を模式的に示している。図２（ａ）は、実線で示す複数の瓶が並べ終わっており、破線で示す位置に瓶を並べる必要がある状態を示している。このように、商品棚の右端に商品を並べる必要がある場合、ロボット３が右腕を使って商品を並べる作業をすることは困難である。特に、ロボット３の右側に壁がある場合、物理的に右腕を動かせない場合もある。

図２（ｂ）は、このような状態において表示デバイス２１に表示される反転画像データを示している。図２（ｂ）は、文字を除いて左右反転しており、破線で示す位置が左端にある。操作者Ｕが、このような画像を見ながら右腕を使って破線で示す位置に商品を配置する操作を行うと、ロボット制御装置１は、操作者Ｕの動作を左右反転して作成した制御データをロボット３に送信する。その結果、操作者Ｕが右腕を使って図２（ｂ）の破線で示す位置に商品を配置する動作をしたことに応じて、ロボット３は、左腕を使って、図２（ａ）の破線で示す位置に商品を配置する。

ロボット制御装置１がこのように動作することで、操作者Ｕは、あたかもロボット３も操作者Ｕの利き腕で作業をしているかのように感じながら、ロボット３における利き腕と反対の腕を用いた作業を行えるので、作業効率が向上する。
以下、ロボット制御装置１の構成及び動作を詳細に説明する。

［ロボット制御装置１の構成］
図３は、ロボット制御装置１の機能構成を示す図である。ロボット制御装置１は、第１通信部１１と、第２通信部１２と、動き検出部１３と、操作部１４と、記憶部１５と、制御部１６とを有する。制御部１６は、データ受信部１６１と、表示処理部１６２と、状態データ処理部１６３と、動作特定部１６４と、設定部１６５と、作業内容特定部１６６と、動作制御部１６７とを有する。

第１通信部１１は、ロボット３との間で各種のデータを送受信するための通信コントローラを有する。第１通信部１１は、ロボット３が送信した撮像画像データを受信し、受信した撮像画像データをデータ受信部１６１に入力する。また、第１通信部１１は、動作特定部１６４から入力された制御データをロボット３に送信する。

第２通信部１２は、表示処理部１６２から入力された反転画像データを表示デバイス２１に送信し、状態データ処理部１６３から入力された反転状態データを操作デバイス２２に送信するための通信コントローラを有する。第２通信部１２は、例えばＷｉ−Ｆｉ（登録商標）又はBluetooth（登録商標）等の近距離無線通信方式を用いて、ロボット３から受信した撮像画像データに基づく反転画像データを表示デバイス２１に送信し、ロボット３から受信した状態データに基づく反転状態データを操作デバイス２２に送信する。

動き検出部１３は、操作デバイス２２を装着した操作者Ｕの動きを検出し、検出した動きを示すデータを動作特定部１６４に入力する。動き検出部１３は、例えば赤外光を発する光源と、操作デバイス２２で反射した光を検出する光センサーとを有している。

操作部１４は、操作者Ｕ又は操作者Ｕの補助者による設定操作を受け付けるためのデバイスとして、ディスプレイ、マウス、キーボード又はタッチパネルを含む。操作部１４は、仮想現実画像を表示するヘッドマウントディスプレイや足で操作が可能なデバイス等の他の態様のデバイスであってもよい。操作部１４は、入力された設定の内容を示すデータを動作制御部１６７に入力する。

記憶部１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を含む。記憶部１５は、制御部１６が実行するプログラムを記憶している。また、記憶部１５は、制御部１６がロボット３を動作させるために必要な各種のデータを記憶している。

図４及び図５は、記憶部１５が記憶しているデータの一例を示す図である。図４は、作業内容と、ロボット３が使用する保持手段との関係を示すデータの一例を示す図である。図４に示す例においては、ペットボトルを商品棚に補充する作業には挟持部が使用され、缶飲料又はおにぎりを補充する作業には吸着部が使用され、弁当を補充する作業には挟持部と吸着部の両方が使用されることが想定されている。

図５は、ロボット３の各保持手段がどちらの腕に設けられているかを示すデータの一例を示す図である。ロボット３を識別するための情報であるロボットＩＤが「Ａ−０１」（例えば店舗Ａの１台目）のロボット３は、挟持部が右腕に設けられており、吸着部が左腕に設けられている。ロボットＩＤが「Ｂ−０１」（例えば店舗Ｂの１台目）のロボット３は、挟持部が左腕に設けられており、吸着部が右腕に設けられている。

続いて、図３を参照しながら制御部１６の詳細を説明する。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、データ受信部１６１、表示処理部１６２、状態データ処理部１６３、動作特定部１６４、設定部１６５、作業内容特定部１６６及び動作制御部１６７として機能する。

データ受信部１６１は、第１通信部１１を介して、ロボット３に設けられた撮像部で生成された撮像画像データを受信する。データ受信部１６１は、受信した撮像画像データを表示処理部１６２に入力する。

また、データ受信部１６１は、ロボット３が検知した触覚を示す触覚データ、ロボット３が収集した音を示す音データ、又はロボット３の関節の状態を示す関節状態データの少なくともいずれかのロボット状態データを受信する。データ受信部１６１は、受信したロボット状態データを状態データ処理部１６３に入力する。

表示処理部１６２は、第２通信部１２を介して、各種の情報を表示デバイス２１に表示させる。表示処理部１６２は、例えば、データ受信部１６１から入力された撮像画像データに基づく画像を表示デバイス２１に表示させる。表示処理部１６２は、例えば、後述する動作制御部１６７から通知された動作モードを示す情報に基づいて、非反転モードで動作するか反転モードで動作するかを決定する。

表示処理部１６２は、非反転モードで動作している間は、撮像画像データをそのまま表示デバイス２１に送信することで、左右が反転されていない撮像画像を表示デバイス２１に表示させる。表示処理部１６２は、反転モードで動作している間は、データ受信部１６１から入力された撮像画像データを左右反転させた反転画像データに基づく反転画像を表示デバイス２１に表示させる。表示処理部１６２は、例えば、撮像画像データの左右方向の中心線を基準として撮像画像データの右側の各画素の画素値と左側の対応する各画素の画素値とを入れ替えることにより、反転画像データを作成する。

この際、図２（ｂ）に示したように、表示処理部１６２は、撮像画像データにおいて文字が含まれる文字領域を特定し、文字領域の画像は左右反転されていない状態で表示デバイス２１に表示させてもよい。具体的には、表示処理部１６２は、特定した文字領域に含まれる文字を鏡文字に変換した反転画像データを作成し、反転画像データを表示デバイス２１に送信する。表示処理部１６２がこのように動作することで、操作者Ｕは、文字を非反転モードと同様の状態で視認しながら作業をすることができるので、例えば消費期限を確認してから商品を棚に並べるような場合の作業効率の低下を防げる。

表示処理部１６２は、撮像画像データの他に、操作者Ｕの操作を補助するための各種の情報を表示デバイス２１に表示させてもよい。表示処理部１６２は、例えば、反転モードで動作中であることを示す情報、又はロボット３の一方の腕を使用しない動作制限モードで動作中であることを示す情報の少なくともいずれかを表示デバイス２１に表示させる。表示処理部１６２がこのような情報を表示デバイス２１に表示させることで、例えば操作者Ｕが操作をしている途中で自動的に反転モードと非反転モードとが切り替わった場合に、操作者Ｕが困惑してしまうことを防止できる。

また、表示処理部１６２は、反転モードでロボット３を動作させる作業が連続するように複数の作業の順序を決定し、決定した順序を示す情報を表示デバイス２１に表示させてもよい。一例として、ロボット３が図４に示したペットボトル補充、缶飲料補充、おにぎり補充の作業及び弁当補充の作業を行う必要がある場合について説明する。

使用するロボット３のロボットＩＤが図５に示すＡ−０１である場合、吸着部を使用する必要がある缶飲料補充の作業及びおにぎり補充の作業では左腕が使用される。したがって、操作者Ｕの利き腕が右腕である場合、ロボット３が缶飲料補充の作業及びおにぎり補充の作業を行う場合、ロボット制御装置１は反転モードで動作する。そこで、表示処理部１６２は、缶飲料補充の作業とおにぎり補充の作業とを連続して行うことを決定し、この順に作業をすることを操作者Ｕが認識できるように表示デバイス２１に表示させる。表示処理部１６２がこのように動作することで、動作モードが頻繁に切り替わることを抑制できるので、撮像画像データが切り替わる頻度が下がり、操作者Ｕの操作性が向上する。

状態データ処理部１６３は、第２通信部１２を介して、データ受信部１６１から入力されたロボット状態データに基づくデータを操作デバイス２２に送信する。状態データ処理部１６３は、表示処理部１６２と同様に、例えば、後述する動作制御部１６７から通知された動作モードを示す情報に基づいて、非反転モードで動作するか反転モードで動作するかを決定する。

状態データ処理部１６３は、非反転モードで動作している間は、データ受信部１６１から入力されたロボット状態データをそのまま操作デバイス２２に送信することで、ロボット３の右側（右腕又は右耳等）で感知された触覚、音、関節の状態を、操作者Ｕが右側で感じることを可能にする。状態データ処理部１６３は、反転モードで動作している間は、データ受信部１６１から入力されたロボット状態データを左右反転させた反転状態データを操作デバイス２２に送信することで、ロボット３の左側（左腕又は左耳等）で感知された触覚、音、関節の状態を、操作者Ｕが右側で感じることを可能にする。

動作特定部１６４は、操作者Ｕの動作を特定する。動作特定部１６４は、例えば動き検出部１３が赤外光を照射するように動き検出部１３を制御し、動き検出部１３から入力された反射光に基づいて操作者Ｕの動作を示す動作情報を作成する。動作特定部１６４は、例えば、操作者Ｕの指、手、腕、頭、若しくは足等の各部の基準位置に対する相対位置を示す位置情報、各部の速度を示す速度情報、又は各部の加速度を示す加速度情報等の動作情報を作成する。基準位置は、例えば、操作者Ｕがロボット３の操作を開始する時点に所定の姿勢（例えば、腕を伸ばして胴体の両側につけた姿勢）をした状態における各部の位置である。動作特定部１６４は、作成した動作情報を動作制御部１６７に通知する。

また、動作特定部１６４は、操作者Ｕの左右方向の中心線を特定し、特定した中心線の位置を示す中心線情報を動作制御部１６７に通知する。動作特定部１６４は、例えば、操作者Ｕがロボット３の操作を開始する時点に所定の姿勢をした状態における操作者Ｕの頭部の中心位置と左右の足の中間位置とを結ぶ線を中心線として特定する。特定した中心線は、動作制御部１６７が、反転モードにおいて動作情報を左右反転する際に使用される。

設定部１６５は、操作部１４において行われた設定操作の内容に基づいて各種の設定を受け付ける。設定部１６５は、第２通信部１２を介して表示デバイス２１又は操作デバイス２２から送信された情報に基づいて各種の設定を受け付けてもよい。この場合、設定部１６５は、例えば表示処理部１６２を介して、設定内容の候補を示す画面を表示デバイス２１に表示させ、操作者Ｕの視線により選択された設定内容を受け付ける。設定部１６５は、例えば、反転モードの設定を受け付ける。設定部１６５は、反転モードに設定されたことを動作制御部１６７に通知する。

また、設定部１６５は、ロボット３が行う作業内容の設定を受け付ける。作業内容は、例えば図４に示したように、ロボット３が作業をする対象となる商品を特定するための情報を含む内容である。設定部１６５は、設定された作業内容を作業内容特定部１６６に通知する。

また、設定部１６５は、操作者Ｕの利き腕の設定を受け付ける。具体的には、設定部１６５は、操作者Ｕが右利きか左利きかの設定を受け付ける。さらに、設定部１６５は、ロボット３に使用させる腕の設定を受け付けてもよい。設定部１６５は、設定した操作者Ｕの利き腕を特定するための情報、及びロボット３に使用させる腕を特定するための情報を動作制御部１６７に通知する。

作業内容特定部１６６は、ロボット３が行う作業の内容を特定する。作業内容特定部１６６は、例えば設定部１６５から通知された作業内容に基づいて、ロボット３が行う作業の内容を特定する。作業内容特定部１６６は、データ受信部１６１を介して受信した撮像画像データが示す商品の画像に基づいて作業の対象となる商品を特定することにより、作業の内容を特定してもよい。例えば、作業内容特定部１６６は、撮像画像データに缶飲料の画像データが含まれている場合に、作業内容が缶飲料の補充であることを特定する。作業内容特定部１６６は、特定した作業の内容を動作制御部１６７に通知する。作業内容特定部１６６は、予め記憶部１５に記憶された作業内容のリストに基づいて、行う作業の内容を特定してもよい。

動作制御部１６７は、動作特定部１６４から入力された動作情報に基づいて、ロボット３を制御するための制御データを作成し、作成した制御データをロボット３に送信することによりロボット３を制御する。動作制御部１６７は、非反転モードにおいて、例えば、第１通信部１１を介して、ロボット３のロボットＩＤを動作情報に付加したパケットデータである制御データを送信する。動作制御部１６７は、ロボット３が適切なタイミングで制御データに基づく動作を実行できるように、動作制御部１６７が動作特定部１６４から動作情報を受信した時刻を示す時刻情報を付加した制御データを送信してもよい。

動作制御部１６７は、設定部１６５が反転モードの設定を受け付けた場合に、動作特定部１６４が特定した操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信することによりロボット３を制御する。具体的には、動作制御部１６７は、動作特定部１６４から入力された動作情報における左右の位置を示す情報を左右反転させることにより反転動作情報を作成し、ロボット３のロボットＩＤを反転動作情報に付加したパケットデータである制御データを送信する。より具体的には、動作制御部１６７は、操作デバイス２２を用いて検知された操作者Ｕの一以上の部位の位置を示す座標情報、又は一以上の部位の回転方向を示す回転情報の少なくともいずれかを、動作特定部１６４から通知された中心線情報が示す中心線を基準として左右反転させた反転動作情報を含む制御データとしてロボット３に送信する。

動作制御部１６７は、設定部１６５から通知された動作モードの設定内容によらず、作業内容特定部１６６から通知された作業の内容に基づいて、反転モードで動作するか非反転モードで動作するかを決定してもよい。動作制御部１６７は、例えば図４に示した作業内容と保持手段との関係を示すデータを参照することにより、ロボット３が行う作業がどの保持手段を使用するかを特定する。そして、動作制御部１６７は、図５に示した保持手段の位置を示すデータを参照することにより、特定した保持手段がロボット３の右腕に設けられているか左腕に設けられているかを特定する。動作制御部１６７は、例えば作業内容が缶飲料補充である場合に、保持手段として吸着部が使用され、ロボット３のロボットＩＤがＡ−０１である場合、吸着部が設けられている左腕を使用することを特定する。

動作制御部１６７は、ロボット３が左手で作業をすると判定した場合に、操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信する反転モードで動作することを決定する。動作制御部１６７は、ロボット３が右手で作業をすると判定した場合に、操作者Ｕの動作を左右反転させない動作をロボット３が行うための制御データをロボット３に送信する非反転モードで動作することを決定する。また、動作制御部１６７は、図４に示す弁当補充作業のように、右腕及び左腕の両方を使用する必要があると判定した場合にも、非反転モードで動作することを決定する。

動作制御部１６７は、操作者Ｕの利き腕と、ロボット３が行う作業で用いる腕との関係に基づいて、操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信する反転モードで動作するか否かを決定してもよい。具体的には、動作制御部１６７は、操作者Ｕの利き腕とロボット３が使用する腕とが一致していない場合に反転モードで動作し、操作者Ｕの利き腕とロボット３が使用する腕とが一致している場合に非反転モードで動作する。動作制御部１６７がこのように動作することにより、ロボット制御装置１は、操作者Ｕが右利きである場合であっても左利きである場合であっても、作業内容によらず操作者Ｕの操作性を向上させることができる。

動作制御部１６７が操作者Ｕの利き腕を特定する手段は任意であるが、動作制御部１６７は、例えば、操作者Ｕがロボット３の操作を開始する際に操作部１４を介して設定部１６５が設定を受け付けた情報に基づいて利き腕を特定する。動作制御部１６７は、予め操作者を識別するための情報（例えば操作者ＩＤ）に関連付けて記憶部１５に記憶された複数の利き腕情報のうち、ログインした操作者Ｕの操作者ＩＤに関連付けて記憶部１５に記憶された利き腕情報を読み出すことにより利き腕を特定してもよい。

動作制御部１６７は、ロボット３の右腕又は左腕のそれぞれの使用の必要性の有無を判定した結果に基づいて、右腕又は左腕のうち一方の腕を使用しない動作制限モードでロボット３を動作させてもよい。動作制御部１６７は、例えば作業内容特定部１６６から通知された作業の内容に基づいて、又は設定部１６５から通知された設定内容に基づいて、ロボット３の右腕又は左腕のうち使用する腕を特定する。動作制御部１６７は、予め操作者Ｕにより使用しないように設定された側の腕の動作が制限されるようにしてもよい。

動作制限モードにおいて、動作制御部１６７は、操作者Ｕの動作内容によらず、使用する必要がないと判定した腕を伸ばした状態でロボット３の胴体につけた状態で作業させたり、腕を折り畳んだ状態で作業させたりする。具体的には、操作者Ｕが右利きで、ロボット３が右腕を使用する場合、操作者Ｕが左腕を動かしたとしても、動作制御部１６７は、ロボット３が左腕を動かさないようにする制御データ（すなわち、操作者Ｕが左腕を動かしていないことを示す制御データ）をロボット３に送信する。操作者Ｕが右利きで、ロボット３が左腕を使用する場合も同様に、操作者Ｕが左腕を動かしたとしても、動作制御部１６７は、ロボット３が右腕を動かさないようにする制御データ（すなわち、操作者Ｕが左腕を動かしていないことを示す制御データ）をロボット３に送信する。動作制御部１６７がこのように動作することで、ロボット３が、使用しない腕を動かすと他の物体や人に衝突するといった危険な状態になる場合に、操作者Ｕが使用しない腕を誤って動かしてもロボット３の腕が動かないので、安全性を高めることができる。

動作制御部１６７は、設定部１６５が反転モードの設定を受け付けたか否かによらず、ロボット３の右腕を使用しないと判定した場合（すなわち、ロボット３の左腕を使用すると判定した場合）に、反転モードで動作することに決定し、操作者Ｕの動作を左右反転させた動作をロボット３が行うための制御データをロボット３に送信してもよい。一般的に、操作者Ｕには右利きの人が多いので、動作制御部１６７がこのように動作することで、操作者Ｕが利き腕を設定することなく、ロボット３の左腕を用いて作業をする場合に反転モードになるので、操作者Ｕの作業効率が向上する。

［ロボット制御システムＳにおける処理の流れ］
図６は、ロボット制御システムＳにおける処理の流れを示すシーケンス図である。図６に示すシーケンス図は、操作者Ｕが所定の作業を開始する時点から開始している。

動作制御部１６７は、上述した各種の方法に基づいて動作モードを判定する。ここでは、動作制御部１６７が反転モードで動作すると判定したものとする（Ｓ１）。ロボット制御装置１が反転モードで動作している間、ロボット３は撮像画像データを作成し（Ｓ２）、作成した撮像画像データをロボット制御装置１に送信する。

表示処理部１６２は、データ受信部１６１が受信した撮像画像データの左右を反転させることにより反転画像データを作成し（Ｓ３）、作成した反転画像データを表示デバイス２１に送信する。この間、操作デバイス２２は、操作者Ｕの動作の内容を示す動作情報を作成し（Ｓ４）、作成した動作情報をロボット制御装置１に送信する。動作制御部１６７は、受信した動作情報が示す操作者Ｕの各部の位置及び移動方向等を左右反転させることにより制御データを作成し（Ｓ５）、作成した制御データをロボット３に送信する。制御データを受信したロボット３は、操作者Ｕの動作が左右反転された動作を実行する（Ｓ６）。

［動作モードを決定する処理のフローチャート］
図７は、動作制御部１６７が動作モードを決定する動作の一例を示すフローチャートである。図７に示すフローチャートは、動作制御部１６７が、例えば作業内容特定部１６６からの通知に基づいてロボット３が行う作業内容を特定する処理から開始している（Ｓ１１）。

動作制御部１６７は、例えば設定部１６５からの通知に基づいて、操作者Ｕの利き腕を特定する（Ｓ１２）。また、動作制御部１６７は、設定部１６５から通知された作業内容と、図４及び図５に示したデータとに基づいて、ロボット３が使用する腕を特定する（Ｓ１３）。続いて、動作制御部１６７は、操作者Ｕの利き腕とロボット３が使用する腕とが一致しているか否かを判定する（Ｓ１４）。

動作制御部１６７は、操作者Ｕの利き腕とロボット３が使用する腕とが一致していると判定した場合（Ｓ１４においてＹＥＳ）、非反転モードで動作すると決定する（Ｓ１５）。一方、動作制御部１６７は、操作者Ｕの利き腕とロボット３が使用する腕とが一致していないと判定した場合（Ｓ１４においてＮＯ）、反転モードで動作すると決定する（Ｓ１６）。動作制御部１６７は、決定した動作モードに対応する制御データを作成して、作成した制御データをロボット３に送信する（Ｓ１７）。

その後、動作制御部１６７は、作業内容が変更になったか否かを監視する（Ｓ１８）。動作制御部１６７は、作業内容が変更になったと判定した場合（Ｓ１８においてＹＥＳ）、Ｓ１２に戻って、動作モードを再決定する。一方、動作制御部１６７は、作業内容が変更になっていないと判定した場合（Ｓ１８においてＮＯ）、Ｓ１９に進んで、動作を終了するか否かを判定する（Ｓ１９）。

動作制御部１６７は、動作を終了しないと判定した場合（Ｓ１９においてＮＯ）、Ｓ１７に戻って、制御データをロボット３に送信してロボット３を制御する動作を継続する。動作制御部１６７は、動作を終了すると判定した場合（Ｓ１９においてＹＥＳ）、動作モードを決定する処理を終了する。

［変形例］
以上の説明においては、ロボット制御装置１とロボット３とが、ネットワークＮを介して撮像画像データ及び制御データを直接通信する場合を例示したが、ロボット制御装置１とロボット３とが、他の装置（例えばサーバ）を介して撮像画像データ及び制御データを送受信してもよい。また、以上の説明においては、ロボット制御装置１が、操作装置２と異なる装置である場合を例示したが、ロボット制御装置１が表示デバイス２１又は操作デバイス２２に内蔵されていてもよい。

また、以上の説明においては、ロボット制御装置１が、ネットワークＮに対して操作装置２の側に設けられている場合を例示したが、ロボット制御装置１が、ネットワークＮに対してロボット３の側（例えばロボット３の内部）に設けられていてもよい。すなわち、ロボット制御装置１が、ネットワークＮを介して、撮像画像データを表示デバイス２１に送信したり、操作者Ｕの動作を示す動作情報を操作デバイス２２から取得したりしてもよい。

また、以上の説明においては、一方の腕に挟持部が設けられており、他方の腕に吸着部が設けられている場合を例示したが、それぞれの腕に設けられる保持手段の種別及び組み合わせは任意である。例えば、一方の腕に吸着部が設けられており、他方の腕に吸着部と挟持部が設けられていてもよい。また、一方の腕に複数の吸着部又は複数の挟持部の少なくともいずれかが設けられていてもよい。

［ロボット制御装置１による効果］
以上説明したように、本実施の形態に係るロボット制御装置１においては、反転モードで動作する場合に、表示処理部１６２が、ロボット３から受信した撮像画像データを左右反転させた反転画像データに基づく反転画像を表示デバイス２１に表示させる。また、動作制御部１６７が、動作特定部１６４が特定した操作者Ｕの動作を左右反転させた動作をロボット３に行わせるための制御データをロボット３に送信することによりロボット３を制御する。表示処理部１６２及び動作制御部１６７がこのように動作することで、ロボット３を遠隔操作する操作者Ｕの利き腕でない腕を用いてロボット３に作業をさせる場合に、操作者Ｕは利き腕を用いて操作をすることができるので、作業効率が向上する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ ロボット制御装置
２ 操作装置
３ ロボット
１１ 第１通信部
１２ 第２通信部
１３ 動き検出部
１４ 操作部
１５ 記憶部
１６ 制御部
２１ 表示デバイス
２２ 操作デバイス
１６１ データ受信部
１６２ 表示処理部
１６３ 状態データ処理部
１６４ 動作特定部
１６５ 設定部
１６６ 作業内容特定部
１６７ 動作制御部

Claims (14)

1. ロボットに設けられた撮像部で生成された撮像画像データを受信するデータ受信部と、
   前記撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させる表示処理部と、
   前記操作者の動作を特定する動作特定部と、
   前記動作特定部が特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信することにより前記ロボットを制御する動作制御部と、
   を有するロボット制御装置。
2. 前記動作制御部は、前記操作者が前記ロボットの操作に用いる操作デバイスを用いて検知された前記操作者の一以上の部位の位置を示す座標情報、又は前記一以上の部位の回転方向を示す回転情報の少なくともいずれかを左右反転させた反転動作情報を前記制御データとして前記ロボットに送信する、
   請求項１に記載のロボット制御装置。
3. 前記データ受信部は、前記ロボットが検知した触覚を示す触覚データ、前記ロボットが収集した音を示す音データ、又は前記ロボットの関節の状態を示す関節状態データの少なくともいずれかのロボット状態データをさらに受信し、
   前記ロボット制御装置は、前記ロボット状態データを左右反転させた反転状態データを前記操作者が使用する操作装置に送信する状態データ処理部をさらに有する、
   請求項１又は２記載のロボット制御装置。
4. 前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードの設定を受け付ける設定部をさらに有し、
   前記動作制御部は、前記設定部が前記反転モードの設定を受け付けた場合に、前記前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する、
   請求項１から３のいずれか一項に記載のロボット制御装置。
5. 前記操作者の利き腕の設定を受け付ける設定部をさらに有し、
   前記動作制御部は、前記操作者の利き腕と、前記ロボットが行う作業で用いる腕との関係に基づいて、前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードで動作するか否かを決定する、
   請求項１から３のいずれか一項に記載のロボット制御装置。
6. 前記動作制御部は、前記ロボットが左手で作業をすると判定した場合に、前記操作者の動作を左右反転させた動作を前記ロボットが行うための前記制御データを前記ロボットに送信する反転モードで動作し、前記ロボットが右手で作業をすると判定した場合に、前記操作者の動作を左右反転させない動作を前記ロボットが行うための前記制御データを前記ロボットに送信する非反転モードで動作する、
   請求項１から５のいずれか一項に記載のロボット制御装置。
7. 前記動作制御部は、前記ロボットの右腕又は左腕のそれぞれの使用の必要性の有無を判定した結果に基づいて、右腕又は左腕のうち一方の腕を使用しないで前記ロボットを動作させる、
   請求項１から６のいずれか一項に記載のロボット制御装置。
8. 前記ロボットが行う作業の内容を特定する作業内容特定部をさらに有し、
   前記動作制御部は、前記作業内容特定部が特定した前記作業の内容に基づいて、前記右腕又は前記左腕のうち使用する腕を決定する、
   請求項７に記載のロボット制御装置。
9. 前記動作制御部は、前記ロボットの前記右腕を使用しないと判定した場合に、前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信する、
   請求項７又は８に記載のロボット制御装置。
10. 前記表示処理部は、前記操作者の動作を左右反転させて前記ロボットを動作させている反転モードで動作中であることを示す情報、又は前記ロボットの一方の腕を使用しない動作制限モードで動作中であることを示す情報の少なくともいずれかを前記表示装置に表示させる、
    請求項１から９のいずれか一項に記載のロボット制御装置。
11. 前記表示処理部は、前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信する反転モードで前記ロボットを動作させる作業が連続するように複数の作業の順序を決定し、決定した順序を示す情報を前記表示装置に表示させる、
    請求項１から１０のいずれか一項に記載のロボット制御装置。
12. 前記表示処理部は、前記撮像画像データにおいて文字が含まれる文字領域を特定し、前記文字領域の画像は左右反転されていない状態で前記表示装置に表示させる、
    請求項１から１１のいずれか一項に記載のロボット制御装置。
13. ロボットを操作する操作者が使用する操作装置と、前記ロボットを制御するロボット制御装置と、を備え、
    前記ロボットに設けられた撮像部で生成された撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させる表示処理部と、
    前記操作者の動作を特定する動作特定部と、
    前記動作特定部が特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うよう制御する動作制御部と、
    を有するロボット制御システム。
14. コンピュータが実行する、
    ロボットに設けられた撮像部で生成された撮像画像データを受信するステップと、
    前記撮像画像データを左右反転させた反転画像データに基づく反転画像を、前記ロボットの操作者が視認可能な表示装置に表示させるステップと、
    前記操作者の動作を特定するステップと、
    特定した前記操作者の動作を左右反転させた動作を前記ロボットが行うための制御データを前記ロボットに送信することにより前記ロボットを制御するステップと、
    を有するロボット制御方法。
    
    
    

Images