JP2022187926A - 操作システム、および、操作方法 - Google Patents

Abstract

【課題】操作性を向上することができる操作システムおよび操作方法を提供する。【解決手段】予測部は操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定め、制御部は、前記予測値に基づいてロボットの動作を制御し、予測時間設定部は、前記操作者の動作の現在値から前記ロボットの動作までの遅延時間に基づいて前記予測時間を定める。本実施形態は、操作システムまたは操作方法として実施することができる。【選択図】図１

Description

本発明は、操作システム、および、操作方法に関する。

操作者の動作を受け付け、受け付けた動作に応じてロボットを駆動する操作システムが提案されている。操作システムは、操作者の動作を通信により遠隔地に所在するロボットに伝達する遠隔操縦システムとして構成されることもある。かかる操作システムでは、通信遅延、制御遅延などにより、ロボットの動作は操作者の動作よりも遅延する。ロボットの動作は、カメラ等により撮像され、ヘッドマウンテッドディスプレイ、据え置き型のモニタ画面などを用いて操作者に提示される。この際にも、撮像時のサンプリング、通信遅延などにより映像の遅延が発生する。操作者は、提示画像を視認して次の動作を定める。画像を視認して把握された動作に遅延が生ずると、操作者は自身の操作を遅くせざるを得ないことがある。その場合には、操作効率が低下し、操作者はロボットの操作に対する自己主体感を得られないことがある。

特開２００１－５４５０７号公報

しかしながら、特許文献１に記載の手法でも、ロボットの動作が操作者の動作よりも遅延する。操作者の動作速度が変化すると、ある時点におけるロボットの動作は、操作者の動作とは異なることになる。このことは、操作効率を低下させ、自己主体感を妨げる要因となりうる。
また、操作システムが適用される環境や操作者の嗜好によっても、遅延に対する違和感の度合いや許容性が異なることがある。
本発明の態様は上記の点に鑑みてなされたものであり、操作性を向上することができる操作システム、および、操作方法を提供することを課題の一つとする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める予測部と、前記予測値に基づいてロボットの動作を制御する制御部と、前記操作者の動作の現在値から前記ロボットの動作までの遅延時間に基づいて前記予測時間を定める予測時間設定部と、を備える操作システムである。

（２）本発明の他の態様は、（１）の操作システムであって、前記予測時間設定部は、前記動作の現在値と前記ロボットの動作環境を示す画像を用いて、前記遅延時間を検出してもよい。

（３）本発明の他の態様は、（１）または（２）の操作システムであって、前記ロボットの動作環境を示す画像を撮影する撮影部を備えてもよい。

（４）本発明の他の態様は、（３）の操作システムであって、前記予測時間設定部は、前記予測部から前記制御部への伝送と、前記撮影部から前記予測時間設定部への伝送に係る伝送遅延を検出し、前記伝送遅延に基づいて前記予測時間を定めてもよい。

（５）本発明の他の態様は、（１）から（４）のいずれかの操作システムであって、前記予測時間設定部は、前記予測時間の設定画面を表示部に表示させ、操作信号に基づいて前記予測時間を設定してもよい。

（６）本発明の他の態様は、（１）から（５）のいずれかの操作システムであって、少なくとも前記ロボットの動作環境を示す画像と前記操作者の動作を示す動作信号に基づいて当該操作者の第２動作を推定する推定部を備えてもよい。前記制御部は、さらに前記第２動作に基づいて前記ロボットの動作を制御してもよい。

（７）本発明の他の態様は、（１）から（６）のいずれかの操作システムであって、生体信号から操作者の動作までの遅延時間で遅延させた前記生体信号から前記機械学習モデルを用いて定まる前記操作者の動作の予測値と、前記操作者の動作の実測値との差分がより低減するように前記機械学習モデルのパラメータを定めるモデル学習部を備えてもよい。

（８）本発明の他の態様は、操作システムにおける操作方法であって、操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める第１ステップと、前記予測値に基づいてロボットの動作を制御する第２ステップと、予測時間設定部が、前記操作者の動作の現在値から前記ロボットの動作までの遅延時間に基づいて前記予測時間を定める第３ステップと、を有する操作方法である。

上述した（１）、（８）の構成によれば、操作者の動作からロボットの動作までの遅延時間に基づいて定められた予測時間の経過後の予測時刻における、操作者の動作の予測値に基づいてロボットの動作が制御される。遅延時間の変動に応じて制御対象とするロボットの動作の時刻を調整することができるため、遅延時間の変動を低減または解消できる。そのため、操作性を向上することができる。ひいては、操作の自己主体感を向上させることができる。

上述した（２）の構成によれば、操作者の動作から、その動作がロボットの動作に反映したことが操作者に伝達されるまでの遅延時間に基づいてロボットの動作が制御される。操作者が実感できる遅延に基づく制御がなされるため、ロボットの操作性を向上することができる。

上述した（３）の構成によれば、操作者がロボットから隔絶された場所に所在していても、ロボットの動作環境を視認しながら、その動作を制御することができる。

上述した（４）の構成によれば、予測部から制御部への伝送と、撮影部から予測時間設定部への伝送に係る伝送遅延に基づいてロボットの動作が制御される。通信環境やトラフィックなどにより著しく変動しうる伝送遅延を補償することで、ロボットの操作性を向上することができる。

上述した（５）の構成によれば、操作者が任意に予測時間を設定することができる。そのため、操作者の嗜好や作業内容に応じた予測時間に基づいてロボットの動作を制御することができる。

上述した（６）の構成によれば、操作者の動作とロボットの動作環境から操作者が意図する動作が第２動作として推定される。ロボットに対する操作に第２動作が補われることで、ロボットの動作に操作者の意図が反映される。そのため、ロボットに対する操作性がさらに向上する。

上述した（７）の構成によれば、検出された生体信号に基づく動作が得られる予想時刻よりも遅延時間に相当する時間だけ先行した時刻に、その動作の予測値が得られる。そのため、遅延時間の範囲内で動作の予測値に基づいてロボット２０の動作を制御するタイミングを調整することができる。

第１の実施形態に係る操作システムの構成例を示す概略ブロック図である。 ＥＭＧと操作者動作の例を示す図である。 第２の実施形態に係る操作システムの構成例を示す概略ブロック図である。 第３の実施形態に係る操作システムの構成例を示す概略ブロック図である。 第４の実施形態に係る操作システムの構成例を示す概略ブロック図である。 モデル学習システムの構成例を示す概略ブロック図である。 機械学習モデルの構成例を示す図である。 ハードウェアの構成例を示す図である。 生体信号、操作者動作、および、ロボット動作の知覚の例を示す図である。 生体信号、操作者動作、および、ロボット動作の知覚の他の例を示す図である。 操作者動作の推定例を示す図である。

＜第１の実施形態＞
以下、図面を参照しながら第１の実施形態について説明する。
図１は、本実施形態に係る操作システムＳ１ａの構成例を示す概略ブロック図である。
操作システムＳ１ａは、操作者の生体信号から、予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める。予測時刻は、その時点（現在）から所定の予測時間の経過後における時刻に相当する。操作システムＳ１ａは、予測値に基づいてロボット２０の動作を制御する。操作者は、自身が動作することにより、ロボット２０の位置や形状を操作することができる。操作システムＳ１ａは、操作者の動作の現在値からロボットの動作までの遅延時間に基づいて予測時間を定める。

操作システムＳ１ａは、操作装置１０ａ、ロボット２０、および、撮影部３０を含んで構成される。操作装置１０ａとロボット２０とは、伝送路Ｃ_ｐを経由して、各種のデータを無線または有線で相互に送受信可能に接続される。伝送路Ｃ_ｐは、データバス（基線）に限られず、その一部または全部に通信ネットワークを含んで構成されてもよい。
撮影部３０は、自部の視野内のロボット２０とその周囲を示す画像を撮影する。画像には、ロボット２０の動作環境が表される。撮影部３０は、撮影した画像を示す画像データを操作装置１０ａに伝送路Ｃ_ｐを経由して送信する。撮影部３０は、例えば、ディジタルビデオカメラである。

操作装置１０ａは、ユーザである操作者の動作を直接または間接的に受け付け、受け付けた動作を示す動作信号をロボット２０に提供する。操作装置１０ａは、操作者に生じる生体信号を検出し、検出した生体信号から操作者自身の予測時刻における予測値を示す動作信号を生成する。操作装置１０ａは、検出部１１０、予測部１２０、表示部１４０、および、予測時間設定部１７０を含んで構成される。

操作装置１０ａは、人体に装着可能とする装着具を備え、いわゆるウェアラブルデバイス（wearable device）として構成されてもよい。装着部には、前述の機能部をなす部材が設置される。例えば、操作装置１０ａは、装着具として手袋とヘッドバンド（head band）を備える。手袋は、人体の一部である手部に装着可能とする。手袋には検出部１１０が設置され、データグローブ（data glove）として構成される。データグローブの数は、１個または２個である。個々のデータグローブは、ロボット２０を構成するマニピュレータの操作に用いられる。データグローブの個数は、マニピュレータの数と等しくてもよい。ヘッドバンドは、人体の一部である頭部に装着可能とする。ヘッドバンドは、人体の一部である頭部に装着可能とする。ヘッドバンドには、表示部１４０が装着され、ヘッドマウンテッドディスプレイ（ＨＭＤ：Head Mounted Display）として構成されてもよい。

検出部１１０は、操作者に生ずる生体信号を検出する生体信号検出部を備える。検出部１１０は、検出した生体信号を予測部１２０に出力する。検出部１１０は、例えば、生体信号として筋電信号（ＥＭＧ：Electromyogram）を取得する。筋電信号は、生体の一部をなす上腕部と手部における筋電位の時間変化、即ち、時刻ごとの筋電位を示す。筋電図は、筋電信号の一形態に相当する。本実施形態では、検出部１１０は、表面電極を含んで構成される。表面電極によれば、生体の表面に装着することで非侵襲的に筋電信号を取得することができる。検出部１１０は、検出した筋電位に所定の前処理を実行し、処理後の筋電位を示す筋電信号を予測部１２０に出力してもよい。

検出部１１０は、さらに操作者の動作を検出する動作検出部を備える。検出部１１０は、検出した動作を示す動作信号を予測時間設定部１７０に出力する。検出部１１０は、例えば、操作者の各部位の位置を検出するための加速度センサを備える。検出対象とする部位は、複数の部位には、少なくとも掌と各指の節が含まれる。複数の部位には、さらに手首が含まれてもよい。個々の加速度センサは、データグローブに設置されてもよい。個々の加速度センサは、データグローブが操作者の手部に装着されたときに、加速度の検出対象とする部位に接する位置に設置されればよい。
検出部１１０は、加速度センサに代え、操作者の体躯の画像を撮影する撮影部と、撮影した画像を用いて光学的に操作者の部位ごとの位置を検出する動作検出部を備えてもよい（モーションキャプチャ）。但し、操作者の部位ごとに、所定の波長の成分を有する光を反射するマーカを貼付しておく。

予測部１２０は、検出部１１０から入力される生体信号に基づいて、所定の機械学習モデルを用いて現在よりも所定の予測時間の経過後の時刻である予測時刻における操作者の動作を予測値として予測する。動作は、時刻ごとの姿勢の時系列で表される。予測部１２０は、予測した予測値を示す動作信号をロボット２０に送信する。本実施形態では、予測時間は可変であり予測時間設定部１７０により設定される。予測時間の最大値は、操作者における生体信号の発生から動作の発生までの遅延時間となる。この遅延時間は、電気力学的遅延（ＥＭＤ：Electromechanical Delay）と呼ばれることがある。予測時間の最小値は、０となる。

操作者の動作として、例えば、関節動作（joint motion）が用いられてもよい。関節動作は、筋骨格動力学モデル（muscle dynamics model）に基づいて各時刻における人体の複数の部位のうち相互に接続される２つの部位からなる対ごとに、その２つの部位がなす角度を用いて表現される。筋骨格動力学モデルは、人体の姿勢もしくは動作を示す人体モデルの一種である。複数の部位には、手首、掌、および各指の節が含まれる。節は、指の一部をなす部位であって、一端または両端に他の部位と関節を介して接続される部位である。操作者の動作として、関節動作に代えて、または、関節動作とともに、個々のデータグローブが装着される一部の部位（例えば、手首）の位置または部位間の重心が代表位置として含まれてもよい。機械学習モデルは、例えば、ニューラルネットワーク、ランダムフォレストなど、生体信号から動作を推定することができる数理モデルであれば、いかなる種類の数理モデルであってもよい。

一般に、筋電位の発生（発火）から筋張力の発揮により動作が生じるまでに所定の遅延が生ずる。この遅延に係る遅延時間が、上記のＥＭＤに相当する。本願では、この遅延時間を遅延時間ΔＴ_５と呼ぶことがある。図２に示す例では、ＥＭＧは時刻Ｔにおいて筋電位の発生が開始され、その遅延時間ΔＴ_５の経過後の時刻Ｔ＋ΔＴ_５から動作が開始される（曲線Ｒｍ）。後述するように、生体信号を解析することで、現実の動作が生ずる前に動作（曲線Ｐｍ）を予測することができる。遅延時間ΔＴ_５は、典型的には、１００ｍｓ～３００ｍｓ程度である。

表示部１４０は、撮影部３０から画像データを受信する。表示部１４０は、受信した画像データに基づく画像を表示するディスプレイを備える。操作者は、表示部１４０に表される画像を視認することで、ロボット２０の動作状況を確認することができる。

予測時間設定部１７０には、検出部１１０から動作信号が入力され、撮影部３０から画像データを受信する。予測時間設定部１７０は、動作信号を遅延させ、遅延させた動作信号に示される操作者の動作（主に、手首から手部）と画像データに示されるロボット２０の動作との相互相関を遅延時間ごとに算出し、最も大きい相互相関を与える遅延時間を特定する。予測時間設定部１７０は、特定した遅延時間から所定のオフセット時間を差し引いて予測時間を定める。オフセット時間は、遅延時間から差し引いて定まる予測時間が０以上であって、上記の最大値以下となるように、予め設定しておく。これにより、操作者の動作からロボット２０の動作に反映されるまでの遅延時間に基づいて予測時間が定まる。

なお、予測時間設定部１７０は、相互相関を算出する際、動作信号に示される操作者の動作と画像データに示されるロボット２０の動作を、それぞれ正規化してもよい。正規化において、予測時間設定部１７０は、所定の人体モデル（例えば、筋骨格動力学モデル）を用いて動作信号に示される操作者の動作ならびに画像データに示されるロボット２０の動作が関節動作（joint motion）としてモデル化される。動作は、各時刻における姿勢の時系列となる。筋骨格動力学モデルによれば、姿勢は、複数の部位（または部材）と、相互に接続する２個の部位からなる部位の対ごとに、２個の部位がなす角度で表現される。予測時間設定部１７０は、定めた予測時間を予測部１２０に設定する。予測部１２０は、設定された予測時間を操作者の動作の予測値の推定に用いる。

ロボット２０は、操作装置１０ａから提供される動作信号に基づいて動作する。ロボット２０は、複数の部材を含んで構成され、相互に隣接する２個の部材（本明細書では、「部材対」と呼ぶことがある）間の角度を可変にするアクチュエータ（actuator）を備え、ロボット２０全体としての位置ならびに姿勢を可変とする。アクチュエータは、各２個の部材を接続する関節ごとに設置される。ロボット２０は、提供された動作信号に示される操作者の動作に対応する動作を再現する。ロボット２０は、１個のマニピュレータ（manipulator）を有する単腕ロボットであってもよいし、２個のマニピュレータを有する双腕ロボットであってもよい。各１個のマニピュレータには、１個のロボットアーム（robot arm）と１個のエンドエフェクタ（end effector）が含まれる。エンドエフェクタは、ロボットハンド（robot hand）とも呼ばれる。例えば、ロボット２０が双腕ロボットであり、操作者が右腕を前方に突き出す場合を仮定する。この場合、ロボット２０は、操作者の右手に対応するエンドエフェクタが正面方向に進行するようにロボットアームを動作させる。操作者が左手を握る場合には、ロボット２０は、操作者の左手に対応するエンドエフェクタをなす複数の指部を、それぞれの先端が互いに向き合うように変形させる。

ロボット２０は、制御部２１０と駆動部２２０を含んで構成される。
制御部２１０は、操作装置１０ａから提供される動作信号に基づいてロボット２０の動作を制御する。制御部２１０は、例えば、動作信号に示される動作に従ってエンドエフェクタが移動するように、ロボット２０をなす部材の位置および姿勢を制御する。より具体的には、制御部２１０は、例えば、動作信号に示される操作者の代表位置に対応するロボット座標系での位置に変換し、エンドエフェクタの位置の目標値として設定する。制御部２１０は、関節動作で示される個々の部位の位置に対応するロボット座標系での位置を、その部位に対応するロボット２０の部材の位置の目標値として設定してもよい。制御部２１０は、公知の逆運動学問題（inverse kinematic problem）を解いてエンドエフェクタ、またはその部材が目標位置に到達するまでの期間における部材対ごとになす角度を目標値として定める。制御部２１０は、定めた目標値を示す制御信号を駆動部２２０に出力する。

駆動部２２０は、部材対ごとにアクチュエータと制御器を含んで構成される。制御器は、その時点における部材対がなす角度の現在値が制御信号に示される角度の目標値に近づくようにアクチュエータを駆動させる。制御器は、現在値と目標値との残差が小さくなるように制御する手法であれば、いかなる手法を用いることができる。制御器は、例えば、ＰＩＤ制御器、ＰＤ制御器などのいずれであってもよい。
なお、制御部２１０は、部材対ごとの目標値としてトルクを設定してもよい。その場合、駆動部２２０をなす制御器は、その時点における部材対に与えているトルクの現在値が制御信号に示される角度の目標値に近づくようにアクチュエータを駆動させる。

図１に示す例では、操作者が動作し、その動作がロボット２０の動作に反映され、ロボット２０の動作を示す画像が表示部１４０に表示されるまでに加わる遅延には、次の要因が掲げられる。
（１）伝送遅延（communication delay）ΔＴ_１： 伝送遅延ΔＴ_１は、操作者の動作を示す動作信号が予測部１２０から制御部２１０に伝達されるまでの時間である。従来方式では、検出部１１０が操作者の動作を示す動作信号を取得し、取得した動作信号をロボット２０に提供していた。
（２）制御遅延（control delay）ΔＴ_２： 制御遅延ΔＴ_２は、動作信号の取得からロボット２０の動作に反映されるまでの時間である。図９に示す例では、操作者動作からロボット動作までの時間が伝送遅延ΔＴ_１と制御遅延ΔＴ_２の合計値に相当する。

（３）監視遅延（monitoring delay）Ｔ_３： 監視遅延ΔＴ_３は、ロボット２０の動作を示す画像を撮影部３０が撮影し、撮影した画像を示す画像データが生成されるまでの時間である。
（４）伝送遅延ΔＴ_４： 伝送遅延ΔＴ_４は、画像データが撮影部３０から表示部１４０に伝達されるまでの時間である。図９に示す例では、ロボット動作からロボット動作の認識までの時間が監視遅延ΔＴ_３と伝送遅延ΔＴ_４の合計値に相当する。よって、従来方式のように操作装置１０ａが操作者の動作を示す動作信号を取得する場合には、総遅延時間ΣＴは、それらの総和ΔＴ_１＋ΔＴ_２＋ΔＴ_３＋ΔＴ_４となる。

これに対し、本実施形態では、予測部１２０は、検出部１１０が検出した生体信号を用いてその時点から予測時間ΔＴ_ｐ後における動作を予測し、予測した動作を示す動作信号をロボット２０に提供する。そのため、操作がロボット動作に反映され、操作者に認識されるまでの遅延時間が予測時間ΔＴ_ｐにより相殺される。図１０に示す例では、生体信号としてＥＭＧから予測された操作者動作からロボット動作までの期間が、伝送遅延ΔＴ_１と制御遅延ΔＴ_２の合計値から予測時間ΔＴ_ｐが差し引かれた時間ΔＴ_１＋ΔＴ_２－ΔＴ_ｐに相当する。予測時間ΔＴ_ｐの最大値は、遅延時間ΔＴ_５（ＥＭＤ）となる。但し、予測時間ΔＴ_ｐを一例として２００ｍｓとしている。従って、総遅延時間ΣＴは、従来方式における総遅延時間から予測時間ΔＴ_ｐが差し引かれた時間ΔＴ_１＋ΔＴ_２＋ΔＴ_３＋ΔＴ_４－ΔＴ_ｐに低減される。また、その他の要因による遅延時間の変動に関わらず、総遅延時間が一定に保たれる。そのため、操作者による操作性が向上し、ロボット２０の動作に対する自己主体感を向上させることができる。

＜第２の実施形態＞
次に、第２の実施形態について、上記の実施形態との差異点を主として説明する。上記の実施形態と共通の処理、構成については、特に断らない限り同一の符号を付してその説明を援用する。
図３は、本実施形態に係る操作システムＳ１ｂの構成例を示す概略ブロック図である。
操作システムＳ１ｂは、操作装置１０ｂ、ロボット２０、および撮影部３０を含んで構成される。操作装置１０ｂは、検出部１１０、予測部１２０、表示部１４０、予測時間設定部１７０、および、操作部１８０を含んで構成される。

予測時間設定部１７０は、予測時間の設定画面を表示部１４０に表示させ、操作部１８０から入力される操作信号に基づいて予測時間を定める。より具体的には、予測時間設定部１７０は、自部に予め設定された設定画面を示す設定画面データを読み出し、読み出した設定画面データを表示部１４０に出力する。表示部１４０は、予測時間設定部１７０から入力される設定画面データに基づく設定画面（図示せず）を表示する。即ち、予測時間設定部１７０、表示部１４０、および、操作部１８０とで予測時間を設定するためのユーザインタフェース（ＵＩ：User Interface）が実現される。
設定画面は、予測時間の設定欄を含んで構成される。予測時間設定部１７０は、その時点で設定されている予測時間を表示させる。予測時間設定部１７０は、操作部１８０から入力される操作信号で設定欄が指示された後、操作信号で指示される数値を設定欄に表示させ、指示される数値を予測時間として定める。予測時間設定部１７０は、定めた予測時間を予測部１２０に出力する。

操作部１８０は、ユーザである操作者による操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号を予測時間設定部１７０に出力する。操作部１８０は、主に、操作装置１０ｂに対する操作を受け付ける。操作部１８０は、例えば、ボタン、レバー、つまみ、などの専用の部材を含んで構成されてもよいし、タッチセンサ、マウス、などの汎用の部材を含んで構成されてもよい。操作部１８０は、例えば、ヘッドマウンテッドディスプレイの一部に設置されてもよい。

よって、操作者は、予測時間の嗜好、ロボット２０に対する操作内容などに応じて操作により所望の予測時間を設定することができる。そのため、ロボット２０に対する操作性を向上させることができる。

＜第３の実施形態＞
次に、第３の実施形態について、上記の実施形態との差異点を主として説明する。上記の実施形態と共通の処理、構成については、特に断らない限り同一の符号を付してその説明を援用する。
図４は、本実施形態に係る操作システムＳ１ｃの構成例を示す概略ブロック図である。
操作システムＳ１ｃは、操作装置１０ｃ、ロボット２０、および撮影部３０を含んで構成される。操作装置１０ｃは、検出部１１０、予測部１２０、表示部１４０、および、予測時間設定部１７０を含んで構成される。予測時間設定部１７０は、計測部１９０を備える。

計測部１９０は、予測部１２０から制御部２１０への伝送遅延ΔＴ_１と、撮影部３０から予測時間設定部１７０への伝送遅延ΔＴ_４’を計測する。伝送遅延ΔＴ_４’は、撮影部３０から表示部１４０への伝送遅延ΔＴ_４とほぼ等しい。予測時間設定部１７０は、計測した伝送遅延ΔＴ_１と伝送遅延ΔＴ_４’の和ΔＴ_１＋ΔＴ_４’を総伝送遅延として算出し、算出した総伝送遅延から所定の第２のオフセット値を差し引いて予測時間を定める。予測時間設定部１７０は、定めた予測時間を予測部１２０に設定する。但し、総伝送遅延から第２のオフセット値を差し引いて得られる予測時間が、０以上であって、上記の最大値以下となるように、第２のオフセットを予め設定しておく。これにより、伝送路Ｃ_ｐにおける通信環境やトラフィックにより有意に変動しうる伝送遅延が補償される。そのため、伝送遅延に関わらず操作性を向上させることができる。

なお、計測部１９０は、所定の通信プロトコル（例えば、ＩＣＭＰ：Internet Control Message Protocolなど）を用いて伝送遅延ΔＴ_１と伝送遅延ΔＴ_４’を計測することができる。例えば、計測部１９０は、所定の試験信号を制御部２１０に予測部１２０を経由して送信し、制御部２１０から予測部１２０を経由して試験信号が受信されるまでの時間を第１往復遅延時間として計測する。計測部１９０は、第１往復遅延時間を２で除算して伝送遅延ΔＴ_１を定めることができる。また、計測部１９０は、所定の試験信号を撮影部３０に送信し、撮影部３０から試験信号が受信されるまでの時間を第２往復遅延時間として計測する。計測部１９０は、第２往復遅延時間を２で除算して伝送遅延ΔＴ_４’を定めることができる。

＜第４の実施形態＞
次に、第４の実施形態について、上記の実施形態との差異点を主として説明する。上記の実施形態と共通の処理、構成については、特に断らない限り同一の符号を付してその説明を援用する。
図４は、本実施形態に係る操作システムＳ１ｄの構成例を示す概略ブロック図である。
操作システムＳ１ｄは、操作装置１０ｄ、ロボット２０、および撮影部３０を含んで構成される。操作装置１０ｄは、検出部１１０、予測部１２０、表示部１４０、推定部１５０、統合部１６０、および、予測時間設定部１７０を含んで構成される。

検出部１１０は、検出した操作者の動作を示す動作信号を推定部１５０に出力する。
推定部１５０には、検出部１１０から動作信号が入力され、撮影部３０から画像データが入力される。推定部１５０は、動作信号と画像データに基づいて操作者がなしうる第２動作を推定する（意図推定、intention estimation）。第２動作は、画像データに示されるロボット２０の動作環境のもとで操作者が意図する可能性が、他の動作よりも高い動作である。第２動作は、主に予測部１２０により推定される大局的な動作（例えば、手部の移動）よりも微細な動作である。第２動作には、例えば、個々の指の動作、手部の位置と方向の一方もしくは両方の微調整などが含まれる。推定部１５０は、推定した第２動作を示す第２動作信号を統合部１６０に出力する。

推定部１５０は、例えば、ロボット２０のエンドエフェクタが、その大きさよりも物体に近接する領域に進入する状況を示す画像データと、複数の指の動作の開始を示す動作信号が入力されるとき、第２動作として、それぞれの指の先端が向き合う動作を推定する。このような状況では、操作者は自身の手を握ることでエンドエフェクタに物体を把持させる可能性が高い。推定部１５０は、例えば、ロボット２０のエンドエフェクタがテーブル上に置かれた物体を把持した状況を示す画像データと、複数の指の動作の開始を示す動作信号が入力されるとき、第２動作として、それぞれの指の先端が退け合う動作を推定する。このような状況では、操作者は自身の各指を広げることでエンドエフェクタに対し、把持している物体から放させる可能性が高い。

検出部１１０は、操作者の視線方向を検出してもよい。検出部１１０は、検出した視線方向を示す視線情報を予測部１２０に出力する。検出部１１０は、例えば、操作者の視線方向を検出するための視線検出部（eye tracker）を備える。視線検出部は、例えば、ヘッドマウンテッドディスプレイに装着されてもよい。視線検出部は、ヘッドマウンテッドディスプレイが操作者の頭部に装着されたときに、視線の検出対象とする両眼の瞳の像を取得できる部位に設置されればよい。

検出部１１０は、さらに操作者の頭部の向きと位置を検出するための加速度センサを備えてもよい。検出部１１０は、検出した向きと位置を示す操作者位置情報を予測部１２０に出力する。検出部１１０は、例えば、操作者の頭部の向きと位置を検出するための６軸加速度センサを備える。６軸加速度センサは、三次元空間における互いに直交する三方向それぞれの加速度と、三方向それぞれの軸加速度を検出する。検出部１１０は、検出された三方向の軸加速度を二階積分して向きを定めることができる。検出部１１０は、検出された三方向の加速度を二階積分して位置を定めることができる。加速度センサは、ヘッドマウンテッドディスプレイが操作者の頭部に装着されたときに、加速度もしくは軸加速度の検出対象とする頭部の額面に接する位置に設置されればよい。

推定部１５０は、検出部１１０から入力される視線情報をさらに用いて、第２動作を定めてもよい。推定部１５０は、視線情報に示される視線方向を関心方向として推定する。関心方向は、操作者が関心を有する方向を意味する。推定部１５０は、検出部１１０から入力される操作者位置情報と撮影部３０の位置、向きならびに視野に基づいて、視線情報に示される視線方向を撮影部３０の位置ならびに向きを基準とするロボット環境座標系における方向に変換し、変換した方向を関心方向として定めることができる。推定部１５０は、画像データに示される画像に複数の物体の像が含まれる場合、複数の物体のうち、関心方向にその像が表れる物体を関心物体として判定することができる。推定部１５０は、動作信号、画像データ、および、関心物体に基づいて第２動作を定め、関心物体以外の物体を無視してもよい。これにより、関心物体以外の操作者が意図しない物体に対する第２動作の無用な推定が回避される。

推定部１５０には、例えば、入力情報とする画像データと動作信号と、出力情報とする第２動作との関係を示す第２動作データを予め設定しておく。推定部１５０は、自部への入力情報に対応する第２動作を、第２動作データを参照して定めることができる。推定部１５０には、第２機械学習モデルを用いて、入力情報とする画像データと動作信号から、出力情報とする第２動作を推定するためのパラメータセットを予め設定しておいてもよい。推定部１５０は、設定したパラメータセットのもとで第２機械学習モデルを用いて、入力情報に基づいて第２動作を定めることができる。入力情報には、さらに視線情報が含まれてもよい。

予測部１２０は、自部が予測した予測値を示す動作信号を、ロボット２０に代え統合部１６０に出力する。
統合部１６０には、予測部１２０から動作信号が入力され、推定部１５０から第２動作信号が入力される。統合部１６０は、動作信号が示す動作である第１動作と第２動作信号が示す第２動作とを統合し統合動作を構成する。第１動作と第２動作が矛盾せず整合する限り、統合動作も関節動作として表現される。統合部１６０は、構成した統合動作を示す動作信号をロボット２０に出力する。

なお、統合部１６０は、第１動作と第２動作に矛盾が生ずる場合、もしくは、第１動作と第２の動作の実行により悪影響が予想される場合には、いずれか一方を選択し、他方を棄却してもよい。例えば、第１動作が示す操作者の手の動きが、物体を把持しているエンドエフェクタがテーブルから離れる方向への物体への動きに対応し、第２動作が指の先端を退け合う動作（物体の把持状態からの解放に対応）である場合には、統合部１６０は、第１動作を選択し、第２動作を棄却してもよい。その場合には、エンドエフェクタが物体を把持しながらテーブルから離れるときに、第２動作により物体が脱落することが回避される。また、第１動作が静止していた手の動きの開始を示し（エンドエフェクタの始動に対応）、第２動作が指の先端を向かい合わせる動作の途中（物体の把持の過程に対応）を示す場合には、統合部１６０は、第１動作を棄却し、第２動作を優先してもよい。その場合には、エンドエフェクタにより物体の把持が完了しない状態で移動することが回避される。

統合部１６０には、例えば、第１動作と第２動作と、それぞれの選択の要否を示す選択データを予め設定しておいてもよい。統合部１６０は、選択データを参照して、第１動作と第２動作の要否をそれぞれ特定する。統合部１６０は、第１動作と第２動作のそれぞれが要と特定するとき、第１動作と第２動作を統合した統合動作を示す動作信号を生成し、生成した動作信号をロボット２０に出力する。統合部１６０は、第１動作と第２動作の一方の動作を要と特定し、他方の動作を否と特定するとき、一方の動作を示す動作信号を生成し、生成した動作信号をロボット２０に出力する。統合部１６０は、第１動作と第２動作のいずれの動作も否と特定するとき、いずれの動作を示す動作信号も生成しない。

ロボット２０の制御部２１０には、操作装置１０ｂから提供される動作信号に基づいてロボット２０の動作を制御する。制御部２１０には、統合動作を示す動作信号が入力されることがある。その場合、制御部２１０には、生体信号により推定された動作と、動作環境に応じて推定された第２動作を組み合わせた動作が指示され、駆動部２２０に対し、かかる動作を指令する。例えば、推定された動作として大局的な動作が指示され、第２動作として微細な動作が指示される。大局的な動作は、例えば、比較的移動速度が高い手首の並進運動などがある。第２動作として、物体に対する個々の指部の位置合わせ、把持、把持状態からの解放などがある。そのため、操作者はロボット２０の動作環境において、より操作者の意図に沿ったきめの細かい動作を指示することができる。

（モデル学習）
次に、機械学習モデルの学習について説明する。図６は、モデル学習システムＳ２の構成例を示す概略ブロック図である。モデル学習システムＳ２は、予測部１２０が用いる機械学習モデルの学習を行うためのシステムである。当該機械学習モデルは、予測部１２０に入力される生体信号と、設定される予測時間に対して、現在から予測時間の経過後の予測時刻における動作を示す動作信号が、現在において出力できるように学習されればよい。

モデル学習システムＳ２は、動作検出部１１２、生体信号検出部１１４、および、モデル学習部４０を含んで構成される。動作検出部１１２は、人体の動作を検出する。生体信号検出部１１４は、人体に生ずる生体信号を検出する。動作の検出対象とする人体は、操作者以外の人物の人体でもよいが、操作者自身の人体の方が望ましい。モデル学習部４０は、検出された生体信号に基づいて機械学習モデルを用いて推定される動作（出力２）と、検出された動作（出力１）との差の大きさが、より小さくなるように（最小化）機械学習モデルのパラメータセットを定める。この構成によりモデル学習部４０は、既知の生体信号と動作信号からなるデータペアを複数個含む訓練データ（supervised data）を用いて、機械学習モデルが学習される（教師あり学習（supervised training））。

動作検出部１１２は、上記の検出部１１０と同様に人体の動作を検出する。動作検出部１１２は、例えば、操作者の体躯を示す画像を撮影する撮影部と、撮影部が撮影した画像を用いて光学的に操作者の部位ごとの位置を検出する動作解析部を備える。動作検出部１１２は、検出した人体の動作を示す動作信号をモデル学習部４０に出力する。

生体信号検出部１１４は、上記の検出部１１０と同様に人体に生ずる生体信号を検出する。生体信号検出部１１４は、例えば、生体信号感知部１１４ａ、生体信号取得部１１４ｂ、および前処理部１１４ｃを備える。

生体信号感知部１１４ａは、人体の所定の部位に設置または近接され、その部位に生ずる生体信号を感知する。生体信号感知部１１４ａは、例えば、上記の表面電極に相当する。
生体信号取得部１１４ｂは、生体信号感知部１１４ａが感知した生体信号を取得する。生体信号取得部１１４ｂは、取得した生体信号を前処理部１１４ｃに出力する。生体信号取得部１１４ｂは、例えば、ＥＭＧキャプチャである。ＥＭＧキャプチャは、例えば、生体信号感知部１１４ａに生じた電位を増幅し、増幅した電位を示す生体信号を取得する。

前処理部１１４ｃは、生体信号取得部１１４ｂから入力される生体信号に対して前処理を行い、前処理により得られた処理後の生体信号をモデル学習部４０に出力する。前処理には、例えば、整流（rectification）とフィルタリング（filtering）の一方または両方が含まれる。整流は、各時刻における電位が所定の電位の閾値（例えば、０Ｖ）以上であるとき、その電位を処理後の生体信号の電位とし、各時刻における電位が所定の電位の閾値未満であるとき、その閾値を処理後の生体信号の電位とする処理である。フィルタリングは、生体信号として予め定めた有意な周波数帯域の成分を維持し、それ以外の周波数帯域の成分を抑圧もしくは除去する処理である。これにより、生体信号に混入されるノイズが除去される。

モデル学習部４０は、遅延部４１０、運動解析部４２０、および、パラメータ更新部４３０を含んで構成される。
遅延部４１０は、生体信号検出部１１４から入力される生体信号を予め定めた一定の遅延量（例えば、２００ｍｓ）で遅延させる。遅延部４１０は、遅延後の生体信号をパラメータ更新部４３０に出力する。一定の遅延量は、生体信号の発生から動作の発生までの遅延時間ΔＴ_５、つまり、ＥＭＤであってもよい。この遅延は、制御可能とする予測時間の最大値を与える。

運動解析部４２０は、動作検出部１１２から入力された動作信号に示す動作を、公知の筋骨格動力学モデルに基づいて解析し、解析された動作を示す動作信号をパラメータ更新部４３０に出力する。運動解析部４２０は、例えば、入力された動作信号から人体を構成する複数の部位のそれぞれの位置を特定し、相互に接続される２個の部位からなる対ごとに、２個の部位がなす角度を定める。運動解析部４２０は、定めた角度を示す動作信号を生成することができる。

パラメータ更新部４３０は、遅延部４１０から入力される生体信号を入力情報として用いて、所定の機械学習モデルを用いて出力情報として推定される人体の動作の推定値と、運動解析部４２０から入力される動作信号に示される人体の観測値との差の大きさが、より小さくなるように機械学習モデルのパラメータセットを再帰的に（regressively）更新する。観測値、推定値が、図示の出力１、出力２にそれぞれ相当する。観測値と推定値との差の大きさを示す損失関数（loss function）は、例えば、差分二乗和（ＳＳＤ：Sum of Squared Differences）、交差エントロピー（cross entropy）などのいずれであってもよい。

パラメータ更新部４３０は、更新されるパラメータセットの更新を、予め設定された回数繰り返してもよいし、パラメータセットが一定値に収束するまで繰り返してもよい。パラメータ更新部４３０は、例えば、パラメータセットを構成する一部または全部のパラメータの更新前後の値の差の大きさが所定の大きさの閾値以下となったか否かに基づいて、収束したか否かを判定することができる。パラメータ更新部４３０は、更新により定めたパラメータセットを上記の予測部１２０に設定する。パラメータ更新部４３０において用いられる機械学習モデルは、予測部１２０において用いられる機械学習モデルと同種の数理モデルであればよい。予測部１２０は、入力された生体信号を設定された予測時間で遅延させ、遅延させた生体信号を機械学習モデルに入力することで、現在から予測時間経過後の予測時刻における動作を示す動作信号が機械学習モデルから得ることができる。

なお、動作検出部１１２および生体信号検出部１１４として、上記の検出部１１０が用いられてもよいし、検出部１１０とは別個に設けられてもよい。また、モデル学習部４０は、操作システムＳ１ａ－Ｓ１ｄのいずれか、または、いずれにも備わっていてもよいし、操作システムＳ１ａ－Ｓ１ｄのいずれとも独立の機器において実現されてもよい。
また、モデル学習部４０が、操作システムＳ１ａ－Ｓ１ｄのいずれか、または、いずれにも備わる場合には、ロボット２０に対する操作中に、検出部１１０から入力される生体信号と、動作信号を用いて、機械学習モデルのモデルパラメータを更新してもよい（オンライン学習）。これにより、生体信号に基づいて推定される動作予測値が現在の動作の予測値に近づくように校正されるので、さらに動作信号の予測精度を向上させることができる。

（機械学習モデル）
次に、機械学習モデルの一例について説明する。図７は、ニューラルネットワークの一種であるＣＮＮ（Convolutional Neural Network、畳み込みニューラルネットワーク）の構成例を示す。ＣＮＮは、いわゆる深層学習（deep learning）に用いられる機械学習モデルの代表例である。ＣＮＮは、１層の入力層（input layer）、複数の中間層（intermediate layer, hidden layer）および１層の出力層（output layer）を備える。図５に例示されるＣＮＮは、入力層Ｉｌ、Ｌ層（Ｌは、２以上の整数）の中間層Ｍｌ－１～Ｍｌ－Ｌ、および出力層Ｏｌを備える。各層は、それぞれ所定数の節点（ノード（node））を備える。複数の中間層には少なくとも１層の畳み込み層と１層のプーリング層が含まれる。

入力層Ｉｌの各節点は、自部に入力される入力値を次の層の少なくとも１つの節点に出力する。例えば、予測部１２０、パラメータ更新部４３０では、生体信号を構成する所定期間（例えば、１０－１００ｍｓ）内の個々のサンプル値が、そのサンプル値に対応する節点に入力される。
出力層Ｏｌの各節点は、直前の層の少なくとも１つの節点から入力される入力値を外部に出力する。予測部１２０、パラメータ更新部４３０は、動作を表現する個々の要素値（例えば、部位間の角度）が、その要素値に対応する節点から出力される。

畳み込み層（convolution layer）には、カーネル数（number of kernels）が予め設定される。カーネル数とは、それぞれ入力値に対する処理（例えば、演算）に用いるカーネルの個数に相当する。カーネル数は、通例、入力値の個数よりも少ない。カーネルとは、一度に１つの出力値を算出するための処理単位を指す。ある層において算出される出力値は、次の層への入力値として用いられる。カーネルは、フィルタとも呼ばれる。カーネルサイズ（kernel size）とは、カーネルにおける一回の処理に用いられる入力値の数を示す。カーネルサイズは、通例、２以上の整数となる。

畳み込み層は、複数の節点のそれぞれに直前の層から入力される入力値に対してカーネルごとに畳み込み演算を行って畳み込み値（convolved value）を算出し、算出した畳み込み値とバイアス値（bias）を加算して補正値（corrected value）を算出する層である。畳み込み層は、算出した補正値に対する所定の活性化関数（activation function）の関数値を算出し、算出した出力値を次の層に出力する。なお、畳み込み層の各節点には直前の層から１個または複数の入力値が入力され、各節点における畳み込み値の算出のために、それぞれの入力値に対して独立な畳み込み係数が用いられる。畳み込み係数、バイアス値および活性化関数のパラメータは、１セットのモデルパラメータの一部となる。

活性化関数として、例えば、正規化線形ユニット（rectified linear unit）、シグモイド関数（sigmoid function）などが利用できる。正規化線形ユニットは、所定の閾値（例えば、０）以下の入力値に対する出力値として、その閾値に定め、所定の閾値を超える入力値をそのまま出力する関数である。従って、この閾値は１セットのモデルパラメータの一部となりうる。また、畳み込み層については、直前の層の節点からの入力値の参照の要否、次の層の節点への出力値の出力の要否も、１セットのモデルパラメータの一部となりうる。

プーリング層（pooling layer）は、直前の層の複数の節点からそれぞれ入力される入力値から１つの代表値を定め、定めた代表値を出力値として次の層に出力する節点を有する層である。代表値は、例えば、最大値、平均値、最頻値など複数の入力値を統計的に代表する値が用いられる。プーリング層にはストライド（stride）を予め設定しておく。ストライドとは、１つの節点に対して入力値を参照する直前の層の相互に隣接する節点の範囲を示す。そのため、プーリング層は、直前の層からの入力値を、より低い次元に縮約（ダウンサンプリング, down-sampling）して出力値を次の層に提供する層とみなすこともできる。

次に、機械学習モデルを用いた操作者動作の推定例について説明する。図１１は、操作者動作の推定例を示す図である。図１１の縦軸、横軸は、それぞれ動作、時刻を示す。区間Ａは、モデル学習に用いた生体信号から機械学習モデルを用いて推定された動作の推定値と、その動作の観測値を示す。推定値は、観測値とほぼ等しい値をとる。推定値は観測値よりも遅延時間ΔＴ_５（ＥＭＤ）に相当する時間だけ先行する。これは、現在よりも遅延時間に相当する予測時間の経過後の予測時刻における動作が予測されていることを示す。モデル学習において機械学習モデルへの入力情報とする生体信号に予測時間に相当する遅延を加えて、出力情報とする動作と同期をとったためである。区間Ｂは、モデル学習に用いなかった生体信号から機械学習モデルを用いて推定値と、その動作の観測値を示す。推定値には、誤差が加わるが、観測値と同様の時間経過に対する変化傾向を有する。推定値は観測値よりも遅延時間に相当する時間だけ先行するが、その周期と振幅は観測値と同様となる。

見方を変えると、図１１は、検出された生体信号に基づく動作が得られる予想時刻よりも遅延時間ΔＴ_５に相当する時間だけ先行した時刻に、その動作の予測値が得られることを示す。予測部１２０は、上記の実施形態において遅延時間ΔＴ_５の範囲内で予測時間を調整することで、動作の予測値に基づいてロボット２０の動作を制御するタイミングを調整することができる。より具体的には、予測部１２０は、入力された検出信号に対して、上記の機械学習モデルを用いて得られた動作信号（遅延時間ΔＴ_５だけ先行）に対して、遅延時間ΔＴ_５から予測時間の時間差に相当する時間だけ遅延させ、遅延させた動作信号を制御部２１０に出力すればよい。

なお、上記の説明では、生体信号としてＥＭＧを用いる場合を例にしたが、これには限られない。人体の動作と相関を有し、その動作に先行して発生する生体信号であれば適用可能である。かかる生体信号として、例えば、脳波（ＥＥＧ：Electroencephalograph）を用いることができる。その場合、検出部１１０は、非侵襲的に脳波を検出するためのブレインマシンインタフェース（ＢＭＩ、Brain Machine Interface）として構成されてもよい。ＢＭＩは、脳の活動により生ずる電位の変化を検出するための頭皮上電極を備える。頭皮上電極は、ヘッドマウンテッドディスプレイに設置されてもよい。頭皮上電極は、操作者がヘッドマウンテッドディスプレイを装着したときに、操作者の頭皮に接触する位置に設置されればよい。

以上に説明したように、上記の実施形態に係る操作システムＳ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄは、操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める予測部１２０と、予測値に基づいてロボット２０の動作を制御する制御部２１０と、操作者の動作の現在値からロボット２０の動作までの遅延時間に基づいて予測時間を定める予測時間設定部１７０と、を備える。
この構成によれば、操作者の動作からロボット２０の動作までの遅延時間に基づいて定められた予測時間の経過後の予測時刻における、操作者の動作の予測値に基づいてロボット２０の動作が制御される。遅延時間の変動に応じて制御対象とするロボット２０の動作の時刻を調整することができるため、遅延時間の変動を低減または解消できる。そのため、ロボット２０の操作性を向上することができる。

また、予測時間設定部１７０は、操作者の動作の現在値とロボット２０の動作環境を示す画像を用いて、前記遅延時間を検出してもよい。
この構成によれば、操作者の動作から、その動作がロボット２０の動作に反映したことが操作者に伝達されるまでの遅延時間に基づいてロボット２０の動作が制御される。操作者が実感できる遅延に基づく制御がなされるため、ロボット２０の操作性を向上することができる。

また、操作システムＳ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄは、ロボットの動作環境を示す画像を撮影する撮影部３０を備えてもよい。
この構成によれば、操作者がロボット２０から隔絶された場所に所在していても、ロボット２０の動作環境を視認しながら、その動作を制御することができる。

また、予測時間設定部１７０は、予測部１２０から制御部２１０への伝送と、撮影部３０から予測時間設定部１７０への伝送に係る伝送遅延を検出し、検出した伝送遅延に基づいて予測時間を定めてもよい。
この構成によれば、予測部１２０から制御部２１０への伝送と、撮影部３０から予測時間設定部１７０への伝送に係る伝送遅延に基づいてロボット２０の動作が制御される。通信環境やトラフィックなどにより著しく変動しうる伝送遅延を補償することで、ロボット２０の操作性を向上することができる。

また、予測時間設定部１７０は、予測時間の設定画面を表示部１４０に表示させ、操作信号に基づいて予測時間を設定してもよい。
この構成によれば、操作者が任意に予測時間を設定することができる。そのため、操作者の嗜好や作業内容に応じた予測時間に基づいてロボット２０の動作を制御することができる。

また、操作装置１０ｄは、少なくともロボットの動作環境を示す画像と操作者の動作を示す動作信号に基づいて当該操作者の第２動作を推定する推定部１５０を備えてもよい。制御部２１０は、第２動作に基づいてロボット２０の動作を制御してもよい。
この構成によれば、操作者の動作とロボット２０の動作環境から操作者が意図する動作が第２動作として推定される。ロボット２０に対する操作に第２動作が補われることで、ロボット２０の動作に操作者の意図が反映される。そのため、ロボット２０に対する操作性がさらに向上する。

また、操作装置１０ａ、１０ｂ、１０ｃ、１０ｄは、生体信号から操作者の動作までの遅延時間で遅延させた生体信号から機械学習モデルを用いて定まる操作者の動作の予測値と、操作者の動作の実測値との差分がより低減するように機械学習モデルのパラメータを定めるモデル学習部４０を備えてもよい。
この構成によれば、検出された生体信号に基づく動作が得られる予想時刻よりも遅延時間に相当する時間だけ先行した時刻に、その動作の予測値が得られる。そのため、遅延時間の範囲内で動作の予測値に基づいてロボット２０の動作を制御するタイミングを調整することができる。

以上、図面を参照してこの発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、操作システムＳ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄにおいて、撮影部３０および表示部１４０の一方または両方が省略されていてもよい。また、伝送路Ｃ_ｐには、通信ネットワークが含まれなくてもよい。かかる構成であっても、操作者がロボット２０に比較的近接し、ロボット２０の動作環境を目視することができれば、許容されうる。
操作装置１０ａ、１０ｂ、１０ｃ、１０ｄが制御部２１０を備える代わりに、ロボット２０において制御部２１０が省略されてもよい。
予測部１２０は、検出部１１０と有線または無線で各種のデータを伝送可能に接続されていれば、操作装置１０ａ、１０ｂ、１０ｃ、１０ｄにおいて検出部１１０が省略されてもよい。
また、操作装置１０ａ、１０ｂ、１０ｃ、１０ｄは、モデル学習部４０を備えてもよい。
操作装置１０ａ、１０ｂ、１０ｃ、１０ｄは、必ずしも人体に装着可能に構成されていなくてもよい。操作装置１０ａ、１０ｂ、１０ｃ、１０ｄは、例えば、据置型であってもよい。

上記の機器（例えば、操作装置１０ａ、１０ｂ、１０ｃ、１０ｄ、ロボット２０、モデル学習装置）は、専用の部材を含むハードウェアで実現されてもよいし、汎用の部材を含むコンピュータとして構成されてもよい。図８に例示されるコンピュータ５０は、プロセッサ５２、ドライブ部５６、入出力部５８、ＲＯＭ６２、およびＲＡＭ６４を含んで構成される。

プロセッサ５２は、個々の機器の機能を発揮させるための処理や、その機器を構成する各部の機能を制御する。プロセッサ５２は、例えば、ＣＰＵ（Central Processing Unit）である。
ドライブ部５６は、記憶媒体５４を固定してもよい、着脱可能としてもよい。ドライブ部５６は、記憶媒体５４に記憶されている各種のデータを読み取り、または、各種のデータを記憶媒体５４に記憶する。ドライブ部５６は、例えば、半導体ドライブ（ＳＳＤ：Solid State Drive）、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）である。記憶媒体５４は、例えば、フラッシュメモリ、ハードディスクなどの不揮発性メモリ（non-volatile memory）である。

入出力部５８は、他の機器との間で無線または有線で各種のデータを入力または出力する。入出力部５８は、他の機器と通信ネットワークを経由して、各種のデータを入出力可能に接続してもよい。入出力部５８は、例えば、入出力インタフェース、通信インタフェースなどのいずれか、または、それらの組合せのいずれであってもよい。

ＲＯＭ（Read Only Memory）６２は、個々の機器の各部が実行する各種の処理を指示する命令が記述されたプログラム、その実行のためのパラメータなどの各種のデータ、各部により取得された各種のデータを永続的に記憶する記憶媒体である。なお、本願では、プログラムに記述された命令で指示される処理を実行することを、「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。
ＲＡＭ（Random Access memory）６４は、主にプロセッサ５２の作業領域として用いられる記憶媒体である。プロセッサ５２は、その起動に応じてＲＯＭ６２に記憶されたプログラムとパラメータをＲＡＭ６４に記録する。そして、プロセッサ５２は、その実行により得られた演算結果、取得したデータなどをＲＡＭ６４に一時的に記録する。

なお、上記の機器は、それぞれ、その内部にコンピュータシステムを備えてもよい。例えば、上記のプロセッサ５２は、コンピュータシステムの構成要素となりうる。上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶媒体に記憶され、このプログラムをコンピュータが読み出して実行することによって、それらの処理が行われる。コンピュータシステムは、ＯＳ（Operation System）、デバイスドライバ、ユーティリティプログラムなどのソフトウェアや周辺機器等のハードウェアを含むものとする。図６に示すハードウェアは、かかるハードウェアの例示である。また、「コンピュータ読み取り可能な記憶媒体」とは、磁気ディスク、光磁気ディスク、ＲＯＭ、ＲＡＭ、半導体メモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記憶媒体、とは、インターネット等のネットワークや電話回線等の通信回線を用いてプログラムを送信する場合に用いる通信線など、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリなど、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上記の機器の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上記の機器の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄ…操作システム、Ｓ２…モデル学習システム、１０ａ、１０ｂ、１０ｃ、１０ｄ…操作装置、２０…ロボット、３０…撮影部、４０…モデル学習部、５０…コンピュータ、５２…プロセッサ、５４…記憶媒体、５６…ドライブ部、５８…入出力部、６２…ＲＯＭ、６４…ＲＡＭ、１１０…検出部、１１２…動作検出部、１１４…生体信号検出部、１１４ａ…生体信号感知部、１１４ｂ…生体信号取得部、１１４ｃ…前処理部、１２０…予測部、１４０…表示部、１５０…推定部、１６０…統合部、１７０…予測時間設定部、１８０…操作部、１９０…計測部、２１０…制御部、２２０…駆動部、４１０…遅延部、４２０…運動解析部、４３０…パラメータ更新部

Claims (8)

1. 操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める予測部と、
   前記予測値に基づいてロボットの動作を制御する制御部と、
   前記操作者の動作の現在値から前記ロボットの動作までの遅延時間に基づいて前記予測時間を定める予測時間設定部と、を備える
   操作システム。
2. 前記予測時間設定部は、前記動作の現在値と前記ロボットの動作環境を示す画像を用いて、前記遅延時間を検出する
   請求項１に記載の操作システム。
3. 前記ロボットの動作環境を示す画像を撮影する撮影部を備える
   請求項１または請求項２に記載の操作システム。
4. 前記予測時間設定部は、
   前記予測部から前記制御部への伝送と、前記撮影部から前記予測時間設定部への伝送に係る伝送遅延を検出し、
   前記伝送遅延に基づいて前記予測時間を定める
   請求項３に記載の操作システム。
5. 前記予測時間設定部は、
   前記予測時間の設定画面を表示部に表示させ、
   操作信号に基づいて前記予測時間を設定する
   請求項１から請求項４のいずれか一項に記載の操作システム。
6. 少なくとも前記ロボットの動作環境を示す画像と前記操作者の動作を示す動作信号に基づいて当該操作者の第２動作を推定する推定部を備え、
   前記制御部は、さらに前記第２動作に基づいて前記ロボットの動作を制御する
   請求項１から請求項５のいずれか一項に記載の操作システム。
7. 生体信号から操作者の動作までの遅延時間で遅延させた前記生体信号から前記機械学習モデルを用いて定まる前記操作者の動作の予測値と、前記操作者の動作の実測値との差分がより低減するように前記機械学習モデルのパラメータを定めるモデル学習部を備える
   請求項１から請求項６のいずれか一項に記載の操作システム。
8. 操作システムにおける操作方法であって、
   操作者の生体信号から、現在から予測時間の経過後の予測時刻における当該操作者の動作の予測値を、所定の機械学習モデルを用いて定める第１ステップと、
   前記予測値に基づいてロボットの動作を制御する第２ステップと、
   予測時間設定部が、前記操作者の動作の現在値から前記ロボットの動作までの遅延時間に基づいて前記予測時間を定める第３ステップと、
   を有する操作方法。

Images