JP2020054408A - 制御内容決定装置及び制御内容決定方法 - Google Patents

Abstract

【課題】個々のユーザに適応する動作支援のための動作支援装置の制御内容を決定することができる制御内容決定装置を提供する。【解決手段】制御内容決定装置２００は、ユーザの動作を機械的に支援する動作支援装置１００の動作状態を示す動作状態情報を取得する第１取得部２１０と、（i）制御内容決定ルールに従って、動作支援装置１００の制御内容を動作状態情報から決定する、又は（ii）ランダムに動作支援装置１００の制御内容を決定する決定部２２０と、決定された制御内容を出力する出力部２３０と、動作支援装置１００による動作支援の快適さを示す快適性情報を取得する第２取得部２４０と、動作状態情報及び快適性情報に基づいて、制御内容決定ルールを更新する更新部２５０と、を備え、決定部２２０は、確率εで（ii）の決定を選択する。【選択図】図１

Description

本発明は、ユーザの動作を機械的に支援する動作支援装置の制御内容を決定する制御内容決定装置及び制御内容決定方法に関する。

従来、自力で歩行することが困難な被介護者の起立動作を支援する動作支援システムが提案されている（例えば、特許文献１を参照）。

特開２０１６−６４１２４号公報

しかしながら、従来技術では、予め定められた制御パターンに基づいて動作支援装置が制御されるため、あるユーザに対しては快適な動作支援ができたとしても、別のユーザには不快な動作支援しかできない場合がある。つまり、従来技術では、個々のユーザに適応した動作支援を実現することが難しい。

そこで、本発明は、個々のユーザに適応する動作支援のための動作支援装置の制御内容を決定することができる制御内容決定装置及び制御内容決定方法を提供する。

本発明の一態様に係る制御内容決定装置は、ユーザの動作を機械的に支援する動作支援装置の動作状態を示す動作状態情報を取得する第１取得部と、（i）制御内容決定ルールに従って、前記動作支援装置の制御内容を前記動作状態情報から決定する、又は（ii）ランダムに前記動作支援装置の制御内容を決定する決定部と、決定された前記制御内容を出力する出力部と、前記動作支援装置による動作支援の快適さを示す快適性情報を取得する第２取得部と、前記動作状態情報及び前記快適性情報に基づいて、前記制御内容決定ルールを更新する更新部と、を備え、前記決定部は、確率εで前記（ii）の決定を選択する。

本発明の一態様に係る制御内容決定方法は、ユーザの動作を機械的に支援する動作支援装置の動作状態を示す動作状態情報を取得する第１取得ステップと、（i）制御内容決定ルールに従って、前記動作支援装置の制御内容を前記動作状態情報から決定する、又は（ii）ランダムに前記動作支援装置の制御内容を決定する決定ステップと、決定された前記制御内容を出力する出力ステップと、前記動作支援装置による動作支援の快適さを示す快適性情報を取得する第２取得ステップと、前記動作状態情報及び前記快適性情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含み、前記決定ステップでは、確率εで前記（ii）の決定を選択する。

なお、これらの包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る制御内容決定装置は、個々のユーザに適応する動作支援のための動作支援装置の制御内容を決定することができる。

図１は、実施の形態１に係る動作支援システムの構成を示すブロック図である。 図２は、実施の形態１に係る動作支援装置の本体部の斜視図である。 図３Ａは、実施の形態１に係る動作支援装置の本体部の動作を説明するための図である。 図３Ｂは、実施の形態１に係る動作支援装置の本体部の動作を説明するための図である。 図３Ｃは、実施の形態１に係る動作支援装置の本体部の動作を説明するための図である。 図４は、実施の形態１に係る動作支援装置におけるニューラルネットワークの一例を示す概念図である。 図５は、実施の形態１における制御内容の一例を示す図である。 図６は、実施の形態１に係る制御内容決定装置の処理を示すフローチャートである。 図７は、実施の形態１に係る快適性情報の入力のためのグラフィカルユーザーインターフェースの一例を示す図である。 図８は、実施の形態２に係る制御内容決定装置の機能構成を示すブロック図である。 図９は、実施の形態２に係る制御内容決定装置の処理を示すフローチャートである。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同一又は類似の構成部及び処理ステップについては同じ符号を付している。

（実施の形態１）
［動作支援システムの構成］
まず、動作支援システムの全体構成について説明する。図１は、実施の形態１に係る動作支援システム１０の構成を示すブロック図である。本実施の形態に係る動作支援システム１０は、動作支援装置１００と、制御内容決定装置２００と、入力装置３００と、を備える。以下に、各装置の構成について図面を参照しながら具体的に説明する。

［動作支援装置の構成］
動作支援装置１００は、ユーザの動作を機械的に支援する。つまり、動作支援装置１００は、ユーザを物理的に補助することによりユーザの動作を支援する。図１に示すように、動作支援装置１００は、本体部１１０と、センサ１２０と、制御部１３０と、駆動部１４０と、を備える。

本体部１１０は、ユーザの動作にあわせてユーザに力を付加することで、ユーザの動作を機械的に支援する。例えば、本体部１１０は、ユーザの起立動作あるいは歩行動作などにあわせて動く複数の機械部品を含む。この本体部１１０の具体例については、図２〜図３Ｃを用いて後述する。

センサ１２０は、動作支援装置１００の動作状態を検知し、検知結果を動作状態情報として出力する。動作状態は、本体部１１０に含まれる機械部品の位置、角度、軌道もしくは移動速度、又は、機械部品がユーザから受けている力もしくは圧力などを含む。また、動作状態は、駆動部１４０の状態を含んでもよい。具体的には、動作状態は、駆動部１４０の出力（動力の大きさ）などを含んでもよい。

具体的には、センサ１２０は、例えばロータリエンコーダである。この場合、センサ１２０は、駆動部１４０の回転数（回転角度）を検出する。

制御部１３０は、制御内容決定装置２００によって決定された制御内容に基づいて駆動部１４０を制御する。例えば、駆動部１４０が電動モータである場合に、制御部１３０は、制御内容に基づいて電動モータの回転速度に対応するパルス信号を駆動部１４０に送信する。

駆動部１４０は、本体部１１０を駆動する。例えば、駆動部１４０は、電動モータ、プーリー、ベルトなどを含む。駆動部１４０によって本体部１１０が駆動されることにより、ユーザの動作が機械的に支援される。

［動作支援装置の本体部の具体例］
次に、動作支援装置１００の本体部１１０の具体例について図２を参照しながら説明する。図２は、実施の形態１に係る動作支援装置１００の本体部１１０の斜視図である。各図において、Ｘ軸方向は、動作支援装置１００の進行方向と逆向きを表す。また、Ｚ軸方向は、鉛直方向の上向きであり、Ｘ軸と直交する方向を表す。また、Ｙ軸方向は、Ｘ軸及びＺ軸の各々と直交する方向を表す。

動作支援装置１００の本体部１１０は、座面に着座しているユーザが起立してから歩行するまでの動作を支援するために、図２に示すように、保持部１１１と、アーム部１１２と、基部１１３と、を備える。

保持部１１１は、ユーザに装着されることでユーザの上半身を保持する。保持部１１１は、アーム部１１２の一端に着脱可能に接続される。

アーム部１１２は、２自由度のロボットアームである。アーム部１１２は、第１関節１１２ａと、第１アーム１１２ｂと、第２関節１１２ｃと、第２アーム１１２ｄと、接続部１１２ｅと、を備える。

第１アーム１１２ｂの一端は、第１関節１１２ａを介して回動可能に基部１１３に連結され、第１アーム１１２ｂの他端は、第２関節１１２ｃを介して回動可能に第２アーム１１２ｄに連結される。第１アーム１１２ｂは、駆動部１４０によって駆動され、第１関節１１２ａを中心に回動する。

第２アーム１１２ｄの一端は第２関節１１２ｃを介して回動可能に第１アーム１１２ｂに連結され、第２アーム１１２ｄの他端は、接続部１１２ｅに連結される。第２アーム１１２ｄは、駆動部１４０によって第１アーム１１２ｂとは独立して駆動され、第２関節１１２ｃを中心に回動する。

基部１１３は、アーム部１１２を支持する。ここでは、基部１１３は、床面を移動するための車輪を有し、駆動部１４０によって車輪の回転が制御されることにより床面をＸ軸の負の向きに移動する。この基部１１３の移動によってユーザの歩行動作を支援することができる。また、基部１１３には、アーム部１１２が接続される。

ここで、ユーザの起立動作を支援する際の本体部１１０の動作について図３Ａ〜図３Ｃを参照しながら説明する。また、図３Ａ〜図３Ｃは、実施の形態１に係る動作支援装置１００の本体部１１０の動作を説明するための図である。

図３Ａにおいて、ユーザは、保持部１１１によって保持された状態で座面（例えば、ベッド、椅子、又は、トイレの便座など）に座っている。ここで、ユーザから起立動作の支援開始の指示入力を受けると、駆動部１４０は、図３Ｂに示すように、アーム部１１２を駆動して座位姿勢から前傾姿勢までの動作を支援する。さらに、駆動部１４０は、図３Ｃに示すように、アーム部１１２を駆動して前傾姿勢から起立姿勢までの動作を支援する。

［制御内容決定装置の構成］
次に、制御内容決定装置２００について、図１を参照しながら具体的に説明する。制御内容決定装置２００は、動作支援装置１００のための制御内容を決定し、その制御内容を動作支援装置１００に出力する。図１に示すように、制御内容決定装置２００は、第１取得部２１０と、決定部２２０と、出力部２３０と、第２取得部２４０と、更新部２５０と、を備える。

制御内容決定装置２００は、例えば、プロセッサ及びメモリにより実現される。例えば、メモリに格納されたソフトウェアプログラムをプロセッサが実行したときに、プロセッサが、第１取得部２１０、決定部２２０、出力部２３０、第２取得部２４０、及び更新部２５０として機能する。また、制御内容決定装置２００は、第１取得部２１０、決定部２２０、出力部２３０、第２取得部２４０、及び更新部２５０に対応する専用の１以上の電子回路として実現されてもよい。

第１取得部２１０は、動作支援装置１００のセンサ１２０から動作状態情報を取得する。例えば、第１取得部２１０は、センサ１２０の出力信号を処理することにより、接続部１１２ｅの基部１１３に対する相対的な位置情報を動作状態情報として取得する。

決定部２２０は、（i）制御内容決定ルールに従って、動作状態情報から動作支援装置１００の制御内容を決定する、又は、（ii）ランダムに動作支援装置１００の制御内容を決定する。つまり、決定部２２０は、（i）の決定及び（ii）の決定を含む複数の決定の中から１つの決定を選択的に実行する。このとき、決定部２２０は、確率εで（ii）の決定を選択する。εは、０より大きく１より小さい予め定められた値である。例えば、決定部２２０は、１−εの確率で（i）の決定を選択し、εの確率で（ii）の決定を選択する。

制御内容決定ルールは、例えば、動作状態情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表される。制御内容決定ルールは、図示しない記憶部に記憶されている。ニューラルネットワークについては図４を用いて後述する。

出力部２３０は、決定部２２０によって決定された制御内容を出力する。ここでは、出力部２３０は、動作支援装置１００に制御内容を出力する。

第２取得部２４０は、動作支援装置１００の動作支援によるユーザの快適さを示す快適性情報を取得する。この快適性情報は、入力装置３００を介してユーザから入力された情報を含む。例えば、第２取得部２４０は、ユーザによって入力された動作支援の快適性を示す値を入力装置３００から取得する。

また例えば、第２取得部２４０は、入力装置３００から音声信号を受信し、音声認識により所定のキーワードの発言を検出することにより快適性情報を取得してもよい。所定のキーワードは、ユーザの快適性を示す予め定められたキーワードである。例えば、所定のキーワードは、「痛い」あるいは「遅い」などである。

更新部２５０は、第１取得部２１０によって取得された動作状態情報と、第２取得部２４０によって取得された快適性情報とに基づいて、決定部２２０で用いられる制御内容決定ルールを更新する。具体的には、更新部２５０は、快適性情報に基づく値を報酬として用いて複数の制御内容の価値を更新する。そして、更新部２５０は、更新された価値に基づいてニューラルネットワークのパラメータ（例えば重みｗ）を更新する。つまり、更新部２５０は、複数の制御内容の価値に基づいた強化学習により、ユーザに適応した制御内容の決定を学習する。

［ニューラルネットワークの説明］
ここで、本実施の形態におけるニューラルネットワークについて図４を参照しながら説明する。図４は、実施の形態１に係る制御内容決定装置２００におけるニューラルネットワークの一例を示す概念図である。このニューラルネットワークは、多階層の人工ニューラルネットワークであり、動作状態情報に基づく環境ｓにおける複数の制御内容ａｉ（ｉ＝１〜ｎ）の価値Ｑａｉを推定するための数学モデルである。

［制御内容の具体例］
図５は、実施の形態１における制御内容の一例を示す図である。

制御内容は、接続部１１２ｅの位置の時間変化を示す情報である。例えば、制御内容は、ＸＺ平面上の接続部１１２ｅの移動軌跡を示す。具体的には、制御内容は、各時間ｔｉ（ｉ＝０〜ｍ）における、基部１１３に対する接続部１１２ｅの相対的な位置を示す。このような制御内容を含む複数の制御内容ａ１〜ａｎの各々の環境ｓ（動作状態）における価値がニューラルネットワークによって推定される。

入力装置３００は、ユーザから動作支援の快適さを示す快適性情報の入力を受ける。例えば、入力装置３００は、動作支援装置１００に設けられ、タッチディスプレイ、機械式プッシュボタンなどを介して快適性情報の入力を受ける。また例えば、入力装置３００は、マイクロフォンであってもよい。この場合、入力装置３００は、ユーザから音声入力を受ける。

［制御内容決定装置の動作］
次に、以上のように構成された制御内容決定装置２００の動作について図６及び図７を参照しながら説明する。

図６は、実施の形態１に係る制御内容決定装置２００の処理を示すフローチャートである。この処理は、例えば、ユーザからの指示に基づいて実行されればよい。

まず、第１取得部２１０は、動作状態情報を取得する（Ｓ１１０）。決定部２２０は、ニューラルネットワークに基づいて、動作状態情報から各制御内容の価値を推定する（Ｓ１２０）。

続いて、決定部２２０は、確率εを用いて分岐処理を行う（Ｓ１３０）。ここでは、決定部２２０は、１−εの確率で（i）の決定を選択し、εの確率で（ii）の決定を選択する。

ここで、（ii）の決定が選択された場合（Ｓ１３０のε）、決定部２２０は、ランダムに制御内容を決定する（Ｓ１４０）。つまり、決定部２２０は、複数の制御内容の中からランダムに制御内容を選択する。言い換えると、決定部２２０は、ニューラルネットワークに基づいて推定される価値に依存せずに制御内容を決定する。

一方、（i）の決定が選択された場合（Ｓ１３０の１−ε）、決定部２２０は、推定された価値に基づいて制御内容を決定する（Ｓ１５０）。例えば、決定部２２０は、複数の制御内容の中から最も高い価値を有する制御内容を選択する。

出力部２３０は、ステップＳ１４０又はステップＳ１５０で決定された制御内容を出力する（Ｓ１６０）。これにより、決定された制御内容に基づいて動作支援装置１００が制御される。

その後、第２取得部２４０は、快適性情報を取得する（Ｓ１７０）。例えば、入力装置３００がディスプレイを有する場合、第２取得部２４０は、図７に示すようなグラフィカルユーザーインターフェース（ＧＵＩ）を介して、屋内におけるユーザの快適性を示す値を取得する。なお、図７のＧＵＩでは、スライダーを用いて快適性の値が入力されるが、これに限定される必要はない。ＧＵＩは、数値が直接入力されるテキストボックスを含んでもよいし、数値増加／減少ボタンを含んでもよいし、これらの組合せを含んでもよい。

続いて、更新部２５０は、動作状態情報及び快適性情報に基づいて、複数の制御内容の価値を更新する（Ｓ１８０）。このとき、快適性情報に基づく値が強化学習における報酬として用いられる。快適性情報に基づく値とは、快適性を示す値であり、例えば、快適性が高いほど増加する値である。

さらに、更新部２５０は、更新された価値に基づいてニューラルネットワークのパラメータを更新する（Ｓ１９０）。つまり、更新部２５０は、更新された各制御内容の価値を教師信号として入力することにより、複数階層のニューラルネットワークのパラメータを学習する。

このようなステップＳ１８０及びステップＳ１９０の処理が内部的に繰り返されることにより、いわゆる深層強化学習が行われる。なお、深層強化学習については、特に限定される必要はなく、従来技術が用いられてもよい。したがって、深層強化学習の詳細な説明については省略する。

なお、快適性情報の取得は、制御内容の決定のたびに行われなくてもよい。つまり、ステップＳ１７０はスキップされてもよい。この場合、更新部２５０は、予め定められた値（例えば０）を報酬として用いて各制御内容の価値を学習してもよい。

［効果］
以上のように、本実施の形態に係る制御内容決定装置２００は、動作支援装置１００の動作状態を示す動作状態情報を取得する第１取得部２１０と、（i）制御内容決定ルールに従って、動作支援装置１００の制御内容を動作状態情報から決定する、又は（ii）ランダムに動作支援装置１００の制御内容を決定する決定部２２０と、決定された制御内容を出力する出力部２３０と、動作支援装置１００による動作支援の快適さを示す快適性情報を取得する第２取得部２４０と、動作状態情報及び快適性情報に基づいて、制御内容決定ルールを更新する更新部２５０と、を備え、決定部２２０は、確率εで（ii）の決定を選択する。

この構成により、更新部２５０は、快適性情報に基づいて制御内容決定ルールを更新することができる。したがって、制御内容決定装置２００は、ユーザの快適性の向上に適した制御内容決定ルールを学習することができ、個々のユーザに適応した動作支援を実現することができる。さらに、決定部２２０は、確率εでランダムな決定を選択するので、現在の制御内容決定ルールに縛られることなく、最適な制御内容を探査することができる。つまり、制御内容決定装置２００は、探査と学習結果の利用とのバランスを図ることができ、制御内容決定ルールを効果的に更新することができる。

また、本実施の形態に係る制御内容決定装置２００において、制御内容決定ルールは、動作状態情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表され、更新部２５０は、快適性情報に基づく値を報酬として用いて複数の制御内容の価値を更新し、更新された価値に基づいてニューラルネットワークのパラメータを更新する。

この構成により、いわゆる深層強化学習を制御内容決定装置２００に適用することができ、制御内容決定装置２００は、よりユーザに適した制御内容決定ルールを構築することができる。その結果、制御内容決定装置２００は、個々のユーザに適した動作支援を実現することができる。

また、本実施の形態に係る制御内容決定装置２００において、第２取得部２４０は、音声認識により所定のキーワードの発言を検出することにより快適性情報を取得してもよい。

この構成により、制御内容決定装置２００は、ユーザの快適性情報の入力の負荷を軽減することができ、ユーザの利便性を向上させることができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、動作支援が行われたときのユーザの安全性を示す安全度に基づいて複数の制御内容の中から１以上の制御内容を抽出し、抽出された１以上の制御内容の中からランダムに制御内容が決定される点が上記実施の形態１と主として異なる。以下に、実施の形態１と異なる点を中心に実施の形態２について説明する。

［制御内容決定装置の構成］
実施の形態２に係る制御内容決定装置の詳細な構成について説明する。図８は、実施の形態２に係る制御内容決定装置２００Ａの機能構成を示すブロック図である。図８に示すように、制御内容決定装置２００Ａは、第１取得部２１０と、決定部２２０Ａと、出力部２３０と、第２取得部２４０と、更新部２５０Ａと、検知部２６０Ａと、を備える。

決定部２２０Ａは、（i）制御内容決定ルールに従って、動作支援装置１００の制御内容を動作状態情報から決定する、又は（ii）ランダムに制御内容を決定する。ここで、（ii）の場合に、決定部２２０Ａは、安全度情報を参照して、安全度が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

安全度情報とは、複数の制御内容の各々に対して安全度が対応付けられた情報である。安全度は、動作支援が行われたときのユーザの安全性を示す値である。例えば、安全度情報は、複数の制御内容の各々に対して安全さを表す値が対応付けられたテーブルである。安全度情報は、図示しない記憶部に記憶されている。

所定の条件は、安全性が高い制御内容を決定するための条件である。例えば、所定の条件は、安全度の値が予め定められた閾値より大きいことである。

例えば、決定部２２０Ａは、安全度情報を参照して、複数の制御内容の中から、閾値より大きい安全度の値を有する１以上の制御内容を抽出する。そして、決定部２２０Ａは、抽出された１以上の制御内容からランダムに制御内容を決定する。

検知部２６０Ａは、ユーザが安全かどうかを検知する。つまり、検知部２６０Ａは、ランダムに制御内容が決定された場合に、その決定された制御内容に基づく動作支援が安全か否かを決定する。例えば、ユーザが転倒した場合に、検知部２６０Ａは、ユーザが安全でない（つまり危険）と検知する。

更新部２５０Ａは、実施の形態１と同様に、動作状態情報と快適性情報とに基づいて、制御内容決定ルールを更新する。本実施の形態に係る更新部２５０Ａは、さらに、ランダムに制御内容が決定された場合に、検知部２６０Ａによる検知結果に基づいて、安全度情報を更新する。例えば、ユーザが安全でないと検知された場合に、更新部２５０Ａは、決定された制御内容の安全度の値を減少させる。逆に、例えばユーザが安全であると検知された場合に、更新部２５０Ａは、決定された制御内容の安全度の値を増加させる。

［制御内容決定装置の動作］
次に、以上のように構成された制御内容決定装置２００Ａの動作について図９を参照しながら説明する。図９は、実施の形態２に係る制御内容決定装置２００Ａの処理を示すフローチャートである。

ステップＳ１３０において（ii）の決定が選択された場合（Ｓ１３０のε）、決定部２２０Ａは、安全度情報に基づいて、複数の制御内容の中から１以上の制御内容を抽出する（Ｓ１３２Ａ）。例えば、決定部２２０Ａは、安全度情報を参照して、複数の制御内容ａ１〜ａｎの中から、予め定められた閾値（例えば５０）より大きい安全度の値を有する制御内容を抽出する。

そして、決定部２２０Ａは、抽出された制御内容の中からランダムに制御内容を決定する（Ｓ１４０Ａ）。

その後、ステップＳ１６０〜Ｓ１９０が実行され、ランダムに制御内容が決定されていない場合は（Ｓ１９２ＡのＮｏ）、そのまま処理を終了する。一方、ランダムに制御内容が決定されていた場合は（Ｓ１９２ＡのＹｅｓ）、検知部２６０Ａは、動作支援が安全であったかどうかを検知する（Ｓ１９４Ａ）。更新部２５０Ａは、検知部２６０Ａによる検知結果に基づいて安全度情報を更新する（Ｓ１９６Ａ）。

［効果］
以上のように、本実施の形態に係る制御内容決定装置２００Ａにおいて、決定部２２０Ａは、ランダムに制御内容が決定される場合に、複数の制御内容の各々について当該制御内容に基づいて動作支援が行われたときのユーザの安全性を示す安全度が対応付けられた安全度情報を参照して、安全度が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

この構成により、決定部２２０Ａは、ランダムに制御内容を決定したときに、ユーザに危険が生じる可能性を低減させることができる。つまり、決定部２２０Ａは、ランダムな決定において、ユーザに危険が生じる制御内容が決定されることを抑制することができる。

また、本実施の形態に係る制御内容決定装置２００Ａは、さらに、動作支援が危険であったかどうかを検知する検知部２６０Ａを備え、更新部２５０Ａは、ランダムに制御内容が決定された場合に、さらに、検知部２６０Ａによる検知結果に基づいて安全度情報を更新する。

この構成により、更新部２５０Ａは、動作支援によってユーザに危険が生じたかどうかの検知結果に基づいて危険度情報を更新することができ、危険度情報の改良を図ることができる。したがって、決定部２２０Ａは、ランダムな決定において、ユーザに危険を生じさせる制御内容が決定されることを抑制することができる。

（他の実施の形態）
以上、本発明の１つまたは複数の態様に係る制御内容決定装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれてもよい。

なお、上記各実施の形態では、第２取得部２４０は、入力装置３００から受信した情報に基づいて快適性情報を取得していたが、入力装置３００だけではなくセンサ１２０から受信した情報にも基づいて、快適性情報を取得してもよい。例えば、第２取得部２４０は、センサ１２０から受信した情報を用いて、入力装置３００から受信した情報を修正することにより快適性情報を取得してもよい。具体的には、第２取得部２４０は、ユーザの表情、脳波又は心拍数に基づいて、入力装置３００から受信した情報を修正してもよい。この場合、センサ１２０は、画像センサ、脳波センサ、又は、心拍センサを含めばよい。

なお、上記各実施の形態では、深層強化学習を利用して、ユーザに適応した制御内容の決定を学習していたが、深層強化学習に限定されなくてもよい。例えば、制御内容決定ルールは、多階層のニューラルネットワークではなく、単階層のニューラルネットワークで表されてもよい。また、制御内容決定ルールは、ニューラルネットワークではなく、他の数学モデル（例えば、線形回帰、サポートベクタマシンなど）で表されてもよい。

なお、上記各実施の形態では、主として２つの決定（（i）制御内容決定ルールに従って、動作状態情報から動作支援装置１００の制御内容を決定する、又は、（ii）ランダムに動作支援装置１００の制御内容を決定する）について説明したが、必ずしも２つの決定に限定される必要はない。例えば、３以上の決定の中から１つの決定が選択されてもよい。つまり、決定部は、（i）の決定及び（ii）の決定を含む複数の決定のうちのいずれかを選択的に実行すればよく、このとき、（ii）の決定が確率εで選択されればよい。

なお、上記各実施の形態では、制御内容決定装置は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。例えば、制御内容決定装置は、クラウドコンピューティングによって実現されてもよい。

なお、上記実施の形態２では、安全度情報が更新されていたが、必ずしも安全度情報は更新されなくてもよい。この場合、制御内容決定装置２００Ａは検知部２６０Ａを備えなくてもよい。

また、上記各実施の形態における制御内容決定装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、制御内容決定装置２００は、第１取得部２１０と、決定部２２０と、出力部２３０と、第２取得部２４０と、更新部２５０とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明の一態様は、このような制御内容決定装置だけではなく、制御内容決定装置に含まれる特徴的な構成部をステップとする制御内容決定方法であってもよい。また、本発明の一態様は、制御内容決定方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の制御内容決定装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、ユーザの動作を機械的に支援する動作支援装置の動作状態を示す動作状態情報を取得する第１取得ステップと、（i）制御内容決定ルールに従って、前記動作支援装置の制御内容を前記動作状態情報から決定する、又は（ii）ランダムに前記動作支援装置の制御内容を決定する決定ステップと、決定された前記制御内容を出力する出力ステップと、前記動作支援装置による動作支援の快適さを示す快適性情報を取得する第２取得ステップと、前記動作状態情報及び前記快適性情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含む制御内容決定方法を実行させ、前記決定ステップでは、確率εで前記（ii）の決定を選択する。

１００ 動作支援装置
２００、２００Ａ 制御内容決定装置
２１０ 第１取得部
２２０、２２０Ａ 決定部
２３０ 出力部
２４０ 第２取得部
２５０、２５０Ａ 更新部
２６０Ａ 検知部

Claims (7)

1. ユーザの動作を機械的に支援する動作支援装置の動作状態を示す動作状態情報を取得する第１取得部と、
   （i）制御内容決定ルールに従って、前記動作支援装置の制御内容を前記動作状態情報から決定する、又は（ii）ランダムに前記動作支援装置の制御内容を決定する決定部と、
   決定された前記制御内容を出力する出力部と、
   前記動作支援装置による動作支援の快適さを示す快適性情報を取得する第２取得部と、
   前記動作状態情報及び前記快適性情報に基づいて、前記制御内容決定ルールを更新する更新部と、を備え、
   前記決定部は、確率εで前記（ii）の決定を選択する、
   制御内容決定装置。
2. 前記制御内容決定ルールは、動作情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表され、
   前記更新部は、前記動作情報に基づく値を報酬として用いて前記複数の制御内容の価値を更新し、更新された前記価値に基づいて前記ニューラルネットワークのパラメータを更新する、
   請求項１に記載の制御内容決定装置。
3. 前記第２取得部は、音声認識により所定のキーワードの発言を検出することにより前記快適性情報を取得する、
   請求項１又は２に記載の制御内容決定装置。
4. 前記決定部は、前記（ii）の決定において、複数の制御内容の各々について当該制御内容に基づいて動作支援が行われたときのユーザの安全性を示す安全度が対応付けられた安全度情報を参照して、前記安全度が所定の条件を満たす１以上の制御内容の中からランダムに前記制御内容を決定する、
   請求項１〜３のいずれか１項に記載の制御内容決定装置。
5. 前記制御内容決定装置は、さらに、動作支援が安全であったかどうかを検知する検知部を備え、
   前記更新部は、前記（ii）の決定が選択された場合に、さらに、前記検知部による検知結果に基づいて前記安全度情報を更新する、
   請求項４に記載の制御内容決定装置。
6. ユーザの動作を機械的に支援する動作支援装置の動作状態を示す動作状態情報を取得する第１取得ステップと、
   （i）制御内容決定ルールに従って、前記動作支援装置の制御内容を前記動作状態情報から決定する、又は（ii）ランダムに前記動作支援装置の制御内容を決定する決定ステップと、
   決定された前記制御内容を出力する出力ステップと、
   前記動作支援装置による動作支援の快適さを示す快適性情報を取得する第２取得ステップと、
   前記動作状態情報及び前記快適性情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含み、
   前記決定ステップでは、確率εで前記（ii）の決定を選択する、
   制御内容決定方法。
7. 請求項６に記載の制御内容決定方法をコンピュータに実行させるためのプログラム。

Images