JP2022166865A - 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム - Google Patents

自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム Download PDF

Info

Publication number
JP2022166865A
JP2022166865A JP2021072221A JP2021072221A JP2022166865A JP 2022166865 A JP2022166865 A JP 2022166865A JP 2021072221 A JP2021072221 A JP 2021072221A JP 2021072221 A JP2021072221 A JP 2021072221A JP 2022166865 A JP2022166865 A JP 2022166865A
Authority
JP
Japan
Prior art keywords
state
autonomous mobile
mobile device
unit
abnormality determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021072221A
Other languages
English (en)
Inventor
典彦 鎌田
Norihiko Kamata
弘司 喜田
Koji Kida
尚樹 古▲濱▼
Naoki Furuhama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kagawa University NUC
NEC Communication Systems Ltd
Original Assignee
Kagawa University NUC
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kagawa University NUC, NEC Communication Systems Ltd filed Critical Kagawa University NUC
Priority to JP2021072221A priority Critical patent/JP2022166865A/ja
Publication of JP2022166865A publication Critical patent/JP2022166865A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】自律移動装置において対策が必要となるような異常な状態を運用者が望む判定条件で検知する。【解決手段】自律移動装置1はセンサ群1a、状態推定部1b、第1異常判定部1c、第2異常判定部1d、出力部1e、及び基準設定部1fを備える。状態推定部1bは検知結果に基づき現在の状態が予め定められた複数の状態ラベルのいずれに該当するかを推定し、第1異常判定部1cは推定結果に基づき異常状態であるか否かを判定する。第2異常判定部1dは異なる時間に複数回推定された結果に基づき複数の対策ラベルと正常ラベルとのいずれに該当するかを判定する。複数の対策ラベルは対策を必要とする履歴異常状態であることを示すために対策毎に予め定められたラベルで、記正常ラベルは対策が不要なラベルである。出力部1eは、第1異常判定部1cと第2異常判定部1dの判定結果とを出力する。基準設定部1fは、第2異常判定部1dの判定基準を設定する。【選択図】図1

Description

本開示は、自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラムに関する。
近年、ドローンや自動運転車などの自律的に移動する装置(自律移動装置)の研究が盛んになされ、一部で実際に利用されてきている。また、労働者人口の減少や、コスト低減や業務効率化のため、今後、自律移動装置のさらなる普及が見込まれる。例えば、荷物の運搬や配送、配達などの業務が、人及び人が運転する自動車から自律移動装置に置き換わっていくことで、自律移動装置が人の生活に密着した場面で用いられることも見込まれる。そうなると、人の生活空間において自律移動装置が運用されることになるため、自律移動装置は、安全に運行されることが求められるとともに、確実で安定した運行も求められる。
特許文献1には、受信手段、判別手段、形成手段、及び送信手段を備えたドローン用緊急事態対応指示装置が記載されている。上記受信手段は、無人航空機であるドローンからの信号であって、当該ドローンの状態を示す状態情報を含む状態等通知信号を受信する。上記判別手段は、上記受信手段を通じて状態等通知信号を受信した場合に、状態等通知信号に含まれる状態情報に基づいて、ドローンの状態が緊急事態か否かを判別する。上記形成手段は、上記判別手段でのドローンの状態が緊急事態であると判別した場合に、ドローンに対する対応指示情報を形成する。上記送信手段は、上記形成手段で形成した対応指示情報を送信する。
異常検知に関し、特許文献2には、異常状態データベース、運転マニュアルデータベース、プラント監視部、異常状態判別部、対策検索部、及び通知部を具備するプラント運転支援装置が記載されている。上記異常状態データベースは、プラント本体が異常状態であるときのパラメータの範囲を記録し、上記運転マニュアルデータベースは、異常状態を解消する操作手順を記録する。上記プラント監視部は、プラント本体からパラメータを収集する。上記異常状態判別部は、異常状態データベースを参照し、収集されたパラメータに基づいてプラント本体が異常状態であるかどうかを判別する。上記対策検索部は、プラント本体が異常状態であるとき、操作手順を運転マニュアルデータベースから抽出する。上記通知部は、操作手順を端末機に通知する。
特開2018-165115号公報 特開2003-005828号公報
本発明者らは、自律移動装置の安全運行、安定運行について考察した。
自律移動装置を安全に運行するために、つまり自律移動装置や周辺環境に異常が生じてもそもそも衝突などが起き難くするためには、次のような安全対策が考えられる。即ち、安全対策としては、自律移動装置間や自律移動装置と周囲の構造物や周囲の人などとの間隔を十分に大きくとって運用すること、十分に低速で運行すること、墜落や衝突などが起きても問題ない場所に限定して運行することが考えられる。
しかしながら、自律移動装置が宅配などの用途で本格的に運用されることを想定すると、自律移動装置が、人がいる街なかで、多数、高密度、高速度で運用できる必要があるが、上記安全対策ではこれらの要件を満たさなくなってしまう。即ち、限定された区域での運用や十分に広い間隔をとっての運用や低速の運用による安全確保では、自律移動装置を多数、高密度、高速度で運用することができない。よって、多数、高密度、高速度で運用でき、且つ、緊急時には安全な対策がとれる仕組みが必要となる。
一方で、自律移動装置によっては、非常に単純な判定で、安全のために停止させる仕組みを持つものもある。例えば、自律移動装置の動作部品の稼働状況を監視して、不調が疑われただけで停止する仕組みや、姿勢センサ、加速度センサなどでセンサ値の閾値を監視し、あるセンサが一定の閾値を超えた場合に停止する仕組みが挙げられる。
しかし、自律移動装置は様々な状況で使われるため、過検知や、不調や異常値の検出で直ちに移動を停止すると、予防的で過剰で運行要件を満たせなくなる場合や必ずしも安全とは言えない場合がある。
例えば、自律移動装置の一種である自動運転車が高速道路の追い越し車線を運行している場合、異常が疑われる場合であってもその場に停車することは、後続車との衝突を招き危険である。よって、その危険を上回る非常時でなければ、停車しても安全な場所まで走行するべきである。
また別の例として、自律移動装置の一種である運輸用途などで街なかで運用されるドローンは地上の人や車両、送電線、重要施設などとの接触の危険があるため、異常が疑われる場合でも、直ちにその場に着陸させるという運用は好ましくない。即ち、その危険を上回る非常時でなければ、着陸しても安全な場所まで運行するべきである。また、ドローンについても、先に述べた通り、今後、高密度、高速度運行が求められることが想定されるため、高速道路における自動運転車の例と同様に、急な着陸動作が周囲の他機との衝突を招く危険もある。
また、運輸用途などで重要な物品を運搬する運行要件である場合には、緊急であっても山奥やへき地や海上、湖上、川など回収困難或いは回収不能になるような場所に停止、着陸させたくない場合もある。
つまり、自律移動装置を異常の疑いで過剰に緊急停止することは運用上不都合があり、運行要件によっては緊急停止がベストな対処方法ではない場合がある。そして、このような場合、判断基準や対策方法などは、運行要件に応じて開発者ではなく運行者が定義できるようになっていることが望まれる。
また、緊急時のみ人が遠隔で自律移動装置を操作する方法も考えられるが、この方法は、大量の自律移動装置が運用されるようになると、その数に応じた多くの人員が必要になるため、次の問題が生じ得る。即ち、コスト面や人手確保の面で問題が生じ、多重事故のようなことが起きた場合に、対応できる自律移動装置の数に限界が生じる。
安全の観点での課題について説明したが、異常の疑いや、ある冗長部品の単一の故障の有無や、センサ情報の閾値と言った単純な基準を契機に、緊急停止、緊急着陸という運用中止となる極端な対処が実行される場合、安定運用の観点でも問題が生じ得る。この問題とは、本来の自律移動装置の目的である、輸送や移動といった、自律移動装置の運用に頻繁に支障をきたしてしまい、例えば決まった時刻までに運搬物を届けるといった運用要件を高頻度で満たせなくなる。
そのため、自律移動装置においては、異常の度合いや種類を見極められること、多少の異常であれば、運用要件に応じて異常の判定条件や対処方法を開発者ではなく運用者が柔軟に容易に設定できる手段の実現が望まれる。
それに対し、特許文献1に記載の技術は、ドローンの異常対処として異常検知後の対策を行うことができるが、異常発生前に、異常判定精度を高めて不時着を極力回避しドローンの可用性を高めることはできない。また、特許文献2に記載の技術は、異常状態を判別し、その原因事象を検索し、その原因事象に対応する対策を抽出することができるが、抽出される対策は、各データベースのデータに基づくものであり、プラント毎に運用者が変更することは困難で、汎用性がない。
本開示の目的は、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム等を提供することにある。
本開示の第1の態様に係る自律移動装置は、自律移動装置における現在の状態を検知するセンサ群と、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、前記第1異常判定部での判定結果と前記第2異常判定部での判定結果とを出力する出力部と、前記第2異常判定部の判定基準を設定する基準設定部と、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
本開示の第2の態様に係るサーバ装置は、自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、前記第1異常判定部での判定結果と前記第2異常判定部での判定結果とを出力する出力部と、前記第2異常判定部の判定基準を設定する基準設定部と、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
本開示の第3の態様に係る学習装置は、自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、制御部と、を備え、前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成するものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
本開示の第4の態様に係る異常検知方法は、自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、前記第2異常判定ステップの判定基準を設定する基準設定ステップと、を備えたものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
本開示の第5の態様に係るプログラムは、自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、前記第2異常判定ステップの判定基準を設定する基準設定ステップと、を実行させる、ものである。前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである。
本開示により、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム等を提供することができる。
実施形態1に係る自律移動装置の一構成例を示すブロック図である。 実施形態1に係る自律移動装置で利用する学習済みモデルを生成する学習装置の一構成例を示すブロック図である。 実施形態2に係る自律移動装置の一構成例を示すブロック図である。 図3の自律移動装置における状態推定部の一構成例を示すブロック図である。 状態モデルを生成する際に使用する学習データの例を示す図である。 状態の分類例を示す図である。 正解ラベルが未知の場合に状態モデル122を生成する手順の例を説明するための概念図である。 正解ラベルが既知の場合に状態モデル122を生成する手順の例を説明するための概念図である。 状態推定の例を説明するための模式図である。 データの例を示す図である。 図3の自律移動装置における状態異常判定部の一構成例を示すブロック図である。 状態異常ルールの一例を示す図である。 異常判定の一例を示す図である。 図3の自律移動装置における状態履歴異常判定部の一構成例を示すブロック図である。 状態履歴異常ルールの一例を示す図である。 図3の自律移動装置における試験実施部の一構成例を示すブロック図である。 試験ルールの一例を示す図である。 図3の自律移動装置における対策決定部の一構成例を示すブロック図である。 対策ルールの一例を示す図である。 図3の自律移動装置の動作例を説明するためのフロー図である。 図4の状態推定部12の動作例を説明するためのフロー図である。 図11の状態異常判定部の動作例を説明するためのフロー図である。 図14の状態履歴異常判定部の動作例を説明するためのフロー図である。 図16の試験実施部の動作例を説明するためのフロー図である。 図3の自律移動装置における対策決定部の動作例を説明するためのフロー図である。 実施形態3に係る自律移動システムの一構成例を示すブロック図である。 実施形態3に係る自律移動システムの他の構成例を示すブロック図である。 装置のハードウェア構成の一例を示す図である。
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。
<実施形態1>
図1を参照しながら、実施形態1に係る自律移動装置(自律移動機器)について説明する。図1は、実施形態1に係る自律移動装置の一構成例を示すブロック図である。
図1に示すように、本実施形態に係る自律移動装置1は、複数のセンサ(センサ群)1a、状態推定部1b、第1異常判定部1c、第2異常判定部1d、出力部1e、及び基準設定部1fを備える。なお、自律移動装置1は、外部の装置との通信を行う通信部(図示せず)を備えることもできる。この通信部は、自律移動装置1の種類、外部とのデータの通信タイミングなどによって、無線通信部及び有線通信部の少なくとも一方とすることができる。
自律移動装置1は、自律的に移動することが可能な装置であり、センサ群1aから出力された検知結果(センサデータ)に基づき、移動中(運行中)の状態が異常な状態でないかを検知することができる。
本実施形態に係る自律移動装置1は、移動中における自律移動装置1の状態が異常であるかの監視(検知)が必要となるような移動機器全般に適用でき、その管理に好適に利用することができる。自律移動装置1は、情報処理能力を持ち、アクチュエータなどを制御して、自律的に移動を行い、運搬や移動を担う機器全般とすることができる。
自律移動装置1としては、例えば、自動運転自動車、自動運転列車、自動航行船舶、自動飛行する航空機、ドローン、工場や倉庫等で用いられるAGV(自動搬送車)、走行機能や脚での移動機能を持つロボット、ロボット電動車いす、自動二輪車などが挙げられる。ここで、ドローンは、上空を飛行する無人航空機等の飛行体に限らず、地上、上空、水上、水中、宇宙など、その動作環境を問わない。また、ロボットは、走行、歩行など、その移動方式を問わない。さらに、自律移動装置1としては、例えば、フォークリフト、建機や重機等の工事用車両、鉄道車両、タクシー、トラック等の物流に用いられる車両、警察車両、消防車両なども挙げられる。ここで、鉄道車両は、ライトレール、鉄輪式、新交通システム、モノレール、磁気浮上式など、その移動方式を問わない。また、自律移動装置1は、ある時は自律的に動作し、ある時は人間による指示や操作で動作するモード切替えのある機器や、自律動作の一部を人間の操作や指示と協調して移動する機器も含まれる。即ち、自律移動装置1は、自律的に移動可能であればよく、外部のコントローラからの制御に従い、或いは搭乗者の操作に従い、移動する機能を有することもできる。
センサ群1aは、自律移動装置1における現在の状態を検知する。ここで、現在の状態とは、センサ群1aに含まれるセンサそれぞれについて、設置箇所における検知対象を計測した結果のセンサ値、或いはそのセンサ値が示す状態を指すことができ、主に移動状態(運行状態)が含まれる。上記移動状態は、自律移動装置1の傾きや位置などを含むことができる。なお、上記設置箇所や上記検知対象は、一般的に自律移動装置1の種別や形状によって異なることになる。また、センサ群1aは、自律移動装置1の制御に必要な複数のセンサで構成されることができ、自律移動装置1自身の状態を収集するセンサ群だけでなく、周囲(周囲環境)の状態を収集するセンサ群も含むことができる。また、センサ群1aにおける検知間隔は問わないが、素早い検知のためには短いことが望ましい。また、センサ群1aに属するセンサそれぞれの検知間隔は同じであることが好ましいが、異なってもよく、各センサで検知時刻が若干ズレた検知データを同時刻と取り扱うこともできる。
各部1b~1fの一部又は全部は、自律移動装置1の全体を制御する制御部(図示せず)として構成することができる。この制御部は、例えば、CPU(Central Processing Unit)、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、各部1b~1fの一部又は全部の機能を実現するための処理を実行するプログラムとすることができる。また、この制御部は、例えば集積回路(Integrated Circuit)によって実現することもできる。
状態推定部1bは、センサ群1aによる検知結果に基づき、自律移動装置1における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する。状態推定部1bによる状態推定により、複数のセンサの情報(例えば各数値やON/OFFやモードなど)の組み合わせから、人間が理解しやすい、自律移動装置1の状態を表す状態ラベルに変換することができる。これにより、自律移動装置1の状態に対する対処方法の定義が簡潔かつ容易になる。さらに、これにより、自律移動装置1の設計開発段階に開発者が制御則や機構や回路やソフトウェアとして予め組み込むのではなく、運用段階になってから自律移動装置1の利用者が柔軟に非常時動作を定義することができるようになる。ここで、対処方法の定義とは、後述する対策の定義やその対策を実施する際の判定の基準の定義などを指す。
第1異常判定部1cは、状態推定部1bでの推定結果(つまり状態推定部1bで推定された状態ラベル)に基づき、現在の状態が当該状態を変えるための対策を必要とする異常状態(要対策状態)であるか否かを判定する。
第2異常判定部1dは、状態推定部1bで異なる時間に複数回推定された結果(複数回又は複数種類の状態ラベル)に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する。この判定のために、状態推定部1bでの推定結果は履歴として保存しておけばよい。
上記複数の対策ラベルは、複数回推定された結果が示す自律移動装置1の状態が該状態を変えるための対策を必要とする履歴異常状態(要対策状態)であることを示すために、対策毎に予め定められたラベルである。つまり複数回推定された結果に応じて実行する対策毎に対策ラベルが設定されており、更に換言すれば、判定結果が示す対策ラベル毎に対策が設定されている。また、上記正常ラベルは対策が不要なラベルであり、正常ラベルに該当すると判定された場合には対策が不要であることを意味する。
出力部1eは、第1異常判定部1cでの判定結果と第2異常判定部1dでの判定結果とを出力する。それらの出力先としては、例えば、自律移動装置1の移動を制御する図示しない移動制御部(駆動制御部)を含むことができ、これにより判定結果に応じた移動の制御が可能となる。
そして、基準設定部1fは、第2異常判定部1dの判定基準を設定する。基準設定部1fは、自律移動装置1の本体に設けられた操作部(操作受付部)とすること、外部装置からの通信により設定できるように設定信号を受信する受信部とすること、或いはそれらの双方とすることができる。
また、第2異常判定部1dは、状態推定部1bで異なる時間に複数回推定された結果を入力し状態推定部1bでの推定結果を入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する第1学習済みモデルを用いて、判定を実行することもできる。この学習済みモデルや後述する学習済みモデルにおけるアルゴリズム等は問わず、判定が行えればよい。無論、第2異常判定部1dは学習済みモデルを用いずに予め定められた定義式等により判定を行うこともでき、この点については第1異常判定部1cや状態推定部1bについても同様である。
また、第1異常判定部1cも、現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定することが好ましい。ここでの対策ラベル及び正常ラベルも第2異常判定部1dでのそれらと同様の定義とすることができるが、1回の状態検知結果からの判定である点が異なるため、基本的には判定基準が異なることになる。つまり、第1異常判定部1cでの対策ラベル及び正常ラベルのラベル群は、第2異常判定部1dでの対策ラベル及び正常ラベルのラベル群と、共通するラベルを有することができるが、少なくとも判定基準が異なることになる。
そして、第1異常判定部1cは、状態推定部1bでの推定結果を入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する第2学習済みモデルを用いて、判定を実行することもできる。
また、状態推定部1bは、センサ群1aによる検知結果を入力し複数の状態ラベルの中のいずれかを出力する第3学習済みモデルを用いて、推定を実行することもできる。このように、機械学習を用いた状態推定部1bによる状態推定により、複数のセンサの情報(数値やON/OFFやモードなど)の組み合わせから、人間が理解しやすい自律移動装置の状態を表す状態ラベルに変換することができる。機械学習を用いることで、更に状態ラベルの推定を正確に行うようにすることができる。
なお、判定や推定に用いることができる各学習済みモデルについては、図2を参照しながら後述する。各学習済みモデルは1つの学習済みモデルとして構築することもできる。また、各学習済みモデルは、制御部の内部に記憶しておくなど、自律移動装置1の内部に保存しておくことができるが、外部のサーバ装置に保存しておくこともできる。サーバ装置に各学習済みモデルを記憶しておく場合、自律移動装置1は、センサ群1aでの検知結果を送信し、その応答として判定や推定の結果を得ることができる。
上述したように、状態ラベルを用いることで、運用段階になってから自律移動装置1の利用者(運用者)が柔軟に非常時動作(対策を施す必要があるときの動作)を定義することができるようになり、この点は学習済みモデルを用いない場合にも同様である。さらに、このような、人間が理解しやすい自律移動装置の状態を表す状態ラベルを用いることで、自律移動装置1に対してより複雑な非常時動作を利用者が定義できるようになる。例えば次のことが可能になる。
即ち、人間が理解しやすい自律移動装置1の状態を表す状態ラベルに対して人間が対処方法を容易に定義できる手段とその定義に基づいて自律移動装置1の動作を変える手段を提供することができる。また、この対処方法については、自律移動装置1の状態が状態ラベルで表現可能になったことで、第2異常判定部1dでの判定のように、時間経過を考慮に入れた、より複雑で異常な自律移動装置の使い方の定義とその対処の定義が基準設定部1fから可能になる。また、基準設定部1fは、第2異常判定部1dの判定基準を設定できる構成であるが、第1異常判定部1cの判定基準の設定も可能に構成しておくことが好ましい。この場合には第1異常判定部1cでも判定結果をラベルとして出力ようにしておけば容易に定義の変更ができる。
これらの仕組みにより、異常発生時など自律移動装置1が特定の状態に陥った際に適した対処動作を自動で行えるだけでなく、自律移動装置の設計開発時に予め固定で組み込む必要があった対処動作を、運用者が後から容易に変更できるようになる。この変更は、運用者が、例えば運行の時々の積み荷の価値や特性、運行の契約条件などに応じて行うことができる。
以上のように、状態推定部1bによる状態推定により、自律移動装置1の状態を人が理解しやすい形式で表現するため、その状態に対しての対処方法の定義を簡単に行うこと、つまり各種ルールを簡潔に記述することができる。ここでは、多数のセンサの数値、ステータスなどの数値、値の組み合わせやレンジに対して定義するのではなく、可読性の高い組み合わせラベルに対して記述すれば良い点で、簡潔に記述できると表現している。
例えば、ルールが簡潔に記述されることによって、自律移動装置の異常時の動作を、運搬物や周囲の環境、機体や積み荷の価格や、運行の目的に応じて可変にすることができる。さらに、自律移動装置1の状態が人が理解しやすい形式で表現されているため、その状態に対しての対策の定義とその判定の定義(例えば実施形態2で説明する試験の定義とその判定の定義)を簡単に行うことができる。
また、ルールに記述が簡潔にできるようになることで、異常判定のルールを制御部の制御則としての実装ではなく(自律移動装置1の設計開発の専門知識必要)としてではなく、利用者が定義ファイルとして簡潔に記述できるようになる。また、ルールに記述が簡潔にできるようになることで、単純な異常判定ルールだけでなく、履歴を考慮したより複雑な条件も簡潔に定義できるようになる。
例えば、発生回数での判定ルールの例として、Aという状態が一定時間内に一定件数生じたら異常と判定するように定義することもできる。また、発生順不同の組み合わせでのルールの例として、一定時間内にAという状態とBという状態とCという状態が発生した場合に異常と判定するように定義することもできる。また、順序が重要な組み合わせでのルールの例として、一定時間内にAという状態の後Bという状態の後Cという状態が発生したら異常と判定するように定義することもできる。これらの例のように、複雑な条件が容易に定義できるようになる。無論、状態の組み合わせはA,B,Cの3つに限ったものではなく、2以上の状態の組み合わせについて容易に定義することができる。
また、このようにルールを容易に運用者が設定できるようになることで、異常と過剰に誤検知され、即時緊急動作となっていたような場面でも、それをしなくて良くなるため、自律移動装置1の運用の可用性が高まる。
以上により、本実施形態に係る自律移動装置1では、異常の分類とそれに対する対応動作を開発者ではなく運用者が業務要件に合わせてより細かく、柔軟に定義、動的に定義できるようになる。つまり、本実施形態によれば、対策が必要となるような異常な状態を自律移動装置1の運用者が望む判定条件で検知することが可能になる。これにより、異常発生時に所定の場所に移動する、緊急停止(着陸)といった定型の対処しかできなかった自律移動装置に対して、自律移動装置1の方が可用性が高くなる。
次に、図2を参照しながら、自律移動装置1で利用する学習済みモデルについて説明する。図2は、自律移動装置1で利用する学習済みモデルを生成する学習装置の一構成例を示すブロック図である。
図2に示すように、学習装置2は、取得部2a及び制御部2bを備えることができる。ここで制御部2bは記憶部2cを備えることができる。なお、学習装置2は自律移動装置1内部に備えることもできる。
取得部2aは、自律移動装置1における現在の状態を検知するセンサ群で取得された検知結果を取得する。学習装置2が自律移動装置1の外部にある場合には、取得部2aは可搬記録媒体を介して検知結果を読み込む読み込み部、あるいは、有線又は無線通信により検知結果を受信する受信部とすることができる。学習装置2が自律移動装置1の内部に備えられる場合、取得部2aは、内部の配線を介してセンサ群1aから検知結果を取得すればよい。
制御部2bは、取得部2aで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する。なお、複数の対策ラベルや正常ラベルについては上述した通りである。
対策ラベル出力用の学習済みモデル2eは、記憶部2cに記憶した未学習モデル2dに複数回の検知結果を入力して機械学習を行うことで構築された学習モデルとすることができ、これも記憶部2cに記憶させることができる。
また、制御部2bは、取得部2aで取得された検知結果を入力し自律移動装置1の現在の状態を示すために予め定められた複数の状態ラベルの中のいずれかを出力する、状態ラベル出力用の学習済みモデルを生成するように構成することもできる。また、状態ラベル出力用の学習済みモデルも、同様に、記憶部2cに記憶した未学習モデル2dに検知結果を入力して機械学習を行うことで構築された学習モデルとすることができ、これも記憶部2cに記憶させることができる。
制御部2bは、自律移動装置1の全体を制御する制御部と同様に、例えば、CPU、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、学習済みモデル生成プログラムとすることができる。
このように、本実施形態に係る学習装置2では、対策が必要となるような異常な状態を自律移動装置の運用者が望む判定条件で検知することが可能な自律移動装置で利用できる学習済みモデルを生成することができる。
<実施形態2>
実施形態2について、図3~図25を参照しながら、実施形態1との相違点を中心に説明するが、実施形態1で説明した様々な例が適用できる。以下、本実施形態に係る自律移動装置としてドローンを採用した例を念頭に置いて説明するが、ドローンを他種の自律移動装置に置き換えて考えても、本質的には変わらない。
図3は、実施形態2に係る自律移動装置の一構成例を示すブロック図である。図3に示すように、本実施形態に係る自律移動装置10は、センサ群11、状態推定部12、状態異常判定部13、状態履歴異常判定部14、試験実施部15、対策決定部16、移動制御部17、及び基準設定部18を備えることができる。自律移動装置10としては、実施形態1に係る自律移動装置1として例示した様々な例が適用できる。自律移動装置は、一般的にはセンサ群11と移動制御部17と簡易な異常検出手段を備えて自律運行を行うのみであるが、本実施形態に係る自律移動装置10は更に各部12~16,18を有するものとなる。
センサ群11はセンサ群1aに相当し、状態推定部12は状態推定部1bの一例、状態異常判定部13は第1異常判定部1cの一例、状態履歴異常判定部14及び試験実施部15は第2異常判定部1dの一例、対策決定部16は出力部1eの一例である。また、基準設定部18は基準設定部1fの一例である。なお、状態履歴異常判定部14及び試験実施部15はそのいずれか一方のみを搭載することもできる。
図3に示す各構成要素は、コンピュータ上のプログラムでもよく、電気電子回路で構成されていてもよく、プログラムと電気電子回路の複合などであっても構わない。図3において線でつながる構成要素間は情報のやり取りができる。これもプログラムであれば共有のメモリやストレージ等を介して要素間情報の授受をしてもよいし、実装上ユニットが分かれているのであれば、通信を介して情報の授受をしてもよい。また、図3のセンサ群11以外の構成要素の全て又は一部が通信を介してつながる自律移動装置10の外部の装置に搭載し処理をさせることもでき、この例については実施形態3として後述する。例えば、自律移動装置10と通信を介してつながった管理装置等のサーバ装置(クラウドサーバ装置であってもよい)などで同様の処理を自律移動装置10に代わって実行するようにしても。以下、各構成要素の詳細について説明する。
(センサ群11)
まず、センサ群11は、自律移動装置10に搭載されているセンサ群である。自律移動装置10に限らず、一般的に自律移動装置にその制御に必要な自身の状態や周囲の状態を収集するために搭載されているような複数の様々なセンサを、センサ群11として採用することができる。
自律移動装置の一種であるドローンを例に挙げて、センサ群11の例を説明する。センサ群11としては、機体の速度を観測する速度センサ、機体の加速度を観測する加速度センサ、機体のロールとピッチとヨーを観測するジャイロセンサ、飛行に使用する各ロータの回転数を観測する回転センサを含むことができる。また、センサ群11としては、自機の高度を観測するための気圧センサや高度センサ、自機からの方位を観測するための地磁気センサ、回路やロータの発熱を検知する温度センサなども含むことができる。無論、センサ群11は、これらの例の全てを含む必要はなく、一部のみを含むことができ、またこれらの例に限らず他種のセンサを含むこともできる。
例えば、センサ群11に含まれる他のセンサとしては、例えば、GNSS(Global Navigation Satellite System/全球測位衛星システム)における位置情報を取得するセンサが挙げられる。なお、GNSSは、GPS(Global Positioning System)、GLONASS(Global Navigation Satellite System)、Galileo、準天頂衛星システム等の衛星測位システムの総称である。ここで、準天頂衛星システムは、QZSS(Quasi-Zenith Satellite System)である。このセンサにより、自律移動装置10は、GNSS信号を受信して、自機の空間内における位置を測位して位置情報を得ることができる。また、センサ群11に含まれるセンサは、光学式カメラやステレオカメラとすることもでき、カメラで取得された映像を情報処理して、自機の位置や姿勢を求めることもできる。また、センサ群11に含まれるセンサは、音波センサ、超音波センサ、2D-LiDAR、3D-LiDARなどとすることもできる。この場合、自律移動装置10は、音波やレーザを用いたセンシング装置から得られる波形データや点群データなどを情報処理して、自機の位置や姿勢、周囲の状況などを求めて得ることができ、このようにして得られた情報もセンサ情報と言える。よって、これらのように情報処理を必要とするセンサもセンサ群11に含めることができる。
また、自律移動装置10の動作モード(モードのOn/Offや現在のモードなど)や他の搭載装置(例えばロータなどの状態や、自律制御に用いられる制御装置のログデータなども、センサ情報と言えるため、このような情報を提供する装置もセンサ群11に含めることができる。ここで、ロータの状態としては、有効/無効や正常/異常や回転速度、出力、温度などが挙げられる。
本実施形態ではなく一般的な自律移動装置の場合、センサ群11で収集されたセンシング結果を次に説明する移動制御部17に入力し、単純な自律制御を行うが、本実施形態に係る自律移動装置10は各部12~16,18を備える。
(移動制御部17)
移動制御部17は、自律移動装置10の移動を制御する制御部であり、駆動制御部と称することもできる。移動制御部17は、センサ群11から与えられたセンシング情報を元に、自律移動装置10に搭載されたロータなどのアクチュエータを制御し、自律制御行う頭脳にあたる部分である。自律移動装置10は、運行開始時に与えられたルートや座標や姿勢、速度で運行するように自律制御を行うため、制御の誤差や、風などの外乱で多少位置などがずれても、センシング情報を元にアクチュエータを制御して自力で本来の位置、姿勢、速度を維持できる。これは自律移動装置一般に搭載されている機能である。また、一般的な自律移動装置では、一部ロータの停止、地上との通信断、大きな経路外れなど検出が簡単な単純な異常については、予め定めておいた座標に移動する、高度を下げその場に緊急着陸するなど、最小限の対処機能が組み込まれている場合もある。しかし、本実施形態に係る自律移動装置10では、この対処機能が過剰に実行されるような場面でも運用者が望むように制御を可能にする。
(状態推定部12)
図4~図10を参照しながら状態推定部12について説明する。図4は図3の自律移動装置10における状態推定部12の一構成例を示すブロック図である。
状態推定部12は、センサ群11から送られた多岐にわたるセンサ情報の組み合わせを、人が理解しやすい状態を表す名前とその確度に変換する機能部である。実施形態1と同様に、この状態を表す名前を状態ラベルと称する。
図4に示すように、状態推定部12は、推定部121と状態モデル122とで構成されることができる。状態モデル122は、次の例のようにして構築することができる。状態モデル122は、正解ラベルが未知の場合と既知の場合でその作成手順が異なる。
図5及び図6を参照しながら状態モデル122の生成に際して使用する学習データ及び状態の例について説明する。図5は、状態モデル122を生成する際に使用する学習データの例を示す図で、図6は、状態の分類例を示す図である。
ドローンのセンサデータには加速度、ジャイロ、磁気などが含まれている。説明の便宜上、ドローンから取得したそのままのデータを生のセンサデータと呼ぶ。状態モデル122は生のセンサデータをもとに状態がうまく分類できるものにすることが望まれる。この「状態がうまく分類できるものにしたい」の部分をタスクと称して説明する。分析者はタスクの精度を高めるために、図5に示すように、センサデータ40をそのまま用いるだけでなく、センサデータ40を加工することができる。説明の便宜上、これを加工したセンサデータ41と呼ぶ。生のセンサデータ40と加工したセンサデータ41はそれぞれ特徴量(特徴ベクトル)ということができる。状態モデル122は状態を分類するためのモデルとして構築する。そのため、予め取得したセンサデータがどの状態のときのデータなのか知る必要があり、これを正解ラベルという。正解ラベルと特徴量をまとめたデータを学習データ42という。
図6には、2つの特徴量に対して、各状態として、正常状態、前に進まない状態、プロペラ停止状態のいずれかに分類する例に挙げている。図6において丸で示す特徴ベクトルは各状態での正解ラベルを示している。なお、ここでは単純化して説明するために2つの特徴量を挙げて説明するが、各センサの出力値のそれぞれに対する生のセンサデータと加工したセンサデータとを特徴量として使用することができる。
図7及び図8を参照し状態モデル122の生成例についてより具体的に説明する。図7は、正解ラベルが未知の場合に状態モデル122を生成する手順の例を説明するための概念図で、図8は、正解ラベルが既知の場合に状態モデル122を生成する手順の例を説明するための概念図である。
正解ラベルが既知の場合、正解ラベルを答えとして与えて学習させる。これを教師あり学習といい、教師(正解ラベル)と特徴量のそれぞれを組み合わせて機械学習させることで、状態を予測するモデルを生成する。学習するアルゴリズム(学習器)は分析者が任意に決めればよい。そして、学習した結果が状態モデル122として出力される。学習器や、パラメータを変更して学習すれば、その数だけ状態モデル122を生成することができる。生成した複数の状態モデルは最良のモデルを分析者が選択して使用することができる。或いは、状態推定部12は、生成した複数の状態モデル122で多数決をするなどして状態推定を行うこともできる。状態モデル122の生成に際し、上述のようにアルゴリズムやそのパラメータの選択方法、複数の状態モデルの中からの選定方法などは問わず、以降に述べる他のモデルを学習させる場合についても同様である。
正解ラベルが未知の場合、まず正解ラベルを作成する必要がある。そのアプローチの一つとしてクラスタリングがある。クラスタリングとはデータの中から距離が近いデータを一つのクラスタとしてグルーピングする処理である。このようにしてグルーピングして作成された各クラスタのデータがどの状態なのか正解ラベルをつける。この正解ラベルの付け方は、専門家に付けてもらう、予め集めた少量の正解ラベル付きのデータを用いて付ける、などがある。こうして作成された正解ラベル付きのデータが生のセンサデータとなり、このデータをもとに学習データが作成される。ここから先の手順は正解ラベルが既知の場合と同じである。
図9及び図10を参照しながら推定部121について説明する。図9は、状態推定の例を説明するための模式図で、図10はデータの例を示す図である。推定部121は、次のようにして構築することができる。
説明の便宜上、現在飛行しているドローンのセンサデータを現在データと呼ぶ。状態モデル122を作成するために生のセンサデータを加工したとき同様、現在データも加工して(特徴量にして)入力する。推定部121では、図9に示すように、現在データの特徴量と状態モデル122を入力として与え、出力として状態の推定結果を得る。この推定には推定のための学習済みモデルを使用することができ、このモデルの手法としては様々な推論アルゴリズム(分類アルゴリズム)やパラメータを使用することができる。また、上述のように状態モデル122は、学習器やそのパラメータを変更して学習すればその数だけ状態モデル122は作成される。推定部121は、推定用モデルに入力する状態モデル122として、複数の状態モデル122のうちの最良なモデルを採用して状態推定の結果を得ることができる。或いは、推定部121は、推定用モデルで推定した結果に基づき多数決を採るなどして状態推定の結果を得ることもできる。
推定部121において、状態は二値ではなく多値で表されるため、現在データがどのクラスに分類されるかは確率として出力される。例えば図10に示すように、現在データが7サンプルある場合、推定部121は、各サンプルが正常クラス(0)である確率、前に進まないクラスである確率(1)、プロペラ停止クラス(2)である確率をそれぞれ出力する。各サンプルがどのクラス(どの状態)であるかは、確率値が最も大きいクラスを採用する。
(状態異常判定部13)
図11~図13を参照して状態異常判定部13について説明する。図11は、状態異常判定部13の一構成例を示すブロック図である。
状態異常判定部13は、状態推定部12が発出した状態ラベルを1件だけを見て直ちに対策や試験が必要であると判断できる場合に、これを検出し、対策決定部16、試験実施部15に対策や試験を依頼する機能部である。なお、本実施形態では対策や試験が必要と判断される場合を異常と称するが、これは通常の自律運行動作とは異なる制御が必要な状態という意味であり、この点については実施形態1でも同様である。
図11に示すように、状態異常判定部13は、判定部及131及び状態異常ルール132で構成されることができる。状態異常ルール132は、例えば図12で例示するように定めることができる。図12は、状態異常ルール132の一例を示す図である。
状態異常ルール132は、状態推定部12における状態毎(状態ラベル毎)に異常と判定するルールである。このルールは人が決め、自律移動装置10の運行前までに予め人が入力して登録しておくことができる。状態異常ルール132は、状態推定部12から通知される状態ラベルに対して、異常(通常の自律運行動作とは異なる制御が必要な状態)と判定すべき条件と、その条件に該当した場合にどのような異常かを表す異常ラベルと、を定義したものである。この異常ラベルには後述する試験実施部15に試験を行わせるラベル(警告ラベルと称する)を含むこともできる。
図12の例では、前に進まない状態ラベルに対しては、条件ルールの例として「制限速度よりも速度を上げている」ことを採用しており、その結果として出力される異常ラベルの例として「向かい風の異常」を採用している。また、プロペラ停止状態ラベルに対しては、条件ルールの例として「プロペラのモータが動作していない」ことを採用しており、その結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。
図12の例ではJSON(JavaScript Object Notation)形式の書式で記述された例を挙げているが、必要な項目がありこれらの関係を記述できれば、データ形式は問わない。例えば、CSV(Comma Separated Value)形式、XML(Extensible Markup Language)でも、RDB(Relational Database)に表形式で格納する形式などでもよい。また、その格納場所も作業メモリ上やデータベースの記憶部など問わない。また、異常ラベルは、対策決定部16に、どのような異常であるかを伝えるための名前として定義することができ、また試験実施部15に処理を依頼するように定義することもできる。
判定部131は、状態異常ルール132で定義されたルールに従い異常か否かの判定を行い、試験実施部15に指示を出すか、対策決定部16に指示を出す。いずれの状態異常ルールにも該当しなかった場合は、何も行わない。
図13を参照しながら判定部131における異常判定について説明する。図13は、異常判定の一例を示す図である。図13の例では、向かい風の場合とプロペラ故障の場合とを挙げている。
判定部131では、例えば前進中、揺れ有り、速度大といった状況である場合、向かい風の警告があると判定する。例えば、駆動させた前方への推進力が最大値の40%以上である場合に前進中であると判定し、左右又は上下の揺れが閾値の60%以上である場合に揺れ有りと判定する。速度も閾値より大きい場合に速度大と判定する。判定部131は、それらが重なった場合に、向かい風の警告があると判定し、これを示す警告ラベルを出力する。そして、判定部131はこの警告ラベルを後述する試験実施部15に通知し、試験実施部15により前方への推進力を停止させて試験を行った結果として、揺れが100%となった場合に揺れ有りと判定し、その場合に向かい風の異常を示す異常ラベルを出力する。
判定部131では、例えば前進中、揺れ有り、回転有りといった状況である場合、プロペラ故障の警告があると判定する。例えば、駆動させた前方への推進力が最大値の40%以上である場合に前進中であると判定し、左右又は上下の揺れが閾値の30%以上である場合に揺れ有りと判定し、ロールとピッチとヨーのいずれかが閾値の30%以上である場合に回転有りと判定する。判定部131では、それらが重なった場合に、プロペラ故障の警告があると判定し、これを示す警告ラベルを出力する。そして、判定部131はこの警告ラベルを後述する試験実施部15に通知し、試験実施部15により履歴を参照した結果が閾値を超える場合にプロペラが劣化しているとしてプロペラ故障を示す異常ラベルを出力する。ここで参照される履歴には、直近数秒の警告回数、直近数秒の異常回転、過去の衝突履歴などが挙げられる。
(状態履歴異常判定部14)
図14~図17を参照して状態異常判定部13について説明する。図14は、状態履歴異常判定部14の一構成例を示すブロック図で、図15は、状態履歴異常ルールの一例を示す図である。
状態履歴異常判定部14は、状態推定部12での推定された状態ラベルの履歴(経緯、履歴を示す履歴情報)である状態履歴を参照して、履歴異常状態であるか否かの判定を実行する。状態履歴異常判定部14は、対策状態履歴異常判定部又は履歴異常判定部と称することもできる。ここで参照される状態履歴は、他の同種の自律移動装置についての状態履歴を含むことが望ましい。
具体的には、状態履歴異常判定部14は、状態推定部12が発出した状態ラベルを複数件見て対策や試験が必要であると判断できる場合に、これを検出し、対策決定部16、試験実施部15に対策や試験を依頼する機能部である。
状態ラベルを複数件見て検出を行い、対策や試験が必要であると判断できる場合(ここでもこれを異常と称するが、これは通常の自律運行動作とは異なる制御が必要な状態という意味である)とは、次のような場合を指すことができる。例えば、一定の時間内にAという状態が発生した後にBという状態が発生したという順序が検出条件となる場合、一定の時間内にAという状態とBという状態が発生したという順不同で組み合わせが検出条件になる場合が挙げられる。また、一定の時間内にAという状態が一定回数発生したという回数、頻度が検出条件となる場合や、これらの3種類の場合の複合の場合も挙げられる。なお、Aという状態、Bという状態の2状態を用いて説明したが、2状態の関係に限る意図はなく、2状態以上でも構わない。
図14に示すように、状態履歴異常判定部14は、判定部141、状態履歴142、状態履歴異常ルール143で構成されることができる。状態履歴142は、状態推定部12が発した状態ラベルを、判定部141を経由して受信し、タイムスタンプとともに保持、記憶しておく。状態履歴異常ルール143は、例えば図15で例示するように定めることができる。図15は状態履歴異常ルール143の一例を示す図である。なお、図15の例でも図12の例と同様にそのデータ形式は問わず、後述する図17及び図19の例についても同様である。
状態履歴異常ルール143は、状態推定部12における状態毎(状態ラベル毎)に状態の履歴から異常と判定するルールである。このルールは人が決め、自律移動装置10の運行前までに予め人が入力して登録しておくことができる。状態履歴異常ルール143は、状態推定部12から複数回通知される複数の状態ラベルに対して、異常(通常の自律運行動作とは異なる制御が必要な状態)と判定すべき条件を定義したものである。状態履歴異常ルール143は、さらにその条件に該当した場合にどのような異常かを表す異常ラベルも定義したものである。この異常ラベルには後述する試験実施部15に試験を行わせるラベル(警告ラベル又は試験ラベルと称する)を含むこともできる。
図15の例では、前に進まない状態ラベルに対しては、条件ルールの例として「10回以上」発生すること又は「10秒間に5回以上」発生することを採用しており、いずれの場合も結果として出力される異常ラベルの例として「向かい風の異常」を採用している。前に進まない状態ラベルに対し、それらの条件以外に該当し判定できない場合には異常ラベルの例として「停止試験」を試験実施部15に要求することを採用している。また、プロペラ停止状態ラベルに対しては、条件ルールの例として「2つのプロペラが停止している」こと又は「10秒間に2回以上」発生することを採用し、いずれの場合も結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。プロペラ停止状態ラベルに対し、それらの条件以外に該当し判定できない場合には異常ラベルの例として「回転試験」を試験実施部15に要求することを採用している。また、右に流される状態ラベルに対しては、条件ルールの例として「前回は左に流された」ことを採用しており、その結果として出力される異常ラベルの例として「プロペラ故障の異常(蛇行異常)」を採用している。
このように、状態履歴異常ルール143では、状態ラベルを複数件見て対策や試験が必要であると判定する条件を定義しておく。出力する異常ラベルは、対策決定部16に対してどのような異常であるかを伝えるための名前として定義しておくことができ、また試験実施部15に処理を依頼する(試験指示を送る)ように定義することもできる。
判定部141は、その状態履歴異常ルール143に合致するか否かを判定し、合致した場合、つまり上記条件(検出条件)に該当した場合に異常ラベルを出力する。つまり、判定部141は、状態履歴異常ルール143で定義されたルールに従い異常か否かの判定を行い、試験実施部15に指示を出すか、対策決定部16に指示を出す。いずれの状態履歴異常ルール143のいずれにも該当しなかった場合は、何も行わない。
(試験実施部15)
図16及び図17を参照して試験実施部15について説明する。図16は試験実施部15の一構成例を示すブロック図で、図17は試験ルールの一例を示す図である。
試験実施部15は、状態異常判定部13や状態履歴異常判定部14で、試験動作をさせた上で異常か否かを判定する必要があると判断された場合に、試験要求を受け取り、試験動作と試験をした上での異常正常の判定を行う機能部である。そのため、状態異常判定部13での判定結果についての出力先は、第2異常判定部1d(ここでは試験実施部15)を含む。
試験実施部15は、状態異常判定部13での判定結果が異常状態であることを示している場合、試験的に自律移動装置10の制御を変更して動作させる試験を実行する。試験実施部15は、試験前における状態異常判定部13での判定結果と試験後における状態異常判定部13での判定結果とに基づき、履歴異常状態であるか否かの判定を実行する。
或いは、試験実施部15は、状態異常判定部13での判定結果が異常状態であることを示している場合又は状態履歴異常判定部14での判定結果が履歴異常状態であることを示している場合、試験的に自律移動装置10の制御を変更して動作させる試験を実行する。この場合、試験実施部15は、試験前と試験後における状態異常判定部13又は状態履歴異常判定部14での判定結果に基づき、履歴異常状態であるか否かの最終的な判定を実行する。
この場合もラベルを用いることが好ましい。即ち、状態異常判定部13は、現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定しておくことが好ましい。そして、これら複数の対策ラベルには試験の実行が必要であることを示す1又は複数種類の試験ラベルを含むことになる。試験実施部15は、状態異常判定部13が1又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する。
図16に示すように、試験実施部15は、実施部151、試験ルール(試験実施異常ルール)152、試験履歴153、及び結果判定部154で構成されることができる。実施部151は、状態異常判定部13や状態履歴異常判定部14からの試験要求(又はそれに対応するラベル)を受け付け、試験ルール152に基づき、移動制御部17に対して試験動作要求を行う。また、実施部151は、その要求とともに、試験履歴153に試験動作を依頼した記録を登録する。試験履歴153は、実施部151が、試験ルール152に基づき移動制御部17に対して試験動作要求を行った履歴(試験ラベルの履歴)をタイムスタンプ付きで保持する。
試験ルール152は、状態推定部12の状態毎(状態ラベル毎)や状態履歴異常判定部14での警告ラベル毎に実施した試験から異常と判定するルールである。このルールは人が決め、自律移動装置10の運行前までに予め人が入力して登録しておくことができる。試験ルール152は、状態推定部12から通知される複数の状態ラベルや状態履歴異常判定部14から通知される警告ラベルに対して、実施する試験の名前である試験ラベルを定義しておく。また、試験ルール152は、試験ラベル毎に、試験動作と、試験動作に対して期待される動作と、その動作が検出された場合に、正常か異常か、異常であればその異常ラベルとともに定義しておく。ここでの異常ラベルは、異常に該当した場合にどのような異常かを表すラベルである。
図17の例では、試験番号1(向かい風)を示す試験ラベルに対しては、条件ルールの例として「停止させると後ろに流される」ことを採用し、この条件が満たされた結果として出力される異常ラベルの例として「向かい風の異常」を採用している。また、試験番号2(プロペラ故障)を示す試験ラベルに対しては、条件ルールの例として「回転させると回転動作しない」ことを採用しており、この条件が満たされた結果として出力される異常ラベルの例として「プロペラ故障の異常」を採用している。
結果判定部154は、試験動作要求により試験動作を行った結果の状態を判定し、対策決定部16に判定結果を出力するとともに試験履歴153にも判定結果を登録する。具体的には、結果判定部154は、状態推定部12から受信した状態ラベルや状態履歴異常判定部14から受信した警告ラベルと試験履歴153の試験履歴をキーにして、試験ルール152を読み出し、ラベルを突き合わせる。結果判定部154は、このようにして試験結果を確認し、異常、正常を判定し、異常と判定した場合、対策決定部16に、対策要求を行い、異常ラベルを送信する。正常と判定された場合には何も行わない。
本実施形態でも、実施形態1で説明したようにルールに記述が簡潔にできるようになることで、ある状態に対する対策やその判定条件を簡潔に定義することができ、この対策には試験を実施することも含むことができる。試験を行い、異常や原因を切り分けることができるため、運行をやめるべき真の異常と異常に似ているが運行を継続できる状態を見分けることができるので、異常の過検知を低減させることができる。
このように、本実施形態では、人間が理解しやすい自律移動装置10の状態を表す状態ラベルに対して人間が試験動作の方法と動作試験結果の判定方法を容易に定義でき、動作試験結果に基づき、自律移動装置10の動作を変えることができる。これにより、試験を実施しその結果から、異常と判断し対処を行うべきか、何も行わなくて良いのかのより精密な判定を行うことができる。つまり、本実施形態によれば、過剰な予防的な対策を減らすことができ、運行の安定に寄与する。また、試験を考慮することで、異常と過剰に誤検知され、即時緊急動作となっていたような場面でも、それをしなくて良くなるため、自律移動装置10の運用の可用性を高めることができる。
(対策決定部16)
図18及び図19を参照して対策決定部16について説明する。図18は対策決定部16の一構成例を示すブロック図で、図19は対策ルールの一例を示す図である。
対策決定部16は、状態異常判定部13、状態履歴異常判定部14、試験実施部15から異常通知として異常ラベルを受信し、受信した異常ラベルを対策ルールに照らして対策を決定し、移動制御部17に対策要求を行う。図18に示すように、対策決定部16は決定部161及び上記対策ルールである対策ルール162から構成されることができる。
対策ルール162は、異常毎(異常ラベル毎)にどの対策をとるべきかのルールである。このルールは人が決め、自律移動装置10の運行前までに予め人が入力して登録しておくことができる。
図19の例では、向かい風の異常ラベルに対しては、条件ルールの例として「過去管制に報告していない」ことを採用し、この条件が満たされた結果として「風が強いことを管制に報告」することを採用している。また、向かい風の異常ラベルに対し、条件ルールの例として「管制から経路変更命令が来る」ことを採用し、この条件が満たされた結果として「風の吹いていない場所を飛行」することを採用している。また、向かい風の異常ラベルに対し、それらの条件以外に該当し判定できない場合には「着陸」することを採用している。プロペラ故障の異常ラベルに対しては、条件ルールの例として「間もなく墜落しそうである」ことを採用し、この条件が満たされた結果として「緊急着陸」することを採用している。また、プロペラ故障の異常ラベルに対し、条件ルールの例として「少しの間は飛行できる」ことを採用し、この条件が満たされた結果として「近くの着陸ポイントで着陸」することを採用している。また、プロペラ故障の異常ラベルに対し、それらの条件以外に該当し判定できない場合には「パラシュートを開く」ことを採用している。
決定部161は、受信した異常ラベルに対し、対策ルール162を参照して対応する対策を決定し、移動制御部17に指示を行う。対策決定部16は、出力部1eの一例であり、この例のように、その出力先として移動制御部17を含むことができる。特に、対策決定部16の決定部161は、判定結果として、必要な対策に応じた制御命令を移動制御部17に出力するように構成することもできる。無論、移動制御部17側で決定部161からの判定結果を解釈して対応する制御を実行するようにしてもよい。
(基準設定部18)
基準設定部18は、状態履歴異常判定部14及び試験実施部15の判定基準を設定する。基準設定部18は、自律移動装置1の本体に設けられた操作部(操作受付部)とすること、外部装置からの通信により設定できるように設定信号を受信する受信部とすること、或いはそれらの双方とすることができる。これにより、上述した状態履歴異常ルール143や試験ルール152やそれらに従った処理結果の出力を運用者が設定することができる。
また、自律移動装置10は、状態異常判定部13の判定基準を設定する設定部を備えることができ、ここでは基準設定部18にこの設定部が備えられた例を挙げる。これにより、上述した状態異常ルール132やそれに従った処理結果の出力を運用者が設定することができる。また、自律移動装置10は、対策決定部16が出力する必要な対策に応じた制御命令を設定する対策設定部を備えることが好ましい。この対策設定部は基準設定部18の一部として備えることができる。これにより、上述した対策ルール162やそれらに従った処理結果の出力(命令出力)を運用者が設定することができる。
また、状態推定部12の状態モデル122、状態異常判定部13の状態異常ルール132、状態履歴異常判定部14の状態履歴異常ルール143、試験実施部15の試験ルール152、対策決定手部16の対策ルール162は次のように書き込むことができる。即ち、予め設定ファイルなどを作成して自律移動装置10の各部のルールとして基準設定部18から予め書きこんでおくことができ、これにより設定の更新も更に容易となる。
(自律移動装置10の動作例)
図20~図25を参照しながら自律移動装置10の内部の動作例について説明する。図20は、自律移動装置10の動作例を説明するためのフロー図であり、ここではUML(Unified Modeling Language)2.0の記法で全体のシーケンスを表記している。図20には、自律移動装置10の運用中にセンサ情報(センサ群11からの検知結果)が生じるたびに、或いは、一定の期間おきなどのタイミングで、センサ情報がセンサ群11から他の機能部の通知を行う毎に繰り返し行われる一連の動作の流れを示している。
自律移動装置10では、センサ群11からセンサ情報の通知(ステップS11)がなされる度に、状態推定部12で状態推定が行われ、その結果が状態異常判定部13、状態履歴異常判定部14、及び試験実施部15のいずれか1又は複数に通知される(ステップS12)。そして、通知を受けた、状態異常判定部13、状態履歴異常判定部14、及び試験実施部15のいずれかで異常の判定が実行されることができる。
そして、自律移動装置10では、その判定の結果に異常があれば、異常通知が対策決定部16に送信される(ステップS13,S16,S18)。対策決定部16は、その異常通知を受信して対策を決定し、移動制御部17を通じて自律移動装置10に対策動作を行わせる(ステップS14)ことで、異常動作に対する対処動作を行う。
また、状態異常判定部13は、対策として試験が必要な異常(警告)があると判定された場合、試験実施部15に試験要求を送信する(ステップS15)。状態履歴異常判定部14は、対策として試験が必要な異常(警告)があると判定された場合、試験実施部15に試験要求を送信する(ステップS110)。試験実施部15は、試験要求を受信し、試験動作要求を移動制御部17に送信し(ステップS113)、その後、異常の判定が実行される。
次に、状態推定部12の内部の動作例について、図21を参照しながら説明する。図21は、図4の状態推定部12の動作例を説明するためのフロー図である。この一連の処理に先立ち、状態モデルには、各状態を正解ラベルとして学習された状態モデルが既に格納されている。
推定部121がセンサ群11からセンサ情報通知(ステップS11)を受信し(ステップS21)、受信したセンサ情報通知を状態モデル122に照らして状態を推定し状態ラベル情報を得る(ステップS22)。推定部121は、状態通知(ステップS12)を受信した場合には、状態ラベル情報を状態異常判定部13、状態履歴異常判定部14、試験実施部15へ送信し(ステップS23)、処理を終了する。
状態異常判定部13の内部の動作例について、図22を参照しながら説明する。図22は、図11の状態異常判定部13の動作例を説明するためのフロー図である。
判定部131が状態推定部12から状態通知(ステップS12)で受信し、状態ラベル情報を受け取る(ステップS31)。判定部131が、状態ラベル情報を状態異常ルール132に照らして、該当あれば異常ラベル或いは試験ラベルを得る(ステップS32)。ここで、該当無ければ何も得られない。
次いで、判定部131は、ラベルが得られたか否かを判定し(ステップS33)、NOの場合には処理を終了し、YESの場合には得たラベルの種類を判定する(ステップS34)。ステップS34では異常ラベルか試験ラベルのいずれであるかを判定するものとする。判定部131は、異常ラベルが得られた場合、対策決定部16に異常通知(ステップS13)で異常ラベルを通知し(ステップS35)、処理を終了する。判定部131は、試験ラベルが得られた場合、試験実施部15に試験要求(ステップS15)で試験ラベルを通知し(ステップS36)、処理を終了する。
状態履歴異常判定部14の内部の動作例について、図23を参照しながら説明する。図23は、図14の状態履歴異常判定部14の動作例を説明するためのフロー図である。
判定部141がセンサ群11からセンサ情報通知(ステップS11)を受信し(ステップS41)、受信したセンサ情報通知を状態履歴142に追加する(ステップS42)。次いで、判定部141が状態履歴142からセンサ情報通知の履歴を読み出し、状態履歴異常ルール143から読み出したルールに照らして、該当あれば異常ラベル或いは試験ラベルを得る(ステップS43)。ここで、該当無ければ何も得られない。
次いで、判定部141は、ラベルが得られたか否かを判定し(ステップS44)、NOの場合には処理を終了し、YESの場合には得たラベルの種類を判定する(ステップS45)。ステップS45では異常ラベルか試験ラベルのいずれであるかを判定するものとする。判定部141は、異常ラベルが得られた場合、対策決定部16に異常通知(ステップS13)で異常ラベルを通知し(ステップS46)、処理を終了する。判定部141は、試験実施部15に試験要求(ステップS15)で試験ラベルを通知し(ステップS47)、処理を終了する。
試験実施部15の内部の動作例について、図24を参照しながら説明する。図24は、図16の試験実施部15の動作例を説明するためのフロー図である。
実施部151が、状態異常判定部13から試験要求(ステップS15)もしくは状態履歴異常判定部14から試験要求(ステップS110)を受信する(ステップS51)。次いで、実施部151が、試験ルール152を参照して、試験要求に対応する試験ルールを試験ルール152から読み出す(ステップS52)。実施部151が、読み出した試験ルールに沿った自律移動装置10の試験動作を移動制御部17に対して試験動作要求(ステップS113)で要求するとともに、試験履歴153に登録する(ステップS53)。
次いで、結果判定部154が状態推定部12から状態通知(ステップS12)を受け取る(ステップS54)。ステップS54では、試験要求に対する自律移動装置10の動作を受け取ることになる。次いで、結果判定部154が、受信した状態通知(ステップS12)と試験履歴153のペアと試験ルール152を突き合わせて(ステップS55)、試験結果が試験ルール通り(正常)か否かを判定する(ステップS56)。結果判定部154は、ステップS56でYESの場合、処理を終了する。結果判定部154は、ステップS56でNOの場合、つまり、試験結果が試験ルールと異なる(異常である)場合、対策決定部16に異常通知(ステップS16)で異常ラベルを通知し(ステップS57)、処理を終了する。
対策決定部16の内部の動作例について、図25を参照しながら説明する。図25は、対策決定部16の動作例を説明するためのフロー図である。
決定部161が、試験実施部15からの異常通知(ステップS16)、状態異常判定部13からの異常通知(ステップS13)、及び状態履歴異常判定部14からの異常通知(ステップS18)のいずれかを受信する(ステップS61)。次いで、決定部161が受信した異常通知(ステップS16,S13,S18)を対策ルール162に照らして対策を決定する(ステップS62)。そして、決定部161が移動制御部17に対策要求(ステップS14,S17)を送信し、移動制御部17によって自律移動装置10に対策動作の制御指示が出され(ステップS63)、処理を終了する。
以上に説明したように、本実施形態によれば、実施形態1と同様に、対策が必要となるような異常な状態を自律移動装置10の運用者が望む判定条件で検知することが可能になるだけでなく、個々に設けた構成要素の効果を奏する。例えば、状態履歴異常判定部14及び試験実施部15の少なくとも一方を備えることで、異常状態の検知精度を向上させ、自律移動装置10の可用性を高めることができる。
また、本実施形態では、例えば自律移動装置10において、試験実施部15、状態異常判定部13、状態履歴異常判定部14のいずれかを除いた構成を採用した場合でも、異常状態の検知精度をある程度に保つことは可能である。その場合でも、基準設定部18により、運用者が容易に異常判定基準や対策を定義できるという利点は維持される。
また、状態異常ルール132、状態履歴異常ルール143、対策ルール162のいずれか1又は複数を、それぞれ状態異常モデル、状態履歴異常モデル、対策ルールモデルに置き換えた構成としてもよい。いずれのモデルも、例えば、状態モデル122の生成方法と同じ手法を用いて生成を行うことができる。この場合、運用者は各定義ファイルを作成する代わりに、モデルに学習をさせる必要があるため、少なくとも1つのルールについては基準設定部18から容易に設定できるようにしておくとよい。
<実施形態3>
実施形態3について、図26及び図27を参照しながら実施形態2との相違点を中心に説明する。実施形態3は、実施形態1,2で説明した様々な例が適宜利用できる。図26は、実施形態3に係る自律移動システムの一構成例を示すブロック図で、図27は、実施形態3に係る自律移動システムの他の構成例を示すブロック図である。
図26に示す本実施形態に係る自律移動システムは、自律移動装置10と、それに接続され自律移動装置10の運行を管理するサーバ装置50と、を備える。サーバ装置50は、1又は複数台の自律移動装置10の運行を管理する管理部(運行管理部)51を有することができる。運行管理部51による管理の方法等は問わず、自律移動装置10の運行を管理できればよい。運行管理部51は、例えば航空機における管制のように、複数の自律移動装置10の運行を管理する。
また、サーバ装置50は、基準設定部18を備えることもできる。これにより、状態推定部12の状態モデル122、状態異常判定部13の状態異常ルール132、状態履歴異常判定部14の状態履歴異常ルール143、試験実施部15の試験ルール152、対策決定手部16の対策ルール162はサーバ装置50から登録できる。また、これらはサーバ装置50から書き換えることもできるようになる。このように、サーバ装置50に基準設定部18を設け、例えば利用者向け設定画面などから、定義を追加削除することや編集することを可能に構成しておくこともできる。なお、この場合、自律移動装置10側の基準設定部18を省略することもできる。
運行管理部51は、サーバ装置50の全体を制御する制御部(図示せず)及び自律移動装置10との通信を行う通信部(図示せず)として構成することができる。この制御部は、例えば、CPU、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、運行管理部51の機能を実現するための処理を通信部と協働しながら実行する運行管理プログラムとすることができる。また、この制御部は、例えば集積回路によって実現することもできる。
図27に示す本実施形態に係る自律移動システムは、自律移動装置10aと、それに接続され自律移動装置10aの運行を管理するサーバ装置50aと、を備える。サーバ装置50aは、1又は複数台の自律移動装置10aの運行を管理する運行管理部51を有することができる。運行管理部51による管理の方法等は問わず、自律移動装置10aの運行を管理できればよい。
また、サーバ装置50aは、状態推定部12、状態異常判定部13、状態履歴異常判定部14、試験実施部15、及び対策決定部16を備え、自律移動装置10aでは自律移動装置10からこれらの機能を取り除いている。つまり、自律移動装置10aは、センサ群11及び移動制御部17を備え、図示しない通信部により、サーバ装置50aと通信しながら、センサ群11の情報の送信や移動制御部17への命令信号の受信などの処理を実行することになる。そのため、サーバ装置50aは、センサ群を備えないが、自律移動装置10aから自律移動装置10aにおける現在の状態を検知するセンサ群11で取得された検知結果を受信する受信部(通信部)を備える。サーバ装置50aは、この通信部により移動制御部17への命令信号の送信も行うことができる。
なお、運行管理部51、状態推定部12等の各部は、サーバ装置50について説明した場合と同様に、サーバ装置50aの全体を制御する制御部(図示せず)及び自律移動装置10aとの通信を行う通信部(図示せず)として構成することができる。
また、サーバ装置50aは、状態推定部12、状態異常判定部13、状態履歴異常判定部14、試験実施部15、及び対策決定部16を備えた例を挙げたが、そのうちの1又は複数のみを備え、残りの構成要素を自律移動装置10a側に備えることもできる。また、自律移動システムは、図26又は図27の構成例において、運行管理部51を備えないシステムとして構築することもできる。
<他の実施形態>
[a]
各実施形態において、自律移動装置の機能、学習装置の機能、サーバ装置の機能などについて説明したが、各装置は、例示した構成例に限ったものではなく、各装置としてこれらの機能が実現できればよい。
[b]
各実施形態に係る各装置は、次のようなハードウェア構成を有していてもよい。図28は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態[a]についても同様である。
図28に示す装置100は、プロセッサ101、メモリ102、及びインタフェース103を有することができる。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPUなどであってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。各実施形態で説明した各装置における機能は、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現される。この際、情報の入出力は、内部の他の部位や外部の他の装置との通信を行う通信インタフェース等のインタフェース103を介して行うことができる。例えば、装置100が自律移動装置の場合、インタフェース103は、少なくとも各センサとのインタフェースを含むことができる。
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
[c]
さらに、上述した各実施形態において、自律移動装置やサーバ装置における処理の手順を例示したように、本開示は、自律移動装置又はサーバ装置における異常検知方法としての形態も含む。この異常検知方法は、次の取得ステップ、状態推定ステップ、第1異常判定ステップ、第2異常判定ステップ、出力ステップ、及び基準設定ステップを備えることができる。上記取得ステップは、自律移動装置における現在の状態をその自律移動装置内のセンサ群で検知した結果を取得する。上記状態推定ステップは、センサ群による検知結果に基づき、自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する。上記第1異常判定ステップは、状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する。上記第2異常判定ステップは、状態推定ステップで異なる時間に複数回推定された結果に基づき、それら複数回推定された結果が示す状態が該状態を変えるための対策を必要とする履歴異常状態であるか否かを判定する。上記出力ステップは、第1異常判定ステップでの判定結果と第2異常判定ステップでの判定結果とを出力する。上記基準設定ステップは、第2異常判定ステップの判定基準を設定する。なお、その他の例については、上述した各実施形態で説明した通りである。また、本開示は、このような異常検知方法を含む、自律移動装置の安全な自動制御方法を含むことができる。
また、自律移動装置に関するプログラムは、自律移動装置内に具備されたコンピュータ(制御コンピュータ)に上述した取得ステップ、状態推定ステップ、第1異常判定ステップ、第2異常判定ステップ、出力ステップ、及び基準設定ステップを実行させるためのプログラムであると言える。サーバ装置に関するプログラムは、自律移動装置に接続されたコンピュータに上述した取得ステップ、状態推定ステップ、第1異常判定ステップ、第2異常判定ステップ、出力ステップ、及び基準設定ステップを実行させるためのプログラムであると言える。
上述した各実施形態において、学習装置における処理手順を説明したように、本開示は学習装置における学習方法としての形態も含む。この学習方法は、次の取得ステップ及び生成ステップを備える。この取得ステップは、自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する。この生成ステップは、取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する。なお、その他の例については、上述した各実施形態で説明した通りである。また、学習装置に関するプログラムは、自律移動装置に具備された又は自律移動装置に接続されたコンピュータに上記の取得ステップ及び生成ステップを実行させるためのプログラムであると言える。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
自律移動装置における現在の状態を検知するセンサ群と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、
前記第1異常判定部での判定結果と前記第2異常判定部での判定結果とを出力する出力部と、
前記第2異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
自律移動装置。
(付記2)
前記第2異常判定部は、前記状態推定部で異なる時間に複数回推定された結果を入力し前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第1学習済みモデルを用いて、判定を実行する、
付記1に記載の自律移動装置。
(付記3)
前記第2異常判定部は、前記状態推定部での推定された状態ラベルの履歴である状態履歴を参照して、前記履歴異常状態であるか否かの判定を実行する履歴異常判定部を有する、
付記1又は2に記載の自律移動装置。
(付記4)
前記状態履歴は、前記自律移動装置と同種の他の自律移動装置についての状態ラベルの履歴も含む、
付記3に記載の自律移動装置。
(付記5)
前記第1異常判定部での判定結果についての前記出力部の出力先は、前記第2異常判定部を含み、
前記第2異常判定部は、前記第1異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第1異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第1異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
付記3又は4に記載の自律移動装置。
(付記6)
前記第1異常判定部での判定結果についての前記出力部の出力先は、前記第2異常判定部を含み、
前記第2異常判定部は、前記第1異常判定部での判定結果が異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第1異常判定部での判定結果と前記試験後における前記第1異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの判定を実行する試験実施部を有する、
付記1~4のいずれか1項に記載の自律移動装置。
(付記7)
前記第1異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定し、
前記複数の対策ラベルには前記試験の実行が必要であることを示す1又は複数種類の試験ラベルを含み、
前記試験実施部は、前記第1異常判定部が前記1又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
付記5又は6に記載の自律移動装置。
(付記8)
前記第1異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定する、
付記1~7のいずれか1項に記載の自律移動装置。
(付記9)
前記第1異常判定部は、前記状態推定部での推定結果を入力し前記複数の対策ラベルと前記正常ラベルとの中のいずれかを出力する第2学習済みモデルを用いて、判定を実行する、
付記8に記載の自律移動装置。
(付記10)
前記第1異常判定部の判定基準を設定する設定部を備えた、
付記1~9のいずれか1項に記載の自律移動装置。
(付記11)
前記自律移動装置の移動を制御する移動制御部を備え、
前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
付記1~10のいずれか1項に記載の自律移動装置。
(付記12)
前記出力部が出力する必要な対策に応じた制御命令を設定する対策設定部を備えた、
付記11に記載の自律移動装置。
(付記13)
前記状態推定部は、前記センサ群による検知結果を入力し前記複数の状態ラベルの中のいずれかを出力する第3学習済みモデルを用いて、推定を実行する、
付記1~12のいずれか1項に記載の自律移動装置。
(付記14)
自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、
前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、
前記第1異常判定部での判定結果と前記第2異常判定部での判定結果とを出力する出力部と、
前記第2異常判定部の判定基準を設定する基準設定部と、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
サーバ装置。
(付記15)
前記自律移動装置の運行を管理する管理部をさらに備えた、
付記14に記載のサーバ装置。
(付記16)
付記14又は15に記載のサーバ装置と、前記センサ群が備えられた自律移動装置と、を備えた自律移動システム。
(付記17)
付記1~13のいずれか1項に記載の自律移動装置と、前記自律移動装置に接続され前記自律移動装置の運行を管理するサーバ装置と、を備えた自律移動システム。
(付記18)
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、
制御部と、
を備え、
前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習装置。
(付記19)
前記制御部は、前記取得部で取得された検知結果を入力し前記自律移動装置の現在の状態を示すために予め定められた複数の状態ラベルの中のいずれかを出力する、状態ラベル出力用の学習済みモデルを生成する、
付記18に記載の学習装置。
(付記20)
自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、
前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、
前記第2異常判定ステップの判定基準を設定する基準設定ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
異常検知方法。
(付記21)
自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を備え、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
学習方法。
(付記22)
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、
前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、
前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、
前記第2異常判定ステップの判定基準を設定する基準設定ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
(付記23)
自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得ステップと、
前記取得ステップで取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成する生成ステップと、
を実行させ、
前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
プログラム。
1、10、10a 自律移動装置
1a、11 センサ群
1b、12 状態推定部
1c 第1異常判定部
1d 第2異常判定部
1e 出力部
1f、18 基準設定部
2 学習装置
2a 制御部
2b 制御部
2c 記憶部
2d 未学習モデル
2e 学習済みモデル
13 状態異常判定部
14 状態履歴異常判定部
15 試験実施部
16 対策決定部
17 移動制御部
40 生のセンサデータ
41 加工したセンサデータ
42 学習データ
50、50a サーバ装置
51 運行管理部
100 装置
101 プロセッサ
102 メモリ
103 インタフェース

Claims (10)

  1. 自律移動装置における現在の状態を検知するセンサ群と、
    前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
    前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、
    前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、
    前記第1異常判定部での判定結果とでの判定結果とを出力する出力部と、
    前記第2異常判定部の判定基準を設定する基準設定部と、
    を備え、
    前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
    自律移動装置。
  2. 前記第2異常判定部は、前記状態推定部での推定された状態ラベルの履歴である状態履歴を参照して、前記履歴異常状態であるか否かの判定を実行する履歴異常判定部を有する、
    請求項1に記載の自律移動装置。
  3. 前記状態履歴は、前記自律移動装置と同種の他の自律移動装置についての状態ラベルの履歴も含む、
    請求項2に記載の自律移動装置。
  4. 前記第1異常判定部での判定結果についての前記出力部の出力先は、前記第2異常判定部を含み、
    前記第2異常判定部は、前記第1異常判定部での判定結果が前記異常状態であることを示している場合又は前記履歴異常判定部での判定結果が前記履歴異常状態であることを示している場合、試験的に前記自律移動装置の制御を変更して動作させる試験を実行し、前記試験前における前記第1異常判定部又は前記履歴異常判定部での判定結果と前記試験後における前記第1異常判定部又は前記履歴異常判定部での判定結果とに基づき、前記履歴異常状態であるか否かの最終的な判定を実行する試験実施部を有する、
    請求項2又は3に記載の自律移動装置。
  5. 前記第1異常判定部は、前記現在の状態を変えるための対策の種類毎に予め定められた複数の対策ラベルと対策が不要な正常ラベルとの中のいずれに該当するかを判定し、
    前記複数の対策ラベルには前記試験の実行が必要であることを示す1又は複数種類の試験ラベルを含み、
    前記試験実施部は、前記第1異常判定部が前記1又は複数の試験ラベルに該当すると判定した結果を示した場合に、判定結果が示す試験ラベルに対応する試験を実施する、
    請求項4に記載の自律移動装置。
  6. 前記自律移動装置の移動を制御する移動制御部を備え、
    前記出力部は、判定結果として、必要な対策に応じた制御命令を前記移動制御部に出力する、
    請求項1~5のいずれか1項に記載の自律移動装置。
  7. 自律移動装置から前記自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を受信する受信部と、
    前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定部と、
    前記状態推定部での推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定部と、
    前記状態推定部で異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定部と、
    前記第1異常判定部での判定結果と前記第2異常判定部での判定結果とを出力する出力部と、
    前記第2異常判定部の判定基準を設定する基準設定部と、
    を備え、
    前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
    サーバ装置。
  8. 自律移動装置における現在の状態を検知するセンサ群で取得された検知結果を取得する取得部と、
    制御部と、
    を備え、
    前記制御部は、前記取得部で取得された検知結果を複数回分入力し複数の対策ラベルと正常ラベルとの中のいずれかを出力する、対策ラベル出力用の学習済みモデルを生成し、
    前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
    学習装置。
  9. 自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
    前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
    前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、
    前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、
    前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、
    前記第2異常判定ステップの判定基準を設定する基準設定ステップと、
    を備え、
    前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
    異常検知方法。
  10. 自律移動装置内に具備された又は前記自律移動装置に接続されたコンピュータに、
    前記自律移動装置における現在の状態を前記自律移動装置内のセンサ群で検知した結果を取得する取得ステップと、
    前記センサ群による検知結果に基づき、前記自律移動装置における現在の状態が予め定められた複数の状態ラベルの中のいずれに該当するかを推定する状態推定ステップと、
    前記状態推定ステップでの推定結果に基づき、現在の状態が該状態を変えるための対策を必要とする異常状態であるか否かを判定する第1異常判定ステップと、
    前記状態推定ステップで異なる時間に複数回推定された結果に基づき、複数の対策ラベルと正常ラベルとの中のいずれに該当するかを判定する第2異常判定ステップと、
    前記第1異常判定ステップでの判定結果と前記第2異常判定ステップでの判定結果とを出力する出力ステップと、
    前記第2異常判定ステップの判定基準を設定する基準設定ステップと、
    を実行させ、
    前記複数の対策ラベルは、前記複数回推定された結果が示す前記自律移動装置の状態が該状態を変えるための対策を必要とする履歴異常状態であることを示すために、前記対策毎に予め定められたラベルであり、前記正常ラベルは対策が不要なラベルである、
    プログラム。
JP2021072221A 2021-04-22 2021-04-22 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム Pending JP2022166865A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021072221A JP2022166865A (ja) 2021-04-22 2021-04-22 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021072221A JP2022166865A (ja) 2021-04-22 2021-04-22 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022166865A true JP2022166865A (ja) 2022-11-04

Family

ID=83852367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021072221A Pending JP2022166865A (ja) 2021-04-22 2021-04-22 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2022166865A (ja)

Similar Documents

Publication Publication Date Title
US11835962B2 (en) Analysis of scenarios for controlling vehicle operations
US11467590B2 (en) Techniques for considering uncertainty in use of artificial intelligence models
US11561541B2 (en) Dynamically controlling sensor behavior
US11625036B2 (en) User interface for presenting decisions
EP3232285B1 (en) Method and arrangement for monitoring and adapting the performance of a fusion system of an autonomous vehicle
CN107111315B (zh) 自动辅助和导引的机动车
US11249494B2 (en) Systems and methods for sensing and avoiding external objects for aircraft
KR101993475B1 (ko) 에러 예측 기반 드론 관제장치 및 그 방법
US20190050732A1 (en) Dynamic responsiveness prediction
US20230040713A1 (en) Simulation method for autonomous vehicle and method for controlling autonomous vehicle
WO2019125276A1 (en) Method and control arrangement in a surveillance system for monitoring a transportation system comprising autonomous vehicles
US20220105955A1 (en) Metrics for Evaluating Autonomous Vehicle Performance
Chelouati et al. A framework for risk-awareness and dynamic risk assessment for autonomous trains
US20230066809A1 (en) Information processing device, information processing method, and program
US11702106B1 (en) Tuning a safety system based on near-miss events
US11851074B2 (en) System and method of large-scale autonomous driving validation
JP2022166865A (ja) 自律移動装置、サーバ装置、学習装置、異常検知方法、及びプログラム
US20230070046A1 (en) Traffic control apparatus, traffic control system, and traffic control method
US20240034325A1 (en) Information processing system and information processing method
US20220398924A1 (en) Obstruction detection system
JP2021110979A (ja) 自律移動装置、学習装置、異常検知方法、及びプログラム
WO2019125277A1 (en) Method and control arrangement in a transportation surveillance system
KR20240010427A (ko) 통지 장치, 통지 방법, 및 컴퓨터 판독가능한 저장매체
KR20240001929A (ko) 자율주행용 차량 데이터 수집 방법, 장치 및 차량
KR20240110157A (ko) 산업현장에서의 안전사고 감시를 위한 디지털 트윈 기반의 현장 관리 서버 및 현장 관리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240306