JP2020097394A - 適応可能輸送体モニタリングシステム - Google Patents

Abstract

【課題】種々の種類の輸送体に適応可能な輸送体モニタリングシステムを提供する。【解決手段】適応可能輸送体モニタリングシステムは、輸送体の機器から輸送体の状態データを取得するように構成され、現在の輸送体のコンテキストを特定する。さらに、輸送体の状態データ及び輸送体のコンテキストに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成され、現在の輸送体の状態データ、現在の輸送体のコンテキスト、及び現在の輸送体の状態を記憶するように構成される。１以上の記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を解析して、１以上の傾向を特定するように構成され、現在の輸送体の状態及び／又は現在の傾向と予期される輸送体の状態及び／又は以前に特定された傾向との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備し、オペレータフィードバックを供給する。【選択図】図１

Description

本開示は、輸送体モニタリングシステムに関し、特に、種々の種類の輸送体に適応可能な輸送体モニタリングシステムに関する。

輸送体のモニタリングは、（オフライン解析、品質保証、記録管理向けの）データ記録機能として、且つ／又は、輸送体に搭載された特定のサブシステム（例えば、エンジン）に特化された健全性及び利用性モニタリングシステム（HUMS）機能として、実行されてよい。リアルタイムのモニタリングは、輸送体の動作（例えば、動作のフェーズ、チェックリストの実行など）、及び／又は、オペレータの自覚若しくは作業を必要とし得る他の機能を、考慮しないかもしれない。

輸送体モニタリングシステムは、輸送体全体の「状態」に関するコンテキストや認知を欠いている場合がある。例えば、位置、チェックリスト内のステップ、チェックリストの実行状態、及び／又は輸送体が何処にいるときにどんな構成をしているか、スイッチ及び制御のステータス、並びに／又はミッションにおける地理的特徴（例えば、空港、海港、ガスステーション、ウェイポイント）及び／若しくは他の輸送体に対する位置である。適用可能であれば、搭載型のモニタリングシステムによる「状態認知」の欠如は、オペレータがエラー、危険な状態にあること、安全でないことに対して注意喚起されないこと、及び／又は、オペレータによってそれらが識別されないならば、望ましくない傾向が無視されることをもたらし得る。

本開示は、輸送体モニタリングシステムに関し、特に、種々の種類の輸送体に適応可能な輸送体モニタリングシステムに関する。

第１の態様によれば、輸送体の動作中にオペレータに対してオペレータフィードバックを提供するための適応可能輸送体モニタリングシステムが、現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステムであって、現在の輸送体のコンテキストが輸送体の動作モードを反映する、コンテキスト認知サブシステム、現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステムであって、輸送体の少なくとも１つのパラメータに応じて輸送体の状態データを現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステムと動作可能に接続され、現在の輸送体の状態データ及び現在の輸送体のコンテキストを解析して、１以上の傾向を特定するように構成された、状態モニタリングサブシステム、状態モニタリングサブシステムに動作可能に接続されたフィードバックサブシステムであって、現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、予期される輸送体の状態が１以上の記憶された輸送体の状態及び１以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム、並びに、準備されたオペレータフィードバックをオペレータに提供するように構成されたユーザインターフェースを備える。

特定の態様では、状態モニタリングサブシステムが、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、１以上の傾向を特定するように更に構成されている。

特定の態様では、システムが、輸送体内に位置付けられた機器から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラを有する知覚サブシステムを更に備える。

特定の態様では、システムが、輸送体の操縦室内に位置付けられた機器から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラを有する知覚サブシステムを更に備える。

特定の態様では、機器が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの１以上を備える。

特定の態様では、オペレータフィードバックが、予期される輸送体の状態と現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む。

特定の態様では、現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの１以上に少なくとも部分的に基づいて特定される。

特定の態様では、輸送体モニタリングシステムが、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて種々の種類の輸送体に適応し得る。

特定の態様では、符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器、及び輸送体の能力のうちの１以上を含む。

特定の態様では、解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、デジタルファイル内の符号化された輸送体の種類に対応する。

特定の態様では、状態モニタリングサブシステムが、機械学習技術を使用して、１以上の傾向を特定する。

特定の態様では、適応可能輸送体モニタリングシステムが、輸送体の機器から、現在の輸送体の状態情報を視覚的に取得するように構成された知覚サブシステムを更に備える。

特定の態様では、ユーザインターフェースが、人間機械（human machine）インターフェース（HMI）である。

特定の態様では、HMIがタブレットを備える。

特定の態様では、輸送体が航空輸送体である。

特定の態様では、知覚サブシステムが、有線又は無線接続を経由して輸送体の機器と通信することによって、現在の輸送体の状態を取得する。

特定の態様では、知覚サブシステムが、データレコーダを使用して、輸送体の機器と相互作用する。

第２の態様によれば、輸送体の動作中にオペレータにオペレータフィードバックを提供するための方法が、輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、輸送体の少なくとも１つのパラメータに応じて、輸送体の状態データを現在の輸送体のコンテキストに相関させるステップ、現在の輸送体の状態データ及び現在の輸送体のコンテキストを解析して、１以上の傾向を特定するステップ、現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、予期される輸送体の状態が１以上の記憶された輸送体の状態及び１以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに、ユーザインターフェースを介して、準備されたオペレータフィードバックをオペレータに提供するステップを含む。

特定の態様では、１以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される。

特定の態様では、現在の輸送体の状態データが、輸送体の操縦室内の機器からデータを収集するように構成された複数のカメラを使用して取得される。

特定の態様では、現在の輸送体の状態データが、輸送体内の機器からデータを収集するように構成された複数のセンサを使用して取得される。

特定の態様では、輸送体の機器が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの１以上を備える。

特定の態様では、オペレータフィードバックが、予期される輸送体の状態と現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む。

特定の態様では、輸送体モニタリングシステムが、種々の種類の輸送体と互換性があり、該方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて種々の種類の輸送体に適応させるステップを更に含む。

特定の態様では、符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器、及び輸送体の能力のうちの１以上を含む。

特定の態様では、機械学習技術を使用して、１以上の傾向を特定する。

特定の態様では、該方法が、輸送体の機器から現在の輸送体の状態データを取得するステップを更に含む。

特定の態様では、ユーザインターフェースが、人間機械（human machine）インターフェース（HMI）である。

特定の態様では、HMIがタブレットを備える。

特定の態様では、輸送体が航空輸送体である。

特定の態様では、現在の輸送体の状態データが、有線又は無線接続を経由して輸送体の機器と通信することによって取得される。

特定の態様では、現在の輸送体の状態データが、データレコーダを使用して輸送体の機器と相互作用することによって取得される。

特定の態様では、現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの１以上に少なくとも部分的に基づいて特定される。

特定の態様では、解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、デジタルファイル内の符号化された輸送体の種類に対応する。

第３の態様によれば、輸送体モニタリングの方法が、輸送体の機器から現在の輸送体の状態データを取得するステップ、現在の輸送体のコンテキストを特定するステップ、輸送体の状態データ及び輸送体のコンテキストに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、以前の輸送体の状態及び以前の輸送体の状態データにアクセスするステップ、現在の輸送体の状態データ、以前の輸送体の状態データ、現在の輸送体のコンテキスト、以前の輸送体の状態、及び現在の輸送体の状態を解析して、１以上の現在の傾向を特定するステップ、１以上の現在の傾向を１以上の以前の傾向と比較して、類似する傾向が存在するかどうかを判定するステップ、該比較に少なくとも部分的に基づいてフィードバックを準備するステップであって、フィードバックが類似する傾向が存在し且つ類似する傾向が望ましくないとの判定に応答した警告を含む、ステップ、並びにユーザインターフェースを介してオペレータに準備されたオペレータフィードバックを提供するステップを含む。

本明細書で説明されるデバイス、システム、及び方法の上述の或いは他の目的、特徴、及び利点は、それらの特定の実施形態の以下の説明から容易に理解されることになる。その際に、添付の図面が示され、類似の番号が類似の構造物を指す。図面は、必ずしも縮尺通りに描かれておらず、その代わりに、本明細書で説明されるデバイス、システム、及び方法の原理を示すことに重点が置かれている。

例示的な輸送体モニタリングシステムのブロック図を示す。 経路アプリケーションを表示する第１の例示的なユーザインターフェースを示す。 手順チェックリストを表示する第２の例示的なユーザインターフェースを示す。 例示的な知覚サブシステムのブロック図を示す。 例示的な作動システムの例示的なロボットアームを示す。 撮像システムによってキャプチャされた例示的な生画像を示す。 図４ａの画像の例示的な再フォーマットされた画像（二値画像）を示す。 図４ｂの再フォーマットされた画像から抽出されたデータの一例を示す。 撮像システムによってキャプチャされた別の例示的な生画像を示す。 図４ｄの画像の例示的な再フォーマットされた画像を示す。 例示的なデータベースサブシステムのブロック図を示す。 輸送体モニタリングシステムの例示的な動作を示す。 図７ａ及び図７ｂは、輸送体モニタリングシステム内で使用され得る例示的な手順を示す。 図７ａ及び図７ｂは、輸送体モニタリングシステム内で使用され得る例示的な手順を示す。 輸送体モニタリングシステムの例示的な動作を示す例示的な状態図を示す。

本開示の好適な実施形態が、添付の図面を参照しつつ本明細書で以下に説明される。図面における構成要素は必ずしも正確な縮尺で描かれておらず、むしろ、本発明の原理を明確に示すことに重点が置かれている。例えば、要素のサイズは、説明の明快さ及び利便性のために強調され得る。更に、可能な場合には、一実施形態の同じ又は類似の部品に言及するのに、図面全体を通して同じ参照番号を使用する。以下の記載では、周知の機能及び説明は詳細には記載されない。なぜならばそれらは、不必要な詳細によって本開示を不明確にし得るからである。明細書中の如何なる言葉も、実施形態の実施に必須である請求されていない要素を示すものとして解釈されるべきではない。本願では、以下の用語及び定義が適用される。

「航空輸送体」及び「航空機」という用語は、限定しないが、従来型の滑走路を使う航空機と、垂直離着陸（VTOL）式の航空機の両方を含む、飛行可能な機械を指す。VTOL航空機は、固定翼航空機（例えば、ハリアージェット）、回転翼飛行機（例えば、ヘリコプター）、及び／又はローターが傾く／翼が傾く航空機を含み得る。

「及び／又は（and/or）」という語は、「及び／又は」によってつながれている、列挙されたアイテムのうちの一又は複数の任意のものを意味する。一実施例として、「ｘ及び／又はｙ」は、３つの要素の組｛（ｘ）、（ｙ）、（ｘ、ｙ）｝のうちの任意の要素を意味する。言い換えると、「ｘ及び／又はｙ」は、「ｘとｙのうちの一方又は両方」を意味する。別の一実施例として、「ｘ、ｙ、及び／又はｚ」は、７つの要素の組｛（ｘ）、（ｙ）、（ｚ）、（ｘ、ｙ）、（ｘ、ｚ）、（ｙ、ｚ）、（ｘ、ｙ、ｚ）｝のうちの任意の要素を意味する。言い換えると、「ｘ、ｙ、及び／又はｙ」は、「ｘ、ｙ、及びｚのうちの１以上」を意味する。

「伝達する」及び「通信する」という用語は、（１）データを発信元から送付先へ送信若しくは他の方法で伝えること、並びに／又は、（２）データを送付先へ伝えるために、通信媒体、システム、チャネル、ネットワーク、装置、回線、ケーブル、ファイバー、回路、及び／若しくはリンクに送達することの、両方を意味する。

「約」及び／又は「近似的に」という用語は、値（又は値の範囲）、位置、配向、及び／又は動作を修正又は説明するために使用されるときに、その値、値の範囲、位置、配向、及び／又は動作に適切に近いことを意味する。したがって、本明細書で説明される実施形態は、挙げられた値、値の範囲、位置、配向、及び／又は動作にのみ限定されるのではなく、むしろ適切に働き得る偏差を含むべきである。

「回路」並びに／又は「電気回路」という用語は、物理的電子部品（すなわち、ハードウェア）、例えば、アナログ及び／若しくはデジタル構成要素、電力及び／若しくは制御要素、並びに／又はマイクロプロセッサ、並びに、ハードウェアを構成し、ハードウェアによって実行され、且つ／又はさもなければハードウェアに関連し得る、任意のソフトウェア及び／若しくはファームウェア（「コード」）を指す。

本明細書で使用される際に、「接続された」、「と接続されている」、及び「に接続されている」は、それぞれ、構造的な及び／又は電気的な接続を意味し、取り付けられ、連結され、結合され、接合され、締結され、リンクされ、且つ／又はそれ以外の方法で固定されていることを意味する。「取り付ける」という用語は、連結され、結合され、接続され、接合され、締結され、リンクされ、且つ／又は他の方法で固定されていることを意味する。「結合され」という用語は、取り付けられ、連結され、接続され、接合され、締結され、リンクされ、且つ／又は他の方法で固定されていることを意味する。

「動作可能に接続され」は、幾つかの要素又はアセンブリが共に接続されており、それによって、第１の要素／アセンブリが、１つの状態（及び／又は構成、配向、位置など）から別の状態に変化し、第１の要素／アセンブリに動作可能に接続された第２の要素／アセンブリも、１つの状態（及び／又は構成、配向、位置など）から別の状態に変化することを意味する。第１の要素が、第２の要素に「動作可能に接続され」ると同時に、第２の要素が、第１の要素に「動作可能に接続され」ない場合もあることに留意されたい。

「プロセッサ」という用語は、ハードウェアに実装されていてもソフトウェアに明白に具現化されていても又はそれらの両方でも、それがプログラム可能であってもそうではなくても、プロセッサデバイス、装置、プログラム、回路、構成要素、システム、及びサブシステムを意味する。本明細書で使用される際に、「プロセッサ」という用語は、１以上のコンピュータデバイス、配線回路、信号修正デバイス及びシステム、システムを制御するためのデバイス及び機械、中央処理装置、プログラマブルデバイス及びシステム、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、チップ上のシステム、離散した要素及び／又は回路を備えたシステム、状態機械、仮想機械、データプロセッサ、処理設備、並びにそれらの任意の組み合わせを含むが、それらに限定されるものではない。例えば、プロセッサは、任意の種類の汎用マイクロプロセッサ又はマイクロコントローラ、デジタル信号処理（DSP）プロセッサ、特定用途向け集積回路（ASIC）であり得る。プロセッサは、メモリデバイスに接続され又はメモリデバイスと統合され得る。

「例示的な」という用語は、非限定的な実施例、事例、又は実例として機能することを意味する。本明細書で使用される際に、「例えば（e.g.）」及び「例えば（for example）」という用語は、１以上の非限定的な実施例、事例、又は例示のリストを強調している。

「メモリ」という用語は、プロセッサ及び／又は他のデジタルデバイスによって使用されるための情報を記憶するコンピュータハードウェア又は回路を意味する。メモリは、例えば、リードオンリーメモリ（ROM）、ランダムアクセスメモリ（RAM）、キャッシュメモリ、コンパクトディスクリードオンリーメモリ（CDROM）、電気光学メモリ、磁気光学メモリ、プログラマブルリードオンリーメモリ（PROM）、消去可能プログラマブルリードオンリーメモリ（EPROM）、電気的消去可能プログラマブルリードオンリーメモリ（EEPROM）、コンピュータ可読媒体などの、任意の適切な種類のコンピュータメモリ又は任意の他の種類の電子記憶媒体であり得る。「データベース」という用語は、メモリ内のデータの特定の構築を指してよい。

本開示は、類似したコンテキスト内の予期される且つ／又は所望の輸送体の状態と比較して、所与のコンテキスト内の現在の輸送体の状態（並びに／又は輸送体の状態の変化及び／若しくは移行）のモニタリングに少なくとも基づいて、オペレータにリアルタイムのフィードバックを提供する、輸送体モニタリングシステムを対象とする。輸送体の状態は、輸送体特有の状態（例えば、制御ステータス、航空機の構成、航空機の健全性など）と、飛行特有の状態（例えば、飛行計画、又は地理的特徴、場所、位置、姿勢などに対する航空機の位置など）との両方を指す。該システムは、更に又は代替的に、そのフィードバックを、所与の閾値に対する現在の輸送体の状態データの比較、所与の閾値に対する現在の輸送体の状態の比較、将来に予期される輸送体の状態に対する予測された輸送体の状態の比較、及び／又は機械学習によって情報を与えられた傾向解析に基づかせてよい。現在の輸送体の状態データは、輸送体の１以上の機器（例えば、操縦室、管制室、ダッシュボード内のものなど）から収集されてよい。本開示は、航空輸送体に特に適用可能であってよい。本開示は、（輸送体の構成及び／又はミッション状態のうちの機器、スイッチ設定、地理的位置、ミッションデータ、及び他のインジケータに少なくとも部分的に基づいて）輸送体の状態の認知を傾向モニタリングと組み合わせて、フィードバックを提供することができる。フィードバックは、示唆された補正、警告、及び／又は警報を含んでよい。ある実施例では、フィードバックが、輸送体の動作の修正を含んでよい。適切且つ／又は時機を得たフィードバックは、差し迫った危険な状態に対する安全性及び／又はオペレータの認知のレベルを高めることができる。

本開示のシステムは、認知サブシステムを介して取得されたデータを少なくとも部分的に使用して、輸送体の状態を特定することができる。認知サブシステムは、カメラ、センサ、データレコーダ（例えば、飛行データレコーダ）、及び／又は他の情報源などの、ツールを使用してデータを取得することができる。輸送体が地上車両、航空輸送体、及び／又は船舶であってよい幾つかの実施例では、例えば、知覚サブシステムが、操縦室内の機器からデータを取得することができる。カメラが使用される実施例では、特別なマシンビジョン技術を適用して、パイロット及び／又はオペレータが操縦室の状態を視覚的に確認するのと類似したやり方で、操縦室の機器を読み、且つ／又はスイッチの位置及び／若しくは操縦室の状態を推定することができる。ある実施例では、知覚サブシステムが、機器の読み値、スイッチの設定、及び／又は輸送体の状態を提供する、既存のデバイスと相互作用することができる。輸送体が航空輸送体である実施例では、飛行データレコーダを使用して、機器の読み値、スイッチの設定、及び／又は航空機の飛行状態を提供する、既存のデバイスと相互作用することができる。

該システムは、コンテキスト情報と併せて、知覚サブシステムを介して取得されたデータを使用して且つ／又はそれらに基づいて、輸送体の状態を推察及び／又は特定することができる。一般的に言うと、輸送体の状態データ（又は情報）は、ユーザ（例えば、パイロット又は他のオペレータ）が、ダッシュボード、管制室、又は操縦室の機器によって提供されるものなどの、特定の動作モード（例えば、飛行動作）を維持する（又は実行する）ために使用できる、輸送体のステータス情報を指す。輸送体の種類（例えば、航空、地上、又は船舶であるかにかかわらず）に応じて、例示的な輸送体のステータスは、とりわけ、燃料レベル、高度、速度、エンジンの状態、フラップ、場所／姿勢などを含む。航空輸送体の場合は、飛行に特有の状態が、（例えば、物体又は別の場所、目的地などに対する）輸送体の相対的な位置、ミッション（例えば、飛行経路）に対する輸送体の位置、環境条件、温度などを反映する。簡単に言うと、輸送体の状態データは、ガイダンス、ナビゲーション、及び制御（GNC）に関する状態に限定されない。しかし、輸送体の状態データは、輸送体のコンテキストデータを反映しない。実際、同じ輸送体のデータは、輸送体が動作している特定のコンテキスト（すなわち、巡航、離陸、タクシング、着陸などの、特定の動作モード）に応じて増減する関連性を有してよい。例えば、輸送体モニタリングシステムには、１以上のシステムを通じて豊富な輸送体の状態データが提供されてよい。１以上のシステムは、特定の動作モードにとっては必要であり又は有用であるが、全ての動作モードにとってそうであるとは限らない。（例えば、コンテキストデータの形態を採る）コンテキストが提供されたときに、輸送体モニタリングシステムは、輸送体の状態データのうちの幾つかの部分を優先することができる。例えば、タクシングしているときに、輸送体モニタリングシステムは、高度についての情報を必要としない。何故ならば、その状態データは関係ないからである。したがって、速度やフラップ位置などの他の状態データが優先されてよい。したがって、輸送体の状態データは、特定された又は受け取られたコンテキストデータに応じて、優先され（例えば、重み付けされ）又は選択されてよい。本開示のシステムは、コンテキストデータ毎の輸送体の状態データの優先又は選択に基づいて、そのような優先又は選択の論理を更に適応させることができる。

輸送体モニタリングシステムは、コンテキスト情報を使用して、知覚サブシステムからの状態データを適切に処理し、且つ／又は適切なフィードバックを決定することができる。該システムは、様々な構成要素及び／又は記憶デバイスから情報を取り、コンテキストを同調させることができる。ある実施例では、輸送体の状態に少なくとも部分的に基づいて、輸送体のコンテキストを推察することができる。ある実施例では、コンテキストが、認知サブシステムを通じて取得されたデータに少なくとも部分的に基づいてよい。例えば、知覚サブシステムは、外部の温度、湿度、降水量、圧力、風速などに関するデータを取得してよく、該システムは、知覚された温度、湿度、降水量、圧力、及び／又は風速に基づいて、特定の場所、目的地、手順、及び／又はミッションのコンテキストを推察することができる。別の一実施例として、知覚サブシステムは、輸送体の地理的位置に関するデータを取得してよく、該システムは、地理的位置（例えば、国、地理、地形、天候パターン、気候、目的地、経路など）に基づいて、コンテキストを推察することができる。ある実施例では、現在の動作モード及び／又は手順に関するコンテキストが、例えば、メモリ内に記憶された運航チェックリスト及び／又はパイロット作業ハンドブックを通じて、取得されてよい。コンテキストは、輸送体の目的地及び／若しくはミッション、現在の動作モード及び／若しくは着手されている手順、チェックリスト及び／若しくは着手されている作業の組、並びに／又は取り囲んでいる環境の状態及び／若しくはステータスを含んでよい。

ある実施例では、該システムが、知覚システムからのデータと組み合わされた輸送体のコンテキストに少なくとも部分的に基づいて、輸送体の状態を推察することができる。このプロセスは、以下で更に概説されるオペレータフィードバックスキームを通知することができる。例えば、該システムは、所与の運航チェックリスト内でのオペレータ及び／又は輸送体の進み具合を追跡してよく、その進み具合に基づいて輸送体の状態に関する推察を行うことができる。ある実施例では、該システムが、最近記録された且つ／又は以前に記録された輸送体モニタリングシステムのデータセットの機械学習試験を通じて示される傾向及び／又はパターンに基づいて、コンテキスト及び／又は状態を取得し且つ／又は推察することができる。

１つの輸送体のコンテキスト及び／又は状態から別のものへの移行は複雑なことがある。ある実施例では、移行が、非常に明確な順序であるか又はオペレータが意図したやり方であるかを問わず、現在の動作モード／フェーズ及び／又は意図された次の動作モード及び／又は飛行のフェーズにとって適切であるようなやり方で輸送体を構成するために、オペレータが様々なステップを実行すること、及びそれに応答して変化する状態を含むだろう。図７ａ及び図７ｂは、（例えば、航空機のパイロット作業ハンドブックからの）単一の手順用のこの流れを示している。各ステップの実行は、認知サブシステムによって検証（「確認」）されてよく、条件を満たしたことが、図中の矢印（予め必要なもの）によって表わされ得る。予め必要なものは、「複数の組」内で組織化され、潜在的に複数の予め必要な組のうちの何れか１つが完了したときに（ステップの中に入って来る矢印がアクティブ）、チェックリストの特定のステップは、実行されるように「イネーブル」され又は準備されている。複数の組は、図中で矢印の色によって区別されている。したがって、チェックリストを完了するための様々な経路が表示されており、手順を通る流れは、オペレータによる決まりきった作業を必然的に伴わない。オペレータは、チェックリストを通る複数の経路を採ることによって、チェックリストの要件を満たすことができる。複数の経路は、それら自体コンテキストに依存してよい。更に、データの利用可能性は、あるアイテムがパイロットによって手動で検証されることを要求し得る（「表示された、パイロットが確認する」）。他のアイテムは、利用可能ではないことがあるが、システムによって確認される必要がないという十分に低い結論である（「表示された、確認されない」）。最後に、あるアイテムは、システムによって内的に確認されてよいが、パイロットに表示されない（「表示されない」）。

輸送体が、チェックリストの完了のおかげで、若しくは無線呼び出しなどの外部イベントのおかげで、且つ／又は位置に到着したことによって、種々のコンテキスト及び／又は状態の何れかに進むことができる場合もある。今度は、新しいコンテキスト及び／又は状態の発生が、新しいチェックリストを実行する必要性を誘発することがある。上述されているように、この図内での移行のうちの幾つかは、チェックリストの実行によって誘発されてよく、他のものは、コンテキストに依存してよい。今度は、ミッションの状態が、チェックリストが実行されることを誘発してよい。

該システムは、獲得されたデータ及び／又は取得されたコンテキストを通じて生じた状態の認知を使用して、輸送体のオペレータにフィードバックを提供することができる。例えば、フィードバックは、リアルタイムのオペレータ支援、示唆、リマインダー、警報、警告などを含んでよい。ある実施例では、該システムが、輸送体の現在の状態を、リアルタイムで維持されている状態及び／又は流れプロセスの組と比較してよく、この比較の結果に基づいてフィードバックを提供する。ある実施例では、該システムが、輸送体の現在の状態を、所望の且つ／若しくは予期される輸送体の状態、所与の現在の状態（例えば、飛行状態）、及び／又はミッションのコンテキストと比較することができる。ある実施例では、比較及び／又は比較から生じた任意のフィードバックが、以下で更に説明されるように、現在の輸送体の構成に少なくとも部分的に基づいてよい。フィードバックモニタリングは、オペレータの挙動、傾向、習慣、特異性、偏り、奇癖、好みなどにおけるばらつきを考慮するのに十分フレキシブルであってよい。更に、フィードバックサブシステムは、経時的に機能性を最適化するために、未だシステムの効率的な構成及び再構成を可能にしながら、誤警報を避けるのに十分ロバストであってよい。該システムは、オペレータと共に滑らかに働くために、特別な論理流れ及びリアルタイムのデータを採用してよく、チェックリストが適正に実行されたが、オペレータの間で変動する許容可能なシーケンス内にある場合の警報又は警告を避けることができる。これらの機能の統合を通じて、本開示のシステムは、オペレータのパフォーマンス及び／又は全体的な輸送体の安全性を高めることができる。

例えば、グラフィカルユーザインターフェース（GUI）及び／又は人間機械インターフェース（HMI）などの、ユーザインターフェース（UI）を使用して、フィードバックが提供されてよい。ある実施例では、ユーザインターフェースが、セルラーデバイス、タブレット、スマートTV、ｅブックリーダー、携帯情報端末（PDA）、及び／又は幾つかの他の適切なデバイスなどの、携帯デバイスに実装されてよい。ある実施例では、ユーザインターフェースが、視覚及び／又は聴覚キュー、タッチスクリーンインターフェース、会話及び／又は音声認識及び合成、更に、触覚、振動、及び／又は他の触覚キューを含んでよい。ある実施例では、ユーザインターフェースが、空域及びミッション内の状態の認知を提供するための移動マップ、チェックリストの実行についてのモニタリングと示唆を提供するためのチェックリスト、非公称状態及びこれらの状態に対して適切なチェックリスト、並びに輸送体の動作モードを支援する（無線周波数、航空隊への通知（NOTAM）、及びミッションポイントのGPS位置）情報を含んでよい。

ある実施例では、本開示のシステムが、種々の種類の輸送体又は他のハードウェアシステム構成要素と互換性を有するように、適応可能及び／又は再構成可能であってよい。例えば、該システムは、デジタルファイル内の符号化されたパラメータ、手順、アレンジメント、フォーマット、指示命令、及び／又は情報に従って、それ自体を適応させ且つ／又は再構成してよい。パラメータ、指示命令、及び／又は他の情報は、該システムと共に使用されることが意図されている特定の輸送体に特有のものであってよい。結果として生じた「デジタルタイプレーティング」（DTR）ファイルは、ソフトウェアの高価な再作業に対する必要性なしに、輸送体（例えば、航空輸送体）の仕様向けに該システムを適応させ且つ／又は構成することができる。例えば、このファイルは、輸送体の機器の位置、機能、及び／又は動作可能な閾値、手順、シーケンス、及び／又は特定の輸送体に特有のチェックリスト、特定の輸送体に特有のミッションプロファイル、トップスピード／加速度、燃料容量、タイヤのグレード、翼長、揚力表面、操縦翼面、推進システムなどを符号化することができる。ある実施例では、本開示のシステムの各サブシステム（例えば、知覚サブシステム、ユーザインターフェース、コアプラットフォーム、及び／又は知識獲得サブシステム）が、ファイルに符号化された情報に従って、輸送体の互換性に対して再構成可能であってよい。ある実施例では、DTRファイルが、運航ハンドブック及び輸送体動作仕様に基づいて符号化されてよい。

種々の輸送体、装備、及び／又はミッション／手順に適するように、システムを再構成する能力と共に、輸送体／ミッション／手順のコンテキスト、及び／又は輸送体の構成と組み合わせて、認知された輸送体の状態データを計算することによって、該システムは、正しい情報が正しい時にオペレータに提供されることを保証することができる。傾向モニタリングは、輸送体の動作中及び／又は動作前／後に実行されてよい。通常の且つ／又は予期される動作からの検出された偏差に基づいて、オペレータに対するフィードバックが準備されて、警告を提供することができる。

状態の移行、構成の変化、及び関連する手順に加えて、操縦室内の機器の読み値の時間変動は、輸送体の動作モードの健全性および／又はステータスについての情報を提供することができる。機器の組み合わせの時間変動は、様々な潜在的な問題の表示も提供することができる。例えば、速度、温度、及び湿度の組み合わせは、オペレータによる修正を必要とし得る、凍結の可能性を示すことができる。別の一実施例は、エンジンの状態である。様々な機器が、エンジンの動作が境界内にあるかどうかについての情報をオペレータに提供することができるが、相対的な値を見て、それを飛行の状態（上昇、下降、タクシング）に関連付けることによってのみ、オペレータはエンジンの過熱が予測されるか又は整備が必要であるかどうかを予測することができる。ある場合では、（エンジンの温度などの）読み値における経時的な傾向が、整備の必要性又は故障の発生の可能性を示してよい。動作の前／後の機械学習傾向解析を必要とし得る他の場合は、オペレータの決定に関係することがある。例えば、オペレータが周回が必要であると決めた場合、コンピュータシステムが飛行の現在のフェーズがアプローチから上昇へ変更されたことを推察してよく、それに従ってモニタ及びアドバイスを行うことができる。これらの機能の全ては、過去の経験に基づいて機械学習及び／又は傾向／パターン認識を実行し、動作中に学習した行動に対する傾向／パターンのモニタリングと組み合わせることによって、動作の前／後に最も良く実行することができる。

この必要性に対応するために、システムは、オンライン（動作中）及びオフライン（動作の前／後）エレメントの両方で使用することができる。オフラインエレメントは、システムによって記録され且つ／又は状態及びコンテキストについて導出された情報がタグ付けされた、多くの過去の飛行からのデータを必要とする、構成可能な傾向解析及び機械学習エレメントであってよい。これらのエレメントは、データを複数の変数間の関係性についての情報へと精製することができる。それらの情報は、構成可能なプロセスの部分として記録されてよく、周期的に更新されてよい。記録された構成情報は、オンライン傾向モニタリングシステムによって使用されてよい。そのシステムは、測定されたデータ及び／又はそのデータの組み合わせを、以前の飛行及び／又は「訓練」の他のソース内で確立された基準に対して比較してよい。その「訓練」は、緊急又は他の手順の警報又は誘発に対する必要性を、どのような関係性が表し得るかについてのものである。

全体のシステムは、知識獲得（KA)サブシステムを使用して構成されてよい。KAサブシステムは、輸送体の搭載型のコンピュータ及び／又は輸送体のモニタリングサブシステムに移送することが可能であってよい１以上のDTRファイルを生成することができる。（DTRファイルを介して）提供された輸送体の構成、現在の状態、１以上の過去の状態、１以上の予測された状態、及び／又は１以上の傾向に基づいて、システムは、輸送体の動作が現在のコンテキストにとって適切であるかどうか、動作が（オフライン傾向解析のみならず、KA／DTRプロセスによってカスタマイズされた）基準内で実行されているかどうか、並びに／又は、どのチェックリストリマインダー、警告、及び／若しくは警報が、表示される必要があるか（例えば、図７ａ、図７ｂ、及び図８参照）を判断することができる。これらの警報はUIに通信されてよい。UIは、視覚的及び／又は聴覚的キュー、タッチインターフェース、会話認識及び合成、並びに振動、又は他の触覚キューを提供することができる。動作後に、且つ／又は通常のデータレコーダ（例えば、飛行データレコーダ）のデータダウンリンク及び／若しくは記憶の部分として、オフラインデータ解析ソフトウェアは、複数の変数の間に存在する通常の動作の関係性についての搭載型の傾向モニタ機能を通知するために必要な解析を実行することができる。このやり方では、傾向モニタリングが、何がシステムの「通常の」動作を構成するかの、継続的な更新された認知を維持する。

知識獲得、及び／又はシステムの構成の管理は、DTRファイルを通じて実行することができる。DTRファイルは、手順、傾向モニタ構成、及び／又は他の輸送体の知識を符号化することができる。これは、所与の輸送体に対する効率的なカスタマイズを可能にすることができる。KAサブシステムは、DTRファイルを生成する手順エディタとして機能することができる。したがって、DTRからの読み値は、本質的にKAシステムからの入力と同じである。輸送体モニタリングシステムは、リアルタイムでか又はデータベースからかを問わず、DTRファイルを受け取ってよく、且つ／又はKAサブシステム及び／又は知覚サブシステムからの入力を取って、輸送体の状態及び／又はコンテキストを維持し、UIに対して適切なフィードバックを生成することができる。

システムは、多くの並行な機能を実行するので、広く様々な変形が可能である。入力は、様々なソース又はそのようなソースの組み合わせから来ることができる。モニタリング及び解析機能、及び輸送体の動作に対してこれらの機能を結び付けるプロセスは、全体として又は部分として実行されてよい。それは、オペレータ支援の様々なレベル及びコンテキストに導き、例えば、システムは、チェックリストのモニタリングのみに使用されてよく、若しくは採用する無線周波数のアドバイスのみに使用されてよく、又はエンジンの傾向を完全にモニタリングすることができる。タブレット以外の他のディスプレイ又はデバイスに出力することができる。それらは、輸送体のデッキの構成要素（MFD又はPFD）に戻る通信を含んでよく、且つ／若しくは音声合成向けのデバイス、又はオペレータの着衣若しくは手袋内の触覚デバイスを含んでよい。最後に、システムの入力及び出力に依存するソフトウェア機能は、拡張され又は修正されてよい。

現在出されているほとんどのシステムは、警告を発するか、リマインダーを提供するか、且つ／又はパイロットと相互作用するかに基づく、「状態認知」及び／又はコンテキスト認知を有さない。したがって、それらは、好適なコンテキストに敏感な情報を提供することができない。最も進化した操縦室内のコンテキスト認知は、高度に統合され高価なおかげで存在する。そのようなシステムを上回る本開示の利点は、（KA／DTR様態を通じて）輸送体の（全てではないとしても）ほとんどに適応することができ、緊密に統合されたインフラに依存しないでよい。最も洗練された既存のシステムでさえ、又は現在開発中のものも、オペレータに対するフィードバックを有する手続き的知識のレベルを組み込んでいない。上述されたように、輸送体の状態データは、輸送体の様々な態様のステータスを反映し、一方で、コンテキストデータを使用して、輸送体の状態データの特定の部分を異なるように特定（又は重み付け）することができる。システムは、知識獲得サブシステムからのその知識データを使用して、輸送体の状態データをコンテキストに相関させることができる。知識データは、決定を行うこと及び手順実施のための基礎である。例えば、知識獲得サブシステムは、知識データの形態を採るパイロット作業ハンドブックを体系化することができる。次いで、そのハンドブックを使用して、コンテキストと所定の手順の両方に応じて（例えば、作業ハンドブック内で説明されるように）、特定の輸送体の状態データに重み付けすることができる。知識獲得サブシステムは、更に、機械学習技術を使用して、歴史的データに基づいて、その規則及び／又は手順を改善することができる。

図１は、一実施例による、輸送体モニタリングシステム１００の例示的なアーキテクチャを示している。輸送体モニタリングシステム１００は、非限定的に、航空輸送体、船舶、地上車両、及び／又は潜水艦を含む、幾つかの種類の輸送体内に埋め込まれてよく、且つ／又はそれらに適応してよい。

コアプラットフォーム
図１を参照すると、輸送体モニタリングシステム１００が、状態モニタリングサブシステム１０４及び／又はフィードバックサブシステム１１２を有する、コアプラットフォーム１０２を備えてよい。コアプラットフォーム１０２は、複数の他のサブシステムとも動作可能に接続されてよい。コアプラットフォーム１０２は、中央サブシステム、ミドルウェア、及び／又は共通データバスとして動作することができる。そのバスは、１以上のインターフェースを介して、輸送体モニタリングシステム１００の様々なサブシステムを接続している。サブシステムは、有線及び／又は無線の通信プロトコル及びハードウェアを使用して、ソフトウェア及び／又はハードウェアのインターフェースを通じて互いに通信してよい。コアプラットフォーム１０２は、様々なサブシステムの間の通信、様々なサブシステムの中の通信、様々なサブシステムを通じた通信を、調整及び／又は促進することができる。ある実施例では、様々なサブシステムが、互いに通信するときに、コアプラットフォーム１０２を迂回してよい。ある実施例では、コアプラットフォーム１０２が、例えばLinuxなどのオペレーティングシステムとして且つ／又はそのようなオペレーティングシステムを用いて、機能することができる。ある実施例では、コアプラットフォーム１０２が、コンピュータチップ、特定用途向け集積回路（ASIC）、及び／又は、例えばPico-ITXなどのマザーボード内に実装されてよい。

システム１００の複数のサブシステムのそれぞれは、統合されてよく且つ／又はモジュール式であってよく、それによって、全体の輸送体モニタリングシステム１００を、実質的に、別の輸送体に素早く移すことができる。例えば、複数のサブシステムは、ユーザインターフェース（UI）１２６、知覚サブシステム１０６、作動サブシステム１０８、センササブシステム１１８、知識獲得（KA）サブシステム１１４、傾向モニタリングサブシステム１１６、データベースサブシステム１２２、及び／又はコンテキスト認知サブシステム１２４を含んでよい。各サブシステムは、コアプラットフォーム１０２と動作可能に接続されてよい。作動サブシステム１０８及び知覚サブシステム１０６は、単一のシステムの部分として図示されている（例えば、パンチルトズーム（PTZ）カメラは、知覚システムの下にその作動を有することができる）が、作動サブシステム１０８及び知覚サブシステム１０６は、代わりに、２つの別のシステム又はハードウェア構成要素を介して設けられてよい。その構成に応じて、輸送体モニタリングシステム１００は、本開示の主旨と範囲から逸脱することなく、より少ない又は更なるモジュール、構成要素、及び／又はシステムを持つように構成されてよい。

輸送体に依存しない輸送体モニタリングシステム１００を可能にするために、プロセッサベースのコアプラットフォーム１０２は、初期化及び／又はセットアップフェーズを通じて特定の輸送体及び／又は構成に特有であり得るミドルウェアを提供してよく、且つ／又はそのようなミドルウェアとして働くことができる。コアプラットフォーム１０２は、種々の種類の輸送体と互換性を有するように、再構成可能且つ／若しくは適応可能であってよく、且つ／又は輸送体モニタリングシステム１００及び／若しくはその様々なサブシステムの再構成及び／若しくは適応性を促進することができる。例えば、コアプラットフォーム１０２は、「デジタルタイプレーティング」（DTR）ファイルなどの１以上のデジタルファイル内で符号化されたパラメータ、手順、アレンジメント、フォーマット、指示命令、及び／又は他の情報に従って、それ自体を再構成してよく、且つ／又は、輸送体モニタリングシステム１００の様々なサブシステムの再構成を促進することができる。DTRファイル内で符号化されたパラメータ、指示命令、及び／又は他の情報は、該システムと共に使用されることが意図されている特定の輸送体に特有のものであってよい。コアプラットフォーム１０２は、システム１００及び／又は輸送体のソフトウェア及び／又はハードウェアの高価な再作業を必要とすることなしに、特定の輸送体の仕様向けにそのシステム１００を適応させ且つ／又は再構成するために、DTRファイル内の情報を復号及び／又は解読してよい。例えば、コアプラットフォーム１０２は、高価な再作業を必要とせずに、航空輸送体、船舶、及び／又は地上車両の動作向けに、システム１００を適応させ且つ／又は再構成することができる。ある実施例では、コアプラットフォーム１０２が、高価な再作業なしに、類似する種類の輸送体（例えば、小さい／大きい貨物飛行機、小さい／大きい旅客機、プロペラ飛行機、ジェットエンジン飛行機）の種々のクラス、範疇、型、及び／又はモデル向けに、輸送体モニタリングシステム１００を適応させ且つ／又は再構成することができる。例えば、DTRファイルは、輸送体の機器の位置、機能、並びに／又は、特定の輸送体に特有な動作可能な閾値、手順、シーケンス、及び／若しくはチェックリストを符号化することができる。例えば、DTRファイルは、更に又は代替的に、特定の輸送体に特有なミッションプロファイル、トップスピード／加速度、燃料容量、タイヤのグレード、翼長、揚力表面、操縦翼面、推進システムなどを符号化することができる。ある実施例では、本開示のシステムの各サブシステムが、コアプラットフォーム１０２によって且つ／又はそれを通じて翻訳された、DTRファイルの符号化された情報に従って、輸送体の互換性のために再構成可能であってよい。ある実施例では、DTRファイルが、運航ハンドブック及び輸送体動作仕様に基づいて符号化されてよい。

コアプラットフォーム１０２は、一次自律エージェント及び／又は意思決定者として働き、知覚サブシステム１０６、ユーザインターフェース１２６、及び／又はKAサブシステム１１４からの入力を合成して、現在の輸送体の状態を特定することができる。コアプラットフォーム１０２は、KAサブシステム１１４からの入力を処理して、予期される輸送体の状態を特定し、予期されたシステムの状態を実際のシステムの状態と比較し、ユーザインターフェース１２６を通じたオペレータへの任意の適切なフィードバックを決定することができる。

状態モニタリングサブシステム状態モニタリングサブシステム１０４は、輸送体のリアルタイムの状態を特定及び／又はさもなければ知覚することができる。本明細書で使用される際に「状態」は、所与のコンテキスト内の輸送体についての様々な情報を含む、輸送体の広い範疇化及び／又は分類を指してよい。オペレータが輸送体の状態を使用して、輸送体の動作を実行することができる。輸送体の状態は、更に又は代替的に、フィードバックサブシステム１１２によって使用されて、適切なオペレータフィードバックを決定することができる。ある実施例では、状態モニタリングサブシステム１０４が、現在の状態、１以上の以前に記録された状態、現在の輸送体の状態データ、以前に記録された輸送体の状態データ、現在の輸送体のコンテキスト、以前に記録された輸送体のコンテキスト、並びに／又は、知覚サブシステム１０６、知識獲得サブシステム１１４、及び／若しくはユーザインターフェース１２６からの情報に基づいて、１以上の将来の状態を予測及び／又は導出することができる。

状態モニタリングサブシステム１０４は、とりわけ、輸送体に対する直接接続（例えば、統合されるか又はさもなければ配線で接続）を通じて、リアルタイムの輸送体の状態を知覚することができる。代替的に又は更に、状態モニタリングサブシステム１０４は、知覚サブシステム１０６及び／又はコンテキスト認知サブシステム１２４から受け取られた情報に基づいて、輸送体の状態を導出することができる。知覚サブシステム１０６が使用されるときに、状態モニタリングサブシステム１０４は、専用コントローラ（例えば、プロセッサ）を含んでよく、且つ／又は知覚サブシステム１０６のコントローラ３０２を共有してよい。

傾向モニタリングサブシステム状態モニタリングサブシステム１０４は、傾向モニタリングサブシステム１１６を含んでよい。本明細書で使用される際に、「傾向」は、経時的な輸送体の状態、輸送体のコンテキスト、輸送体の状態／コンテキストの移行、オペレータの観察、輸送体の状態データ、及び／又は知覚された輸送体の機器のデータの間の１以上の関係を指してよい。傾向モニタリングサブシステム１１６は、機械学習を使用して、経時的な輸送体の状態、輸送体のコンテキスト、輸送体の状態／コンテキストの移行、オペレータの観察、輸送体の状態データ、及び／又は知覚された輸送体の機器のデータにおける変化をモニタ及び／又は解析して、傾向及び／又はパターンを特定することができる。傾向モニタリングサブシステム１１６は、更に又は代替的に、知覚サブシステム１０６、コンテキスト認知サブシステム１２４、及び／又は知識獲得サブシステム１１４からの他のデータを使用して、その傾向認識を支援することができる。ある実施例では、傾向モニタリングサブシステム１１６が、機器、コンテキスト、状態、及び／又は他のデータと併せて、オペレータの観察に基づいて、オペレータの傾向を解析及び／又は特定することができる。

傾向モニタリングサブシステム１１６を訓練して、輸送体モニタリングシステム１００、他の輸送体モニタリングシステム、及び／又は他の方法の以前の適用から記録されたデータと併せて、機械学習技術を使用して、傾向／パターンを認識することができる。ある実施例では、傾向モニタリングサブシステム１１６が、輸送体モニタリングシステム１００の設置、アップロード、及び／又は初期化の前に訓練されてよい。ある実施例では、傾向モニタリングサブシステム１１６が、輸送体モニタリングシステム１００によってモニタされている（又はモニタされることが計画されている）輸送体のクラス、範疇、種類、型、及び／又はモデルに特有のデータについて訓練されてよい。ある実施例では、訓練された傾向モニタリングシステム１１６を表す情報が、DTRファイル内に符号化されてよい。それによって、訓練されていない傾向モニタリングシステム１１６が、輸送体モニタリングシステム１００内のDTRファイルをロードすることによって、短期間で、訓練された傾向モニタリングシステム１１６と同じ知識を用いて構成されてよい。

傾向モニタリングサブシステム１１６は、データベースサブシステム１２２、知覚サブシステム１０６、及び／又は状態モニタリングシステム１０４からのデータを解析して、パターン／傾向を特定することができる。ある実施例では、傾向モニタリングシステム１１６が、輸送体モニタリングシステム１００の最近記録されたデータから特定された現在の傾向と、輸送体モニタリングシステム１００及び／又は他の輸送体モニタリングシステムの以前の適用から特定された過去の傾向との、両方を特定することができる。ある実施例では、傾向モニタリングサブシステム１１６によって特定された傾向を解析して、現在の輸送体の傾向が過去の傾向と類似しているかどうかを判定することができる。現在の傾向が過去の傾向に類似しており、過去の傾向が、好ましくない、危険な、且つ／又は望ましくない結果をもたらした状況では、フィードバックシステム１１２が、ユーザインターフェース１２６を通じてオペレータに対する適切なフィードバック（例えば、警報、警告、推奨される修正作業など）を準備及び／又は提供することができる。

フィードバックサブシステム
コアプラットフォーム１０２は、輸送体モニタリングシステム１００にフィードバックサブシステム１１２を提供してよい。フィードバックサブシステム１１２は、１以上の輸送体のオペレータ向けにフィードバックを準備してよく、且つ／又はユーザインターフェース１２６を通じて（１以上の）オペレータにフィードバックを供給することができる。フィードバックは、輸送体モニタリングシステム１００の比較的最近記録されたデータと記憶された及び／又は生成されたデータとの比較に基づいてよい。

ある実施例では、フィードバックサブシステム１１２が、現在の輸送体の状態を予期される輸送体の状態と比較し、それに従ってフィードバックを準備するように構成されてよい。例えば、現在の状態が予期される状態と実質的に異なる場合、フィードバックサブシステム１１２は、ユーザインターフェース１２６を通じて（１以上の）オペレータに警報及び／又は警告を準備及び／又は供給することができる。ある実施例では、フィードバックサブシステム１１２が、１以上の現在及び／又は最近の状態を、１以上の閾値と比較してよい。例えば、閾値は、特定の輸送体向けの運航文書（operational documentation）で定義することができる（例えば、所定の速度やエンジン温度などを決して超えないように）。ある実施例では、フィードバックサブシステム１１２が、１以上の予測された将来の状態を、１以上の閾値及び／又は１以上の予期される状態と比較してよい。ある実施例では、フィードバックサブシステム１１２が、知覚システム１０６によって記録された輸送体の状態データを、１以上の閾値と比較してよい。この比較が、好ましくなく異常且つ／又は重大な逸脱を示す状況では、フィードバックシステムが、ユーザインターフェース１２６を通じてオペレータに対する適切なフィードバック（例えば、警報、警告、推奨される修正作業など）を準備及び／又は提供することができる。

ある実施例では、フィードバックサブシステム１１２が、現在の特定された傾向を類似する傾向と比較してよく、それに従ってフィードバックを準備及び／又は供給することができる。例えば、現在の状態が、潜在的に危険及び／又は望ましくない状況をもたらす（以前に記録されたデータから認識された）過去の傾向と類似する場合、フィードバックサブシステム１１２は、ユーザインターフェース１２６を通じて（１以上の）オペレータに警報及び／又は警告を準備及び／又は供給することができる。

ある実施例では、フィードバックサブシステム１１２が、警報及び／又は警告が適切であろうと判断し、フィードバックサブシステム１１２は、修正作業を推奨することができる。例えば、修正作業は、傾向モニタリングサブシステム１１６によって特定され得るように、以前に類似する状況で実行された修正作業及び／又は傾向に基づいてよい。ある実施例では、修正作業が、コンテキストデータベース５０４内に記録された１以上のチェックリスト及び／又は手順に基づいてよい。ある実施例では、修正作業が、輸送体構成データベース５０２内の情報に基づいてよい。ある実施例では、修正作業が、ユーザインターフェース１２６を通じたオペレータからの入力に基づいてよい。

ユーザインターフェース（UI）１２６
ユーザインターフェース１２６は、オペレータ（例えば、人間のオペレータ）向けの制御及び／又は通信インターフェースを提供することができる。オペレータは、遠隔であるか（例えば、輸送体の外側及び／又は別の輸送体内にいる）又は搭乗している（すなわち、その輸送体内にいる）かもしれない。ユーザインターフェース１２６は、人間機械インターフェース（HMI）を含んでよい。それは、タッチスクリーン・グラフィカルユーザインターフェース（「GUI」）及び／又は会話認識システムに基づいてよい。ユーザインターフェース１２６の目的は、オペレータが、人間のフライトエンジニア及び／又は副操縦士と相互作用するのに近いやり方で、オペレータが、コアプラットフォーム１０２の知識ベースと相互作用することを可能にすることである。ユーザインターフェース１２６は、（１以上の）オペレータと輸送体モニタリングシステム１００の間の通信の一次チャネルとして働いてよい。例えば、ユーザインターフェース１２６は、コアプラットフォーム１０２を介してサブシステムからステータス情報を受け取ってよく、一方で、コアプラットフォーム１０２に、ユーザインターフェース１２６によって生成され且つ／又は（１以上の）オペレータによって入力されたモード命令を送ることができる。ユーザインターフェース１２６は、タブレットベースのGUI及び／又は会話認識インターフェースを採用して、音声通信を可能にしてよい。図示されているように、例えば、図２ａ及び図２ｂでは、ユーザインターフェース１２６が、コアプラットフォーム１０２からのチェックリストの検証及び／又は輸送体の状態の予測（例えば、燃料消費や予測される残存範囲）、更には、マッピング機能、故障予知、及び逸脱警報（例えば、「左エンジンのEGTが、通常より５度高く、上昇している」）を含む、直感的なディスプレイ及びインターフェースを提供してよい。

ユーザインターフェース１２６は、例えば、ユニバーサルシリアルバス（USB）ポートなどの１以上の外部通信ポートを含んでよい。それらは、ユーザインターフェース１２６が、他の電子デバイスと動作可能に接続される（且つ／又は相互作用する）ことを可能にし得る。それによって、輸送体モニタリングシステム１００は、ユーザインターフェース１２６の外部通信ポートを通じて（１以上の）外部デバイスと通信することができる。ユーザインターフェース１２６は、例えば、ブルートゥース（Bluetooth）、近距離通信、無線周波数（RF）通信、無線フィデリティ―（Wi-Fi）通信、及び／又は他の適切な無線通信方法などの、無線通信能力を有するように更に構成されてよい。

ユーザインターフェース１２６は、ディスプレイデバイス（例えば、液晶ディスプレイ（LCD））を介して、輸送体モニタリングシステム１００の現在の状態（その現在の設定及び責任）、更には、どのアプリケーションが現在インストールされているか、どの操作アプリケーションが動作しているか、それらがアクティブならば、どの作業を操作アプリケーションが行っているかを表示してよい。ユーザインターフェース１２６は、オペレータの眼鏡にかかわらず視認できるような、互換性のあるナイトビジョンゴーグルでもあってもよい。会話認識システムを使用して、チェックリストを通読し且つ／又は通信するときに、人間によって使用されるのと同じ種類の言語通信を再現することができる。特定の態様では、会話認識が、システムが命令を認識することに失敗するか又は動作の不適切なモードへ変更される可能性を最小化するために、オペレータチームによって使用されるのと同じ体系化された通信の標準に制限されてよい。会話認識システムは、音声訓練プロトコルを通じて１以上のオペレータの会話を学習し／認識するように構成されてよい。例えば、オペレータは、会話認識システムがオペレータの方言で訓練されることができるように、所定のスクリプトを発声してよい。

ユーザインターフェース１２６のディスプレイは、オペレータによってカスタマイズされてよい。例えば、オペレータは、特定のディスプレイアイコン及び／又は操作アプリケーションを、追加し、再組織化し、且つ／又は取り除くことを望むかもしれない。ユーザインターフェース１２６は、更に、オペレータに、輸送体の動作ステータスに関する情報を通知してよく、オペレータにフィードバック（例えば、指示命令又は助言）を提供することができる。

知覚サブシステム
知覚サブシステム１０６は、リアルタイムの輸送体及び／又は環境状況データを収集し、検知し、測定し、検出し、特定し、且つ／又はさもなければ知覚することができる。知覚サブシステム１０６によって知覚された状況データを使用して、輸送体の状態、輸送体のコンテキスト、１以上の傾向を導出してよく、且つ／又はオペレータフィードバックを生成することができる。ある実施例では、知覚サブシステム１０６が、更に又は代替的に、リアルタイムのオペレータの観察を収集し、検知し、測定し、検出し、特定し、且つ／又はさもなければ知覚することができる。例えば、そのような観察は、オペレータの作業、リアクション、応答タイミング、好み、且つ／又はオペレータに関する他の情報を含んでよい。

図３ａで示されているように、知覚サブシステム１０６は、コントローラ３０２及びセンササブシステム１１８を備えてよい。例えば、コントローラ３０２は、センササブシステム１１８、GPS／INSシステム、及び／又は他の入力システムなどの、複数のセンサ及び／又は外部構成要素から受け取った情報に基づいて、コアプラットフォーム１０２に輸送体の状態データを供給する（且つ／又はさもなければ指示命令する）ように構成されたプロセッサであってよい。知覚サブシステム１０６は、コアプラットフォーム１０２からの命令及び／又は構成データを受け取ってよく、一方で、コアプラットフォーム１０２に、知覚サブシステム１０６によって集められた、ステータス及び／又は飛行状況情報（例えば、飛行状況データ）及び／又は画像を送ることができる。

ある実施例では、知覚サブシステム１０６が、１以上の有線電気接続及び／又は無線接続及び／又はプロトコルなどを通じて、操縦室の機器１２０と直接に相互作用及び／又は通信してよい。そのような一実施例では、知覚サブシステム１０６が、操縦室の機器１２０から直接的に、リアルタイムの輸送体及び／又は環境状況データを、収集し、検知し、測定し、検出し、特定し、且つ／又はさもなければ知覚してよい。そのような一実施例では、例えば、収集器３０２が、操縦室の機器１２０と直接的に相互作用し、且つ／又は操縦室の機器１２０との通信を促進してよい。

センササブシステム
更に又は代替的に、知覚サブシステム１０６は、操縦室の機器１２０からのリアルタイムの輸送体及び／又は環境状況データを収集し、検知し、検出し、特定し、且つ／又はさもなければ知覚するための、センササブシステム１１８を採用してよい。センササブシステム１１８は、例えば、画像センサ、光センサ、カメラ３１０、マイクロフォン３０８（音響システムで使用される）、及び／又は他のセンサ３０６（例えば、温度センサ、位置センサ、慣性センサ、加速度センサ、ジャイロスコープなど）などの、センサを含んでよい。画像／光センサ及び／又はカメラが使用される場合、知覚サブシステム１０６は、例えば、NVIDIA Tegra X1などの、グラフィカル処理ユニット（GPU）を含んでよい。ある実施例では、GPUが、コントローラ３０２の部分であってよい。

センササブシステム１１８は、視覚システム、音響システム、及び／又は識別アルゴリズムと組み合わされた、そのセンサを利用して、オペレータが彼ら自身の感覚を使用し得るやり方と類似して、操縦室の機器１２０によって表示される輸送体の状態情報を読み且つ／又は理解することができる。センササブシステム１１８のセンサは、操縦室内の機器パネル（例えば、操縦室の機器１２０）に集中し且つ／又はそのようなパネル上で訓練されてよい。センサは、機器パネルの見通し線で位置決めされてよいが、オペレータの邪魔にならないようにも配置されてよい。

例えば、例示的な操縦室の機器１２０は、燃料計、温度計、風力計、高度計、速度計（及び／又は対気速度インジケータ、垂直速度インジケータ）、オドメータ、圧力計、１以上のコンパスシステム（例えば、磁気コンパス）、１以上のジャイロスコープシステム（例えば、姿勢インジケータ、機首方位インジケータ、旋回インジケータ）、１以上の輸送体指示器システム、１以上の航法システム（例えば、全地球測位システム（GPS）、慣性航法システム（INS）、超短波全方向無線標識（VOR）、無指向性ラジオビーコン（NDB））、エンジンステータスインジケータ、操縦翼面ステータスインジケータ、ギアステータスインジケータ、照明設定、無線設定、及び／又は他の設定を含んでよい。知覚サブシステム１０６及び／又はセンササブシステム１１８は、輸送体の操縦室のレイアウト及び／又は輸送体の操縦室の機器１２０との互換性を有するように、コアプラットフォーム１０２及び／又は１以上のDTR構成ファイルを介して構成されてよい。機器１２０は、基本的なアナログ機器から、高度に統合されたグラスコックピットアビオニクススイートに及んでよい。知覚サブシステム１０６は、輸送体に依存しない且つ／又は輸送体に特有の操縦室の機器１２０をモニタするように構成されてよい。

視覚システム
知覚サブシステム１０６及び／又はセンササブシステム１１８は、可能性としては、モーションキャプチャマーカー及び／又は基準マーカーを含む、単眼又は複眼システムを採用して、操縦室の機器１２０上に表示されているものを読むことによって、輸送体のステータスを継続的にモニタすることができる。機器（例えば、グラスゲージ、物理的な汽圧計など）及び／又はスイッチ、更には、様々な照明条件、並びに操縦室のレイアウト及びサイズにおけるそれらの位置を正確にモニタするために、視覚システムが使用されてよい。複眼システム及び／又はマーカーを使用することにより、任意のロボット構成要素と輸送体のオペレータとの間の衝突を防止するための検知も提供することができる。

センササブシステム１１８の１以上のカメラ３１０（例えば、軽量のマシンビジョンカメラ）を、操縦室の機器パネル上で訓練して、画素密度、グレアロバストネス（glare robustness）、及び冗長性を最大化することができる。１以上のカメラ３１０は、有線及び／又は無線接続を介して、知覚コントローラ３０２に接続してよい。１以上のカメラ３１０は、機器パネルの見通し線で設置されてよいが、輸送体のオペレータの邪魔にならないようにされてよい。特定の態様では、２つの見晴らしの良い地点からの場面についての情報を比較することによって、２つのパネル内の物体の相対位置を観察することにより３Ｄ情報が抽出されてよい。

操縦室の機器１２０（例えば、グラスゲージ、物理的な汽圧計など）及びスイッチ、更には、様々な照明条件、並びに操縦室のレイアウト及びサイズにおけるそれらの位置を正確にモニタするために、視覚システムが使用されてよい。複眼システム及び／又は基準マーカーを使用することによって、任意のロボット構成要素とオペレータとの間の衝突を防止するための検知も提供することができる。視覚システムは、一連の高精細ステレオカメラ及び／又はリーダー（LIDAR）レーザースキャナを採用してよい。視覚システムは、全ての操縦室の機器１２０からのデータを認識することができてよく、輸送体特有のシステムのステータス（例えば、残っている燃料）を表示する、スイッチ、ノブ、及びゲージの状態及び／又は位置を特定してよい。ある実施例では、視覚システムが、特定の種類の輸送体の操縦室の機器１２０及び／又は操縦室のレイアウトを認識するように、コアプラットフォーム１０２及び／又は（１以上の）DTRファイルを介して再構成されてよい。視覚システムは、オペレータの作業から生じた微小な変化を検出するのに十分な解像度を有する機器パネルのデータを認識するようにも構成されてよい。知覚サブシステム１０６のマシンビジョンアルゴリズムは、操縦室の機器１２０（ゲージ、照明、風補正角度パネル、グラスコックピット内の一次ディスプレイ及び／又は多機能ディスプレイの個別の要素）及び／又はスロットルレバー、トリム設定、スイッチ、及び／又はブレーカーなどの機械的なアイテムを「読み」、リアルタイムの操縦室の状態／ステータスの更新を、コアプラットフォーム１０２に提供することができる。

図４ａから図４ｃ内で示されている実施例では、カメラが、操縦室の機器１２０の画像（図４ａ）をキャプチャし、その画像についてエッジ検出アルゴリズムが実行されて、二値画像（図４ｂ）を生成する。こうしたプロセスは、特定及び／又は解析の日常定型業務のいたるところで増加（increment）されてよい。図４ｃで示されているように、システムは、制御装置上に提示されエッジ検出アルゴリズムを介して変換された情報を、認識することが可能である。図４ｃの実施例では、制御パネル上のLCDディスプレイからキャプチャされた抽出されたデータ（数値２、４、及び９）が、システムによって特定され解析される。例えば、光学式文字認識プロセスが、二値画像又はその派生物について実行されてよい。こうしてこの情報は、本明細書に記載の自律的システムの実施を、通知し制御するのに使用されてよい。図４ｄは、一組の操縦室の機器１２０の更なる画像を示している。上記で説明したように、エッジ検出アルゴリズムの適用によって、バーチャルで解析可能な（parsable）画像（図４ｅ）が生成される。この画像は、視覚システムの処理と解析における、中間ステップの役割を果たす。

作動サブシステム
センササブシステム１１８は、特定の場所に固定されてよく、且つ／又は作動サブシステム１０８のロボットアーム１１０などの可動な物体に連結されてよい。ある実施例では、作動サブシステム１０８が、センササブシステム１１８の部分であってよく、様々な操縦室の機器１２０をより良く観察し且つ／又はそれらと相互作用するように、操縦席の周りでセンサを操作するように使用されてよい。知覚サブシステム１０６のセンササブシステム１１８は、作動サブシステム１０８のステータス及び／又は位置決めについての二次的な情報も提供することもできる。

例えば、作動サブシステム１０８は、センササブシステム１１８の１以上のセンサを有するロボットアーム１１０を含んでよい。例えば、作動サブシステム１０８は、コアプラットフォーム１０２、知覚サブシステム１０６、及び／又はセンササブシステム１１８によって命令された動作を実行して、オペレータによって実行される作業と干渉しないで、輸送体の動作をモニタすることができる。作動サブシステム１０８は、コアプラットフォーム１０２、知覚サブシステム１０６、及び／又はセンササブシステム１１８から命令及び／又は構成データを受け取ってよく、一方で、コアプラットフォーム１０２に、作動サブシステム１０８によって集められたステータス及び／又は応答情報を送ることができる。

図３ｂで示されているように、作動サブシステム１０８は、ロボットアーム１１０を含んでよい。ロボットアーム１１０は、関節接合アーム４０２（例えば、ロボットの突出物又は「アーム」）を有するフレーム４０８を含んでよい。アクチュエータで制御される関節接合アーム４０２は、乗客及び／若しくは副操縦士、又は乗客及び／若しくは副操縦士の一部分（例えば、腕、脚、胴など）によって通常占められている空間を占めるようにサイズ決定され、形作られ、且つ／又は構成されてよく、それによって、操縦室の機器１２０に対する適切なアクセス及び／又は携帯性を保証することができる。

複数の自由度（「DOF」）の動きにおける移動を可能にするために、関節接合アーム４０２は、複数のヒンジ又は旋回ジョイント４０６を使用して接合された複数のアームセグメント（直線、曲線、又は角度付きであるかどうかにかかわりなく）を備えてよい。関節接合アーム４０２は、その遠位端にエンドエフェクタ４０４を備えてよい。エンドエフェクタ４０４は、複数のDOFの連結を介して、関節接合アーム４０２に連結されてよい。関節接合アーム４０２のベースは、回転可能であり、可動なベースを介してフレーム４０８と摺動可能に連結されてよい。関節接合アーム４０２は、関節接合アーム４０２の正確な位置付けを保証するために、その自由度のそれぞれに対してエンコーダ（例えば、ツイン１８ビットエンコーダ）が装備されてよい。内部クラッチが、各ヒンジ又は旋回ジョイント４０６において設けられてよい。それによって、関節接合アーム４０２は、関節接合アーム４０２を損傷することなしに、所望ならばオペレータによって取り押さえられてよい。そのような場合に、輸送体モニタリングシステム１００は、エンコーダを使用して関節接合アーム４０２の位置及び／又は場所を特定することができる。

エンドエフェクタ４０４は、例えば、スロットルレバーなどに連結し且つ／又はさもなければ係合するように構成されたグリッパーであってよい。エンドエフェクタ４０４は、知覚サブシステム１０６のセンササブシステム１１８及び／又は輸送体モニタリングシステム１００が、飛行制御アクチュエータがどのように掴まれているかを推定し、操縦室の機器１２０を適切に読み且つ／又はそれと係合するように、その動きを調整することを可能にするように、力及び／又は圧力の検出を提供することもできる。動きが実行されると、同じ力及び／又は圧力の検出を使用して、所望のスイッチ構成が実現されたかどうかを判定することができる。特定の態様では、関節接合アーム４０２に、電子デバイス（例えば、追跡デバイス、ホーミングデバイス、カメラ、圧力センサなど）が取り付けられてよい。その電子デバイスは、関節接合アーム４０２が、目標（target）を見つけ且つ／又は押すことを可能にする。特定の態様では、ロボットアーム１１０に、ロボットアーム１１０に統合されるセンサ及び／又は撮像能力が提供されてよい。特に、ロボットアーム１１０は、画像データを収集及び／又は解析するために最適化されてよい。ある実施例では、ロボットアーム１１０が、操縦室の機器１２０及び／又は対応するディスプレイなどの、航空機の光景を撮像するために使用される、そのエンドエフェクタ４０４にカメラ（例えば、センササブシステム１１８のカメラ３１０）を含んでよい。ロボットアーム１１０は、ロボットアーム１１０の動作中に、所望の接触力に関する閉ループ制御と共に接触力データの収集との両方を可能にするために、力を感知する指部も含んでよい。ある実施例では、ロボットアーム１１０が、十分な数のジョイント４０６及び／又はアームセグメント４０２を使用して、ロボットアーム１１０内に統合された、複数のカメラ、複数の力感知指部、及び／又は複数のエンドエフェクタ４０４を含んでよい。

したがって、ロボットアーム１１０は、（例えば、センササブシステム１１８及び／又は知覚サブシステム１０６に関連して説明された視覚システムを使用して）センササブシステム１１８と統合されてよく、様々な複雑な相互作用動作を実施する１以上のコントローラと統合されてよい。例えば、センササブシステム１１８は、操縦室の機器１２０（例えば、スイッチ、ダイヤル、ノブなど）を操作するために、コントローラ（例えば、コアプラットフォーム１０２）に情報を提供してよく、機器が正しく特定されることを保証すると共に、動作の前、中、及び後の機器の状態に関する判断を行ってよい。例えば、あるスイッチが、操縦室の特定のエリアに位置付けられてよく、その距離及び位置は、知覚サブシステム１０６によって特定されてよい。コントローラは、スイッチを操作する命令の受信を受け取ると、エンドエフェクタ４０４をスイッチまで動かすための最適なやり方（例えば、ロボットアームの軌道、現在の位置からスイッチまでの距離）を決定することができる。コントローラは更に、この相互作用の１以上のパラメータ（例えば、スイッチの状態及び／又は位置に関する予期された変化、スイッチを作動するために必要な最小限の力など）を決定することができ、これらのパラメータに対応するセンサからの情報をモニタすることができる。

ロボットアーム１１０に取り付けられたカメラ３１０（及び／又はセンササブシステム１１８の他のセンサ）は、センササブシステム１１８が、操縦室内の複数の視点からの様々な物の見え方を取得することを可能にし得る。ロボットアーム１１０の一端において、エンドエフェクタ４０４などのロボットの突出物は、撮像センサ及び／又は力センサを統合してよい。したがって、操縦室の環境内では、人間のオペレータの到達範囲及び姿勢に適合するために、機器が、垂直、水平、又は様々な角度で配向されてよい。ロボットアーム１１０に取り付けられたカメラ３１０は、操縦室内の様々な位置及び角度で、表面及び計器を見ることができる。このやり方で、ロボットアーム１１０は、静止した視点からでは遮蔽されているかもしれない計器を見るためと、輸送体の動作中に操縦オペレータの視界を遮ることを避けるために、操縦席の周りを移動することができる。したがって、本明細書で説明されたロボットアーム１１０の柔軟性は、他のシステムの固定的に取り付けられたカメラから逸脱したものになっており、本明細書で説明されるように多数の利点を有している。分離した構成要素として図示されているが、特定の態様では、作動サブシステム１０８、センササブシステム１１８、及び／又は知覚サブシステム１０６が、知覚コントローラ３０２及び／又はカメラ３１０などの構成要素を共有してよい。

動作の際に、（１以上の）ロボットアーム１１０に取り付けられた（１以上の）カメラ３１０（及び／又はセンササブシステム１１８の他のセンサ）を採用して、操縦室及び／又は関連した機器の二次元及び／又は三次元モデルを構築及び／又は検証することができる。画像センサを統合することにより、操縦室の機器１２０を観察し且つ／若しくはそれと相互作用するための柔軟性、及び／又は機器の種々の状態を理解することを大幅に向上させることができる。ある実施例では、（１以上の）カメラ３１０が、コントローラにデータを送って、画像を解析及び／又は操作し、標準的な図を生成してよい。標準的な図は、１以上のシステムによって容易に読み取り可能なフォーマットであってよい。例えば、（図４ａ及び図４ｂで示されているように）デバイス及び／又は制御装置のカメラ３１０の生画像は、（例えば、図４ｂ及び図４ｅで示されているように）二値画像に再フォーマットされてよい。それによって、画像の要素は、１以上の物理的及び／又は仮想的な制御装置（例えば、ボタン、ダイヤル、スイッチなど）を含む機器パネルとして、認識可能である。１以上の制御装置のそれぞれは、数値の表示値といった、１以上の表示に対応していてよい。

有利には、画像の再フォーマットのプロセスによって、相対的な配向にかかわらず、システムが特定の制御装置及び／またはディスプレイを認識することが可能になる。言い換えれば、画像は、操縦室の機器１２０からのあらゆる角度及び／又は距離で取ることができ、それでもなおコントローラが、画像化された要素を特定及び／又は操作して認識し、それによって、その機器を既知の機器の画像の一覧と比較することが可能である。

知識獲得サブシステム１１４
知識獲得サブシステム１１４は、輸送体モニタリングシステム１００が輸送体特有の情報を特定することを可能にするために必要な知識を、集め且つ／又は生成することができる。これは、輸送体の性能、特性、能力、制限、レイアウト、機器、チェックリスト、ミッション、及び／又は手順（緊急時の手順を含む）、更には、輸送体内の不測の事態及び／又は修正作業を定義する基準の知識を含んでよい。例えば、この知識は、特定の輸送体のミッション、動作、チェックリスト、及び／又は手順、更には、ミッション、動作、チェックリスト、及び／又は手順の範囲内及び間の両方の作業の流れの内容を含んでよい。知識は、（例えば、マニュアル、ブリーフィング、パイロット作業ハンドブック、輸送体運航ハンドブックから）知識獲得サブシステム１１４によって読むことが可能なデータの中に符号化された輸送体の資料の組み合わせから取得されてよい。知識は、更に又は代替的に、（例えば、知覚サブシステム１０６を介して）輸送体の動作中に獲得されたデータから取得されてよい。知識獲得サブシステム１１４は、データベースサブシステム１２２及びコンテキス認知サブシステム１２４を含んでよい。知識獲得サブシステム１１４は、コアプラットフォーム１０２から動作命令を受け取ってよく、一方で、コアプラットフォーム１０２に、知識獲得サブシステム１１４によって集められ且つ／又は生成された、構成データ、ステータス、応答情報、及び／若しくは知識を送ることができる。

データベースサブシステム
輸送体モニタリングシステム１００によって集められ且つ／又は生成された知識は、位置決めされているのが輸送体上であれ遠隔地であれ、データベースサブシステム１２２内に記憶されてよく、データベースサブシステム１２２は、遠隔からアクセスされてよい。データベースサブシステム１２２は、オンライン及び／又はオフライン機械学習及び／又は傾向解析を支援してよい。動作の際に、データベースサブシステム１２２は、とりわけ、知覚サブシステム１０６、ユーザインターフェース１２６、更には、輸送体モニタリングシステム１００の内部状態検知によって集められたリアルタイムのデータで動的に更新されてよい。動作後に、データベースサブシステム１２２からのデータは、１以上の中央保存場所にダウンロードされてよい。それによって、例えば、傾向及び／又はパターンの解析が実行されてよい。データベースサブシステム１２２内のデータは、タイムスタンプされ、記録された時間に従って組織化され、且つ／又はさもなければ所与の時間に関連付けられてよい。

ある実施例では、データベースサブシステム１２２のデータの一部又は全部が、デジタルファイルの中に符号化され且つ／又はデジタルファイルから復号されてよい。ある実施例では、データベースサブシステム１２２のデータ追加（data population）が、デジタルファイルが拡張マークアップ言語（「xml」）を使用し得る実施例などで、xmlを使用して実現されてよい。より具体的には、追加されたときに、コアプラットフォーム１０２（及び／又は輸送体モニタリングシステム１００及びそのサブシステム）が、特定の輸送体の動作向けに構成され得ることを可能にする、一組のフィールド及びデータツリーを備えた、XMLデータ構造が採用されてよい。特定の態様では、輸送体モニタリングシステム１００が、人間がデータを効率的に且つ正確に入力することを可能にする文書（例えば、飛行文書）及び／又はソフトウェアツールの自然言語解釈を採用してよい。

データベースサブシステム１２２は、複数の個別のデータベース及び／又は他のデータ保持構造を含んでよい。例えば、図５で示されているように、データベースサブシステム１２２は、状態データベース５０６、コンテキストデータベース５０４、知覚データベース５１０、傾向データベース５０８、及び／又は輸送体構成データベース５０２を含んでよい。これらのデータベースは分離した別のものとして図示されているが、ある実施例では、２以上のデータベースが単一のデータベースの中に組み合わされてよい。ある実施例では、図示されているデータベースのうちの１以上が、複数のデータベースに分割されてよい。

輸送体構成データベース
輸送体構成データベース５０２は、輸送体システム、その構成、及び／又は安全な動作を維持するために必要な手順に関する情報、更には、その輸送体の認可されたオペレータが有すると予期される全ての他の知識及び／又は技術情報を記憶してよい。輸送体構成データベース５０２は、現在運航している輸送体についての必要な情報（例えば、飛行制御モデル、運航手順、輸送体システムなど）を有する、知識獲得サブシステム１１４及び／又は他のサブシステムによって、データが追加されてよい。ある実施例では、輸送体構成データベース５０２が、ユーザインターフェース１２６を通じて輸送体モニタリングシステム１００と通信する外部デバイスによって、データが追加されてよい。例えば、DTRファイルは、ユーザインターフェース１２６を通じて、輸送体モニタリングシステム１００の中にロードされてよい。輸送体構成データベース５０２からの情報が使用されて、DTRファイルにデータを追加することができる（又は所望の構成に応じて逆の場合もある）。

輸送体構成データベース５０２は、知識獲得フェーズの間（例えば、初期設定の間）にデータを追加され且つ／又は特定の輸送体に対して調整されてよい。それによって、輸送体データベース５０２は、輸送体を運航するために必要な全ての情報を含む。例えば、新しい輸送体に移行するときに、知識獲得サブシステム１１４は、（例えば、操縦室の機器などのコントローラ／リードアウトの）レイアウト、性能パラメータ、及び輸送体の他の特性を特定するために、予め規定された作業を実行してよい。予め規定された作業は、例えば、以下のものを含む。すなわち、（１）どのシステムが搭載されており、これらがどのように構成されているか、作動制限などについて、輸送体モニタリングシステム１００に情報を提供することができる、輸送体システムモデルの生成、（２）輸送体がどのようにして通常及び／又は通常でない状況で運航されるかを、輸送体モニタリングシステム１００に情報提供し得る、更には、チェックリストの体系化を含む、手順の体系化、（３）輸送体がどのようにして運航されるか、及びどの輸送体構成に対してどの性能が予期されるかを、輸送体モニタリングシステム１００に情報提供し得る、輸送体ダイナミックモデル（例えば、空気力学、流体動力学など）、並びに／又は（４）ミッション運航についての情報である。ある実施例では、知識獲得サブシステム１１４が、知覚サブシステム１０６、及び／又は輸送体モニタリングシステム１００の１以上の他のサブシステムを用いて、これらの作業を実行してよい。

コアプラットフォーム１０２は、輸送体構成データベース５０２内のデータを使用して、輸送体モニタリングシステム１００の様々なサブシステムを構成することができる。コアプラットフォーム１０２は、輸送体構成データベース５０２の情報を知覚サブシステム１０６及び／又はコンテキスト認知サブシステム１２４のみならず一組の内部センサからのデータと組み合わせて、輸送体の状態及び／又はステータスの高度に正確な予測を生成し、且つ／又は予期された挙動、状態、及び／又はステータスからの逸脱を特定することができる。所与の輸送体に対する輸送体構成データベース５０２にデータが追加されると、追加されたデータは、DTRファイル内に保持され、輸送体モニタリングシステム１００が利用可能な同じ型及び／又はモデルの全ての他の輸送体向けに使用されてよい。追加されたデータ及び／又はDTRファイルは、更なるデータが、輸送体モニタリングシステム１００によって生成され且つ／又は収集されたときに、更に精緻化されてよい。

コンテキストデータベース
コンテキストデータベース５０４は、輸送体のミッション、チェックリスト、及び／又は手順に関する情報を記憶してよい。その情報は、輸送体に特有であって且つ／又は輸送体に依存しなくてよい。例えば、機械学習技術を採用して、輸送体の歴史的データに基づいて、輸送体の種類及び／又は輸送体に特有の他の態様を特定することができる。ミッション、チェックリスト、及び／又は手順は、輸送体モニタリングシステム１００の初期化及び／又はセットアップにおいて、コンテキストデータベース５０４の中にロードされてよい。ある実施例では、ミッション、チェックリスト、及び／又は手順が、１以上のDTRファイルを使用してロードされてよい。しかし、単一のDTRも、それぞれの種類のミッション向けに使用されてよい。ある実施例では、コンテキストデータベース５０４は、コンテキストデータを他の関連するデータ（例えば、記録されたコンテキストの前後の（１以上の）状態、記録されたコンテキストの前、中、及び／又は後の輸送体の（１以上の）知覚、記録されたコンテキストがその部分であり得るところの任意の傾向など）に相関させるように、データベースサブシステム１２２内の他のデータベースに対するポインター、リンク、及び／又は参照を含んでよい。

例えば、手順は、（１以上の）離陸／着陸手順、（１以上の）巡航手順、（１以上の）上昇手順、（１以上の）下降手順、（１以上の）燃料補給手順、（１以上の）放出手順、（１以上の）タクシング手順、（１以上の）駐機手順、（１以上の）ミッション特有の手順、（１以上の）待機手順、（１以上の）パッシング手順、（１以上の）エントリ／イグジット手順などを含んでよい。各手順に且つ／又は輸送体の一般的な動作に関連付けられたチェックリストも、コンテキストデータベース５０４内に記憶されてよい。

特定の態様では、一組の輸送体に依存しない手順が、集められ、生成され、且つ／又は保持されてよい。例えば、着陸装置の後退、複数エンジン航空機のエンジン不具合時手順、ストール回復のような手順は、多くの種類の航空輸送体にわたり類似しており、特定の機体に対して最小の修正のみが必要となる。更に、（決して超えられない速度などの）基本的な機体制限は、特定の数値として入力するだけでよく、公称時間内に飛行マニュアルから入力することができる。

状態データベース
状態データベース５０６は、輸送体の状態に関する情報を保持してよい。状態情報は、状態モニタリングサブシステム１０４によって集められ且つ／又は生成されてよい。状態情報は、傾向モニタリングサブシステム１１６によって使用されて、輸送体の動作に関する傾向を特定することができる。ある実施例では、状態データベース５０６が、状態データを他の関連するデータ（例えば、その状態の間、前、及び／又は後の輸送体の（１以上の）コンテキストの、直前／直後の輸送体の（１以上の）状態、その状態の前、中、及び／又は後の輸送体の（１以上の）知覚、輸送体の状態がその部分であり得るところの任意の傾向など）に相関させるように、データベースサブシステム１２２内の他のデータベースに対するポインター、リンク、及び／又は参照を含んでよい。

知覚データベース
知覚データベース５１０は、経時的に知覚サブシステム１０６によって記録されたデータを保持してよい。それによって、データが、輸送体モニタリングシステム１００の動作中に保持される。知覚データベース５１０内に記録された且つ／又は保持されたデータは、様々なサブシステムによって使用されてよく、コンテキスト、状態、傾向、及び／又は他の情報を判断する助けとなる。

傾向データベース
傾向データベース５０８は、以前に特定された傾向に関するデータを保持してよい。以前に特定された傾向の一部又は全部は、輸送体モニタリングシステム１００のセットアップ／初期化においてロードされてよい。輸送体モニタリングシステム１００の動作中に特定された傾向の一部又は全部は、輸送体モニタリングサブシステム１００の動作中に、傾向データベース５０８内に保存されてよい。ある実施例では、傾向データベース５０８が、傾向データを他の関連するデータ（例えば、その傾向中の輸送体の（１以上の）状態、その傾向中の輸送体の（１以上の）コンテキスト、その傾向にわたる輸送体の（１以上の）知覚など）に相関させるように、データベースサブシステム１２２内の他のデータベースに対するポインター、リンク、及び／又は参照を含んでよい。

コンテキスト認知サブシステム
コンテキスト認知サブシステム１２４は、任意の所与の時間における、輸送体のミッション、チェックリスト、及び／又は手順の「コンテキスト」の認知を特定及び／又は維持してよい。コンテキストは、輸送体に特有であってよく且つ／又は輸送体に依存しなくてよい。ある実施例では、コンテキストと状態が独立していてよい。それによって、状態モニタリングサブシステム１０４による現在及び／又は予測された輸送体の状態の特定は、コンテキスト認知サブシステム１２４によって特定された現在の、以前の、且つ／又は予測された将来の輸送体のコンテキストに少なくとも部分的に依存し且つ／又は基づいてよい。その逆もまたあり得る。ある実施例では、コンテキスト又は状態を優先して選択し、どちらか一方（コンテキスト又は状態）が先ず特定されるようにする。ある実施例では、優先度が、特定の輸送体の種類、特定のオペレータ、現在のミッション、及び／又は他の考慮事項に応じて、自動的に設定されてよい。ある実施例では、優先度が、ユーザインターフェース１２６を通じてオペレータによって手動で設定されてよい。

コンテキスト認知サブシステム１２４は、記憶されたミッション、チェックリスト、及び／又は手順を使用して、コンテキストの認知を維持してよい。ミッション、チェックリスト、及び／又は手順は、例えば、データベースサブシステム１２２のコンテキストデータベース５０４内に記憶されてよい。ミッション、チェックリスト、及び／又は手順は、輸送体モニタリングシステム１００の初期化及び／又はセットアップにおいて、コンテキストデータベース５０４の中にロードされてよい。ある実施例では、ミッション、チェックリスト、及び／又は手順の一部若しくは全部が、輸送体モニタリングシステム１００によってモニタされている輸送体のクラス、範疇、種類、型、及び／又はモデルに関連付けられてよい。ある実施例では、ミッション、チェックリスト、及び／又は手順の一部若しくは全部が、輸送体に依存しなくてよい。ある実施例では、ミッション、チェックリスト、及び／又は手順が、１以上のDTRファイルを使用してロードされてよい。

コンテキスト認知サブシステム１２４は、任意の所与の瞬間において、１以上のミッション、チェックリスト、及び／又は手順に対応するように、現在の輸送体のコンテキストを特定することができる。特定は、現在の、以前の、予期された、且つ／又は予測された輸送体の状態に基づいてよい。現在のコンテキストの特定は、コンテキストデータベース５０４の内容、知覚サブシステム１０６からの現在のデータ、（例えば、データベースサブシステム１２２内に記憶された）知覚サブシステム１０６からの以前のデータ、ユーザインターフェース１２６を介して入力されたオペレータからの情報、及び／又は他の情報ソースに更に基づいてよい。ある実施例では、１つの状態から別の１つの状態への移行は、現在の輸送体コンテキストの特定を通知し且つ／又は誘発してよい。コンテキスト認知サブシステム１２４は、以前の輸送体のコンテキストを、コンテキストデータベース５０４内に記憶してよい。

動作
図６は、輸送体モニタリングシステム１００の例示的な動作を示している。ステップ６０２で、輸送体モニタリングシステム１００は、セットアップされ且つ／又は初期化される。これは、輸送体の点火の前、後、及び／又は間に行われてよい。セットアップ中に、輸送体モニタリングシステム１００の構成要素が、輸送体内に設置されてよい。知覚サブシステム１０６は、輸送体の操縦室の機器１２０と配線で接続されよく且つ／又は他の方法で相互作用してよい。カメラ及び／又は他のセンサが使用される実施例では、これらのデバイスが、（１以上の）オペレータに対する任意の妨害を最小化しながら、操縦室の機器１２０からデータを収集し、測定し、検知し、且つ／又は取得するために、適切にセットアップされてよい。地上車両（例えば、自動車、トラック、救急車など）では、これが、カメラ及び／又はセンサを、乗客席、後部座席、ダッシュボードエリア、中央コンソール、又は何らかの他の適切な位置に適切に位置決めすることを意味してよい。航空輸送体（例えば、飛行機、ヘリコプターなど）では、これが、パイロットキャビン、乗客席、後部座席、ダッシュボードエリア、コンソールエリア、又は何らかの他の適切な位置に位置決めすることを意味してよい。船舶（船、潜水艦など）では、これも同様なものを意味してよい。ある実施例では、輸送体モニタリングシステム１００が、（例えば、訓練シミュレーションを計算し且つ／又は傾向解析向けの初期データを生成するために）輸送体のシミュレータ内に設置されてよい。

ステップ６０４では、知識獲得フェーズが生じ、それは、一般的に、輸送体についての情報が、様々なソース（例えば、SME、マニュアルなど）から集められ、輸送体構成データベースにデータを追加するために使用されて、究極的にはDTRファイルを生成するプロセスを指す。輸送体に応じて、知識獲得フェーズは、しばしば、輸送体内に何かが設置される前に生じ、完了するのに二三時間から一月かかることがある。

知識獲得フェーズ中に、閾値条件が、フィードバックサブシステムの比較向けに確立されてよい。エンジンの過速度又は対気速度制限の超過などの、これらの状態は、しばしば離散的であるだろう。更に、輸送体構成データは、輸送体構成データベース５０２及び／又はデータベースサブシステム１２２の他のデータベースの中にアップロードされてよい。この情報は、例えば、例示的な輸送体の動力学データ、動作制限、ミッション、チェックリスト、手順、輸送体システム、機器のレイアウト、更には他の関連するデータを含んでよい。輸送体構成データは、１以上のデジタルファイル（例えば、（１以上の）DTRファイル）を使用してアップロードされてよい。一実施例では、知識獲得フェーズが、１）輸送体についての知識を収集してよく、２）知覚システムを構成しながらデータベース及び初期DTRを構築してよく、３）知覚システムをインストールしながらシミュレーションにおいてDTRをデバッグしてよく、４）１以上のDTRを（例えば、１以上の種々のミッション向けに）インストールしてよく、５）セットアップ及び初期化を継続してよい。

ステップ６０６では、輸送体の動作が開始する。このステップは、知識獲得フェーズの後で自動的に誘発されてよく、又はオペレータによって手動で誘発されてよい。その後、輸送体モニタリングシステム１００は、ステップ６１６で動作が打ち切られるまで、ステップ６０８から６１４の繰り返しループに入る。打ち切られる動作は、何らかのイベント、傾向、状態の移行、及び／又はコンテキストによって誘発されてよく、又はオペレータによって手動で誘発されてよい。

ステップ６０８では、動作中に、知覚サブシステム１０６が、オペレータが輸送体を操縦しているときに、輸送体の操縦室（及び／又は実際のシミュレータ）内で機器をモニタしてよく且つ／又は制御してよい。オペレータの作業を観察することによって、輸送体モニタリングシステム１００は、オペレータから直接的に学習することができ、その特定のオペレータに対する傾向解析を実施することができる。このプロセスは、輸送体の運航が、所与の状況で行われるべき事において高度に構造化されるという事実から利益を受けることができる。次いで、機械学習は、如何にして何かが実行されるべきかの体系化、例えば、輸送体を危険な状況に晒している動作傾向を特定することを可能にする。

ステップ６１０では、現在の輸送体の状態が、知覚サブシステム１０６からのデータ、更には、他のデータ（例えば、過去の且つ／又は現在の状態／コンテキスト／傾向）を使用して、特定されてよい。１以上の予測された将来の状態も、特定することができる。輸送体のコンテキストも、他のデータ（例えば、過去の且つ／又は現在の状態／コンテキスト／傾向、予測される将来の状態）と併せて、知覚サブシステム１０６からのデータを使用して、特定されてよい。輸送体の（１以上の）状態及び／又は（１以上の）コンテキストは、データベースサブシステム１２２内に記憶されてよい。

ステップ６１２では、１以上の傾向を特定するために、傾向解析が実行されてよい。傾向は、輸送体の傾向及び／又はオペレータの傾向であってよい。ステップ６１４では、適切なフィードバックが、既知の且つ／又は予期される（１以上の）状態、（１以上の）コンテキスト、及び／又は（１以上の）傾向との比較において、特定された（１以上の）状態、（１以上の）コンテキスト、及び／又は（１以上の）傾向に基づいて決定されてよい。フィードバックは、ユーザインターフェース１２６を通じて、オペレータに提示されてよい。

動作は、ステップ６１６で継続されてよく又は打ち切られてよい。ある実施例では、動作が、何らかの他の入力が受け取られ又は何らかの打ち切り動作が自動的に誘発されるまで、デフォルトとして継続してよい。打ち切られる動作は、何らかのイベント、傾向、状態の移行、及び／又はコンテキストによって誘発されてよく、又はオペレータによって手動で誘発されてよい。ある実施例では、逆が正しく、動作がデフォルトとして打ち切られてよく、動作を継続するためには、何らかの自動的及び／又は手動の入力を必要とする。

動作が打ち切られると、輸送体モニタリングシステム１００は、ステップ６１８で、その（例えば、データベースサブシステム１２２内に）集められたデータを、中央保存場所にオフロードしてよい。ある実施例では、中央保存場所が、輸送体及び／又は輸送体モニタリングシステムのフリート（fleet）からのデータを保持してよい。他の実施例では、中央保存場所が、単一の輸送体及び／又は輸送体モニタリングシステムからのデータだけを保持してよい。中央保存場所を使用して、将来の輸送体モニタリングシステム１００の動作向けの、オフライン傾向解析及び／又は認識を支援することができる。ステップ６２０では、輸送体モニタリングシステム１００の動作が終了する。輸送体モニタリングシステム１００がネットワークにアクセスしない一実施例では、輸送体モニタリングシステム１００が、中央保存場所にアップロードするための着脱可能な局所的ドライブを有するように構成されてよい。

図７ａ及び図７ｂは、輸送体モニタリングシステム内で使用され得る例示的な手順を示している。例示的な手順は、航空輸送体向けの手順である。手順は、幾つかの作業のチェックリストを含む。図中の各文字入りの円は、チェックリスト内の作業に対応する。円の種類は、輸送体モニタリング動作の種類に対応する。ある作業では、フィードバック（すなわち、表示）がなく、他の動作が実行される。他の作業では、システムが、作業がペンディング、未完了、及び／又は完了であることの１以上のインジケータなどの、作業に関するフィードバックを表示してよい。ある作業では、システムが、作業が完了したことを確認する、ユーザインターフェース１２６への何らかの入力で、オペレータがフィードバックに応答することを要求する場合がある。ある作業では、知覚サブシステム１０６が、操縦室の機器１２０及び／又は他の輸送体の機器の、その読み値を通じて、作業が完了したことを個別に確認することができる。システムは、１以上の先行作業が完了してしまう前に、手順の１以上の作業を進めようとオペレータが試みる場合、ネガティブなフィードバック（例えば、警告や警報など）を更に表示してよい。

図８は、輸送体モニタリングシステム１００内で使用され得る例示的な状態図を示している。状態図は、航空輸送体の状態に対応する。その図は、運航中に航空輸送体が取り得る様々な状態を示している。破線を有するそれらの状態及び状態の移行は、ミッションに特有の状態並びに／又はミッションに特有の状態への及び／又はからの移行に対応する。その図は、状態の移行中に知覚サブシステム１０６を通じて取得されたデータが、どのようにして特定の手順、チェックリスト、及び／又はフィードバックを誘発し得るかを示している。より具体的には、その図は、下降状態から待機状態への移行中の誘発を示している。知覚サブシステム１０６が、基準海面（MSL）から上に近似的に１２００フィートの高度、及び滑走路から５海里（NM）未満の距離を検出したときに、該システムは、着陸手順のコンテキストを推察してよい。この推察は、MSL１２００フィートよりかなり上の且つ既知の滑走路から５NMよりかなり遠い、以前の輸送体の状態の知識によって更に情報提供されてよい。該システムは、更に、着陸チェックリストの作業がまだ完了していないと判断してよく、ユーザインターフェース１２６を通じてオペレータに適切なフィードバックを提供することができる。オペレータが継続する場合、且つ、該システムが近似的にMSL５００フィートの高度及び滑走路から１NM未満の距離を検出した場合、該システムは、緊急の且つ／又は意味深長なフィードバックを提供することができる。ある実施例では、（１以上の）チェックリストの（１以上の）手順の適切な（１以上の）作業が完了するまで、該システムが、オペレータが更に進むことを防止する（例えば、更なる下降をブロックする）ために、輸送体と相互作用することを許容されてよい。

本開示の態様は、ハードウェア、ソフトウェア、及び／又はそれらの組み合わせによって実装されてよいことが理解できる。ソフトウェアは、非一過性の機械可読（例えば、コンピュータ可読）記憶媒体、例えば、消去可能若しくは再書き込み可能なリードオンリーメモリ（ROM）、メモリ、例えば、ランダムアクセスメモリ（RAM）、メモリチップ、メモリデバイス、若しくはメモリ集積回路（IC）、若しくは光学的若しくは磁気的に記録可能な非一過性の機械可読、例えば、コンピュータ可読記憶媒体、例えば、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、磁気ディスク、又は磁気テープ内に記憶されてよい。

特定の実施態様を参照しながら本方法及び／又はシステムを説明してきたが、当業者であれば、本方法及び／又はシステムの範囲から逸脱することなく、様々な変形が可能であることと、均等物に置換することが可能であることを理解するだろう。加えて、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は材料を適合させるために、多数の修正を加えることが可能である。例えば、開示された実施例のシステム、ブロック、及び／又は構成要素は、組み合わされ、分割され、再配置され、且つ／又は他の方法で変形されてよい。したがって、本方法及び／システムは、開示された特定の実施態様に限定されるものではない。その代わりに、本方法及び／又はシステムは、字義通り及び均等論の下の両方で、添付の特許請求の範囲に入る全ての実施態様を含むこととなる。

本開示は、以下の条項で説明される主題を含む。
１．
輸送体を動作させるためにオペレータフィードバックを提供するための適応可能輸送体モニタリングシステム（１００）であって、
現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステム（１２４）であって、前記現在の輸送体のコンテキストが前記輸送体の動作モードを反映する、コンテキスト認知サブシステム（１２４）、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステム（１０４）であって、前記輸送体の少なくとも１つのパラメータに応じて前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステム（１１４）と動作可能に接続され、前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、１以上の傾向を特定するように構成された、状態モニタリングサブシステム（１０４）、
前記状態モニタリングサブシステム（１０４）に動作可能に接続されたフィードバックサブシステム（１１２）であって、前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、前記予期される輸送体の状態が、１以上の記憶された輸送体の状態及び前記１以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム（１１２）、並びに
前記準備されたオペレータフィードバックを提供するように構成されたユーザインターフェース（１２６）を備える、システム。
２．
前記状態モニタリングサブシステム（１０４）が、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、前記１以上の傾向を特定するように更に構成されている、条項１に記載のシステム。
３．
輸送体内に位置付けられた機器（１２０）から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラ（３１０）を有する知覚サブシステム（１０６）を更に備える、条項１又は２に記載のシステム。
４．
前記状態モニタリングサブシステム（１０４）に動作可能に接続され、前記状態モニタリングサブシステム（１０４）によるオフライン機械学習又は傾向解析を支援するように構成された、データベースサブシステム（１２２）を更に備える、条項１から３のいずれか一項に記載のシステム。
５．
前記機器（１２０）が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの１以上を備える、条項３に記載のシステム。
６．
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、条項１から５のいずれか一項に記載のシステム。
７．
前記現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの１以上に少なくとも部分的に基づいて特定される、条項１から６のいずれか一項に記載のシステム。
８．
前記輸送体モニタリングシステム（１００）が、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて前記種々の種類の輸送体に適応し得る、条項１から７のいずれか一項に記載のシステム。
９．
前記符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器（１２０）、及び輸送体の能力のうちの１以上を含む、条項８に記載のシステム。
１０．
解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、前記デジタルファイル内の符号化された前記輸送体の種類に対応する、条項９に記載のシステム。
１１．
前記状態モニタリングサブシステム（１０４）が、機械学習技術を使用して、前記１以上の傾向を特定する、条項１から１０のいずれか一項に記載のシステム。
１２．
輸送体を動作させるためにオペレータフィードバックを提供するための方法であって、
前記輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、
前記輸送体の少なくとも１つのパラメータに応じて、前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるステップ、
前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、１以上の傾向を特定するステップ、
前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、前記予期される輸送体の状態が、１以上の記憶された輸送体の状態及び前記１以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに
ユーザインターフェース（１２６）を介して、前記準備されたオペレータフィードバックを生成するステップを含む、方法。
１３．
前記１以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される、条項１２に記載の方法。
１４．
前記現在の輸送体の状態データが、輸送体の操縦室内の機器（１２０）からデータを収集するように構成された複数のカメラ（３１０）を使用して取得される、条項１３に記載の方法。
１５．
前記現在の輸送体の状態が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの少なくとも１つから特定される、条項１３又は１４に記載の方法。
１６．
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、条項１３から１５のいずれか一項に記載の方法。
１７．
前記方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて、種々の種類の輸送体に適応させるステップを更に含む、条項１３から１６のいずれか一項に記載の方法。
１８．
前記符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器（１２０）、及び輸送体の能力のうちの１以上を含む、条項１７に記載の方法。
１９．
機械学習技術を使用して、前記１以上の傾向を特定する、条項１７又は１８に記載の方法。
２０．
オフライン機械学習又は傾向解析を支援するように構成されたデータベースサブシステム（１２２）にアクセスするステップを更に含む、条項１３から１９のいずれか一項に記載の方法。

Claims (15)

1. 輸送体を動作させるためにオペレータフィードバックを提供するための適応可能輸送体モニタリングシステム（１００）であって、
   現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステム（１２４）であって、前記現在の輸送体のコンテキストが前記輸送体の動作モードを反映する、コンテキスト認知サブシステム（１２４）、
   現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステム（１０４）であって、前記輸送体の少なくとも１つのパラメータに応じて前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステム（１１４）と動作可能に接続され、前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、１以上の傾向を特定するように構成された、状態モニタリングサブシステム（１０４）、
   前記状態モニタリングサブシステム（１０４）に動作可能に接続されたフィードバックサブシステム（１１２）であって、前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、前記予期される輸送体の状態が、１以上の記憶された輸送体の状態及び前記１以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム（１１２）、並びに
   前記準備されたオペレータフィードバックを提供するように構成されたユーザインターフェース（１２６）を備える、システム。
2. 前記状態モニタリングサブシステム（１０４）が、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、前記１以上の傾向を特定するように更に構成されている、請求項１に記載のシステム。
3. 輸送体内に位置付けられた機器（１２０）から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラ（３１０）を有する知覚サブシステム（１０６）を更に備える、請求項１又は２に記載のシステム。
4. 前記状態モニタリングサブシステム（１０４）に動作可能に接続され、前記状態モニタリングサブシステム（１０４）によるオフライン機械学習又は傾向解析を支援するように構成された、データベースサブシステム（１２２）を更に備える、請求項１から３のいずれか一項に記載のシステム。
5. 前記機器（１２０）が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの１以上を備える、請求項３に記載のシステム。
6. 前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、請求項１から５のいずれか一項に記載のシステム。
7. 前記現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの１以上に少なくとも部分的に基づいて特定される、請求項１から６のいずれか一項に記載のシステム。
8. 前記輸送体モニタリングシステム（１００）が、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて前記種々の種類の輸送体に適応し得る、請求項１から７のいずれか一項に記載のシステム。
9. 輸送体を動作させるためにオペレータフィードバックを提供するための方法であって、
   前記輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、
   現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、
   前記輸送体の少なくとも１つのパラメータに応じて、前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるステップ、
   前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、１以上の傾向を特定するステップ、
   前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、前記予期される輸送体の状態が、１以上の記憶された輸送体の状態及び前記１以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに
   ユーザインターフェース（１２６）を介して、前記準備されたオペレータフィードバックを生成するステップを含む、方法。
10. 前記１以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される、請求項９に記載の方法。
11. 前記現在の輸送体の状態データが、輸送体の操縦室内の機器（１２０）からデータを収集するように構成された複数のカメラ（３１０）を使用して取得される、請求項１０に記載の方法。
12. 前記現在の輸送体の状態が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの少なくとも１つから特定される、請求項１０又は１１に記載の方法。
13. 前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、請求項１０から１２のいずれか一項に記載の方法。
14. 前記方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて、種々の種類の輸送体に適応させるステップを更に含む、請求項１０から１３のいずれか一項に記載の方法。
15. オフライン機械学習又は傾向解析を支援するように構成されたデータベースサブシステム（１２２）にアクセスするステップを更に含む、請求項１０から１４のいずれか一項に記載の方法。