JP2021530388A - レールセグメント化に基づいて、鉄道障害物を検出するための方法およびシステム - Google Patents

Abstract

前方監視電気光学撮像と、新規なシステムアーキテクチャと、新規なシーン解析および画像処理に基づいて、レールおよび障害物を検出するためのシステムおよび方法が開示される。この処理解決策は、前方撮像で列車の鉄道経路を決定するレール・スイッチ状態検出ニューラルネットワークと、決定した鉄道経路の近傍を分析し、差し迫った障害物を検出する物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）とに基づく深層学習意味的シーンセグメント化アプローチを利用する。【選択図】図１Ａ

Description

本発明は、鉄道のアプリケーションにおいて、衝突を回避し、状況を認識すべく、レールをセグメント化し、障害物を検出するためのシステムおよび方法の分野に関し、より具体的には、そのコンピュータ支援撮像と認知処理とをベースにする技法に関する。

典型的な電気光学コンピュータ支援撮像技法では、領域またはシーンのリアルタイム撮像を生成し、それを処理して、分析し、そこから所望のデータを抽出する。

例えば、鉄道を安全にし、衝突を回避するためのアプリケーションでは、種々の電気光学センサが、鉄道シーンを調査し、監視するために使用される。例えば、沿線センサおよび／または列車（例えば、機関車）に取り付けられたセンサを使用することができる。このような列車に取り付けられた前方監視センサは、鉄道のシーンをリアルタイムで調査するために使用され、それによって、レールの両方を検出し、および／または検出されたレール上またはその近傍の潜在的な障害物を検出／分類する。そのような機能および関連するアラートおよびアラームは、列車運転士の操作を補助し、列車操作（例えば、自律列車操作のために）の安全機能を提供するのに使用されてもよい。

公知の列車でのアプリケーションには、例えば、都市列車（例えば、路面電車）、幹線列車、高速列車、貨物列車と、貨物機関車を使用する操車場の操作が含まれ得る。関心のある多種多様な潜在的な軌道上の障害物には、例えば、人間、動物、車両、列車、貨車、人工物、自然の残骸（例えば、倒木の幹）が含まれ得る。軌道上の安全性およびセキュリティの課題に加えて、自殺行為の問題もあり、これには、切迫した自殺事例に迅速に対応し、分析することが、さらに必要である。

電気光学昼夜画像フレームをベースとして、鉄道シーンにおける物体および障害物を検出して、分類することは、そのような感知および画像フレーム／シーン解析に必要な拡張された範囲および多様な気象条件のために、またそのような差し迫った衝突に迅速に対応するために（例えば、アラームの生成、列車の減速、時間内の列車の停止）、困難なことがある。

本発明の一態様は、レールおよび障害物を検出する方法を提供することができる。この方法は、列車の機関車に設置された少なくとも１つの撮像センサから複数の画像フレームを受信するステップであって、少なくとも１つの撮像センサは列車の進行方向に向いている、ステップと、複数の画像フレームのサブセットの各画像フレームについて、それぞれの画像フレームと履歴要素とを含む入力データ構造を決定するステップであって、履歴要素は、それぞれの画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を含み得る、ステップと、サブセットの画像フレームのそれぞれの入力データ構造に基づいて、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を使用して、それぞれの画像フレームのセグメント化マスク予測を決定するステップであって、セグメント化マスク予測は、列車が沿って移動する現鉄道経路を少なくとも含み得る、ステップと、を含み得る。

いくつかの実施形態では、セグメント化マスク予測は、現鉄道経路に沿った対応する少なくとも１つのスイッチの状態を表す現鉄道経路に沿った少なくとも１つの分岐をさらに含み得る。

いくつかの実施形態では、方法は、ＲＳＳＤ ＮＮを、その推論する前に訓練するステップをさらに含み、訓練は、訓練画像フレームの訓練サブセットに基づき、所定数の訓練サイクルを含み、訓練サイクルのそれぞれは、訓練サブセットの各訓練画像フレームについて、それぞれの訓練画像フレームおよび訓練履歴要素を含む訓練入力データ構造を決定するステップであって、訓練履歴要素は、それぞれの訓練画像フレームに先行する訓練画像フレームについて決定された訓練セグメント化マスク予測を含む、ステップと、訓練サブセットの訓練画像フレームのそれぞれの訓練入力データ構造に基づいて、ＲＳＳＤ ＮＮを使用して、それぞれの訓練画像フレームの訓練セグメント化マスク予測を決定するステップと、訓練サブセットの訓練画像フレームのそれぞれについて決定した訓練セグメント化マスク予測を、訓練画像フレームの少なくとも１つの所定の注釈付きマスクと比較するステップと、訓練サブセットの訓練画像フレームのそれぞれについて、比較に基づいて、決定した訓練セグメント化マスク予測を更新するステップと、を含み得る。

いくつかの実施形態では、この方法は、所定数のサイクルの少なくとも１つの訓練サイクル中に決定された訓練セグメント化マスク予測を増強するステップをさらに含み、訓練セグメント化マスク予測を増強するステップは、訓練セグメント化マスク予測の全体をゼロにするステップ、訓練セグメント化マスク予測の所定の部分をゼロにするステップ、および訓練セグメント化マスク予測の所定の部分を、現鉄道経路の形状および位置を保持し、現鉄道経路と、現鉄道経路に沿った少なくとも１つの分岐との区別を無視する指定ラベルに置き換えるステップのうちの少なくとも１つを含み得る。

いくつかの実施形態では、本方法は、サブセットの少なくとも１つの画像フレームにおいて、それぞれのフレームについて決定されたセグメント化マスク予測に基づいて、物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）を使用して、現鉄道経路上またはその近傍の少なくとも１つの物体／障害物を決定するステップをさらに含み得る。

本発明の別の態様は、レールおよび障害物を検出するためのシステムを提供することができ、このシステムは、複数の画像フレームを取得するために、列車の機関車に設置され、列車の進行方向に向いた少なくとも１つの撮像センサと、レール・スイッチ状態検出（ＲＳＳＤ）ニューラルネットワーク（ＲＳＳＤ ＮＮ）を含み得るＲＳＳＤモジュールと、を含むことができ、ＲＳＳＤモジュールは、複数の画像フレームのサブセットの各画像フレームについて、それぞれの画像フレームと履歴要素とを含む入力データ構造を決定することであって、履歴要素は、それぞれの画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を含む、ことと、サブセットの画像フレームのそれぞれの入力データ構造に基づいて、ＲＳＳＤ ＮＮを使用して、それぞれの画像フレームのセグメント化マスク予測を決定することであって、セグメント化マスク予測は、列車が沿って移動する現鉄道経路を少なくとも含む、ことと、を行うように構成される。

いくつかの実施形態では、セグメント化マスク予測は、現鉄道経路に沿った対応する少なくとも１つのスイッチの状態を表す現鉄道経路に沿った少なくとも１つの分岐をさらに備える。

いくつかの実施形態では、システムは、物体・障害物検出・追跡（ＯＯＤＴ）ニューラルネットワーク（ＯＯＤＴ）を含むことができるＯＯＤＴモジュールをさらに含むことができ、ＯＯＤＴモジュールは、サブセットの少なくとも１つの画像フレームにおいて、それぞれの画像フレームについて決定されたセグメント化マスク予測に基づいて、ＯＯＤＴ ＮＮを使用して、現鉄道経路上またはその近傍の少なくとも１つの物体／障害物を決定するように構成される。

いくつかの実施形態では、少なくとも１つのセンサは、視覚帯域撮像センサおよび熱赤外線センサのうちの少なくとも１つである。

いくつかの実施形態では、少なくとも１つのセンサは、狭視野撮像センサおよび広視野撮像センサのうちの少なくとも１つである。

本発明のこれらの、追加および／または他の態様および／または利点は、以下の詳細な説明に記載されており、おそらく詳細な説明から推論することが可能であり、および／または本発明の実施によって学習することが可能である。

本発明の実施形態をより良く理解し、本発明をどのように実施することができるかを示すために、ここで、単に一例として、添付の図面を参照する（ここで、同様の数字は、全体を通して対応する要素またはセクションを示す）。

本発明のいくつかの実施形態に従って、レールおよび障害物を検出（ＲＯＤ）するために、列車などの車両に取り付けられたシステムの概略図である。 本発明のいくつかの実施形態に従って、レール・障害物検出用システムの撮像センサによって生成された画像フレームと、レール・スイッチ状態検出（ＲＳＳＤ）モジュールによって生成されたセグメント化マスク予測の一例である。 本発明のいくつかの実施形態に従って、レールおよび障害物を検出（ＲＯＤ）するためのシステムの概略ブロック図である。 本発明のいくつかの実施形態に従って、長距離レールおよび物体／障害物を検出するために、列車に取り付けられた狭視野撮像センサ（ＮＦＳ）の狭視野の概略図である。 本発明のいくつかの実施形態に従って、短距離レールおよび物体／障害物を検出するために、列車に取り付けられた広視野撮像センサ（ＷＦＳ）の広視野の概略図である。 本発明のいくつかの実施形態に従って、列車に取り付けられた狭視野撮像センサ（ＮＦＳ）と広視野センサ（ＷＦＳ）とを組み合わせた狭視野と広視野の上面図の例を示す。 ２つのそれぞれの広視野シーンおよび狭視野シーンを示すことで、本発明のいくつかの実施形態に従って、物体／障害物検出および衝突回避を改善するために、ＷＦＳの短距離カバレージをＮＦＳの長距離カバレージと組み合わせることの有用性を示す。 種々のレール分岐、スリップおよび轍叉の例を示す。 前方監視車載撮像センサによってフレーム化された画像として、レールスイッチ分岐の一例と、そのスイッチを超える列車のオプションの経路を決定する軌道の概略部分を示す。 本発明のいくつかの実施形態に従って、列車の現鉄道経路を識別するために、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を訓練し、推論するための様々なアプローチの概略図である。 本発明のいくつかの実施形態に従って、列車の現鉄道経路を識別するために、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を訓練し、推論するための様々なアプローチの概略図である。 本発明のいくつかの実施形態に従って、列車の現鉄道経路を識別するために、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を訓練し、推論するための様々なアプローチの概略図である。 本発明のいくつかの実施形態に従って、列車の現鉄道経路を識別するために、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を訓練し、推論するための様々なアプローチの概略図である。 スイッチの通過後に続くレールシーンを示す。 列車経路のグラフィカルマスクと、それぞれの分岐を有する２つの差し迫ったスイッチとを含む例示的な鉄道シーンを示す。 本発明のいくつかの実施形態に従うレール・障害物検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）のオフライン訓練フェーズのフローチャートである。 本発明のいくつかの実施形態に従うレール・障害物検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）のオフライン訓練フェーズのフローチャートである。 本発明のいくつかの実施形態に従うレール・障害物検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）のオフライン訓練フェーズのフローチャートである。 本発明のいくつかの実施形態に従うレール・障害物検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）の前方推論プロセスのフローチャートである。 本発明のいくつかの実施形態に従って、レールおよび物体を検出するためのシステムの第一の特定の実装の概略ブロック図である。 本発明のいくつかの実施形態に従って、レールおよび物体を検出するためのシステムの第二の特定の実装の概略ブロック図である。 本発明のいくつかの実施形態に従って、ＶＩＳ撮像センサからの画像フレームに適用される物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）の２つの実装の例を示す。 本発明のいくつかの実施形態に従って、画像フレームの関心領域（ＲＯＩ）内に適用される物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）のプロセスのフローチャートである。 本発明のいくつかの実施形態に従って、可視帯域（ＶＩＳ）センサおよび熱赤外線（ＴＩＲ）センサから、物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）の境界ボックスを融合するプロセスのフローチャートである。 本発明のいくつかの実施形態に従って、可視帯域（ＶＩＳ）センサおよび熱赤外線（ＴＩＲ）センサから、物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）の境界ボックスを融合するプロセスのフローチャートである。 物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）のプロセスのフローチャートであり、これには、本発明のいくつかの実施形態に従って、第一の短距離検出用と、第二の長距離検出用との２つの関心領域（ＲＯＩ）インスタンスが含まれている。 本発明のいくつかの実施形態に従って、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）の出力の一例を示す。 本発明のいくつかの実施形態に従って、典型的な駅シナリオと、対応するレールおよび障害物を検出するための解決策をそれぞれ示す。 本発明のいくつかの実施形態に従って、典型的な駅シナリオと、対応するレールおよび障害物を検出するための解決策をそれぞれ示す。 本発明のいくつかの実施形態に従って、運転士支援、予防保守およびビッグデータ支援をするためのシステムの概略ブロック図である。

説明を簡略で明確なものにするために、図に示されている要素は、必ずしも一定の縮尺で描かれていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするために、他の要素に対して誇張されていることがある。さらに、適切であると考えられる場合、参照番号は、対応または類似する要素を示すために、図面の間で繰り返すこともある。

以下の説明では、本発明の様々な態様について記載がなされる。説明をするために、特定の構成および詳細を記載し、本発明の完全な理解を提供する。しかしながら、本発明は、本明細書に提示される特定の詳細がなくても実施できることは当業者には明らかであろう。さらに、本発明を曖昧にしないために、周知の特徴は、省略または簡略化されている。特に図面を参照すると、示された詳細は、例として、本発明の例示的な議論のみを目的とし、本発明の原理および概念的態様の最も有用で容易に理解される説明であると考えられるものを提供するために、提示されることを強調する。この点に関して、本発明の基本的な理解のために必要である以上に詳細に本発明の構造的詳細を示す試みはなされておらず、図面を用いてなされた説明は、本発明のいくつかの形態が実際にどのように具現化され得るかを当業者に明らかにするものである。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その用途において、以下の説明に記載されるか、または図面に示される構成要素の構成および配置の詳細に限定されないことを理解されたい。本発明は、様々な方法で実施または実行することができる他の実施形態にも、開示された実施形態の組合せにも適用することが可能である。また、本明細書で使用される語法および用語は、説明の目的のためのものであり、限定とみなされるべきではないことを理解されたい。

特に明記しない限り、以下の説明から明らかなように、本明細書の説明全体にわたって使用される「処理する」、「算出する」、「計算する」、「決定する」、「強化する」などの用語は、コンピューティングシステムのレジスタおよび／またはメモリ内の電子量などの物理量として表されるデータを、コンピューティングシステムのメモリ、レジスタ、または他のそのような情報記憶、伝送、もしくは表示装置内の物理量として同様に表される他のデータに操作および／または変換する、コンピュータまたはコンピューティングシステム、または同様の電子コンピューティング装置の動作および／またはプロセスを指すことが理解される。開示されたモジュールまたはユニットのいずれも、コンピュータプロセッサによって少なくとも部分的に実装することができる。

一般に、前方監視電気光学撮像と、新規なシステムアーキテクチャと、新規なシーン解析および画像処理に基づいて、レールおよび障害物を検出するためのシステムおよび方法が開示される。この処理解決策は、前方撮像で列車の鉄道経路を決定し得るレール・スイッチ状態検出ニューラルネットワークと、決定した鉄道経路の近傍を分析し、差し迫った障害物を検出し得る物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）とに基づく深層学習意味的シーンセグメント化アプローチを利用し得る。様々な実施形態では、ＲＳＳＤ ＮＮおよび／またはＯＯＤＴ ＮＮからの出力に基づいて、アラームを生成することができる。

様々な実施形態では、ＲＳＳＤ ＮＮおよび／またはＯＯＤＴ ＮＮは、検出されたおよび／または分類された物体に近づくことができ、これによって、ＲＳＳＤ ＮＮおよび／またはＯＯＤＴ ＮＮの微調整を提供する様々な短期および長期機械学習のプロセスが可能になる。例えば、短期機械学習の適応として、スタンドオフ範囲で物体が分類されると、列車の減速を要求することもあるが、列車がそのような物体に近づいて、同じ物体が再分類されると、その直後にそのような決定が取り消されることも、あるいは変更されることもある。別の例では、長期機械学習プロセスは、そのような誤った決定を精査して、調整し得るように、処理アルゴリズムを更新し得る。

様々な実施形態では、システムおよび方法は、列車の運転士に対する人間参加型決定支援、および／または無人運転列車操作の完全自動化決定を提供するためのシーン理解能力を提供する状況認識機能において、撮像センサの全てと、オプションで非撮像センサの全てを統合することを可能にできる。また、開示されるシステムおよび方法によって、列車運転士の能力を向上させて、鉄道シーンにおける遠隔物体および潜在的な障害物を視覚的に知覚すること、および／または多様な操作条件を検出し、分類し、かつ対応する知覚処理を加速することができる。したがって、開示されるシステムおよび方法は、列車運転士の作業負荷を大幅に低減することができる。

いくつかの実施形態では、開示されるシステムは、一般に、１つまたは複数の撮像センサ（例えば、視覚帯域または熱赤外線センサ）を含む撮像構成を含むことができる。システムは、撮像センサによって取得された画像を処理するための１つまたは複数の画像処理ユニットを含むことができる。そのような処理ユニットには、コンピュータ、コントローラ、ＤＳＰ、ＧＰＵ、および処理ユニットによって実行するために設計されたソフトウェアモジュール、または専用ハードウェアモジュール（例えば、ＩＣ、ＡＳＩＣ、ＦＰＧＡ）を含むことができる。いくつかの実施形態では、システムには、ユーザインタフェースおよび表示モニタ（例えば、タッチスクリーンインタフェース付き、または無し）を含む制御および表示ユニットを含むことができる。

異なる関心物体は、移動する列車に対して様々な課題および決定を提起する可能性がある。例えば、静止および移動している人間、動物、および車両は、移動する列車で、異なる決定および対応を必要とすることがある。泥、水、水溜り、雪、葉および枝葉などの自然の影響も、気象条件および大気条件も、あらゆる感知および分析処理と、それぞれの意思決定プロセスに課題を提起し得る。レールの誤作動には、例えば、レールが接続しなくなることも、レールセグメントが欠落することも含む。曲線レールによるレールの閉塞などの沿線の影響も、レールの近傍の背景シーン（橋梁、マストなど）も、誤まった検出および分類を生成することがある。したがって、本発明のいくつかの実施形態は、異なる関心物体ための異なる処理スキームを（例えば、個別に、または並列に）利用できるように、そのような物体特性の多様性を考慮する。例えば、検出された物体が予め規定された寸法よりも大きい寸法を有する場合、システム／方法は「レールの終端（ＥＯＲ）」のアラームを提供することができる。これは、また、右／左方向に向かう途中でスタックして誤動作しているスイッチがある場合にも、関連することがある。別の例では、レール軌道の端部に近づくとき、車止めの有無にかかわらず、システム／方法は、緊急制動をトリガし得るＥＯＲアラートを提供することができる。

いくつかの実施形態では、開示されるシステムおよび方法によって、そのパラメータ（例えば、検出確率（ＰＤ）、分類確率（ＰＣ）、誤検出率（ＦＤＲ）、誤分類率（ＦＣＲ）、および応答時間（ＲＴ）など）を調整することが可能になり、こうして、性能要件に準拠しながら、様々な関心物体および鉄道条件に対処することに関して、柔軟に検出して、分類することができる。

ここで、図１Ａを参照すると、この図は、本発明のある実施形態に従って、列車９０に取り付けられたレールおよび障害物を検出する（ＲＯＤ）ためのシステム１００の概略図である。

図１Ｂも参照すると、本発明のいくつかの実施形態に従って、レール・障害物検出用システム１００の撮像センサ１１０によって取得された画像フレーム１１０ａと、レール・スイッチ状態検出（ＲＳＳＤ）モジュール１２０によって生成されたセグメント化マスク予測１２０ａの一例である。

いくつかの実施形態によれば、システム１００は、少なくとも１つの撮像センサ１１０と、レール・スイッチ状態検出（ＲＳＳＤ）モジュール１２０と、物体・障害物検出・追跡（ＯＯＤＴ）モジュール１３０を含むことができる。

いくつかの実施形態によれば、撮像センサ１１０は、撮像センサ１１０が列車９０の進行方向を向くことができるように、列車９０の機関車９２に取り付けることができる。撮像センサ１１０は、図１に概略的に示すように、前方監視性能をより良くするために、例えば、高所に取り付けられてもよい。

撮像センサ１１０は、移動する列車９０の前方にある鉄道シーンの複数の画像フレームを取得することができる。これにより、画像フレームセンサ１１０は、列車９０の運転士および／または監督者などの第三者または制御室に、鉄道シーンの視覚化を提供することができる。撮像センサ１１０は、昼夜とも、全ての気象条件下でも、また極端な環境条件下でも動作するように選択することができる。

様々な実施形態では、撮像センサ１１０は、広視野センサ（ＷＦＳ）および／または狭視野センサ（ＮＦＳ）であってもよい。いくつかの実施形態では、撮像センサ１１０は、可視帯域センサ（例えば、以下、本明細書では、互換的に「ＶＩＳセンサ」と呼ぶ）とすることができる。例えば、撮像センサ１１０は、ＣＣＤ、ＣＭＯＳ、および／または超低光ＣＭＯＳ、ＶＩＳ、ＮＩＲ、ＳＷＩＲ、ＭＷＩＲ、ＬＷＩＲ、または極めて低い読み出しノイズおよび極めて高いダイナミックレンジを有する任意の他の撮像スペクトル装置などの昼光ビデオカメラとすることができる。いくつかの実施形態では、撮像センサ１１０は、熱赤外線センサ（例えば、以下で、互換的に「ＴＩＲセンサ」と呼ぶ）とすることができる。例えば、撮像センサ１１０は、長波赤外線カメラなどのような冷却サーマルカメラであっても、あるいは非冷却サーマルカメラであってもよい。

いくつかの実施形態によれば、ＲＳＳＤモジュール１２０は、撮像センサ１１０から画像フレームを受信することができる。レール、安全ゾーン、スイッチ、スイッチの状態、および列車９０が移動する、または移動しようとしている現鉄道経路のうちの少なくとも１つを決定し、画像フレームの対応するセグメント化マスク予測を生成するように構成され得る。動的セグメント化は、例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を使用するような深層学習の手段および方法を利用することによって実行されてもよい。例えば、ＲＳＳＤモジュール１２０は、画像フレームの動的セグメント化を実行するように構成されたＲＳＳＤニューラルネットワーク（ＲＳＳＤ ＮＮ）１２２を含むことができる。

例えば、図１Ｂは、システム１００の撮像センサ１１０によって取得された画像フレーム１１０ａと、システム１００のＲＳＳＤモジュール１２０によって生成されたそのセグメント化マスク予測１２０ａの一例を示す。セグメント化マスク予測１２０ａは、例えば、ＲＳＳＤモジュール１２０によって検出／決定されたレール１２０ｂの周囲のレール１２０ｂおよび安全ゾーン１２０ｃを示す。

いくつかの実施形態によれば、ＯＯＤＴモジュール１３０は、撮像センサ１１０から画像フレームを受信することができる。ＯＯＤＴモジュール１３０は、画像フレームの動的セグメント化を実行し、それによって、レール上またはレール近傍の物体および／または障害物を決定し、および／または検出された物体および／または障害物の移動方向を追跡するように構成されてもよい。セグメント化は、例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）のような深層学習方法を利用することによって実行されてもよい。例えば、ＯＯＤＴモジュール１３０は、画像フレームの動的セグメント化を実行するように構成されたＯＯＤＴニューラルネットワーク（ＯＯＤＴ ＮＮ）１３２を含むことができる。物体および／または障害物は、例えば、車両、機関車、列車、貨車、人間、動物などを含むことができる。

種々の静止および移動している物体が、移動または静止している列車９０上に設置された前方監視撮像センサ１１０の撮像に現れることがある。そのような物体は、列車の軌道上またはその軌道近傍に位置するとき、潜在的な障害物となり得る。したがって、列車の軌道の画像フレーム領域を正確かつロバストに指定し、セグメント化する機能は、このような衝突を回避する性能を高くするために、非常に重要である。

鉄道軌道は、通常、複数の轍叉およびスイッチ（例えば、左分岐、右分岐、三枝分岐、シングルスリップおよびダブルスリップ）を有する軌道の複雑なネットワークから構成されている。轍叉は固定され、変動しないが、スイッチは、個別のスイッチ状態に依存して列車の経路を変更させる手段である。機能しているスイッチは、（スイッチが状態間で遷移している短い期間を除いて）一定の時間に１つの離散状態にあるだけでよい。したがって、所与の軌道に沿って移動する列車の鉄道経路を決定する際に、列車が配置されている軌道を前方視野撮像フレーム内で検出することも、差し迫ったスイッチの位置およびそのそれぞれのスイッチ状態を決定し、それによって、潜在的な軌道変更に対する空間およびタイムライン内の位置を予測することが必要である。

前方監視撮像では、所与の経路へのいくつかのそれぞれ差し迫ったスイッチがあり得、現プリセット経路をリアルタイムで決定する能力は、決定された経路上またはその近傍の検出された物体との衝突する可能性または切迫状況を前方予測する際に重要である。予測された経路に沿ったスイッチの状態は、（例えば、制御センタから）予測された経路を決定する間に、電気的に、遠隔で（例えば、ＲＳＳＤモジュール１２０によって）または手動で変更されてもよい。スイッチおよびそれらのそれぞれの状態を十分に長い距離で光学的に検出する能力は、撮像センサ１１０の分解能、レールコントラスト、スイッチの近傍における散乱破片または他の妨害効果（例えば、葉、砂、雪）、視線の制限などのために制限されることがある。したがって、ＲＳＳＤモジュール１２０は、現在の軌道をマッピングし、その軌道に沿ったスイッチを検出し、そのような検出されたスイッチについて、それぞれのスイッチ状態を決定することが必要とされ得る。ある時点で、より近いスイッチが検出されることがあるが、それらの検出されたスイッチのいくつかについては、列車が近づくまで、それらのそれぞれのスイッチ状態が決定されないことがある。したがって、動的に変化するマッピングＲＳＳＤモジュール１２０が必要とされ、これは、列車が前記経路を下って前記スイッチに近づくにつれて、経時的にそのような変化するマッピングを反映する。

したがって、軌道シーンのラベル付き動的マッピング／セグメント化は、以下のように、バックグラウンドとして分類される画素領域（例えば、「０」とラベル付け）、現在の軌道として分類される画素領域（例えば、「１」とラベル付け）、スイッチ（例えば、「２」としてラベル付けされる）として分類される画素領域、そのスイッチ状態がまだ決定されていないため、スイッチを越える有効軌道としてまだ決定されていない軌道分岐として分類される画素領域（例えば、「３」とラベル付け）、およびスイッチ状態の成功の決定に基づいて、有効軌道として定義される所与のスイッチを越える軌道分岐として分類される画素領域（例えば、「４」とラベル付け）を表現するために必要とされる。

シーンの複雑さおよびシステムの操作論理に基づいて、様々なラベル構成を定義することができる。例えば、３ラベル構成は、背景、有効軌道、および有効軌道として決定されない（またはまだ決定されていない）分岐軌道を用いて定義され得る。そのような動的マッピング／セグメント化は、その後、障害物および差し迫った衝突を決定する際に、物体検出に関連付けられることがある。

いくつかの実施形態によれば、ＶＩＳ撮像センサ、ＴＩＲ撮像センサ、またはＶＩＳ撮像センサとＴＩＲ撮像センサの両方、あるいはセンサ（例えば、撮像センサ１１０）の任意の他の組合せのうちの少なくとも１つを使用して取得された鉄道シーンの前方監視画像フレームの動的マッピング／セグメント化は、その画像フレームに深層学習ニューラルネットワークを適用することによって（例えば、ＲＳＳＤ ＮＮ１２２によって）達成され得る。ニューラルネットワークの適用は、ニューラルネットワークのオフライン訓練フェーズと、それに続くニューラルネットワークのオンライン前方推論とを含むことができる。

いくつかの実施形態では、ＲＳＳＤ ＮＮ１２２への新規な入力データ構造が提供されてもよく、この入力は、一意のフィードバックセグメント化マスクを含んでもよい。ＲＳＳＤ ＮＮ１２２に入力される新規なデータ構造は、撮像センサ１１０によって取得された鉄道シーンの現在の画像フレーム（例えば、カラー鉄道シーンのグレースケール）と、履歴要素とを含む２層画像フレーム表現を含んでもよい。履歴要素は、例えば、現在の画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測であってもよい。

このプロセスは、ビデオセグメント化のためのニューラルネットワーク解決策の一般的な方針に従うことができ、ここでは、連続するビデオ画像フレームのシーケンスがニューラルネットワークへの入力であるが、現在の方法は、以前に処理された履歴要素を入力データ構造に組み込むという違いがある。現在の画像フレーム時間とともに入力データ構造の一部として履歴要素を使用することは、本発明のいくつかの実施形態による新規な要素であり、この解決策は、元の画像フレームに加えて１つの追加のデータ層のみを使用する。入力データ構造の履歴要素は、過去の画像フレームの情報を単一の表現でカプセル化する。これは、短期間のモーション計算を使用したり、ニューラルネットワークアプローチによって提供されるような実際の以前の画像フレームをいくつか保持したりする現在のオプティカルフローアプローチとは対照的である。

履歴要素を使用する別の利点は、列車速度と比較してフレームレートが比較的高いことであり、その結果、現在の画像フレームとマスク履歴との間に高い相関が生じ、したがって、容易に、現在のフレームのセグメント化性能を著しく改善することができる。

履歴要素を使用する別の利点は、履歴要素がスイッチ状態の情報をネットワークに供給することができることである。これは、機関車（または列車）がスイッチ内またはその近傍にある間に、新しい画像フレームを取得する場合に特に重要である。過去のスイッチ状態のメモリがないシステムでは、正しい列車の経路をそれぞれのスイッチ分岐から区別することができない。

ＲＳＳＤモジュール１２０が、（例えば、ＲＳＳＤ ＮＮ機能１２２が決定したセグメント化画像フレームに基づいて決定された）更新されたリアルタイムの列車経路を供給すると、衝突および事故を回避するために、潜在的障害物検出処理の追加手段が、ＯＯＤＴモジュール１３０によって適用され得る。いくつかの実施形態では、ＯＯＤＴ ＮＮ機能１３２は、画像フレーム内の物体を検出するために適用され得、これらの物体の検出は、これらの物体を潜在的な障害物として決定し、それぞれのアラートを提供する際に、セグメント化された経路ファインダ出力に空間的に関連付けられ得る。別の好ましい実施形態は、ＯＯＤＴ ＮＮ機能１３２が、非最大サスペンション（ＮＭＳ）および追跡のための追加の後処理で増強されることである。

いくつかの実施形態では、鉄道シーンの前方監視画像フレームの動的マッピング／セグメント化は、前処理画像フレーム融合マッピングを介して、例えば、ＶＩＳ撮像センサおよびＴＩＲ撮像センサ、または任意の他のセンサ（例えば、ＬＩＤＡＲ）によって取得された画像フレームを多重スペクトルで組み合わせて、履歴マスク増強の前に２層画像フレームを生成することを含んでもよい。

いくつかの実施形態では、画像フレームの動的マッピング／セグメント化は、前処理画像フレーム融合マッピングを介して、ＶＩＳ撮像センサおよびＴＩＲ撮像センサによって取得された画像フレームを多重スペクトルで組み合わせて、ＯＯＤＴ ＮＮ機能１３２に入力される２層画像フレームを生成し、続いて、物体を追跡すること含み得る。

いくつかの実施形態では、単一のニューラルネットワーク機能は、セグメント化機能および検出機能のそれぞれについて異なる重み付け関数を決定および定義しながら、同じ特徴的な深層を共有することによって、ＲＳＳＤ ＮＮ１２２とＯＯＤＴ ＮＮ１３２とを組み合わせることができる。

いくつかの実施形態では、画像フレームの動的マッピング／セグメント化は、ＶＩＳ撮像センサおよびＴＩＲ撮像センサのそれぞれに対して異なる機能フローチャート構成を提供することができる。

ここで、図２を参照すると、この図は、本発明のいくつかの実施形態に従って、レールおよび障害物を検出する（ＲＯＤ）ためのシステム２００の概略ブロック図である。

いくつかの実施形態によれば、システム２００は、例えば、移動または静止している列車が、レールおよび障害物を検出するために使用することができる。例えば、システム２００は、図１Ａに関して上述したシステム１００と同様であってもよい。

いくつかの実施形態では、システム２００は、少なくとも１つの撮像センサ２０２を含むことができる。撮像センサ２０２は、図１Ａに関して上述した撮像センサ１１０と同様であってもよい。撮像センサ２０２は、例えば、高解像度または低解像度の高感度ＣＭＯＳ ＶＩＳ帯域センサ、大フォーマットＴＩＲ帯域センサ（ＷＦＯＶ、ＮＦＯＶ）、ＷＦＯＶ ＶＩＳ結合センサ（例えば、スイッチヤード用途の場合）、ＴＩＲ帯域または光ゲートカテナリーセンサなどを含んでもよい。

いくつかの実施形態では、システム２００は、１つまたは複数の追加のセンサ２０４を含むことができる。追加のセンサ２０４は、例えば、ＧＰＳ、ＩＮＳ、加速度計などの動的センサ、および／または温度センサ、湿度センサ、および圧力センサなどの環境センサを含むことができる。

いくつかの実施形態では、システム２００は、撮像制御処理モジュール２０６を含むことができる。撮像制御処理モジュール２０６は、例えば、撮像センサ２０２を自動的に制御し、撮像センサ２０２のダイナミックレンジを分析して、制御し、撮像センサ２０２のノイズを分析して、低減し、撮像センサ２０２の視線を分析して、安定化し、画像フレーム焦点撮像センサ２０２、超分解能（例えば、改善された分解能を達成するための機械的機構）などを分析して、補正するように構成されてもよい。

いくつかの実施形態では、システム２００は、センサ処理モジュール２０８を含んでもよい。センサ処理モジュール２０８は、例えば、追加のセンサ２０４の較正および／または読み取り誤差を訂正するように構成することができる。

いくつかの実施形態では、システム２００は、レール・スイッチ状態検出（ＲＳＳＤ）モジュール２１０を含むことができる。ＲＳＳＤモジュール２１０は、図１Ａに関して上述したＲＳＳＤモジュール１２０と同様であってもよい。ＲＳＳＤモジュール２１０は、撮像センサ２０２から画像フレームを受信し、画像フレームのセグメント化を実行し、それによって、画像フレーム内のレール、安全ゾーン、スイッチ、およびスイッチ状態のうちの少なくとも１つを決定し、および／または列車９０が載っている鉄道経路または載るべき鉄道経路を、そのセグメント化に基づいて決定することができる。

いくつかの実施形態では、システム２００は、物体・障害物検出・追跡（ＯＯＤＴ）モジュール２１２を含むことができる。ＯＯＤＴモジュール２１２は、図１Ａに関して上述したＯＯＤＴモジュール１３０と同様であってもよい。ＯＯＤＴモジュール２１２は、撮像センサ２０２から画像フレームを受信し、画像フレームのセグメント化を実行し、それによって、レール上またはレール近傍の物体および／または障害物を決定すること、および／またはその物体および／または障害物を追跡することができる。

いくつかの実施形態では、システム２００は、ビルトインテスト（ＢＩＴ）モジュール２１４を含むことができる。ＢＩＴモジュール２１４は、システム２００のモジュールの少なくとも一部の性能（撮像および感知、照明および熱条件、大気および視線のダイナミクスおよび妨害を含む）を検証するように構成することができる。ＢＩＴモジュール２１４は、例えば、撮像センサ２０２によってフレーム化された画像としての鉄道シーンに依存することができ、これは、ビルトインテストのためにＶＩＳとＴＩＲとのスペクトル帯域の両方で基準を提供する細長い基準構造（例えば、レール）を含むことができる。ＢＩＴモジュール２１４は、また、例えば、レールベースの大気分析、放射輝度（例えば、範囲の関数として）、視界（例えば、範囲の関数として）、透過率（例えば、範囲の関数として）、霧（例えば、範囲の関数として）、ヘイズ（例えば、範囲の関数として）、雨／雪（例えば、範囲の関数として）、乱流（例えば、範囲の関数として）、散乱（例えば、範囲の関数として）、振動ぼけ（例えば、範囲の関数として）、動作ぼけ（例えば、範囲および／または角度の関数として）、被写界深度（例えば、範囲の関数として）に依存してもよい。

いくつかの実施形態では、システム２００は、運転士支援モジュール２１６を含むことができる。運転士支援モジュール２１６は、信号の検出および／または追跡、標識の識別／追跡、信号／標識の安全ゾーンとの関連付け、ＧＩＳの利用および更新、障害の解析、機関車のブレーキ戦略の定義、機関車の安全速度解析（例えば、現在および今後の鉄道曲率半径などのＧＩＳリアルタイム情報および安全な速度制御に影響を及ぼす他の鉄道情報）を実行するように構成され得る。

いくつかの実施形態では、システム２００は、表示処理モジュール２１８を含むことができる。表示処理モジュール２１８は、異なる撮像センサ２０２（例えば、ＷＦＳ、ＮＦＳ、ＶＩＳおよび／またはＴＩＲセンサ）からの画像フレームを融合し、画像フレームの輝度および／またはコントラストなどを自動的に調整するように構成されてもよい。

いくつかの実施形態では、システム２００は、アプリケーションに対するアラート、ステータス、および制御を扱うように適合されたモジュール２２０を含むことができる。

いくつかの実施形態では、システム２００は、ＧＩＳ処理モジュール２２２を含むことができる。ＧＩＳ処理モジュール２２２は、システムが様々な状況に、より良く応答することを支援する地理的情報を用いて認知処理を実行するように構成されてもよい。そのような地理的情報は、地理的位置モジュール（ＧＬＭ）（例えば、ＧＰＳ＜ＩＮＳ、事前に知られたデータベースなどを含む）、より正確な位置決めのためのランドマークおよびデータベースおよび／またはデジタル地図の作成および／または更新を使用する画像フレームベースナビゲーション（ＩＢＮ）、地理的情報モジュール（ＧＩＭ）および３Ｄモジュール（３ＤＭ）から導出され、および／またはそれらと比較され、および／またはそれらから更新されてもよく、それらの全ては、レール検出および物体検出ソリューションのための重要なリアルタイムデータを提供する。ＧＬＭは、例えば、リアルタイムの位置情報および／または導出された速度情報を提供することができ、これらの情報は、様々な列車安全基準を監視するために使用することができる。ＧＩＭ情報とともにＧＬＭは、例えば、鉄道レイアウトおよび３Ｄ地形データ、沿線インフラ機器（信号柱、電気機器、レール分岐、スイッチ）、轍叉などに関するリアルタイムの３Ｄ地理的情報を提供することができる。これらは、３Ｄ情報のカメラ視点を生成するために３ＤＭに供給することができ、さらに、画像フレームベースのレールマップ（ＩＢＲＭ）と組み合わせることができるジオベースのレールマップ（ＧＢＲＭ）での利用のために利用することができる。これによって、様々な典型的な列車運行状況に対してロバストな解決策を提供することができ、システム２００の性能の改善を達成できる。

いくつかの実施形態では、システム２００は、インフラ処理モジュール２２４を含むことができる。

いくつかの実施形態では、システム２００は、表示・ユーザインタフェースモジュール２２６を含むことができる。表示・ユーザインタフェースモジュール２２６は、例えば、列車の運転士への情報を表示するための１つまたは複数のディスプレイ、および／または、運転士によるシステムへの入力を受信するための１つまたは複数のユーザインタフェース（例えば、キーボード、タッチスクリーンなど）を含むことができる。

いくつかの実施形態では、システム２００は、制御・認識モジュール２２８を含むことができる。制御・認識モジュール２２８は、決定支援、アラート管理、およびＢＩＴ支援を提供するように構成され得、その結果、システム２００は、撮像センサによってフレーム化された鉄道シーン画像と、信号、標識などの追加情報とに基づいて、操作状況を継続的に監視することが可能である。

ここで、図３Ａを参照すると、この図は、本発明のいくつかの実施形態に従って、長距離レールおよび物体／障害物を検出するために、列車９０に取り付けられた狭視野撮像センサ（ＮＦＳ）の狭視野３０１の概略図である。

図３Ｂも参照すると、この図は、本発明のいくつかの実施形態に従って、短距離レールおよび物体／障害物を検出するために、列車９０に取り付けられた広視野撮像センサ（ＷＦＳ）の広視野３０６の概略図である。

図１Ａに関して上述したシステム１００のように、レールおよび障害物を検出する（ＲＯＤ）ためのシステムは、十分に長い距離があるときに障害物を検出し、アラームすることが必要とすることがあり、それによって、高速で移動する列車を停止させること、または少なくとも減速させることが可能になる。こうして、追加の応答手段は、障害物を回避すること、または少なくとも損傷を最小限に抑えることが可能になり、それに応じて（運転士操作列車の）運転士が応答することが可能になる。撮像センサの用途では、これは、通常、例えば、狭視野撮像センサ（ＮＦＳ）によって提供される高解像度の光学系を必要とする。ＮＦＳは、物体および障害物を検出して、分類するために十分な解像度を提供する一方で、列車の正面軸で固定されている場合、レールが湾曲している状況において制限が課されることもある。拡張された範囲にあるレールの区間は、ＮＦＳの狭視野から外れることもある。さらに、鉄道は、多くの場合、隣接して交差する多数のレールを備えているので、その結果、ＮＦＳが移動する列車のそれぞれのレールに関して混同する可能性があり、それによって、そのレールに関連する特定の障害物（例えば、差し迫った衝突を引き起こさない隣接するレールに接近する列車）を指定するその能力を制限する。そのような状況において、広視野撮像センサ（ＷＦＳ）などの追加の撮像センサは、ＮＦＳとＷＦＳとの間で十分な範囲が重なっていると、十分に支援し得る。ＷＦＳは、それぞれのレールおよびレールマップをより短い距離でも検出し易くなり、それによって、ＷＦＳ画像フレーム内のある距離まで、そのようなレールをトレースすることが可能になる。こうして、物体／障害物を正しく検出し、指定できるように、列車のそれぞれのレールについて、どこにどれがあるかを指定するＮＦＳ画像フレームへの円滑なハンドオーバが容易になる。

図３Ａのイラスト３０１は、長距離レールおよび物体／障害物を検出するために、列車９０に取り付けられた狭視野撮像センサ（ＮＦＳ）の狭視野３０２を示す。イラスト３０３およびイラスト３０４は、２つの例示的なＮＦＳ撮像状況を示し、どのレールをそれぞれ関連付けるべきかに関する曖昧さを示している。曖昧さが典型的に生じるのは、ＮＦＳが拡張されたフレーム範囲を撮像するために、その視線（ＬＯＳ）を十分に上げなければならないので、その結果、デッドゾーン３０５（例えば、約１００〜２００ｍの範囲になり得る）が拡張されるからである。このようなデッドゾーン内で、レールの湾曲および分岐が生じることがあり、正しいレールの選択が曖昧になる可能性がある。

このような曖昧さと拡張されたデッドゾーンは、列車９０に広視野撮像センサ（ＷＦＳ）を取り付けることによって解決することができる。例えば、図３Ｂのイラスト３０６は、ＮＦＳセンサのデッドゾーン３０５よりも実質的に小さい（例えば、約数メートル小さい）デッドゾーン３０９を有するＷＦＳの広視野３０７を示す。イラスト３０８は、ＷＦＳ画像フレームを示す。この画像フレームを解析することで、このように大きくなっていく湾曲および分岐を検出することができ、それによって、ＷＦＳ内のレールを正確にトレーシングすることが可能になり、それらをＮＦＳ内で検出されたレールに関連付ける。

ここで、図３Ｃを参照すると、本発明のいくつかの実施形態に従って、列車９０に取り付けられた狭視野撮像センサ（ＮＦＳ）と広視野センサ（ＷＦＳ）とを組み合わせた狭視野と広視野の上面図３１０の例を示している。

図３Ｃおよび図３Ｄにおけるイラスト３１０およびイラスト３１２は、それぞれ、狭視野撮像センサ（ＮＦＳ）および広視野撮像センサ（ＷＦＳ）の狭視野３０２および広視野３０７を組み合わせたカバレージを示し、これによって、レール曲率半径（ＲＲＯＣ）が変化したときのレールカバレージを改善し易くなる。この特定の例は、限定するものではなく、様々なシステムの実装は、範囲、円弧角、および視野（ＦＯＶ）について異なる値を組み込むことができる。この実証的な例では、ＷＦＳのＦＯＶ（ＷＦＯＶ）は２βで与えられ、ＮＦＳのＦＯＶ（ＮＦＯＶ）は２αで与えられる。垂直軸から始まり、それぞれのＲＲＯＣでＷＦＯＶおよびＮＦＯＶ角度境界と交差する角度の円弧θは、それぞれθＷ＝２βおよびθＮ＝２αによって与えられる。円弧が交差する点は、距離Ｍと横軸からのオフセットＯを表し、ＭＷ＝ＲＲＯＣＳｉｎ２βおよびＯＷ＝ＲＲＯＣ（１−Ｃｏｓ２β）で、ＭＮ＝ＲＲＯＣＳｉｎ２αおよびＯＮ＝ＲＲＯＣ（１−Ｃｏｓ２α）である。ＷＦＳカバレージ（ＷＦＳＣ）はＷＦＳＣ＝２ＲＳｉｎβで与えられ、ＮＦＳカバレージ（ＮＦＳＣ）はＮＦＳＣ＝２ＲＳｉｎαで与えられる。

例示的なパラメータの設定は、特定の動作点について定義することができる。例えば、ＬＷＩＲのＮＦＳ画素サイズが１７μｍおよび／または１４μｍ、１２μｍ以下の場合、ＮＦＳ焦点距離が１９０ｍｍであると、１０００ｍで瞬間視野（ＩＦＯＶ）が０．０９ｍｒになり得る。この結果、画素フットプリントは約９ｃｍで、すなわち、人間の頭部直径あたり約２画素となる。結果として得られたＮＦＯＶ＝３．３°であり、１０００ｍでのＮＦＳＣでのカバレージは、５８ｍである。

別の例では、ＬＷＩＲのＷＦＳ画素サイズが１７μｍおよび／または１４μｍ、１２μｍ以下の場合、ＷＦＳの焦点距離が１９ｍｍであると、５００ｍで瞬間視野（ＩＦＯＶ）が０．９ｍｒとなる。この結果、画素フットプリントは約４５ｃｍ、すなわち、このような５００ｍの距離では約３画素レールゲージとなる。結果として得られたＷＦＯＶ＝３３°であり、５００ｍでのＷＦＳＣでのカバレージは、５９２ｍである。

上述したように、選択された垂直方向仰角では、ＮＦＳの最大画像フレーム化範囲が１０００ｍとなり、ＷＦＳの最大画像フレーム化範囲が８００ｍとなり得、結果として得られるＮＦＳのデッドゾーンは約１５７ｍになり得、その範囲で、ＮＦＳＣは約９ｍであり、ＷＦＳのデッドゾーンは約９ｍであり、その範囲でＷＦＳＣは約５ｍである。このような仰角では、ＮＦＳとＷＦＳとの間で、かなりの範囲が重なり合うことに留意されたい。

ＲＲＯＣは、以下の表１に示すように、許容可能な列車速度に密接に関連している可能性がある。
表１：ＲＲＯＣ対許容可能な列車速度

距離Ｍと横軸からのオフセットＯを表す円弧が交差する点は、以下の表２に示されるように、ＲＲＯＣに関連してもよい。
表２：ＷＦＳおよびＮＦＳセンサの距離Ｍ値とオフセットＯ値対ＲＲＯＣ

上記の説明から、長距離で十分な解像度を可能にするＬＷＩＲのＮＦＳの場合、結果として得られるＮＦＯＶは非常に小さいので、レール湾曲部の面では不十分であることに留意されたい。例えば、２００〜２５０ｋｍ／ｈで走行する列車の場合、最小ＲＲＯＣで約２０００ｍが許容され、上述のＮＦＳの場合、これは、角度カバレージから離れる前に、約１１６ｍという比較的短い距離になる。この制限を克服するためのいくつかの実施形態には、ＮＦＳパンニング作用を可能にすることを含むことができる。ＷＦＳは、それぞれのレールの一般的な角度位置を決定することができ、ＮＦＳは、例えば、外部パンニングミラーまたはＮＦＳ全体の機械的回転を介して、そこに角度的に向けることができる。

高速列車に必要な検出範囲は、指定された停止距離に応じて、広がるので、ＷＦＳ画像フレーマとＮＦＳ画像フレーマとを組み合わせて使用することが一般的に求められる。列車が減速するにつれて、例えば、市内路面電車および低速の都市列車の場合、検出範囲および停止距離が著しく小さくなるので、ＷＦＳで十分なことがある。したがって、ＷＦＳ画像フレーマとＮＦＳ画像フレーマとを組み合わせて使用することは、本発明の様々な実施形態において、モジュール式とすることができる。ＷＦＳ撮像センサ構成およびＮＦＳ撮像センサ構成は、汎用ＲＯＤＳを設計することができるようにアドオンとして設計することができ、それによって、モジュール式拡張が可能になり、こうして、様々な列車が低速および高速で移動するのをサポートする。

図３Ｄを参照すると、２つのそれぞれの広視野シーンおよび狭視野シーンを示すことで、本発明のいくつかの実施形態に従って、物体／障害物検出および衝突回避を改善するために、ＷＦＳの短距離カバレージをＮＦＳの長距離カバレージと組み合わせることの有用性を示している。

画像フレーム３１２は、ＷＦＳの湾曲しているレールの例を示し、フレーム３１４は、破線の長方形によって輪郭が描かれたＮＦＳのシーンである。画像フレーム構造が複数のレールに隣接し、それらの間にあるので、ＮＦＳのみを使用する場合、正しいレールを選択することは非常に困難である。さらに、ＮＦＳでは、接近（または静止）している列車が観察されるが、その列車が隣接するレールを使用するが、安全である場合なのか、あるいは、その同じレールを使用することで、差し迫った衝突になる場合なのかは不明である。フレーム３１６は、直線レールを備えた別のＷＦＳシーンであるが、フレーム３１８に描かれるように、レール領域が乱雑で、列車のための正しいレールを決定することが困難である。

ここで、図４Ａを参照すると、種々のレール分岐、スリップおよび轍叉の例が示されている。イラスト４０１、４０２、４０３、４０４、４０５、および４０６は、そのような事態の画像の複雑さを示しているが、衝突回避用前方監視車載システム（図１Ａに関して上述したシステム１００、または図２に関して上述したシステム２００など）は、列車がそのような分岐、スリップ、および轍叉を越えて移動するそれぞれのレール（経路）を自動的に決定することができなければならない。いくつかの実施形態によれば、本明細書で開示されるシステムおよび方法は、そのようなインスタンスを自動的に決定することができる。

ここで、図４Ｂを参照すると、前方監視車載撮像センサ（例えば、図１Ａに関して上述した撮像センサ１１０）によってフレーム化された画像として、レールスイッチ分岐４１０の一例と、そのスイッチを超える列車のオプションの経路を決定する軌道４２０（太い破線）の概略部分を示している。矢印４２０ａはスイッチの開いている側を指し、矢印４２０ｂはスイッチの閉じている側を指している。これにより、スイッチ状態が決定され、このスイッチから列車を正しい軌道に導く。このようなスイッチ状態の判定は、本発明のいくつかの実施形態による重要な要素である。いくつかの実施形態によれば、本明細書に開示されるシステムおよび方法は、経時的に状態が変化し得るスイッチの存在下で、正しい列車経路を決定することが、列車がスイッチに近づいたときでさえ、可能である。

ここで、図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄを参照すると、これらの図は、本発明のいくつかの実施形態に従って、列車の現鉄道経路を識別するために、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）５００を訓練し、推論するための様々なアプローチの概略図である。

ＲＳＳＤ ＮＮ５００は、図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄに関して以下に説明するように、図１Ａに関して上述したように、システム１００のＲＳＳＤモジュール１２０のＲＳＳＤ ＮＮ１２４と同様であってもよい。入力画像フレーム５０２、５１２、５２２および５３２は、例えば、図１Ａに関して上述したように、システム１００の撮像センサ１１０によって取得することができる。

図５Ａは、本発明のいくつかの実施形態に従って、入力画像フレーム５０２の単純なアプローチ（またはプロセス）５０１と、列車の現鉄道経路５０４ａを示すそのセグメント化マスク予測５０４を示す。ＲＳＳＤ ＮＮ５００の訓練フェーズ中に、セグメント化マスク予測５０４は、例えば、人間制御のセグメント化／注釈プロセスによってオフラインで決定されてもよい。したがって、ニューラルネットワークＲＳＳＤ ＮＮ５００は、その推論ステージ中に、入力画像フレーム５０２に基づいて、列車の現鉄道経路５０４ａを識別するセグメント化マスク予測５０４を生成するように訓練されてもよい。

ＲＳＳＤ ＮＮ５００を訓練し、推論するためのアプローチ５０１の１つの欠点は、各画像フレームが別々にかつ独立してセグメント化されるので、画像フレームシーケンスのアクセスおよび処理のコンテキストが活用されないことであり得る。別の欠点は、列車がスイッチを通過し、２つのレール（経路および分岐部）が画像フレームの最下部（例えば、最小画像フレーム距離）に現れるとき、分岐部から経路を区別するための解決できない曖昧さがあることである。別の欠点は、スイッチ位置が何らかの方法で検出またはマークされないことである。

図５Ｂは、履歴要素がＲＳＳＤ ＮＮ５００に組み込まれている簡略化アプローチ（またはプロセス）５１０を示す。アプローチ５１０は、所望の経路にあるレールのために、入力画像フレーム５１２の最下部（および／または最上部）にグラフィックマーク５１４（例えば、履歴要素）を、イラスト５１２’にマークされた入力画像フレーム５１２の最下部／最上部の行のそれぞれの位置で追加するステップを含むことができる。

アプローチ５１０の利点は、正しい経路をセグメント化するために、スイッチを横切るときに追加情報を提供することであり得る。アプローチ５１０の一つの欠点は、グラフィックマークによって入力画像フレーム５１２のサイズが拡大すること、あるいはニューラルネットワークへの入力において入力画像フレーム５１２のサイズ変更を強制することであり、その結果、例えば、補間をするために、いくつかの画像フレーム情報を失うことであり得る。アプローチ５１０の別の欠点は、使用される唯一の情報が画像フレームの最下部／最上部の行であることであり得る。それによって、フレームからフレームへと発展する履歴のコンテキストにおいて、他の全ての画像フレーム情報が無視され、さらに、スイッチ位置も、いかなる方法でも検出されることも、あるいはマークされることもない。

図５Ｃは、履歴要素がＲＳＳＤ ＮＮ５００に組み込まれている改善アプローチ（またはプロセス）５２０を示す。アプローチ５２０は、現在の入力画像フレーム５２４と、現在の画像フレーム５２４（例えば、履歴要素）に先行する画像フレームのセグメント化マスク予測５２６とを含む入力データ構造５２２を生成するステップと、ＲＳＳＤ ＮＮ５００への入力として入力データ構造５２２を提供するステップとを含み得る。

アプローチ５２０の一つの利点は、スイッチ交差の問題が解決されることであり得る。別の利点は、履歴セグメント化マスク層が画像フレームシーケンスコンテキストを利用することを含み得る。その理由は、以前に処理された順序付けられた画像フレームから漸進的に導出される最新および／または予測された以前のセグメント化結果を含むとともに、画像フレーム化されたシーンの検出された経路全体を利用するからである。別の利点は、元の画像フレームサイズ（例えば、高さおよび幅）が維持されることであり得る。アプローチ５２０の別の利点は、ＲＳＳＤ ＮＮ５００のランタイムにほとんど影響を及ぼし得ないこと（例えば、入力データ構造当たり２０ｍｓのランタイムに、約０．５ｍｓ以下が追加されるだけ）を含み得る。

図５Ｄは、履歴要素がＲＳＳＤ ＮＮ５００に組み込まれているさらなる改善アプローチ５３０を示す。アプローチ５３０は、現在の入力画像フレーム５３４と、現在の画像フレーム５３２に先行する画像フレームのセグメント化マスク予測５３６（例えば、履歴要素）とを含む入力データ構造５３２を生成するステップと、入力データ構造５３２をＲＳＳＤ ＮＮ５００への入力として提供するステップを含み得る。先行する画像フレームのセグメント化マスク予測５３６（例えば、履歴要素）は、列車の現鉄道経路５３６ａと、その経路に沿って現れるスイッチからの追加の分岐部５３６ｂとを含み得る。

アプローチ５３０（例えば、ニューラルネットワーク５００にサボテンマスク履歴を組み込むことの一つの利点は、スイッチ交差の問題が解決されることである。別の利点は、履歴セグメント化マスク層が画像フレームシーケンスコンテキストを利用することであり得る。その理由は、以前に処理された順序付けられた画像フレームから漸進的に導出される最新の以前のセグメント化結果を含むとともに、画像フレーム化されたシーンの検出された経路全体を利用するからである。別の利点は、元の画像フレームサイズ（高さおよび幅）が維持されることであり得る。別の利点は、スイッチ検出が、選択された経路の異なるラベルと観察された分岐部に隣接する経路に沿って画素を位置させることによって達成されることであり得る。アプローチ５３０は、列車の主要な駆動機能に基本であるスイッチ位置と、そのそれぞれのスイッチ状態との組み合わせた情報を提供し得る。アプローチ５３０の別の利点は、ＲＳＳＤ ＮＮ５００のランタイムにほとんど影響を及ぼし得ないこと（例えば、入力データ構造当たり２０ｍｓのランタイムに、約０．５ｍｓ以下が追加されるだけ）を含み得る。

基本的な鉄道スイッチは、ポイント（スイッチレールまたはポイントブレード）として知られる一対のリンクされたテーパレールからなり、例えば、図４Ｂに示すように、分岐する外側レール（ストックレール）の間に横たわる。これらのポイントを２つの位置のいずれかに横方向に移動して、ポイントブレードから来る列車を直線経路または分岐経路に向けることができる。狭い端部からポイントブレードに向かって移動する列車（例えば、ポイントの位置に応じて２つの経路のうちのいずれかに向けられる）は、ポイント向き移動を実行していると言われる。列車運転士は、運転中に前方を見て、来るべきスイッチの位置を視覚的に検出し、列車が最終的にスイッチに近づくにつれて、スイッチのポイントブレードの相対的な位置によって、スイッチの状態を視覚的に判断することもできる。ストックレールに対するポイントブレードの相対位置によって、現列車経路が決定する。

経路、スイッチ位置、スイッチ状態および分岐を組み合わせた情報は、全て、前方のレール配置の履歴要素（例えば、図５Ｄに関して上述したようなセグメント化マスク予測５３６）の中に表されてもよく、一方、リアルタイムシーン画像フレームは、ストックレールおよびスイッチのポイントブレード（例えば、図５Ｄに関して上述したような入力画像フレーム５３４）の更新された視覚情報を提供する。これらが一緒になって、全ての必要な情報を提供するので、ＲＳＳＤ ＮＮ５００が推論する中で、正確で正しい経路を取得できる。列車が前方に進むにつれて、実際のレールの物理的レイアウトで変化が予測されるのは、スイッチ状態だけである。撮像センサがスイッチを実際に視覚化し、それらのスイッチに接近し、通過する間に、スイッチ状態が変化しない限り、ＲＳＳＤ ＮＮ５００データブロック供給における履歴要素の使用は、列車の現鉄道経路を決定するのに十分である。

列車がスイッチに近づいている間に、あるいはスイッチを通過している間に、（例えば、自動または手動で）スイッチ状態を変更すると、前のスイッチ状態を参照する履歴要素（例えば、図５Ｃに関して上述したようなセグメント化マスク予測５２６または図５Ｄに関して上述したようなセグメント化マスク予測５３６）は、スイッチの新しい状態と新しいセグメント化マスク予測と断続的に矛盾する。いくつかの実施形態によれば、ＲＳＳＤ ＮＮ５００は、このようなスイッチ状態の変化に履歴要素を適応させることができるように訓練され得る。

以下の説明は、本発明のいくつかの実施形態に従って、ＲＳＳＤ ＮＮ５００への入力として履歴要素を組み込むときに考慮されるべきいくつかの考慮事項を提供する。

第一に、履歴要素（例えば、それぞれ図５Ｃ、図５Ｄに関して上述したような以前のセグメント化マスク予測５２６、５３６）に過度に依存する危険性があり得る。ＲＳＳＤ ＮＮ５００は、履歴要素を所望の結果として解釈することがあり、それによって、リアルタイム画像フレーム入力層（例えば、図５Ｃ、図５Ｄに関してそれぞれ上述したような入力画像フレーム５２２、５３２）を無視することがある。この問題を解決するために、本発明のいくつかの実施形態に従って、ＲＳＳＤ ＮＮ５００の訓練ステージ中に、（例えば、他の画像フレーム増強とは独立して）履歴要素の様々な多数の増強／更新を使用することができる。以下の表３は、システムが列車に取り付けられ、その上で動作するとき、そのシステムの異なる状態をシミュレートする履歴要素で考えられる増強／更新を提供する。
表３：列車に取り付けられたシステムの異なる状態をシミュレートする履歴要素で考えられる増強

いくつかの実施形態によれば、履歴要素の増強／更新は、履歴要素のみで提供される情報が、ＲＳＳＤ ＮＮ５００が正しい経路と同一の出力を生成するのに十分ではないように設計されるべきである。これによって、ＲＳＳＤ ＮＮ５００は、リアルタイムで更新されたシーン画像フレームに与えられた情報を強制的に無視しないようにすることができる。

第二に、履歴要素は、前方監視カメラによって画像フレーム化されている間に、スイッチ状態（およびその後の経路）が変化する場合に判断を誤る可能性がある。これは、例えば、レールスイッチが（例えば、手動または自動で）変化し、実際の経路および所望の結果を変化させ、その変化が撮像センサおよびシステム／方法に（例えば、リアルタイムで）見えるときに起こり得る。

いくつかの実施形態によれば、例えば、ＲＳＳＤ ＮＮ５００の訓練フェーズ中に、履歴要素を断続的に（例えば、Ｔ期間に１回毎に、例えば、５０〜２００フレーム毎に）増強／更新することにより、これらの問題を解決することができる。

いくつかの実施形態によれば、履歴要素の増強／更新は、履歴要素を完全に削除すること（例えば、セグメント化マスクをゼロにすること）を含むことができる。この場合、ＲＳＳＤ ＮＮ５００は、履歴に追加情報が与えられていない入力画像フレームのみに基づいて決定を行い、履歴フローの人為的な再開を作成することがある。この実施形態は、以前に履歴要素層にコンパイルされた全ての情報を無視し、システムの電源投入時のように新たな開始を強制することができる。この実施形態は、カメラ視野内でスイッチの変化が生じない用途またはインスタンスで、あるいは列車がスイッチを通過する場合に、十分であり得る。

いくつかの実施形態によれば、履歴要素の増強／更新は、履歴要素を部分的に削除することを含むことができる。例えば、履歴要素マスクの上部ｘ％は、完全に削除されるか、または注釈の中で使用されない特別なラベルに置き換えられる（例えば、訓練フェーズの間に）。

いくつかの実施形態では、Ｔ期間（約５０〜２００フレーム）毎に、履歴要素の最上部からｘ％（例えば、７５％）だけゼロにして、それによって、情報を保持している履歴要素を（１００−ｘ）％残す。これにより、ＲＳＳＤ ＮＮ５００が所望の経路位置の指定を維持する機能を維持することもあるが、可視スイッチが変更された場合は影響を受けない。なぜなら、これは、一般に、移動する列車から十分に離れた画像フレームの上部で生じ得るからである。しかしながら、これにより、履歴情報が大幅に失われ、近づいているスイッチの近くで経路指定が遅くなったり、遅れたりする可能性がある。

いくつかの実施形態では、履歴要素の増強／更新は、注釈プロセスで使用されない特別なラベルを伴って、履歴要素マスク（例えば、経路および分岐を含むレールラベルを含む）の上部ｘ％の置換を含むことができる。この場合、履歴要素の部分のための特別なラベルは、レールの形状および位置の情報が保持されるが、レール経路とレール分岐との間の区別が無視されるように使用することもできる。これによって、レールの形状および位置の指定を容易にし、促進にしながら、更新された入力画像フレームのみに基づいて、シーン内のレールをレール経路またはレール分岐として指定する方法を強制することができる。

ＲＳＳＤ ＮＮ５００を訓練するときに使用される訓練セットにおいて、上述の履歴要素の増補／更新には、ＲＳＳＤ ＮＮ５００がこれらの場合も学習することができるように、顕著な表現を与えることができる。履歴要素の増強／更新は、例えば、ニューラルネットワークをそのような増強された状況に慣れさせるために、ＲＳＳＤ ＮＮ５００の訓練フェーズにおいて重要であり得、それによって、そのような偏差および変化量に対する結果の改善されたロバスト性が得られる。

いくつかの実施形態では、履歴要素は、「ｔ−１」セグメント化マスクと「ｔ−２」セグメント化マスクとの間の時間差を含み、それによって、経時的に変化する履歴要素の追跡および補償を改善してもよい。

いくつかの実施形態では、履歴要素は、現在の離散一定値ではなく連続値を含むことができ、ソフト値パレットは、それぞれのラベルの保証または信頼レベル、および撮像センサからのそれぞれの範囲に応じて、様々なマスク重みを提供する際に使用することができる。

いくつかの実施形態では、ニューラルネットワークのための改善された訓練セットを使用することができ、このセットは、約８０％の実画像フレームおよび約２０％の誤画像／人工画像フレームの構成を含むことができる。これらの画像フレームは、約８０％の部分が正しいスイッチ状態を有し、約２０％の部分が反対のスイッチ状態を有するスイッチで使用することができる。

いくつかの実施形態では、履歴要素は、ニューラルネットワークの入力層ではなく、ニューラルネットワーク内の別の位置に挿入されてもよい。例えば、履歴要素は、そのａｒｇｍａｘの最後の層の前のニューラルネットワーク内の任意の位置に挿入することができる。

いくつかの実施形態では、入力画像フレームの注釈に少なくとも１つの「無視領域」を追加することができる。鉄道シーンの典型的な画像フレームは、有効なラベルである背景の大きな領域を有するので、訓練プロセスにおける損失計算の大部分は、背景上で行われ、非常に容易である。したがって、それが供給する損失情報は正しいが、達成された検出能力を反映しない。「無視領域」は、損失計算が無視される領域である。好ましい実施態様では、無視ラベルで背景のランダム領域を指定することにより、関心領域のよりバランスのとれた損失計算が提供される。

いくつかの実施形態では、ＲＳＳＤ ＮＮ５００の訓練フェーズ中に、画像フレーム領域または撮像センサからの画素の範囲によって、画像フレームにわたって計算された損失の重み付けが使用され、それゆえ、より長い距離のシーン物体により高い重み付けで提供する。それによって、自然に小さくて、より微細な、より遠くのレールセグメントに沿った性能が改善する。

ここで、図６Ａを参照すると、スイッチの通過後に続くレールシーン６０２が示されている。ニューラルネットワークによるセグメント化プロセスに履歴要素を組み込まないと（例えば、図５Ｂ、図５Ｃ、および図５Ｄに関して上述したように）、列車が移動している正しい経路を迅速に決定することは困難であることに留意されたい。

図６Ｂは、列車経路６０６のグラフィカルマスク６０５と、それぞれの分岐６０８を有する２つの差し迫ったスイッチとを含む、例示的な鉄道シーン６０４を示す。グラフィカルマスク６０５は、まず、ニューラルネットワークの訓練フェーズにおいて、注釈付けされ、同様のグラフィカルマスクが、（例えば、図５Ｃおよび図５Ｄに関して上述したように）ニューラルネットワークの推論フェーズにおいて後に生成され得ることに留意されたい。

ここで、本発明のいくつかの実施形態に従って、レール・障害物検出（ＲＳＳＤ ＮＮ）ニューラルネットワークのオフライン訓練フェーズのフローチャート７００ａ、７００ｂ、７７０ｃである図７Ａ、図７Ｂ、および図７Ｃを参照する。

図７Ａは、ＲＳＳＤ ＮＮ７０４のオフライン訓練フェーズのフローチャート７００ａを示す。まず、入力データ構造７０２を生成することができる。入力データ構造７０２は、現在の入力画像フレーム７０２ａおよび履歴要素７０２ｂを含むことができる。現在の入力画像フレーム７０２ａは、撮像センサ（例えば、図１Ａに関して上述した撮像センサ１１０など）によって得ることができる。履歴要素７０２ｂは、現在の画像フレーム７０２ａに先行する画像フレームを決定したセグメント化マスク予測を含むことができる。例えば、履歴要素７０２ｂのセグメント化マスク予測は、図５Ｄに関して上述したセグメント化マスク予測５３６のようなものであってもよく、列車の現鉄道経路と、現鉄道経路に沿って現れるスイッチからの追加の分岐を含むことができる。

次に、入力データ構造７０２をＲＳＳＤ ＮＮ７０４に供給することができる。ＲＳＳＤ ＮＮ７０４は、例えば、図１Ａに関して上述したようなシステム１００のＲＳＳＤモジュール１２０のＲＳＳＤ ＮＮ１２２と同様であっても、あるいは図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄに関して上述したようなＲＳＳＤ ＮＮ５００と同様であってもよい。ＲＳＳＤ ＮＮ７０４は、入力データ構造７０２に基づいて、現在の入力画像フレーム７０２ａのセグメント化マスク予測７０６を決定することができる。

現在の入力画像フレーム７０２ａのセグメント化マスク予測７０６は、少なくとも１つの注釈付きセグメント化マスク７１０と比較すること７０８ができる。更新されたセグメント化マスク予測７１２は、現在の入力画像フレーム７０２ａのセグメント化マスク予測７０６と注釈付きセグメント化マスク７１０との比較７０８に基づいて決定され得る。更新されたセグメント化マスク予測７１２は、新たな履歴要素７０２ｂとして新たな入力データ構造７０２にさらに組み合わされてもよく、これは、さらにＲＳＳＤ ＮＮ７０４に供給されてもよい。

フローチャート７００ａに記載されるプロセスは、（例えば、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、および表３に関して上述したように）典型的で極端で増強された／更新された鉄道シーンの画像フレームデータベースのコンパイルに基づくことができる。手動および／またはコンピュータ化による注釈がデータベース画像フレームに適用されてもよく、それぞれのマルチラベルマスクが生成されてもよい（例えば、背景、訓練によって追跡される現鉄道経路、およびそれぞれのスイッチによって選択されない分岐経路を含む３つのラベル）。

いくつかの実施形態では、履歴要素７０２ｂは、現在の入力画像フレーム７０２ａの注釈付きセグメント化マスクを使用して、現在の入力画像フレーム７０２ａの最高で８画像フレーム前までシミュレートすることができる。これによって、例えば、異なる列車速度のシミュレーションが可能になる。

様々な実施形態では、例えば、データベースを拡大するために、入力画像フレーム７０２ａおよび／または注釈付きマスク７１０を増強／更新して、コンパイルされた訓練データベースで発生しなかった可能性のある以前の画像フレームの予測をシミュレートすることができる。

いくつかの実施形態では、現在の入力画像フレーム７０２ａのセグメント化マスク予測７０６も、増強／更新することができる。セグメント化マスク予測７０６の増強／更新は、例えば、各Ｔの画像フレーム（例えば、各５０〜２００の画像フレーム）で実行されてもよい。例えば、図７Ｂは、各Ｔのセグメント化マスク予測７０６（例えば、Ｔ＝５〜２００の画像フレーム）が増強／更新７１６されて増強／更新されたセグメント化マスク予測７１８を生成し、その後、新たな履歴要素７０２ｂとして新しい入力データ構造７０２に供給され得るフローチャート７００ｂを示す。増強／更新プロセスの様々な例は、図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄ、ならびに表３に関して上述されている。

図７Ｃは、ニューラルネットワーク（例えば、図７Ａおよび７Ｂに関して上述したＲＳＳＤ ＮＮ７０４）のオフライン訓練フェーズの一般的なステージのフローチャート７００ｃを示す。

ステージ７２０において、入力データ構造は、現在の入力画像フレームと、先行する画像フレームについて決定されたセグメント化マスク予測（例えば、図７Ａおよび図７Ｂに関して上述した入力データ構造７０２など）とを組み合わせることによって定義され得る。

ステージ７２２において、ニューラルネットワーク（例えば、図７Ａおよび図７Ｂに関して上述したＲＳＳＤ ＮＮ７０４）の構成（例えば、セグネットおよび／または任意の他のもの）を定義することができる。

ステージ７２４において、ニューラルネットワークは、現在の画像フレームのセグメント化マスク予測（例えば、図７Ａおよび図７Ｂに関して上述したセグメント化マスク予測７０６）を生成するように起動されてもよい。ニューラルネットワークの活性化は、例えば、現在の入力画像フレームにおいて中心レールの近傍に関心領域（ＲＯＩ）を定義するステップと、指定された数の画素だけエッジから画像フレームを切り抜くステップと、切る抜かれた画像フレームをニューラルネットワーク入力サイズにサイズ変更するステップと、ニューラルネットワークを１つの画像フレームにさらすステップと、そして、最後に、ニューラルネットワークを起動して現在の画像フレームのセグメント化マスク予測を決定するステップとを含むことができる。

ステージ７２６において、現在の画像フレームのセグメント化マスク予測は、少なくとも１つの注釈付きマスク（例えば、図７Ａに関して上述した注釈付きマスク７１０）と比較され得る。

ステージ７２８において、現在の画像フレームのセグメント化マスク予測と注釈付きマスクとの間の比較に基づいて、ニューラルネットワークのフィードバックを実行することができる。

ステージ７３０において、これまでのニューラルネットワークの最良の構成が、そのフィードバックに基づいて選択され得る。

ステージ７３２において、プロセス７００ｃは、ステージ７２０に戻り、所定の繰り返し回数に達していない場合、撮像センサから受信した新しい現在の画像フレームを用いてステージ７２０〜７３０を繰り返すことができ、そうでない場合、プロセス７００ｃを停止することができる。

ここで、図８を参照すると、本発明のいくつかの実施形態に従って、レール・障害物検出（ＲＳＳＤ ＮＮ）ニューラルネットワークの前方推論プロセスのフローチャート８００である。

まず、撮像センサによって取得された現在の入力画像フレーム８０２を、現在の画像フレーム８０２に先行する画像フレーム（例えば、履歴要素）について決定されたセグメント化マスク予測８０４と組み合わせて８０１、入力データ構造８０６を生成することができる。例えば、撮像センサは、図１Ａに関して上述した撮像センサ１１０のようなものであってもよい。

入力データ構造８０６は、入力データ構造８０６に基づいて、現在の入力画像フレーム８０２のセグメント化マスク予測８０４を決定し得るＲＳＳＤ ＮＮ８１０に供給され得る。例えば、ＲＳＳＤ ＮＮ８１０は、図１Ａに関して上述したＲＳＳＤ ＮＮ１２２、図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄに関して上述したＲＳＳＤ ＮＮ５００、および／または図７Ａ、図７Ｂ、および図７Ｃに関して上述したＲＳＳＤ ＮＮ７０４と同様であってもよい。

現在の入力画像フレーム８０２のセグメント化マスク予測８０４は、列車の運転士に表示すること８１４ができる。現在の入力画像フレーム８０２のセグメント化マスク予測８０４は、ＲＳＳＤ ＮＮ８１０に供給されるべき新たな入力データ要素８０６を準備するために、新たな履歴要素として新たな現在の入力画像フレーム８０２とさらに組み合わせること８０１がある。

ここで、図９を参照すると、本発明のいくつかの実施形態に従って、レールおよび物体検出用システム９００の第一の特定の実装の概略ブロック図である。

いくつかの実施形態によれば、システム９００は、図１Ａに関して上述したレールおよび物体検出用システム１００と同様であってもよい。システム９００は、視覚帯域撮像（ＶＩＳ）センサ９０１および熱赤外線（ＴＩＲ）センサ９０２を含むことができる。ＶＩＳセンサ９０１およびＴＩＲセンサ９０２は、図１Ａに関して上述した撮像センサ１１０と同様であってもよい。ＶＩＳセンサ９０１およびＴＩＲセンサ９０２は、センサが列車の進行方向を向くように、前方監視構成で列車に取り付けることができる。システム９００は、ＴＩＲセンサ９０２からの画像フレームに適用され得るダイナミックレンジ圧縮モジュール（ＤＲＣ）を含んでもよい。

ＶＩＳセンサ９０１からの画像フレームは、レール・スイッチ状態検出ニューラルネットワーク９０５（例えば、図９においてＲＳＳＤ−ＶＩＳ ＮＮ９０５として示される）に供給されてもよい。ＲＳＳＤ−ＶＩＳ ＮＮ９０５は、図１Ａ、図５Ａ〜図５Ｄ、図７Ａ〜図７Ｃ、および図８に関してそれぞれ上述したように、ＲＳＳＤ ＮＮ１２２、ＲＳＳＤ ＮＮ５００、ＲＳＳＤ ＮＮ７０４、またはＲＳＳＤ ＮＮ８１０と同様であってもよい。ＲＳＳＤ−ＶＩＳ ＮＮ９０５は、（例えば、図１Ａに関して上述したように）ＶＩＳセンサ９０２によって得られた画像フレームの少なくともいくつかに基づいて、列車のセグメント化マスク予測および現鉄道経路を決定するように構成されてもよい。ＶＩＳセンサ９０１は、日中の時間と光が弱い夜間の時間との両方において敏感であり得る。こうして、典型的には夜間に点灯し、継続的に操作されるシステム９００の操車場での操作も、幹線での操作も可能になる。

システム９００は、物体・障害物検出・追跡（ＯＯＤＴ）モジュール９１０を含むことができる。ＯＯＤＴモジュール９１０は、図１Ａに関して上述したＯＯＤＴモジュール１３０と同様であってもよい。ＯＯＤＴモジュール９１０は、ＶＩＳセンサ９０１およびＴＩＲセンサ９０２から受信した画像フレームの少なくともいくつかに基づいて、物体および障害物を検出し、追跡するように構成することができる。

ＯＯＤＴモジュール９１０は、ＶＩＳセンサ９０１によって取得された画像フレームのためのＯＯＤＴニューラルネットワーク９１２（例えば、図９においてＯＯＤＴ−ＶＩＳ ＮＮ９１２として示される）、ＴＩＲセンサ９０２によって取得された画像フレームのためのＯＯＤＴニューラルネットワーク９１４（例えば、図９ＡにおいてＯＯＤＴ−ＴＩＲ ＮＮ９１４として示される）、ＴＩＲセンサ９０１に基づく物体検出のＢＢをＶＩＳセンサ９０１座標上に投影する境界ボックス（ＢＢ）座標投影モジュール９１６（例えば、図９ＡにおいてＢＢ投影９１６として示される）のうちの少なくとも１つを含むことができる。その結果、これらのＢＢは、物体検出非最大サスペンション検出モジュール９１８（例えば、図９ＡにおいてＯＤ−ＮＭＳ９１８として示される）によってＶＩＳ画像フレーム座標において関連付けられ、その後、時空間トラッカモジュール９１９に供給される。

ＯＯＤＴモジュール９１０は、ＲＳＳＤ−ＶＩＳ ＮＮ９０５からセグメント化マスク予測を受信することができる（例えば、ＯＯＤＴＣモジュール９１０によって進行中の各現在の入力画像フレームについて、現在の入力画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を供給することができる）トラッカモジュール９１９を含むことができ、その結果、トラッカパラメータおよびスコアリングを、ＲＳＳＤ−ＶＩＳ ＮＮ９０５によって決定され、検出された現鉄道経路または分岐に対する物体座標の関数として実行することができる。

システム９００は、決定された現鉄道経路および分岐に関連して追跡された物体のアラートレベルを決定するためのアラートマネージャモジュール９２０と、それぞれの境界ボックスに対するレールベースの計算された範囲を含むことができ、それによって、必要とされる減速および予測される衝撃時間などの計算も含め、列車の停止または減速戦略の応答時間を決定する。システム９００は、関心領域（ＲＯＩ）マネージャモジュール９２２を含むことができ、そのようなＲＯＩを、ＲＤＳＳ−ＶＩＳ ＮＮ９０５と、ＯＤＮＮ−ＶＩＳ ＮＮ９１２と、ＯＤＮＮ−ＴＩＲ ＮＮ９１４のために制御する。

ここで、図１０を参照すると、本発明のいくつかの実施形態に従って、レールおよび物体を検出するためのシステム１０００の第二の特定の実装の概略ブロック図である。

いくつかの実施形態によれば、システム１０００は、図１Ａに関して上述したレールおよび物体を検出するためのシステム１００と同様であってもよい。システム１０００は、視覚帯域撮像（ＶＩＳ）センサ１００１および熱赤外線（ＴＩＲ）センサ１００２を含むことができる。ＶＩＳセンサ１００１およびＴＩＲセンサ１００２は、図１Ａに関して上述した撮像センサ１１０と同様であってもよい。ＶＩＳセンサ１００１およびＴＩＲセンサ１００２は、センサが列車の進行方向を向くように、前方監視構成で列車に取り付けることができる。システム１０００は、ＴＩＲセンサ１００２からの画像フレームに適用され得るダイナミックレンジ圧縮モジュール（ＤＲＣ）１００３を含んでもよい。

システム１０００は、画像フレーム融合モジュール１００４を含むことができ、その中に、ＶＩＳセンサ１００１からの画像フレームおよびＴＩＲセンサ１００２からの画像フレームが供給され得る。画像フレーム融合モジュール１００４は、ＶＩＳセンサ１００１からの画像フレームと、ＴＩＲセンサ１００２からの画像フレームとを融合して融合画像フレームを生成し、その後、融合画像フレームをレール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ融合ＮＮ）１００５に供給することができる。ＲＳＳＤ融合ＮＮ１００５は、図１Ａ、図５Ａ〜図５Ｄ、図７Ａ〜図７Ｃ、図８、および図９に関してそれぞれ上述したように、ＲＳＳＤ ＮＮ１２２、ＲＳＳＤ ＮＮ５００、ＲＳＳＤ ＮＮ７０４、ＲＳＳＤ ＮＮ８１０、またはＲＳＳＤ−ＶＩＳ ＮＮ９０５と同様であってもよい。ＲＳＳＤ融合ＮＮ１００５は、（例えば、図１Ａに関して上述されたように）融合画像フレームの少なくともいくつかに基づいて、セグメント化マスク予測および列車の現鉄道経路を決定するように構成されてもよい。

システム１０００は、物体・障害物検出・追跡（ＯＯＤＴ）モジュール１０１０を含むことができる。ＯＯＤＴモジュール１０１０は、図１Ａに関して上述したＯＯＤＴモジュール１３０と同様であってもよい。ＯＯＤＴモジュール１０１０は、ＶＩＳセンサ１００１およびＴＩＲセンサ１００２から受信した画像フレームの少なくともいくつかに基づいて、物体および障害物を検出し、追跡するように構成することができる。

ＯＯＤＴモジュール１００１は、ＶＩＳセンサ１００１によって取得された画像フレームのためのＯＯＤＴニューラルネットワーク１０１１（例えば、図１０においてＯＯＤＴ−ＶＩＳ ＮＮ１０１１として示される）、ＴＩＲセンサ１００２）によって取得された画像フレームのためのＯＯＤＴニューラルネットワーク１０１２（例えば、図１０においてＯＯＤＴ−ＴＩＲ ＮＮ１０１２として示される）、ＶＩＳセンサ１００１に基づく物体検出のＢＢをＴＩＲセンサ１００２座標上に投影する境界ボックス（ＢＢ）座標投影モジュール１０１３（例えば、図１０においてＢＢ投影１０１３として示される）のうちの少なくとも１つを含むことができる。その結果、これらのＢＢは、物体検出非最大サスペンション検出モジュール１０１４（例えば、図９ＡにおいてＯＤ−ＮＭＳ９１８として示される）によってＴＩＲ画像フレーム座標において関連付けられ、その後、時空間トラッカモジュール９１９に供給される。

ＯＯＤＴモジュール１０１０は、ＲＳＳＤ融合ＮＮ１００５からセグメント化マスク予測を受信することができる（例えば、ＯＯＤＴＣモジュール１０１０によって進行中の各現在の入力画像フレームについて、現在の入力画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を供給することができる）トラッカモジュール１０１５を含むことができ、その結果、トラッカパラメータおよびスコアリングを、ＲＳＳＤ融合ＮＮ１００５によって決定され、検出された現鉄道経路または分岐に対する物体座標の関数として実行することができる。

システム１０００は、決定された現鉄道経路および分岐に関連して追跡された物体のアラートレベルを決定するためのアラートマネージャモジュール１０２０と、それぞれの境界ボックスに対するレールベースの計算された範囲を含むことができ、それによって、必要とされる減速および予測される衝撃時間などの計算も含め、列車の停止または減速戦略の応答時間を決定する。システム１０００は、関心領域（ＲＯＩ）マネージャモジュール１０３０を含むことができ、ＲＤＳＳ融合ＮＮ１００５と、ＯＤＮＮ−ＶＩＳ ＮＮ１０１１と、ＯＤＮＮ−ＴＩＲ ＮＮ１０１２のために、そのようなＲＯＩを制御する。

ここで、図１１を参照すると、本発明のいくつかの実施形態に従って、ＶＩＳ撮像センサからの画像フレームに適用される物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）の２つの実装の例が示されている。

イラスト１１１０は、ＯＯＤＴ ＮＮ（例えば、図９および図１０に関して上述したＯＯＤＴ−ＶＩＳまたはＯＯＤＴ−ＴＩＲ）による（例えば、拡張された能力および複雑さを有する）大きな単一関心領域（ＲＯＩ）の結果を示す。ＯＯＤＴ ＮＮは、ＲＯＩをＯＯＤＴ ＮＮサイズにサイズ変更するので、より大きな物体（例えば、機関車）を検出することができるが、より長い距離でより小さな物体（例えば、人間）を検出することができない。

代替として、イラスト１１２０は、（さほど複雑でない）２つの別個のＲＯＩを有するＯＯＤＴ ＮＮの結果を示している。より大きなＲＯＩは、より短い範囲（例えば、より大きな物体）の検出を支援するので、サイズ変更制限に対する感度が低くなり、より小さなＲＯＩは、その寸法によりサイズ変更が不要であるため、より広い範囲が支援される。こうして、より小さなもの（例えば、人間である物体）が検出される。この実装では、ＲＳＳＤ ＮＮ（例えば、それぞれ図９および図１０に関して上述したＲＳＳＤ−ＶＩＳ ＮＮまたはＲＳＳＤ融合ＮＮなど）によって決定される現鉄道経路（湾曲したレールにおいてさえ）を中心に置いたままにするために、より小さなＲＯＩ座標を追加で制御する必要がある。その理由は、安全ゾーンの近傍またはその内部にある物体および潜在的障害物に特に関心があるからである。拡張された範囲でも小さな物体の検出が改善されることに加えて、そのようなさほど複雑でない複数のＯＯＤＴ ＮＮを並列に実装することができるので、例えば、マルチスレッド化することで、処理が著しく加速する。

ここで、図１２を参照すると、本発明のいくつかの実施形態に従って、画像フレームの関心領域（ＲＯＩ）内に適用される物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）のためのプロセス１２００のフローチャートである。

いくつかの実施形態によれば、ＯＯＤＴ ＮＮ１２０４は、入力画像フレームのＲＯＩ１２０２内で適用され、境界ボックス１２０６を生成し、低信頼度閾値１２０８を適用し、次いで、Ｓｅｑ−ＮＭＳアルゴリズム１２１０を適用することができる。このアルゴリズムは、いくつかの画像フレームのスタッキング１２１２を、最適経路の決定および再スコアリング１２１６、高閾値の適用１２１６、ＮＭＳ操作１２１８、更新された境界ボックスの生成１２１９を含むことができる。

ここで、図１３（１）および図１３（２）を参照すると、本発明のいくつかの実施形態に従って、可視帯域（ＶＩＳ）センサおよび熱赤外線（ＴＩＲ）センサから、物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）の境界ボックスを融合するプロセス１３００のフローチャートである。

いくつかの実施形態によれば、ＴＩＲボックス１３０２は、ＶＩＳ画像フレーム（例えば、ＶＩＳセンサからの画像フレーム）座標に投影すること１３０３ができ、ＩＯＵ計算１３０４は、ＶＩＳボックス１３０１およびＶＩＳ画像フレーム座標に投影されたＴＩＲボックス１３０３上に適用することができ、ハンガリアンアルゴリズム１３０５は、その後、ＩＯＵ計算１３０４上に適用することができる。いくつかの実施形態では、マッチングしたボックス１３１０は、結合されたものとして、１３１２で示され得る。いくつかの実施形態では、マッチングしないボックス１３２０は、ＶＩＳのみ、またはＴＩＲのみとして、１３２２と指定され得る。

いくつかの実施形態によれば、統合境界ボックス１３１２は、既存の物体追跡１３２０を用いてＩＯＵを介してチェックしてもよく、ハンガリアンアルゴリズム１３２２を適用して、次いで、以前の追跡に新たな検出のマッチングを適用してもよい。いくつかの実施形態では、結果は、マッチングした追跡１３２４であってもよい。いくつかの実施形態では、結果は、予測１３３２とマッチングしない追跡１３３０であってもよい。いくつかの実施形態では、結果は、マッチングしない追跡１３４０であっても、あるいは新たな追跡１３４２であってもよい。

ここで、図１４を参照すると、物体・障害物検出ニューラルネットワーク（ＯＯＤＴ ＮＮ）のプロセス１４００のフローチャートであり、これには、本発明のいくつかの実施形態に従って、第一の短距離検出用と、第二の長距離検出用との２つの関心領域（ＲＯＩ）インスタンスが含まれている。

いくつかの実施形態によれば、ＯＯＤＴ ＮＮは、２つの関心領域（ＲＯＩ）インスタンス（例えば、図１１のイラスト１１２０に関して説明されるようなインスタンス）、すなわち、短距離検出用の第一のインスタンスと、それらの間の重複を伴う長距離検出用の第二のインスタンスとを含むことができる。短距離ＲＯＩは、典型的には、推論前にＯＯＤＴ ＮＮによってデシメートされるので、典型的には、より大きな寸法であってもよい。また、短距離であるために、物体は、典型的には、大きな寸法であり、その結果、デシメート後も、依然として検出可能である。長距離ＲＯＩは、より小さな寸法であり、その結果、ＯＯＤＴ ＮＮの入口でデシメートされず、拡張された範囲の小さな物体は検出可能なままである。

ここで、図１５を参照すると、本発明のいくつかの実施形態に従って、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）の出力の一例が示されている。

説明１５０１は、２つの物体、例えば、検出された車両ユニット１５１２と、検出された立っている人間１５１４とによって部分的に遮られている場合のレール描写１５１０を示す。レール描写１５１０がわずかに歪むようになったことで、画像フレーム化されたレールの投影から予想され得るような予想連続性基準から、どの程度逸脱するかは注目に値する。

イラスト１５２０は、例えば、スプラインまたは他の幾何学的当て嵌めによるアプローチを使用する、検出されたレールの補間されたバージョンを示す。イラスト１５３０（図１５（ｃｏｎｔ．１））に示すように、実際のレール描写および平滑化（補間）されたバージョンを重ね合わせると、様々なエラー（または距離）関数が計算され、そのようなレールの異常が自動的に検出される。これは、レールの近傍またはその上の物体の検出を改善するために使用することができ、また、例えば、予防保守のアプリケーションにおいて、レールの誤動作およびレールの故障を判定するためにも使用することができる。

ここで、図１６Ａおよび図１６Ｂを参照すると、本発明のいくつかの実施形態に従って、典型的な駅シナリオと、対応するレールおよび障害物を検出するための解決策がそれぞれ示されている。

特定の鉄道安全上の考慮事項は、駅の近くの列車に関連することがあり、通勤者は、列車の到着を待っている駅のプラットフォームに沿って位置する。駅のプラットフォームには、典型的には、越えてはならないプラットフォームの縁部および安全ゾーンを指定する塗装（または盲人のために隆起）ラインが描かれている。駅が混雑した状況にあると、人が縁部の上および危険ゾーン内に押し込まれることがあり、入ってくる列車は、好ましくは、そのような状況を検出し、それぞれの迅速なアラーム、例えば、迅速なオーディオ警笛の起動、点滅ライトを提供し、バーストまたは他の音声アラーム信号を駅のスピーカシステムなどに送信することができる。典型的な液のシナリオを図１６Ａに示す。上記の安全要件に対処する際に、レールおよび障害物を検出するための解決策（ＲＯＤＳ）のいくつかの実施形態は、図１６Ｂに示すように、以下の論理に従うことができる。

第一に、ＲＯＤＳ機能は、（例えば、イラスト１６０２に示されるような）鉄道シーンの画像フレームを受信し、（例えば、イラスト１６０４に示されるような）レールセグメント化予測マスク１６０４ａおよび安全ゾーン領域１６０４ｂを検出し、レールセグメント化予測マスク１６０４に基づいて、（例えば、イラスト１６０６に示されるような）実際のレール１６０６ａを抽出し得る。

第二に、ＲＯＤＳ機能は、プラットフォームおよび安全ゾーン１６０４ｂの端部（例えば、イラスト１６０８のライン１６０８ａ）の１つまたは複数の境界ラインを検出してもよい。ライン１６０８ａの検出は、ライン１６０８ａが平行である所定の安全ゾーン１６０４ｂによって容易になり得る。地上レベルと比較したプラットフォームの高さ変動に関する追加の事前知識は、様々な理由（例えば、照明、人間による妨害、および混雑した状態など）のために、それらがカメラから見えない場合でさえも、ラインの位置を推定する際に使用され得る。例えば、ＧＰＳなどのＲＯＤＳの車載センサ、および鉄道駅の位置に関するＧＩＳデータへのアクセスによって、ＲＯＤＳにそのようなプラットフォームの安全ラインを適用する場所とタイミングに関する情報が提供されることがある。

ここで、図１７を参照すると、本発明のいくつかの実施形態に従って、運転士支援、予防保守・ビッグデータ支援をするためのシステムの概略ブロック図である。

いくつかの実施形態によれば、システム１７は、予防保守機能１７２０および鉄道ビッグデータ支援機能１７３０を防止する運転士支援機能１７１０を含むことができる。

いくつかの実施形態によれば、運転士支援機能１７１０は、シーン視覚化サブ機能１７１２、衝突回避サブ機能１７１４、および状況認識サブ機能１７１６を含むことができる。運転士支援機能１７１０は、列車に取り付けられてもよく、列車を操作するために運転士をリアルタイムで（または実質的にリアルタイムで）支援するように構成されてもよい。

シーン視覚化サブ機能１７１２は、全ての天候および極端な環境条件下で、昼夜において、運転士および／または遠隔の第三者（例えば、監督者、制御室など）に鉄道シーン視覚化を提供するように構成されてもよい。シーン視覚化サブ機能１７１２は、例えば、１つまたは複数の撮像センサ（例えば、図１Ａに関して上述した撮像センサ１１０および図２に関して上述した撮像センサ２０２など）を含むことができる。

衝突回避サブ機能１７１４は、ＲＳＳＤモジュール（例えば、図１Ａに関して上述したＲＳＳＤモジュール１２０、または図２に関して上述したＲＳＳＤモジュール２１０）と、ＯＯＤＴモジュール（例えば、図１Ａに関して上述したＯＯＤＴモジュール１３０、または図２に関して上述したＯＯＤＴモジュール２１２）とを組み合わせることができる。衝突回避サブ機能１７１４は、それに沿って列車が移動する経路を検出するように、または移動するように、および／または検出された経路に沿って、およびその近傍にある物体および障害物を検出して、分類するように構成され得る。検出される物体は、レール間、レール上、およびその近傍に位置し得る静止物体であり得る。検出される物体は、移動している物体であってもよく、その物体は、移動している列車との衝突が差し迫ったものとなり得る経路を有することもある。また、衝突回避サブ機能１７１４は、ＬＯＳ機能およびＧＩＳ機能と通信することもでき、これらの機能は、ＬＯＳの妨害および鉄道の終了などが生じるシーンの理解を支援する。

状況認識サブ機能１７１６は、図２に関して上述した制御および認識モジュール２２８と同様であってもよい。状況認識サブ機能１７１６は、決定支援、警告管理、およびＢＩＴ支援を提供するように構成されてもよく、その結果、リアルタイム運転士支援機能１７１０は、撮像センサによってフレーム化された鉄道シーン画像と、信号、標識などの追加情報に基づいて、操作状況を継続的に監視することができる。

いくつかの実施形態によれば、予防保守機能１７２０は、レール完全性サブ機能１７２２、インフラ完全性サブ機能１７２４、および報告サブ機能１７２６を含むことができる。予防保守機能１７２０は、オフライン機能であってもよく、および／または列車の外部に配置されてもよい。

レール完全性サブ機能１７２２は、低速から高速までの移動する列車から、高精度なレール完全性およびレールインフラ解析を提供するように構成されてもよい。

インフラ完全性サブ機能１７２４は、カテナリケーブル完全性などの電気インフラ、およびスイッチヒータ、電気信号などの他のレール関連電気機能の解析を提供するように構成されてもよい。

報告サブ機能１７２６は、故障解析および優先順位付けを実行するように構成され得る。

いくつかの実施形態によれば、鉄道ビッグデータ支援機能１７３０は、鉄道環境サブ機能１７３２、鉄道地理的情報システム（ＧＩＳ）１７３４、および鉄道ビデオ・画像フレームデータベース１７３６を含むことができる。鉄道ビッグデータ支援機能１７３０は、オフライン機能であってもよく、および／または列車の外部に配置されてもよい。

鉄道環境サブ機能１７３２は、例えば、特定の状況において運転士が減速することを必要とし得る可視性の問題に起因して、全体的な鉄道性能（例えば、定時性）に影響を与えるように構成され得る。環境的影響と視認性の統計量をコンパイルすることにより、鉄道事業者が、そのルートをより良く計画し、パフォーマンスとタイムラインを予測するのを支援することができる。

鉄道地理的情報システム（ＧＩＳ）および対話型更新サブ機能１７３４は、ＬＯＳ解析に関する重要な情報、例えば、高架橋、トンネル、電柱、植生および樹木の並びなどに起因する視覚妨害に関する情報を提供するように構成され得る。

鉄道ビデオ・画像フレームデータベース１７３６は、鉄道軌道全体に沿った広範囲のシナリオを示すことができる。このようなビデオは、訓練システムにも、鉄道事業者のパフォーマンス解析と運転士の過失解析にも、例えば、シナリオの複雑さの関数としての運転士のパフォーマンスの解析に基づく視覚ベースの解析にも使用できる。

様々な実施形態によれば、開示されたシステムおよび方法は、異なる鉄道関連のアプリケーションにおいても利用され得る。

一例では、開示されたシステムおよび方法は、運転士が操作するアプリケーションのために、列車に取り付けられた前方監視電気光学感知・視覚システムにおいて利用することができる。この例では、列車は、路面電車、都市電車、高速列車、貨物列車などであってもよく、開示されるシステムおよび方法の実装は、以下の原理に基づくことができる。（ａ）ＴＩＲ撮像センサおよびＶＩＳ撮像センサのような様々な撮像装置および分割スクリーンユーザディスプレイを利用する昼夜連続前方監視撮像および視覚処理と、（ｂ）本発明のいくつかの実施形態に基づいて、物体および障害物を検出し、追跡し、分類するために、自動化ビデオ／視覚処理を利用する運転士の作業負荷軽減。

別の例では、開示されたシステムおよび方法は、自律列車操作のアプリケーションのために、列車に取り付けられた前方監視電気光学感知・視覚システムにおいて利用することができる。この例では、列車は、路面電車、都市列車、高速列車、貨物列車などであってもよく、開示されるシステムおよび方法の実装は、以下の原理に基づくことができる。（ａ）ＴＩＲ撮像センサおよびＶＩＳ撮像センサのような様々な撮像装置を利用する昼夜連続前方監視撮像および視覚処理と、（ｂ）本発明のいくつかの実施形態に基づいて、物体および障害物を検出し、追跡し、分類するために、自動化ビデオ／視覚処理を利用する列車制動システムへのインタフェース、制御室との緊密な通信リンク。

別の例では、開示されたシステムおよび方法は、踏切、鉄道スイッチ、鉄道駅およびレール妨害のアプリケーションのために、沿線電気光学感知・視覚システムにおいて利用することができる。この例では、開示されるシステムおよび方法の実装は、以下の原理に基くことができる。（ａ）ＴＩＲ撮像センサおよびＶＩＳ撮像センサまたは任意の他のセンサ（すなわち、ＬＡＤＡＲ、レーダベースなど）などの様々な撮像装置を利用する昼夜連続静止撮像および視覚処理と、（ｂ）本発明のいくつかの実施形態に基づいて、物体および障害物を検出し、追跡し、分類するために、自動化ビデオ／視覚処理を利用する列車制動システムへのインタフェース、制御室との緊密な通信リンク。

別の例では、開示されたシステムおよび方法は、レールインフラ予防保守のアプリケーションのために、列車に取り付けられた上方／下方／前方監視電気光学感知・視覚システムにおいて利用することができる。この例では、列車は、路面電車、都市電車、高速列車、貨物列車などであってもよく、開示されるシステムおよび方法の実装は、以下の原理に基づくことができる。（ａ）ＴＩＲ撮像センサおよびＶＩＳ撮像センサのような様々な撮像装置を利用する昼夜連続前方監視撮像および視覚処理と、（ｂ）軌道、カテナリ、電気機器などに関する本発明のいくつかの実施形態に基づいて、物体および障害物を検出し、追跡し、分類するために、自動化ビデオ／視覚処理を利用する予防保守の改善。

別の例では、開示されたシステムおよび方法は、レール緊急事態（例えば、「ブラックボックス」）のアプリケーションのために、列車に取り付けられた電気光学感知・視覚システムにおいて利用することができる。この例では、列車は、路面電車、都市列車、高速列車、貨物列車などであってもよく、開示されるシステムおよび方法の実装は、以下の原理に基づくことができる。（ａ）ＴＩＲセンサおよびＶＩＳセンサのような様々な撮像装置を利用する昼夜連続前方監視撮像および視覚処理と、本発明のいくつかの実施形態に基づいて、物体および障害物を検出し、追跡し、分類するために、自動化ビデオ／視覚処理を利用する事故、衝突、脱線、および損傷の評価を含む記録およびアラームの規定の改善と、（ｃ）真のアラームおよび偽のアラームをロギングし、列車の位置に従って、それらをアップロードし、ＦＩＦＯ機構を介して関連しない場合に、廃棄するために選択的に使用されるスマート記憶装置。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／または部分図を参照して上述されている。フローチャート図および／または部分図の各部分も、フローチャート図および／または部分図における部分の組合せも、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、機械を生成することができ、その結果、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／または部分図、またはその複数の部分で指定された機能／動作を実装するための手段を作成する。

これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、その結果、コンピュータ可読媒体に格納された命令は、フローチャートおよび／または部分図の一つまたは複数の部分で指定された機能／動作を実装する命令を含む製造品を生成する。コンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の操作ステップを実行させて、コンピュータに実装されるプロセスを生成させることができ、その結果、コンピュータまたは他のプログラマブル装置上で実行される命令が、フローチャートおよび／または部分図の一つまたは複数の部分で指定された機能／動作を実装するためのプロセスを提供する。

前述のフローチャートおよび図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および操作を示す。この点に関して、フローチャートまたは部分図の各部分は、モジュール、セグメント、またはコードの一部分を表すことができ、これらの部分は、指定された論理機能を実装するための１つまたは複数の実行可能な命令を含む。また、いくつかの代替的な実装において、この部分に注記された機能は、図に注記された順序とは異なる可能性があることにも留意されたい。例えば、連続して示される２つの部分は、実際には、実質的に同時に実行されることがあり、あるいは、それらの部分は、関与する機能に応じて、時には逆の順序で実行されることもある。また、部分図および／またはフローチャート図の各部分も、部分図および／またはフローチャート図の各部分の組合せも、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装できることに留意されたい。

上記の説明では、実施形態は、本発明の一つの例または実装である。「一実施形態」、「一つの実施形態」、「特定の実施形態」または「いくつかの実施形態」の様々な外観は、必ずしも全てが同じ実施形態を指すわけではない。本発明の様々な特徴は、単一の実施形態の文脈で説明することができるが、特徴は、別々に、または任意の適切な組合せで提供することもできる。逆に、本発明は、明確にするために、本明細書では別個の実施形態の文脈で説明することができるが、本発明は、単一の実施形態で実施することもできる。本発明の特定の実施形態は、上記で開示された異なる実施形態からの特徴を含むことができ、特定の実施形態は、上記で開示された他の実施形態からの要素を組み込むことができる。特定の実施形態の文脈における本発明の要素の開示は、特定の実施形態のみにおけるそれらの使用を限定するものとして解釈されるべきではない。さらに、本発明は、様々な方法で実施または実行することができ、本発明は、上記の説明で概説したもの以外の特定の実施形態で実装することができることを理解されたい。

本発明は、これらの図または対応する説明に限定されることはない。例えば、フローは、図示された各ボックスまたは各状態を介して、または図示され説明されたのと全く同じ順序で進める必要はない。本明細書で使用される技術用語および科学用語の意味は、別段の定義がない限り、本発明が属する技術分野の当業者によって一般に理解されるものとする。本発明を限られた数の実施形態に関して説明してきたが、これらは、本発明の範囲に対する限定として解釈されるべきではなく、むしろ、好ましい実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、修正、および用途もまた、本発明の範囲内である。したがって、本発明の範囲は、これまでに説明されたものによって限定されるべきではなく、添付の特許請求の範囲およびそれらの法的均等物によって限定されるべきである。

Claims (10)

1. レールおよび障害物を検出する方法であって、
   列車の機関車に設置された少なくとも１つの撮像センサから複数の画像フレームを受信するステップであって、前記少なくとも１つの撮像センサは前記列車の進行方向に向いている、ステップと、
   前記複数の画像フレームのサブセットの各画像フレームについて、それぞれの前記画像フレームと履歴要素とを含む入力データ構造を決定するステップであって、前記履歴要素は、それぞれの前記画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を含む、ステップと、
   前記サブセットの前記画像フレームのそれぞれの前記入力データ構造に基づいて、レール・スイッチ状態検出ニューラルネットワーク（ＲＳＳＤ ＮＮ）を使用して、それぞれの前記画像フレームのセグメント化マスク予測を決定するステップであって、前記セグメント化マスク予測は、前記列車が沿って移動する現鉄道経路を少なくとも含む、ステップと、
   を含む、レールおよび障害物を検出する方法。
2. 前記セグメント化マスク予測は、前記現鉄道経路に沿った対応する少なくとも１つのスイッチの状態を表す前記現鉄道経路に沿った少なくとも１つの分岐をさらに含む、請求項１に記載のレールおよび障害物を検出する方法。
3. 前記ＲＳＳＤ ＮＮを、その推論する前に訓練するステップをさらに含み、前記訓練は、訓練画像フレームの訓練サブセットに基づき、所定数の訓練サイクルを含み、前記訓練サイクルのそれぞれは、
   前記訓練サブセットの各訓練画像フレームについて、それぞれの前記訓練画像フレームおよび訓練履歴要素を含む訓練入力データ構造を決定するステップであって、前記訓練履歴要素は、それぞれの前記訓練画像フレームに先行する訓練画像フレームについて決定された訓練セグメント化マスク予測を含む、ステップと、
   前記訓練サブセットの前記訓練画像フレームのそれぞれの前記訓練入力データ構造に基づいて、前記ＲＳＳＤ ＮＮを使用して、それぞれの前記訓練画像フレームの訓練セグメント化マスク予測を決定するステップと、
   前記訓練サブセットの前記訓練画像フレームのそれぞれについて決定した前記訓練セグメント化マスク予測を、前記訓練画像フレームの少なくとも１つの所定の注釈付きマスクと比較するステップと、
   前記訓練サブセットの前記訓練画像フレームのそれぞれについて、前記比較に基づいて、決定した前記訓練セグメント化マスク予測を更新するステップと、
   を含む、請求項１または２に記載のレールおよび障害物を検出する方法。
4. 前記所定数のサイクルの少なくとも１つの訓練サイクル中に決定された前記訓練セグメント化マスク予測を増強するステップをさらに含み、前記訓練セグメント化マスク予測を増強するステップは、
   前記訓練セグメント化マスク予測の全体をゼロにするステップ、
   前記訓練セグメント化マスク予測の所定の部分をゼロにするステップ、および
   前記訓練セグメント化マスク予測の前記所定の部分を、現鉄道経路の形状および位置を保持し、前記現鉄道経路と、前記現鉄道経路に沿った少なくとも１つの分岐との区別を無視する指定ラベルに置き換えるステップ
   のうちの少なくとも１つを含む、請求項３に記載のレールおよび障害物を検出する方法。
5. 前記サブセットの少なくとも１つの画像フレームにおいて、それぞれの前記画像フレームについて決定された前記セグメント化マスク予測に基づいて、物体・障害物検出・追跡ニューラルネットワーク（ＯＯＤＴ ＮＮ）を使用して、前記現鉄道経路上またはその近傍の少なくとも１つの物体／障害物を決定するステップをさらに含む、請求項１〜４のいずれか一項に記載のレールおよび障害物を検出する方法。
6. レールおよび障害物を検出するためのシステムであって、
   複数の画像フレームを取得するために、列車の機関車に設置され、前記列車の進行方向に向いた少なくとも１つの撮像センサと、
   レール・スイッチ状態検出（ＲＳＳＤ）ニューラルネットワーク（ＲＳＳＤ ＮＮ）を備えるＲＳＳＤモジュールと、
   を備え、前記ＲＳＳＤモジュールは、
   前記複数の画像フレームのサブセットの各画像フレームについて、それぞれの前記画像フレームと履歴要素とを含む入力データ構造を決定することであって、前記履歴要素は、それぞれの前記画像フレームに先行する画像フレームについて決定されたセグメント化マスク予測を含む、ことと、
   前記サブセットの前記画像フレームのそれぞれの前記入力データ構造に基づいて、前記ＲＳＳＤ ＮＮを使用して、それぞれの前記画像フレームのセグメント化マスク予測を決定することであって、前記セグメント化マスク予測は、前記列車が沿って移動する現鉄道経路を少なくとも含む、ことと、
   を行うように構成される、レールおよび障害物を検出するためのシステム。
7. 前記セグメント化マスク予測は、前記現鉄道経路に沿った対応する少なくとも１つのスイッチの状態を表す前記現鉄道経路に沿った少なくとも１つの分岐をさらに含む、請求項６に記載のレールおよび障害物を検出するためのシステム。
8. ＯＯＤＴニューラルネットワーク（ＯＯＤＴ）を備える物体・障害物検出・追跡モジュールをさらに備え、前記ＯＯＤＴモジュールは、前記サブセットの少なくとも１つの画像フレームにおいて、それぞれの前記画像フレームについて決定された前記セグメント化マスク予測に基づいて、前記ＯＯＤＴ ＮＮを使用して、前記現鉄道経路上またはその近傍の少なくとも１つの物体／障害物を決定するように構成される、請求項６または７に記載のレールおよび障害物を検出するためのシステム。
9. 前記少なくとも１つのセンサは、視覚帯域撮像センサおよび熱赤外線センサのうちの少なくとも１つである、請求項６〜８のいずれか一項に記載のレールおよび障害物を検出するためのシステム。
10. 前記少なくとも１つのセンサは、狭視野撮像センサおよび広視野撮像センサのうちの少なくとも１つである、請求項６〜９のいずれか一項に記載のレールおよび障害物を検出するためのシステム。

Images