JP2021517537A - 選択された関心領域に関する高サンプリングレートの動的選択のためのシステムおよび方法 - Google Patents

Abstract

一般的に、撮像デバイスと処理ユニットを含むシステムが開示される。撮像デバイスは、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するように構成することができる。処理ユニットは、それぞれの画像フレームのデータセットに基づいて、撮像デバイスにより取得した複数の画像フレームの、少なくともいくつかの各々において特定関心領域（ＳＲＯＩ）を定義するように構成することができる。撮像デバイスは、複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間であって、画像フレーム取得時間の終わりと、それぞれの画像フレーム処理サイクルの終わり、との間の残余時間内に、ＳＲＯＩの少なくとも１つの部分データセットを取得するようにさらに構成することができる。【選択図】図１Ｂ

Description

この発明は、撮像デバイスのサンプリングレートを向上させる分野に関し、特に、より良い検出性能のために、画像フレーム内の選択された関心領域に関するサンプリングレートを高めることに関する。

画像フレームの細部の処理、特に、画像フレームデータへの計算の適用は、計算リソースと計算時間の少なくとも１つと本質的に矛盾する。フレーム細部の解像度が高ければ高いほど、必要とされる計算リソースは大きくなり、および／または計算結果は遅くなる。高分解能の計算を画像フレームの事前選択した領域（例えば、関心領域（ＲＯＩ））にのみ適用すると、処理結果時間は短くなり、および／または計算負荷が低下する可能性がある。しかしながら、選択されたＲＯＩは、重要度が高い可能性がある、少なくともいくつかの画像細部を偶然にも含まない可能性がり、それにより、結果として得られる利益と、重要データの損失とのバランスが取れない可能性がある。

例えば、処理した画像フレームが（例えば、驚異となる障害物の事前警告を提供するために）走行する列車の前方視認撮像デバイスから撮像されるとき、所定のしきい値よりも高い障害物、および所定の第２のしきい値より低い誤警報率（ＦＡＲ）の検出確率（ＰＤ）で、領域に含まれる細部が列車の前方のレールを囲む領域（例えば、安全ゾーン（ＳＺ）またはガバリット（gabarit）と呼ばれる）に含まれることを保証するとともに、画像フレームの細部を高速に処理する必要がある。

この発明の一態様は、選択された関心領域のイメージャディテクタ（imager detector）のサンプリングレートを高めるためのシステムを提供することができ、前記システムは、撮像デバイスと、前記撮像デバイスと通信している処理装置とを含み、前記撮像デバイスは、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するにように構成され、前記処理ユニットは、前記それぞれの画像フレームのデータセットに基づいて、前記複数の画像フレームの少なくともいくつかの各々における特別な関心領域（ＳＲＯＩ）を定義するように構成され、前記画像デバイスはさらに、前記複数の画像フレーム処理サイクルの少なくともいくつかの各々の期間、および画像フレーム取得時間の終わりと、それぞれの画像フレーム処理サイクルの終わりとの間の残余時間内に、前記ＳＲＯＩの少なくとも１つの部分データセットを取得するようにさらに構成される。この開示の他の態様は、選択された関心領域のためのイメージャディテクタのサンプリングレートを高める方法を提供することができ、この方法は、撮像装置により、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するステップと、処理ユニットにより、それぞれの画像フレームのデータセットに基づいて、前記複数の画像フレームの少なくともいくつかの各々における特別関心領域（ＳＲＯＩ）を定義するステップと、前記撮像デバイスにより、前記複数の画像フレーム処理サイクルの少なくとも、いくつかのの各々の期間および画像フレーム取得時間の終わりと画像フレーム処理サイクルの終わりとの間の残余時間内に、前記ＳＲＯＩの少なくとも１つの部分データセットを取得するステップと、を含むことができる。この発明の、これらの、追加、および／または他の態様、および／または利点は、以下の詳細な説明に記載され、詳細な説明から推測可能であり、および／または、この発明を実施することにより学習可能である。この発明の実施形態をより良く理解するために、およびこの発明の実施形態がどのように実施できるかを示すために、単なる例示として、全体を通して、同様の数字が、対応するエレメントまたはセクションを示す添付図面を参照する。

この発明のいくつかの実施形態に従う、安全な制動距離範囲を定義する安全な制動線（braking line）を有するれールを描画する画像フレームの概略図である。 この発明のいくつかの実施形態に従う、画像フレーム内のレールと特定関心領域を描画する画像フレームの概略図である。 撮像デバイスによる一般的な画像フレーム処理の概略時間グラフである。 この発明の実施形態に従う、画像フレーム処理の時間グラフである。 この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に対するイメージディテクタのサンプリングレートを高めるためのシステムの概略図である。 この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に関する、イメージディテクタのサンプリングレートを高める方法のフローチャートである。 この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に関する、イメージディテクタのサンプリングレートを高めることができる、移動する列車による障害物検出のための光学システムの概略図である。 この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に関するイメージディテクタのサンプリングレートを高める、移動する列車による障害物検出の方法のフローチャートである。図の簡単かつ明瞭化のために、図中に示されるエレメントは、必ずしも縮尺通りではないことが理解されるであろう。例えば、エレメントのいくつかの寸法は、明瞭さのために、他のエレメントに対して誇張されている場合がある。さらに、適切であると考えられる場合、対応するまたは類似のエレメントを示すために、図面間で参照符号を反復する場合がある。 この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に関するイメージディテクタのサンプリングレートを高める、移動する列車による障害物検出の方法のフローチャートである。図の簡単かつ明瞭化のために、図中に示されるエレメントは、必ずしも縮尺通りではないことが理解されるであろう。例えば、エレメントのいくつかの寸法は、明瞭さのために、他のエレメントに対して誇張されている場合がある。さらに、適切であると考えられる場合、対応するまたは類似のエレメントを示すために、図面間で参照符号を反復する場合がある。

以下の説明において、この発明の種々の態様が記述される。説明の目的のため、この発明の完全な理解を提供するために、特定の構成および説明が記載される。しかしながら、この発明は、ここに述べた特定の詳細な説明なしで、実施できることは当業者には明白であろう。さらに、この発明をあいまいにしないために、よく知られた特徴は、省略するか、簡単化することができる。図面を特に参照して、図示する詳細は、例として、この発明の例示的議論のみを目的としており、この発明の原理的および概念的態様の最も有用で容易に理解されると思われるものを提供するために提示される。この点に関して、この発明の基本的な理解に必要以上にこの発明の構造的詳細についての試みはなされておらず、図面とともに行われた説明により、この発明のいくつかの形態が実際にどのように具現化できるかが、当業者には、明白である。

この発明の少なくとも１つの実施形態が詳細に説明される前に、この発明は、その適用において、以下の記述で述べた、あるいは図面に示した、コンポーネントの構成と配置の詳細に限定されないことを理解されたい。この発明は、種々の方法で実施または実行可能な、他の実施形態ならびに開示された実施形態の組み合わせに適用可能である。また、ここに採用したフレーズおよび用語は、記述目的であり、限定するものとみなされるべきでないことを理解されたい。

以下の説明から明らかなように、そうでないと特に記載しない限り、「処理する」、「コンピューティング」、「計算する」、「決定する」、「高める」等のような用語を利用する明細書の記述は、電子、コンピューティングシステムのレジスタおよび／またはメモリ内の量のような、物理量として表されたデータを、コンピューティングシステムのメモリ、レジスタまたはそのような情報ストレージ、送信またはディスプレイデバイス内の物理量として同様に表された他のデータに操作および／または変換する、コンピュータまたはコンピューティングシステムのアクションおよび／またはプロセスを指すことが理解される。開示したモジュールまたはユニットのいずれも、少なくとも部分的にコンピュータプロセッサによりインプリメントすることができる。

この開示のいくつかの態様は、画像フレーム内の選択された関心領域の撮像デバイスのサンプリングレートを高めるためのシステムと方法を提供することができる。いくつかの実施形態によれば、システムは、撮像デバイスと処理ユニットを含むことができる。

いくつかの実施形態によれば、撮像デバイスは、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するように構成することができる。いくつかの実施形態によれば、処理ユニットは、それぞれの画像フレームのデータセットに基づいて、撮像デバイスにより取得した複数の画像フレームの、少なくともいくつかの各々における特定の関心領域を定義するように構成することができる。ＳＲＯＩは、拡張された画像処理領域（例えば、空間分解能）を必要し得る画像フレーム内の領域であり得る。

いくつかの実施形態によれば、撮像デバイスは、さらに、複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間と、画像フレーム取得時間の終わりとそれぞれの画像フレーム処理サイクルの終わりとの間の残余時間内に、ＳＲＯＩの少なくとも１つの部分データセットを取得するように構成することができる。有利なことに、開示したシステムと方法は、所定のフレームレート値で撮像デバイスのフレームレートを維持しながら全画像フレーム内のＳＲＯＩのデータセットを取得するレートを増大可能にすることができる。

図１Ａを参照すると、この発明のいくつかの実施形態に従う、サイドマージン（side margins）１２０を有するレール１１０と、安全制動距離範囲１４０を定義する安全制動線１４２の概略図が示される。また、図１Ｂを参照すると、この発明のいくつかの実施形態に従う、画像フレーム内のレール１１０と、特定関心領域（ＳＲＯＩ）１８０を描画する画像フレーム１００ａ、１００ｂの概略図が示される。

移動する列車の安全ゾーン１６０（例えば、ライトグレーの色により図１Ａに描画された）は、列車の先端（例えば、列車の機関車）から、列車の前方のレール１１０に沿った安全制動距離１４０までのレール１１０の両側の定義されたマージン１２０を有するエリアとして定義することができる。セーフティゾーン１６０は、識別した物体が、移動する列車に危険をもたらす可能性が高いエリアを表すことができる。

典型的に、セーフティゾーン１６０は、画像フレーム１００において、セーフティゾーン１６０が画像フレーム２０の上部に向かって進むに連れ、画像フレーム１００の底部に近い画像エリアの底部からの狭まる形状を有し得る。安全制動距離１４０は、列車の移動速度（および、重要度は低いが、列車やレールのメカ的条件および気象態様）にダイレクトに比例し得る。

図１Ａの安全制動線１４２（移動する列車に向かって）から距離をおいて引かれた水平線１４４は、安全ゾーン１６０内の特定関心領域（ＳＲＯＩ）を定義し得、列車からの距離のために、列車を脅かす可能性のある物体を識別するための十分な能力を保証するために、拡張された処理分解能が必要になる場合がある。

例えば、ＳＲＯＩ１８０は、幅がＸ_ＳＲＯＩで、高さがＹ_ＳＲＯＩを有する方形形状を有し、寸法Ｘ_ＳＲＯＩは、画像フレーム１００の水平寸法Ｘ_{ｆｒａｍｅ}に並行であり、寸法Ｙ_ＳＲＯＩは、画像フレーム１００の垂直寸法Ｙ_{ｆｒａｍｅ}に並行である。画像フレーム１００内のＳＲＯＩ１８０のロケーションは、画像フレーム１００の基準コーナからのコーナの１つの２次元距離により示すことができる。例えば、画像フレーム１００内のＳＲＯＩ１８０のロケーションは、水平距離Ｘ_１８０と垂直距離Ｙ_１８０により示すことができる。

画像フレーム１００内のＳＲＯＩ１８０のサイズ、アスペクト比およびロケーション（集合的にＳＲＯＩパラメータ）は、例えば、ＳＲＯＩ１８０が、安全ゾーン１６０の遠位端を取り囲むように決定または選択することができる。ＳＲＯＩ１８０のサイズは、ＳＲＯＩ１８０内部の詳細に対して、できるだけ高い分解能を提供する必要性と、システムの所定の性能数値内で動作する必要性とのバランスを取るように設定することができる。ＳＲＯＩ１８０の方形形状は、例えば、ＳＲＯＩ１８０のロケーションとサイズの直接の、容易な、そしてリソースを節約する設定をサポートするシステムに好適であり得る。

ＳＲＯＩ１８０のパラメータを決定／定義する際に、以下の考察の１つまたは複数に依存することができる。（ｉ）ＳＲＯＩにおける所望の物体分解能、（ｉｉ）検出の予想または望ましい確率と誤警報率数値、（ｉｉｉ）画像処理のための利用可能な計算リソース、（ｉｖ）画像デバイスの利用可能なフレームレート等。例えば、ＳＲＯＩ１８０の垂直寸法と垂直位置は、安全制動線１４２と水平線１４４を取り囲むように選択することができる。ＳＲＯＩ１８０の水平寸法と水平位置は、安全制動線１４２と水平線１４４との間に延伸する安全ゾーン１６０の全体を包含するように選択することができる。いくつかの実施形態によれば、ＳＲＯＩ１８０は、（例えば、図６に関して以下に説明するように）追跡モジュールを用いて画像フレームに定義することができる。

追跡モジュールは、レール１１０が撮像される画像フレーム内のロケーションを定義および追跡するように構成することができる。追跡モジュールは、さらに、後続する画像フレーム１００内のレール１１０のロケーションを定義し、それにより画像フレーム１００内のＳＲＯＩ１８０のロケーションを追跡するように構成することができる。例えば、図１Ｂは、追跡モジュールの動作の結果として、第１の画像フレーム１００ａの実質的に中央部におけるレール１１０の遠位端の周りに位置するＳＲＯＩ１８０を有する第１の画像フレーム１００ａと、第２の画像フレーム１００の中心の横に位置するレール１１０の遠位端の周りに位置するＳＲＯＩ１８０を有した第２の画像フレームを描画する。

列車を脅かす可能性のある障害物の検出の高い確率および／または低い誤報率に到達するための１つの方法は、画像フレーム１００全体より小さいＳＲＯＩ１８０を選択することにより、イベントの確率を下げることである。この欠点は、ＳＲＯＩ１８０外のイベントは、検出されず、それらの一部は、重要過ぎて誤検出されない可能性があることである。

列車を脅かす可能性がある障害物の検出の高い可能性および／またはその低い誤報率に到達するための別の方法は、画像デバイスのフレームレートを上げることによりサンプリング帯域幅（ＢＷ）を増大させることである。この帰結は、システムの計算リソース（例えば、処理ユニット）の負荷が増大する可能性がある。

いくつかの実施形態によれば、開示したシステムと方法は、（例えば、図３に関して以下に記載するように）所定のフレームレートで撮像デバイスのフレームレートを維持しながら、完全な画像フレーム内のＳＲＯＩ１８０のサンプリングレートを増加させることを可能にし得る。

このように、開示したシステムと方法は、例えば、列車を脅かす可能性のある障害物の検出確率を増加させることを可能にし、および／または計算リソースを実質的にロードし、および撮像デバイスの既存のインタフェースの使用を可能にすることなく誤警報率を減少させることができる。

図２を参照すると、撮像デバイスによる一般的な画像フレーム処理の概略時間グラフ２００が示される。画像フレームは、一般的に、画像フレーム（例えば、ここでは、互換可能に「ｔ_ｃｙｃ」と呼ぶ）間の所定のサイクルタイム２２０を有する所定フレームレート（以下、互換可能に「ＦＲ」と呼ぶ）で取得され、所定サイクル時間２２０は、所定フレームレートに反比例する（例えば、ｔ_ｃｙｃ＝１／ＦＲ）。一般的に、各画像フレームの取得は、画像フレーム取得時間（例えば、ここでは、互換的に「Δｔ_ａｔ」と呼ぶ）を持続し、撮像デバイスの時間単位あたり（例えば、ピクセル／時間）最大データ容量（ＤＣＭ）２６０に従うデータアイテム（例えば、データセット）の取得を含む。従って、撮像デバイスのノーマルモード動作において、各Δｔ_ａｔにおいて取得したデータアイテムの量（例えば、互換的に、「フレームあたりのピクセル」または「ＰＰＦ］と呼ぶ）は、式１により表すことができ、撮像デバイスの所定フレームレート（ＦＲ）における毎秒あたりの取得データアイテムの量（例えば、ここでは、互換的に「ＤＰＳ」と呼ぶ）は、式２により表すことができる。
ＰＰＦ＝Δｔ_ａｃ・ＤＣＭ （式１）
ＤＰＳ＝ＰＦ＊ＦＲ＝Δｔ＊ＤＣＭ＊ＦＲ （式２）

一般的な撮像デバイスは、イメージャでの画像光子の蓄積、撮像デバイスからの画像データ転送、画像データセービングおよび画像データ処理を含む、ある最大データ処理能力を有することができる。撮像デバイスの特定の性能は、各フル画像フレームのデータアイテムを取得するのに必要な画像フレーム取得時間２４０（Δｔ_ａｔ）を定義することができる。一般的に、画像フレーム取得時間２４０（Δｔ_ａｔ）は、所定のサイクル時間２２０（ｔ_ｃｙｃ）より小さく、それは、撮像デバイスがビジーでない各所定のサイクル時間２２０（例えば、ｔ_ｃｙｃ）の期間に残余時間２８０（ここでは、互換的に「ｔ_ｒｅｓ」と呼ぶ）があることに起因する。

図３を参照すると、この発明の実施形態に従う、画像フレーム処理の時間グラフ３００が示される。画像フレームの処理サイクルは、所定のサイクル時間３２０（例えば、ｔ_ｃｙｃ）持続することができ、フル画像フレームのデータアイテム（例えば、データセット）が取得される、画像フレーム取得時間３４０（例えば、Δｔ_ａｔ）と、画像フレームがビジーでない期間の残余時間３８０（例えば、ｔ_ｒｅｓ）を含むことができる。例えば、所定のサイクル時間３２０，画像フレーム取得時間３４０および残余時間３８０は、それぞれ、図２に関して上述した所定のサイクル時間２２０、画像フレーム取得時間２４０および残余時間２８０と同様であり得る。

実施形態によれば、少なくとも１つの画像フレーム処理サイクルの残余時間３８０の期間に、（例えば、図３に示すように）画像フレームの選択された部位のデータアイテムを取得する少なくとも１つの追加のサイクルを実行することができる。画像フレームの選択された部位から取得したデータアイテムは、ここでは、互換的に、「部分データアイテム」、または「部分データセット」、または「部分データセット（複数）」と呼ぶ。画像フレームの選択された部位の部分データアイテム／部分データセットの取得は、

部分取得時間３９０（ここでは、互換的に「Δｔ_ｐａｔ」と呼ぶ）続く場合がある。画像フレームの選択された部分は、拡張された画像処理分解能が必要とされる可能性がある画像フレーム内の領域であり得る。画像フレームの選択された部分は、例えば、図１Ａおよび１Ｂに関して上述したＳＲＯＩ１８０のような画像フレーム内の関心のある特定領域であり得る。画像フレームの選択された部分の特定のデータアイテムを取得するのに必要な画像部分取得時間３９０（Δｔ_ｐａｔ）は、例えば、選択された部分のサイズと、取得データレート（ｐｉｘｅｌ／ｍｓ）に依存することができる。選択された部分の取得データレートが、フル画像フレーム取得の取得データレートと同じであると仮定すると、比Δｔ_ｐｄａ／Δｔ_ｄａは、フル画像のエリアに対する画像フレームの選択された部分のエリアの比に等しい。いくつかの実施形態において、画像フレームの選択された部位は、（例えば、図３に示すように）Δｔ_ｐｄａ＜＜Δｔ_ｄａのようにフル画像フレームに比べて極めて小さい。例えば、画像フレームの選択された部位は、１０２４×７２０ピクセルを有するフル画像フレームに比べて２００×２００であり得る。この例では、画像フレームの選択された部位から取得したデータアイテムの部分量は、フル画像フレームから取得する必要があるデータアイテムの量のわずか５％であり得る。

従って、画像フレームの選択された部位の部分データアイテム／部分データセットを取得する１つまたは複数の追加サイクルは、１つまたは複数の画像フレーム処理サイクルの各々の残余時間３８０の期間に行うことができ、それにより、フレームレートを変更せずに、あるいは、撮像デバイスの（図２に関して上述したＤＣＭ２６０のような）所定の最大データ容量（ＤＣＭ）３６０を超える必要なく、画像フレームの選択された部位の詳細の画像分解能を高めることができる。

例えば、図３に示す実施形態の場合、撮像デバイスの所定のフレームレート（ＦＲ）で取得した毎秒あたりのデータアイテム（ＤＰＳ）の量は、式３により表すことができる。
ＤＰＳ＝（Δｔ_ｄａ＋Δｔ_ｐｄａ）・ＤＣＭ・FR｜Δｔ_ｄａ＞＞Δｔ_ｐｄａ≒Δｔ_ｄａ・ＤＣＭ・FR （式３）

図４を参照すると、この発明のいつかの実施形態に従う、画像フレームの選択された関心領域のイメージャ検出器のサンプリングレートを高めるシステム４００の概略図が示される。いくつかの実施形態によれば、システム４００は、撮像デバイス４１０と処理ユニット４２０を含むことができる。システム４００は、撮像デバイス４１０が列車の進行方向を向くように列車の機関車に配置することができる。しかしながら、システム４００は、（例えば、自動車等のような）他のアプリケーションにも同様に適用することができる。

いくつかの実施形態によれば、撮像デバイス４１０は、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するように構成することができる。例えば、撮像デバイス４１０により取得した画像フレームは、図１Ａに関して上述した画像フレーム１００と同様であり得る。

いくつかの実施形態によれば、処理ユニット４２０は、それぞれの画像フレームのデータセットに基づいて画像デバイス４１０により取得された複数の画像フレームの少なくともいくつかの各々の特定関心領域（ＳＲＯＩ）を定義するように構成することができる。ＳＲＯＩは、拡張された画像処理分解能が必要となり得る画像フレーム内の領域であり得る。例えば、ＳＲＯＩは、図１Ａおよび１Ｂに関して上述したSROＩ１８０であり得る。

いくつかの実施形態によれば、撮像デバイス４１０は、さらに、複数の画像フレーム処理サイクルの少なくともいくつかの各々の期間であって、画像フレーム取得時間の終わりとそれぞれの画像フレーム処理サイクル（例えば、図３に関して上述したような）の終わりとの間の残余時間内に、ＳＲＯＩの少なくとも１つの部分データセットを取得するように構成することができる。

図５を参照すると、この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域に対するイメージャ検出器のサンプリングレートを高めるための方法５００のフローチャートが示される。方法５００は、方法５００をインプリメントするように構成することができる（例えば、図４に関して上述したような）システム４００によりインプリメントすることができる。方法５００は、図５に示されるフローチャートおよび対応する記述に限定されない。いくつかの実施形態によれば、方法５００は、撮像デバイスにより、対応する複数の画像フレーム処理サイクル（ステージ５１０）を実行することにより、対応する複数の画像フレームの複数のデータセットを取得することを含むことができる。例えば、図４に関して上述した撮像デバイス４１０。

いくつかの実施形態によれば、方法５００は、それぞれの画像フレームのデータセットに基づいて、撮像デバイスにより取得された複数の画像フレームの少なくともいくつかの各々の特定関心領域（ＳＲＯＩ）を定義することを含むことができる。
例えば、図４に関して上述したＳＲＯＩ。

いくつかの実施形態によれば、方法５００は、（例えば、図３に関して上述したような）複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間および画像フレーム取得時間の終わりと、それぞれの画像フレーム処理サイクルの終わりとの間の残余時間内で、ＳＲＯＩの少なくとも１つの部分データセットを撮像デバイスにより取得することを含むことができる。有利なことに、システム４００と方法５００は、所定のフレームレートで撮像デバイスのフレームレートを維持しながら、フル画像フレーム内のＳＲＯＩのデータセットを取得するレートを増加させることができる。

図６を参照すると、この発明のいくつかの実施形態に従う、列車のような移動する乗り物９０による障害物検出のための、および画像フレーム内の選択された関心領域のイメージャ検出器のサンプリングレートを高めることができる光学システム６００の概略図が示される。いくつかの実施形態によれば、システム６００は、撮像デバイス６１０および処理ユニット６２０を含むことができる。システム６００は、撮像デバイス６１０が列車９０の進行方向を向くように列車９０の機関車９２に配置することができる。

いくつかの実施形態によれば、撮像デバイス６１０は、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するように構成することができる。例えば、撮像デバイス６１０により取得された画像フレームは、図１Ａおよび１Ｂに関して、上述した画像フレーム１００と同様であり得る。いくつかの実施形態において、撮像デバイス６１０は、赤外線検出器である。

画像フレームは、移動する機関車９２の前方の少なくともレール１１０を描画することができる。画像フレーム処理サイクルは、所定のフレームレートで、および画像フレーム間の所定のサイクル時間で、撮像デバイス６１０により実行することができる。例えば、図３に関して上述した、所定フレームレートＦＲ、所定サイクル時間３２０（例えば、ｔ_ｃｙｃ）および画像フレーム処理サイクル。いくつかの実施形態によれば、処理ユニット６２０は、追跡モジュール６２２を含むことができる。

いくつかの実施形態において、追跡モジュール６２２は、撮像デバイス４１０により取得した複数の画像フレームの少なくともいくつかの各々のレールを検出するように構成することができる。例えば、レールは、図１Ａに関して上述したレール１１０のようなレールであり得る。レールは、従来技術で知られた任意の技術を用いて画像フレーム内で検出することができる。例えば、レールは、（例えば、撮像デバイス６１０が赤外線検出器であるとき）レールと、それらの背景との間の温度差に基づいて検出することができる。

いくつかの実施形態において、追跡モジュール６２２は、複数の画像フレームの少なくともいくつかの、各々の検出されたレールの両側のマージンを定義するように構成することができる。例えば、マージンは、図１Ａに対して上述したマージン１２０であり得る。マージンは、レールの検出の効率／品質に従って定義することができる。例えば、レールの検出が向上すると、マージンからレールまでの距離が短くなる可能性があります。さらに、この例では、レールがうまく検出できない場合、レールからの距離を大きくしてマージンを設定し、レールの検出不良を補うことができる。

いくつかの実施形態において、追跡モジュール６２２は、列車９０の安全制動距離に基づいて、複数の画像フレームの少なくともいくつかの、各々の安全制動線を定義するように構成することができる。例えば、安全制動線と安全制動距離は、図１Ａを参照して上述した安全制動線１４２と、安全制動距離１４０と同様であり得る。安全制動距離は、例えば、列車９０の速度に基づいて決定することができる。

いくつかの実施形態において、追跡モジュール６２２は、定義されたマージンと、定義された安全制動線に基づいて、複数の画像フレームの少なくともいくつかの各々の安全ゾーンを定義するように構成することができる。例えば、安全ゾーンは、図１Ａを参照して上述した安全ゾーン１６０であり得る。

いくつかの実施形態において、追跡モジュール６２２は、定義された安全ゾーンの遠位端における複数の画像フレームの、少なくともいくつかの各々の特定関心領域（ＳＲＯＩ）を定義するように構成することができる。例えば、図１Ａに対して上述したＳＲＯＩ１８０であり得る。ＳＲＯＩは、列車９０からの距離により、列車９０を脅かす可能性のある物体を検出するための、十分な能力を保証するために、拡張された画像処理分解能が必要となる可能性がある、ゾーンであり得る。

いくつかの実施形態において、追跡モジュール６２２は、後続の画像フレームにおいて、ＳＲＯＩを定義するように構成し、それにより、（例えば、図１Ｂに関して上述したような）画像フレーム内のＳＲＯＩのロケーションを追跡することができる。いくつかの実施形態によれば、撮像デバイス６１０は、さらに、複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間、および画像フレーム取得時間の終わりと、それぞれの画像フレーム処理サイクル（例えば、図３に関して上述したような）との間の残余時間内で、ＳＲＯＩの少なくとも１つの部分データセットを取得するように構成することができる。

いくつかの実施形態によれば、処理ユニット６２０は、障害物検出モジュール６２４を含むことができる。障害物検出モジュール６２４は、フル画像フレームのデータセットおよび／またはフル画像フレーム内のＳＲＯＩの部分データセットを解析し、その解析に基づいて、レール１１０上の、および／または定義されたＳＲＯＩ内の、潜在的な物体／障害物を検出するように構成することができる。

図７を参照すると、この発明のいくつかの実施形態に従う、画像フレーム内の選択された関心領域のためのイメージャ検出器のサンプリングレートを高める、移動する列車による障害物検出の方法のフローチャート７００が示される。方法７００は、方法７００をインプリメントするように構成することができるシステム６００により、インプリメントすることができる。方法７００は、図７に図示するフローチャートおよび対応する記述に限定されないことに留意する必要がある。例えば、種々の実施形態において、方法７００は、図示したボックスまたはステージの各々を通過する必要はなく、あるいは、図示し、記述した通りの順番である必要はない。

いくつかの実施形態によれば、方法７００は、撮像デバイスにより、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得することを含むことができる（ステージ７１０）。例えば、撮像デバイスは、図６を参照して上述した撮像デバイス６１０と同様であり得る。いくつかの実施形態によれば、方法７００は、処理ユニットの追跡モジュールにより、それぞれの画像フレームのデータセットに基づいて、撮像デバイスにより取得した複数の画像フレームの少なくともいくつかの各々において、特定関心領域（ＳＲＯＩ）を定義することを含むことができる（ステージ７２０）。例えば、追跡ユニットと処理ユニットは、図６を参照して上述した追跡ユニット６２２と処理ユニット６２０と同様であり得る。ＳＲＯＩは、図１Ａおよび１Ｂを参照して上述したＳＲＯＩ１８０と同様であり得る。いくつかの実施形態において、方法７００は、さらに、（例えば、図６を参照して記載したように）複数の画像フレームの少なくともいくつかの各々において、レールを検出することを含むことができる（ステージ７２１）。

いくつかの実施形態において、方法７００はさらに（図６を参照して記載したように）複数の画像フレームの少なくともいくつかの各々において、検出されたレールの両側のマージンを定義することを含むことができる（ステージ７２２）。いくつかの実施形態において、方法７００は、さらに、（図６に関して上述したように）列車の安全制動距離に基づいて、複数の画像フレームの、少なくともいくつかの各々において、安全制動線を定義することを含むことができる（ステージ７２３）。いくつかの実施形態において、方法７００は、（例えば、図６に関して上述したように）定義されたマージンと定義された安全制動線に基づいて、複数の画像フレームの、少なくともいくつかの各々における安全ゾーンを定義することを含むことができる（ステージ７２４）。

いくつかの実施形態において、方法７００は、さらに、（例えば、図６に関して記載したように）定義された安全ゾーンにおける複数の画像フレームの、少なくともいくつかの各々における特定関心領域（ＳＲＯＩ）を定義することを含むことができる（ステージ７２５）。いくつかの実施形態において、方法７００は、さらに、（図６に関して上述したように）後続の画像フレーム内にＳＲＯＩを定義し、それにより、画像フレーム内のＳＲＯＩのロケーションを追跡することを含むことができる（ステージ７２６）。いくつかの実施形態によれば、方法７００は、（例えば、図３および図６を参照して記載したように）撮像デバイスにより、複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間であって、画像フレーム取得時間の終わりとそれぞれの画像フレーム処理サイクルの終わりとの間の残余時間内に、ＳＲＯＩの少なくとも１つの部分データセットを取得することを含むことができる（ステージ７３０）。

いくつかの実施形態によれば、方法７００は、処理ユニットの障害物検出モジュールにより、フル画像フレームのデータセットおよび／またはフル画像フレーム内のＳＲＯＩの部分データセットを解析し、その解析に基づいて、レール上のおよび／または定義されたＳＲＯＩ内の潜在的物体／障害物を検出することを含むことができる（ステージ７４０）。例えば、図６に関して上述した障害物検出モジュール６２４のような障害物検出モジュール。

有利なことに、システム６００と方法７００は、（例えば、図３に関して記述したように）所定フレームレートで撮像デバイスのフレームレートを維持しながら、フル画像フレーム内のＳＲＯＩ１８０のサンプリングレートを高めることができる。このように、システム６００と方法７００は、計算リソースを実質的にロードすることなく、かつ撮像デバイスの既存のインタフェースの使用をイネーブルにすることなく、列車を脅かす可能性がある障害物の検出確率を高めることができ、および／または誤報率を低減することができる。

上述したいくつかの実施形態によれば、画像フレームの選択された領域のより高い分解能を、撮像デバイスの所定のフレームレートまたはデータ容量を変更することなく、得ることができる。画像フレーム内の選択された部分のサイズおよびそのロケーションを決定または指示することができる。いくつかの実施形態によれば、画像フレーム内の選択された部分のサイズとロケーションは、より高い画像分解能を必要とする特定関心領域（ＳＲＯＩ）を満足するように設定することができる。

例えば、列車の線路をモニタリングし、レール上のまたはレール近くの障害物の事前警告を提供するのに使用可能なシステムの場合、画像分解能を高めることは、（図１Ａおよび１Ｂ、図６、図７）に関して上述したように）画像フレーム内で検出されたレールの遠位端を含む画像の一部に必要であり得る。ＳＲＯＩのロケーションとサイズを決定するために、追跡モジュールを使用することができる。追跡モジュールは、画像フレーム内のレールの存在を追跡するグラフィクス処理ユニットであり得る。そのような追跡モジュールは、画像処理を行うコンピュータ上で実行されるプログラムとして具現化することができる。例えば、画像フレーム内のレールの近位端（一般的には、画像の下端の中央部に近く、目立つ存在）が画像フレームの上方向に向かって追跡される場合、画像フレーム内のレールの遠位端は、相対的に低い追加計算負荷を用いて検出することができる。画像フレーム内の列車レールの遠位端の追跡の結果は、次にＳＲＯＩのロケーションとサイズに変換することができる。

この発明の態様は、この発明の実施形態に従う、方法、装置（システム）およびコンピュータプログラムプロダクトのフローチャート表示および／または部分図を参照して上述される。フローチャート表示の各部分および／又は部分図、およびフローチャート表示の部分および／または部分図の組み合わせは、コンピュータプログラム命令によりインプリメントすることができることが理解されよう。

コンピュータプログラム命令は、汎用コンピュータ、特定用途コンピュータ、または、他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを製造することができ、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／または部分図または部分に指定される機能／動作をインプリメントするための手段を作ることができる。これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または特定の方法で機能するための他のデバイスを指示することができるコンピュータ可読媒体に記憶することができ、コンピュータ可読媒体に記憶された命令は、フローチャートおよび／または部分図部分またはその部分で指定された機能／行為をインプリメントする命令を含む製品を作る。

コンピュータプログラム命令は、また、コンピュータ、プログラム可能なデータ処理装置、または他のデバイスにロードして、コンピュータ、他のプログラム可能な装置、または他のデバイス上で、一連の動作ステップを実行させ、コンピュータまたは他のプログラム可能な装置上で実行される命令が、フローチャート、および／または部分図の一部分または複数の部分で指定された機能／行為をインプリメントするためのプロセスを提供する。

上述したフローチャートと、図がこの開示の種々の実施形態に従うシステム、方法およびコンピュータプログラムの可能なインプリメンテーションのアーキテクチャ、機能性、及び動作を図示する。この点に関して、フローチャートまたは部分図内の各部分は、指定した論理機能（複数の場合もある）をインプリメントするための１つまたは複数の実行可能な命令を含む、モジュール、セグメント、またはコードの一部を表すことができる。いくつかの代替インプリメンテーションにおいて、部分に示される機能は、図に示した順番から外れて生じる可能性がある。例えば、連続して示されている２つの部分は、実際には、実質的に同時に実行することができるか、あるいは、これらの部分は、逆の順序で実行することもできる。部分図および／またはフローチャート表示の各部分、および部分図および／またはフローチャート表示の部分の組み合わせは、指定された機能または行為を実行する特定用途ハードウェアベースシステム、あるいは、特定用途ハードウェアとコンピュータ命令の組み合わせによりインプリメントすることができることに留意する必要がある。

上記記述において、一実施形態は、この発明の一例またはインプリメンテーションである。「一実施形態（one embodiment）」、「一実施形態（an embodiment）」、「ある実施形態」または「いくつかの実施形態」という種々の表現は、必ずしもすべてが同じ実施形態を指しているわけではない。この発明の種々の特徴を一実施形態のコンテキストにおいて記載し得るけれども、これらの特徴は、また別個にまたは任意の適切な組み合わせで提供することもできる。逆に、この発明は明瞭さのために別個の実施形態のコンテキストにおいて、ここに記載することが出来るけれども、この発明はまた、単一の実施形態でインプリメントすることも出来る。この発明のある実施形態は、上述した異なる実施形態からの特徴を含むことができ、ある実施形態は、上述した他の実施形態からのエレメントを組み込むことができる。特定の実施形態のコンテキストにおいて、この発明のエレメントの開示は、特定の実施形態のみの使用に限定されると理解されるべきではない。さらに、この発明は、種々の方法で実行または実施することができ、この発明は、上述した実施形態で説明した実施形態以外の、ある実施形態でインプリメントすることができることが理解されねばならない。

この発明は、これらの図または対応する記述に限定されない。例えば、フローは、各図示したボックスまたは状態を通過する必要はなく、あるいは、図示および記載したのと全く同じ順番である必要はない。ここに使用した技術的および科学的用語の意味は、そうでないと定義されない限り、この発明が属する当業者によるものとして一般的に理解されるべきである。この発明を限られた数の実施形態に関して記載したが、これらは、この発明の範囲を限定するものとして解釈されるべきではなく、むしろ、好適実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、変更および応用も、この発明の範囲内である。従って、この発明の範囲は、以上述べたものに限定されるべきではなく、添付された請求項およびそれらの法的均等物により限定される。

Claims (6)

1. 関心のある選択領域のイメージャ検出器のサンプリングレートを高めるシステムにおいて、
   撮像デバイスと、
   前記撮像デバイスと通信する処理ユニットと、
   を備え、前記撮像デバイスは、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するように構成され、
   前記処理ユニットは、前記それぞれの画像フレームの前記データセットに基づいて、前記複数の画像フレームの少なくともいくつかの各々において、特定関心領域（ＳＲＯＩ）を定義するように構成され、
   前記撮像デバイスは、さらに、前記複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間であって、画像フレーム取得時間の終わりと、前記それぞれの画像フレーム処理サイクルの終わりとの間の残余時間内に、前記ＳＲＯＩの少なくとも１つの部分データセットを取得するように構成される、システム。
2. 前記撮像デバイスが、列車の進行方向に向かうように、前記列車の機関車に配置され、前記処理ユニットは、
   前記複数の画像フレームの少なくともいくつかの各々におけるレールを検出し、
   前記複数の画像フレームの少なくともいくつかの各々における検出されたレールの両側のマージンを定義し、
   前記列車の安全制動距離に基づいて、前記複数の画像フレームの、少なくともいくつかの各々において安全制動線を定義し、
   前記定義されたマージンおよび前記定義された安全制動線に基づいて、前記複数の画像フレームの、少なくともいくつかの各々において安全ゾーンを定義し、
   前記定義された安全ゾーンの遠位端において、前記複数の画像フレームの少なくともいくつかの各々において前記ＳＲＯＩを定義する、
   ように構成された追跡モジュールを備えた、請求項１に記載のシステム。
3. 前記処理ユニットは、
   前記フル画像フレーム内の、前記ＳＲＯＩの少なくとも前記部分データセットを解析し、
   前記解析に基づいて、レール上の、または前記定義されたＳＲＯＩ内の潜在的な物体／障害物を検出する、
   ように構成された障害物検出モジュールを備えた、請求項２に記載のシステム。
4. 選択された関心領域のためのイメージャ検出器のサンプリングレートを高める方法において、
   撮像デバイスにより、対応する複数の画像フレーム処理サイクルを実行することにより、対応する複数の画像フレームの複数のデータセットを取得するステップと、
   処理ユニットにより、前記それぞれの画像フレームの前記データセットに基づいて、前記複数の画像フレームの少なくともいくつかの各々において、特定関心領域（ＳＲＯＩ）を定義するステップと、
   前記撮像デバイスにより、前記複数の画像フレーム処理サイクルの、少なくともいくつかの各々の期間であって、画像フレーム取得時間の終わりと前記それぞれの画像フレーム処理サイクルの終わりとの間の残余時間内で、前記ＳＲＯＩの少なくとも１つの部分データセットを取得するステップと、
   を備えた、方法。
5. 前記処理ユニットの追跡モジュールにより、前記複数の画像フレームの、少なくともいくつかの各々においてレールを検出するステップと、
   前記追跡モジュールにより、前記複数の画像フレームの少なくともいくつかの各々において前記検出されたレールの両側のマージンを定義するステップと、
   前記追跡モジュールにより、前記列車の安全制動距離に基づいて、前記複数の画像フレームの、少なくともいくつかの各々において安全制動線を定義するステップと、
   前記追跡モジュールにより、前記定義されたマージンと、前記定義された安全制動線とに基づいて、前記複数の画像フレームの、少なくともいくつかの各々において安全ゾーンを定義するステップと、
   前記追跡モジュールにより、前記定義された安全ゾーンの遠位端において、前記複数の画像フレーム野少なくともいくつかの各々において前記ＳＲＯＩを定義するステップと、
   をさらに備えた、請求項４に記載の方法。
6. 前記処理ユニットの障害物検出モジュールにより、前記フル画像フレーム内の前記ＳＲＯＩの、少なくとも前記部分データセットを解析するステップと、
   前記障害物検出モジュールにより、前記解析に基づいて、レール上の、または前記定義されたＳＲＯＩ内の潜在的物体／障害物を検出するステップと、をさらに備えた、請求項５に記載の方法。
   
   

Images