JP2021523507A - 受動型赤外線歩行者検出および回避システム - Google Patents

Abstract

道路上での車両の運転を向上させるための受動型赤外線歩行者検出および回避システムおよび方法、具体的には、走行中の車両の潜在的な歩行者/車両衝突の危険性を認識し、それに応じて車両の位置および運転を調整するためのシステムおよび方法は、車両の運転システムに接続された画像プロセッサと動作通信を行う、車両に取り付けられた少なくとも１つの受動型赤外線センサーアレイを含んでいる。システムは、熱画像および熱画像処理を用いて、車両の走行車線内にいるか車線を横断している人間の存在を検出する。画像プロセッサは、人間の熱的特徴の検出を分析し、検出された人間の熱的特徴がどの方向にどのぐらいの速度で動いているかを特定して、歩行者またはバイカーに対する潜在的な脅威を評価し、さらに衝突を回避するために車両の運転への応答動作が必要かどうかを判断する。
【選択図】図１

Description

本発明は、一般に、自律走行車両ならびに手動運転車両の運転を向上させることに関するものであり、より具体的には、特に車両と歩行者との往来において、走行中の車両が歩行者に対して危険となりそうな状況を特定し、それに応じて車両の位置および運転を調整することで車両と歩行者との間の危険な相互動作を防止し、さらには歩行者およびバイカーに差し迫った衝突を警告するためのシステムおよび方法に関する。

多くの企業が、様々な用途、たとえば、限定するわけではないが、個人のタクシーサービス、配達サービスなどを含む用途のために、既存の道路上での商用および個人用の自律走行車両の開発を進めている。本発明によれば、自律走行車両とは、人間の運転手がいなくても走行できる車両である。このような車両は、人間の運転手がいるかのように車両を運転、操縦、制動、さらには操作するように設計された車載コンピュータやセンサーシステムを利用して走行できるように設計されている。タクシー、バス、配達用バンのネットワークと同様に、多くの自律走行車両がまもなく利用可能になると想定されており、これにより、ユーザーは自律走行車両に乗客の送迎、荷物の集荷、輸送、配達などを要望に応じて依頼することができるようになる。あるいは、ユーザーは個人用の自律走行車両を所有し、職場への通勤や用事のために用いたり、学校へ子供を送ったり、旅行の際に用いるなど、日常のタスクに使用することが可能となる。

開発およびテスト段階にある現在の自律走行車両は、人間の運転手がいなくても車両を完全に操作できるように、一般に複数のシステムを利用している。まず、標準的なＧＰＳシステムを使用して、車両のルートを設定する。ＧＰＳシステムは、移動の出発地と目的地、および交通状況、通行止め、気象条件、優先ルート、有料道路などの他の要因を考慮して、車両が通る最適なルートを決定する。ただし、安全で効率的な走行のために、自律走行車両には、車両の走行中にルートに沿った動的な状態を認識するシステムも必要である。このようなシステムは、拡張ＧＰＳシステムと呼ばれ、カメラ、センサー、レーダー、ライダー（ＬＩＤＡＲ）、レーザーなどの一連のテクノロジーを利用して、走行中の車両の周囲の３次元的な視界を提供する。このようなシステムは、車両周辺の他の車を把握し、車両の周囲または前方の道路上あるいは前後左右から車両に接近する障害物や危険を検出し、道路または走行車線の端の位置、先にある曲がり角、上り坂または下り坂を特定し、車両の前方、後方、および周囲の一般的な道路状況を判断することができる。

自律走行車両はまた、ＧＰＳシステムおよび拡張ＧＰＳシステムから提供された情報を処理し、処理された情報を車両の走行に利用するために、車内に集中処理システムを必要とする。このような一般的に利用されるシステムには、一般に、ＧＰＳシステム、拡張ＧＰＳシステム、およびその他の自律走行車両用の運転システムと通信して連携動作を行う車両内のコンピュータエリアネットワーク（ＣＡＮ）バスが含まれる。

非自律走行車両も人間の運転手をバックアップするために同様のテクノロジーを利用している。たとえば、車両においては、ここ数十年様々な形態のクルーズコントロールが用いられている。最近では、車両の縦列駐車を自律的に行うシステムが搭載されている。現在、多くの最新式の車には、高速道路で車が車線から外れ始めたときに運転手を支援したり、前方の車に近づきすぎた場合にブレーキをかけたり、前方の道路に物体がある場合には運転手に警告したりするシステムが装備されている。

自律走行車両に搭載された誘導システムが人間の運転手の知覚および分析／意思決定能力に匹敵するかそれを超えるまで、完全自律走行車両がその周囲の状況に適切かつ動的に応答または反応するための能力を挫折させるような状況が日常的に数多く存在する。さらに、自律走行車両が安全かつ効率的な走行のために既存の運転システムおよびセンサーを問題なく信頼し、本質的にすべてのリスクを排除できるようになるまで、一般の人々はそのような車両の真の自律運転に対して完全な信頼を置こうとはしないであろう。実際、「現実の」自律走行車両のテストでは、車線を横断する車両、歩行者、またはバイカーが引き起こす状況に対して、既存の誘導システムやセンサーが適切かつ適時的に検出、認識および／または応答ができなかったことで、誘導の失敗や事故などが多数発生したことや、「誤った」指示が高い確率で表示されたことが示されている。自律走行車両や手動運転車両の両方において多数の誘導システムやセンサーが設けられている場合でも、さまざまな理由で歩行者および／またはバイカーとの往来における相互動作を特定して回避することに失敗している。

様々な光学ベースの自動車用および/または自律走行用誘導システムおよびセンサー（たとえばビデオ、ＬＩＤＡＲなど）は、理想的な視覚条件下では十分にその機能を発揮するが、その性能は、雨、降雪、霧などの最中や直後あるいは車外が暗い場合や道路の照明の少ない場所などの悪環境条件下、あるいは歩行者が衣服、肌の色、天候、まぶしい太陽光などによって周囲に溶け込んでいるような場合でも、使用できないレベルまで低下する可能性がある。加えて、既存のレベルの「車載」センサー、カメラ、デバイス、およびインターフェースによって、自律走行車両の運転における特性をある程度変えることができるが（たとえば、予期しない障害物および／または他の車両に対してブレーキをかけること、車線から外れた場合に車両を操縦することなど）、現在、自律走行車両が歩行者の往来を認識するのを支援し、さらにその歩行者がいつ車両に対して問題となる動作を起こすのかを特定し、またそのような車両がそうした問題となる動作を防ぐための行動を自動的にとるのを支援するには、特有の重大な問題がある。したがって、自律走行車両の走行があらゆる条件下で安全かつ効率的となるように、既存の光学ベースの誘導システムおよびセンサーを改善する必要がある。

さらに、通常とは異なる、予期および予測の難しい状況を考慮して、リアルタイムの意思決定を車両に行わせることは本質的に難しいため、あらゆる条件下で車両を自律的に運転することは極めて困難であることは実証済みである。理想的な周囲条件下であっても、車両のＣＡＮバスはかなりの数のセンサーと連繋する必要があり、非常に短い時間の中で予測されたおよび／または通常とは異なるもしくは予測の難しい物体が存在することを車両が運転中に認識し、実際に検出し、確認し、適切に応答しようとするだけでも大きな分析処理能力が必要となる。本発明の主な目的は第１に「人間」を検出することであるので、無数に存在する「人間」を示す表現のすべてを車載のデータベースには保持できないことから、従来の光学的な手段では失敗する場合が多い。この例としては、非常に多くのバリエーション、すなわち、車椅子で自分自身を押している人間、別の人間に押されている車椅子の人間、自転車の脇に立っている横から見た人間、バックパックを背負った横から見た人間、などの中から「人間」を認識しようとするビデオプロセッサが挙げられる。さらに、車両が物体または状況を認識できたとしても、何が適切な応答処理なのかを車両に理解させようとすることは依然として困難である。自律走行車両による適切な応答を必要とする潜在的な状況はほぼ無限にあるため、車載処理能力および車内のデータベースサイズの制約や応答に利用できる実際の時間が非常に短いことを考えると、改めてこれが不可能ではないにしても非常に困難であることがわかる。未知または予測が難しい状況が非常に多いことを考えると、自律走行車両を誘導するより良い手法が依然として必要であり、まずするべきことは、未知の、予期および予測するのが難しい状況および誘導の調整が必要かを車両が検出および認識できる速度、効率、および有効性を改善することである。

したがって、道路上の未知の、予期および予測が難しい状況または状態を認識し、既存の動的な誘導システムの欠点や制限を克服できる、自律走行車両の運転のための改善されたシステムが必要である。さらに、人間が歩行者、ランナー、バイカーのいずれであっても、人間が関与する未知の、予期および予測が難しい状況あるいは人間が走行中の車両の予測走行経路上に侵入して車両と衝突するような状況に対応して、車両の安全で効率的な運転を支援できる、特定の「人間」の検出と分析のために設計された赤外線画像センサーを利用するシステムが必要である。

本発明は、一般に、道路上での自律走行車両または手動運転車両の運転を向上させるための受動型赤外線ベースの歩行者検出および回避システムに関する。本発明の実施形態によれば、車両または運転手が、道路上の予測経路を走行中の車両などの移動中の車両と歩行者またはバイカーとの潜在的な相互動作を検出および認識することを支援するための優れた手法が本システムによって提供される。

本発明によるシステムの動作の中心は、前方視ＩＲセンサーなどの様々な車両センサーと常時通信を行う中央ＣＡＮバスユニットを介するなどして車両の運転システムに接続された画像プロセッサと動作通信を行う、車両に取り付けられた少なくとも１つの前方視受動型赤外線（ＩＲ）画像センサーを、分析および出力処理のために、好ましくは即時にリアルタイムで使用することにある。動作時には、本発明によるシステムは、人間が歩いているか、走っているか、または自転車に乗っているか、すでに車線内にいるか、横断しているか、または車線に進入しようとしているかなどの、人間の特徴を示す特別に選択およびフィルタ処理された熱波長を即座に検出し、さらにその侵入に即座に応答する手段を、自律走行車両または手動運転車両に提供する。画像プロセッサは、人間を示す熱的特徴の検出を検索および分析し、検出された人間の熱的特徴が、どの方向およびどれぐらいの速度で動いているかを特定して、車両または歩行者に対する現在または今後の脅威を評価し、さらに、双方の相互動作を回避するための応答動作を車両の運転に対して開始する必要があるかどうかを判断する。このシステムは、すでに走行車線にいる静止した人間に車両が向かっているかどうかを特定することもできる。この情報は、例えば、手動運転車両のフロントガラスに「ヘッドアップ」表示またはその他の位置のグラフィック表示もしくは警告表示を提供するために、または自律走行車両の運転システムおよび／またはナビゲーションシステムへのデータ入力として使用できる。自律走行車両で使用することが好ましいが、本発明のシステムは、運転手を支援するための警報および／または自動補助システムとして、人間が運転する車両で使用することもできる。

本発明の一実施形態では、移動している車両の運転に役立つように、横方向に移動しそうな人間ならびに走行車線にすでに存在している人間を認識し、それに応じて車両の運転を調整するための方法は、車両に取り付けられた赤外線センサーアレイなどを介して熱画像を用いて道路の側方もしくは道路上の人間の熱的特徴を検出することと、検出された人間の熱的特徴が特定の位置にあるか、または衝突事故が発生しかねない方向に移動しているかを車両と歩行者との両方の方向および速度に基づいて特定することとを備えている。この方法はさらに、車両の運転に対して応答動作が必要か判断し、そのような動作が必要であると認識された場合には車両の運転に対して応答動作を行うことを備えている。

本発明の別の実施形態では、移動している車両に対する横方向に移動している人間の危険を認識し、それに応じて車両の運転を調整するためのシステムは、熱画像を用いて道路の側方の人間の熱的特徴を検出するための熱画像センサーアセンブリを備えている。このシステムはさらに、人間の熱的特徴が道路に向かう方向に移動しているかどうかを特定し、車両の運転に対して応答動作が必要かを判断するための熱画像センサーアセンブリと動作通信する画像プロセッサを備えている。このシステムはさらに、そのような応答動作が必要であると認識された場合に車両の運転に対して応答動作を行う画像プロセッサと動作通信する中央車両制御システムを備えている。

本発明によれば、前述の車両への応答は、車両の「運転支援」ステアリングシステムへの直接入力の提供および／または車両のブレーキシステムの自動起動という形をとることができる。このシステムは、特に周囲条件が厳しいときに車両上の他のセンサーや誘導システムの補助となるように設計されており、自律走行車両の自律誘導システムを向上させることができる。

本発明によるシステムは、手動運転車両および自律走行車両の両方において機能することができる。

上述のように、画像プロセッサを用いて、道路の側方にいる人間の存在を検出することもでき、さらに重要なこととしては、そのような人間が道路の側方から近づいていることを検出できる。より好ましくは、本発明によるシステムを使用する画像プロセッサは、道路の側方で検出された物体が、どの方向に、どれぐらいの速度で移動しているかを特定し、それに応じて車両の運転を調整することができる。

本発明の目的、特徴、および利点については、添付の図面によって明示される実施形態およびその特徴の説明から明らかになる。

本発明の実施形態によるシステムを用いて車両に対する直接または横方向の人間の脅威を検出している、道路上の車両を示す図である。 本発明による受動型赤外線歩行者回避システムの第１の実施形態を示す概略図である。 本発明による横方向脅威検出方法の実施形態を示すフローチャートである。 本発明による横方向脅威検出方法の別の実施形態を示すフローチャートである。 本発明の代替の実施形態によるシステムを用いて車両に対する横方向の脅威を検出している、道路上の車両を示す図である。 本発明による受動型赤外線歩行者回避システムの第２の実施形態を示す概略図である。

図１および図２を参照して、本発明による受動型赤外線歩行者回避システムの第１の動作モードを説明する。図１に示されるように、車両１００は、一般に、道路１０４上の走行車線１０２内を走行する。参照番号１０で示されるシステムは、参照番号１０６として示され、車両１００の前部に外側に向けて取り付けられている少なくとも１つの前方視受動型ＩＲ画像センサーまたはセンサーアレイを備えており、車両１００が移動する際に、ＩＲセンサー１０６によって、車両の走行車線１０２内のあるいは車両の予測経路に向かって進んでいる、人間の熱プロファイルを含む任意の静止しているまたは移動している物体１０８を検出できる。

本発明の好ましい実施形態では、図１に示されているように、単一の前方視ＩＲセンサー１０６が、車両１００に、好ましくは車両１００の前部に、より好ましくは車両１００の前部の中央に取り付けられ、それにより、車両１００の両側に対して、車両１００の前方の道路１０４の左端および右端にある移動している物体１０８、ならびにすでに車両の経路上にある移動しているまたは静止している任意の物体１０８を検出することができる。そのような前方視ＩＲセンサー１０６は、車両の前進速度に応じて分析されるセンサーのピクセルの数および面積を動的に変化させることができる。高速の場合には、ＩＲセンサー１０６に関連する画像プロセッサ１１０は、センサー１０６の中央領域を優先させ、車両の速度が低下するにつれて、分析されるピクセルの数および面積を増加してセンサーの関心領域を実質的に広げることができる。低速の場合には、分析領域は一般に、車両１００の前方の比較的近い範囲、すなわち、車両１００の中心線から約±４５度以内でＩＲセンサー１０６から車両１００の前方約１０から２０フィートの範囲をカバーし、移動している車両１００の前方の道路１０４または走行車線１０２の左側および右側の画像を取得できる。最適には、各ＩＲセンサー１０６は、本発明に従って横方向に移動する物体を識別できる動的基準場、例えば、少なくとも６４０×４８０を実現するために、比較的大きなピクセルアレイを有している。熱受容ウィンドウのセンサーピクセルの数と面積とは、周囲温度や気象条件、道路の状態、または車両に対する物体の動きに応じて動的に変化させることもできる。

車両１００に設けられた熱画像センサーアセンブリの代替の構成では、複数の前方視ＩＲセンサー１０６を、車両１００に、好ましくは車両１００の前方端に取り付けることができる。そのようなＩＲセンサー１０６は、互いに独立して、重複および／または冗長するように、機能的に動作することができる。本発明の実施形態では、図５および６に示されるように、車両１００は、前方視するように車両１００の前方の道路／走行車線の右端に向けられた専用の右側ＩＲセンサー１０６Ｒおよび前方視するように車両１００の前方の道路／走行車線の左端に向けられた専用の左側ＩＲセンサー１０６Ｌを備えてもよい。そのような実施形態では、センサー１０６Ｒおよび１０６Ｌは、移動している車両１００から前方にある物体を検出できるように、車両１００の前方端に配置するか、または車両１００から前方を向くように車両１００の側面にそれぞれ配置することができる。より好ましくは、センサー１０６Ｒおよび１０６Ｌは、車両１００の移動や速度に配慮し、さらには、横方向に移動する脅威が検出された際に車両１００がとることのできる適当な応答動作を考慮しながら、近づいてくる物体１０８（例えば、図に示すように歩行者および自転車に乗っている人）を予測的に検出できる向きに車両１００の側方に設けることができる。

さらに別の実施形態では、車両１００は、システムの検出領域を最適化するために、それぞれが好ましくは前方視型の、前方および側方のＩＲセンサー１０６を組み合わせて備えていてもよい。この場合も、そのようなＩＲセンサー１０６は、互いに独立して、重複および／または冗長するように、機能的に動作することができる。複数のＩＲセンサー１０６を使用することで、変動する車両速度を補整するのを助けたり、車両１００の速度、物体１０８の速度、周囲の照明条件、道路の状態、気候条件などに関係なく、実際のおよび潜在的な脅威を迅速に認識したりすることが可能となる。

本発明に関するＩＲセンサーの説明およびＩＲセンサーアレイの説明は、互いに置き換え可能あることが意図されており、本発明による各実施形態は、車両１００の前方を歩いている歩行者などの車両１００に対する潜在的な脅威に関して、移動している車両１００の前方の道路／走行車線の側方を監視するように動作する単一のセンサーならびにセンサーアレイまたは一式のセンサーを用いる状況をカバーしている。

図２に示される概略図を参照すると、ＩＲセンサー１０６は、中央ＣＡＮバスユニット１１２などを介して車両１００の運転システムに接続されたビデオプロセッサなどの画像プロセッサ１１０と動作通信している。ＣＡＮバス１１２は、分析および出力処理のために、好ましくは即時にリアルタイムで、検出されたデータに基づいて、ＩＲセンサー１０６などの様々な車両センサーと常時通信していることが好ましい。画像プロセッサ１１０は、熱的に検出された物体が道路１０４内にあるか、または道路１０４に入ってきそうかどうかを分析する前に、通常の人間の熱プロファイル（例えば、華氏約９８．６°）を示す狭いまたは事前に定義された熱受容ウィンドウから外れている物体を除去する。周囲温度または気象条件、道路状況、照明条件、車両速度などに応じて、受容ウィンドウを動的に拡大または縮小、および／または熱中心点を変更することができる。

動作時には、移動している車両１００への横方向に移動する危険を認識し、それに応じて車両１００の運転を調整する方法は、最初に、道路１０４の側方、道路１０４に向かっている途中、または車両１００の予測進路における道路１０４上の人間の熱的特徴に関連する物体１０８を、熱画像（たとえば、ＩＲセンサー１０６や画像プロセッサ１１０）を用いて検出することを含んでいる。条件を満たす物体１０８すなわち潜在的な「脅威」を検出および選択すると、システム１０は、まず、車両の前進速度によって動的に修正されるように、目標基準を満たす適格ピクセルの数を特定する。車両の前進速度に対する目標ピクセルの変化率によって、車両１００が潜在的な物体１０８にどれだけ近いかが特定される。次に、システム１０は、物体１０８がすでに道路の走行車線１０２内にあるか、または道路の走行車線１０２に向かう方向に動いているのか、さらにはどれぐらいの速度なのかを特定し、車両の運転に対する応答動作が必要かどうかを判断する。

システム１０が、人間の熱的特徴を満たした物体１０８の車両１００に対する動きを追跡している間、画像プロセッサ１１０は代替のモード、すなわち、条件を満たした物体１０８が車両１００に対して動いておらず車両１００が静止している条件を満たした物体１０８に向かって進んでいる場合に、画像プロセッサ１１０が人間の熱プロファイル基準を満たしたグループの中の隣接するピクセル（「適格ピクセル」）の数をカウントし、その適格ピクセルの数の増加を、条件を満たした物体１０８へ向かう移動ととらえるモード、で動作することもできる。応答動作を開始するのに必要な前述の適格ピクセルの数的閾値は、車両の速度および／またはセンサーアレイ上の適格ピクセルの位置に応じて、画像プロセッサ１１０によって動的に変更され得る。

応答動作が必要であると判断された場合、システム１０は、車両のステアリングシステム１１４に調整入力を提供すること、車両のブレーキシステム１１６を起動させること、車両のクラクションの作動といった車両１００に関連する可聴警報１１８を鳴らすこと、および／または車両のヘッドライトの点灯といった車両１００に関連する視覚的警報１２０を起動させることなどの応答動作を車両の運転に対して開始する。手動運転車両１００の場合、車内可聴警報、触覚的フィードバック、および／または運転手の前方のフロントガラス上の警報表示などを追加で提供してもよい。

人間の熱的特徴が車両１００に、例えば、車両１００の方向および速度に基づいて予測される車両の走行経路に潜在的に近づく方向に動いているかどうかを特定する工程は、まず、人間の熱的特徴がその最初の検出時に移動または静止しているかどうかを特定すること、次に、移動している場合には、人間の熱的特徴の方向が道路１０４に概して直交しているかどうかを特定すること、さらには、移動が道路の走行車線１０２に向かっているかどうかを特定することを含んでいる。応答動作が必要かどうかを判断する工程は、ターゲット１０８の移動の速度および方向を特定することおよび／またはターゲット１０８が車両の予測経路の近くにいるか、もしくはすでにその中にいるかを特定することを含んでいる。たとえば、システム１０は、隣接する適格熱ピクセルが増加して、近接応答閾値を表す数的閾値に達したことを示すことができる。これに関して、以下でより詳細に説明するように、周囲温度、気象条件、道路状況、車両速度などの他の要因を分析して、応答アルゴリズムの閾値を変更することができる。

本明細書では自律型車両または自動運転車両に関連して使用するために説明されているが、本発明のシステム１０は、準自律モードを有する手動運転車両において、あるいは、人間の運転手への冗長的なバックアップとしても使用できる。例えば、検出された人間の熱的特徴情報および提案された修正動作は、例えば、手動運転車両１００上の「ヘッドアップ」表示または重畳ディスプレイ表示１２２として、または車両１００のナビゲーションシステムや自動ブレーキシステム１１４および１１６へのデータ入力として、提供することができる。運転手が、車両の位置および速度を手動で調整してもよく、あるいは、車両１００が、車両の運転に対する横方向に移動する脅威の継続的な監視に基づいて、車両の位置、速度、およびブレーキを自動的に調整することもできる。システム１０が運転手による応答入力を検出した場合、運転手が全体的な車両の制御に集中している間、システム１０は、可聴および視覚信号システム１１８および１２０を介して、検出されたターゲットに警告することに集中することができる。

前述のように、画像プロセッサ１１０を用いて、道路１０４の側方における人間の熱プロファイルの存在を、より重要なことには、そのような人間が道路１０４を横断することを検出することができる。より好ましくは、本発明によるシステム１０を使用する画像プロセッサ１１０は、熱画像を用いて道路／走行車線の側方にある標的物体１０８の存在を検出できるだけでなく、物体１０８がどの方向に、どのぐらいの速度で移動しているのかを特定し、それに応じて車両１００の運転を調整することもできる。車両１００の安全な運転のために応答動作が必要かどうかおよびどのような応答動作が利用可能であるかを特定する際に、システム１０は、検出された人間の熱的特徴に対する車両１００の速度および位置、道路１０４上の車両１００の位置（たとえば、複数車線道路上の外側車線または内側車線）、特定の走行車線１０２内の車両１００の位置、システムの応答時間および状況に適切に応答するのに必要な距離に関するブレーキ力に影響を及ぼす可能性のある周囲の気象条件などを考慮して、検出された人間の熱的特徴が車両１００に衝突する可能性があるかどうかを予測することができる。

本発明によれば、図３に示されるような同時分析モードが自律走行車両１００に利用可能である。動作時には、システム１０は、独自のアルゴリズムを使用して、人間の熱的特徴を有する物体１０８（たとえば、歩行者、路傍の人、バイカー、人が乗っている車椅子）、すなわち、おおよそ華氏９８．６°の「名目上の」人間の体温である熱的特徴を示す物体の位置を最初に検出する。続いて、アルゴリズムによって、前述の熱範囲内の検出された人間の熱的特徴（歩行者またはバイカーなどを示す）が、車両の走行領域にすでに位置しているか、その中を移動しているか、またはそこに向かって移動しているか、あるいは指定された自転車レーン内または道路の脇などを安全な方法で移動しているかどうかを特定する。温度と相反する移動基準との両方が同時に満たされている場合、論理回路出力によって、車両のブレーキシステム１１６を起動することおよび／またはステアリング制御システム１１４にバイアスをかけて車両１００を衝突するまたは衝突する可能性のある物体１０８から離れる方向に向けなおすことなどの応答動作が、自律走行車両１００において自動的に開始される。さらに、モードが起動すると、システム１０は、車両のクラクション１１８およびライト１２０を特徴的な方法で起動して、注意散漫な歩行者（モバイル機器を見ている人など）、視覚障害のある歩行者、および道路上で物体の後ろを走っている子供などに視覚的および聴覚的に警報を発したり警告したりすることもできる。システム１０のさらなる実装においては、Ｂｌｕｅｔｏｏｔｈ、Ｖ２Ｐ、またはその他の信号伝達手段を介して、そのような安全信号を受信するように装備されたエリアモバイル機器に警告信号を送信してもよい。

動作時には、画像プロセッサ１１０は、具体的には、移動している車両１００の進路上の道路に侵入しそうなおよび／または侵入してきている人間の熱的特徴の直交または斜め方向の移動があるか、あるいは道路１０４または走行車線１０２内に静止している人間の熱的特徴があるかを検出して特定しており、同時に、典型的には歩道または道路の端あるいは路肩に沿って歩いたり走ったりしているバイカーや歩行者などの、完全に平行な「体温」の移動については反応しない。これらの平行に移動する物体に関しては、すでに走行車線または歩行者/車両の衝突領域にあるかまたはそこに入ってくる可能性がある場合を除いて、車両のステアリングおよびブレーキシステムへの画像プロセッサからの出力を供給せず、ブレーキシステム１１６の不時または早計な起動あるいはステアリングシステム１１４による不時または早計なステアリング調整を回避している。人間の熱的特徴を除いた熱的物体の検出については、人間の熱プロファイル以外の基準に基づいて適切な応答を行うＬＩＤＡＲや近接センサーなどの他の検出システムによって検出されるため、通常は反応しない。

図３を参照すると、本発明によるシステム１０を用いるＩＲ横方向検出プロセスが示されている。好ましい実施形態では、システム１０は、車両１００が稼働したとき、さらにより好ましくは、車両１００が動いているときにのみ起動し動作する。ブロック２００において、車両１００が稼働し、システム１０が、好ましくは車両の稼働に伴って起動される。ブロック２０２において、システム１０は、車両の運転システムに問い合わせて、車両１００が稼働しているかどうかを特定する。そうでない場合、システム１０は、ブロック２０４に示されるように、実際に車両が稼働するまで、繰り返し稼働についての問い合わせを継続する。車両１００が稼働していることがシステム１０に通知されると、すでに起動されて適格ターゲット１０８を検索および／または検出しているＩＲセンサー１０６および動作アルゴリズムの出力が分析され、ブロック２０６において情報を車両の運転システムに送ることが許可される。上記のように、車両１００は、車両１００の前部中央に配置された単一のＩＲセンサー１０６を備えており、車両１００の前方正面および車両１００の両側から車両の経路に接近してきている前方の物体１０８を検出することができ、あるいは、車両１００のそれぞれの側部に配置された２つのＩＲセンサー１０６Ｒおよび１０６Ｌと連携して、移動している車両１００の前方の道路１０４の両側をそれぞれ監視して、物体１０８を検出することができる。

熱的特徴が検出された場合、システム１０は、ブロック２０８において、名目上華氏９８．６°を中心とする動的適格熱ゲートを通過させることによって、検出された熱的物体が、人間の熱プロファイルの特徴を示しているかどうかを特定する。そうでない場合、システム１０は、物体に対して反応せず、再びブロック２０４で、他の検出された熱的特徴の検索および適格性の判断を継続する。しかしながら、物体１０８が所定の人間の熱範囲内にある場合、それは有効な検出された人間の熱的特徴として分類され、システム１０は、ブロック２１０に示されるように、前述の人間の熱的特徴が動いているかどうかを特定する。動きが検出されず、物体１０８が走行車線１０２または車両の経路の外側にある場合（ブロック２１２）、システム１０は、車両１００に応答動作を行わせるための通知をせず、これらおよび他の人間の熱的特徴ターゲットの移動状態の変化を継続して監視する（ブロック２０４）。動きが検出されず、物体１０８が走行車線１０２内にある場合、システム１０は、必要に応じて、現在の位置を保持する、または車両の運転を調整するなどの応答動作をとるように車両１００に通知する（ブロック２２６）。動きが検出されず、物体１０８が走行車線１０２の脇または路肩に安全に隣接しているか、またはその中にある場合、システムは応答動作を行わない。さらに、動きが検出された場合、システム１０は、ブロック２１４において、動きの方向、例えば、車両の現在および予測される走行経路に平行な人間の熱的特徴の動きなのか、車両の走行経路から離れる動きなのか、または車両の予測走行経路に向かう動きなのかを、特定する。これに関して、システム１０は、最初に、動きが車両１００と平行であるかどうかをブロック２１６で特定する（例えば、道路の脇の専用レーン内を歩いているか自転車に乗っている人を示す）。そのような動きが平行である場合、システム１０は、人間の熱的特徴が車両１００の走行経路から切迫した危険ではないと判断し、このおよび他の熱的特徴の変化に関する監視に戻る（ブロック２０４）。システム１０は、検出された人間の熱的特徴の動きに対する追跡を継続し（ブロック２１８）、その動きの方向が脅威と見なされる可能性のある方向にシフトするかどうか、例えば、自転車に乗っている人が道路１０４を横切って走行車線１０２に入ってくるかどうかを、物体１０８がＩＲセンサー１０６の視野から外れるまで認識する。そのような動きが検出された場合、システム１０は、実際の脅威レベルを再び評価し（ブロック２２０）、以下で説明するように、応答動作が必要かどうかを特定する。

人間の熱的特徴が検出され、システム１０が検出された人間の熱的特徴の動きがあるかどうかを特定しているこの段階において、システム１０は、動的な横方向角度受容ウィンドウを用いることで、横方向角度受容ウィンドウの外側にある低速で横方向に移動している温度的に適格とされた物体によって、システム１０が誤って稼働されることを防ぐことができる。すなわち、横方向角度受容ウィンドウは、車両１００の現在の速度および検出された人間１０８の速度に応じて、道路１０４から非常に遠くにあるか、計算上車両１００が検出された物体１０８のそばを通過するときの危険とならない潜在的な脅威を排除することができる。角度ウィンドウは、移動している車両１００の中心線から定義され、例えば、車両の中心線から±４５度である。横方向受容ウィンドウの幅は、低速ではより狭く、高速ではより広くなるといったように、車両１００の速度に比例して調整できることがより好ましい。

動きが道路１０４に対して概して直交していると検出された場合、ブロックで２２０において、システム１０は、動きが道路１０４に向かって移動しているか、または道路１０４から離れるように移動しているかを特定して、検出された人間の熱的特徴に対する脅威レベルを評価する。動きが道路１０４から離れるように移動している、または車両の予測経路の外側に移動していると特定された場合（ブロック２２２）、脅威レベルは低いためシステム１０は反応せず、他の適格な熱的特徴および動きの監視を継続する（ブロック２０４）。動きが道路１０４に向かって移動しており、計算上歩行者１０８との車両の衝突を引き起こすと特定された場合（ブロック２２４）、システム１０は、ブロック２２６において、１つまたは複数の回避応答動作、たとえば、限定するわけではないが、車両のブレーキシステム１１６の起動、車両の「運転支援」ステアリングシステム１１４への直接入力の提供やその起動、および／または車両のライト１２０の起動および点灯や車両のクラクション１１８をリズミカルに鳴らすことといった視覚的および聴覚的警報の提供などを開始する。また、動きが道路１０４から離れるように移動していると特定された場合（ブロック２２２）、システム１０は、検出された人間の熱的特徴を脅威ではないと見なして放棄することができるが、動きの速度および／または方向が変わる場合に備えて人間の熱的特徴の動きの追跡を継続し、もし変化が起こった場合には脅威レベルを再び評価することができる。

横方向受容ウィンドウ内で横方向に移動する検出された人間の熱的特徴をより正確に評価するために、アルゴリズムによって、車両の現在の位置、進行方向、前方および横方向速度に対する、検出された人間の熱的特徴の現在の位置、進行方向、前方および横方向速度を分析し、互いの移動ベクトルが衝突を引き起こすかどうかを特定する。

ブロック２２６に示されるように回避応答動作を開始した後、システム１０は、車両１００と通信して通常の運転モードに戻り、ブロック２２８によって示される熱的特徴の監視を再度開始し、基本的にはプロセスを最初からやり直して、次の未知の、予期および予測するのが難しい状況に対する警戒を行う。

運転時に車両速度が増加するにつれて、最適な方法で脅威の発生に適切に対応できるようにブレーキ速度/ブレーキ力が比例して増加する。その結果、図４のフローチャートに示されるように、システム１０は、車両のリアルタイムの速度と検出された人間の熱的特徴の前方および横方向速度との両方を考慮して、車両の応答システムのタイミングおよびその起動を動的に適合させる。例えば、車両１００が高速で走行している場合、システム１０は、低速走行時よりも迅速に、より速い応答性およびブレーキ力で応答動作（ブレーキおよびステアリング調整など）を開始する。システムの応答動作のタイミングやその作用応答レベルに対する積極的な調整は、降雪や凍結が車両の温度センサーおよび雨センサーによって検出された場合などの悪天候の場合や、その他のブレーキ／ステアリングが正常に機能しない可能性がある状況においても同様に行うことができる。最善には、これらのセンサー入力によってシステムの応答が調整され、応答動作の早期の（およびより穏やかな）開始が可能になり、可能であれば、濡れた道路または凍結した道路での厳しい応答動作（「慌ただしい」即時停止など）を回避できるようになる。すなわち、システム１０が、厳しいブレーキ応答動作をすることが危険である道路状況を認識している場合、潜在的な脅威の検出および分析に自動的に修正および／または介入を行って、早期の起動および車両の速度およびステアリングのより穏やかな調整を行うことが可能である。

図４を参照すると、車速バイアス（ブロック２５０）ならびに温度バイアス（ブロック２６４）および物体移動速度バイアス（ブロック２６２）が、すでに起動していて適格ターゲット１０８を検索および／または検出しているＩＲセンサー１０６および動作アルゴリズムの出力を分析する工程に組み込まれる（ブロック２０６）。図３において説明された脅威検出プロセスは、図４においてはブロック２４０によって表されている。脅威が検出され、車両１００の運転に応答動作をとる必要がある場合、車両の運転のそのような調整（ブロック２２６）には、車速バイアス（ブロック２５０）ならびに温度／降水バイアス（ブロック２５２）が組み入れられ、車両の即時の調整に影響を与えることになる。さらに図４に示されるように、車両の運転に対する調整は、ブレーキの起動（ブロック２５４）、視覚的警報（ブロック２５６）、聴覚的警報（ブロック２５８）、および車両のステアリングの介入および調整（ブロック２６０）の１つまたは複数の形式で行うことができる。

本発明のシステム１０は、困難な周囲条件の場合に他のセンサーおよび誘導システムの補助となるように設計されており、そのため、自律走行車両の誘導システムを向上させることができる。

上述のように、前方視するよう方向付けされた状態で車両１００の両側にそれぞれ配置された任意のＩＲセンサー１０６Ｒおよび１０６Ｌは、図５および６に示すように、車両１００の前方の道路１０４の側方の潜在的な脅威の検出を向上する助けとなる。すなわち、システム１０は、先の道路１０４の側方にある物体を認識し、それが道路１０４に向かって移動しているかどうか、およびどのぐらいの速度で移動しているかを特定し、車両１００が検出された人間の熱的特徴の予想される位置に近づくまでに応答動作が必要かどうかを判断することができる。

夜間、特に道路１０４の照明が不十分な区間で有効性が低下してしまう多くの光学ベースの誘導システムとは異なり、本発明のシステム１０は、周囲の背景と検出可能なターゲット、特に人間との間の熱コントラストが大きくなることが予測されるため、夜間においてさらに効率的に機能する可能性がある。赤外線画像装置用の冷却要素を使用することで、センサーの温度識別能力をさらに向上させることもできる。

本発明の実施形態の前述の説明は、例示および説明の目的で提示されたものである。前述の説明が発明のすべてを示していること、または本発明を開示された形態に限定することを意図するものではない。上記の開示に照らして、明らかな修正および変形が可能である。記載された実施形態は、本発明の原理およびその実際の適用を最もよく説明するために選択されたものであり、当業者が、意図される特定の用途に適した様々な変形例を含め様々な実施形態において本発明を利用可能である。

Claims (26)

1. 静止しているまたは横方向に動いている歩行者と動いている車両との間に生じる危険を認識し、それに応じて前記車両の運転を調整して危険を防止するための方法であって、
   熱画像を用いて道路の側方または走行部分内の人間を示す熱的特徴を検出することと、
   前記人間の熱的特徴が前記車両の予測経路内にあるかまたは予測経路に向かって移動しているかを特定することと、
   前記車両の運転に対する応答動作が必要か判断することと、
   そのような動作が必要な場合に前記車両の運転に対して前記応答動作を開始することと、を備える、
   方法。
2. 前記道路の側方または走行部分内の人間の熱的特徴の検出は、前記車両に設けられた熱画像センサーアセンブリを用いることを含んでいることを特徴とする、
   請求項１に記載の方法。
3. 前記熱画像センサーアセンブリは、前記車両に取り付けられた少なくとも１つの赤外線センサーアレイを含んでいることを特徴とする、
   請求項２に記載の方法。
4. 前記少なくとも１つの赤外線センサーアレイは、前記車両の前部に取り付けられた前方視熱センサーを含んでいることを特徴とする、
   請求項３に記載の方法。
5. 前記少なくとも１つの赤外線センサーアレイは、
   前記車両の左側の前記道路および／またはその周辺領域の熱画像を取得するための、前記車両の左側に取り付けられた左側赤外線センサーと、
   前記車両の右側の前記道路および／またはその周辺領域の熱画像を取得するための、前記車両の右側に取り付けられた右側赤外線センサーと、を含んでいることを特徴とする、
   請求項３に記載の方法。
6. 前記人間の熱的特徴の検出は、人間の熱放射範囲に相関する事前に定義された熱受容ウィンドウを通過した、検出された熱放射データを用いることを含むことを特徴とする、
   請求項１に記載の方法。
7. 前記事前に定義された熱受容ウィンドウは、前記人間の熱放射範囲に対する周囲温度条件の影響を補償するように動的に変更可能であることを特徴とする、
   請求項６に記載の方法。
8. 前記移動を特定する工程は、
   前記人間の熱的特徴が検出されると、最初に前記人間の熱的特徴が移動しているかどうかを特定することと、
   前記移動が前記道路に概して直交しているかどうかを特定することと、
   前記移動が前記道路に向かっているのか離れているのかを特定することと、を備えていることを特徴とする、
   請求項１に記載の方法。
9. 前記応答動作が必要か判断することは、前記人間の熱的特徴の移動速度を特定することを含んでいることを特徴とする、
   請求項１に記載の方法。
10. 前記応答動作が必要か判断することは、前記車両の移動速度を特定することを含んでいることを特徴とする、
    請求項１に記載の方法。
11. 前記応答動作が必要か判断することは、前記人間の熱的特徴が前記車両の予想経路内にいるかどうかを特定することを含んでいることを特徴とする、
    請求項１に記載の方法。
12. 前記車両の運転に対する応答動作は、
    （１）前記車両のステアリングシステムに調整入力を提供することと、
    （２）前記車両のブレーキシステムを起動することと、
    （３）前記車両に関連した聴覚的警報を発することと、
    （４）前記車両に関連した視覚的警報を起動することと、の少なくとも１つを含んでいることを特徴とする、
    請求項１に記載の方法。
13. 前記車両の予測経路内にある静止している人間の熱的特徴に対して前記応答動作が必要か判断することは、人間の熱的特徴を示す複数の隣接する適格ピクセルを熱画像アレイから検索する画像プロセッサを用いることを含んでいることを特徴とする、
    請求項１に記載の方法。
14. 前記車両の予測経路内にある静止している人間の熱的特徴に対して前記応答動作が必要か判断することは、人間の熱的特徴を示す隣接する適格ピクセルの数における変化を熱画像アレイから検索する画像プロセッサを用いることを含んでいることを特徴とする、
    請求項１３に記載の方法。
15. 人間の熱的特徴を示す隣接する適格ピクセルの数の変化率が、静止している人間の熱的特徴に向かう車両の接近速度と相関していることを特徴とする、
    請求項１４に記載の方法。
16. 横方向に動いている歩行者と動いている車両との間に生じる危険を認識し、それに応じて前記車両の運転を調整するためのシステムであって、
    熱画像を用いて道路の側方または前記道路上の車両の予測経路内の人間の熱的特徴を検出する熱画像センサーアレイアセンブリと、
    前記人間の熱的特徴が前記車両の予測経路内にあるかまたは予測経路に向かって移動しているかを特定し、前記車両の運転に対する応答動作が必要か判断する、前記熱画像センサーアレイアセンブリと動作通信を行う画像プロセッサと、
    そのような動作が必要な場合に前記車両の運転に対して前記応答動作を開始する、前記画像プロセッサと動作通信を行う中央車両制御システムと、を備える、
    システム。
17. 前記熱画像センサーアセンブリは、前記車両に取り付けられた少なくとも１つの赤外線センサーアレイを含んでいることを特徴とする、
    請求項１６に記載のシステム。
18. 前記少なくとも１つの赤外線センサーアレイは、前記車両の前部に取り付けられた前方視熱センサーを含んでいることを特徴とする、
    請求項１７に記載のシステム。
19. 前記少なくとも１つの赤外線センサーアレイは、
    前記車両の左側の前記道路および／またはその周辺領域の熱画像を取得するための、前記車両の左側に取り付けられた左側赤外線センサーと、
    前記車両の右側の前記道路および／またはその周辺領域の熱画像を取得するための、前記車両の右側に取り付けられた右側赤外線センサーと、を含んでいることを特徴とする、
    請求項１７に記載のシステム。
20. 前記熱画像センサーアレイアセンブリによる前記人間の熱的特徴の検出は、人間の熱放射範囲に相関する事前に定義された熱受容ウィンドウを通過した、検出された熱放射データを用いることを含むことを特徴とする、
    請求項１６に記載のシステム。
21. 前記事前に定義された熱受容ウィンドウは、前記人間の熱放射範囲に対する周囲温度条件の影響を補償するように動的に変更可能であることを特徴とする、
    請求項２０に記載のシステム。
22. 前記画像プロセッサは、前記人間の熱的特徴を認識する熱画像センサーアレイアセンブリから信号を受信すると、最初に前記人間の熱的特徴が移動しているかどうかを特定し、前記人間の熱的特徴の移動が前記道路に概して直交しているかどうかを特定し、前記人間の熱的特徴の移動が前記道路に向かっているのか離れているのかを特定することを特徴とする、
    請求項１４に記載のシステム。
23. 前記画像プロセッサは、前記車両による応答動作が必要か判断する際に、前記熱画像センサーアレイアセンブリと関連して前記人間の熱的特徴の移動速度を特定することを特徴とする、
    請求項１６に記載のシステム。
24. 前記システムは、前記車両による応答動作が必要か判断する際に、前記車両の移動速度を特定することを特徴とする、
    請求項１６に記載のシステム。
25. 前記画像プロセッサは、前記車両による応答動作が必要か判断する際に、前記熱画像センサーアレイアセンブリと関連して前記人間の熱的特徴が前記車両の予想経路内にいるかどうかを特定することを特徴とする、
    請求項１６に記載のシステム。
26. 前記車両の運転に対する応答動作は、
    （１）前記車両のステアリングシステムに調整入力を提供することと、
    （２）前記車両のブレーキシステムを起動することと、
    （３）前記車両に関連した聴覚的警報を発することと、
    （４）前記車両に関連した視覚的警報を起動することと、の少なくとも１つを含んでいることを特徴とする、
    請求項１６に記載のシステム。

Images