JP2015062121A - 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法 - Google Patents

Abstract

【課題】歩行者の視覚的な検出が困難である場合に、運転者に警告するシステム及び方法を提案する。【解決手段】ビデオ画像を捕捉するように構成されたビデオカメラ１２と、警告を発するためのアラート１４と、ビデオカメラと電気通信状態にあるプロセッサ１６と、ビデオ画像を分析して歩行者を検出するように構成された歩行者検出装置１８と、全てのビデオ画像のクラッタを測定した全クラッタスコアを生成するように構成された全クラッタ分析装置２０と、ビデオ画像で検出されたそれぞれの歩行者のクラッタを測定した局所歩行者クラッタスコアを生成するように構成された局所歩行者クラッタ分析装置２２と、を具備する歩行者認識警告システムによる。【選択図】図１

Description

本発明は、歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法に関する。具体的には、システム及び方法は、全クラッタスコア（global clutter score）及び局所歩行者クラッタスコア（Local pedestrian clutter score）を生成し、全クラッタスコア及び局所歩行者クラッタスコアをともに処理し、歩行者検出スコアを算出し、歩行者検出スコアが所定閾値の範囲外にある場合、運転者に警告される。

三次元機能を利用する歩行者認識警告システムが当該技術分野で知られている。しかしながら、三次元検出システムは、レーダ、ソナー、レーザなどのレンジセンサの利用を必要とする。さらに、三次元検出システムは、三次元データと二次元ビデオカメラ画像とを融合することができる、ロバストコンピューティングプラットフォームを必要とする。

二次元ビデオ画像分析を利用する歩行者検出も知られている。しかしながら、二次元の歩行者検出システムの現行の分析は、二次元画像を処理し、歩行者の存在を確認するよう構成されている。歩行者を検出する際、二次元歩行者検出システムは、検出された歩行者の位置を特定し、及び／又は運転者に警告する。しかしながら、三次元機能を追加しない場合、現行のシステムは、多くの誤検出を提供することがある。さらに、現行の二次元歩行者検出システムは、運転者が視覚的に歩行者を認識する際に遭遇し得る困難に対処していない。このように、視覚的認識が困難であることを運転者に警告することによって、運転者は、歩行者検出警告が誤検出であるか否かを、より十分な確実性で確認することができる。

さらに、現行の二次元歩行者検出システムは、クラッタ値を生成する因子（factor）として、歩行者の挙動を考慮していない。その後のビデオ画像に歩行者の移動を映して、二次元空間における歩行者の検出を容易にすることが知られているが、現行のシステムは、歩行者の移動又は位置が、運転者による歩行者を見る能力にどのような影響を及ぼすかについて考慮しない。

したがって、歩行者の視覚的な検出が困難である場合に、運転者に警告するシステム及び方法を有することが依然として望ましい。また、歩行者の視覚的な検出が困難である場合に、運転者に警告するための二次元ビデオ画像を利用するシステム及び方法を有することが依然として望ましい。さらに、歩行者を認識する困難性の判断に歩行者の挙動が評価されるシステム及び方法を有することが依然として望ましい。

運転者に警告を発する歩行者認識警告システム及び方法が提供される。このシステム及び方法は、運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発するように構成されている。歩行者認識警告システムには、ビデオカメラと、プロセッサと、アラートとが含まれている。ビデオカメラは、二次元ビデオ画像を捕捉する（capture）ように構成されている。アラートは、運転環境内の歩行者を視覚的に認識することが困難であるという警告を発するように構成されている。プロセッサは、カメラと電気通信状態にある。

歩行者認識警告システムには、歩行者検出装置（「ＰＤＵ」）と、全クラッタ分析装置（「ＧＣＡＵ」）と、局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）とが更に含まれている。ＰＤＵは、ビデオ画像を分析して歩行者を検出するように構成されている。ＧＣＡＵは、ビデオ画像の全クラッタスコアを生成するように構成されている。全クラッタスコアは、全ビデオ画像のクラッタを測定したスコアである。ＬＰＣＡＵは、局所歩行者クラッタスコアを生成するように構成されている。局所歩行者クラッタスコアは、ビデオ画像で検出された歩行者のそれぞれのクラッタを測定したスコアである。

動作において、ＰＤＵは、ビデオ画像中の歩行者を検出し、次いで、プロセッサは、ＧＣＡＵとＬＰＣＡＵの双方を起動させる。プロセッサは、全クラッタスコア及び局所歩行者クラッタスコアを処理し、歩行者検出スコアを生成する。プロセッサは、歩行者検出スコアが所定閾値の範囲外にある場合、アラートを作動させるように更に構成されている。

歩行者認識警告システムには、顕著性マップ生成装置（「ＳＭＧＵ」）が更に含まれ得る。ＳＭＧＵは、ビデオ画像を処理し、ビデオ画像から顕著な特徴を抽出するように構成されている。プロセッサは、局所歩行者クラッタスコアを生成する場合、ＬＰＣＡＵを作動させ、抽出された顕著な特徴を処理するように更に構成されている。局所歩行者クラッタスコアは、全クラッタスコアとともに処理され、歩行者検出スコアを算出する。顕著な特徴には、歩行者の動作（motion）などの歩行者挙動が含まれ得る。歩行者挙動は、さらに、歩行者周囲の環境に基づき得る。

歩行者認識警告システムには、歩行者群を検出し、歩行者群に認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）が更に含まれ得る。ＰＧＡＵは、歩行者群内の個々の歩行者の相互作用、及び一方の歩行者群と他方の歩行者群との相互作用を分析し、視覚的に歩行者群又は歩行者群内の個々の歩行者を認識する運転者の能力に及ぼし得る歩行者群の影響を判断する。

運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発する方法も提供される。この方法には、ビデオカメラ、アラート及びプロセッサを供することが含まれる。ビデオカメラは、ビデオ画像を捕捉するように構成されている。アラートは、運転環境内の歩行者を視覚的に認識することが困難であるという警告を発するように構成されている。プロセッサは、カメラと電気通信状態にある。

本方法には、歩行者検出装置（「ＰＤＵ」）、全クラッタ分析装置（「ＧＣＡＵ」）、及び局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）を供することが更に含まれる。ＰＤＵは、ビデオカメラ画像を分析して歩行者を検出するように構成されている。ＧＣＡＵは、全クラッタスコアを生成するように構成されている。全クラッタスコアは、全ビデオ画像のクラッタを測定したスコアである。ＬＰＣＡＵは、局所歩行者クラッタスコアを生成するように構成されている。局所歩行者クラッタスコアは、ビデオ画像で検出された歩行者のそれぞれのクラッタを測定したスコアである。プロセッサは、全クラッタスコア及び局所歩行者クラッタスコアを処理し、歩行者検出スコアを生成する。プロセッサは、歩行者検出スコアが所定閾値の範囲外にある場合、アラートを作動させるように更に構成されている。

本方法には、顕著性マップ生成装置（「ＳＭＧＵ」）を供することが更に含まれる。ＳＭＧＵは、ビデオ画像を処理し、ビデオ画像から顕著な特徴を抽出するように構成されている。プロセッサは、ＬＰＣＡＵとともに、抽出された顕著な特徴を処理し、局所歩行者クラッタスコアを生成するように更に構成されている。局所歩行者クラッタスコアは、全クラッタスコアとともに処理され、歩行者検出スコアを算出する。顕著な特徴には、歩行者の移動などの歩行者挙動が含まれ得る。歩行者挙動は、さらに、歩行者周囲の環境に基づき得る。

本方法には、歩行者群を検出し、歩行者群に認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）を供することが更に含まれ得る。ＰＧＡＵは、歩行者群内の個々の歩行者の相互作用、及び一方の歩行者群と他方の歩行者群との相互作用を分析し、視覚的に歩行者群又は歩行者群内の個々の歩行者を認識する運転者の能力に及ぼし得る歩行者群の影響を判断する。

自然運転環境で利用されるシステムを示す斜視図である。 システムの図である。 輝度変化マトリックスを入力するＧＣＡＵの実施形態の操作を示す斜視図である。 歩行者マスクを利用するＰＣＧＵの実施形態の操作を示す例である。 クロスマスクを適用するＰＣＧＵの実施形態の操作例である。 背景ウィンドウ及び検出歩行者ウィンドウを生成するＬＰＣＡＵの実施形態の操作例である。 対応する運転場面における全歩行者クラッタスコア及び局所歩行者クラッタスコアを示す表である。 ＳＭＧＵの入力、及び歩行者検出スコアを生成するＰＧＡＵを示すシステムの図である。 顕著性マップの例である。 運転者による歩行者の視覚的な検出が困難である場合に、リアルタイム警告を発する方法のステップを示す図である。

図１をまず参照すると、本発明の実施形態に係る歩行者認識警告システム１０が示されている。歩行者認識警告システム１０は、リアルタイム環境において、運転者による歩行者の視覚的な検出が困難である場合に、警告を発するように構成されている。したがって、歩行者の視覚的認識が困難であることを運転者に警告することによって、運転者は、運転行動を調節することができる。さらに、歩行者認識警告システム１０は、車両移動を更に制限する自動制御システムと更に組み合わせることができるか、又は、代替的に、自動制御システムは、運転者が視覚的に歩行者を認識することが困難である場合、車両を制御するように構成することができる。歩行者の検出が誤検出であるか否かを運転者が確認することができる点で、歩行者認識警告システム１０は、更に有利であり得る。

歩行者認識警告システム１０は、自動運転車１００に内蔵することができる。歩行者認識警告システム１０には、ビデオ画像を捕捉するように構成されたビデオカメラ１２が含まれている。歩行者認識警告システム１０には、アラート１４と、プロセッサ１６とが更に含まれている。アラート１４は、歩行者が運転環境内に存在し、認識することが視覚的に困難であるという警告を発するように構成されている。アラート１４は、車両の車室空間内に配置され、光などの視覚的な通知、チャイムなどの音響信号、又は一連のチャイムであってもよい。プロセッサ１６は、ビデオカメラ１２と電気通信状態にあり、下記のとおり、分析装置を利用してビデオ画像を処理し、運転者に対して警告を発するように構成されている。

図１は、バックミラーの下側に取り付けられたビデオカメラ１２を示すが、ビデオカメラ１２が他の場所に取り付けられ得ることを認識する必要がある。さらに、複数のビデオカメラ１２を使用して、３６０度の自然運転環境範囲を提供することができる。かかる実施形態において、プロセッサ１６が、さらに、それぞれのビデオカメラ１２によって捕捉されたビデオ画像を融合し、自然運転環境の３６０度の視界を構築できることを認識する必要がある。一実施形態において、ビデオカメラ１２は、１２２度のカメラ視界を捕捉し、１２８０×７２０の解像度で３２フレーム／秒を記録するように構成された、ＤＯＤ ＧＳ６００ディジタルビデオレコーダ（「ＤＶＲ」）と一般に称される高解像度カメラである。ビデオカメラ１２には、地理的位置を得るＧＰＳアンテナ１２ａ、及び移動を感知する重力センサ１２ｂなどの他の特徴を含んでいてもよい。

さらに、図２を参照すると、歩行者認識警告システム１０の操作を示した全体図が示されている。システム１０はビデオ画像を捕捉し、画像の全クラッタを測定し、画像を処理して歩行者を検出し、歩行者の輪郭及び色クラスタリングを利用して、検出された歩行者が実際に歩行者であることを確認し、そして、歩行者のクラッタを測定する。歩行者の輪郭などの特徴、及び衣類の色を使用して、クラッタを測定することもできる。出力は、運転者が、運転環境内検出された歩行者を視覚的に認識する際に遭遇し得る困難性を測定したものである。更なる詳細な説明は以下に示す。

歩行者認識警告システム１０には、歩行者検出装置（「ＰＤＵ」）１８と、全クラッタ分析装置（「ＧＣＡＵ」）２０と、局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）２２とが更に含まれている。ＰＤＵ１８、ＧＣＡＵ２０及びＬＰＣＡＵ２２は、プロセッサ１６によって処理及び作動されるように構成された、プロトコルを備えたファームウェアとして製造することができる。ファームウェアは、車両の他の電子部品とともに配置された個別の装置であってもよい。

ＰＤＵ１８は、ビデオカメラ１２の画像を分析して歩行者を検出するように構成されている。ＰＤＵ１８は、ＧＰＳアンテナ１２ａによって集められた車両の地理的位置などの入力、又は重力センサ１２ｂによって集められた移動入力を用いて、歩行者検出を行うことができる。プロセッサ１６は、ＰＤＵ１８を作動させ、ＰＤＵ１８は、所定のフレームを分析し、歩行者が自然運転環境に存在するか否かを判断する。例えば、ＰＤＵ１８は、それぞれのフレーム内の関心領域（regions of interest）を特定するように構成されていてもよく、フレームの背景は除去され、関心領域に処理及び分析を集中させる。そして、ＰＤＵ１８は、歩行者特徴マッチングを適用して、サイズ、移動及び速度、高さ・幅比並びに配向を含めることができる。

ＰＤＵ１８は、歩行者が自然運転環境内に存在する場合、プロセッサ１６に通知する。そして、プロセッサ１６は、ＰＤＵ１８からの通知により、ＧＣＡＵ２０及びＬＰＣＡＵ２２をともに作動させる。ＧＣＡＵ２０は、全クラッタスコア２４を生成するように構成されている。全クラッタスコア２４は、全ビデオ画像のクラッタの測定したスコアである。ＬＰＣＡＵ２２は、局所歩行者クラッタスコア２６を生成するように構成されている。局所歩行者クラッタスコア２６は、ビデオ画像で検出されたそれぞれの歩行者のクラッタを測定したスコアである。プロセッサ１６は、全クラッタスコア２４及び局所歩行者クラッタスコア２６をともに処理し、歩行者検出スコア２８を生成するように更に構成されている。歩行者検出スコア２８は、全クラッタスコア２４と局所歩行者クラッタスコア２６との差である。歩行者検出スコア２８は、運転環境におけるクラッタの量、及び運転環境におけるクラッタに対する検出された歩行者のクラッタの双方に基づいた歩行者を視覚的に見る困難性を測定したスコアである。本明細書に使用するクラッタという用語は、背景から物体を検出できない人にとって気を散らす細部を提供するという観点における前景と背景の組合せ（combination of foreground and background in a view that provides distracting details for some individuals who are unable to detect object(s) from its background）を指す。プロセッサ１６は、歩行者検出スコア２８が所定閾値の範囲外にある場合、アラート１４を作動させるように更に構成されている。

ＧＣＡＵ２０は、全ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化に基づいて、全ビデオ画像の全クラッタスコアを測定し、全クラッタスコア２４を算出する。全クラッタスコア２４は、次に示すように表すことができる。
ＧＥＣ＝αρ_E＋βσ_L＋（１−α−β）σ_C
式中、ρ_Eはエッジ密度であり、σ_Lは輝度変化であり、σ_Cはクロミナンス変化である。α＞０及びβ＞０は特徴重みである。

エッジ密度を、閾値範囲を固定してキャニー検出装置などの検出装置を適用することによって算出し、エッジを検出し、種々の運転シナリオ、照明及び気候条件を有する種々のフレームのビデオ画像のエッジ密度を比較することができる。例えば、低い閾値を０．１１に設定することができ、高い閾値を０．２７に設定することができる。人間の視覚のローパス特性を再現するために、７×７ガウスフィルタを、キャニー検出装置によって処理されたそれぞれのビデオフレームに適用し、人間の視覚が敏感でない超過高周波画像要素を除去する。本明細書に提供する次元が、ＤＯＤ ＧＳ６００ディジタルビデオレコーダによって捕捉されたビデオ画像の次元及び解像度を処理するのに用いられ、そして、次元が、カメラによって捕捉されたビデオ画像の解像度の次元に対応させるように変化し得ることを認識する必要がある。エッジ密度は、エッジピクセル数とビデオ画像フレーム内の全ピクセル数との比率として算出される。

輝度変化は全体的に測定される。輝度変化は、全ビデオ画像２００の輝度変化を測定したものである。例えば、図３に示すように、ＧＣＡＵ２０には、スライドウィンドウ３４及び輝度変化マトリックス３６が含まれ得る。輝度変化マトリックス３６は、ビデオフレームと同じ大きさである。ＤＯＤ ＧＳ６００ディジタルビデオレコーダを使用する場合、９×９スライドウィンドウ３４は、ビデオ画像のフレームを横切ってスライドし、同じ空間の輝度変化マトリックス３６に対するスライドウィンドウ３４内の輝度値の標準偏差を算出する。ビデオフレームの特定領域の標準偏差は、輝度変化マトリックス３６の対応する位置に入力される。全輝度変化は、入力された輝度変化マトリックス３６の平均値として算出される。

クロミナンス変化は、２つのクロミナンスチャネル「ａ」及び「ｂ」を用いて算出される。クロミナンス変化は、それぞれのチャネルの標準偏差を決定することによって算出される。全クロミナンス変化は、次に示すように算出することができる。

式中、σ_Cは全クロミナンス変化であり、σ_aは、チャネル「ａ」のクロミナンス変化であり、σ_bは、チャネル「ｂ」のクロミナンス変化である。

全クラッタスコア２４は、エッジ密度、輝度変化及びクロミナンス変化の重み付けの合計として出力することができる。エッジ密度、輝度変化及びクロミナンス変化は、均等に重み付けすることができ、それぞれ１／３の重み付け値が選択される。得られた全環境クラッタスコアは、高いスコアほど高いクラッタを意味する０〜１の値の規模とし、当該値に正規化することができる。

ここで図４を参照すると、歩行者輪郭生成装置（「ＰＣＧＵ」）３０の操作を示す例示的な図が示されている。上述したように、ＬＰＣＡＵ２２は、検出された歩行者のエッジ密度、エッジ分布（edge distribution）、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を処理し、局所歩行者クラッタスコア２６を算出する。ＰＣＧＵ３０は、検出された歩行者のエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を求めるのに用いることができる歩行者マスク３２を生成するように構成されている。歩行者の破線のシルエットとして示す歩行者マスク３２は、歩行者に一般に関連する特徴に基づいて構築された歩行者のイメージである。歩行者マスク３２には、検出された歩行者が実際に歩行者であることを確認するために、検出された歩行者に適用される歩行者の輪郭が含まれ得る。これらの特徴が、運転環境内の歩行者の位置に基づいて変化し、及び／又は、ＰＣＧＵ３０が作動する時間を用いて、歩行者マスク３２を生成し、そして、その後のビデオフレームによって歩行者マスク３２を精緻化して（refine）確認過程の正確性を保証できることを認識する必要がある。したがって、反復により連続的に歩行者マスク３２を緻密化することによって、図４に示した歩行者マスク３２周囲の引用符により示すように、歩行者マスク３２は変形可能なモデル４０である。変形可能なマスクは、歩行者の輪郭３８周囲に適用される。エネルギー最小化を用いて、輪郭３８を発展させることができる。エネルギー関数は、次に示すように表すことができる。

式中、最初の２つの積分は、輪郭３８の滑らかさを制御する内部エネルギーを表し、３つ目の積分は、物体の輪郭３８を発展させる外部エネルギーである。Ｃ’（ｓ）は曲線の接線であり、Ｃ’’（ｓ）は曲線に直交する。エッジ検出装置の関数は、次に示すように定義することができる。

式中、Ｇ_σは、ガウス平滑化フィルタであり、∇ｕ₀は画像勾配である。生成された輪郭３８は、ＬＰＣＡＵ２２によって用いることができる歩行者マスク３２を画定し、局所歩行者輝度変化及び局所歩行者クロミナンス変化を含むように、歩行者クラッタ機能を算出する。

ここで図５を参照すると、ＰＣＧＵ３０の実施形態の操作を示す例示的な図が示されている。ＰＣＧＵ３０は、クロスマスク４２を生成するように更に構成することができる。クロスマスク４２は、色及び輝度強度の双方が均質であるクロス領域を供することによって、人間の視覚的注意モデルを再現する（replicate）のに用いることができ、クロス領域は、背景と比較され、人間の視覚的注意モデルをシミュレートすることができる。クロスマスク４２は、クロス領域に基づいたＫ平均色クラスタリングによって生成され、Ｋ平均色クラスタリングは、検出された歩行者に適用され、クロス領域を細分化する。例えば、Ｋ色部分集合は、次に示すようなクラスタ内距離を最小化するように生成される。

式中、Ｓ＝｛Ｓ₁、…Ｓ_k｝はｋクラスタであり、１（ｘ，ｙ）は、クロミナンスピクセル値であり、μ_nは、それぞれのクラスタの平均値である。そして、クロスマスク４２は、能動輪郭３８、及びＫ平均色クラスタリングアルゴリズムから導き出されたクロス領域によって、歩行者マスク３２の交点として形成される。ＬＰＣＡＵ２２は、歩行者マスク３２及びクロスマスク４２を処理し、局所歩行者クラッタスコア２６を算出するように更に構成されている。したがって、局所歩行者クラッタスコア２６には、歩行者の移動、歩行者の位置及び歩行者の衣類の色によって影響され得る歩行者に関連した形状の特徴が含まれ得る。

ここで図６を参照すると、ＬＰＣＡＵ２２は、背景ウィンドウ４４及び検出歩行者ウィンドウ４６を生成するように更に構成することができる。背景ウィンドウ４４は、検出された歩行者周囲の環境の所定次元を有するビデオ画像の一部である。検出歩行者ウィンドウ４６は、検出された歩行者の画像を捕捉する程度の大きさを有したビデオフレームの一部である。例えば、背景ウィンドウ４４は、検出歩行者ウィンドウ４６の面積の少なくとも２倍であってもよい。ＬＰＣＡＵ２２は、（１）検出歩行者ウィンドウ４６内及び（２）検出歩行者ウィンドウ４６を除いた背景ウィンドウ４４（the background window 44, and absent the detected pedestrian window 46）内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成されている。

エッジ密度は、全環境のエッジ密度と同様に算出することができる。例えば、背景ウィンドウ４４及び検出歩行者ウィンドウ４６のエッジ密度は、閾値範囲を固定して、超過高周波画像要素を除去する検出装置を適用することによって算出し、エッジを検出し、検出歩行者ウィンドウ４６に対する背景ウィンドウ４４のエッジ密度を比較することができる。固定閾値範囲及び検出装置は、検出歩行者ウィンドウ４６又は背景ウィンドウ４４の大きさ、ビデオ画像の解像度、プロセッサ１６の処理能力などの因子に基づいて選択することができる。例えば、ＤＯＤ ＧＳ６００ディジタルビデオレコーダによって撮影されたビデオ画像の検出歩行者ウィンドウのエッジ密度を検出する場合、低い閾値を０．１１に設定し、高い閾値を０．２７に設定することができる。人間の視覚のローパス特性を再現するめに、７×７ガウスフィルタを、キャニー検出装置によって処理された検出歩行者ウィンドウ４６又は背景ウィンドウ４４にそれぞれ適用し、人間の視覚が敏感でない超過高周波画像要素を除去する。同様に、検出歩行者ウィンドウ４６のエッジ密度は、閾値範囲を固定してキャニー検出装置を適用することによって算出し、エッジを検出し、検出歩行者ウィンドウ４６のエッジ密度を比較することができる。また、ＤＯＤ ＧＳ６００ディジタルビデオレコーダによって撮影されたビデオ画像の検出歩行者ウィンドウのエッジ密度を検出して、低い閾値を０．１１に設定し、高い閾値を０．２７に設定することができる。人間の視覚のローパス特性を再現すために、７×７ガウスフィルタを、キャニー検出装置によって処理された検出歩行者ウィンドウ４６に適用し、人間の視覚が敏感でない超過高周波画像要素を除去する。

ＬＰＣＡＵ２２は、（１）検出歩行者ウィンドウ４６及び（２）分離背景ウィンドウの双方のエッジ配向（edge orientation）によりビニングされたエッジ大きさ（edge magnitude binned）のヒストグラムの決定によって、背景ウィンドウ４４及び検出された歩行者のエッジ分布を算出するように構成され、分離された背景ウィンドウは、検出歩行者ウィンドウ４６のない背景ウィンドウ４４である。エッジ分布は、局所歩行者クラッタスコア２６を算出するのに用いることができる機能である。また、エッジ分布は、検出された歩行者が実際に歩行者であることの確認を支援するのにも有用である。

ＬＰＣＡＵ２２は、歩行者マスク３２内、更に背景ウィンドウ４４からの歩行者マスク３２の減算によって定義された領域（「マスクレス背景ウィンドウ」）内の局所輝度変化を算出するように構成することができる。ＬＰＣＡＵ２２は、スライドウィンドウ３４及びマスク輝度変化マトリックス３６を利用する。マスク輝度変化マトリックス３６は、歩行者マスク３２の輝度変化を算出するように、歩行者マスク３２と同じ大きさである。歩行者マスク３２の輝度変化を算出する場合、スライドウィンドウ３４は、歩行者マスク３２を横切ってスライドし、同じ空間のマスク輝度変化マトリックス３６に対するスライドウィンドウ３４内の輝度値の標準偏差を算出する。歩行者マスク３２の特定領域の標準偏差は、輝度変化マトリックス３６の対応する位置に入力される。歩行者マスク３２の輝度変化は、入力されたマスク輝度変化マトリックス３６の平均値として算出される。

同様に、スライドウィンドウ３４及びマスクレス背景ウィンドウ輝度（「ＭＢＷＬ」）変化マトリックス３６が提供される。ＭＢＷＬ変化マトリックス３６は、マスクレス背景ウィンドウの輝度変化を算出するように、マスクレス背景ウィンドウと同じ大きさである。歩行者マスク３２の輝度変化を算出する場合、スライドウィンドウ３４は、マスクレス背景ウィンドウを横切ってスライドし、同じ空間のＭＢＷＬ変化マトリックス３６に対するスライドウィンドウ３４内の輝度値の標準偏差を算出する。マスクレス背景ウィンドウの特定領域の標準偏差は、ＭＢＷＬ変化マトリックス３６の対応する位置に入力される。マスクレス背景ウィンドウの輝度変化は、入力されたＭＢＷＬ変化マトリックス３６の平均値として算出される。

ＬＰＣＡＵ２２は、歩行者マスク３２内、更にマスクレス背景ウィンドウ内の局所クロミナンス変化を算出するように更に構成することができる。全クロミナンスの算出とともに、局所クロミナンス変化の算出は、歩行者マスク３２及びマスクレス背景ウィンドウ双方の２つのクロミナンスチャネル「ａ」及び「ｂ」を用いて算出される。クロミナンス変化は、それぞれのチャネルの標準偏差を決定することによって算出される。局所クロミナンス変化は、次に示すように算出することができる。

式中、σ_Cは全クロミナンス変化であり、σ_aは、チャネル「ａ」のクロミナンス変化であり、σ_bは、チャネル「ｂ」のクロミナンス変化である。

ＬＰＣＡＵ２２は、クロスマスク４２内、及び背景ウィンドウ４４からクロスマスク４２を減算することによって生成された領域（「クロスマスクレス背景領域」）内の平均輝度強度を算出するように更に構成することができる。また、ＬＰＣＡＵ２２は、クロスマスク４２内及びクロスマスクレス背景領域内の平均クロミナンス強度を算出することもできる。ＬＰＣＡＵ２２は、上述の機能、すなわち、（１）算出されたエッジ密度及びエッジ分布、（２）歩行者マスク３２及びマスクレス背景ウィンドウの局所輝度変化、（３）歩行者マスク３２内、更にマスクレス背景ウィンドウ内の局所クロミナンス変化、（４）クロスマスク４２内、更にクロスマスクレス背景領域の平均輝度強度、並びに、（５）クロスマスク４２及びクロスマスクレス背景領域の平均クロミナンス強度を用いて、局所歩行者クラッタを算出することができる。例えば、局所歩行者クラッタ（「ＬＰＣ」）スコアは、次式において上述の機能を算出することによって算出することができる。

式中、Ｔは、歩行者領域の次元特徴ベクトルであり、Ｂは、背景領域の対応する次元特徴ベクトルであり、機能は、算出されたエッジ分布、歩行者マスク３２及びマスクレス背景ウィンドウの局所輝度変化、歩行者マスク３２内、更にマスクレス背景ウィンドウ内の局所クロミナンス変化、クロスマスク４２内の、更にクロスマスクレス背景領域の平均輝度強度、並びに、クロスマスク４２及びクロスマスクレス背景領域の平均クロミナンス強度である。ｄｉｓｔは、２つのベクトル間の距離を測定したものであり、これは、ユークリッド距離を用いて測定することができる。局所歩行者クラッタスコア２６は、０〜１の値に正規化され、局所歩行者クラッタスコア２６が高いほど、歩行者が擾乱され（cluttered）、このため、運転者が環境から歩行者を認識することが困難になる。

ここで図７を参照すると、運転環境の表とこれに伴う概説が示されている。この表には、全クラッタスコア２４及び局所歩行者クラッタスコア２６の双方が含まれており、これらのそれぞれは、本明細書に提供する詳細に従って算出された。画像４及び５は、０．３０７の全クラッタスコア２４と同じ環境である。全クラッタスコア２４は、全クラッタレベルに対する適切な参照を提供するが、これらは、一部の同様の運転場面を比較する際、それほど区別するものとならない。しかしながら、局所歩行者クラッタスコア２６は、全クラッタスコア２４と比較して、歩行者認識の困難性を非常によく反映する。画像は、（１）低いコントラスト画像が、夜間の画像（０．１１６の全クラッタスコア２４を有する画像１）、並びに過剰の閃光及び反射を有する画像（０．２２０の全クラッタスコア２４を有する画像２）などの低い全クラッタスコア２４を有する傾向があり、（２）色顕著性が、局所歩行者クラッタスコア２６に影響を及ぼし得る最も重要な因子であり、例えば、画像６が、近隣領域と比較して、その高度に飽和していて特徴的なズボンの色により、最も低い局所歩行者クラッタスコア２６（０．５２７）を有し、また、（３）局所歩行者クラッタが、十分な指標、及び自然運転シナリオにおける歩行者認識困難性の参照とすることができたことを示す。例えば、画像１が最も低い全クラッタスコア２４（０．１１６）であっても、その高い局所歩行者クラッタスコア２６（０．９２８）により、暗い色の衣類の歩行者を検出することは最も困難である。

歩行者認識警告システム１０は、全クラッタスコア２４及び局所歩行者クラッタスコア２６をともに処理し、歩行者検出スコア２８を算出する。歩行者検出スコア２８は、２つのスコアの差を決定することだけで算出することができ、歩行者検出スコア２８が所定閾値の範囲外にあるか又は目標値よりも高い値にある場合、アラート１４を作動させる。別の実施形態において、全クラッタスコア２４又は局所歩行者クラッタスコア２６は、環境に基づいて重み付けされ、スコアのうちの１つは、歩行者検出スコア２８の算出においてより重い因子とされる。

上述したように、歩行者認識警告システム１０にはＰＤＵ１８が含まれている。ＰＤＵ１８は、二次元ビデオを処理して歩行者を検出するように構成されている。一実施形態において、ＰＤＵ１８は、ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法４８又は第２の検出方法５０を実行するように構成されている。第１の検出方法４８は、歩行者出現の可能性が低い場合に実行され、第２の検出方法５０は、歩行者出現の可能性が高い場合に実行される。

ＰＤＵ１８は、時刻、地理的位置又は交通場面に基づいて、歩行者出現の可能性を判断することができる。または、ＰＤＵ１８は、時間、地理的位置又は交通場面に基づいて、歩行者の可能性に関するあらかじめ算出された統計又は観察された統計を有するルックアップテーブルを処理することができる。例示目的で、ルックアップテーブルは、１２月２５日午前３時２２分のオレゴン州ビーヴァートンの未舗装道路上で、歩行者の可能性が５％であることを示すことができる。したがって、運転場面における歩行者出現の可能性が比較的低い場合、ＰＤＵ１８は、第１の検出方法４８を実行する。

第１の検出方法４８は、ビデオ画像の連続フレーム間の変化を判断することによって、ビデオ画像内の関心領域を特定するように構成されている。ＰＤＵ１８は、連続フレーム間の変化が所定の閾値を超えている場合の関心領域を特定する。第１の検出方法４８は、関心領域のそれぞれに、歩行者サイズ、形状、配向、高さ・幅比率などの１組の制限を更に適用し、必要な数の制限を有する関心領域はそれぞれ、歩行者が存在するものとして分類される（labeled）。

第２の検出方法５０は、フレーム内の垂直エッジを検出することによってビデオ画像内の関心領域を決定するように構成されている。ＰＤＵ１８は、垂直エッジが所定の特性を有する場合の関心領域を特定する。第２の検出方法５０は、関心領域のそれぞれに、配向勾配検出装置のヒストグラムを例示的に含むがこれに限定されない特徴フィルタを更に適用し、必要な数の特徴を有する関心領域はそれぞれ、歩行者が存在するものとして分類される。

ここで図８を参照すると、歩行者認識警告システム１０には、歩行者検出スコア２８を算出するように構成された付加的な装置が含まれ得る。図示するように、歩行者検出スコア２８は、全クラッタスコア２４、顕著性測定、過去の位置、局所歩行者クラッタスコア２６、歩行者挙動分析及び群の相互作用を用いて算出することができる。因子は、プロセッサ１６によってともに処理され、歩行者検出スコア２８を生成するように更に処理することができる確率的学習モデル（「ＰＬＭ」）を生成することができる。ＰＬＭは、経時的に因子を記憶し、一方の因子を他方の因子に基づかせることができる学習による影響に部分的に基づいて、歩行者検出スコア２８を算出する。したがって、ＰＬＭは、学習経験によって正確な歩行者検出スコアを緻密化し提供するのに有用である。

歩行者認識警告システム１０には、顕著性マップ生成装置（「ＳＭＧＵ」）５２が更に含まれ得る。ＳＭＧＵ５２は、ビデオ画像を処理し、ビデオ画像から顕著な特徴を抽出するように構成されている。ＳＭＧＵ５２は、人間の視覚系の再現に関係し、前注意段階、認識状態タスク及び人間の視覚系の目的関数の間で遂行される。ＳＭＧＵ５２はタスクを算出し生成し、図９に示す顕著性マップを例示的に含む、一般に知られている及び当該技術分野で用いられている顕著性算出アプローチを用いて、独立した標的がボトムアップされる。マップは、上述した画像の強力に接続したエッジを示す。具体的には、高い顕著性特徴を有する領域は高い強度である。プロセッサ１６は、抽出された顕著性特徴を処理し、ＬＰＣＡＵ２２に顕著性特徴を提供し、局所歩行者クラッタスコア２６を生成する。顕著性特徴には、（１）画像のエッジ、及び（２）画像のエッジの接続が含まれ得るが、これらに限定されない。

歩行者認識警告システム１０は、歩行者の挙動を処理し、歩行者検出スコア２８を算出するように更に構成することができる。歩行者の挙動には、歩行者の移動が運転者の認識困難性に与える影響が含まれ、歩行者の挙動は、歩行者検出を確認するのに更に用いることができる。また、歩行者の挙動は、環境に関して検討することもできる。ここで、歩行者の挙動には、立っていること、歩いていること、走っていること、持っている物体などを含む、出現する歩行者の位置及び状況の分析が含まれ、認識された歩行者クラッタは、歩行者周囲の環境によって判断／算出される。例えば、ＳＭＧＵ５２は、都市の横断歩道又は住宅街に隣接する歩道における歩行者の挙動をプログラムすることができる。

歩行者認識警告システム１０には、歩行者群を検出し、歩行者群に認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）５４が更に含まれ得る。ＰＧＡＵ５４は、歩行者群内の個々の歩行者の相互作用、及び一方の歩行者群と他方の歩行者群との相互作用を分析する。群内の相互作用の場合、同様の行動パターンの、例えば、同じ方向に立っている／横断している／歩いている場面内に接近して位置する歩行者は、見る人によってグループ化することができ、その結果、群内の個々の歩行者のクラッタスコアは制限され、歩行者の認識困難性が特徴付けられる。したがって、見る人が非常に顕著な歩行者群をグループ化する場合、高度に混乱した歩行者を検出することは非常に容易である。ＰＧＡＵ５４は、視覚的クラッタの判断において、個々の歩行者クラッタ機能と組み合わせた歩行者群の特性を利用する。

群の相互作用の分析に関して、ＰＧＡＵ５４は、歩行者の認識も、他の歩行者の影響を受けるか、又は、同じ場面において既存の出来事／物体に気を取られるという事実を考慮する。例えば、動いている歩行者は、静止した歩行者に比べて、容易に運転者の注意をそらし、また、突進する車両又は自転車は、運転者の注意をすぐに惹き得る。ＰＧＡＵ５４は、群の相互作用における歩行者挙動の学習を利用して、歩行者検出スコア２８を算出することができる。

ここで図１０を参照すると、運転者による歩行者の視覚的検出が困難である場合に、リアルタイムでアラート１４を発する方法も示されている。この方法には、ビデオカメラ１２、アラート１４及びプロセッサ１６を供するステップが含まれる。これらのステップは、１１０、１２０及び１３０としてそれぞれ、図８に符号が掲載されている。ビデオカメラ１２は、ビデオ画像を捕捉するように構成されている。アラート１４は、運転環境内の歩行者を視覚的に認識することが困難であるという警告を発するように構成されている。プロセッサ１６は、カメラと電気通信状態にあり、ビデオ画像を処理する。

本方法には、ビデオ画像１４０中の歩行者を検出することと、全ビデオ画像１５０のクラッタを測定することと、ビデオ画像１６０で検出された歩行者のそれぞれのクラッタを測定することと、全クラッタスコア１７０を算出することと、局所歩行者クラッタスコア１８０を算出すること、とが更に含まれる。方法１００は、全クラッタスコア及び局所歩行者クラッタスコアが処理され、歩行者検出スコアを算出するステップ１９０に移り、ステップ２００において、歩行者検出スコアが所定閾値の範囲外にある場合、方法は警告を発し、歩行者の視覚的認識が困難であることを運転者に通知する。

方法１００は、本明細書に記載するようなＰＤＵ１８、ＧＣＡＵ２０及びＬＰＣＡＵ２２を利用して、歩行者を検出し、全クラッタ及び歩行者クラッタを測定し、全クラッタスコア及び局所歩行者クラッタスコアを算出することができる。ＰＤＵ１８は、ビデオカメラ１２の画像を分析して歩行者を検出する。ＧＣＡＵ２０は、全ビデオ画像のクラッタを測定したスコアである全クラッタスコア２４を生成する。ＬＰＣＡＵ２２は、ビデオ画像で検出された歩行者のそれぞれのクラッタを測定したスコアである局所歩行者クラッタスコア２６を生成する。

ＰＤＵ１８がビデオ画像中の歩行者を検出する場合、ＧＣＡＵ２０及びＬＰＣＡＵ２２がともに起動する。ＧＣＡＵ２０及びＬＰＣＡＵ２２は、本明細書に記載するようなそれぞれの全クラッタスコア２４及び局所歩行者クラッタスコア２６を算出することができる。方法は、全クラッタスコア２４及び局所歩行者クラッタスコア２６を処理するステップに移り、歩行者検出スコア２８を生成し、歩行者検出スコア２８が所定閾値の範囲外にある場合に、アラート１４を作動させる。

本方法には、歩行者マスク３２を生成するステップ２１０が更に含まれ得る。ＰＣＧＵ３０は、歩行者マスク３２を生成するように構成することができる。歩行者マスク３２は、歩行者に一般に関連する特徴に基づいて構築された歩行者のイメージである。歩行者マスク３２には、検出された歩行者が実際に歩行者であることを確認するために、検出された歩行者に適用される歩行者の輪郭が含まれる。これらの特徴が、運転環境内の歩行者の位置に基づいて変化し、及び／又は、ＰＣＧＵ３０が作動する時間を用いて、歩行者マスク３２を生成し、そして、その後のビデオフレームによって歩行者マスク３２を精緻化して確認過程の正確性を保証できることを認識する必要がある。したがって、連続的に歩行者マスク３２を緻密化することによって、歩行者マスク３２は、歩行者の輪郭３８の周囲に適用される変形可能なモデル４０である。エネルギー最小化を用いて、輪郭３８を発展させることができる。エネルギー関数は、次に示すように表すことができる。

式中、最初の２つの積分は、輪郭３８の滑らかさを制御する内部エネルギーを表し、３つ目の積分は、物体の輪郭３８を発展させる外部エネルギーである。Ｃ’（ｓ）は曲線の接線であり、Ｃ’’（ｓ）は曲線に直交する。エッジ検出装置の関数は、次に示すように定義することができる。

式中、Ｇ_σは、ガウス平滑化フィルタであり、∇ｕ₀は画像勾配である。生成された輪郭３８は、ＬＰＣＡＵ２２によって用いることができる歩行者マスク３２を画定し、局所歩行者輝度変化及び局所歩行者クロミナンス変化を含むように、歩行者クラッタ機能を算出する。

本方法には、ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化を利用して、検出された歩行者の全クラッタスコア２４及びエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を算出し、局所歩行者クラッタスコア２６を算出することが含まれ得る。歩行者検出スコア２８は、全クラッタスコア２４と局所歩行者スコアとの差である。

エッジ密度は、高周波画像要素を除去し、その後、ビデオフレーム内のエッジピクセル数と全ピクセル数との比率を決定することによって算出することができる。方法は、スライドウィンドウ３４、及びビデオフレームと同じ大きさの輝度変化マトリックス３６を利用して、輝度変化を算出することができ、ＧＣＡＵ２０は、ビデオフレーム全体（entire video frame）を横切ってスライドウィンドウ３４をスライドさせ、スライドウィンドウ３４内の輝度値の標準偏差を算出するように構成されている。輝度変化は、輝度変化マトリックス３６の対応する位置にビデオフレームの特定領域の標準偏差を入力し、輝度マトリックスの平均値を算出することによって算出することができる。クロミナンス変化は、上述したような２つのクロミナンスチャネルを用いて算出することができる。

全クラッタスコア２４は、エッジ密度、輝度変化及びクロミナンス変化の重み付けの合計として出力することができる。エッジ密度、輝度変化及びクロミナンス変化は、均等に重み付けすることができ、それぞれ１／３の重み付け値が選択される。得られた全環境クラッタスコアは、高いスコアほど高いクラッタを意味する０〜１の値の規模とし、当該値に正規化することができる。

ＬＰＣＡＵ２２は、背景ウィンドウ４４及び検出歩行者ウィンドウ４６を生成するように更に構成することができる。背景ウィンドウ４４は、検出された歩行者周囲の環境の所定次元を有するビデオ画像の一部である。検出歩行者ウィンドウ４６は、検出された歩行者の画像を捕捉する程度の大きさを有したビデオフレームの一部である。例えば、背景ウィンドウ４４は、検出歩行者ウィンドウ４６の面積の少なくとも２倍であってもよい。ＬＰＣＡＵ２２は、（１）検出歩行者ウィンドウ４６内及び（２）検出歩行者ウィンドウ４６を除いた背景ウィンドウ４４内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成されている。

ＬＰＣＡＵ２２は、本明細書に記載するように、（１）検出歩行者ウィンドウ４６及び（２）分離背景ウィンドウの双方のエッジ配向によりビニングされたエッジ大きさのヒストグラムの決定によって、背景ウィンドウ４４及び検出された歩行者のエッジ分布を算出するように構成されている。エッジ分布は、局所歩行者クラッタスコア２６を算出するのに用いることができる機能である。また、エッジ分布は、検出された歩行者が実際に歩行者であることの確認を支援するのにも有用である。

ＬＰＣＡＵ２２は、歩行者マスク３２内、更に背景ウィンドウ４４からの歩行者マスク３２の減算によって定義された領域（「マスクレス背景ウィンドウ」）内の局所輝度変化を算出するように構成することができる。ＬＰＣＡＵ２２は、スライドウィンドウ３４及びマスク輝度変化マトリックス３６を利用する。マスク輝度変化マトリックス３６は、歩行者マスク３２の輝度変化を算出するように、歩行者マスク３２と同じ大きさである。歩行者マスク３２の輝度変化を算出する場合、スライドウィンドウ３４は、歩行者マスク３２を横切ってスライドし、同じ空間のマスク輝度変化マトリックス３６に対するスライドウィンドウ３４内の輝度値の標準偏差を算出する。歩行者マスク３２の特定領域の標準偏差は、輝度変化マトリックス３６の対応する位置に入力される。歩行者マスク３２の輝度変化は、入力されたマスク輝度変化マトリックス３６の平均値として算出される。

同様に、スライドウィンドウ３４及びＭＢＷＬ変化マトリックス３６が提供される。ＭＢＷＬ変化マトリックス３６は、マスクレス背景ウィンドウの輝度変化を算出するように、マスクレス背景ウィンドウと同じ大きさである。歩行者マスク３２の輝度変化を算出する場合、スライドウィンドウ３４は、マスクレス背景ウィンドウを横切ってスライドし、同じ空間のＭＢＷＬ変化マトリックス３６に対するスライドウィンドウ３４内の輝度値の標準偏差を算出する。マスクレス背景ウィンドウの特定領域の標準偏差は、ＭＢＷＬ変化マトリックス３６の対応する位置に入力される。マスクレス背景ウィンドウの輝度変化は、入力されたＭＢＷＬ変化マトリックス３６の平均値として算出される。

ＬＰＣＡＵ２２は、歩行者マスク３２内、更にマスクレス背景ウィンドウ内の局所クロミナンス変化を算出するように更に構成することができる。全クロミナンスの算出とともに、局所クロミナンス変化の算出は、歩行者マスク３２及びマスクレス背景ウィンドウ双方の２つのクロミナンスチャネル「ａ」及び「ｂ」を用いて算出される。クロミナンス変化は、それぞれのチャネルの標準偏差を決定することによって算出される。全クロミナンス変化は、次に示すように算出することができる。

式中、σ_Cは全クロミナンス変化であり、σ_aは、チャネル「ａ」のクロミナンス変化であり、σ_bは、チャネル「ｂ」のクロミナンス変化である。

ＬＰＣＡＵ２２は、クロスマスク４２内、及び背景ウィンドウ４４からクロスマスク４２を減算することによって生成された領域（「クロスマスクレス背景領域」）内の平均輝度強度を算出するように更に構成することができる。また、ＬＰＣＡＵ２２は、クロスマスク４２内及びクロスマスクレス背景領域内の平均クロミナンス強度を算出することもできる。ＬＰＣＡＵ２２は、上述の機能、すなわち、（１）算出されたエッジ分布、（２）歩行者マスク３２及びマスクレス背景ウィンドウの局所輝度変化、（３）歩行者マスク３２内、更にマスクレス背景ウィンドウ内の局所クロミナンス変化、（４）クロスマスク４２内、更にクロスマスクレス背景領域の平均輝度強度、並びに、（５）クロスマスク４２及びクロスマスクレス背景領域の平均クロミナンス強度を用いて、局所歩行者クラッタを算出することができる。例えば、局所歩行者クラッタ（ＬＰＣ）スコアは、次式において上述の機能を算出することによって算出することができる。

式中、Ｔは、歩行者領域の次元特徴ベクトルであり、Ｂは、背景領域の対応する次元特徴ベクトルである。ｄｉｓｔは、２つのベクトル間の距離を測定したものであり、これは、ユークリッド距離を用いて測定することができる。局所歩行者クラッタスコア２６は、０〜１の値に正規化され、局所歩行者クラッタスコア２６が高いほど、歩行者が混乱し、このため、人間が環境から歩行者を認識することが困難になる。

上述したように、本方法には、ＰＤＵ１８を供して歩行者を検出することが含まれる。一実施形態において、ＰＤＵ１８は、ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法４８又は第２の検出方法５０を実行するように構成されている。第１の検出方法４８は、歩行者出現の可能性が低い場合に実行され、第２の検出方法５０は、歩行者出現の可能性が高い場合に実行される。

ＰＤＵ１８は、時刻、地理的位置又は交通場面に基づいて、歩行者出現の可能性を判断することができる。または、ＰＤＵ１８は、時間、地理的位置又は交通場面に基づいて、歩行者の可能性に関するあらかじめ算出された統計又は観察された統計を有するルックアップテーブルを処理することができる。例示目的で、ルックアップテーブルは、１２月２５日午前３時２２分のオレゴン州ビーヴァートンの未舗装道路上で、歩行者の可能性が５％であることを示すことができる。したがって、運転場面における歩行者出現の可能性が比較的低い場合、ＰＤＵ１８は、第１の検出方法４８を実行する。

第１の検出方法４８は、ビデオ画像の連続フレーム間の変化を判断することによって、ビデオ画像内の関心領域を特定するように構成されている。ＰＤＵ１８は、連続フレーム間の変化が所定の閾値を超えている場合の関心領域を特定する。第１の検出方法４８は、関心領域のそれぞれに、歩行者サイズ、形状、配向、高さ・幅比率などの１組の制限を更に適用し、必要な数の制限を有する関心領域はそれぞれ、歩行者が存在するものと分類される。

第２の検出方法５０は、フレーム内の垂直エッジを検出することによってビデオ画像内の関心領域を決定するように構成されている。ＰＤＵ１８は、垂直エッジが所定の特性を有する場合の関心領域を特定する。第２の検出方法５０は、関心領域のそれぞれに、配向勾配検出装置のヒストグラムを例示的に含むがこれに限定されない特徴フィルタを更に適用し、必要な数の特徴を有する関心領域はそれぞれ、歩行者が存在するものと分類される。

本方法には、付加的な特徴を処理し、歩行者検出スコア２８を算出することが含まれ得る。図示するように、歩行者検出スコア２８は、全クラッタスコア２４、顕著性測定、過去の位置、局所歩行者クラッタスコア２６、歩行者挙動分析及び群の相互作用（以後、それぞれを「因子（Factor）」と称し、まとめて「因子（Factors）」と称する。）を用いて算出することができる。因子は、プロセッサ１６によってともに処理され、歩行者検出スコア２８を生成するように更に処理することができる確率的学習モデル（「ＰＬＭ」）を生成することができる。ＰＬＭは、経時的に因子を記憶し、一方の因子を他方の因子に基づかせることができる学習による影響に部分的に基づいて、歩行者検出スコア２８を算出する。したがって、ＰＬＭは、学習経験によって正確な歩行者検出スコアを緻密化し提供するのに有用である。

本方法には、顕著性マップ生成装置（「ＳＭＧＵ５２」）を供することが更に含まれ得る。ＳＭＧＵ５２は、ビデオ画像を処理し、ビデオ画像から顕著な特徴を抽出するように構成されている。ＳＭＧＵ５２は、人間の視覚系の再現に関係し、前注意段階、認識状態タスク及び人間の視覚系の目的関数の間で遂行される。ＳＭＧＵ５２はタスクを算出し生成し、図９に示す顕著性マップを例示的に含む、一般に知られている及び当該技術分野で用いられている顕著性算出アプローチを用いて、独立した標的はボトムアップされる。マップは、上述した画像の強力に接続したエッジを示す。具体的には、高い顕著性特徴を有する領域は高い強度である。プロセッサ１６は、抽出された顕著性特徴を処理し、ＬＰＣＡＵ２２に顕著性特徴を提供し、局所歩行者クラッタスコア２６を生成する。顕著性特徴には、（１）画像のエッジ、及び（２）画像のエッジの接続が含まれ得るが、これらに限定されない。

本方法には、歩行者の挙動を処理し、歩行者検出スコア２８を算出するステップ２２０が更に含まれ得る。歩行者の挙動には、歩行者の移動が運転者の認識困難性に与える影響が含まれ、歩行者の挙動は、歩行者検出を確認するのに更に用いることができる。また、歩行者の挙動は、環境に関して検討することもできる。ここで、歩行者の挙動には、立っていること、歩いていること、走っていること、持っている物体などを含む、出現する歩行者の位置及び状況の分析が含まれ、認識された歩行者クラッタは、歩行者周囲の環境によって判断／算出される。例えば、ＳＭＧＵ５２は、都市の横断歩道又は住宅街に隣接する歩道における歩行者の挙動をプログラムすることができる。

本方法には、歩行者群内の個々の歩行者の相互作用、及び一方の歩行者群と他方の歩行者群との相互作用を分析し、歩行者検出スコアを算出するステップ２３０が更に含まれ得る。歩行者群分析装置（「ＰＧＡＵ５４」）は、歩行者群を検出し、歩行者群に認識困難値を割り当てるように構成されている。ＰＧＡＵ５４は、歩行者群内の個々の歩行者の相互作用、及び一方の歩行者群と他方の歩行者群との相互作用を分析する。群内の相互作用の場合、同様の行動パターンの、例えば、同じ方向に立っている／横断している／歩いている場面内に接近して位置する歩行者は、見る人によってグループ化することができ、その結果、群内の個々の歩行者のクラッタスコアは制限され、歩行者の認識困難性が特徴付けられる。したがって、見る人が非常に顕著な歩行者群をグループ化する場合、高度に混乱した歩行者を検出することは非常に容易である。ＰＧＡＵ５４は、視覚的クラッタの判断において、個々の歩行者クラッタ機能と組み合わせた歩行者群の特性を利用する。

群の相互作用の分析に関して、ＰＧＡＵ５４は、歩行者の認識も、他の歩行者の影響を受けるか、又は、同じ場面において既存の出来事／物体に気を取られるという事実を考慮する。例えば、動いている歩行者は、静的な歩行者に比べて、容易に運転者の注意をそらし、また、突進する車両又は自転車は、運転者の注意をすぐに惹き得る。ＰＧＡＵ５４は、群の相互作用における歩行者挙動の学習を利用して、歩行者検出スコア２８を算出することができる。

本発明の多くの改良及び変形が上述の教示に照らして可能であり、添付した特許請求の範囲内であれば、具体的に記載されたもの以外を実施できることは明白である。

１０ 歩行者認識警告システム
１２ ビデオカメラ
１２ａ ＧＰＳアンテナ
１２ｂ 重力センサ
１４ アラート
１６ プロセッサ
１８ ＰＤＵ
２０ ＧＣＡＵ
２２ ＬＰＣＡＵ
３０ ＰＣＧＵ
４８ 第１の検出方法
５０ 第２の検出方法
５２ ＳＭＧＵ
５４ ＰＧＡＵ
１００ 自動運転車

Claims (55)

1. 運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発するように構成された歩行者認識警告システムであって、
   ビデオ画像を捕捉するように構成されたビデオカメラと、
   前記警告を発するためのアラートと、
   前記ビデオカメラと電気通信状態にあるプロセッサと、
   前記ビデオ画像を分析して歩行者を検出するように構成された歩行者検出装置（「ＰＤＵ」）と、
   全ての前記ビデオ画像のクラッタを測定した全クラッタスコアを生成するように構成された全クラッタ分析装置（「ＧＣＡＵ」）と、
   前記ビデオ画像で検出されたそれぞれの歩行者の前記クラッタを測定した局所歩行者クラッタスコアを生成するように構成された局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）と、を具備し、前記ＰＤＵが前記ビデオ画像中の歩行者を検出する場合、前記プロセッサ１６が前記ＧＣＡＵ及び前記ＬＰＣＡＵの双方を起動させ、前記プロセッサが、歩行者検出スコアを生成するために前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理し、且つ、前記歩行者検出スコアが所定閾値の範囲外にある場合に、更に前記プロセッサ１６が、歩行者の視覚的認識が困難であることを運転者に警告するために前記アラートを作動させる歩行者認識警告システム。
2. 歩行者マスクを生成するように構成された歩行者輪郭生成装置（「ＰＣＧＵ」）を更に含み、更に前記ＬＰＣＡＵが、前記歩行者マスクを処理して前記局所歩行者クラッタスコアを算出する請求項１に記載の歩行者認識警告システム。
3. 前記ＧＣＡＵが、前記ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化を処理して前記全クラッタスコアを算出し、前記ＬＰＣＡＵが、検出された歩行者のエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を処理して前記局所歩行者クラッタスコアを算出する請求項２に記載の歩行者認識警告システム。
4. 前記歩行者検出スコアが、前記全クラッタスコアと局所歩行者スコアとの間の差である請求項３に記載の歩行者認識警告システム。
5. 前記ＧＣＡＵが、高周波画像要素を除去し、次いでビデオフレーム内のエッジピクセル数と全ピクセル数との比率を算出して前記エッジ密度を算出するように更に構成された請求項３に記載の歩行者認識警告システム。
6. 前記ＧＣＡＵが、スライドウィンドウと、ビデオフレームと同じ大きさの輝度変化マトリックスとを含み、前記ＧＣＡＵが、前記ビデオフレーム全体を横切って前記スライドウィンドウをスライドさせて前記スライドウィンドウ内の輝度値の標準偏差を算出するように構成され、前記ビデオフレームの特定領域の前記標準偏差が、前記輝度変化マトリックスの対応する位置に入力され、前記輝度変化が前記輝度変化マトリックスの平均値として算出される請求項３に記載の歩行者認識警告システム。
7. 前記クロミナンス変化が、２つのクロミナンスチャネルを用いて算出される請求項３に記載の歩行者認識警告システム。
8. 前記エッジ密度、前記輝度変化及び前記クロミナンス変化が、前記全クラッタスコアを算出する場合に均等に重み付けされる請求項３に記載の歩行者認識警告システム。
9. 前記ＰＣＧＵが、検出された歩行者の輪郭を生成し、該輪郭に適用される変形可能なモデルを生成し、前記ＰＣＧＵが、エネルギー最小化機能を適用して前記輪郭を更に緻密化し、前記歩行者マスクを生成する請求項２に記載の歩行者認識警告システム。
10. 前記ＰＣＧＵが、前記ビデオ画像の背景画像からクロス領域を細分化してクロスマスクを更に生成するように更に構成された請求項９に記載の歩行者認識警告システム。
11. 前記ＬＰＣＡＵが、背景ウィンドウ及び検出歩行者ウィンドウを生成するように更に構成され、前記背景ウィンドウの面積が、前記検出歩行者ウィンドウの面積の少なくとも２倍であり、前記背景ウィンドウが、前記検出された歩行者の周囲の前記ビデオ画像を含む請求項９に記載の歩行者認識警告システム。
12. 前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ内及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウ内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成された請求項１１に記載の歩行者認識警告システム。
13. 前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウのエッジ配向によりビニングされたエッジ大きさのヒストグラムの決定によって、前記背景ウィンドウ及び前記検出された歩行者のエッジ分布を算出するように構成された請求項１２に記載の歩行者認識警告システム。
14. 前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所輝度変化を算出するように構成された請求項１１に記載の歩行者認識警告システム。
15. 前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所クロミナンス変化を算出する請求項１１に記載の歩行者認識警告システム。
16. 前記ＬＰＣＡＵが、クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の前記平均輝度強度を算出する請求項１１に記載の歩行者認識警告システム。
17. 前記ＬＰＣＡＵが、クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均クロミナンス強度を算出するように構成された請求項１１に記載の歩行者認識警告システム。
18. 前記ＰＤＵが、前記ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法又は第２の検出方法を実行するように構成され、前記第１の検出方法が、歩行者出現の可能性が低い場合に実行され、且つ、前記第２の検出方法が、歩行者出現の可能性が高い場合に実行される請求項１に記載の歩行者認識警告システム。
19. 前記ＰＤＵが、時間、地理的位置又は交通場面の少なくとも１つの基準に基づいて、歩行者出現の可能性を判断する請求項１８に記載の歩行者認識警告システム。
20. 前記第１の検出方法が、前記ビデオ画像の連続フレーム間の変化を判断することによって、前記ビデオ画像内の関心領域を特定するように構成され、且つ、前記変化が所定の閾値を超える場合に関心領域を特定し、更に前記第１の検出方法が、関心領域のそれぞれに対して１組の制限を適用し、必要な数の制限を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項１９に記載の歩行者認識警告システム。
21. 前記第２の検出方法が、フレーム内の垂直エッジを検出することによって前記ビデオ画像内の前記関心領域を決定するように構成され、且つ、前記垂直エッジが所定の特性を有する場合に前記関心領域を特定し、更に前記第２の検出方法が、関心領域のそれぞれに対して特徴フィルタを更に適用し、必要な数の特徴を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項２０に記載の歩行者認識警告システム。
22. 顕著性マップ生成装置（「ＳＭＧＵ」）を更に含み、該ＳＭＧＵが、前記ビデオ画像を処理し、該ビデオ画像から顕著な特徴を抽出するように構成され、前記プロセッサが、前記ＬＰＣＡＵを作動させるように更に構成され、抽出された前記顕著な特徴が処理されて前記局所歩行者クラッタスコアを生成する請求項１に記載の歩行者認識警告システム。
23. 前記顕著な特徴が歩行者の挙動を含む請求項２２に記載の歩行者認識警告システム。
24. 前記歩行者の挙動が歩行者の動作である請求項２３に記載の歩行者認識警告システム。
25. 前記歩行者の挙動が歩行者周囲の環境に基づくものである請求項２３に記載の歩行者認識警告システム。
26. 歩行者群を検出し、該歩行者群に対して認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）を更に含み、該ＰＧＡＵが、該歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析する請求項２２に記載の歩行者認識警告システム。
27. 運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発する方法であって、
    ビデオ画像を捕捉するように構成されたビデオカメラを設けることと、
    運転環境内の歩行者を視覚的に認識することが困難であるという警告を発するためのアラートを設けることと、
    前記ビデオカメラと電気通信状態にあるプロセッサを設けることと、
    歩行者を検出するために前記ビデオ画像を分析することと、
    全ての前記ビデオ画像のクラッタを測定し且つ全クラッタスコアを算出することと、
    前記ビデオ画像で検出されたそれぞれの歩行者の前記クラッタを測定し且つ局所歩行者クラッタスコアを算出することと、
    前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理して歩行者検出スコアを算出することと、
    前記歩行者検出スコアが所定閾値の範囲外にある場合に、警告を発して歩行者の視覚的認識が困難であることを運転者に通知することと、を含む方法。
28. プロセッサ、歩行者検出装置（「ＰＤＵ」）、全クラッタ分析装置（「ＧＣＡＵ」）及び局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）を設けることを更に含み、前記ＰＤＵが、前記ビデオ画像を分析して歩行者を検出し、前記ＧＣＡＵが、ビデオ画像を分析して全ての前記ビデオ画像のクラッタを測定し且つ全クラッタスコアを算出し、前記ＬＰＣＡＵが、検出された歩行者を分析して該検出された歩行者の前記クラッタを測定し且つ局所歩行者クラッタスコアを算出し、前記プロセッサが、前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理して前記歩行者検出スコアを算出する請求項２７に記載の方法。
29. 歩行者マスクを生成することを更に含み、前記ＬＰＣＡＵが、前記歩行者マスクを処理して前記局所歩行者クラッタスコアを算出する請求項２８に記載の方法。
30. 前記歩行者マスクを生成するように構成された歩行者輪郭生成装置（「ＰＣＧＵ」）を含む請求項２９に記載の方法。
31. 前記ＧＣＡＵが、前記ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化を処理して前記全クラッタスコアを算出し、前記ＬＰＣＡＵが、前記検出された歩行者のエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を処理して前記局所歩行者クラッタスコアを算出する請求項３０に記載の方法。
32. 前記歩行者検出スコアが、前記全クラッタスコアと局所歩行者スコアとの間の差である請求項３１に記載の方法。
33. 前記ＧＣＡＵが、高周波画像要素を除去し、次いでビデオフレーム内のエッジピクセル数と全ピクセル数との比率を決定して前記エッジ密度を算出するように更に構成された請求項３２に記載の方法。
34. 前記ＧＣＡＵが、スライドウィンドウと、前記ビデオフレームと同じ大きさの輝度変化マトリックスとを含み、前記ＧＣＡＵが、前記ビデオフレーム全体を横切って前記スライドウィンドウをスライドさせて該スライドウィンドウ内の輝度値の標準偏差を算出するように構成され、前記ビデオフレームの特定領域の前記標準偏差が、前記輝度変化マトリックスの対応する位置に入力され、前記輝度変化が前記輝度変化マトリックスの平均値として算出される請求項３３に記載の方法。
35. 前記クロミナンス変化が、２つのクロミナンスチャネルを用いて算出される請求項３１に記載の方法。
36. 前記エッジ密度、前記輝度変化及び前記クロミナンス変化が、前記全クラッタスコアを算出する場合に均等に重み付けされる請求項３１に記載の方法。
37. 前記ＰＣＧＵが、前記検出された歩行者の輪郭を生成し、且つ、該輪郭に適用される変形可能なモデルを生成し、前記ＰＣＧＵが、エネルギー最小化機能を適用して前記輪郭を更に緻密化し、前記歩行者マスクを生成する請求項３０に記載の方法。
38. 前記ＰＣＧＵが、前記ビデオ画像の背景画像からクロス領域を細分化してクロスマスクを更に生成するように更に構成された請求項３７に記載の方法。
39. 前記ＬＰＣＡＵが、背景ウィンドウ及び検出歩行者ウィンドウを生成するように更に構成され、前記背景ウィンドウの面積が、前記検出歩行者ウィンドウの面積の少なくとも２倍であり、前記背景ウィンドウが、前記検出された歩行者周囲の前記ビデオ画像を含む請求項３８に記載の方法。
40. 前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ内及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウ内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成された請求項３９に記載の方法。
41. 前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウのエッジ配向によりビニングされたエッジ大きさのヒストグラムの決定によって、前記背景ウィンドウ及び検出された歩行者のエッジ分布を算出するように構成された請求項４０に記載の方法。
42. 前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所輝度変化を算出するように構成された請求項３９に記載の方法。
43. 前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所クロミナンス変化を算出するように構成された請求項３９に記載の方法。
44. 前記ＬＰＣＡＵが、前記クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均輝度強度を算出するように構成された請求項３９に記載の方法。
45. 前記ＬＰＣＡＵが、前記クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均クロミナンス強度を算出するように構成された請求項３９に記載の方法。
46. 前記ＰＤＵが、前記ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法又は第２の検出方法を実行するように構成され、前記第１の検出方法が、歩行者出現の可能性が低い場合に実行され、前記第２の検出方法が、歩行者出現の可能性が高い場合に実行される請求項２７に記載の方法。
47. 前記ＰＤＵが、時間、地理的位置又は交通場面のうちの少なくとも１つに基づいて、歩行者出現の可能性を判断する請求項４４に記載の方法。
48. 第１の検出方法が、前記ビデオ画像の連続フレーム間の変化を判断することによって、前記ビデオ画像内の関心領域を特定するように構成され、且つ、前記変化が所定の閾値を超えている場合に関心領域を特定し、更に前記第１の検出方法が、関心領域のそれぞれに対して１組の制限を適用し、必要な数の制限を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項４５に記載の方法。
49. 前記第２の検出方法が、フレーム内の垂直エッジを検出することによって前記ビデオ画像内の関心領域を決定するように構成され、且つ、前記垂直エッジが所定の特性を有する場合に前記関心領域を特定し、更に前記第２の検出方法が、関心領域のそれぞれに対して特徴フィルタを適用し、必要な数の特徴を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項４６に記載の方法。
50. 歩行者の挙動を利用して前記歩行者検出スコアを算出することを更に含む請求項２７に記載の方法。
51. 顕著性マップ生成装置（「ＳＭＧＵ」）を含み、該ＳＭＧＵが、前記ビデオ画像を処理し且つ該ビデオ画像から顕著な特徴を抽出するように構成され、前記プロセッサが、抽出された前記顕著な特徴を前記ＬＰＣＡＵで処理して局所歩行者クラッタスコアを生成するように構成され、前記顕著な特徴が歩行者の挙動を含む請求項５０に記載の方法。
52. 前記歩行者の挙動が歩行者の動作である請求項５１に記載の方法。
53. 前記歩行者の挙動が歩行者周囲の環境に基づくものである請求項５１に記載の方法。
54. 歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析して前記歩行者検出スコアを算出することを更に含む請求項２７に記載の方法。
55. 前記歩行者群を検出し、該歩行者群に対して認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）を更に含み、該ＰＧＡＵが、前記歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析する請求項５４に記載の方法。

Images