JP2020061138A - 緊急車両の検出 - Google Patents

Abstract

【課題】車両の適切な行動のために緊急車両の存在を検出するための方法を提供する。【解決手段】方法は、任意の時間にわたって画像センサから複数の画像フレームを取得し、各画素内の合計色に対する第１の色の割合に基づいて、各画像フレーム内の複数の画素についてＥＶ色成分を判定し、ＥＶ色成分が予め定めたしきい値を超える場合は画素に第１の値を割り当て、ＥＶ色成分がしきい値を超えていない場合は画素に第２の値を割り当てることと、画像フレームのそれぞれについて、第１の値全ての合計に基づいて、第１の色についてのＥＶ色値を判定することと、を備える。さらに、複数の画像フレームに関連するＥＶ色値に基づいて時間領域表現を生成することと、時間領域表現を周波数スペクトラムに変換することと、周波数スペクトラムの分析により、１種類又はそれ以上の種類の緊急車両に関連する第１の色の点滅光源が存在するか否かを判定することを備える。【選択図】なし

Description

本願の開示は、画像分析により緊急車両の存在を検出する方法及び装置に関する。

現代の車両には、運転者が車両を運転するのを支援するためのさまざまな電子システムが装備されていることがよくある。そのような運転者支援システムは、多くの場合、車両の外部環境に関する情報を収集するように動作可能な画像センサー、レーダーセンサー、ライダーセンサーなどの環境センサーを備える。環境センサーは、車両自体に搭載されることがあるか、あるいはセンサーデータを無線で車両に送信してリモートに配置されることがある。センサーによって収集されたデータは、１つ又は複数のプロセッサによって分析され、ドライバーへの通知又は警告の提供から、車両の半自動運転から完全自律運転までのさまざまな運転支援機能の提供に使用される。

ある例では、運転者支援システムを使用して、救急車、消防車、パトカーなどの接近する緊急車両（以下「ＥＶ」ということがある。）の存在を検出し、車両の運転者又は自律走行モジュールが、使用されるであろう。緊急車両の検出は、画像センサのみ又は他のセンサーデータと組み合わせて撮影された車両環境の画像を分析することで実現する可能性がある。したがって、適切な行動を迅速に講じられるために効率がよい、緊急車両の存在を検出するための画像ベースの方法及び装置が求められている。

本開示の複数の観点は、ある期間にわたって画像センサによって撮影された複数の画像フレームから緊急車両の存在を検出するための方法及び装置を提供する。

本開示の一態様は、ある期間にわたって画像センサによって撮影された複数の画像フレームを受信することを備える、緊急車両の存在を検出する方法を提供する。例として、画像センサは、車両の外部に取り付けられ、車両の外部環境の画像をキャプチャするように構成されてもよい。画像センサは、モノカメラ又は広角魚眼カメラであってもよい。いくつかの実施形態では、画像センサは、車両の後部に取り付けられ、車両の後部方向に連続的に画像をキャプチャするように構成されてもよい。計算プロセッサは、車両の後方に緊急車両が存在するか否かを判断するために、画像センサによって撮影された画像フレームを分析するように構成されてもよい。他の実施形態では、画像センサは、街灯柱のような公共施設に取り付けられてもよく、キャプチャされた画像フレームは処理のためにプロセッサに送られてもよい。画像フレームの分析は、各画素内の合計色に対する第１の色の割合に基づいて各画像フレームの複数の画素の緊急車両（ＥＶ）色成分を決定し、ＥＶ色成分が、あらかじめ定めたしきい値を超えている場合に第１の値を、そうでない場合第２の値を、画素に割り当てることを備える。第１の色は、関心のある１つ又は複数のタイプの緊急車両に属する点滅光源の色に対応する。例えば、第１の色は、緊急車両に関連する、青、黄色、又は他の色であり得る。ＥＶ色成分は、各画素の合計色に対する各画素の第１の色の内容を測るものである。いくつかの実施形態では、画素に割り当てられた第１の値又は第２の値はそれぞれ１及び０でありえる。この方法は、複数の画像フレーム内の複数の画素のそれぞれのＥＶ色成分を決定した後と、ＥＶ色値の決定前とに、メディアンフィルタを使用してスプリアススパイクを除去することをも、さらに備えてもよい。第１の値と第２の値とが異なる限り、他の値も適することがあり得る。好ましくは、ＥＶ色成分は、画像フレーム内の全ての画素について計算される。次いで、複数の画像フレームのそれぞれのＥＶ色値は、各画像フレームの全ての第１の値の合計に基づいて決定される。ＥＶ色値は、指定されたフレームで分析されている選択された第１の色の色強度を示す。画像フレームに関連付けられたＥＶ色値に基づく時間領域表現が生成され、その後、複数の画像フレームの時間領域表現は、周波数スペクトルに変換される。周波数スペクトルは、例えば、パワースペクトル密度（ＰＳＤ）対周波数の変動として表されてもよい。あるいは、代わりに、信号内の全ての周波数成分に対する周波数成分の相対的な寄与を示す正規化された周波数スペクトルも生成されるようにしてもよい。複数の画像フレームに存在する１つ又は複数の緊急車両に関連付けられた第１色の点滅光源があるかどうかを判断するために、周波数スペクトルが分析される。

上記方法による本開示の実施態様は複数の有利点をもたらすであろう。まず、この方法は、複雑な計算処理を必要としないので、計算上の要求と処理時間を削減する。例えば、本開示の実施態様による点滅光源を検出するための方法は、画像フレーム内の特定の光源の識別を必要としない。そのような識別は、現在の方法と比較して、複数の画像フレームを処理しなくてはならなくなり、データベースに格納された複数の緊急車両に属する既知の点滅光源のテンプレートに基づいて複数の光源を特定するように識別しなくてはならなくなり、処理要求増が避けられない。テンプレートは、既知の緊急車両の光源の色及び空間的構成のような情報を含んでいてもよい。本開示の実施態様は、データベースに格納されている既知の緊急車両の点滅速度との対応について個々に確認される、各特定的に識別される潜在的な光源の点滅速度をも要しない。代わりに、任意の期間にわたって画像センサによって取得される複数の画像フレームのそれぞれのＥＶ色値が計算され、１種又はそれ以上の種類の緊急車両の点滅速度を持つ第１の色の光源があるか否かを識別するために、ＥＶ色値から求められる周波数スペクトラムが使用される。さらに、本開示の実施態様は、緊急車両を、画像センサに直接感知可能な光源に基づいて検出可能であるだけではなく、道路、ガラス表面及び車体のような異なる表面からのそのような光源の反射に基づいて検出可能である。この理由は、本開示の実施態様は、画像内に検出される光源と、既知の緊急車両の光源との特定のマッチングを要しないからである。反射光に基づく検出は、緊急車両の光源が塞がれている場合に有用である。

一部の実施態様では、複数の画像フレームの時間領域表現の生成は、さらに、ＥＶ色値中の直流（ＤＣ）バイアスの除去を備える場合がある。これは、全ての画像フレームについて平均ＥＶ色値を計算することと、平均ＥＶ色値を各画像フレームの個々のＥＶ色値から差し引くこととで達成されてもよい。時間領域表現の周波数スペクトラムへの変換は、フーリエ変換及びウェーブレット変換のようなアルゴリズムが使用され得る。好ましい実施態様においては、時間領域表現を周波数スペクトラムに変換するために高速フーリエ変換が使用される。高速フーリエ変換は、一般的に、離散フーリエ変換と比較して速く、同じ結果を出す。スムーズな周波数応答を取得するためのデータポイントは、相対的により少なくてよい。変換処理はまた、一周波数の片側スペクトラムをレンダリングするように構成されてもよい。本開示は、点滅光源を検出するために、周波数スペクトラムの信号の絶対値のみを要するので、片側スペクトラムは、有利に、両側のスペクトラムについての冗長な計算を減らす。それは、両側のスペクトラムが、計算に必要な情報の点で同一であるからである。追加的に、冗長な計算の削減は、追加の計算資源を被ることなく、処理すべき関連するサンプリングポイントを許容する。一例として、片側周波数スペクトラムの変換は、ＭＡＴＬＡＢ（登録商標）のＰＷＥＬＣＨ関数を用いて実施されてもよい。

別の実施態様では、周波数スペクトラムの分析は、周波数スペクトラムに存在する周波数成分が、１種又はそれ以上の種類の緊急車両の既知の第１の色光源の周波数成分に一致するか否かの判定を備えてもよい。一つの変形例では、周波数成分の振幅が事前に定義された最小振幅に等しいかそれ以上である場合、周波数成分は周波数スペクトルに存在すると考えられてもよい。例としては、周波数スペクトラムに存在する周波数成分は、少なくとも基本周波数と、１つ又はそれ以上の高調波とに一致する場合、１種類又はそれ以上の種類の緊急車両の既知の第１の色光源の周波数成分に一致すると考えられる。第１の色光源の代表として選ばれる１つ又はそれ以上の高調波は、画像センサの品質、処理されて入ってくる画像フレームのフレームレート、又はそれらの組み合わせのようなさまざまな要因に依存する。選択的実施態様において、方法は、さらに、特定種類の緊急車両の少なくとも一つの光源の存在の決定に少なくとも部分的に基づいて実施すべきアクションを起こすことを備える場合がある。例として、一つ又はそれ以上のアクションは、存在について検出される対象の一台又はそれ以上の緊急車両の位置の決定を含んでもよい。

本開示の実施態様は、また、上述した方法を実行するためのコンピュータ可読指示を備える持続性コンピュータ可読媒体の形態であることを含む場合がある。

本開示の別の観点は、プロセッサと、プロセッサに結合されている少なくとも１つのメモリとを備えた緊急車両の存在を検出するための装置を提供する。
少なくとも１つのメモリは、プロセッサに実行可能な指示を格納していて、指示は、プロセッサに、任意の期間にわたって画像センサによって取られる複数の画像フレームを受け取らせ、各画素内の合計色と比較した第１の色の割合に基づいて各画像フレーム内の複数の画素についてＥＶ色成分を決定させ、ＥＶ色成分が予め定めたしきい値を超える場合は画素に第１の値を割り当てさせ、そうでない場合は第２の値を割り当てさせる。プロセッサにさらに、複数の画像フレームに関連するＥＶ色値に基づいて時間領域表現を生成させ、複数の画像フレームについての時間領域表現を周波数スペクトラムに変換させ、周波数スペクトラムの分析により、１種類又はそれ以上の種類の緊急車両に関連する第１の色の点滅光源が存在するか否か判定させる。本開示に関連する装置を備える車両もまた、実施態様としてもよい。実施態様の一部では、第１の値は１であり、第２の値は０としてもよい。

変形例の一部では、プロセッサによる周波数スペクトラムの分析は、周波数スペクトラムに存在する周波数成分が、１種類又はそれ以上の種類の緊急車両に関連する既知の第１の色光源の周波数成分に一致するか否かの判定を備える。例えば、周波数スペクトラムに存在する周波数成分は、少なくとも基本周波数と、１つ又はそれ以上の高調波とに一致する場合、１種類又はそれ以上の種類の緊急車両に関連する既知の第１の色光源の周波数成分に一致すると考えられてもよい。

少なくとも１つのメモリは、またさらに、プロセッサに、特定種類の緊急車両に関連する少なくとも１つの光源が存在するとの判定において少なくとも部分的に１つ又はそれ以上のアクションの実行を起こさせてもよい。例として、１つ又はそれ以上のアクションは、運転者への、緊急車両が近くに存在するとの通知の発行と、緊急車両の存在について他車両へ警告する信号を他車両へ送るためのテレマティクスモジュールへの指示との少なくとも一方を含んでもよい。

本開示の１つ又はそれ以上の実施態様の詳細は、関連する図面及び以下の記載において示す。他の観点、特長及び有利点は、本開示の記載と、図面と、請求の範囲から明らかとなる。

図１は、本開示の一実施態様による、緊急車両の存在を検出する機械視野モジュールを備えるシステム１００の機能ブロック図である。 図２は、複数の画像センサが搭載された車を示し、各画像センサに関連する視野に対応する、例示的な概要図である。 図３Ａは、本開示の一実施態様による、緊急車両の存在を検出するための方法を示す流れ図である。 図３Ｂは、本開示の一実施態様による、複数の画像フレームのそれぞれについて緊急車両の色値を決定するための方法の一例を示す流れ図である。 図４は、検出対象の緊急車両に関連する点滅光源が検出されていない場合の、時間領域の例示的表現と、対する周波数スペクトラムを示す。 図５は、一台又はそれ以上の型式の緊急車両に関連する点滅する青光源が検出されている場合の、時間領域の例示的表現と、対する周波数スペクトラムを示す。

以下に続く詳細な説明において、本明細書に付帯する図面を参照する。図面において、内容が異ならない限り、類似する記号は典型的には類似する部材を特定するものとする。

図１は、本開示の一実施形態による、環境モジュール１１０、機械視覚モジュール１２０、自律走行モジュール１４０、ユーザインタフェース１６０、及びテレマティクスモジュール１８０を備える車両に関連する例示的なシステム１００の機能的ブロック図である。環境モジュール１１０は、車両の外部環境についての情報を感知し収集する環境センサを備える。図１の実施態様において、環境モジュールは、車両の異なる部分に外部に取り付けられた２つの画像センサ（１１４及び１１６）を含む画像センサモジュール１１２を備える。画像センサは、車両の外部環境の画像をキャプチャするように操作可能である。画像センサは、車両のイグニッションがオンになっている限り、又はオンデマンドで画像をキャプチャする限り、外部環境の画像を継続的にキャプチャしてもよい。図２は、２つの画像センサ（１１４、１１６）がそれぞれ車両１０２の前部及び後部に取り付けられている例示的な実装を示す。画像センサ（１１４、１１６）は、例えば、車両の前部及び後部バンパーに取り付けられたモノラルカメラ又は広角魚眼カメラなどの視覚画像センサであってもよい。前向き及び後向き画像センサ（１１４、１１６）に関連するそれぞれの視野は、それぞれ参照番号１１４Ａ及び１１６Ａで示されている。当業者であれば、他のタイプ及び数の画像センサも画像センサモジュール１１２で使用してもよいことがわかるであろう。環境モジュール１１０は、環境モジュール１１０は、レーダーセンサモジュール（１１８）、ライダー、超音波センサ（図示せず）などの他のタイプの環境センサも備えてもよい。

機械視覚モジュール１２０は、環境モジュール１１０と通信し、画像センサモジュール１１２内の１つ又はそれ以上の画像センサによって一定期間にわたって撮影された複数の画像フレームを処理及び分析することにより、緊急車両の存在を検出する自動化方法を実行するように構成される。例えば、画像センサモジュール１１２は、画像センサによってキャプチャされた画像フレームを緊急車両の検出のために機械視野モジュールに連続的に送信してもよく、又は必要に応じてのみ画像を送信してもよい。機械視覚モジュール１２０は、計算プロセッサ１２２と、プロセッサ１２２と通信するハードウェアメモリ１２４とを備える。計算プロセッサ１１２は、例えば、メモリ１２４にアクセスして情報を記憶可能であって、メモリ１２４に格納されている命令を実行可能なマイクロコントローラ又はグラフィック処理ユニット（ＧＰＵ）としてもよい。代替的に、プロセッサ１２２及びメモリ１２４は、単一の集積回路上に統合されてもよい。メモリ１２４は、プロセッサ１２２によって実行可能な命令と、プロセッサ１２２によって格納、検索、又はほかに使用されてもよいデータのような、プロセッサ１２２によってアクセス可能な情報を格納する。
例えば、プロセッサ１２２はメモリ１２４に格納された命令に基づいて、本開示のいくつかの実施態様による、緊急車両の存在を検出するための方法を実行してもよい。そのような方法は、ある期間にわたって画像センサによって撮影された複数の画像フレームの各画像フレーム内の複数の画素についてＥＶ色成分を決定することを含んでもよい。好ましくは、複数の画像フレームの各画像フレーム内の全ての画素について、ＥＶ色成分が計算される。ＥＶ色成分は、画素内の全色成分に対する画素内の１つ以上の型式の緊急車両に関連する第１の色の割合を指す。緊急車両の例には、警察車両、救急車及び消防車が含まれる。例として、第１の色は、青色であってもよく、救急車及び警察車両に関連付けられてもよい。画素のＥＶ色成分が定義済みのしきい値を超える場合、画素に第１の値が割り当てられ、ＥＶ色成分がそうでない場合、第２の値が割り当てられる。第１の値は、例えば、１とし、第２の値は０としてもよい。第１の値と第２の値が異なっていれば、他の値も適することがある。ある実施態様においては、メモリ１２４に格納されたデータは、１つ又は複数のタイプの緊急車両のＥＶ色成分の、事前に定義されたしきい値を含んでもよい。
第１の色に関連付けられたＥＶ色値は、次に、そのフレームの全ての第１の値の合計に基づいて各画像フレームについて計算されてもよい。メモリ１２４はＥＶ色成分及びＥＶ色値を格納するための一時的なバッファとして使用されてもよい。次に、画像フレームがキャプチャされた時間に対して各画像フレームのＥＶ色値をプロットすることにより、時間に対する、各画像フレームのＥＶ色値の時間領域表現が生成される。次に、プロセッサは、時間表現を周波数スペクトルに変換することにより、複数の画像フレームに、緊急車両と一致する速度で点滅する第１の色の光源があるかどうかを決定してもよい。次に、周波数スペクトルを、第１の色の非常灯を備えた緊急車両の既知の周波数スペクトルに一致するものがあるか否か判別するべく、比較される。一実施態様において、緊急車両の周波数スペクトルの周波数成分と既知の周波数スペクトルの比較がなされる。比較される周波数成分は、少なくとも基本周波数と１つ又はそれ以上の高調波を含んでもよい。緊急車両の周波数スペクトル署名は、メモリ１２４に格納され、比較のためにプロセッサ１２２によってそこから検索されてもよい。

図１は、プロセッサ１２２及びメモリ１２４を同じブロック内に位置するものとして機能的に示しているが、プロセッサ及びメモリは実際には異なるハウジングに位置する複数のプロセッサ及び／又はメモリを備えるものでもよい。したがって、プロセッサ又はメモリへの言及は、本開示で説明されるマシンビジョンモジュールの機能を実行するように動作するプロセッサ及び／又はメモリの集合体への言及を含むと理解されるであろう。さらに、機械視覚モジュールは、他のモジュール又は構成部分とは独立して存在してもよいことを当業者は理解するであろう。代替的に、機械視覚モジュールは、他のモジュール、プログラム、又はハードウェアの共有要素又は処理であってもよい。
図１及び図３は、車両に関連するものとして機械視覚モジュール及び画像センサを示しているが、この図示されたものに限定することを意図しない。例えば、本開示は、建物又は街灯柱に取り付けられた１つ又はそれ以上の画像センサによってキャプチャされた画像フレームに基づく緊急車両の検出に使用してもよく、緊急車両が検出される場合に、プロセッサが、緊急車両の存在について画像センサ近くの車両に警告するように構成してもよい。

システム１００は、機械視覚モジュール１２０と通信する自律走行モジュール１４０と、ユーザインタフェース１６０と、テレマティクスモジュール１８０とをも備える。一例として、機械視覚モジュール１２０は、コントローラエリアネットワーク（ＣＡＮ）バスを介して他のモジュールに通信可能に結合されてもよい。自律走行モジュール１６０（１４０）は、適応航行コントロール（ＡＣＣ）、アクティブレーンアシスト、高度自動運転（ＨＡＤ）、駐車アシストなどの車両の半自律及び自律走行機能の制御を担う。自律走行モジュール１４０は、典型的には、所望の車両操作を有効にするため、さまざまな車両モジュールからデータや命令を受信し、それらを分析して、例えばパワートレイン、ステアリング及び制動モジュールに命令を送信することにより、さまざまな半自律及び自動運転機能を計画、調整、及び実行する監視電子制御ユニット（ＥＣＵ）を備えている。車両に関連付けられたユーザインタフェース１６０に関しては、オーディオ及びビジュアルメッセージを車両の運転手に伝えるために使用されてもよい。一変形例では、ユーザインタフェース１６０は、インストルメントパネル、電子ディスプレイ、及びオーディオシステムなどのコンポーネントを備えてもよい。計器盤は、ダッシュボード、あるいは、例えば、速度計、タコメーター、警告灯インジケーターを表示する中央ディスプレイとしてもよい。ユーザインタフェースは、他の視覚的メッセージを運転者に伝えるためのインフォテインメント又はヘッドアップディスプレイのような電子ディスプレイと、音声メッセージ、警告又は音楽を再生するためのオーディオシステムとを備えてもよい。テレマティクスモジュール１８０に関しては、自車両と他車両との間の通信、すなわち車両間（Ｖ２Ｖ）通信を実行するように動作可能である。本開示のいくつかの実施形態では、機械視覚モジュール１２０のプロセッサ１２２は、１つ又はそれ以上の種類の緊急車両に関連付けられた１つ又はそれ以上の光源が存在することを検出することに少なくとも部分的に応答して、１つ又はそれ以上のアクションを実行させてもよい。これらのアクションが、ドライバーの近くに緊急車両がいるので緊急車両に道を譲るために適切なアクションをとる必要があるという通知を、運転者に発行することを含んでもよい。通知は、ユーザインタフェース１６０のＨＵＤ１６２と、オーディオシステム１６４との少なくとも一方を介して、運転者に、表示と、聴覚的との少なくとも一方で伝達されてもよい。プロセッサ１２２は、自律走行モジュール１４０に信号を送信して、車両の制御を運転者から引き継ぎ、緊急車両に譲るように車両を操縦するように命令するようにしてもよい。さらに別の変形例では、１つ又はそれ以上のアクションは、緊急車両の存在について警告するために、テレマティクスモジュール１８０を介して近接する他の車両に信号を送信することも含んでもよい。

図３Ａは、本開示の一実施態様による、第１の色の点滅光源を有する１つ又はそれ以上の種類の緊急車両の存在を検出するための例示的な処理３００を示す流れ図である。処理３００は、他の色の点滅光源を有する緊急車両を検出するために、本開示の他の実施態様と連続して又は並行して実行されてもよい。例えば、米国のように一部の国では、救急車と、警察車両のような法執行車両とに青色光源を使用し、消防車に赤色光源を使用する場合がある。そのため、２つの処理を同時に又は連続して実行して、青色又は赤色の点滅ライトを備えた緊急車両の存在を検出してもよい。処理３００の操作を、図１のシステムを参照して以下説明する。しかしながら、他の類似のシステムも適していることは理解されよう。ステップ３０１にて処理３００は開始し、また、スイッチが入れられた車両のイグニッションによって始動されるようにしてもよい。処理３００の開始に進むための他のイベントも適切であり、処理は要求に応じて開始に進むようにしてもよい。ステップ３１０において、ブロック３０１内の処理の開始により、機械視覚モジュール１２０のプロセッサ１２２は、時間Ｔにわたって画像センサにより撮影された複数の画像フレームを含む画像フレームの第１ブロックの受信を開始する。画像センサは、例えば、図２において車両後部に搭載された画像センサ１１６であってもよい。この開示において、緊急車両の存在は、複数ブロック内の画像フレームを分析することによって検出され、各ブロックは、時間Ｔにわたって画像センサによって撮影された複数の画像フレームを備える。一実施形態では、画像フレームの各ブロックは、毎秒１６画像フレームの速度で４秒間にわたって画像センサによって撮影された合計６４画像フレームを備える。プロセッサ１２２は、１つ又はそれ以上の特定種類の緊急車両に関連する光源がブロック内に存在するかどうかを決定するため、例えば図３Ａのステップ３２０から３８０の方法を使用して、各ブロック内の複数の画像フレームを処理する。フレームレート（１秒あたりのフレーム数）とタイミングが対象の緊急車両に関連する点滅光源の検出に適している限り、異なる数の画像フレームと、それら画像フレームがキャプチャされる期間とが、適していることもある。

ブロック３２０において、プロセッサ１２２は、プロセッサによって受信された複数の画像フレームのそれぞれについて、１つ又はそれ以上の種類の緊急車両に関連付けられた第１の色のＥＶ色値を決定する。説明のために、方法３００は、青色の点滅灯を備えた緊急車両に使用されると仮定する。すなわち、第１の色は青色とする。しかし、この開示は、他の色の点滅光源の検出にも展開可能であることを理解されたい。ブロック内の複数の画像フレームのそれぞれについてＥＶ色値を決定するためのステップの例示的な詳細図が図３Ｂに示されている。ステップ３２２において、プロセッサ１２２は、画像フレームについて、画像フレーム内の画素のＥＶ色成分を決定し、ＥＶ色成分が所定の閾値を超える場合、第１の値を画素に割り当て、そうでない場合、第２の値を割り当てる。好ましくは、第１の値は１で、第２の値は０である。同じ処理が、それから、その画像フレームの複数の画素について繰り返される。ＥＶ色成分は、画素の合計色に対する画素の第１の色の割合を計算することによって決定される。例えば、画像センサが、ベイヤフィルタアレイを使用する写真デジタルカメラで、色が緑、青、赤で記述され、画像フレームの合計色がＧ１｜Ｂ｜Ｇ２｜Ｒである場合、画素のＥＶ色成分は次の数式を用いて決定されてもよい。

ここで、第１の色は、青、緑、赤のような原色、あるいは一つ又はそれ以上の原色からなる二次色であってもよい。第１の色が二次色である実施態様では、第１の色は、原色成分で表現される。一例として、第１の色が黄色である場合、第１の色は、赤色及び緑色である。したがって、方法３００を使用して、青色である緊急車両のライトを検出する場合、各画素のＥＶ色成分を決定する式は以下のとおりである。

１番目又は２番目の値のＥＶ色成分を画素に割り当てるかどうかを決定する、予め定義されるしきい値の設定に関しては、画像フレームに適用される画像センサの種類、画像センサの感度、画像処理技術のような要因によって異なる。いくつかの実装形態では、検出距離の変動及び他の検出性能関連変数を予め定めたしきい値の複数に対して観察することにより、予め定めたしきい値が経験的に選択されてもよい。例えば、発明者は、青色の点滅灯を備えた緊急車両の検出には、ベイヤーフィルター配列を使用して画像センサから画像を取得する場合の検出性能を向上させるために、０．３の予め定めたしきい値が好ましい一方、０．４の値が、デモザイシング（ＣＦＡ補間）アルゴリズムを使用する画像センサから生成された画像には、より適している。０．３及び０．４の値は限定を意図しているのではなく、他の、予め定めたしきい値もまた適することがある。

一実施形態では、各画像フレーム内の全ての画素のＥＶ色成分が計算され、ＥＶ色成分が予め定めた閾値を超えるかどうかに応じて第１又は第２の値が画素に割り当てられる。例えば、画像フレームがＭ×Ｎ個の画素で構成され、第１の値と第２の値がそれぞれ１と０である場合、１又は０のいずれかの値が設定されたサイズがＭ×Ｎの行列が取得される。他の実施態様では、ＥＶ色成分は、画像フレーム内の画素の選択に対して計算されるのみである。画像フレーム内の画素の選択のみに対してＥＶ色成分を計算すると、計算処理の時間と要求を削減できるという利点がある。ただし、選択において選ばれる画素数は、関心のある緊急車両に属する第１の色の点滅光源の検出を可能にするのに十分でなければならない。

ステップ３２４では、画像フレームの全ての第１の値の合計を計算することにより、画像フレームのＥＶ色値が決定される。ＥＶ色値は、画像フレームの第１の色の内容を示す。例えば、第１の色が青の場合、ＥＶ色値はその画像フレームの青色の程度の測定値を示す。いくつかの実施態様では、画像フレーム内の全ての画素のＥＶ色成分が計算された後、ＥＶの計算前に、画像フレームからハードなしきい値処理によるスプリアススパイクのようなごま塩ノイズの除去に、メディアンフィルタを使用してもよい。次に処理は決定ステップ３２６に進み、ブロック内の全ての画像フレームのＥＶ色値が計算されたかどうかを確認する。確認できない場合、処理はステップ３２２に戻り、現在のブロックから別のフレームを検索し、ステップ３２２から３２６を繰り返す。ＥＶ色値の計算が確認された場合、すなわち、処理されている画像フレームの数が、処理されている画像フレームの現在のブロック内の画像フレームの総数に等しい場合、方法はステップ３４０に進む。

ステップ３４０では、ブロック内の複数の画像フレームに関連付けられたＥＶ色値に基づいて時間領域表現が生成される。これは、各画像フレームのＥＶ色値を、ブロック内の画像フレームのタイミングに対してプロットすることにより行われる。いくつかの実施形態では、複数の画像フレーム（たとえば、６４画像フレーム）のＥＶ色値は、機械視覚モジュールのメモリ１２４に配置されたリングバッファのような一時バッファに格納されてもよい。次に、ＥＶ色値がバッファから取得され、時間領域表現の生成に使用される。いくつかの実施形態では、時間領域表現の生成に、ＥＶ色値の直流（ＤＣ）バイアスを除去する処理ステップが含まれてもよい。これは、各画像フレームの個々のＥＶ色値からブロック内の全ての画像フレームの平均ＥＶ色値を差し引くことで実現してもよい。次に、時間領域表現が、直流バイアスについて調整されたＥＶ色値に基づいて作成される。図４及び図５のグラフ（ａ）は、直流バイアスについて調整されたＥＶ色値と時間との関係における変化を示す例示的な時間領域表現である。図４（ａ）及び図５（ａ）両方のグラフにおいて、画像フレームのブロックの開始における時間はゼロに設定されている。

ステップ３６０で、プロセッサは、ステップ３４０で生成された時間領域表現を周波数スペクトルに変換する。信号が時間とともにどのように変化するかを見る時間領域表現とは異なり、周波数スペクトルは、信号（つまり、現在のコンテキストでは複数の画像フレームに関連付けられたＥＶ色値）が特定の各周波数帯域内にどれだけあるかを周波数の範囲にわたって示す。上述したように、ＥＶ色値は、画像フレーム内の第１の色の内容を示す。したがって、関心のある緊急車両と同じ速度で点滅している青色の光源がある場合、ブロック内の複数の画像フレームの青色ＥＶ値は、関連する緊急車両と同じ速度で点滅するはずである。つまり、青色のＥＶ色値に関連付けられている周波数スペクトルは、関心のある緊急車両にある点滅光源の周波数スペクトルと一致する必要がある。いくつかの実施形態では、時間領域表現を周波数スペクトルに変換すべく、フーリエ変換を使用してもよい。しかし、ウェーブレット変換のような、時間領域から周波数領域への信号の変換に適した他の種類の数学的変換も使用してもよい。フーリエ変換を使用して導出された周波数スペクトルの場合、周波数成分は固有の振幅と位相を持つ正弦波として表される。一実施形態では、時間領域表現を周波数スペクトルに変換するために、２５６ポイントの高速フーリエ変換（ＦＦＴ）が使用されてもよい。一般に、ＦＦＴは離散フーリエ変換と比較して高速であり、同じ結果をもたらす。スムーズな周波数応答を得るには、比較的少ないデータポイントも必要である。ＦＦＴアルゴリズムを適用する前に、ＭＡＴＬＡＢ（登録商標）ソフトウェアのハミングウィンドウアルゴリズムを使用するなどして、時間領域信号を平滑化してもよい。いくつかの変形例では、結果として得られる周波数スペクトルが片側スペクトルであることが望ましい場合があり、ＭＡＴＬＡＢソフトウェアの既知のＰＷＥＬＣＨ関数を使用して取得してもよい。この開示は、点滅光源を検出するために周波数スペクトルの信号の絶対値のみを必要とするため、両側のスペクトルが同じ必要な情報を持っているため、片側スペクトルは、両側スペクトルに関連する冗長な計算を有利に排除する。さらに、余分な計算を排除することで、追加の計算リソースを必要とせずに、より関連性の高いサンプリングポイントを処理できる。図４及び図５のグラフ（ｂ）は、それぞれ図４と図５のグラフ（ａ）の時間領域表現から変換された周波数スペクトルの実例を示す。図４（ｂ）及び図５（ｂ）の両方で、周波数スペクトルは、パワースペクトル密度（ＰＳＤ）対周波数の変動として表されている。他の実施態様では、代わりに、信号内の全ての周波数成分に対する周波数成分の相対的な寄与を示す正規化された周波数スペクトルも生成される。これは、信号内の利用可能な全てのピークの合計に対してＰＳＤ信号のピーク振幅を正規化することで実現してもよい。例えば、周波数成分の正規化されたピーク値が０．３である場合、これはその周波数成分が全周波数成分の３０％に寄与することを意味する。

次に、方法は決定ステップ３８０に進み、プロセッサ１２２は、周波数スペクトルを分析することにより、画像フレームに存在する１つ又はそれ以上のタイプの緊急車両に関連する第１の色の点滅光源があるか否かを判定する。いくつかの実施形態では、これは、周波数スペクトルに存在する周波数成分が、１つ又はそれ以上の種類の緊急車両に属する既知の点滅する第１色光源の周波数成分と一致するか否かの判定を含む。例えば、第１の色が青の場合、プロセッサは、点滅する青いライトを備えた１つ又はそれ以上の種類の緊急車両の既知の周波数スペクトルと一致するか否かを確認する。周波数スペクトルの比較により、広告看板のように、関心のある緊急車両とは関係のない、第１の色の点滅光源が排除される。緊急車両の既知の周波数スペクトルは、機械視覚モジュール１２０内又はリモートサーバー上にあるメモリ１２４に保存し、比較のためにプロセッサで取得してもよい。周波数成分の振幅が事前に定義された最小振幅制限以上である場合、周波数成分は周波数スペクトルに存在すると見なされる。いくつかの実施態様では、周波数スペクトルは、少なくとも基本周波数と１つ以上の高調波が一致する場合、同色の既知の緊急車両光源の周波数スペクトルと一致するとされる。

プロセッサがステップ３８０で、関心のある緊急車両に関連付けられた点滅光源が画像フレームに存在しないと判断した場合、処理はステップ３８２に進み、方法３００は終了する。図４は、方法３００が画像ブロック内の１つ又はそれ以上の種類の緊急車両に属する点滅する青色光を検出するために展開され、検出されなかった例示的なシナリオの対応する時間領域表現及び周波数スペクトルを示す。図４（ａ）の時間領域の表現は、画像フレームのタイミングに対してプロットされた画像フレームのＥＶ色値を示す。図４（ａ）に示されているＥＶ色値はＤＣバイアス調整されていて、時間＝０はフレームのブロックの始まりを示す。図４（ｂ）のパワースペクトル密度（ＰＳＤ）対周波数グラフは、図４（ａ）の時間領域表現から変換された対応する周波数スペクトルである。この例では、周波数成分の存在を確認するための予め定めた最小振幅は２０ワット／ＨＺである。したがって、図４（ｂ）の周波数スペクトルには、対象の周波数内で２０ワット／ＨＺを超える振幅を持つスペクトルピークが含まれていないため、画像フレームに点滅する青色光はない。一方、プロセッサがステップ３８０で、画像フレームに存在する特定の種類の緊急車両に関連する少なくとも１つの光源があると判断した場合、処理はステップ３９０に進む。図５は、方法３００を適用して緊急車両に属する青色光の点滅を検出することにより得られた別の例示的な時間領域表現（図５（ａ））及び周波数スペクトル（図５（ｂ））のセットを示す。この例では、周波数スペクトルは、周波数に対するパワースペクトル密度（ＰＳＤ）の変動として同様に表される。図５（ｂ）の周波数スペクトルには、２０ワット／ＨＺを超える２、４、６、８ＨＺの周波数成分があるため、点滅する青色の光が含まれている。周波数が１．５ＨＺ未満の信号は、点滅光源の一部を形成しないＤＣ成分と見なされるため、無視される。図５（ｂ）では、２ＨＺでの周波数成分又はピークは、基本周波数であり、４、６、及び８ＨＺのピークは、２ＨＺの基本周波数に関連するそれぞれの第１、第２、及び第３高調波である。基本周波数は、周波数スペクトルの正弦波状の最低周波数として定義される。図５（ｂ）のスペクトラムの周波数成分が、１つ又はそれ以上の種類の緊急車両に属する既知の第１の色の光源の周波数成分と一致する場合、関心のある緊急車両に関連付けられた青色の点滅光源は、図５の画像フレームに存在するとされる。一部の実施態様では、基本周波数と、１つ又はそれ以上の高調波とが一致する場合、周波数成分は一致すると見なされる。

ステップ３９０において、プロセッサ１２２は、ステップ３８０における特定のタイプの緊急車両に関連する少なくとも１つの光源の検出に応答して、少なくとも部分的に１つ以上のアクションを実行させる。つまり、プロセッサは、少なくとも１つの関連する光源の検出に基づいて１つ以上のアクションを実行するか、実行するアクションを決定する前に他の条件の存在を確認する。いくつかの実施形態では、１つ又はそれ以上のアクションは、検出されている緊急車両の場所の識別を備えてもよい。例として、これは、１つ又はそれ以上の環境センサを作動させて、検出された１つ又はそれ以上の種類の緊急車両の位置を特定し、及び／又は同じ目的で１つ又はそれ以上の環境センサからのデータの分析を備えてもよい。緊急車両が自車両に特定の近接内にあると識別された場合、プロセッサはまた、自車両の運転者に視覚的及び／又は聴覚的通知を発行させてもよい。通知は、緊急車両に道を譲るために適切な行動を取るようにドライバーに通知するようにしてもよい。通知は、ユーザインタフェース１６０のＨＵＤディスプレイ１６２及び／又はオーディオシステム１６４を介して発行されてもよい。インフォテインメントシステムディスプレイなどの他のユーザインタフェースや、ＧＯＯＧＬＥ（登録商標）グラスなどのウェアラブルも通信に使用してもよい。プロセッサ１２２は、自動運転モジュール１４０に信号を送信して、車両の制御を運転者から引き継いで車両を操縦し、緊急車両が特定の近接範囲内にあると検出された場合に検出された緊急車両に譲るように指示してもよい。例えば、自動運転モジュール１４０は、車両を減速させ、検出されている緊急車両に譲るように、車両を減速させ、車両を操縦してもよい。自動運転モジュール１４０はまた、車両の信号システムに、他の道路利用者に対する車両の意図を示す関連する信号灯を作動させるように指示してもよい。さらに別の変形例では、１つ又はそれ以上のアクションは、テレマティクスモジュール１８０に指示して、緊急車両の存在について警告する近接の他の車両に信号を送信することを備えてもよい。

したがって、緊急車両に関連する光源の存在は、画像フレーム内の代表的な複数の画素のＥＶ色成分を計算し、そこから導出された全ての第１の値を加算して画像フレームのＥＶ色値を取得することによって検出される。ＥＶ色値は、指定されたフレームで分析されている選択された第１の色の色強度を示す。第１の色が青である例に戻ると、これは画像フレームの青色の程度の値を示す。緊急車両と一致する点滅する第１の色の光源があるか否かを判断するために、フレームのブロック内の全ての画像フレームのＥＶ色値が計算され、そこから時間領域表現が導出される。次に、時間領域の表現が周波数スペクトルに変換され、分析される。例えば、既知の緊急車両と同じ速度で点滅する第１の色の光源があるかどうかを判断するために、１つ又はそれ以上の種類の緊急車両の既知の周波数スペクトルと比較してもよい。したがって、本開示の実施態様は、データベースに格納された既知の緊急車両のテンプレートに基づいて識別される画像フレームの分析及び潜在的な緊急車両に対応する光源を必要としない。そのようなテンプレートには、色や空間構成などの特性が含まれる。また、識別されている、可能性のある各光源の点滅速度が、データベースに保存されている既知の緊急車両の点滅速度と一致するか否かを個別に決定する必要もない。代わりに、一定期間にわたって画像センサによって取得された複数の画像フレームのそれぞれのＥＶ色値が計算され、そこから導出された周波数スペクトルを使用して、第１の色の点滅光源があるか否かを識別する。これは、緊急車両検出処理の一部として潜在的な緊急車両に属する光源を特定的に識別するために画像処理ステップを必要とする場合と比較して、計算要件を有利に削減する。

本明細書では様々な態様及び実装が開示されているが、他の態様及び実装が当業者には明らかであろう。本明細書で開示される様々な観点及び態様は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲及び精神は、特許請求の範囲が権利を有する均等物の全範囲とともに以下の特許請求の範囲によって示される。また、本明細書で使用される用語は、特定の実施態様のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。

１００ システム
１０２ 車両
１１２ 画像センサモジュール
１１４ 画像センサ
１１４Ａ 画像センサ１１４に関連する視野
１１６ 画像センサ
１１６Ａ 画像センサ１１６に関連する視野
１１８ レーダーセンサモジュール
１２０ 機械視覚モジュール
１２２ 計算プロセッサ（プロセッサ）
１２４ ハードウェアメモリ（メモリ）
１４０ 自律走行モジュール
１６０ ユーザインタフェース
１６２ ＨＵＤ
１６４ オーディオシステム
１８０ テレマティクスモジュール
３００ 例示的な処理

Claims (16)

1. 緊急車両の存在を検出する方法であって、
   任意の時間にわたって画像センサによって取られた複数の画像フレームを受け取ることと、
   各画素内の合計色に対する第１の色の割合に基づいて、各画像フレーム内の複数の画素についてＥＶ色成分を判定し、ＥＶ色成分が予め定めたしきい値を超える場合は画素に第１の値を割り当て、ＥＶ色成分がしきい値を超えていない場合は画素に第２の値を割り当てることと、
   複数の画像フレームのそれぞれについて、各画像フレームについての第１の値全ての合計に基づいて、第１の色についてのＥＶ色値を判定することと、
   複数の画像フレームに関連するＥＶ色値に基づいて時間領域表現を生成することと、
   複数の画像フレームについての時間領域表現を周波数スペクトラムに変換することと、
   周波数スペクトラムの分析により、１種類又はそれ以上の種類の緊急車両に関連する第１の色の点滅光源が存在するか否かを判定することと、
   を備える、緊急車両の存在を検出する方法。
2. 第１の値は１であり、第２の値は０であって、
   複数の画像フレームのそれぞれの中の複数の画素についてのＥＶ色成分の決定の後と、ＥＶ色値の決定の前とに、メディアンフィルタを使用して、スプリアススパイクを除去すること
   をさらに備える、請求項１に記載の方法。
3. 複数の画像フレームの時間領域表現を生成することは、ＥＶ色値内のＤＣバイアスを除去することをさらに備える、
   請求項１又は２に記載の方法。
4. 時間領域表現を周波数スペクトラムに変換することは、高速フーリエ変換を時間領域表現に適用することを備える、先行する請求項のいずれか一項に記載の方法。
5. 周波数スペクトラムは、片側周波数スペクトラムである、先行する請求項のいずれか一項に記載の方法。
6. 周波数スペクトラムを分析することは、周波数スペクトラムに存在する周波数成分が、１種類又はそれ以上の種類の緊急車両に属する既知の第１の色光源の周波数成分に一致するか否かを判定することを備える、
   先行する請求項のいずれか一項に記載の方法。
7. 少なくとも基本周波数と、１つ又はそれ以上の高調波とが一致する場合、周波数スペクトラムに存在する周波数成分は、１種類又はそれ以上の種類の緊急車両の既知の第１の色光源の周波数成分に一致すると判断する、
   請求項６に記載の方法。
8. 特定種類の緊急車両に関連する少なくとも１つの光源が存在するとの判定に少なくとも部分的において、１つ又はそれ以上のアクションの実行を生じさせることをさらに備える、
   先行する請求項のいずれか一項に記載の方法。
9. １つ又はそれ以上のアクションは、存在すると検出される１台又はそれ以上の緊急車両の位置を決定することを備える、
   請求項８に記載の方法。
10. プロセッサと、
    プロセッサに結合されていて、プロセッサに実行可能な指示を格納している少なくとも１つのメモリとを備えて、
    前記指示が、前記プロセッサに、
    任意の期間にわたって画像センサによって取られた複数の画像フレームを受け取らせ、
    各画素内の合計色に対して第１の色の割合に基づいて各画像フレーム内の複数の画素についてＥＶ色成分を決定させ、
    ＥＶ色成分が予め定めたしきい値を超える場合は画素に第１の値を割り当てさせ、ＥＶ色成分がしきい値を超えていない場合は第２の値を割り当てさせ、
    複数の画像フレームのそれぞれに、各画像フレームの全ての第１の値の合計基づいて第１の色のＥＶ値を決定させ、
    複数の画像フレームに関連するＥＶ色値に基づいて時間領域表現を生成させ、
    複数の画像フレームについての時間領域表現を周波数スペクトラムに変換させ、周波数スペクトラムの分析により、１種類又はそれ以上の種類の緊急車両に関連する第１の色の点滅光源が存在するか否か判定させる、
    ことを備える、
    緊急車両の存在を検出するための装置。
11. 第１の値は１であり、第２の値は０であって、
    少なくとも１つのメモリが、プロセッサに、複数の画像フレームのそれぞれの中の複数の画素についてのＥＶ色成分の決定の後と、ＥＶ色値の決定の前とに、メディアンフィルタを使用して、スプリアススパイクを除去させる、
    請求項１０に記載の装置。
12. 周波数スペクトラムを分析することは、周波数スペクトラムに存在する周波数成分が、１種類又はそれ以上の種類の緊急車両に属する既知の第１の色光源の周波数成分に一致するか否かを判定することを備える、
    請求項１０又は１１に記載の装置。
13. 少なくとも基本周波数と、１つ又はそれ以上の高調波とが一致する場合、周波数スペクトラムに存在する周波数成分は、１種類又はそれ以上の種類の緊急車両の既知の第１の色光源の周波数成分に一致すると判断する、
    請求項１２に記載の装置。
14. 少なくとも１つのメモリが、プロセッサにさらに、特定種類の緊急車両に関連する少なくとも１つの光源が存在するとの判定に少なくとも部分的において、１つ又はそれ以上のアクションの実行を生じさせる、
    請求項１０から１３のいずれか一項に記載の装置。
15. 請求項１から９のいずれか一項に記載の方法を実行するコンピュータが読み込み可能な指示を備える持続的コンピュータ可読記憶媒体
16. 請求項１０から１４のいずれか一項に記載の緊急車両の存在を検出するための装置を備える車両。