JP2019528587A - 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム - Google Patents

一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム Download PDF

Info

Publication number
JP2019528587A
JP2019528587A JP2018568844A JP2018568844A JP2019528587A JP 2019528587 A JP2019528587 A JP 2019528587A JP 2018568844 A JP2018568844 A JP 2018568844A JP 2018568844 A JP2018568844 A JP 2018568844A JP 2019528587 A JP2019528587 A JP 2019528587A
Authority
JP
Japan
Prior art keywords
cause
blockage
image
electronic control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018568844A
Other languages
English (en)
Inventor
フェン ギヨーム
フェン ギヨーム
ジレ クリストフ
ジレ クリストフ
秀昭 林
秀昭 林
Original Assignee
トヨタ モーター ヨーロッパ
トヨタ モーター ヨーロッパ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ モーター ヨーロッパ, トヨタ モーター ヨーロッパ filed Critical トヨタ モーター ヨーロッパ
Publication of JP2019528587A publication Critical patent/JP2019528587A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

車両のカメラによって提供された一連の画像における閉塞の原因を特定する方法は、S10)カメラの画像、すなわち一連の画像を形成する連続して取得された画像を取得するステップと、S20)一連の画像の最後の画像における閉塞を検出するステップと、S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定するステップと、S70)日中であると判定された場合に、S72)外気温が低温閾値未満であるかを判定し、S73)外気温が低温閾値未満であると判定された場合に、現在の反復について、閉塞の原因が恐らく凍結又は曇りであると判定するステップとを反復して実行することを含む。上記方法を実行するためのコンピュータプログラムと、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体と、上記方法を実行可能な運転支援システムとが提供される。

Description

本発明は、道路上を移動している車両に搭載されたカメラによって提供された一連の画像における閉塞の原因を特定する方法に関する。
特に自動運転システムにおいて、例えば先進運転支援システム(ADAS)において非常に有益な情報を提供するカメラは今ではほとんどの自動車に不可欠な機器となっている。
通常、カメラは非常に信頼性高いが、種々の状況において、カメラは、カメラの視野が閉塞されているように見える閉塞状況として知られている状況を導く問題を経験しうる。
斯かる閉塞状況では、カメラによる連続的な画像取得に亘って、画像の一部又は場合によっては画像全体が変化せず又は極僅かにのみ変化する。
この状況は正常でありうるが、例えばカメラによって見られるシーンが変化しない場合、逆に、斯かる閉塞状況は、カメラの故障、又はカメラが背後に配置されるフロントガラスの凍結又は曇りのようなカメラに関する問題によっても引き起こされうる。
このため、少なくとも車両に搭載されたカメラについて、通常、カメラの閉塞状況を検出し、この状況に適切に対処することが必要である。
カメラの閉塞の問題が特定されてきており、カメラの閉塞された視野を自動的に検出するための方法が開発されてきている。斯かる方法は、例えば、米国特許出願公開第2010/0182450号明細書に開示されている。
しかしながら、カメラが閉塞された視野を有することを検出することはこの状況への対処方法を決定するのに十分ではない。それは、なぜ視野が閉塞されているかを説明せず、カメラが再び作動するように問題を解決するのに役立たない。したがって、カメラの閉塞の原因を提供し、ひいてはカメラが再び正常に機能するための措置をとることを可能とする方法が必要とされている。
本発明は従来技術の上記問題に鑑みて構成され、このため、本発明の第1の目的はカメラの閉塞の原因を特定するための方法を提案することである。
本発明によれば、道路上を移動している車両に搭載されたカメラによって提供された一連の画像における閉塞の原因を特定する方法であって、S10)カメラの画像、すなわち一連の画像を形成する連続して取得された画像を取得するステップと、S20)一連の画像の最後の画像における閉塞を検出するステップと、S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定するステップと、日中であると判定された場合に、ステップS70を実行するステップとを反復して実行することを含み、ステップS70は、S72)外気温が低温閾値未満であるかを判定することと、S73)外気温が低温閾値未満であると判定された場合に、現在の反復について、閉塞の原因が恐らく凍結又は曇りであると判定することとを含む、閉塞の原因を特定する方法が提案される。
有利な態様では、この方法は、カメラの閉塞の原因を特定するために、自動車のいくつかのセンサによって提供される情報と、自動車の案内のために通常必要とされる情報、すなわち車線区画線を有する車線の記録を含むデータベースとを使用する。
この方法のおかげで、単純に日中であると判定し(ステップS60)且つ外気温が低温閾値未満であると判定する(ステップS73)ことによって閉塞の原因が恐らく凍結又は曇りであると判定することができる。
凍結の状況は、カメラの検出面をカメラが撮影するシーンから隔てる壁(これら壁はフロントガラスの壁又はカメラのレンズの壁である)のうちの一つの上に氷が形成される状況であり、この状況では、氷によって画像の閉塞がもたらされる。通常、氷がフロントガラス自体の上に形成されるだろう。
曇りの状況は、カメラの検出面をシーンから隔てる壁の上に氷の代わりに曇りが形成されることを除いて同様である。
本方法は、コンピュータ上で繰り返し実行されるアルゴリズムに基づいている。本明細書における「コンピュータ」という言葉は、一つ以上の電子制御ユニット、グラフィック・プロセッシング・ユニット(GPU)及び通常のコンピュータを含み且つ車両に搭載可能又は搭載不可能である任意のコンピューティングプラットフォームとして広く解釈されなければならない。
有利な態様では、本方法をリアルタイムで実行することができるが、このことは必須ではない。本方法がリアルタイムでは実行されない場合、当然のことながら、ステップS60において考慮する時間は、一連の画像の最後の画像が取得された時間である。
一つの実施形態では、本方法は、ステップS70において、ステップS72において外気温が低温閾値未満であると判定された場合に、S74)露点に到達しているかを判定するステップと、露点に到達していないと判定された場合には、現在の反復について、閉塞の原因が恐らく第1の確率で凍結又は曇りであると判定するステップと、S75)露点に到達していると判定された場合には、現在の反復について、閉塞の原因が、恐らく、第1の確率よりも高い第2の確率で凍結又は曇りであると判定するステップとを実行することを更に含む。
この結果、ステップS74において単純に露点に到達していることをチェックすることによって、閉塞の原因が凍結又は曇りである可能性をより精度良く評価することができる。露点に到達していない場合、閉塞の原因が凍結又は曇りである確率が第1の確率に設定される。露点に到達している場合、閉塞の原因が凍結又は曇りである確率が、第1の確率よりも高い第2の確率に設定される。
本方法の一つの実施形態では、ステップS70は、さらに、外気温が低温閾値よりも高いと判定された場合、又は露点に到達しているかがチェックされ、露点に到達していない場合、現在の反復について、閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するステップS78を含む。
有利な態様では、ステップS78の単純な判定によって、閉塞の第2の原因を判定すること、すなわち、閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定することが可能となる。
日の入り/日の出の状況は、恐らく太陽の方に向けられているカメラがブルーミングの影響を受けやすい状況であり、このカメラによって取得された画像は、この状況の間、閉塞を呈する。
「一様な風景」の状況は、風景が一様である状況であり、連続して取得された一連の画像において閉塞の状況が検出されるという点でより正確に一様である。
本方法は、さらに、夜の行程中に起こる閉塞の原因も特定できるようになっている。
したがって、一つの実施形態において、本方法は、反復の間にステップS60において夜間であると判定された場合に、S82)カメラによって取得された画像において車両のフロントライトのオン/オフの切り替えが変化をもたらすかを判定し、且つ、S84)カメラによって取得された画像においてフロントライトのオン/オフの切り替えが変化をもたらすと判定された場合に、現在の反復について、閉塞の原因が恐らく道路が暗いことであると判定するステップS80を実行することを更に含む。
ステップS82の単純な判定によって、閉塞の原因が恐らく道路が暗いことであると判定できることは有利である。この「暗い道路」の状況は、単純に、区画線がなく且つ一様に暗い道路上を車両が移動している状況である。斯かる状況は、例えば、道路が新しくされた直後の車線区画線が付与される前に起こりうる。
本方法は反復的な方法である。各反復において、アルゴリズムは閉塞の推定される原因を特定することができる。
いくつかの実施形態では、本方法がカメラの閉塞の原因を正確に特定することを確実なものとし、ひいては本方法の信頼性を高めるために、改良を含めることができる。
例えば、一つの実施形態において、本方法は、反復の間、ステップS60を実行する前に、S40)一連の画像の最後の画像において車線区画線を検出するステップと、S45)最後の画像において車線区画線が検出された場合に、画像取得のステップS10に戻るステップとを実行することを更に含む。
この実施形態では、ステップS40及びステップS45において、画像において車線区画線を特定できるかがチェックされ、検討中の反復において、車線区画線が最後の画像(ステップS10において取得された最後の画像)において検出された場合には、ステップS60及びステップS70における閉塞の原因の判定が実行されない。
実際、カメラが車線区画線を検出できる場合には、カメラは実際には閉塞されていないと推定される。このため、車線区画線が検出された場合、本方法のステップ60及びステップ70を実行することは、恐らくカメラの閉塞の誤った結論を導くだろう。
加えて、本方法のこの実施形態を以下のように改良することができる。
変形例では、閉塞の原因を特定する方法は、反復の間、ステップS40を実行する前に、S30)車両の位置情報と、車線区画線を有する車線の記録を含むデータベースとに基づいて、車両が移動している車線が車線区画線を有するかを判定するステップと、S35)車両が移動している車線が車線区画線を有さない場合に、画像取得のステップS10に戻るステップとを実行することを更に含む。
実際、ステップS30及びステップS35がステップ30において車線が区間線を有するという単純な検査を実行することによって現在の反復を中断して(ステップ10において)新たな反復を開始することをもたらすことは有利である。これらステップS30及びステップS35は、特に、道路車線が道路区画線を有するかをチェックすることよりもはるかに多くの演算能力を消費する、最後の画像において車線区画線を検出することを回避することができる。
本方法の信頼性を高めるための別の改良では、車両の環境センサ、すなわち、車両の周囲の物体を検出可能なセンサ(例えば、レーダ、ライダ等)が使用される。
特に、一つの実施形態において、本方法は、反復の間、ステップS60を実行する前に、S50)画像から得られる情報以外の情報に基づいて、車両の前方の道路に物体が存在しているかを検出するステップと、S55)車両の前方の道路に物体が検出されない場合、画像取得のステップS10に戻るステップとを実行することを更に含む。
この場合、検討中の反復において、車両の前方の道路に物体が存在することが検出されたが、この物体の存在に関わらず、一連の画像において閉塞の状況が検出された場合にのみ、ステップS60及びステップS70の閉塞原因の特定が実行される。
逆に、物体が検出されない場合、カメラの閉塞の状況が十分に確認されたとはみなされず、反復が中止され、本方法がステップS10において再開される。
これまでに提示された方法はカメラの閉塞の推定される原因のみを提供する。
カメラの閉塞の原因をより信頼性高く判定するためには、この原因が実際にカメラの閉塞の原因であると結論づけるために本方法がいくつかの反復に亘って一貫して同じ原因を示すことを必要とすることが好ましい。
したがって、一つの実施形態において、本方法は、反復の間、閉塞の第1の原因が検出されたときに、S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、最後のN1の反復の間の少なくともN2の反復について閉塞の原因が恐らく第1の原因であると判定されたかを評価するステップであって、N1及びN2が予め定められた数である、ステップと、少なくとも最後のN1の反復のそれぞれについて閉塞が検出され、最後のN1の反復の間の少なくともN2の反復について閉塞の原因が恐らく第1の原因であると判定された場合に、閉塞の原因が第1の原因であるという判定に基づいた措置を始動させるステップとを実行することを更に含む。
この措置は、例えば、エアコンディショニング又はエアヒータのオン・オフを切り替えること等でありうる。
カメラの閉塞が特定のタイプの閉塞であるという結論に達するためにステップS90において必要とされる反復回数は閉塞のタイプに依存しうる。例えば、閉塞が凍結又は曇りのタイプの閉塞であると結論づけるために必要な判定回数が、閉塞が日の出/日の入り又は一様な風景の閉塞であると結論づけるために必要な判定回数よりも多くてもよい。
提案された方法をカメラの全ての画像又はカメラの画像の一部のみに適用することができる。
例えば、本方法の一つの実施形態において、画像は、カメラによって取得されたより大きな画像の一部である部分画像である。
本発明に係る方法を実行するために、本方法は、好ましくは、S10)外気温を取得するステップと、S12)時間、場合によっては日付を取得するステップと、S14)地理的測位システム(geographical positioning system)を使用して車両の現在の位置情報を取得するステップとを周期的に含む。
代替案として、全行程の間又は少なくとも検討中の期間の間、これら値を一定とみなすことができる。
本明細書において「GPS」と称される上述の地理的測位システムは、車両の地理的位置を提供又は出力する任意のシステムでありうる。
GPSは、通常の衛星ベースのGPSであるが、同じ情報を提供する任意のシステムでありうる。例えば、カメラによって取得された画像及び/又はライダによって取得された点群を解析することによって、高精細マップに基づいて車両の地理的位置を決定することができる(又は初期位置が知られている場合には車両の地理的位置を少なくとも更新することができる)。
加えて、本方法は、好ましくは、周期的に又は各反復において車両が移動していることを検査するステップを含む(この検査は、車両の速度を最小速度、例えば10km/hと比較することによって行われうる)。
本発明に係る方法の結果は、カメラの閉塞への対処方法を決定することを助けることができる情報である。このため、通常、閉塞の原因が特定され(少なくとも推定され)又は好ましくはステップS90において確認されると、閉塞の原因が車両制御システム及び/又は車両のドライバに正常に伝達される。
この情報に基づいて、例えば、カメラの閉塞の原因に基づいて車両の加熱システム又はエアコンディショニングシステムをオン又はオフにすることを決定することができる。
特に、閉塞の原因が凍結又は曇りであると判定された場合、ドライバ(又は車両の制御システム)は、状況の詳細に応じて、カメラハウジングを加熱するためにヒータを作動させること、カメラのレンズ又はフロントガラスから曇りを除去するために曇り除去装置を作動させること等を決定することができる。
特定の実施例では、一連の画像における閉塞の原因を特定する方法の様々なステップがコンピュータプログラムの命令によって判定される。
したがって、本発明は、コンピュータ読み取り可能な記憶媒体に記憶され且つコンピュータ上で実行されるのに適したコンピュータプログラムであって、コンピュータ上で実行されるときに、上述された方法のステップを実行するようになっている命令を含むコンピュータプログラムも提供する。
コンピュータプログラムは、任意のプログラム言語を使用することができ、部分的にコンパイルされた形態又はその他の望ましい形態のような、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードとの間の中間のコードの形態でありうる。
本発明は、上述されたようなコンピュータプログラムの命令を含む、コンピュータ読み取り可能な記録媒体も提供する。
記録媒体は、プログラムを記憶可能なエンティティ又は装置でありうる。例えば、記録媒体は、読み取り専用メモリ(ROM)、例えばコンパクトディスク(CD)ROM若しくはマイクロ電子回路ROM、又は実際には磁気記録手段、例えばフロッピーディスク若しくはハードディスクのような記憶手段を含むことができる。
代替的に、記憶媒体は、プログラムが組み込まれた集積回路であってもよく、この集積回路は本方法を実行するようになっており又は本方法の実行において使用されるようになっている。
本発明の別の目的は路上走行車両(road vehicle)のための運転支援システムを提供することであり、この運転支援システムは、カメラを備え、カメラによって提供された一連の画像における閉塞の原因又は少なくとも推定される原因を判定することができる。
本明細書において、運転支援システムは、車両を走行させるために有用な情報及び/又は制御を提供する任意のシステムとして定義される。この場合、運転支援システムは、自動車、トラック等のような路上走行車両に搭載され又は搭載されることになる。
その機能を実行するために、運転支援システムは、通常、少なくとも一つのセンサと、電子制御ユニットと、一つ以上のフィードバック装置とを備え、一つ以上のフィードバック装置は、ドライバに情報を伝達し、且つ/又は、少なくとも一部の運転期間の間、ドライバから運転負荷の一部又は全てを取り除くべくドライバの代わりに車両の制御部材(例えばステアリングシャフト、ブレーキ、アクセルペダル又はこれらの均等物)に作用する。
運転支援システムは、例えば、SAE規格J3016によって定義されるようなレベル1以上の自動運転システムでありうる。斯かる自動運転システムは、動的な運転タスク(DDT)の一部又は全てを持続的に実行することができる自動車運転自動化システムである。
電子制御ユニット、カメラ及び外気温センサを備える運転支援システムであって、電子制御ユニット、カメラ及び外気温センサは車両に搭載されるように構成され、電子制御ユニットは、反復的に、S10)カメラの画像、すなわち一連の画像を形成する連続して取得された画像を取得し、S20)一連の画像の最後の画像における閉塞状況を検出し、S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定し、S70)電子制御ユニットが日中であると判定した場合には、S72)外気温センサによって提供された情報に基づいて、外気温が低温閾値未満であるかを判定し、S73)電子制御ユニットが、外気温が低温閾値未満であると判定した場合に、現在の反復について、閉塞の原因が恐らく凍結又は曇りであると判定するように構成される、運転支援システムによって、本発明の上記の目的は達成される。
一つの実施形態において、運転支援システムは湿度センサを更に備え、電子制御ユニットは、さらに、(ステップS70において)S74)露点に到達しているかを判定し、露点に到達していないと判定された場合には、現在の反復について、閉塞の原因が恐らく第1の確率で凍結又は曇りであると判定し、S75)露点に到達していると判定した場合には、現在の反復について、閉塞の原因が、恐らく、第1の確率よりも高い第2の確率で凍結又は曇りであると判定するように構成される。
運転支援システムの一つの実施形態において、電子制御ユニットは、さらに、S78)電子制御ユニットが、外気温が低温閾値よりも高いと判定した場合に、現在の反復について、閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するように構成される。
運転支援システムの一つの実施形態において、電子制御ユニットは、さらに、反復の間、夜間であると判定された場合に、S82)車両のフロントライトのオン/オフの切り替えが画像内のコントラストの変化をもたらすかを判定し、S84)電子制御ユニットがフロントライトのオン/オフの切り替えが画像内のコントラストの変化をもたらすと判定した場合に、現在の反復について、閉塞の原因が恐らく道路が暗いことであると判定するように構成される。
運転支援システムの一つの実施形態において、電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、S40)一連の画像の最後の画像において車線区画線を検出し、S45)少なくとも一つの車線区画線が最後の画像において検出された場合に、画像取得のステップS10に戻るように構成される。
運転支援システムの一つの実施形態において、電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、S50)画像から得られる情報以外の環境情報を使用して、車両の前方の道路に物体が存在するかを検出し、S55)電子制御ユニットが、車両の前方の道路に物体が存在すると判定した場合に、画像取得のステップS10に戻るように構成される。
自動運転システムの一つの実施形態において、電子制御ユニットは、さらに、反復の間、閉塞の第1の原因が検出されたときに、S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、最後のN1の反復の間の少なくともN2の反復について閉塞の原因が恐らく第1の原因であると判定されたかを評価し、少なくとも最後のN1の反復のそれぞれについて閉塞が検出され、最後のN1の反復の間の少なくともN2の反復について閉塞の原因が恐らく第1の原因であると判定された場合に、閉塞の原因が第1の原因であると判定するように構成され、N1及びN2は予め定められた数である。
図1は、カメラの4つの別個の閉塞状況においてそれぞれ取得される4つの画像を示す図である。 図2は、本発明の実施形態における運転支援システムが装備された車両の概略的な正面図である。 図3は、本発明の第1実施形態における方法のステップを示すフローチャートである。 図4は、本発明の第2実施形態を形成する、図3によって示される方法の変形部分のステップを示すフローチャートである。 図5は、図2の運転支援システムの材料構成を示す概略図である。
添付の図面を参照することによって、本発明は当業者により良く理解され、本発明の多数の他の目的及び利点が当業者に明らかになるだろう。添付の図面では、いくつかの図面において、同様の参照番号は同様の要素を指す。
図2は、本発明の例示的な実施形態を形成する運転支援システム10が搭載された自動車100(車両の一例)を示す。
運転支援システム10(又は略してシステム10)は、この場合、電子制御ユニット20と、いくつかのセンサユニット、すなわち、カメラユニット30、ライダユニット32、外気温センサユニット34、レーダユニット36、近距離ソナーセンサユニット38、GPSユニット40及び湿度センサユニット42とを備える自動運転システムである。図1に示されるようなこれら構成要素の位置及び形状は実際の構成要素の実際の位置及び形状を表していない。センサユニットのそれぞれは一つ以上のセンサを備えることができる。例えば、カメラユニット30は一つ以上のカメラを備えることができ、ライダユニット32は一つ以上のライダ等を備えることができる。
単純化の目的で、この例では、カメラユニットが、カメラ30として参照される一つのみのカメラを備えるものとして考える。
システム10が上記の全てのセンサユニットを備えているが、クレームされた発明は、クレームにおいて定義されるように、より少ない数のセンサユニットが実装されうる。
運転支援システム10の材料構成が図4によって示される。
システム10は電子制御ユニット20又はECU20を備え、電子制御ユニット20又はECU20には、上記の全てのセンサユニット(センサユニット30、32,34、36、38、40、42)が接続される。
ECU20はコンピュータのハードウェア構造を有する。ECU20は、マイクロプロセッサ22、ランダムアクセスメモリ(RAM)24、読み取り専用メモリ(ROM)26及びインターフェース28を備える。これらハードウェア要素は随意に運転支援システム10の他のユニットと共有される。インターフェース28は、自動車100のドライバに情報を伝達するディスプレイ(図示せず)を有するドライバインターフェースと、アクチュエータ及び自動車の他の構成要素とのインターフェース接続とを備える。特に、インターフェース28は、必要に応じてヘッドライトをオン又はオフにすることを可能とする、自動車のヘッドライト44との接続を備える。
カメラ30によって取得された一連の画像における閉塞の原因を特定するためのコンピュータプログラムはメモリ26に記憶される。このプログラム及びメモリ26は、それぞれ、本発明に係るコンピュータプログラム及びコンピュータ読み取り可能な記録媒体の例である。
ECU20の読み取り専用メモリ26は、実際に、プロセッサ22によって読み取り可能であり且つ上記プログラムが記録された、本発明に係る記録媒体を構成する。
第一実施形態
メモリ26に記憶されたプログラムは、本発明の第1実施形態を構成する、カメラ30によって提供された一連の画像における閉塞の原因を特定する第1の方法のステップを実行するための命令を含む。
以下、図1、図2及び図3を参照してこの方法を説明する。
以下に詳細に説明されるように、この方法は、カメラの閉塞の推定される原因を提供することができ、又はカメラの閉塞の原因に対するより信頼性の高い指標を提供することができる。
この方法は、図2によって示されるカメラの閉塞の以下の4つの異なる原因を特定することを可能とする。
(1)フロントガラス上に(及び/又は場合によってはカメラの一つのレンズ上に又は複数のレンズ上にさえ)形成された氷が画像をぼやけさせてカメラの閉塞の検出を引き起こす凍結の状況
(2)フロントガラス上に(及び/又は場合によってはカメラの一つのレンズ上に又は複数のレンズ上にさえ)形成された曇りが画像をぼやけさせてカメラの閉塞の検出を引き起こす曇りの状況
(3)日の入り/日の出又は一様な風景の状況、又は
(4)暗い道路の状況
この方法は、反復される方法である。連続した反復は、一定の間隔で、例えば0.1秒毎に実行される。
各反復において、方法の対応ステップに対応するいくつかの機能が実行される。いくつかのステップは、条件付きステップであり、すなわちステップを実行するための条件が満たされている場合にのみ実行される。
本実施形態では、方法の全てのステップがECU20によって実行される。これらステップを実行することによって、ECU20は、カメラによって提供された画像において起こりうる閉塞の原因を特定する。
方法のステップが図3に示される。
この方法は以下のパラメータを使用する。
閉塞状況が検出された反復の数をカウントする閉塞カウンタ「Tblock」(整数)
閉塞の原因が恐らく「日の入り/日の出又は一様な風景」であると判定された反復の数をカウントする日中カウンタ「K_Day」(整数)
閉塞の原因が恐らく道路が暗いこと(又は「暗い道路)であると判定された反復の数をカウントする夜間カウンタ「K_Night」(整数)
閉塞の原因が恐らく凍結又は曇りであると判定された反復の数をカウントする曇り/氷時間カウンタ「K_Fog」(整数)
S10 画像の取得
ステップS10において、カメラ30によって出力された画像がECU20によって取得される。
各反復においてカメラ30の画像が取得されるので、ECU20は連続して多くの画像を取得する。これら連続して取得された画像は一連の画像を形成する。各画像は、それ自体公知の態様で、例えば800列及び600行を有する画素のマトリックスから構成される。
S20 閉塞の検出
ステップS20において、ECU20は一連の画像における閉塞を検出する。閉塞は、ECU20によって取得された最後の画像に基づいて検出される。閉塞は、斯かる閉塞を検出するための任意の利用可能なアルゴリズム又は方法(例えば米国特許出願公開第2010/0182450号明細書に記載された方法)を使用して検出されうる。使用される画像の数は、閉塞を検出するために使用される方法に従って選択される。
ステップS20において閉塞が検出された場合、ECU20は閉塞カウンタTblockをインクリメントし(ステップS25)、その後、この処理はステップS30に続く。
逆に、ステップS20において閉塞が検出されなかった場合、全てのカウンタTblock、K_Day、K_Night、K_Fogがゼロにリセットされ(ステップS26)、その後、この処理はステップS10において再開される。
S30、S35 車線区画線の存在の検出
ステップS30において、ECU20は、車両が移動している車線が車線区画線(lane markings)を有するかを判定する。車線区画線の存在は情報の2つの項目に基づいて判定される。情報の第1の項目は、GPSユニット40によって取得される車両の位置である。
ROM26は、自動車100が移動する領域の全ての道路の全ての車線についての記録を含むデータベースを更に含む。
車両100の位置に基づいて、ECU20は、車両が移動している車線を判定し、その後、この車線(いくつかの例では、より正確には車線のこの部分)が基本的には白線又は点線のような道路区画線(road markings)を有するかを判定する。
ステップ35は条件付きステップである。車両が移動している車線が車線区画線を有さない場合、ステップS35において反復が中止され、この処理はステップS10において再開される。
逆に、車両が移動している車線が車線区画線を有する場合、その後、この処理はステップS40に続く。
S40、S45 車線区画線の検出
ステップS40において、ECU20は、一連の画像の最後の画像において、すなわちステップS10において取得された画像において車線区画線(少なくとも一つの車線区画線)を検出できるかを判定する。これら区画線の検出を任意の公知の画像処理方法によって行うことができる。
ステップ45は条件付きステップである。ステップ45において、少なくとも一つの車線区画線が最後の画像において検出された場合、ステップS20において閉塞が検出されたが、カメラは実際には正しく作動していると推定される。この結果、その後、現在の反復は中止され、この処理はステップS10において再開される。
逆に、最後の画像において車線区画線が検出されない場合、カメラ30が閉塞されていることが確認されたと思われるので、この処理はステップS50に続く。
S50、S55 道路上の物体の検出
ステップS50において、ECU20は、車両の前方の道路上に物体が存在するかを判定する。物体は、任意の物体でありうるが、ほとんどの場合、おそらく自動車100に先行する車両であるだろう。物体は、自転車、バイク等、又は道路上に存在する任意の一つの若しくは複数の物体であってもよい。ステップS50についての検出は、カメラ30の視野に存在する又はカメラ30の視野に立っている物体(又は物体の一部)に限定される。
ステップS50において、この物体又はこれら物体は、カメラ30以外の自動車100の任意の環境センサ又はこれらセンサの任意の組合せによって提供された環境情報に基づいて検出される。環境情報は車両の環境についての情報である。環境センサは、車両の周りの物体の存在を検出することができるセンサである。
この例では、(カメラ30以外の)システム10の環境センサは、ライダユニット32、レーダユニット36及び/又は近距離ソナーセンサユニット38のセンサである。自動車100の周りの物体はこれら環境センサによって検出される。より正確には、これら物体は、これらセンサによって提供された環境情報に基づいて、すなわちカメラ30によって取得された画像から得られる環境情報以外の環境情報に基づいて、ECU20によって検出される。
ステップ55は条件付きステップである。ステップ55において、車両の前方の道路に物体が存在すると判定された場合、ステップS20において閉塞が検出されたが、カメラが実際には正しく作動していると推定される。この結果、その後、この処理の現在の反復は中止され、その後、この処理はステップS10において新たな反復のために再開される。
逆に、画像において物体が検出されない場合、カメラ30が閉塞されていることが確認されたと思われ、その後、この処理はステップS60に続く。
注:この実施形態ではステップ40、45がステップ50、55の前に実行されるが、これらは逆の順番で実行されてもよい。または、代替的に、ステップ40、45のみが実行されるがステップ50、55が実行されなくてもよく、逆にステップ50、55のみが実行されるがステップ40、45が実行されなくてもよい。本発明は、方法の信頼性が低下するという代償を払うことになるが、ステップ40、45、50、55のいずれかを実行することなく実施されてもよい。
S60 日中の判定
ステップS60において、ECU20は、(一連の画像のうちの最後の画像の取得時において)日中又は夜間であるかを判定する。ほとんどの場合、方法は、リアルタイムで実行され、一連の画像の最後の画像の取得時刻は単純に車両についての現在時刻である。
日中又は夜間であるかを判定するために、ECU20は運転支援システムの時間情報を使用する。夜間又は日中であるかの判定は、夜明け及び夕暮れの正確な時間に影響する日付及び/又は(GPSユニット40によって提供される)車両の位置を考慮することによって改良されうる。
ステップS60においてECUが日中であると判定した場合、その後、この処理はステップS70に続く。そうでない場合、ECU20は夜間であると判定し、ステップS60の後、この処理はステップS80に続く。
S70 日中の間の推定される閉塞原因の判定
ステップ70は条件付きステップである。ステップ70において、ECU20は、最初に、外気温が低温閾値未満であるかと露点に到達しているか(すなわち、空気が水蒸気中で飽和し、このことによって追加の蒸気が凝縮するか)とを判定するステップS72を実行する。外気温は、車両の外側の温度を測定する外気温センサユニット34によって測定される。大気の湿度含有量は湿度センサユニット42によって測定される。外気温及び大気の湿度含有量に基づいて、ECU20は、最初に、水の露点に到達しているかを判定する。水の露点に到達している場合、カメラ30が見る透明な壁の一つに曇りが発生していると推定することができる。また、ECU20は、外気温が負であり又は少なくとも0℃に近いかを判定する。外気温が負であり又は0℃に近い場合、フロントガラス又はカメラ30のレンズ上に凍結が生じていると推定することができ、このことは閉塞の検出をもたらす。
本実施形態では、ECU20が、外気温が5℃以下であり且つ露点に到達していると判定した場合、ステップS73において、ECU20は、現在の反復について、閉塞の原因が恐らく凍結又は曇り(図1における状況1又は2)であると判定し、カウンタK_Fogをインクリメントする。その後、この処理はステップ90に続く。
逆に、ステップS72において外気温が低温閾値(5℃)よりも高いと判定された場合又は水の露点に到達していないと判定された場合、この処理はステップS76に続く。
ステップS76において、ECU20は、日中又は夜間であるかを判定する。
ECU20が夜間であると判定した場合、閉塞検出の原因に関する結論が出ない。現在の反復は中止され、この処理はステップS10において新たな反復で再開される。
逆にECU20が日中であると判定した場合、この処理はステップS78に続く。
ステップS78において、ECU20は、現在の反復について、閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況(図1における状況3)であると判定し、カウンタK_Dayをインクリメントする。その後、この処理はステップ90に続く。
S80 夜間の間に推定される閉塞原因の判定
ステップS80は、夜間であると判定された場合にのみ、したがってヘッドライトがオンであるときに実行される。
ステップS80において、最初に、ECU20は、ステップS82において、車両のフロントライトのオン/オフの切り替えによって画像内のコントラストが変化したかを判定する。
ステップ82が以下のように実行される。
ECU20は、非常に短い期間の間にヘッドライト44をオフにし、その後再びヘッドライト44をオンにするための制御を送信する。
ヘッドライトがオフである期間の間、ECU20はカメラ30を制御して少なくとも一つの画像を取得する。この期間の間にカメラ30によって取得された「オフ」画像がECU20に送信される。
その後、ECU20は、カメラ30を制御して、ヘッドライト44がオンにされた後の数枚の画像を取得する。この後者の期間の間にカメラ30によって取得された「オン」画像もECU20に送信される。
その後、ステップS82において、ECU20は、オフ画像をオン画像と比較することによって、オン/オフ位置の間の(車両のフロントライトの例として)ヘッドライトの切り替えが画像に変化をもたらしたかを判定する。
ステップS82においてフロントライトのオン/オフの切り替えが画像内のコントラストの変化をもたらしたと判定された場合、ステップS84において、ECU20は、現在の反復について閉塞の原因が恐らく道路が暗いことであると判定し、カウンタK_Nightをインクリメントする。ステップ84の後、その後、この処理はステップS90に続く。
逆に、ステップS82においてオン/オフ位置の間のヘッドライトの切り替えが画像の変化をもたらしたと判定されなかった場合、閉塞の原因は道路が暗いことであるとは推定されない。この結果、この処理は、閉塞の原因が凍結/曇り(図1における状況1又は2)であるかを判定するためにステップS70に続く。
S90 閉塞原因の確認
確認ステップ90が、閉塞の推定される原因を特定することが可能となる度に実行される。
ステップ90では、ECU20は、閉塞の原因が今確認されたとみなすことができるかを判定しようとする。
この目的のために、ECU20は種々のカウンタの値をチェックする。
最初に、ECU20は、十分な回数の反復の間、例えば最小6回の反復の間、閉塞が連続して検出されたかを評価する。したがって、ECU20は、Tblockが少なくとも6に等しいかをチェックする。
この第1の要件が満たされた場合、その後、ECU20は、最後に検出された閉塞の原因が、閉塞の状況が検出されてから十分な回数検出されたかを評価する。本実施形態では、ECU20は、最後に検出された閉塞の原因が少なくとも3回検出されたかを評価し、このため、カウンタK_Fog、K_Day又はK_Nightのうちの一つが少なくとも3に等しいかをチェックする。チェックされるカウンタは、検出された閉塞の最後の原因に対応するカウンタである。カウンタK_Fog、K_Day又はK_Nightは、それぞれ、閉塞の3つの異なる原因、すなわち凍結/曇り(状況1又は2)、日の出/日の入り若しくは一様な風景(状況3)、又は暗い道路(状況4)に対応する。
例えば、ECU20が、ステップS74において、閉塞の推定される原因が凍結又は曇りであると特定したと仮定する。
したがって、ステップS90において、ECUは、カウンタTBlockが少なくとも6に等しいかチェックする。もしそうであれば、その後、ECU20は、カウンタD Fogが少なくとも3に等しいか判定する。
もしそうであれば、ECU20は、閉塞の原因が凍結又は曇りであると判定する。
(十分に確認される前に閉塞の特定の原因がより少ない回数又はより多い回数検出される必要があると判断される場合、様々なカウンタについての閾値N2に異なる値を設定することができる。)これらカウンタの一つがこの条件を満たして少なくとも3に等しい場合、ECUは、閉塞の原因が、そのカウンタに関連付けられたタイプの原因であると判定する。
ECU20が、閉塞の原因が凍結又は曇りであることを確認した場合、ステップS110において、ECUは自動的に自動車のエアコンディショニングシステムをオンにする。
別の実施形態では、カメラとフロントガラスとの間の大気を加熱するためのヒータが自動車に装備される。この実施形態では、ECU20が閉塞の原因が凍結又は曇りであると確認した場合、ステップS110において、ECUは、カメラとフロントガラスとの間の大気を加熱してこの位置におけるフロントガラスの凍結を除去及び/又は曇りを除去するために、自動的にヒータをオンにする。
第2実施形態
本発明の第2実施形態を構成する、カメラ30によって提供された一連の画像における閉塞の原因を特定する第2の方法が、図4を参照して以下に説明される。
この第2の方法はステップS70を除いて第1の方法に等しい。実際には、ステップS70において、単一のステップS72において2つの検査(外気温及び露点)を実行するのではなく、これら2つの検査が連続して行われる。
したがって、ステップS70は以下のように実行される。
ステップ72において、ECU20は、外気温センサユニット34によって測定された外気温に基づいて、外気温が5℃の低温閾値未満であるかを判定する(しかしながら、ECU20は露点に到達しているかを判定しない)。
ステップS73において、外気温が5℃以下であると判定された場合には、凍結又は曇り(図1における状況1又は2)がフロントガラス又はカメラ30のレンズ上で発生したと推定され、このことは閉塞の検出を引き起こす。ECU20は、凍結又は曇りによって閉塞が引き起こされている確率Prを第1の値P1に設定し、カウンタK_Fogの値をインクリメントする。
その後、ステップS74において、ECU20は、湿度センサユニット42によって測定された大気の湿度含有量に基づいて、水の露点に到達しているかを判定する。
ステップS75において、水の露点に到達している場合、カメラ30が見る透明な壁の一つに曇りが発生していることが確認される。この結果、ECU20は、閉塞が凍結又は曇りによって引き起こされている確率の値Prを増加させ、この確率Prを、P1よりも高い値P2に設定する。
ステップS75の後、この処理はステップ90に続く。
この場合、ステップ90の後に閉塞の原因が確認されたと見なされると、閉塞の原因が凍結又は曇りである確率Prに応じて種々の措置をとることができる。
第1の方法のように、ステップS72において外気温が5℃よりも高いと判定された場合、この処理はステップS76に続き、ステップS76では、ECU20は、現在の反復について、閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況(図1における状況3)であると判定する。
様々なカウンタ(Tblock、K_Fog、K_Day、K_Night)が第1の方法のように使用される。

Claims (18)

  1. 道路上を移動している車両に搭載されたカメラによって提供された一連の画像における閉塞の原因を特定する方法であって、
    S10)前記カメラの画像、すなわち前記一連の画像を形成する連続して取得された画像を取得するステップと、
    S20)前記一連の画像の最後の画像における閉塞を検出するステップと、
    S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定するステップと、
    日中であると判定された場合に、ステップS70を実行するステップと
    を反復して実行することを含み、
    ステップS70は、
    S72)外気温が低温閾値未満であるかを判定することと、
    S73)前記外気温が前記低温閾値未満であると判定された場合に、現在の反復について、前記閉塞の原因が恐らく凍結又は曇りであると判定することと
    を含む、閉塞の原因を特定する方法。
  2. ステップS70において、ステップS72において前記外気温が前記低温閾値未満であると判定された場合に、
    S74)露点に到達しているかを判定するステップと、
    前記露点に到達していないと判定された場合には、前記現在の反復について、前記閉塞の原因が恐らく第1の確率(P1)で凍結又は曇りであると判定するステップと、
    S75)前記露点に到達していると判定された場合には、前記現在の反復について、前記閉塞の原因が、恐らく、前記第1の確率(P1)よりも高い第2の確率(P2)で凍結又は曇りであると判定するステップと
    を実行することを更に含む、請求項1に記載の閉塞の原因を特定する方法。
  3. ステップS70において、
    S78)前記外気温が前記低温閾値よりも高いと判定された場合に、前記現在の反復について、前記閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するステップを実行することを更に含む、請求項1又は2に記載の閉塞の原因を特定する方法。
  4. 反復の間にステップS60において夜間であると判定された場合に、
    S82)前記カメラによって取得された画像において前記車両のフロントライトのオン/オフの切り替えが変化をもたらすかを判定し、且つ、
    S84)前記カメラによって取得された画像においてフロントライトのオン/オフの切り替えが変化をもたらすと判定された場合に、前記現在の反復について、前記閉塞の原因が恐らく前記道路が暗いことであると判定するステップS80を実行することを更に含む、請求項1から3のいずれか1項に記載の閉塞の原因を特定する方法。
  5. 反復の間、ステップS60を実行する前に、
    S40)前記一連の画像の最後の画像において車線区画線を検出するステップと、
    S45)前記最後の画像において車線区画線が検出された場合に、画像取得のステップS10に戻るステップと
    を実行することを更に含む、請求項1から4のいずれか1項に記載の閉塞の原因を特定する方法。
  6. 反復の間、ステップS40を実行する前に、
    S30)前記車両の位置情報と、車線区画線を有する車線の記録を含むデータベースとに基づいて、前記車両が移動している車線が車線区画線を有するかを判定するステップと、
    S35)前記車両が移動している車線が車線区画線を有さない場合、画像取得のステップS10に戻るステップと
    を実行することを更に含む、請求項5に記載の閉塞の原因を特定する方法。
  7. 反復の間、ステップS60を実行する前に、
    S50)前記画像から得られる情報以外の情報に基づいて、前記車両の前方の道路に物体が存在しているかを検出するステップと、
    S55)前記車両の前方の道路に物体が検出されない場合、画像取得のステップS10に戻るステップと
    を実行することを更に含む、請求項1から5のいずれか1項に記載の閉塞の原因を特定する方法。
  8. 反復の間、閉塞の第1の原因が検出されたときに、
    S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定されたかを評価するステップであって、N1及びN2が予め定められた数である、ステップと、
    S110)少なくとも最後のN1の反復のそれぞれについて閉塞が検出され、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定された場合に、前記閉塞の原因が前記第1の原因であるという判定に基づいた措置を始動させるステップと
    を実行することを更に含む、請求項1から7のいずれか1項に記載の閉塞の原因を特定する方法。
  9. 前記画像は、前記カメラによって取得されたより大きな画像の一部である部分画像である、請求項1から8のいずれか1項に記載の閉塞の原因を特定する方法。
  10. コンピュータ読み取り可能な記憶媒体に記憶され且つコンピュータ上で実行されるのに適したコンピュータプログラムであって、
    前記コンピュータ上で実行されるときに、請求項1から9のいずれか1項に記載の方法のステップを実行するようになっている命令を含む、コンピュータプログラム。
  11. 請求項10に記載のコンピュータプログラムの命令を含む、コンピュータ読み取り可能な記録媒体。
  12. 電子制御ユニット(22)、カメラ(30)及び外気温センサ(34)を備える運転支援システムであって、
    前記電子制御ユニット(22)、前記カメラ(30)及び前記外気温センサ(34)は車両に搭載されるように構成され、
    前記電子制御ユニット(20)は、反復的に、
    S10)前記カメラ(30)の画像、すなわち一連の画像を形成する連続して取得された画像を取得し、
    S20)前記一連の画像の最後の画像における閉塞状況を検出し、
    S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定し、
    該電子制御ユニットが日中であると判定した場合には、
    S72)前記外気温センサによって提供された情報に基づいて、外気温が低温閾値未満であり且つ露点に到達しているかを判定し、
    S73)該電子制御ユニットが、前記外気温が低温閾値未満であると判定した場合に、現在の反復について、閉塞の原因が恐らく凍結又は曇りであると判定するように構成される、運転支援システム。
  13. 湿度センサ(32)を更に備え、
    前記電子制御ユニットは、さらに、
    S74)露点に到達しているかを判定し、
    該電子制御ユニットが、前記外気温が前記低温閾値未満であり且つ前記露点に到達していないと判定した場合には、前記現在の反復について、前記閉塞の原因が恐らく第1の確率(P1)で凍結又は曇りであると判定し、
    S75)該電子制御ユニットが、前記外気温が前記低温閾値未満であり且つ前記露点に到達していると判定した場合には、前記現在の反復について、前記閉塞の原因が、恐らく、前記第1の確率(P1)よりも高い第2の確率(P2)で凍結又は曇りであると判定するように構成される、請求項12に記載の運転支援システム。
  14. 前記電子制御ユニットは、さらに、
    S78)該電子制御ユニットが、前記外気温が低温閾値よりも高いと判定した場合に、現在の反復について、前記閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するように構成される、請求項12又は13に記載の運転支援システム。
  15. 前記電子制御ユニットは、さらに、反復の間、該電子制御ユニット(20)が夜間であると判定した場合に、
    S82)前記車両のフロントライトのオン/オフの切り替えが前記画像内のコントラストの変化をもたらすかを判定し、
    S84)該電子制御ユニットがフロントライトのオン/オフの切り替えが前記画像内のコントラストの変化をもたらすと判定した場合に、前記現在の反復について、前記閉塞の原因が恐らく道路が暗いことであると判定するように構成される、請求項12から14のいずれか1項に記載の運転支援システム。
  16. 前記電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、
    S40)前記一連の画像の最後の画像において車線区画線を検出し、
    S45)少なくとも一つの車線区画線が前記最後の画像において検出された場合、画像取得のステップS10に戻るように構成される、請求項12から15のいずれか1項に記載の運転支援システム。
  17. 前記電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、
    S50)前記画像から得られる情報以外の環境情報を使用して、前記車両の前方の道路に物体が存在するかを検出し、
    S55)該電子制御ユニットが、前記車両の前方の道路に物体が存在すると判定した場合に、画像取得のステップS10に戻るように構成される、請求項12から16のいずれか1項に記載の運転支援システム。
  18. 前記電子制御ユニットは、さらに、反復の間、閉塞の第1の原因が検出されたときに、
    S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定されたかを評価し、
    S110)少なくとも前記最後のN1の反復のそれぞれについて閉塞が検出され、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定された場合に、前記閉塞の原因が前記第1の原因であるという判定に基づいた措置を始動させるように構成され、
    N1及びN2は予め定められた数である、請求項12から17のいずれか1項に記載の自動運転システム。
JP2018568844A 2017-07-07 2017-07-07 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム Pending JP2019528587A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/067156 WO2019007535A1 (en) 2017-07-07 2017-07-07 DRIVING ASSISTANCE SYSTEM, RECORDING MEDIUM CONTAINING COMPUTER PROGRAM, AND METHOD FOR IDENTIFYING LOCKING CAUSE IN IMAGE SEQUENCE

Publications (1)

Publication Number Publication Date
JP2019528587A true JP2019528587A (ja) 2019-10-10

Family

ID=59581834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568844A Pending JP2019528587A (ja) 2017-07-07 2017-07-07 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム

Country Status (5)

Country Link
US (1) US20210224555A1 (ja)
EP (1) EP3649572A1 (ja)
JP (1) JP2019528587A (ja)
CN (1) CN109478234A (ja)
WO (1) WO2019007535A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149482A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 驾驶员在岗状态检测方法、装置、设备和计算机存储介质
DE102020201837A1 (de) 2020-02-14 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung LiDAR-Anordnung, LiDAR-System, Fahrzeug und Verfahren
CN111775890B (zh) * 2020-05-29 2021-11-09 恒大新能源汽车投资控股集团有限公司 车窗玻璃的遮挡检测方法、装置和系统以及存储介质
WO2022185085A1 (ja) * 2021-03-03 2022-09-09 日産自動車株式会社 物体検出方法及び物体検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325603A (ja) * 2003-04-22 2004-11-18 Kyocera Corp レンズモジュールおよびそれを用いたカメラ
US20110280026A1 (en) * 2009-05-15 2011-11-17 Higgins-Luthman Michael J Automatic Headlamp Control
JP2012228916A (ja) * 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2016201719A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243166B2 (en) 2009-01-20 2012-08-14 Lockheed Martin Corporation Automatic detection of blocked field-of-view in camera systems
US9199574B2 (en) * 2012-09-11 2015-12-01 Gentex Corporation System and method for detecting a blocked imager
JP6684714B2 (ja) * 2013-12-24 2020-04-22 ボルボ トラック コーポレイション 車両の運転者支援のための方法及びシステム
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325603A (ja) * 2003-04-22 2004-11-18 Kyocera Corp レンズモジュールおよびそれを用いたカメラ
US20110280026A1 (en) * 2009-05-15 2011-11-17 Higgins-Luthman Michael J Automatic Headlamp Control
JP2012228916A (ja) * 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2016201719A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Also Published As

Publication number Publication date
EP3649572A1 (en) 2020-05-13
CN109478234A (zh) 2019-03-15
US20210224555A1 (en) 2021-07-22
WO2019007535A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
US8582809B2 (en) Method and device for detecting an interfering object in a camera image
EP2922033B1 (en) A vehicle sensor diagnosis system and method and a vehicle comprising such a system
US10569768B2 (en) Information processing apparatus, information processing method, and non-transitory recording medium
JP2019528587A (ja) 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム
CN109033951B (zh) 用于基于图形处理来检测遮挡对象的系统及方法
US9855950B2 (en) Vehicle position detecting apparatus
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
US9061632B2 (en) Vehicle night vision support system and control method for the same
US11740093B2 (en) Lane marking localization and fusion
US20170220875A1 (en) System and method for determining a visibility state
US10012994B2 (en) Method and apparatus for operating at least one partly or highly automated vehicle
US10229505B2 (en) Motion determination system and method thereof
US9506859B2 (en) Method and device for determining a visual range in daytime fog
CN111507162B (zh) 基于车辆间通信的协作的盲点警告方法及装置
EP4020405A1 (en) Road lane condition detection with lane assist for a vehicle using infrared detecting device
CN111661047A (zh) 车辆中的车道位置感测和跟踪
JP7052660B2 (ja) 学習画像選別装置
CN109308066A (zh) 用于自动化车辆的传感器故障补偿系统
JP2019535149A (ja) 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム
CN113492750B (zh) 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
CN116353604A (zh) 设置在自动驾驶车辆中的电子装置及其工作方法
JP2020535058A (ja) 高精度位置を決定し、自動運転車両を運転するための方法および装置
CN104931024A (zh) 障碍物检测装置
JP5859897B2 (ja) 車載カメラ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210309