JP2022016359A - 道路ミラー検出システム及び方法 - Google Patents

道路ミラー検出システム及び方法 Download PDF

Info

Publication number
JP2022016359A
JP2022016359A JP2021112734A JP2021112734A JP2022016359A JP 2022016359 A JP2022016359 A JP 2022016359A JP 2021112734 A JP2021112734 A JP 2021112734A JP 2021112734 A JP2021112734 A JP 2021112734A JP 2022016359 A JP2022016359 A JP 2022016359A
Authority
JP
Japan
Prior art keywords
image
road
act
region
road scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021112734A
Other languages
English (en)
Other versions
JP7128941B2 (ja
Inventor
紀章 板垣
Noriaki Itagaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of JP2022016359A publication Critical patent/JP2022016359A/ja
Application granted granted Critical
Publication of JP7128941B2 publication Critical patent/JP7128941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Figure 2022016359000001
【課題】道路ミラー検出システム及び方法を提供する。
【解決手段】道路ミラー検出方法(200)であって、道路シーンの画像を得る行為と、道路シーンの画像内の光学的フローラインを決定する行為と、道路シーンの画像内の光学的フローラインを分析する行為と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為とを含む道路ミラー検出方法(200)。
【選択図】図1

Description

本発明は、道路ミラーを検出するための道路ミラー検出システム及び対応する道路ミラー検出方法に関する。
交通事故は、ボックスジャンクション又はT字路などの交通交差点で頻繁に発生し、なぜなら、隣り合う道路から交通交差点に接近する近づくトラフィックを検出することは、通常、困難であるためである。したがって、交通交差点に道路ミラーが配置されて、隣り合う道路から交通交差点に接近する近づくトラフィックの検出を改善することを促進する。しかしながら、自動車両運転システムが道路ミラーを検出することは、困難な場合があり、なぜなら、道路ミラーは、様々な形状であるか又は扱いにくい角度で傾斜している場合があるからである。
目的は、道路ミラーを確実に検出するための道路ミラー検出システム又は対応する方法を提供することである。
本発明の第1の態様によれば、道路ミラー検出方法が提供され、この方法は、道路シーンの画像を得る行為と、道路シーンの画像内の光学的フローラインを決定する行為と、道路シーンの画像内の光学的フローラインを分析する行為と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為とを含む。
道路シーンの画像は、車両の前部カメラなどの画像取込みデバイスによって取り込まれた道路のシーンを含み得る。道路シーンの画像は、地面の画像、地平線の画像及び地面の上方の空間の画像を含み得る。地面の画像は、車両が移動している道路の画像又は道路をはさむ舗道の画像を含み得る。地平線の画像は、地面が空に接するように見えるラインの画像又は道路上のレーンマークが収束する消失点の画像を含み得る。地面の上方の空間の画像は、建物の画像、道路ミラーの画像、交通信号灯の画像又は空の画像を含み得る。
光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法の利点の1つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。
任意選択で、光学的フローラインを決定する行為は、光学的フローラインの第1のセットを含む、道路シーンの画像内の第1の領域を識別する行為と、光学的フローラインの第2のセットを含む、道路シーンの画像内の第2の領域を識別する行為とを含む。光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。
任意選択で、道路シーンの画像内の第2の領域を識別する行為は、道路シーンの画像内の第1の領域内に少なくとも部分的にある、道路シーンの画像内の第2の領域を識別する行為を含む。換言すれば、第2の領域は、第1の領域によって少なくとも部分的に取り囲まれていることになる。したがって、第2の領域の外辺部の少なくとも一部は、少なくとも第1の領域に隣接又は接触することになる。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内にあることになる。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットを有する完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第1の領域が、第2の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為を更に含む。道路ミラーの画像は、通常、車両の画像取込みデバイスによって取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法の正確さは、道路シーンの画像内の第1の領域が、第2の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定することにより改善され得る。
任意選択で、光学的フローラインを分析する行為は、光学的フローラインの第1のセットが実質的に点に収束するか否かを決定する行為と、光学的フローラインの第2のセットが実質的にその点に収束しないか否かを決定する行為とを含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。
この概要」、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「点」は、2本のラインが交差するか又は外挿したときに交差するように見える、例えば画像又はシーンにおける位置を意味する。したがって、その位置が、2本のラインが交差する位置であるか又は外挿したときに交差するように見える位置である限り、画像内の点は、例えば、画像の1つのピクセル又は複数のピクセルを含み得る。
光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。例えば、長さが500ピクセルであり、幅が400ピクセルである道路の画像に対して、光学的フローラインが実質的に収束すると見なされる領域は、長さが50ピクセル、幅が40ピクセルとなる。代替として、長さが30センチメートルであり、幅が20センチメートルである道路の画像に対して、光学的フローラインが実質的に収束すると見なされる領域は、長さが3センチメートル、幅が2センチメートルとなる。
任意選択で、光学的フローラインを分析する行為は、道路シーンの画像内の第2の領域を所定のピクセル数にリサイズする行為を更に含む。有利には、各道路シーンの各画像内の各領域が所定のピクセル数にリサイズされる場合、光学的フローラインの分析は、整合性を伴って実施され得る。
任意選択で、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為は、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為を含む。したがって、道路ミラー検出方法は、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを正確に確定し得る。
任意選択で、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為は、第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む。この行為は、有利には、道路ミラー検出の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
各光学的フローラインは、例えば、1つ以上のピクセル厚さを有し得る。加えて、ある領域内の光学的フローラインの密度は、光学的フローラインの数を決定することにより確定され得、その数は、その領域内の例えばピクセル数の観点で測定され得る。
道路ミラー検出方法は、道路シーンの画像内に含まれる消失点を決定する行為を更に含み得る。したがって、道路シーンの画像内の地面の画像及び道路シーンの画像内の地面の上方の空間の画像は、消失点を決定した後に正確に決定され得る。
任意選択で、道路シーンの画像から消失点を決定する行為は、道路シーンの画像内の光学的フローラインを決定する行為前に実施される。したがって、道路シーンの画像内の地面の画像及び道路シーンの画像内の地面の上方の空間の画像は、消失点を決定した後に正確に決定され得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路ミラー検出を地平線又は消失点の上方の領域に集中させ得る。したがって、有利には、道路ミラー検出方法の効率及び正確さが改善され得る。
任意選択で、消失点を決定する行為は、消失点の位置を幾何学的に計算する行為を含む。有利には、消失点の位置を決定するために使用される幾何学的計算技術が確立されており、堅牢であるため、道路ミラー検出方法の正確さが改善され得る。
任意選択で、消失点の位置を幾何学的に計算する行為は、道路シーンの画像の中心を決定する行為を含む。有利には、道路シーンの画像の中心は、効率的且つ迅速に実施され得るため、道路ミラー検出方法の効率が改善され得る。
任意選択で、消失点を決定する行為は、道路シーンの画像内の道路上のレーンマークを検出する行為を含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点は、有利には、道路シーンの画像内の道路上のレーンマークを検出することによって効率的且つ迅速に決定され得るため、道路ミラー検出方法の効率が改善され得る。
任意選択で、道路上のレーンマークを検出する行為は、道路上のレーンマークが実質的に消失点に収束するか否かを決定する行為を含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点は、有利には、道路上のレーンマークが実質的に収束するか否かを決定することによって効率的且つ迅速に決定され得るため、道路ミラー検出方法の効率が改善され得る。
任意選択で、消失点を決定する行為は、光学的フローラインの第3のセットを含む、道路シーンの画像内の第3の領域を識別する行為を含み、道路シーンの画像の第3の領域は、消失点の下方に道路シーンの画像の下部を含む。道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の下部に集中した場合に迅速になるであろう。したがって、有利には、消失点は、道路シーンの画像の下部にある光学的フローラインから効率的且つ迅速に決定され得る。
任意選択で、消失点を決定する行為は、光学的フローラインの第3のセットが実質的に消失点に収束するか否かを決定する行為を更に含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。光学的フローラインが、消失点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその消失点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。
任意選択で、光学的フローラインを決定する行為は、光学的フローラインの第4のセットを含む、道路シーンの画像内の第4の領域を識別する行為を含み、道路シーンの画像の第4の領域は、消失点の上方に道路シーンの画像の上部を含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部に集中した場合に迅速になるであろう。
任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第4の領域に含まれる、道路シーンの画像内の第1の領域を識別する行為であって、道路シーンの画像内の第1の領域は、光学的フローラインの第1のセットを含む、行為と、道路シーンの画像内の第4の領域に含まれる、道路シーンの画像内の第2の領域を識別する行為であって、道路シーンの画像内の第2の領域は、光学的フローラインの第2のセットを含む、行為とを更に含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法は、道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部に集中した場合に迅速になるであろう。その上、光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。
任意選択で、道路シーンの画像内の第2の領域を識別する行為は、道路シーンの画像内の第1の領域内に少なくとも部分的にある、道路シーンの画像内の第2の領域を識別する行為を含む。換言すれば、第2の領域は、第1の領域によって少なくとも部分的に取り囲まれていることになる。したがって、第2の領域の外辺部の少なくとも一部は、少なくとも第1の領域に隣接又は接触しているであろう。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内に存在するであろう。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットによって完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
任意選択で、光学的フローラインを決定する行為は、道路シーンの画像内の第1の領域が、第2の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為を更に含む。道路ミラーの画像は、通常、車両の画像取込みデバイスによって取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法の正確さは、道路シーンの画像内の第1の領域が、第2の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定することにより改善され得る。
任意選択で、光学的フローラインを分析する行為は、光学的フローラインの第1のセットが実質的に消失点に収束するか否かを決定する行為と、光学的フローラインの第2のセットが実質的に消失点に収束しないか否かを決定する行為とを含む。光学的フローラインが収束するか否かの決定が正確且つ効率的に実施され、したがって有利には道路ミラー検出方法の正確さ及び効率が改善され得る。光学的フローラインが、消失点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその消失点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。
任意選択で、光学的フローラインを分析する行為は、道路シーンの画像内の第2の領域を所定のピクセル数にリサイズする行為を更に含む。有利には、各道路シーンの各画像内の各領域が所定のピクセル数にリサイズされる場合、光学的フローラインの分析は、整合性を伴って実施され得る。
任意選択で、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為は、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為を含み、したがって、道路ミラー検出方法は、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを正確に確定し得る。
任意選択で、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為は、第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む。この行為は、有利には、道路ミラー検出の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
第1の本発明の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第1の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。
本発明の第2の態様によれば、道路ミラー検出システムが提供され、このシステムは、道路シーンの画像を得るように構成された画像取得部と、道路シーンの画像内の光学的フローラインを決定するように構成された光学的フローライン決定部と、道路シーンの画像内の光学的フローラインを分析するように構成された光学的フローライン分析部と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部とを含む。
光学的フローライン決定部及び光学的フローライン分析部を含む道路ミラー検出システムの利点の1つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出システムは、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。
任意選択で、光学的フローライン決定部は、光学的フローラインのセットを含む、道路シーンの画像内の領域を識別するように構成された光学的フローライン領域識別部を含む。光学的フローライン領域識別部は、有利には、光学的フローラインの異なるセットを有する異なる領域を識別することができ、したがって道路ミラー検出システムの効率及び正確さが改善され得る。
任意選択で、光学的フローライン分析部は、光学的フローラインのセットが実質的に点に収束するか否かを決定するように構成された光学的フローライン収束決定部を含む。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システムの正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。
任意選択で、光学的フローライン分析部は、道路シーンの画像内の領域を所定のピクセル数にリサイズするように構成された画像リサイザを更に含む。画像リサイザは、各道路シーンの各画像内の各領域を所定のピクセル数にリサイズすることにより、道路ミラー検出システムが、整合性を伴って光学的フローラインを分析することを可能にすることができる。
任意選択で、道路ミラー画像決定部は、その領域内の光学的フローラインの密度を決定するように構成された光学的フローライン密度決定部を含む。光学的フローライン密度決定部は、極めて少ない又は低密度の光学的フローラインを有する無関係な領域を無視し、したがって誤った道路ミラー検出の数を低減させることにより、道路ミラー検出システムの正確さを改善させることができる。
道路ミラー検出システムは、道路シーンの画像内に含まれる消失点を決定するように構成された消失点決定部を更に含み得る。したがって、道路ミラー検出システムは、道路ミラー検出システムが消失点を決定した後、道路シーンの画像内の地面の画像と、道路シーンの画像内の地面の上方の空間の画像とを正確に決定し得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出システムは、道路ミラー検出を地平線又は消失点の上方の領域に集中させることが可能である。したがって、有利には、道路ミラー検出システムの効率及び正確さが改善され得る。
任意選択で、消失点決定部は、消失点の位置を幾何学的に計算するように構成された消失点幾何学的計算部を含む。有利には、消失点幾何学的計算部は、確立された且つ強力な幾何学的計算技術を使用して消失点の位置を幾何学的に計算することが可能であるため、道路ミラー検出システムの正確さが改善され得る。
任意選択で、消失点決定部は、道路シーンの画像内の道路上のレーンマークを検出するように構成された消失点レーンマーク決定部を更に含む。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点レーンマーク決定部は、道路シーンの画像内の道路上のレーンマークを検出することにより、消失点を効率的且つ迅速に決定することが可能であるため、道路ミラー検出システムの効率が改善され得る。
任意選択で、消失点決定部は、光学的フローラインの別のセットを含む、道路シーンの画像内の別の領域を識別するように構成された光学的フローライン領域識別部を更に含む。光学的フローライン領域識別部は、有利には、光学的フローラインの異なるセットを有する異なる領域を識別することができ、したがって道路ミラー検出システムの効率及び正確さが改善され得る。
任意選択で、消失点決定部は、光学的フローライン別のセットが実質的に消失点に収束するか否かを決定するように構成された光学的フローライン収束決定部を更に含む。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システムの正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。
任意選択で、道路車両は、道路ミラー検出システムを含み得る。
本発明の第2の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第2の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。
本発明の第3の態様によれば、道路ミラー検出方法が提供され、この方法は、道路シーンの画像を得る行為と、道路シーンの画像に含まれる消失点を決定する行為であって、消失点の位置を幾何学的に計算する行為であって、道路シーンの画像の中心を決定する行為を含む行為と、道路シーンの画像内の道路上のレーンマークを検出する行為と、光学的フローラインの第3のセットを含む、道路シーンの画像内の第3の領域を識別する行為であって、道路シーンの画像の第3の領域は、消失点の下方に道路シーンの画像の下部を含む、行為と、光学的フローラインの第3のセットが実質的に消失点に収束するか否かを決定する行為とを含む行為と、道路シーンの画像内の光学的フローラインを決定する行為であって、光学的フローラインの第4のセットを含む、道路シーンの画像内の第4の領域を識別する行為であって、道路シーンの画像の第4の領域は、消失点の上方に道路シーンの画像の上部を含む、行為と、道路シーンの画像内の第4の領域に含まれる、道路シーンの画像内の第1の領域を識別する行為であって、道路シーンの画像内の第1の領域は、光学的フローラインの第1のセットを含む、行為と、道路シーンの画像内の第4の領域に含まれる、道路シーンの画像内の第2の領域を識別する行為であって、道路シーンの画像内の第2の領域は、光学的フローラインの第2のセットを含み、道路シーンの画像内の第2の領域を識別する行為は、道路シーンの画像内の第1の領域内に少なくとも部分的にある、道路シーンの画像内の第2の領域を識別する行為を含む、行為と、道路シーンの画像内の第1の領域が、第2の領域よりも道路シーンの画像の大きい割合を占めるか否かを決定する行為とを更に含む行為と、道路シーンの画像内の光学的フローラインを分析する行為であって、光学的フローラインの第1のセットが実質的に消失点に収束するか否かを決定する行為と、光学的フローラインの第2のセットが実質的に消失点に収束しないか否かを決定する行為と、道路シーンの画像内の第2の領域を所定のピクセル数にリサイズする行為とを含む行為と、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する行為であって、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為を含み、道路シーンの画像内の第2の領域が道路ミラーの画像を含むか否かを決定する行為は、第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む行為とを含む。
光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法の利点の1つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。
第3の本発明の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の他の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。加えて、本発明の任意の他の態様との関連で開示された任意の特徴又はステップも、可能な限り、本発明の第3の態様と組み合わされて及び/又はそれと関連して本発明において一般的に使用され得る。
この概要、以下の説明、以下の特許請求の範囲及び添付図面では、本発明の特定の特徴(方法ステップを含む)を参照する。本明細書における本発明の開示は、そのような特定の特徴の全ての可能な組み合わせを含むことを理解されたい。例えば、特定の特徴が、本発明の特定の態様若しくは実施形態又は特定の請求項との関連で開示される場合、その特徴はまた、可能な限り、本発明の他の特定の態様若しくは実施形態と組み合わされて及び/又はそれらと関連して本発明において一般的に使用され得る。
この概要、以下の説明、以下の特許請求の範囲及び添付図面では、本明細書において、2つ以上の定義済みステップを含む方法が参照される場合、その定義済みステップは、任意の順序で又は同時に行われ得(前後関係がその可能性を排除する場合を除く)、その方法は、定義済みステップのいずれかの前、定義済みステップの2つの間又は全ての定義済みステップ後に行われる1つ以上の他のステップを含むことができる(前後関係がその可能性を排除する場合を除く)。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「含む」という用語又は文法的に均等な用語は、本明細書では、他の構成要素、成分、ステップなどが任意選択的に存在することを意味するために使用される。例えば、構成要素A、B及びCを「含んでいる」(又は「含む」)という文は、構成要素A、B及びCで構成され得る(すなわちそれらのみを含み得る)か、又は構成要素A、B及びCだけでなく、1つ以上の他の構成要素からも構成され得る。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、その後に数字を伴う「少なくとも」という用語は、その数字で始まる範囲の始めを示すために使用される(それは、定義される変数に依存して、上限を有する範囲又は上限を有さない範囲であり得る)。例えば、「少なくとも1」は、1又は1を超えることを意味する。その後に数字を伴う「最大で」という用語は、本明細書では、その数字で終わる範囲の終わりを示すために使用される(それは、定義される変数に依存して、下限として1若しくは0を有する範囲又は下限を有さない範囲であり得る)。例えば、「最大で4」は、4又は4未満を意味し、「最大で40%」は、40%又は40%未満を意味する。本明細書では、範囲が「(第1の数)から(第2の数)」又は「(第1の数)~(第2の数)」として与えられる場合、これは、その下限が第1の数であり、その上限が第2の数である範囲を意味する。例えば、25~100mmは、その下限が25mmであり、その上限が100mmである範囲を意味する。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「揮発性メモリ」という用語は、コンピュータに電力がない場合、メモリの内容が失われる任意のタイプのコンピュータメモリを意味する。ランダムアクセスメモリ(RAM)は、揮発性メモリのタイプの一例である。上記の概要、この説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「不揮発性メモリ」又は用語「非一時的コンピュータ可読媒体」は、コンピュータに電力がなくても、メモリの内容が保持される任意のタイプのコンピュータメモリを意味する。ハードディスク及びソリッドステートドライブ(SSD)が不揮発性メモリ又は非一時的コンピュータ可読媒体のタイプの例である。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「画像」という用語は、現実世界での実際の場所の2次元又は3次元のピクチャを意味する。画像は、例えば、カメラ又はLiDARセンサなどの単一の画像取込みデバイスによって取り込まれ得るか、又は超音波センサ、LiDARセンサ、レーダセンサ又はカメラなどのいくつかのデバイスからのデータを融和させることによって作成され得る。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「~内)」という用語は、「外辺部の内側にある」又は「外辺部の少なくとも一部に接触する」ことを意味する。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「道路ミラー」という用語は、交通交差点に配置されて、隣り合う道路から交通交差点に接近する近づくトラフィックの検出を改善することを促進するように構成されたミラーを意味するが、建物上の反射するガラス又は水たまりを含まない。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、「収束する」という用語は、異なる方向から点、区域又は領域などの場所に向かって動き、その場所で遭遇するか、又は異なる方向からその場所に向かって動き、実際には遭遇しないが、外挿したときにその場所で遭遇することを意味する。しかしながら、長い直線の道路に沿った2つのレーンマークは、点に収束するか又は実質的に点に収束するように見える場合がある。したがって、道路の画像は、点又は消失点に収束するか又は実質的に収束するレーンマークの画像を含む。
この概要、以下の説明、以下の特許請求の範囲及び添付図面で使用される場合、用語「消失点」は、2本の平行なラインが交わるように見える遠方における点を意味する。
これらの及び他の特徴、態様及び利点は、以下の説明、添付の特許請求の範囲及び添付図面を参照してよりよく理解されるであろう。
道路ミラー検出システムを示す。 図1の道路ミラー検出システムを含む道路車両を示す。 図1の道路ミラー検出システムを使用する道路ミラー検出方法のための図を示す。 1次消失点に収束する長い直線の道路に沿ったレーンマークを含む道路シーンの画像を示す。 光学的フローラインの第1のセットを含む第1の領域を含む道路シーンの画像を示す。 道路シーンの画像の中心を示す。 道路シーンの画像全体の光学的フローラインを示す。
図では、同様の部分は、同様の参照番号で示される。
上記の概要、この説明、以下の特許請求の範囲及び添付図面では、本発明の特定の特徴(方法ステップを含む)を参照する。本明細書における本発明の開示は、そのような特定の特徴の全ての可能な組み合わせを含むことを理解されたい。例えば、特定の特徴が本発明の特定の態様若しくは実施形態又は特定の請求項との関連で開示される場合、その特徴はまた、可能な限り、本発明の他の特定の態様若しくは実施形態と組み合わされて及び/又はそれらと関連して本発明において一般的に使用され得る。
図1は、画像取得部110、消失点決定部120、光学的フローライン決定部130、光学的フローライン分析部140及び道路ミラー画像決定部150を含む道路ミラー検出システム100を示す。道路ミラー検出システム100は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
画像取得部110は、画像取込みデバイスから画像を得るように構成されている。画像取得部110は、車両のカメラによって取り込まれた道路シーンの画像を得ることができる。画像取得部110は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
道路シーンの画像は、車両の前部カメラなどの画像取込みデバイスによって取り込まれた道路のシーンを含み得る。道路シーンの画像は、地面の画像、地平線の画像及び地面の上方の空間の画像を含み得る。地面の画像は、車両が移動している道路の画像又は道路をはさむ舗道の画像を含み得る。地平線の画像は、地面が空に接するように見えるラインの画像又は道路上のレーンマークが収束する消失点の画像を含み得る。地面の上方の空間の画像は、建物の画像、道路ミラーの画像、交通信号灯の画像又は空の画像を含み得る。
消失点決定部120は、消失点幾何学的計算部122、消失点レーンマーク決定部124、光学的フローライン領域識別部126又は光学的フローライン収束決定部128を含み得る。消失点決定部120は、道路シーンの画像から消失点を決定する。道路シーンの画像は、車両の画像取込みデバイスによって取り込まれた道路シーン全体の消失点を表す、道路シーンの画像全体の1次消失点を含み得る。消失点決定部120は、道路シーンの画像全体の1次消失点を決定するように構成されている。道路シーンの画像は、いくつかの領域も有し、各領域は、対応する2次消失点を含み得る。消失点決定部120は、領域の2次消失点を決定するように構成されている。1次消失点は、道路シーンの画像全体の消失点である一方、2次消失点は、それぞれ道路シーンの画像内の領域の消失点であるという点において、1次消失点が2次消失点から区別され得る。消失点決定部120は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
道路ミラー検出システム100は、消失点決定部120が道路シーンの画像全体の1次消失点を決定した後、道路シーンの画像内の地面の画像と、道路シーンの画像内の地面の上方の空間の画像とを正確に決定し得る。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出システム100は、道路ミラー検出を地平線又は1次消失点の上方の領域に集中させ得る。したがって、有利には、道路ミラー検出システム100の効率及び正確さが改善され得る。
消失点幾何学的計算部122は、道路シーンの画像の消失点の位置を幾何学的に計算するように構成されている。有利には、消失点幾何学的計算部122は、確立された且つ強力な幾何学的計算技術を使用して、道路シーンの画像の消失点の位置を幾何学的に計算することが可能であるため、道路ミラー検出システム100の正確さが改善され得る。消失点幾何学的計算部122は、道路シーンの画像の中心を決定することにより、道路シーンの画像の消失点の位置を計算するように構成され得る。有利には、消失点幾何学的計算部122は、効率的且つ直接的な技術を使用して、道路シーンの画像の中心を決定することが可能であるため、道路ミラー検出システム100の効率が改善され得る。消失点幾何学的計算部122は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
消失点レーンマーク決定部124は、道路シーンの画像内の道路上のレーンマークを検出するように構成されている。道路が長く、直線である場合、道路上のレーンマークは、収束するように見えるであろう。消失点レーンマーク決定部124は、道路シーンの画像内の道路上のレーンマークを検出することにより、消失点を効率的且つ迅速に決定することが可能であるため、道路ミラー検出システム100の効率が改善され得る。消失点レーンマーク決定部124は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
光学的フローライン領域識別部126は、光学的フローラインのセットを含む、道路シーンの画像内の領域を識別するように構成されている。光学的フローライン領域識別部126は、道路シーンの画像内の異なる領域を識別するようにも構成され、各領域が光学的フローラインの対応するセットを含む。光学的フローラインのセットを含む道路シーンの画像内の領域は、例えば、道路ミラーの画像、道路ミラーの背景の画像又は地面の画像であり得る。光学的フローライン領域識別部126は、光学的フローラインの異なるセットを有する異なる領域を識別することが可能であるため、道路ミラーの形状に関係なく、光学的フローライン領域識別部126は、確実に道路ミラーを検出することが可能である。光学的フローライン領域識別部126も、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能である。光学的フローライン領域識別部126は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
光学的フローライン収束決定部128は、光学的フローラインのセットが実質的に消失点に収束するか否かを決定するように構成されている。光学的フローライン収束決定部は、光学的フローラインのセットが収束するか否かを正確且つ効率的に決定することが可能であり、したがって道路ミラー検出システム100の正確さ及び効率が改善される。光学的フローラインが、ある点を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローラインは、実質的にその点に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。光学的フローライン収束決定部128は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
消失点決定部120は、消失点幾何学的計算部122、消失点レーンマーク決定部124、光学的フローライン領域識別部126又は光学的フローライン収束決定部128の少なくとも1つを含み得る。消失点決定部120は、消失点幾何学的計算部122、消失点レーンマーク決定部124、光学的フローライン領域識別部126及び光学的フローライン収束決定部128を含み得る。消失点決定部120は、優先度システムを含み得、消失点幾何学的計算部122、消失点レーンマーク決定部124、光学的フローライン領域識別部126又は光学的フローライン収束決定部128は、優先度の順序で配置される。例えば、消失点レーンマーク決定部124は、消失点幾何学的計算部122、光学的フローライン領域識別部126及び光学的フローライン収束決定部128に対して優先権が与えられ得、その結果、消失点レーンマーク決定部124を使用して、長い直線の道路上のレーンマークが検出された場合など、可能な場合には常に消失点が決定されることになる。
光学的フローライン決定部130は、光学的フローライン識別部126を含む。光学的フローライン決定部130は、道路シーンの画像の光学的フローラインを決定するように構成される。光学的フローライン決定部130は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
光学的フローライン分析部140は、光学的フローライン収束決定部128と画像リサイザ142とを含む。光学的フローライン分析部140は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
画像リサイザ142は、道路シーンの画像内の領域を所定のピクセル数にリサイズするように構成されている。例えば、所定のピクセル数が30ピクセル×30ピクセルである場合、画像リサイザ142は、道路シーンの画像内の各領域を30ピクセル×30ピクセルにリサイズされ得る。したがって、場合により道路ミラーの画像を含むあらゆる領域が所定のピクセル数、例えば30ピクセル×30ピクセルにリサイズされる場合、道路ミラー検出システム100は、あらゆるリサイズされた領域における光学的フローラインを、整合性を伴って分析することが可能である。画像リサイザ142は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
道路ミラー画像決定部150は、光学的フローライン密度決定部152を含む。道路ミラー画像決定部150は、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定することが可能である。道路ミラー画像決定部150は、道路シーンの画像内の領域が道路ミラーの画像を含むか否かを決定することが可能である。道路ミラー画像決定部150は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
光学的フローライン密度決定部152は、道路の画像内の領域内の光学的フローラインの密度を決定するように構成されている。光学的フローライン密度決定部152は、極めて少ない又は低密度の光学的フローラインを有する無関係な領域を無視し、したがって誤った道路ミラー検出の数を低減させることにより、道路ミラー検出システム100の正確さを改善させることができる。光学的フローライン密度決定部152は、道路の画像内の領域内の光学的フローラインの密度が閾値を超えるか否かを決定するように構成され得る。光学的フローライン密度決定部152は、道路ミラー検出システム100の整合性が改善され得るように画像リサイザ142とも対にされ得る。光学的フローライン密度決定部152は、ソフトウェア、ハードウェア又はソフトウェアとハードウェアとの組合せを含み得る。
図2は、道路ミラー検出システム100を含む道路車両190を示す。
図3は、道路検出システム100を使用する道路検出方法200のための図を示す。非一時的コンピュータ可読媒体は、それに記憶された命令を含み得、その命令は、プロセッサによって実行されると、道路検出方法200を実施する。
ステップ202において、道路検出方法200が初期化される。ステップ204において、画像取得部110は、道路車両190の画像取込みデバイスから道路シーンの画像を得る。ステップ206において、消失点決定部120は、道路シーンの画像の1次消失点を決定する。
ステップ208において、ステップ206のプロセスが始まる。図4は、1次消失点164に収束する長い直線の道路に沿ったレーンマーク166を含む道路シーンの画像を示す。ステップ210において、消失点レーンマーク決定部124は、道路シーンの画像内の道路上でレーンマーク166を検出する。地平線168は、道路の画像を横断して描かれる、1次消失点164を含む地平線を含むと見なされ得る。道路の画像の上部170は、1次消失点164又は地平線168の上方の領域であると見なされ得、道路の画像の下部172は、1次消失点164又は地平線168より下方の領域であると見なされ得る。したがって、道路の画像の上部170は、例えば、空の画像、道路ミラーの画像又は建物の画像を含み得、道路の画像の下部172は、地面の画像を含み得る。
図5は、光学的フローライン176の第1のセットを含む第1の領域174を含む道路シーンの画像を示す。ステップ212において、光学的フローライン領域識別部126は、光学的フローライン176の第1のセットを含む、道路シーンの画像内の第1の領域174を識別し、道路シーンの画像の第1の領域174は、道路シーンの画像の下部172を含む。光学的フローライン領域識別部126は、道路シーンの画像全体の代わりに道路シーンの画像の下部172に集中するため、道路検出方法200の効率が改善し得る。
ステップ214において、光学的フローライン収束決定部128は、光学的フローライン176の第1のセットが実質的に1次消失点164に収束するか否かを決定する。光学的フローライン176の第1のセットが、1次消失点164を中心とする、道路シーンの画像全体の領域の10%である領域に収束する場合、光学的フローライン176の第1のセットは、実質的にその1次消失点164に収束すると見なされ、この割合は、例えば、長さ又はピクセル数の観点で計算され得る。地平線168は、道路の画像を横断して描かれる、1次消失点164を含む地平線を含むと見なされ得る。したがって、道路の画像の上部170は、例えば、空の画像、道路ミラーの画像又は建物の画像を含み得、道路の画像の下部172は、地面の画像を含み得る。
図6は、道路シーンの画像の中心162を示す。ステップ216において、消失点幾何学的計算部122は、1次消失点164の位置を幾何学的に計算する。消失点幾何学的計算部122は、道路シーンの画像の中心162を決定することにより、1次消失点164の位置を計算し得る。道路シーン160の画像の中心162は、道路シーンの画像全体の1次消失点164であると見なされる。
その後、ステップ206のプロセスは、ステップ218で終了する。
図7は、道路シーンの全画像の光学的フローラインを示す。
次いで、ステップ220において、光学的フローライン決定部130は、道路シーンの画像内の光学的フローラインを決定する。ステップ222において、ステップ220のプロセスが始まる。ステップ224において、光学的フローライン領域識別部126は、光学的フローライン180の第2セットを含む、道路シーンの画像内の第2の領域178を識別し、道路シーンの画像の第2の領域178は、1次消失点164の上方に道路シーンの画像の上部170を含む。道路ミラーは、通常、地面の上方の空間で見つかるため、道路ミラー検出方法200は、道路ミラー検出方法200が道路シーンの画像全体に集中した場合よりも、道路シーンの画像の上部170に集中した場合により迅速になるであろう。
ステップ226において、光学的フローライン領域識別部126は、道路シーンの画像内の第2の領域178に含まれる、道路シーンの画像内の第3の領域182を識別し、道路シーンの画像内の第3の領域182は光学的フローライン184の第3のセットを含む。道路シーンの画像内の第3の領域182は、道路ミラーの背景の画像であり得る。
ステップ228において、光学的フローライン領域識別部126は、道路シーンの画像内の第2の領域178に含まれる、道路シーンの画像内の第4の領域186を識別し、道路シーンの画像内の第4の領域186は光学的フローライン188の第4のセットを含む。道路シーンの画像内の第4の領域186は、道路ミラーの画像であり得る。光学的フローラインの異なるセットを有する異なる領域を検出することにより、有利には道路ミラーの形状に関係なく道路ミラーが確実に検出され得る。その上、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することもできる。
ステップ230において、光学的フローライン領域識別部126は、道路シーンの画像内の第3の領域182内に少なくとも部分的にある、道路シーンの画像内の第4の領域186を識別する。換言すれば、第4の領域186は、第3の領域182によって少なくとも部分的に取り囲まれていることになる。したがって、第4の領域186の外辺部の少なくとも一部は、少なくとも第3の領域182に隣接又は接触しているであろう。したがって、道路ミラーの画像は、少なくとも部分的に道路ミラーの背景の画像内に存在するであろう。換言すれば、道路ミラーの画像と道路ミラーの背景の画像とは、互いに隣接することになるため、完全に分離された領域は、無関係であると見なされ、したがって無視される。したがって、有利には、道路ミラー検出方法200の正確さが改善され得る。なぜなら、光学的フローラインの異なるセットによって完全に分離された領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
ステップ232において、光学的フローライン決定部130は、道路シーンの画像内の第3の領域182が、第4の領域186よりも道路シーンの画像の大きい割合を占めるか否かを決定する。道路ミラーの画像は、通常、取り込まれた道路シーンの画像全体の小さい割合を占めるのみである。したがって、道路ミラーの背景の画像は、通常、道路ミラーの画像よりも道路シーンの画像の大きい割合を占める。換言すれば、道路ミラーの背景の画像は、道路ミラーの画像よりも大きい領域を占める。したがって、有利には、道路ミラー検出方法200の正確さは、道路シーンの画像内の第3の領域182が、第4の領域186よりも道路シーンの画像のり大きい割合を占めるか否かを決定することにより改善され得る。
その後、ステップ234において、ステップ220のプロセスが終了する。
ステップ236において、光学的フローライン分析部140は、道路シーンの画像内の光学的フローラインを分析する。ステップ238において、ステップ236のプロセスが始まる。ステップ240において、光学的フローライン収束決定部128は、光学的フローライン184の第3のセットが実質的に1次消失点164に収束するか否かを決定する。光学的フローライン184の第3のセットが実質的に1次消失点164に収束する場合、道路シーンの画像内の第3の領域182は、道路ミラーの背景の画像であり得る。
ステップ242において、光学的フローライン収束決定部128は、光学的フローライン188の第4のセットが実質的に1次消失点164に収束しないか否かを決定する。光学的フローライン188の第4のセットが実質的に1次消失点164に収束しない場合、道路シーンの画像内の第4の領域186は、道路ミラーの画像であり得る。
ステップ244において、画像リサイザ142は、道路シーンの画像内の第4の領域186を所定のピクセル数にリサイズする。例えば、所定のピクセル数が30ピクセル×30ピクセルである場合、画像リサイザ142は、道路シーンの画像内の第4の領域186を30ピクセル×30ピクセルにリサイズされ得る。
その後、ステップ246において、ステップ236のプロセスが終了する。
ステップ248において、道路ミラー画像決定部150は、道路シーンの画像内の光学的フローラインの分析に基づいて、道路シーンの画像が道路ミラーの画像を含むか否かを決定する。ステップ250において、ステップ248のプロセスが始まる。ステップ252において、道路ミラー画像決定部150は、道路シーンの画像内の第4の領域186が道路ミラーの画像を含むか否かを決定する。道路ミラー画像決定部150は、光学的フローライン188の第4のセットが実質的に1次消失点164に収束しない一方、光学的フローライン184の第3のセットが実質的に1次消失点164に収束する場合、道路シーンの画像内の第4の領域186が道路ミラーの画像を含むと決定する。
ステップ254において、光学的フローライン密度決定部152は、第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する。この行為は、有利には、道路ミラー検出方法200の正確さを改善する。なぜなら、極めて少ない又は低密度の光学的フローラインを有する無関係な領域が無視され、したがって誤った道路ミラー検出の数が低減され得るからである。
その後、ステップ256において、ステップ248のプロセスが終了する。
最後に、ステップ258において、道路ミラー検出方法200が終了する。
光学的フローラインを決定及び分析する行為を含む道路ミラー検出方法200の利点の1つは、道路ミラーの形状に関係なく、道路ミラーが確実に検出され得ることである。その上、道路ミラー検出方法200は、もはや通常の形状に見えないように扱いにくい角度で傾斜している道路ミラーを確実に検出することが可能であり得る。
本発明が特定の実施形態又は態様を参照して相当に詳細に説明されたが、他の実施形態又は態様が可能である。
例えば、ステップ206の様々な消失点決定ステップ210、212、214、216は、任意の順序若しくはシーケンスで実施され得るか又は実際には同時に実施され得る。
したがって、添付の特許請求の範囲の趣旨及び範囲は、本明細書に含まれる実施形態の記載に限定されるべきではない。
本明細書(添付の特許請求の範囲、要約及び添付図面を含む)で開示されるあらゆる特徴は、明示的に別段の記載がない限り、同一の、均等な又は類似した目的を果たす代替の特徴によって置換され得る。したがって、明示的に別段の記載がない限り、開示された各特徴は、一般的な一連の均等な特徴又は類似した特徴の例の1つに過ぎない。
100 道路ミラー検出システム
110 画像取得部
120 消失点決定部
122 消失点幾何学的計算部
124 消失点レーンマーク決定部
126 光学的フローライン領域識別部
128 光学的フローライン収束決定部
130 光学的フローライン決定部
140 光学的フローライン分析部
142 画像リサイザ
150 道路ミラー画像決定部
152 光学的フローライン密度決定部
160 道路シーン
162 中心
164 1次消失点
166 レーンマーク
168 地平線
170 上部
172 下部
174 第1の領域
176 光学的フローライン
178 第2の領域
180 光学的フローライン
182 第3の領域
184 光学的フローライン
186 第4の領域
188 光学的フローライン
190 道路車両
200 道路ミラー検出方法
202 ステップ
204 ステップ
206 ステップ
208 ステップ
210 消失点決定ステップ
212 消失点決定ステップ
214 消失点決定ステップ
216 消失点決定ステップ
218 ステップ
220 ステップ
222 ステップ
224 ステップ
226 ステップ
228 ステップ
230 ステップ
232 ステップ
234 ステップ
236 ステップ
238 ステップ
240 ステップ
242 ステップ
244 ステップ
246 ステップ
248 ステップ
250 ステップ
252 ステップ
254 ステップ
256 ステップ
258 ステップ

Claims (25)

  1. 道路ミラー検出方法(200)であって、
    道路シーンの画像を得る行為と、
    前記道路シーンの前記画像内の光学的フローラインを決定する行為と、
    前記道路シーンの前記画像内の前記光学的フローラインを分析する行為と、
    前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
    を含む道路ミラー検出方法(200)。
  2. 前記光学的フローラインを決定する前記行為は、
    光学的フローラインの第1のセットを含む、前記道路シーンの前記画像内の第1の領域を識別する行為と、
    光学的フローラインの第2のセットを含む、前記道路シーンの前記画像内の第2の領域を識別する行為と
    を含む、請求項1に記載の道路ミラー検出方法(200)。
  3. 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項2に記載の道路ミラー検出方法(200)。
  4. 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項2又は3に記載の道路ミラー検出方法(200)。
  5. 前記光学的フローラインを分析する前記行為は、
    前記光学的フローラインの第1のセットが実質的に点に収束するか否かを決定する行為と、
    前記光学的フローラインの第2のセットが実質的に前記点に収束しないか否かを決定する行為と
    を含む、請求項2~4のいずれか一項に記載の道路ミラー検出方法(200)。
  6. 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項2~5のいずれか一項に記載の道路ミラー検出方法(200)。
  7. 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項2~6のいずれか一項に記載の道路ミラー検出方法(200)。
  8. 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項7に記載の道路ミラー検出方法(200)。
  9. 前記道路シーンの前記画像内に含まれる消失点を決定する行為を更に含む、請求項1に記載の道路ミラー検出方法(200)。
  10. 前記消失点を決定する前記行為は、前記消失点の位置を幾何学的に計算する行為を含む、請求項9に記載の道路ミラー検出方法(200)。
  11. 前記消失点の前記位置を幾何学的に計算する前記行為は、前記道路シーンの前記画像の中心(162)を決定する行為を含む、請求項10に記載の道路ミラー検出方法(200)。
  12. 前記消失点を決定する前記行為は、前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為を含む、請求項9~11のいずれか一項に記載の道路ミラー検出方法(200)。
  13. 前記消失点を決定する前記行為は、光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為を含み、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、請求項9~12のいずれか一項に記載の道路ミラー検出方法(200)。
  14. 前記消失点を決定する前記行為は、前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為を更に含む、請求項13に記載の道路ミラー検出方法(200)。
  15. 前記光学的フローラインを決定する前記行為は、光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為を含み、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、請求項9~14のいずれか一項に記載の道路ミラー検出方法(200)。
  16. 前記光学的フローラインを決定する前記行為は、
    前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
    前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含む、行為と
    を更に含む、請求項15に記載の道路ミラー検出方法(200)。
  17. 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項16に記載の道路ミラー検出方法(200)。
  18. 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項16又は17に記載の道路ミラー検出方法(200)。
  19. 前記光学的フローラインを分析する前記行為は、
    前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
    前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と
    を含む、請求項16~18のいずれか一項に記載の道路ミラー検出方法(200)。
  20. 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項16~19のいずれか一項に記載の道路ミラー検出方法(200)。
  21. 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項16~20のいずれか一項に記載の道路ミラー検出方法(200)。
  22. 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項21に記載の道路ミラー検出方法(200)。
  23. 道路ミラー検出方法(200)であって、
    道路シーンの画像を得る行為と、
    前記道路シーンの前記画像に含まれる消失点を決定する行為であって、
    前記消失点の位置を幾何学的に計算する行為であって、前記道路シーンの前記画像の中心(162)を決定する行為を含む行為と、
    前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為と、
    光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為であって、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、行為と、
    前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為と
    を含む行為と、
    前記道路シーンの前記画像内の光学的フローラインを決定する行為であって、
    光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為であって、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、行為と、
    前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
    前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含み、
    前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、行為と、
    前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為と
    を更に含む行為と、
    前記道路シーンの前記画像内の前記光学的フローラインを分析する行為であって、
    前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
    前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と、
    前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為と
    を含む行為と、
    前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
    を含み、
    前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含み、
    前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、道路ミラー検出方法(200)。
  24. 道路ミラー検出システム(100)であって、
    道路シーンの画像を得るように構成された画像取得部(110)と、
    前記道路シーンの前記画像内の光学的フローラインを決定するように構成された光学的フローライン決定部(130)と、
    前記道路シーンの前記画像内の前記光学的フローラインを分析するように構成された光学的フローライン分析部(140)と、
    前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部(150)と
    を含む道路ミラー検出システム(100)。
  25. 請求項24に記載の道路ミラー検出システム(100)を含む道路車両(190)。
JP2021112734A 2020-07-08 2021-07-07 道路ミラー検出システム及び方法 Active JP7128941B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2010474.1 2020-07-08
GB2010474.1A GB2598082A (en) 2020-07-08 2020-07-08 Road mirror detection system and method

Publications (2)

Publication Number Publication Date
JP2022016359A true JP2022016359A (ja) 2022-01-21
JP7128941B2 JP7128941B2 (ja) 2022-08-31

Family

ID=72050347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021112734A Active JP7128941B2 (ja) 2020-07-08 2021-07-07 道路ミラー検出システム及び方法

Country Status (2)

Country Link
JP (1) JP7128941B2 (ja)
GB (1) GB2598082A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008066953A (ja) * 2006-09-06 2008-03-21 Sanyo Electric Co Ltd 画像監視装置
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
JP2010218361A (ja) * 2009-03-18 2010-09-30 Zenrin Co Ltd 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム
JP2016110373A (ja) * 2014-12-05 2016-06-20 株式会社デンソー カーブミラー検出装置
JP2019050462A (ja) * 2017-09-08 2019-03-28 トヨタ自動車株式会社 映り込み判定装置及び撮影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033693B1 (en) * 1999-03-01 2004-04-21 Yazaki Corporation Rear and side view monitor with camera for a vehicle
JP3911983B2 (ja) * 2000-09-28 2007-05-09 日産自動車株式会社 後方監視装置
JP2014106901A (ja) * 2012-11-29 2014-06-09 Aisin Seiki Co Ltd 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP6944328B2 (ja) * 2017-09-29 2021-10-06 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP7135665B2 (ja) * 2018-09-26 2022-09-13 トヨタ自動車株式会社 車両制御システム、車両の制御方法及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008066953A (ja) * 2006-09-06 2008-03-21 Sanyo Electric Co Ltd 画像監視装置
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
JP2010218361A (ja) * 2009-03-18 2010-09-30 Zenrin Co Ltd 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム
JP2016110373A (ja) * 2014-12-05 2016-06-20 株式会社デンソー カーブミラー検出装置
JP2019050462A (ja) * 2017-09-08 2019-03-28 トヨタ自動車株式会社 映り込み判定装置及び撮影装置

Also Published As

Publication number Publication date
GB202010474D0 (en) 2020-08-19
GB2598082A (en) 2022-02-23
JP7128941B2 (ja) 2022-08-31

Similar Documents

Publication Publication Date Title
US11367217B2 (en) Image processing method and apparatus, and related device
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
KR102545105B1 (ko) 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP5407898B2 (ja) 対象物検出装置及びプログラム
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN106203272B (zh) 确定可移动对象的移动的方法和装置
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN108416306B (zh) 连续型障碍物检测方法、装置、设备和存储介质
EP2743861A2 (en) Method and device for detecting continuous object in disparity direction based on disparity map
WO2013116598A1 (en) Low-cost lane marker detection
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
Sebsadji et al. Robust road marking extraction in urban environments using stereo images
JP2009245042A (ja) 交通流計測装置及びプログラム
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
KR101236223B1 (ko) 차선 검출 방법
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
JP2019218022A (ja) 線路検出装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2016162130A (ja) 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220819

R150 Certificate of patent or registration of utility model

Ref document number: 7128941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350