JP2019528587A - 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム - Google Patents
一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム Download PDFInfo
- Publication number
- JP2019528587A JP2019528587A JP2018568844A JP2018568844A JP2019528587A JP 2019528587 A JP2019528587 A JP 2019528587A JP 2018568844 A JP2018568844 A JP 2018568844A JP 2018568844 A JP2018568844 A JP 2018568844A JP 2019528587 A JP2019528587 A JP 2019528587A
- Authority
- JP
- Japan
- Prior art keywords
- cause
- blockage
- image
- electronic control
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
メモリ26に記憶されたプログラムは、本発明の第1実施形態を構成する、カメラ30によって提供された一連の画像における閉塞の原因を特定する第1の方法のステップを実行するための命令を含む。
(1)フロントガラス上に(及び/又は場合によってはカメラの一つのレンズ上に又は複数のレンズ上にさえ)形成された氷が画像をぼやけさせてカメラの閉塞の検出を引き起こす凍結の状況
(2)フロントガラス上に(及び/又は場合によってはカメラの一つのレンズ上に又は複数のレンズ上にさえ)形成された曇りが画像をぼやけさせてカメラの閉塞の検出を引き起こす曇りの状況
(3)日の入り/日の出又は一様な風景の状況、又は
(4)暗い道路の状況
閉塞状況が検出された反復の数をカウントする閉塞カウンタ「Tblock」(整数)
閉塞の原因が恐らく「日の入り/日の出又は一様な風景」であると判定された反復の数をカウントする日中カウンタ「K_Day」(整数)
閉塞の原因が恐らく道路が暗いこと(又は「暗い道路)であると判定された反復の数をカウントする夜間カウンタ「K_Night」(整数)
閉塞の原因が恐らく凍結又は曇りであると判定された反復の数をカウントする曇り/氷時間カウンタ「K_Fog」(整数)
ステップS10において、カメラ30によって出力された画像がECU20によって取得される。
ステップS20において、ECU20は一連の画像における閉塞を検出する。閉塞は、ECU20によって取得された最後の画像に基づいて検出される。閉塞は、斯かる閉塞を検出するための任意の利用可能なアルゴリズム又は方法(例えば米国特許出願公開第2010/0182450号明細書に記載された方法)を使用して検出されうる。使用される画像の数は、閉塞を検出するために使用される方法に従って選択される。
ステップS30において、ECU20は、車両が移動している車線が車線区画線(lane markings)を有するかを判定する。車線区画線の存在は情報の2つの項目に基づいて判定される。情報の第1の項目は、GPSユニット40によって取得される車両の位置である。
ステップS40において、ECU20は、一連の画像の最後の画像において、すなわちステップS10において取得された画像において車線区画線(少なくとも一つの車線区画線)を検出できるかを判定する。これら区画線の検出を任意の公知の画像処理方法によって行うことができる。
ステップS50において、ECU20は、車両の前方の道路上に物体が存在するかを判定する。物体は、任意の物体でありうるが、ほとんどの場合、おそらく自動車100に先行する車両であるだろう。物体は、自転車、バイク等、又は道路上に存在する任意の一つの若しくは複数の物体であってもよい。ステップS50についての検出は、カメラ30の視野に存在する又はカメラ30の視野に立っている物体(又は物体の一部)に限定される。
ステップS60において、ECU20は、(一連の画像のうちの最後の画像の取得時において)日中又は夜間であるかを判定する。ほとんどの場合、方法は、リアルタイムで実行され、一連の画像の最後の画像の取得時刻は単純に車両についての現在時刻である。
ステップ70は条件付きステップである。ステップ70において、ECU20は、最初に、外気温が低温閾値未満であるかと露点に到達しているか(すなわち、空気が水蒸気中で飽和し、このことによって追加の蒸気が凝縮するか)とを判定するステップS72を実行する。外気温は、車両の外側の温度を測定する外気温センサユニット34によって測定される。大気の湿度含有量は湿度センサユニット42によって測定される。外気温及び大気の湿度含有量に基づいて、ECU20は、最初に、水の露点に到達しているかを判定する。水の露点に到達している場合、カメラ30が見る透明な壁の一つに曇りが発生していると推定することができる。また、ECU20は、外気温が負であり又は少なくとも0℃に近いかを判定する。外気温が負であり又は0℃に近い場合、フロントガラス又はカメラ30のレンズ上に凍結が生じていると推定することができ、このことは閉塞の検出をもたらす。
ステップS80は、夜間であると判定された場合にのみ、したがってヘッドライトがオンであるときに実行される。
確認ステップ90が、閉塞の推定される原因を特定することが可能となる度に実行される。
本発明の第2実施形態を構成する、カメラ30によって提供された一連の画像における閉塞の原因を特定する第2の方法が、図4を参照して以下に説明される。
Claims (18)
- 道路上を移動している車両に搭載されたカメラによって提供された一連の画像における閉塞の原因を特定する方法であって、
S10)前記カメラの画像、すなわち前記一連の画像を形成する連続して取得された画像を取得するステップと、
S20)前記一連の画像の最後の画像における閉塞を検出するステップと、
S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定するステップと、
日中であると判定された場合に、ステップS70を実行するステップと
を反復して実行することを含み、
ステップS70は、
S72)外気温が低温閾値未満であるかを判定することと、
S73)前記外気温が前記低温閾値未満であると判定された場合に、現在の反復について、前記閉塞の原因が恐らく凍結又は曇りであると判定することと
を含む、閉塞の原因を特定する方法。 - ステップS70において、ステップS72において前記外気温が前記低温閾値未満であると判定された場合に、
S74)露点に到達しているかを判定するステップと、
前記露点に到達していないと判定された場合には、前記現在の反復について、前記閉塞の原因が恐らく第1の確率(P1)で凍結又は曇りであると判定するステップと、
S75)前記露点に到達していると判定された場合には、前記現在の反復について、前記閉塞の原因が、恐らく、前記第1の確率(P1)よりも高い第2の確率(P2)で凍結又は曇りであると判定するステップと
を実行することを更に含む、請求項1に記載の閉塞の原因を特定する方法。 - ステップS70において、
S78)前記外気温が前記低温閾値よりも高いと判定された場合に、前記現在の反復について、前記閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するステップを実行することを更に含む、請求項1又は2に記載の閉塞の原因を特定する方法。 - 反復の間にステップS60において夜間であると判定された場合に、
S82)前記カメラによって取得された画像において前記車両のフロントライトのオン/オフの切り替えが変化をもたらすかを判定し、且つ、
S84)前記カメラによって取得された画像においてフロントライトのオン/オフの切り替えが変化をもたらすと判定された場合に、前記現在の反復について、前記閉塞の原因が恐らく前記道路が暗いことであると判定するステップS80を実行することを更に含む、請求項1から3のいずれか1項に記載の閉塞の原因を特定する方法。 - 反復の間、ステップS60を実行する前に、
S40)前記一連の画像の最後の画像において車線区画線を検出するステップと、
S45)前記最後の画像において車線区画線が検出された場合に、画像取得のステップS10に戻るステップと
を実行することを更に含む、請求項1から4のいずれか1項に記載の閉塞の原因を特定する方法。 - 反復の間、ステップS40を実行する前に、
S30)前記車両の位置情報と、車線区画線を有する車線の記録を含むデータベースとに基づいて、前記車両が移動している車線が車線区画線を有するかを判定するステップと、
S35)前記車両が移動している車線が車線区画線を有さない場合、画像取得のステップS10に戻るステップと
を実行することを更に含む、請求項5に記載の閉塞の原因を特定する方法。 - 反復の間、ステップS60を実行する前に、
S50)前記画像から得られる情報以外の情報に基づいて、前記車両の前方の道路に物体が存在しているかを検出するステップと、
S55)前記車両の前方の道路に物体が検出されない場合、画像取得のステップS10に戻るステップと
を実行することを更に含む、請求項1から5のいずれか1項に記載の閉塞の原因を特定する方法。 - 反復の間、閉塞の第1の原因が検出されたときに、
S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定されたかを評価するステップであって、N1及びN2が予め定められた数である、ステップと、
S110)少なくとも最後のN1の反復のそれぞれについて閉塞が検出され、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定された場合に、前記閉塞の原因が前記第1の原因であるという判定に基づいた措置を始動させるステップと
を実行することを更に含む、請求項1から7のいずれか1項に記載の閉塞の原因を特定する方法。 - 前記画像は、前記カメラによって取得されたより大きな画像の一部である部分画像である、請求項1から8のいずれか1項に記載の閉塞の原因を特定する方法。
- コンピュータ読み取り可能な記憶媒体に記憶され且つコンピュータ上で実行されるのに適したコンピュータプログラムであって、
前記コンピュータ上で実行されるときに、請求項1から9のいずれか1項に記載の方法のステップを実行するようになっている命令を含む、コンピュータプログラム。 - 請求項10に記載のコンピュータプログラムの命令を含む、コンピュータ読み取り可能な記録媒体。
- 電子制御ユニット(22)、カメラ(30)及び外気温センサ(34)を備える運転支援システムであって、
前記電子制御ユニット(22)、前記カメラ(30)及び前記外気温センサ(34)は車両に搭載されるように構成され、
前記電子制御ユニット(20)は、反復的に、
S10)前記カメラ(30)の画像、すなわち一連の画像を形成する連続して取得された画像を取得し、
S20)前記一連の画像の最後の画像における閉塞状況を検出し、
S60)少なくとも時間情報に基づいて日中又は夜間であるかを判定し、
該電子制御ユニットが日中であると判定した場合には、
S72)前記外気温センサによって提供された情報に基づいて、外気温が低温閾値未満であり且つ露点に到達しているかを判定し、
S73)該電子制御ユニットが、前記外気温が低温閾値未満であると判定した場合に、現在の反復について、閉塞の原因が恐らく凍結又は曇りであると判定するように構成される、運転支援システム。 - 湿度センサ(32)を更に備え、
前記電子制御ユニットは、さらに、
S74)露点に到達しているかを判定し、
該電子制御ユニットが、前記外気温が前記低温閾値未満であり且つ前記露点に到達していないと判定した場合には、前記現在の反復について、前記閉塞の原因が恐らく第1の確率(P1)で凍結又は曇りであると判定し、
S75)該電子制御ユニットが、前記外気温が前記低温閾値未満であり且つ前記露点に到達していると判定した場合には、前記現在の反復について、前記閉塞の原因が、恐らく、前記第1の確率(P1)よりも高い第2の確率(P2)で凍結又は曇りであると判定するように構成される、請求項12に記載の運転支援システム。 - 前記電子制御ユニットは、さらに、
S78)該電子制御ユニットが、前記外気温が低温閾値よりも高いと判定した場合に、現在の反復について、前記閉塞の原因が恐らく日の入り/日の出の状況又は一様な風景の状況であると判定するように構成される、請求項12又は13に記載の運転支援システム。 - 前記電子制御ユニットは、さらに、反復の間、該電子制御ユニット(20)が夜間であると判定した場合に、
S82)前記車両のフロントライトのオン/オフの切り替えが前記画像内のコントラストの変化をもたらすかを判定し、
S84)該電子制御ユニットがフロントライトのオン/オフの切り替えが前記画像内のコントラストの変化をもたらすと判定した場合に、前記現在の反復について、前記閉塞の原因が恐らく道路が暗いことであると判定するように構成される、請求項12から14のいずれか1項に記載の運転支援システム。 - 前記電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、
S40)前記一連の画像の最後の画像において車線区画線を検出し、
S45)少なくとも一つの車線区画線が前記最後の画像において検出された場合、画像取得のステップS10に戻るように構成される、請求項12から15のいずれか1項に記載の運転支援システム。 - 前記電子制御ユニットは、さらに、反復の間、日中又は夜間であるかを判定する前に、
S50)前記画像から得られる情報以外の環境情報を使用して、前記車両の前方の道路に物体が存在するかを検出し、
S55)該電子制御ユニットが、前記車両の前方の道路に物体が存在すると判定した場合に、画像取得のステップS10に戻るように構成される、請求項12から16のいずれか1項に記載の運転支援システム。 - 前記電子制御ユニットは、さらに、反復の間、閉塞の第1の原因が検出されたときに、
S90)少なくとも最後のN1の反復のそれぞれについて閉塞が検出されたかを評価し、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定されたかを評価し、
S110)少なくとも前記最後のN1の反復のそれぞれについて閉塞が検出され、前記最後のN1の反復の間の少なくともN2の反復について前記閉塞の原因が恐らく前記第1の原因であると判定された場合に、前記閉塞の原因が前記第1の原因であるという判定に基づいた措置を始動させるように構成され、
N1及びN2は予め定められた数である、請求項12から17のいずれか1項に記載の自動運転システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2017/067156 WO2019007535A1 (en) | 2017-07-07 | 2017-07-07 | DRIVING ASSISTANCE SYSTEM, RECORDING MEDIUM CONTAINING COMPUTER PROGRAM, AND METHOD FOR IDENTIFYING LOCKING CAUSE IN IMAGE SEQUENCE |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019528587A true JP2019528587A (ja) | 2019-10-10 |
Family
ID=59581834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018568844A Pending JP2019528587A (ja) | 2017-07-07 | 2017-07-07 | 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210224555A1 (ja) |
EP (1) | EP3649572A1 (ja) |
JP (1) | JP2019528587A (ja) |
CN (1) | CN109478234A (ja) |
WO (1) | WO2019007535A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149482A (zh) * | 2019-06-28 | 2020-12-29 | 深圳市商汤科技有限公司 | 驾驶员在岗状态检测方法、装置、设备和计算机存储介质 |
DE102020201837A1 (de) | 2020-02-14 | 2021-08-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | LiDAR-Anordnung, LiDAR-System, Fahrzeug und Verfahren |
CN111775890B (zh) * | 2020-05-29 | 2021-11-09 | 恒大新能源汽车投资控股集团有限公司 | 车窗玻璃的遮挡检测方法、装置和系统以及存储介质 |
WO2022185085A1 (ja) * | 2021-03-03 | 2022-09-09 | 日産自動車株式会社 | 物体検出方法及び物体検出装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325603A (ja) * | 2003-04-22 | 2004-11-18 | Kyocera Corp | レンズモジュールおよびそれを用いたカメラ |
US20110280026A1 (en) * | 2009-05-15 | 2011-11-17 | Higgins-Luthman Michael J | Automatic Headlamp Control |
JP2012228916A (ja) * | 2011-04-25 | 2012-11-22 | Kyocera Corp | 車載カメラシステム |
JP2016201719A (ja) * | 2015-04-13 | 2016-12-01 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8243166B2 (en) | 2009-01-20 | 2012-08-14 | Lockheed Martin Corporation | Automatic detection of blocked field-of-view in camera systems |
US9199574B2 (en) * | 2012-09-11 | 2015-12-01 | Gentex Corporation | System and method for detecting a blocked imager |
JP6684714B2 (ja) * | 2013-12-24 | 2020-04-22 | ボルボ トラック コーポレイション | 車両の運転者支援のための方法及びシステム |
KR102366402B1 (ko) * | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
-
2017
- 2017-07-07 EP EP17751250.6A patent/EP3649572A1/en not_active Withdrawn
- 2017-07-07 US US16/314,542 patent/US20210224555A1/en not_active Abandoned
- 2017-07-07 JP JP2018568844A patent/JP2019528587A/ja active Pending
- 2017-07-07 CN CN201780043031.7A patent/CN109478234A/zh active Pending
- 2017-07-07 WO PCT/EP2017/067156 patent/WO2019007535A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325603A (ja) * | 2003-04-22 | 2004-11-18 | Kyocera Corp | レンズモジュールおよびそれを用いたカメラ |
US20110280026A1 (en) * | 2009-05-15 | 2011-11-17 | Higgins-Luthman Michael J | Automatic Headlamp Control |
JP2012228916A (ja) * | 2011-04-25 | 2012-11-22 | Kyocera Corp | 車載カメラシステム |
JP2016201719A (ja) * | 2015-04-13 | 2016-12-01 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3649572A1 (en) | 2020-05-13 |
CN109478234A (zh) | 2019-03-15 |
US20210224555A1 (en) | 2021-07-22 |
WO2019007535A1 (en) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8582809B2 (en) | Method and device for detecting an interfering object in a camera image | |
EP2922033B1 (en) | A vehicle sensor diagnosis system and method and a vehicle comprising such a system | |
US10569768B2 (en) | Information processing apparatus, information processing method, and non-transitory recording medium | |
JP2019528587A (ja) | 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム | |
CN109033951B (zh) | 用于基于图形处理来检测遮挡对象的系统及方法 | |
US9855950B2 (en) | Vehicle position detecting apparatus | |
CN113492851B (zh) | 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 | |
US9061632B2 (en) | Vehicle night vision support system and control method for the same | |
US11740093B2 (en) | Lane marking localization and fusion | |
US20170220875A1 (en) | System and method for determining a visibility state | |
US10012994B2 (en) | Method and apparatus for operating at least one partly or highly automated vehicle | |
US10229505B2 (en) | Motion determination system and method thereof | |
US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
CN111507162B (zh) | 基于车辆间通信的协作的盲点警告方法及装置 | |
EP4020405A1 (en) | Road lane condition detection with lane assist for a vehicle using infrared detecting device | |
CN111661047A (zh) | 车辆中的车道位置感测和跟踪 | |
JP7052660B2 (ja) | 学習画像選別装置 | |
CN109308066A (zh) | 用于自动化车辆的传感器故障补偿系统 | |
JP2019535149A (ja) | 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム | |
CN113492750B (zh) | 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质 | |
US20210231457A1 (en) | Apparatus and method for collecting data for map generation, and vehicle | |
CN116353604A (zh) | 设置在自动驾驶车辆中的电子装置及其工作方法 | |
JP2020535058A (ja) | 高精度位置を決定し、自動運転車両を運転するための方法および装置 | |
CN104931024A (zh) | 障碍物检测装置 | |
JP5859897B2 (ja) | 車載カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210309 |