JP2022014729A - 悪環境判定装置、悪環境判定方法 - Google Patents

悪環境判定装置、悪環境判定方法 Download PDF

Info

Publication number
JP2022014729A
JP2022014729A JP2020117247A JP2020117247A JP2022014729A JP 2022014729 A JP2022014729 A JP 2022014729A JP 2020117247 A JP2020117247 A JP 2020117247A JP 2020117247 A JP2020117247 A JP 2020117247A JP 2022014729 A JP2022014729 A JP 2022014729A
Authority
JP
Japan
Prior art keywords
environment
distance
adverse
recognition
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020117247A
Other languages
English (en)
Other versions
JP2022014729A5 (ja
Inventor
正人 三宅
Masato Miyake
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020117247A priority Critical patent/JP2022014729A/ja
Priority to PCT/JP2021/025362 priority patent/WO2022009847A1/ja
Publication of JP2022014729A publication Critical patent/JP2022014729A/ja
Publication of JP2022014729A5 publication Critical patent/JP2022014729A5/ja
Priority to US18/150,094 priority patent/US20230148097A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

【課題】画像データを用いた物体認識をする装置にとっての悪環境となっている地点を特定可能な悪環境判定装置、悪環境判定方法を提供する。【解決手段】環境判定器20は、車線区画線の実効認識距離が所定の第1距離未満であることに基づいて周辺環境を前方カメラにとっての悪環境と判定する。そして、車線区画線及び/又はランドマークに対する認識状況、及び、気温等の環境補足情報に基づいて、悪環境の種別を判定する。例えば、所定の第2距離以上第1距離未満に位置する車線区画線を認識できている一方、ランドマークが認識できていない場合は、西日を受けていると判定する。また、第2距離以上第1距離未満に位置する車線区画線およびランドマークの両方を認識できている場合には、悪環境種別は霧であると判定する。【選択図】図3

Description

本開示は、車載カメラが撮像した画像データを用いて物体を認識する装置にとっての悪環境であるか否かを判定する技術に関する。
近年、車載カメラが撮像した画像データを用いて、周辺環境を認識し、衝突被害軽減ブレーキなどの車両制御や、自己位置推定等に利用する技術が種々提案されている。例えば、特許文献1には、より高精度な車両の位置特定を行う技術として、前方カメラの撮像画像に基づいて認識したランドマークの観測位置と、地図データに登録されていれるランドマークの位置座標とに基づいて、車両の位置を技術が開示されている。このように前方カメラの画像認識結果と地図データとを照合(つまり、マッチング)させることで車両の位置特定を行う処理はローカライズ処理とも称される。
特開2020-8462号公報
特許文献1に開示されるローカライズ処理においては、カメラによりランドマークを精度良く認識できていることが前提となる。しかしながら、降雨や濃霧などの悪環境時には、カメラ画像が不鮮明となるため、ランドマークの認識成功率が低下しうる。特に遠方に位置するランドマークほど認識しにくくなる。また、ランドマークに限らず、降雨や濃霧などの悪環境時には、車載カメラによる物体認識機能が低下する場合がある。
画像認識の精度/性能は、自動運転の安全性に大きく寄与する。そのため、画像データを用いた物体認識をする装置にとっての悪環境となっている地点、換言すれば画像が不鮮明となりうる地点を特定することは、ユーザの利便性や安全性を高める上で重要となる。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、画像データを用いた物体認識をする装置にとっての悪環境となっている地点を特定可能な悪環境判定装置、悪環境判定方法を提供することにある。
その目的を達成するための悪環境判定装置は、一例として、車両の周辺の所定範囲を撮像する撮像装置(11)で撮像された画像を解析することによって定まる所定の対象地物についての認識情報を示す情報を画像認識情報として取得する画像認識情報取得部(F3)と、画像認識情報取得部が取得した対象地物の認識結果に基づいて、車両の周辺環境が、画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定部(F7)と、を備える。
例えば降雨や霧などといった、画像データを用いた物体認識をする装置にとっての悪環境となっている地点においては、例えば晴天時などの良環境時に比べて地物を認識できる距離等は縮退しうる。つまり、地物の画像認識結果は、悪環境であるか否かの指標として機能する。本開示は当該性質に着眼して創出されたものであって、上記構成によれば、所定の地物に対する実際の認識状況に基づいて、画像を用いて物体認識をする装置(例えばカメラ)にとっての悪環境かどうかが判断される。このような構成によれば、実際に物体認識の性能が低下しうる地点を特定可能となる。
また、上記目的を達成するための悪環境判定方法は、画像を用いて物体を認識する装置にとっての悪環境であるか否かを判定するための、少なくとも1つのプロセッサによって実行される方法であって、車両の周辺の所定範囲を撮像する撮像装置(11)で撮像された画像を解析することによって定まる所定の対象地物についての認識結果を示す情報を画像認識情報として取得する画像認識情報取得ステップ(S100)と、画像認識情報取得ステップで取得された対象地物の認識結果に基づいて、車両の周辺環境が、画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定ステップ(S110)と、を含む。
上記の方法によれば悪環境判定装置と同様の作動原理により、画像データを用いた物体認識をする装置にとっての悪環境となっている地点を特定可能となる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
運転支援システム1の構成を示すブロック図である。 前方カメラ11の構成を示すブロック図である。 環境判定器20の構成を示す機能ブロック図である。 位置推定器30の構成を示す機能ブロック図である。 悪環境判定処理のフローチャートである。 悪環境か否かの判定に使用する第1距離を説明するための図である。 悪環境種別判定処理のフローチャートである。 地物ごとの認識状況と環境種別との対応関係をまとめた図である。 悪環境種別判定処理の変形例を示すフローチャートである。 環境判定器20の構成を示すブロック図である。 路面状態判定処理についてのフローチャートである。 環境判定部F7の変形例を示すブロック図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 システム構成の変形例を示す図である。 地図配信システム100の全体構成を示す図である。 地図サーバ5の作動を説明するフローチャートである。
以下、本開示の実施形態について図を用いて説明する。図1は、本開示の位置推定器を適用してなる運転支援システム1の概略的な構成の一例を示す図である。
<全体構成の概要>
図1に示すように運転支援システム1は、前方カメラ11、ミリ波レーダ12、車両状態センサ13、ロケータ14、地図記憶部15、V2X車載器16、HMIシステム17、運転支援ECU18、環境判定器20、及び位置推定器30を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。また、HMIは、Human Machine Interfaceの略である。V2XはVehicle to X(Everything)の略で、車を様々なものをつなぐ通信技術を指す。
運転支援システム1を構成する上記の種々の装置またはセンサは、ノードとして、車両内に構築された通信ネットワークである車両内ネットワークNwに接続されている。車両内ネットワークNwに接続されたノード同士は相互に通信可能である。なお、特定の装置同士は、車両内ネットワークNwを介することなく直接的に通信可能に構成されていてもよい。例えば環境判定器20と位置推定器30は専用線によって直接的に電気接続されていても良い。また、図1において車両内ネットワークNwはバス型に構成されているが、これに限らない。ネットワークトポロジは、メッシュ型や、スター型、リング型などであってもよい。ネットワーク形状は適宜変更可能である。車両内ネットワークNwの規格としては、例えばController Area Network(以降、CAN:登録商標)や、イーサネット(イーサネットは登録商標)、FlexRay(登録商標)など、多様な規格を採用可能である。
以降では運転支援システム1が搭載されている車両を自車両とも記載するとともに、自車両の運転席に着座している乗員(つまり運転席乗員)をユーザとも記載する。なお、以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。具体的に、前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。別の観点によれば、上下方向は、前後方向及び左右方向に平行な平面に対して垂直な方向に相当する。
<各構成要素の概要>
前方カメラ11は、車両前方を所定の画角で撮像するカメラである。前方カメラ11は、例えばフロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。前方カメラ11は、図2に示すように、画像フレームを生成するカメラ本体部40と、画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するECU(以降、カメラECU41)と、を備える。カメラ本体部40は少なくともイメージセンサとレンズとを含む構成である。カメラ本体部40は、所定のフレームレート(例えば60fps)で撮像画像データを生成及び出力する。カメラECU41は、CPUや、GPUなどを含む画像処理チップを主体として構成されており、機能ブロックとして識別器411を含む。識別器411は、カメラ本体部40で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器411には、例えばディープラーニングを適用したCNN(Convolutional Neural Network)やDNN(Deep Neural Network)などを利用可能である。識別器411は物体認識部の一例に相当する。
前方カメラ11の検出対象物には、例えば、歩行者や、他車両などの移動体が含まれる。他車両には自転車や原動機付き自転車、オートバイも含まれる。また、前方カメラ11は、所定の地物も検出可能に構成されている。前方カメラ11が検出対象とする地物には、道路端や、路面標示、道路沿いに設置される構造物が含まれる。路面標示とは、交通制御、交通規制のための路面に描かれたペイントを指す。例えば、レーンの境界を示す車線区画線や、横断歩道、停止線、導流帯、安全地帯、規制矢印などが路面標示に含まれる。車線区画線は、レーンマークあるいはレーンマーカーとも称される。車線区画線には、チャッターバーやボッツドッツなどの道路鋲によって実現されるものも含まれる。以降における区画線とは、レーンの境界線をさす。区画線には、車道外側線や、中央線(いわゆるセンターライン)なども含めることができる。
道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、道路標識、信号機などである。カメラECU41を構成する画像プロセッサは、色、輝度、色や輝度に関するコントラスト等を含む画像情報に基づいて、撮像画像から背景と検出対象物とを分離して抽出する。
なお、前方カメラ11が検出対象とする地物の一部または全部は、位置推定器30においてランドマークとして利用される。本開示におけるランドマークとは、車両の縦方向位置を推定するための目印として利用可能な地物を指す。ランドマークとしては、例えば規制標識や、案内標識、警戒標識、指示標識などといった交通標識に相当する看板、信号機、ポール、案内板などの少なくとも何れか1つを採用可能である。なお、案内標識とは、方面看板や、地域名称を示す看板、道路名を示す看板、高速道路の出入口やサービスエリア等を予告する予告看板などを指す。ランドマークには、街灯や、ミラー、電柱、商業広告看板、店舗名を示す看板、歴史的建造物等の象徴的な建築物などを含めることもできる。ポールには街灯や電柱も含まれる。ランドマークには、道路の起伏部及び陥没部、マンホール、ジョイント部等を含めることもできる。区画線の終端や分岐点も、ランドマークとして利用可能である。ランドマークとして用いる地物の種別は適宜変更可能である。ランドマークとしては、信号機や方面看板など、経時変化が乏しく、且つ、100m以上離れた地点からでも画像認識可能な大きさを有する地物を採用することが好ましい。前方カメラ11は、ランドマークに設定されている種別の地物を検出可能に構成されていればよい。
カメラECU41は、ランドマーク及び区画線といった地物の車両からの相対距離および方向を、SfM(Structure from Motion)情報を含む画像から演算する。自車両に対する地物の相対位置(距離および方向)は、画像内における地物の大きさや姿勢(たとえば傾き度合い)に基づいて特定してもよい。また、カメラECU41は、認識しているランドマークの色や大きさ、形状などに基づいて、例えば方面看板か否かなど、ランドマークの種別を識別可能に構成されている。車線区画線やランドマークが対象地物に相当する。
さらに、カメラECU41は、車線区画線及び道路端の位置及び形状に基づいて、走路の曲率や幅員等の形状などを示す走行路データを生成する。加えて、カメラECU41は、SfMに基づくヨーレートを算出する。カメラECU41は、検出物の相対位置や種別等を示す検出結果データを、車両内ネットワークNwを介して位置推定器30や運転支援ECU18(以降、位置推定器30等)に逐次提供する。
本実施形態のカメラECU41は、より好ましい態様として、画像認識結果の信頼度を示すデータも出力する。認識結果の信頼度は、例えば、降雨量や、逆光の有無、外界の明るさなどをもとに算出される。なお、認識結果の信頼度は、その他、特徴量の一致度合いを示すスコアであってもよい。信頼度は、例えば、識別器411による識別結果として出力される、認識結果の確からしさを示す確率値であってもよい。当該確率値は前述の特徴量の一致度合いに相当しうる。認識結果の信頼度は、識別器411が生成する検出物ごとに確率値の平均値であっても良い。
また、カメラECU41は、追跡している同一物体に対する識別結果の安定度合いから、認識結果の信頼度を評価してもよい。例えば同一物体の種別の識別結果が安定している場合には信頼度は高いと評価し、同一物体に対する識別結果としての種別タグが不安定である場合には、信頼度は低いと評価してもよい。識別結果が安定している状態とは、連続的に同じ結果が得られている状態を指す。識別結果が不安定な状態とは識別結果が二転三転するなど、連続的に同じ結果が得られない状態を指す。
ミリ波レーダ12は、車両前方に向けてミリ波又は準ミリ波といった探査波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車両に対する物体の相対位置や相対速度を検出するデバイスである。ミリ波レーダ12は、例えば、フロントグリルや、フロントバンパに設置されている。ミリ波レーダ12には、検出物体の大きさや移動速度、受信強度に基づいて、検出物の種別を識別するレーダECUが内蔵されている。レーダECUは、検出結果として、検出物の種別や、相対位置(方向と距離)、受信強度を示すデータを位置推定器30等に出力する。ミリ波レーダ12の検出対象物にも前述のランドマークが含まれている。
前方カメラ11及びミリ波レーダ12は、物体認識に用いた観測データも、車両内ネットワークNwを介して運転支援ECU18等に提供するように構成されていても良い。例えば前方カメラ11にとっての観測データとは、画像フレームを指す。ミリ波レーダの観測データとは、検出方向及び距離毎の受信強度及び相対速度を示すデータ、または、検出物の相対位置及び受信強度を示すデータを指す。観測データは、センサが観測した生のデータ、あるいは認識処理が実行される前のデータに相当する。
観測データに基づく物体認識処理は、運転支援ECU18など、センサ外のECUが実行しても良い。また、ランドマークの相対位置の算出も、位置推定器30や運転支援ECU18などで実施されても良い。カメラECU41やミリ波レーダ12の機能の一部(主として物体認識機能)は、位置推定器30や運転支援ECU18に設けられていても良い。その場合、前方カメラ11としてのカメラやミリ波レーダは、画像データや測距データといった観測データを検出結果データとして位置推定器30や運転支援ECU18に提供すればよい。
車両状態センサ13は、自車両の走行制御に関わる状態量を検出するセンサである。車両状態センサ13には、例えば3軸ジャイロセンサ及び3軸加速度センサなどの慣性センサが含まれる。3軸加速度センサは、自車両に作用する前後、左右、上下方向のそれぞれの加速度を検出するセンサである。ジャイロセンサは検出軸回りの回転角速度を検出するものであって、3軸ジャイロセンサは互いに直交する3つの検出軸を有するものを指す。慣性センサは運転席乗員の運転操作又は運転支援ECU18による制御の結果として生じる車両の挙動を示す物理状態量を検出するセンサに相当する。種々のセンサは、慣性計測ユニット(IMU:Inertial Measurement Unit)としてパッケージ化されていても良い。
また、運転支援システム1は車両状態センサ13として外気温センサ、及び湿度センサを備える。運転支援システム1は車両状態センサ13として大気圧センサや、磁気センサを備えていても良い。さらに、車両状態センサ13にはシフトポジションセンサ、操舵角センサ、車速センサ、ワイパー速度センサなども含めることができる。シフトポジションセンサは、シフトレバーのポジションを検出するセンサである。操舵角センサは、ハンドルの回転角(いわゆる操舵角)を検出するセンサである。車速センサは、自車両の走行速度を検出するセンサである。ワイパー速度センサは、ワイパーの動作速度を検出するセンサである。ワイパーの動作速度には、動作間隔が含まれる。
車両状態センサ13は、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータを車両内ネットワークNwに出力する。各車両状態センサ13の出力データは、車両内ネットワークNwを介して位置推定器30等で取得される。なお、車両状態センサ13として運転支援システム1が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、車両状態センサ13には、降雨を検出するレインセンサや、外の明るさを検出する照度センサを含めることができる。
ロケータ14は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報等を生成する装置である。ロケータ14は、例えば、GNSS受信機を用いて構成されている。GNSS受信機は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号(以降、測位信号)を受信することで、当該GNSS受信機の現在位置を逐次検出するデバイスである。例えばGNSS受信機は4機以上の測位衛星からの測位信号を受信できている場合には、100ミリ秒ごとに測位結果を出力する。GNSSとしては、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。
ロケータ14は、GNSS受信機の測位結果と、慣性センサの出力とを組み合わせることにより、自車両の位置を逐次測位する。例えば、ロケータ14は、トンネル内などGNSS受信機がGNSS信号を受信できない場合には、ヨーレートと車速を用いてデッドレコニング(Dead Reckoning :すなわち自律航法)を行う。デッドレコニングに用いるヨーレートは、SfM技術を用いて前方カメラ11で算出されたものでもよいし、ヨーレートセンサで検出されたものでもよい。ロケータ14は加速度センサやジャイロセンサの出力を用いてデッドレコニングしても良い。測位した車両位置情報は車両内ネットワークNwに出力され、位置推定器30等で利用される。
地図記憶部15は、高精度地図データを記憶している不揮発性メモリである。ここでの高精度地図データは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。高精度地図データは、例えば、道路の3次元形状データや、車線データ、地物データ等を備える。上記の道路の3次元形状データには、複数の道路が交差、合流、分岐する地点(以降、ノード)に関するノードデータと、その地点間を結ぶ道路(以降、リンク)に関するリンクデータが含まれる。
リンクデータには、道路端の位置座標を示す道路端情報や、道路の幅員などを示す。リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれていてもよい。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。リンクデータには、自律走行が許容される道路であるか否かを示す属性情報を含んでもよい。
車線データは、車線数や、車線ごとの区画線の設置位置情報、車線ごとの進行方向、車線レベルでの分岐/合流地点を示す。車線データには、例えば、区画線が実線、破線、ボッツドッツのいずれのパターンによって実現されているかを示す情報が含まれていてもよい。区画線や道路端(以降、区画線等)の位置情報は、車線区画線が形成されている地点の座標群(つまり点群)として表現されている。なお、他の態様として区画線等の位置情報は、多項式表現されていてもよい。区画線等の位置情報は、多項式表現された線分の集合体(つまり線群)でもよい。
地物データは、一時停止線などの路面標示の位置及び種別情報や、ランドマークの位置、形状、及び種別情報を含む。ランドマークには、前述の通り、交通標識や信号機、ポール、商業看板など、道路沿いに設置された立体構造物が含まれる。なお、地図記憶部15は、自車両から所定距離以内の高精度地図データを一時的に記憶する構成であっても良い。
V2X車載器16は、自車両が他の装置と無線通信を実施するための装置である。なお、V2Xの「V」は自車両としての自動車を指し、「X」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。V2X車載器16は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばLTE(Long Term Evolution)や4G、5Gなど多様なものを採用可能である。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に、換言すれば基地局を介さずに、無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーV2Xを実施するように構成されていても良い。自車両は、V2X車載器16の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えば位置推定器30は、V2X車載器16との協働により、所定のサーバから最新の高精度地図データをダウンロードして、地図記憶部15に格納されている地図データを更新できる。
V2X車載器16が備える狭域通信部は、通信距離が数百m以内に限定される通信規格(以降、狭域通信規格)によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、IEEE1709にて開示されているWAVE(Wireless Access in Vehicular Environment)規格や、DSRC(Dedicated Short Range Communications)規格など、任意のものを採用可能である。
HMIシステム17は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。HMIシステム17は、ディスプレイ171とHCU(HMI Control Unit)172を備える。なお、ユーザへの情報提示の手段としては、ディスプレイ171の他、スピーカや、バイブレータ、照明装置(例えばLED)等を採用可能である。
ディスプレイ171は、画像を表示するデバイスである。ディスプレイ171は、例えば、インストゥルメントパネルの車幅方向中央部(以降、中央領域)の最上部に設けられた、いわゆるセンターディスプレイである。ディスプレイ171は、フルカラー表示が可能なものであり、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ、プラズマディスプレイ等を用いて実現できる。なお、HMIシステム17がディスプレイ171として、フロントガラスの運転席前方の一部分に虚像を映し出すヘッドアップディスプレイを備えていてもよい。また、ディスプレイ171は、メータディスプレイであってもよい。
HCU172は、ユーザへの情報提示を統合的に制御する構成である。HCU172は、例えばCPUやGPUなどのプロセッサと、RAMと、フラッシュメモリ等を用いて実現されている。HCU172は、運転支援ECU18から提供される情報や、図示しない入力装置からの信号に基づき、ディスプレイ171の表示画面を制御する。例えばHCU172は、位置推定器30または運転支援ECU18からの要求に基づき、減速通知画像をディスプレイ171に表示する。
運転支援ECU18は、前方カメラ11及びミリ波レーダ12といった周辺監視センサの検出結果や、地図記憶部15に保存されている地図情報をもとに運転席乗員の運転操作を支援するECUである。例えば運転支援ECU18は周辺監視センサの検出結果と地図記憶部15が保持する地図情報をもとに、走行用のアクチュエータ類(以降、走行アクチュエータ)を制御することにより、運転操作の一部または全部を運転席乗員の代わりに実行する。走行アクチュエータは、例えば、制動装置や、電子スロットル、操舵アクチュエータなどを含む。運転支援ECU18は、ユーザによる自律走行指示が入力されたことに基づいて、自車両を自律的に走行させる自動運転装置であってもよい。運転支援ECU18は、プロセッサ、RAM、ストレージ、通信インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。各要素の図示は省略している。なお、運転支援ECU18は、環境判定器20の判定結果を示す出力信号に応じて動作、換言すればシステム応答、を変更するように構成されていても良い。例えば環境判定器20が周辺環境は前方カメラ11にとっての悪環境であることを示す信号を出力している場合には、通常時よりも車間距離を長くしたり、運転席乗員に画像認識性能が低下している旨を表示したりしてもよい。
環境判定器20は、車両周辺が、車載カメラが撮像した画像データを用いて物体を認識する装置にとっての悪環境であるか否かを判定する構成である。ここでの悪環境には、車載カメラが生成する画像の鮮明度が低下する環境が含まれる。画像の鮮明度が低下した状態には、画像が不鮮明となっている状態を含む。本開示では一例として、環境判定器20は、車両周辺が前方カメラ11にとっての悪環境であるか否かを判定するように構成されている。環境判定器20の機能の詳細については別途後述する。環境判定器20は、処理部21、RAM22、ストレージ23、通信インターフェース24、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部21は、RAM22と結合された演算処理のためのハードウェアである。処理部21は、CPU(Central Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部31は、RAM22へのアクセスにより、種々の処理を実行する。ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ23には、処理部21によって実行されるプログラム(以降、環境判定プログラム)が格納されている。処理部21が環境判定プログラムを実行することは、環境判定プログラムに対応する方法(つまり悪環境判定方法)が実行されることに相当する。通信インターフェース24は、車両内ネットワークNwを介して他の装置と通信するための回路である。通信インターフェース24は、アナログ回路素子やICなどを用いて実現されればよい。環境判定器20が悪環境判定装置に相当する。なお、環境判定器20はチップ(例えばSoC:System-on-a-Chip)として実現されていても良い。
位置推定器30は、自車両の現在位置を特定する構成である。位置推定器30の機能の詳細については別途後述する。位置推定器30は、処理部31、RAM32、ストレージ33、通信インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部31は、RAM32と結合された演算処理のためのハードウェアである。処理部31は、CPU(Central Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部31は、RAM32へのアクセスにより、ACC機能等を実現するための種々の処理を実行する。ストレージ33は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ33には、処理部21によって実行されるプログラム(以降、位置推定プログラム)が格納されている。処理部31が位置推定プログラムを実行することは、位置推定プログラムに対応する方法が実行されることに相当する。通信インターフェース34は、車両内ネットワークNwを介して他の装置と通信するための回路である。通信インターフェース34は、アナログ回路素子やICなどを用いて実現されればよい。
<環境判定器20について>
ここでは図3を用いて環境判定器20の機能及び作動について説明する。環境判定器20は、ストレージ23に保存されている環境判定プログラムを実行することにより、図3に示す種々の機能ブロックに対応する機能を提供する。すなわち、位置推定器30は機能ブロックとして、位置取得部F1、地図取得部F2、カメラ出力取得部F3、レーダ出力取得部F4、車両状態取得部F5、位置誤差取得部F6、及び環境判定部F7を備える。
位置取得部F1は、位置推定器30が出力する自車両の位置情報を取得する。なお。位置取得部F1は、ロケータ14から自車位置情報を取得するように構成されていてもよい。
地図取得部F2は、地図記憶部15から、現在位置を基準として定まる所定範囲の地図データを読み出す。地図参照に利用される現在位置は、ロケータ14及び後述する詳細位置算出部G5のどちらか特定されたものを採用可能である。例えば、詳細位置算出部G5が現在位置を算出できている場合には、当該位置情報を用いて地図データを取得する。一方、詳細位置算出部G5が現在位置を算出できていない場合には、ロケータ14が算出した位置座標を用いて地図データを取得する。一方、イグニッション電源がオンとなった直後は、例えば、メモリに保存されている前回の位置算出結果をもとに地図参照範囲を決定する。メモリに保存されている前回の位置算出結果は、前回のトリップの終了地点、すなわち駐車位置に相当するためである。なお、地図取得部F2は、V2X車載器16を介して外部サーバ等から、自車両から所定距離以内の領域についての高精度地図データを逐次ダウンロードするように構成されていてもよい。地図取得部F2が取得する地図情報には、平野部、盆地、山間部などの地形情報が含まれていることが好ましい。ここでの盆地とは、山に囲まれた平地を指し、平野部は盆地以外の平地を指す。山間部は、山と山の間の領域を指す。山間部は、盆地よりも相対的に狭い場所や、高度が高い場所、或いは谷部とすることができる。盆地や山間部に該当するか否かの情報を取得することで、霧が発生しやすい場所であるか否かが判断可能となる。
カメラ出力取得部F3は、ランドマークや道路端、車線区画線に対する前方カメラ11の認識結果を取得する。例えばカメラ出力取得部F3は、前方カメラ11、実体的にはカメラECU41から、前方カメラ11で認識しているランドマークの相対位置や種別、色などを取得する。前方カメラ11が看板等に付加された文字列を抽出可能に構成されている場合には、看板等に記載されている文字情報も取得することが好ましい。ランドマークの文字情報を取得可能な構成によれば、前方カメラで観測されているランドマークと、地図上のランドマークの対応付けが容易となるためである。カメラ出力取得部F3が画像認識情報取得部に相当する。
また、カメラ出力取得部F3は、カメラECU41から取得したランドマークの相対位置座標を、グローバル座標系における位置座標(以降、観測座標とも記載)に変換する。ランドマークの観測座標は、自車両の現在位置座標と、自車両に対する地物の相対位置情報とを組み合わせることで算出可能である。ランドマークの観測座標の算出に使用する車両の現在位置座標は、詳細位置算出部G5が現在位置を算出できている場合には、当該位置情報を用いればよい。一方、詳細位置算出部G5が現在位置を算出できていない場合には、ロケータ14が算出した位置座標を用いればよい。なお、自車両の現在位置座標を用いたランドマークの観測座標の算出はカメラECU41が実施しても良い。
カメラ出力取得部F3は、前方カメラ11から走行路データを取得する。すなわち、前方カメラ11で認識している区画線や道路端の相対位置を取得する。カメラ出力取得部F3は、ランドマークと同様に、区画線等の相対位置情報をグローバル座標系における位置座標に変換してもよい。カメラ出力取得部F3が取得したデータは、環境判定部F7に提供される。
レーダ出力取得部F4は、ミリ波レーダ12の認識結果を取得する。例えばレーダ出力取得部F4は、ミリ波レーダ12から、ミリ波レーダ12で検出されているランドマークの相対位置情報を取得する。また、ランドマークごとの反射強度を取得しても良い。加えて、レーダ出力取得部F4は、ミリ波レーダ12で観測されている不要反射電力の大きさ、換言すればノイズレベルを取得してもよい。なお、レーダ出力取得部F4が任意の要素である。レーダ出力取得部F4が取得したミリ波レーダ12の検出データは、環境判定部F7に提供される。レーダ出力取得部F4が測距センサ情報取得部に相当する。なお、運転支援システム1がLiDARを備える場合、レーダ出力取得部F4は、LiDARの検出結果を取得してもよい。LiDARはレーザ光を照射することによって、検出方向ごとの反射点の位置を示す3次元点群データを生成するデバイスである。LiDARはLight Detection and Ranging/Laser Imaging Detection and Rangingの略である。
車両状態取得部F5は、車両内ネットワークNwを介して車両状態センサ13などから、進行方向、外気温や、車室外の湿度、時刻情報、天候、路面状態、ワイパーの動作速度などといった、悪環境かどうかの判断材料としての情報を取得する。進行方向は、車両が向いている方位角を指す。時刻情報は例えば協定世界時(いわゆるUTC:Universal Time, Coordinated)であっても良いし、車両が使用される地域の標準国であっても良い。UTC時刻を取得する場合には、時差を補正して以降の処理に用いる。天候は、晴れ、雨、雪などを指す。天候は、現在から所定時間(例えば1時間)先までの天候に加えて、現在から所定時間(例えば3時間)過去の天候情報を含むことが好ましい。過去の降雨、降雪等が路面状態、ひいては前方カメラ11による区画線等の認識性能に影響を与えうるためである。温度情報も、現在の温度だけでなく、現在から所定時間過去の温度情報、特に明け方の気温情報を含むことが好ましい。霧は明け方からの温度差が大きいほど発生しやすいためである。明け方からの温度差を算出可能とすることで、霧の発生条件が充足しているか否かの判断精度を高めることができる。
なお、前述の前方カメラ11やミリ波レーダの出力信号や地図情報も悪環境かどうかの判断材料に相当する。車両状態取得部F5は、周辺監視センサの検出結果及び地図情報以外の判断材料を、車両状態センサ13などから取得する構成である。路面状態や外気温、天候情報等の取得元は、車両状態センサ13に限らない。路面状態や外気温、天候情報などはV2X車載器16を介して外部サーバや路側機から取得しても良い。降雨状態はレインセンサで検出しても良い。
位置誤差取得部F6は、位置推定器30から位置推定誤差を取得して、環境判定部F7に提供する。位置推定誤差については別途後述する。
環境判定部F7は、自車両の周辺環境が、前方カメラ11が生成する画像フレームを用いた物体認識の性能、換言すれば精度を低下させうる環境に該当するか否かを判定する構成である。つまり環境判定部F7は、前方カメラ11にとっての悪環境かどうかを判定する構成である。例えば環境判定部F7は位置推定器30から提供される位置推定誤差が所定の閾値以上となったことに基づいて、後述する悪環境判定処理を実行する。環境判定部F7は、サブ機能として、認識距離評価部F71、及び種別判定部F72を備える。なお、環境判定部F7が備える各機能は必須の要素ではなく、任意の要素とすることができる。
認識距離評価部F71は、前方カメラ11が実際にランドマークを認識できる距離範囲(以降、実効認識距離)を算出する。実効認識距離は、設計上の認識限界距離とは異なり、霧や降雨、西日等の外的要因で変動するパラメータである。仮に設計上の認識限界距離が100mほど有る構成においても、降雨量によっては50m未満まで縮退しうる。例えば、豪雨時には実効認識距離は例えば10~20m程度まで縮退しうる。認識距離評価部F71は、例えば所定時間以内において、前方カメラ11がランドマークを最も遠くから検出できた距離(以降、最遠認識距離)の平均値に基づいて実効認識距離を算出する。例えば直近所定時間以内に観測された4つのランドマークの最遠認識距離が50m、60m、30m、40mである場合、実効認識距離は45mと算出されうる。或るランドマークについての最遠認識距離は、当該ランドマークの最初に検出できた時点での検出距離に相当する。
なお、ランドマークの実効認識距離は、先行車によるオクルージョンなど、天候等以外の要因によっても低下しうる。故に、所定距離に以内に先行車が存在する場合には、実効認識距離の算出は省略されても良い。或いは、先行車が存在する場合には、先行車が存在することを示すデータ(例えば先行車フラグ)を付加して実効認識距離を環境判定部F7に提供してもよい。また、自車両前方が直線路ではない場合、つまりカーブ路である場合にも実効認識距離は低下しうる。故に、前方道路がカーブである場合には、実効認識距離の算出は省略されても良い。また、前方道路がカーブである場合には、前方道路がカーブであることを示すデータ(例えばカーブフラグ)と対応付けて実効認識距離を環境判定部F7に提供してもよい。なお、カーブ路は曲率が所定の閾値以上の道路とする。
ランドマークとして複数種類の地物が設定されている場合、認識距離評価部F71が実効認識距離の算出に用いるランドマークは一部の種別に限定されていても良い。例えば、実効認識距離の算出に用いるランドマークは、方面看板などの路面から所定距離(例えば4.5m)以上、上方に配置されているランドマークである高所ランドマークに限定されても良い。実効認識距離の算出に用いるランドマークを高所ランドマークに限定することにより、他車両によって視界が遮られて実効認識距離が低下してしまうことを抑制可能となる。
また、認識距離評価部F71は、ランドマークに対する実効認識距離とは別に、車線区画線に対する実効認識距離を算出する。車線区画線の実効認識距離は、路面をどれくらい遠くまで認識できているかを示す情報に相当する。実効認識距離の算出に用いる区画線は自車両が走行している車線であるエゴレーンの左/右側或いは両側の区画線とすることが好ましい。隣接車線の外側区画線は、他車両に遮られる可能性が有るためである。区画線の実効認識距離は、例えば直近所定時間以内における認識距離の平均値とすることができる。このような区画線の実効認識距離は例えば認識距離の移動平均値に相当する。区画線の実効認識距離として移動平均値を用いる構成によれば、他車両が区画線を遮ることによって生じる、瞬間的な認識距離の変動を抑制することができる。
なお、認識距離評価部F71は、エゴレーンの右側区画線に対する実効認識距離と、左側区画線に対する実効認識距離を別々に算出してもよい。その場合、右側区画線の実効認識距離と左側区画線の実効認識距離のうちの大きい方を区画線の実効認識距離として採用可能である。そのような構成によれば、仮に左側又は右側の区画線の何れか一方が、カーブや先行車等によって見えない状況においても、前方カメラ11がどこまで遠くまで区画線を認識可能な状態であるかを精度良く評価可能となる。もちろん、右側区画線の実効認識距離と左側区画線の実効認識距離のうちの平均値を区画線の実効認識距離として採用してもよい。
種別判定部F72は、悪環境の種別を判定する構成である。悪環境の種別としては、豪雨、霧、西日、その他に大別可能である。また、環境の種別としては、悪環境と通常とに大別される。種別判定部F72の詳細については別途後述する。
出力部F8は、環境判定部F7の判定結果を示す信号を外部に出力する構成である。環境判定部F7の判定結果とは、悪環境に該当するか否かや、悪環境の種別、判定時刻などが含まれる。悪環境では無いと判定することは、通常状態であると判定することに相当する。環境判定部F7の判定結果を示す信号を出力先としては、例えば位置推定器30や、運転支援ECU18、V2X車載器16などとすることができる。出力部F8は、V2X車載器16と連携して、悪環境と判定した地点の情報を含む通信パケットを地図サーバにアップロードするように構成されていても良い。また、環境判定部F7の判定結果は、所定の記録イベント発生時の車両データを記録する運行記録装置に出力するように構成されていても良い。そのような構成によれば、運行記録装置は、悪環境であったか否かを地点情報や時刻情報とともに記録可能となる。
<位置推定器30の機能について>
ここでは図4を用いて位置推定器30の機能及び作動について説明する。位置推定器30は、ストレージ33に保存されている位置推定プログラムを実行することにより、図4に示す種々の機能ブロックに対応する機能を提供する。すなわち、位置推定器30は機能ブロックとして、暫定位置取得部G1、地図取得部G2、カメラ出力取得部G3、レーダ出力取得部G4、及び詳細位置算出部G5を備える。
暫定位置取得部G1は、ロケータ14から自車両の位置情報を取得する。詳細位置算出部G5が算出した位置を起点としてヨーレートセンサ等の出力をもとにデッドレコニングを行う。なお、ロケータ14の機能の一部又は全部は、暫定位置取得部G1として位置推定器30が備えていても良い。地図取得部G2、カメラ出力取得部G3、及びレーダ出力取得部G4は、環境判定器20が備える地図取得部F2、カメラ出力取得部F3、及びレーダ出力取得部F4と同様の構成とすることができる。
詳細位置算出部G5は、カメラ出力取得部F3が取得したランドマーク情報と走路情報とに基づくローカライズ処理を実行する。ローカライズ処理は、前方カメラ11で撮像された画像に基づいて特定されたランドマーク等の位置と、高精度地図データに登録されている地物の位置座標とを照合することによって自車両の詳細位置を特定する処理を指す。 詳細位置算出部G5は、具体的には、方面看板などのランドマークを用いて縦方向の位置推定(以降、縦位置推定)を行う。ここでの縦方向とは、車両の前後方向に相当する。また、縦方向とは、直線道路区間においては、自車両から見て道路が伸びる方向(以降、道路延設方向とも記載)に相当する。詳細位置算出部G5は、縦位置推定として、ランドマークの観測座標に基づいて、地図に登録されているランドマークと前方カメラ11で観測されているランドマークとの対応付けを行う。例えば地図に登録されているランドマークのうち、ランドマークの観測座標から最も近いランドマークを同一のランドマークと推定する。なお、ランドマークの照合に際しては例えば形状,サイズ,色等の特徴量を用いて、特徴の一致度合いがより高いランドマークを採用することが好ましい。観測されているランドマークと、地図上のランドマークとの対応付けが完了すると、観測ランドマークに対応する地図上のランドマークの位置から、観測ランドマークと自車両の距離だけ縦方向にずらした位置を、地図上の自車の縦位置に設定する。
例えば画像解析結果として、自車両正面に存在する方面看板までの距離が100mと特定している状況においては、地図データに登録されている当該方面看板の位置座標から100mだけ自車両側にずれた位置に自車両が存在すると判定する。縦位置推定は、道路延設方向における自車位置を特定する処理に相当する。縦位置推定は縦方向のローカライズ処理と呼ぶこともできる。このような縦位置推定を行うことにより、交差点や、カーブ入口/出口、トンネル入口/出口、渋滞の最後尾などといった、道路上の特徴点、換言すればPOIまでの詳細な残り距離が特定される。
例えば詳細位置算出部G5は、自車両の前方に複数のランドマーク(例えば方面看板)を検出している場合には、それら複数のランドマークのうち自車両から最も近いものを用いて縦位置推定を行う。画像等に基づく物体の種別や距離の認識精度は、車両から近い物体ほど、その認識精度が高くなる。つまり、複数のランドマークを検出している場合には、車両から最も近いランドマークを用いて縦位置推定を行う構成によれば、位置の推定精度を高めることができる。
なお、詳細位置算出部G5は、前方カメラ11の認識結果と、レーダ出力取得部F4が取得したミリ波レーダ12の検出結果を相補的に組み合わせることにより(つまりセンサフュージョンにより)、ランドマークの位置を特定しても良い。具体的には詳細位置算出部G5は、前方カメラ11の認識結果とミリ波レーダ12の検知結果を併用することにより、ランドマークと自車両との距離、及び、ランドマークの仰角或いは高さを特定しても良い。一般的にカメラは、水平方向における位置推定は得意である一方、高さ方向の位置推定及び距離推定は苦手とする。一方、ミリ波レーダ12は距離や高さ方向の位置推定を得意とする。また、ミリ波レーダ12は霧や降雨の影響を受けにくい。上記のように前方カメラ11とミリ波レーダ12を相補的に使用してランドマークの位置を推定する構成によれば、ランドマークの相対位置をより高精度を特定可能となる。その結果、ローカライズ処理による自車位置の推定精度も向上する。詳細位置算出部G5は、ミリ波レーダ12の代わりに/並列的に、LiDARやソナーなどの測距センサの検出結果を前方カメラ11の認識結果と組み合わせてローカライズ処理を実行しても良い。
また、詳細位置算出部G5は、車線区画線及び道路端などの道路に沿って連続的に存在する地物の観測座標を用いて、横方向の位置推定(以降、横位置推定)を行う。横位置推定は、走行車線の特定や、走行車線内での自車両の詳細位置、例えば車線中央から左右方向へのオフセット量を特定することを指す。ここでの横方向とは、道路の幅方向に対応する。横位置推定は、例えば前方カメラ11で認識された左右の道路端/区画線からの距離に基づいて実現される。例えば、画像解析の結果として、左側道路端から車両中心までの距離が1.75mと特定されている場合には、左側道路端の座標から右側に1.75mずれた位置に自車両が存在すると判定する。横位置推定は横方向のローカライズ処理と呼ぶこともできる。なお、他の態様として詳細位置算出部G5は、方面看板などのランドマークを用いて縦横両方のローカライズ処理を行うように構成されていてもよい。
ローカライズ処理の結果としての自車位置は、地図データと同様の座標系、例えば緯度、経度、高度で表現されればよい。自車位置情報は、例えばWGS84(World Geodetic System 1984)など、任意の絶対座標系で表現することができる。
詳細位置算出部G5は、ランドマークを認識(換言すれば捕捉)できている限りは、所定の位置推定周期で逐次ローカライズ処理を行う。位置推定周期のデフォルト値は例えば100ミリ秒である。位置推定周期のデフォルト値は200ミリ秒や400ミリ秒であってもよい。詳細位置算出部G5が算出した位置情報は、運転支援ECU18及び環境判定器20に提供される。
位置誤差算出部G6は、詳細位置算出部G5がローカライズ処理を実行するたびに、今回実施したローカライズ処理の結果として出力される現在位置と、暫定位置取得部G1がデッドレコニング等により算出している位置との差を、位置推定誤差を算出する。例えば位置誤差算出部G6は、前回用いたランドマークとは異なるランドマークを用いてローカライズ処理を実行した際に、暫定位置取得部G1が算出している自車位置座標と、ローカライズ処理の結果との誤差を位置推定誤差として算出する。位置推定誤差は、ローカライズができない期間が長いほど大きくなるものであり、位置誤差が大きいということは間接的にローカライズを実行できていない期間の長さを示す。なお、ローカライズ処理を実行できない期間においては、最後にローカライズ処理を実行できた時点からの経過時間又は走行距離に所定の誤差見積もり係数を乗じることによって、暫定的な位置推定誤差を逐次算出可能である。位置誤差算出部G6が算出した位置推定誤差は、環境判定器20等に提供される。
<環境判定器20の作動フローについて>
次に図5に示すフローチャートを用いて環境判定器20が実行する悪環境判定処理について説明する。図5に示すフローチャートは例えば車両の走行用電源がオンとなっている間、所定の周期(例えば1秒毎)に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。なお、図5に示す悪環境判定処理とは独立して、換言すれば並列的に、位置推定器30は、所定の周期にてローカライズ処理を逐次実行する。本実施形態では一例として悪環境判定処理はステップS100~S110を備える。
まずステップS100ではカメラ出力取得部F3が前方カメラ11から区画線等の認識結果を取得してS101に移る。ステップS100は画像認識情報取得ステップに相当する。S101では、地図取得部F2、レーダ出力取得部F4、及び車両状態取得部F5が、種々の環境補足情報を取得する。ここでの環境補足情報とは、前方カメラ11の出力信号以外の、車両外部の環境を示す情報である。環境補足情報には、例えば外気温や、湿度、時刻情報、天候、路面状態、ワイパーの動作速度、周辺の地図情報(例えば地形の種別)、ミリ波レーダ12の検出結果などが含まれる。例えば外気温や、湿度、ワイパーの動作速度などは車両状態取得部F5によって取得される。また、周辺の地図情報は地図取得部F2によって取得される。ミリ波レーダ12の検出結果はレーダ出力取得部F4によって取得される。地図取得部F2、レーダ出力取得部F4、及び車両状態取得部F5が補足情報取得部に相当する。種々の情報を取得するとステップS102に移る。なお、ステップS101~S102は、悪環境判定処理の準備処理として、図5に示すフローチャートとは独立して、換言すれば並列的に、逐次実行されても良い。
ステップS102では、車両状態取得部F5が取得している温度などをもとに、霧発生条件が充足しているか否かを判定する。例えば、霧発生条件は、霧が発生するための条件、あるいは、霧が発生しやすい条件である。霧発生条件は予め設定されている。例えば霧発生条件は、時刻、場所、外気温、湿度の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)気温が所定値以下(例えば15℃以下)であること、(イ)湿度が所定値以上(例えば80%以上)であること、(ウ)現在時刻が午前4時から10時までの時間帯に属すること、などを霧発生条件とすることができる。なお、一般的に、霧は春または秋の風が弱い晴れた朝に発生しやすい。霧発生条件は当該事情を鑑みて設定されれば良い。また、盆地や山間部においては時間帯に依らずに、霧が発生することもある。現在位置が盆地或いは山間部であることに基づいて霧発生条件が充足していると判定しても良い。霧発生条件を充足している場合には、霧フラグをオンに設定する。一方、霧発生条件を充足していない場合には霧フラグをオフに設定する。霧フラグは、霧発生条件が充足されているか否かを示すフラグである。ステップS102が完了するとステップS103に移る。
ステップS103では、車両状態取得部F5が取得している時刻情報や進行方位角などをもとに、西日条件が充足しているか否かを判定する。例えば、西日条件は、前方カメラ11が西日の影響を受けている可能性が有ると判断するための条件である。なお、西日とは、地平線に対する角度が、例えば25度以下となっている太陽から光を指す。西日条件は予め設定されている。例えば西日条件は、時間帯、進行方位角、太陽の高度の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)現在時刻が午後3時から20時までの時間帯に属すること、(イ)進行方向が日没方向から30度以内であること、などを西日条件とすることができる。
なお、時間帯に関する規定は季節によって変更するように構成されていても良い。季節に応じて日没の時刻は変動するためである。また、日没方向は真西としてもよいし、地域ごとに応じた方向に設定されても良い。日没方向もまた季節によって変化する。日没方向は季節に応じた方向に設定されても良い。西日条件には、太陽の高度が所定値以下であることを西日条件に含めても良い。太陽の高度は、周辺車両や所定種別の交通標識の影の長さから推定しても良いし、外部サーバから取得しても良い。その他、環境判定部F7は、画像フレーム全体の色情報/輝度分布に基づいて西日条件が充足していると判定しても良い。例えば、画像フレームの上側領域の平均色が白~オレンジ色で、かつ、下側領域の平均色が黒色である場合、または、上側領域の平均輝度が所定値以上で下側領域の輝度平均値が所定の閾値以下である場合に西日条件を充足していると判定しても良い。西日条件を充足している場合には、西日フラグをオンに設定する。一方、西日条件を充足していない場合には西日フラグをオフに設定する。西日フラグは、西日条件が充足されているか否かを示すフラグである。ステップS103が完了するとステップS104に移る。
ステップS104では、車両状態取得部F5が取得しているワイパーの動作速度などをもとに、豪雨条件が充足しているか否かを判定する。例えば、豪雨条件は、前方カメラ11の認識能力の劣化原因が豪雨であるか否かを判別するための条件である。なお、ここでの豪雨とは、1時間あたりの降雨量が所定の閾値(例えば50mm)を超える勢いで降る雨とすることができる。豪雨にはある地点における降雨時間が1時間未満(例えば数10分程度の)となる局所的豪雨も含まれる。豪雨条件は予め設定されている。例えば豪雨条件は、ワイパーブレードの動作速度、降雨量、及び天気予報情報の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)ワイパーブレードの動作速度が所定の閾値以上であることを豪雨条件とすることができる。なお、外部サーバまたは路側機から取得した天気情報に基づき、降雨量が所定の閾値(例えば50mm)以上であることに基づいて豪雨条件が充足していると判定しても良い。豪雨条件を充足している場合には、豪雨フラグをオンに設定する。一方、豪雨条件を充足していない場合には豪雨フラグをオフに設定する。豪雨フラグは、豪雨条件が充足されているか否かを示すフラグである。ステップS104が完了するとステップS105に移る。
ステップS105では、地図取得部F2が取得した地図データに基づき、自車両が走行している道路に区画線が存在するか否かを判定する。例えば地図に登録されている車線数が2以上であることに基づいて、区画線が有ると判定しても良い。区画線情報が地図に登録されている道路を走行している場合にはステップS105を肯定判定してステップS107を実行する。一方、区画線情報が地図に登録されていない道路を走行している場合にはステップS105を否定判定してステップS106を実行する。ステップS106では、周辺環境が悪環境であるかどうかは不明であると判定して本フローを終了する。なお、ステップS105~S106は省略可能である。ステップS104が完了するとステップS107を実行するように構成されていてもよい。
ステップS107では、区画線に対する実効認識距離が所定の第1距離以上であるか否かを判定する。第1距離は、例えば40mなどとすることができる。第1距離は、悪環境かどうかを判別するための閾値である。例えば、空気が澄んだ晴天時などの良環境時には、図6の(A)に示すように区画線の実効認識距離Dfctは、相対的に設計上の認識距離Ddsnに近い値となる。一方、霧が発生しているなどの悪環境時には、遠方ほど地物の像が不鮮明となるため、離れている物体ほど認識が困難となる。その結果、図6の(B)に示すように、区画線等の実効認識距離は低下しうる。
環境判定部F7としては、仮に雨等が降っていても、通常時と同様に遠くまで区画線を認識できている場合には、前方カメラ11にとっての悪環境ではないと判定することが好ましい。第1距離は、通常時と同様に遠くまで区画線を認識できている場合には悪環境ではないと判断するためのパラメータといえる。第1距離は、晴天時などの良環境時の実効認識距離をもとに設定することができる。第1距離は35mや、50m、75m、100m、200mなどであっても良い。ステップS107は、現在位置から第1距離以上遠方の区画線を認識できているか否かを判定する処理に相当する。なお、図6の(A)は、ランドマークLM1~3を認識できている一方、図6の(B)は霧の影響によってランドマークLM3の認識に失敗しているケースを示している。霧の中にあるからといって全てのランドマークが見えなくなるわけではない。例えば霧の濃度によっては図6の(B)に示すように相対的に車両から近い位置にあるランドマークLM2については認識できる場合がある。
区画線の実効認識距離が第1距離以上である場合にはステップS107を肯定判定してステップS108に移る。ステップS108では周辺環境は、前方カメラ11にとって通常の(換言すれば良好な)環境であると判定して本フローを終了する。一方、区画線の実効認識距離が第1距離未満である場合には、ステップS107を否定判定してステップS110を実行する。当該処理は、第1距離以上遠方に存在する区画線を認識できていないことに基づいて、周辺環境は前方カメラ11にとっての悪環境であると判定する構成に相当する。
なお、ステップS107の内容は、ランドマークに対する実効認識距離が所定の第1距離以上であるか否かを判定する処理としてもよい。加えて、ステップS107の内容は、区画線の実効認識距離及びランドマークの実効認識距離の少なくとも何れか一方が第1距離以上である場合に、肯定判定してステップS108を実行するように構成されていても良い。そのように前方カメラ11にとっての通常環境であると判定する材料として区画線の認識距離だけでなく、ランドマークの認識状況も用いることで、例えば周辺車両によって区画線が見えづらいシーンにおいて悪環境であると誤判定する恐れを低減できる。
ステップS110では悪環境種別判定処理を実行する。悪環境種別判定処理は、悪環境の種別(別の観点によれば前方カメラ11の認識能力が低下している原因)を特定するための処理である。悪環境種別判定処理については、別途図7に示すフローチャートを用いて説明する。ステップS110が環境判定ステップに相当する。ステップS110での悪環境種別判定処理が完了すると、ステップS190を実行する。
ステップS190では悪環境種別判定処理の結果を位置情報と対応づけて、悪環境地点データとして保存する。位置情報は、座標のほか、レーンIDを含んでいても良い。ここでのレーンIDは、左または右の道路端から何番目のレーンであるかを示す。悪環境地点データの保存先は、ストレージ23でもよいし、外部サーバでもよい。外部サーバへの悪環境地点データのアップロードはV2X車載器16と協働して実現されれば良い。なお、悪環境地点データには、悪環境の種別、判定時刻、判定した時点での車両位置が含めることができる。また、悪環境地点データには、悪環境と判定した時の区画線の実効認識距離及びランドマークの実効認識距離の少なくとも何れか一方が含まれていることが好ましい。区画線等の実効認識距離等を含めることにより、地点ごとの悪環境度合いや、悪環境の始端や終端を特定可能となる。ステップS190での登録処理が完了すると本フローを終了する。
<悪環境種別判定処理について>
種別判定部F72は、悪環境種別判定処理として図7に示す処理を実行する。図7に示すフローチャートは前述のステップS110として実行される。ここでは一例として悪環境判定処理はステップS111~S119を備える。
ステップS111では区画線の実効認識距離が所定の第2距離以上であるか否かを判定する。第2距離は、例えば25mなどとすることができる。第2距離は、悪環境の種別が豪雨か否かを判別するための閾値である。第2距離は、豪雨時に観測されうる区画線の実効認識距離の最大値をもとに設定することができる。第2距離は、降雨量を所定とする豪雨状況を再現した試験或いはシミュレーションによって決定されれば良い。なお、第2距離は15m、20m、25m、30m、40mなどであっても良い。第2距離は第1距離以下の値に設定可能である。ステップS111は、現在位置から第2距離以上遠方の区画線を認識できているか否かを判定する処理に相当する。
区画線の実効認識距離が第2距離以上である場合にはステップS111を肯定判定してステップS114を実行する。一方、区画線の実効認識距離が第2距離未満である場合には、ステップS111を否定判定してステップS112を実行する。ステップS112では豪雨フラグがオンになっているか否かを判定する。豪雨フラグがオンである場合にはステップS113に移り、悪環境種別は豪雨であると判定する。このような処理は、第2距離以上遠方の区画線が認識できていないことに基づいて豪雨であると判定する構成に相当する。なお、環境判定部F7は、区画線の実効認識距離及びランドマークの実効認識距離が両方とも第2距離未満であり、かつ、豪雨フラグがオンになっている場合に、周辺環境は悪環境であってその種別は豪雨であると判定してもよい。そのような構成は、前方カメラ11から第2距離以上遠方に存在する区画線及びランドマークが認識されていないことに基づいて環境種別を豪雨と判定する構成に相当する。
一方、豪雨フラグがオフである場合にはステップS112を否定判定してステップS119に移り、環境種別は不明であると判定する。ステップS119は、悪環境か通常環境かが不明と判定するステップとしても良いし、悪環境ではあるがその種別が不明と判定するステップとしても良い。ステップS111からステップS113までの一連の処理は、区画線の実効認識距離が第2距離未満であることに基づいて、悪環境の種別は豪雨であると判定する構成に相当する。
ステップS114では、路面から所定の高さに位置するランドマークである高所ランドマークを認識できているか否かを判定する。高所ランドマークとは、例えば、路面から4.5m以上、上方に設置されている道路標識(例えば方面看板などの案内標識)である。高所ランドマークは、浮遊ランドマークと呼ぶこともできる。本ステップは悪環境の種別が西日であるか否かを判定するためのステップである。悪環境種別が西日(換言すれば強い逆光)である場合には、高所ランドマークの認識性は低下することが予想される。逆説的に高所ランドマークを認識できている場合には、悪環境種別は西日ではないことを示唆する。ステップS114において高所ランドマークを認識できている場合にはステップS114を肯定判定してステップS117を実行する。
一方、高所ランドマークを認識できていない場合にはステップS114を否定判定してステップS115を実行する。ステップS115では西日フラグがオンであるか否かを判定する。西日フラグがオンである場合には、ステップS115を肯定判定してステップS116に移り、悪環境の種別は西日であると判定する。当該処理は、所定の第2距離以上遠方に存在する区画線は認識されている一方で、所定の種別のランドマークは認識されておらず、且つ、西日条件が充足されていることに基づいて、悪環境として、西日を受けている状況であると判定する構成に相当する。一方、西日フラグがオフである場合にはステップS119に移り、環境種別は不明であると判定する。
なお、ステップS114では、地図データを参照し、自車両から所定距離以内に高所ランドマークが存在しない場合には、ステップS115またはステップS119を実行するように構成されていても良い。ステップS114は、地図データ上において自車両から所定距離以内に高所ランドマークが存在し、かつ、当該高所ランドマークを認識できている場合にのみ、肯定判定してステップS117に移るように構成されていても良い。さらに、ステップS114で使用するランドマークは、高所ランドマークに限定しなくとも良い。ステップS114は、自車両から所定の第3距離以内に存在するはずのランドマークを前方カメラ11で認識できているか否かを判定する処理としても良い。自車両から第3距離以内に存在するはずのランドマークとは、地図データに登録されているランドマークのうち、自車両の前方第3距離以内に存在するランドマークを指す。第3距離は例えば35mなど、第1距離以下に設定可能である。さらに、ステップS114では、地図データに登録されているランドマークのうち、日没方向から所定の角度範囲内に存在するランドマーク(以降、逆光ランドマーク)を前方カメラ11が認識できているか否かを判定してもよい。日没方向が所定方向に相当する。環境判定部F7は、区画線の実効認識距離が第2距離以上であり、日没方向に存在するランドマークは認識できていないことに基づいて、周辺環境は悪環境であってその種別は西日と判定するように構成されていても良い。
また、そもそも西日条件が充足されていない場合には、悪環境の種別が西日である可能性は低い。ステップS114とステップS115は入れ替えても良い。また、ステップS114とステップS115の何れか一方を省略しても良い。なお、フローチャートのステップS114等に記載の「LM」はランドマークを指す。
ステップS117では、霧フラグがオンに設定されているか否かを判定する。霧フラグがオンである場合にはステップS117を肯定判定してステップS118に移る。ステップS118では悪環境種別は霧であると判定して本フローを終了する。このような環境判定部F7は、前方カメラ11から第2距離以内に存在する区画線を認識できており、かつ、霧発生条件が充足されていることに基づいて、悪環境の種別は霧と判定する構成に相当する。一方、霧フラグがオフである場合にはステップS117を否定判定してステップS119を実行する。ステップS119では環境種別は不明であると判定して本フローを終了する。なお、環境判定部F7は、前方カメラ11から第2距離以内に存在する区画線とランドマークの両方を認識できており、かつ、霧発生条件が充足されていることに基づいて、悪環境の種別は霧と判定するように構成されていても良い。
以上の構成によれば、前方カメラ11で撮像した画像データに基づく地物の認識距離に基づいて悪環境であるか否かを判定する。具体的には、前方カメラ11の撮像範囲内であって、前方カメラ11から所定距離以内に存在するはずの対象地物が認識されていないことに基づいて、周辺環境は悪環境であると判定する。ここでの前方カメラ11から所定距離以内に存在するはずの対象地物とは、例えば地図に登録されている地物のうち、前方カメラ11の撮像範囲又は設計上の認識可能範囲に位置する車線区画線及びランドマークを指す。つまり、通常環境においては前方カメラ11で認識されるべき地物に相当する。
上記構成によれば、前方カメラ11での所定の対象地物に対する実際の認識状況に基づいて、環境種別を判定するため、実体的/実質的に前方カメラ11の性能が低下する領域を特定可能となる。また、比較構成としては、実際の前方カメラ11の認識距離を用いずに、単に気温や方位角、ワイパー速度だけで悪環境か否かを判定する構成が考えられる。しかしながら比較構成では、前方カメラ11の認識能力が低下していない/しないにも関わらず、前方カメラ11にとっての悪環境であると誤判定する恐れがある。これに対し、本開示の構成によれば、実際の前方カメラ11の認識距離に基づいて悪環境かどうかを判定するため、単に気温や方位角、ワイパー速度だけで悪環境か否かを判定する構成よりも判定精度を高めることができる。
また、本開示の構成によれば、前方カメラ11以外のセンサ/デバイスから取得された情報と前方カメラ11での認識状況とを組み合わせることにより、悪環境の種別を判定できる。悪環境の種別を特定できれば、運転支援ECU18等は、その種別に応じてシステム応答を変更することが可能となる。たとえば、悪環境種別が霧であればフォグランプを点灯させてもよい。また、悪環境種別が豪雨であれば、車速を抑制したり、運転席乗員へ権限移譲したりしてもよい。悪環境種別が西日である場合には、車両制御及び/又はセンサフュージョン処理における前方カメラ11の認識結果の重みを下げ、ミリ波レーダ12等の認識結果の重み(換言すれば優先度)を上げてもよい。
さらに、本開示の構成によれば、西日、霧、及び豪雨の何れかによって前方カメラ11の認識能力が低下する地点及び時間帯を特定可能となる。また、当該情報を他の車両と共有可能となる。
なお、以上の環境種別の判定方法の技術思想を簡潔にまとめると図8に示すようになる。図8に示す遠方とは例えば第1距離以上遠方を指す。また、近距離とは、例えば第2距離以内を指す。図8に示すように本開示は、環境種別に応じて種々の地物の見え方が異なりうるといった点に着眼して創出されたものであり、本開示の構成により、前方カメラ11の各種地物の認識状況から環境種別を特定可能となる。
<悪環境種別の判定方法の補足>
ステップS110にて実行される悪環境種別判定処理は、例えば図9に示すフローチャートに相当する内容であってもよい。すなわち、悪環境種別判定処理はステップS120~S130を含んでいても良い。図7に示した悪環境種別判定処理との相違点は、ミリ波レーダ12の検出結果を悪環境種別の判断材料として使用している点にある。以下、図9に示す悪環境種別判定処理に説明する。なお、図9に示すフローチャートもステップS110として実行されればよい。
まずステップS120では、ステップS111と同様に、区画線の実効認識距離が第2距離以上であるか否かを判定する。区画線の実効認識距離が第2距離以上である場合にはステップS120を肯定判定してステップS124を実行する。一方、区画線の実効認識距離が第2距離未満である場合には、ステップS120を否定判定してステップS121を実行する。ステップS121ではミリ波レーダ12が、前方カメラ11で認識されていないランドマークを認識しているか否かを判定する。前方カメラ11で認識されていないランドマークをミリ波レーダ12が認識している場合には、ステップS121を肯定判定してステップS122に移る。一方、前方カメラ11で認識されていないランドマークをミリ波レーダ12が認識していない場合には、ステップS121を否定判定してステップS130を実行する。
ステップS122では豪雨フラグがオンになっているか否かを判定する。豪雨フラグがオンである場合にはステップS123に移り、悪環境種別は豪雨であると判定する。一方、豪雨フラグがオフである場合にはステップS122を否定判定してステップS130に移り、環境種別は不明であると判定する。ステップS130は、悪環境か通常環境かが不明と判定するステップとしても良いし、悪環境ではあるがその種別が不明であると判定するステップとしても良い。ステップS120からステップS123までの一連の処理は、ミリ波レーダ12はランドマークを検出できており、かつ、区画線の実効認識距離が第2距離未満であることに基づいて、悪環境の種別は豪雨であると判定する構成に相当する。
ステップS124では、ミリ波レーダ12で所定の第4距離以上離れた位置にあるランドマークを認識できているか否かを判定する。第4距離は、例えば35mなどとすることができる。もちろん、第4距離は30mや、40m、50m、などであってもよい。なお、ステップS124~S126は、1つの側面として、悪環境種別が西日であるか否かを判定するための処理に相当する。ステップS124の判定で使用するランドマークは、方面看板などの高所ランドマークとすることが好ましい。また、ステップS124では、地図データに登録されているランドマークのうち、日没方向から所定の角度範囲内に存在するランドマーク(以降、逆光ランドマーク)をミリ波レーダ12が認識できているか否かを判定してもよい。
ミリ波レーダ12で上記ランドマークを認識できている場合にはステップS124を肯定判定してステップS125に移る。一方、ミリ波レーダ12で上記ランドマークを認識できていない場合にはステップS130に移る。なお、フローチャートのステップS124等に記載の「LM」はランドマークを指す。
ステップS125では、第3距離以内であって、かつ、ミリ波レーダ12で認識されているランドマークを、前方カメラ11が認識できているか否かを判定する。なお、ステップS125は、ステップS114と同様の処理としても良い。すなわち、ミリ波レーダ12で認識されているランドマークに限定せずに、単純に第3距離以内のランドマークを認識できているか否かを判定する処理としても良い。またステップS125は、地図に登録されているランドマークのうち、高所ランドマークや逆光ランドマークに該当するランドマークを認識できているか否かを判定する処理としても良い。また、そもそも西日条件が充足されていない場合には、悪環境の種別が西日である可能性は低い。ステップS125とステップS126は入れ替えても良い。ステップS125で、所定の条件を充足するランドマークを前方カメラ11が認識できている場合にはステップS125を肯定判定してステップS128に移る。一方、ステップS125で、所定の条件を充足するランドマークを前方カメラ11が認識できていない場合にはステップS125を否定判定してステップS126に移る。
ステップS126では西日フラグがオンに設定されているか否かを判定する。西日フラグがオンである場合には、ステップS126を肯定判定してステップS127に移り、悪環境の種別は西日であると判定する。一方、西日フラグがオフである場合にはステップS130に移り、環境種別は不明であると判定する。
ステップS128では、霧フラグがオンに設定されているか否かを判定する。霧フラグがオンである場合にはステップS128を肯定判定してステップS129に移る。ステップS129では悪環境種別は霧であると判定して本フローを終了する。一方、霧フラグがオフである場合にはステップS128を否定判定してステップS130を実行する。ステップS130では環境種別は不明であると判定して本フローを終了する。
以上の構成によれば、ミリ波レーダ12でのランドマーク(例えば方面看板)の認識状況を用いて周辺環境が前方カメラ11にとっての悪環境かどうかを判定する。ミリ波レーダ12で検知できている物体を、画像認識で検出できていない場合、周辺環境がカメラにとっての悪環境であることを示唆する。故に、上記構成によれば周辺環境がカメラにとっての悪環境であるか否かの判定精度をより一層高めることができる。また、悪環境種別の識別に、ミリ波レーダ12の検出状況を併用することによりその識別精度を高めることができる。
<悪環境の種別について>
以上では悪環境として、豪雨、霧、西日を想定した構成を例示したが、悪環境の種別はこれに限らない。雪や、砂嵐なども含めることができる。雪や、砂嵐などの悪環境も、天気情報をもとに設定されるフラグがオンとなっており、且つ、区画線またはランドマークの認識距離が第1距離未満となっていることに基づいて判定することができる。雪フラグは、気温が所定値以下であることや、湿度が所定値以上であることに基づいてオンに設定可能である。雪フラグは天気予報に基づいてオンに設定されても良い。砂嵐フラグもまた、天気予報に基づいてオンに設定差可能である。砂嵐フラグは、湿度が所定値以下であることや、風の強さが所定値以上であること、砂嵐が生じうる所定の地域を通行中であることなどに基づいて設定されても良い。砂嵐の概念には風塵も含まれる。
<環境判定器20の機能について>
環境判定器20は、図10に示すように、路面状態を判定する路面状態判定部F73を備えていても良い。路面状態には、区画線が薄くなっている状態(以降、区画線劣化状態)が含まれる。区画線劣化状態には、区画線が完全に消えている状態のほか、かすれたりして画像認識による検出が困難な状態が含まれる。また、路面状態には、雪や砂等によって区画線が多く隠されている状態も含まれる。雪や砂等によって区画線が覆い隠されている状態も前方カメラ11にとっての悪環境に含めることができる。
路面状態判定部F73は、例えば路面状態判定処理として、図11に示すフローチャートを実行することにより、区画線が劣化しているか否かを判定する。路面状態判定処理は、例えばステップS201~S205を含む。路面状態判定処理は例えば200ミリ秒毎など、所定の間隔で実行される。
まずステップS201では、外部サーバから取得可能な天候情報などをもとに、積雪条件が充足しているか否かを判定する。例えば、積雪条件は、雪が道路に積もっている可能性が高いと見なす条件である。積雪条件は予め設定されている。例えば積雪条件は、時間帯、場所、気温、湿度、及び過去一定時間以内の天気の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)気温が所定値以下(例えば0℃以下)であること、(イ)湿度が所定値以上(80%以上)であることなどを積雪条件とすることができる。なお、過去一定時間に所定量の雪が降っている場合に積雪条件が充足していると判定してもよい。積雪条件を充足している場合には、積雪フラグをオンに設定する。一方、積雪条件を充足していない場合には積雪フラグをオフに設定する。積雪フラグは、雪が積もっている可能性の有無を示すフラグである。ステップS201が完了するとステップS202に移る。
なお、環境判定器20は上記判定に際して、V2X車載器16と連携して外部サーバや路側機から、現在位置周辺における過去一定時間(例えば24時間)以内の天気の履歴を示す天候履歴データを取得するように構成されていても良い。天候履歴データは、気温や、湿度、天気(晴れ/雨/雪)などの履歴を含む。ステップS201が完了すると、ステップS202を実行する。
ステップS202では、外部サーバから取得可能な天候情報などをもとに、砂塵条件が充足しているか否かを判定する。例えば、砂塵条件は、砂塵が道路に積もっている可能性が高いと見なす条件である。砂塵条件は予め設定されている。例えば砂塵条件は、時間帯、場所、気温、湿度、及び過去一定時間以内の天気の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)湿度が所定値未満(50%以上)、(イ)現在位置が郊外或いは乾燥地帯であること、などを砂塵条件とすることができる。なお、過去一定時間以内に雨や雪が降っていないことを砂塵条件に含めてもよい。また、過去一定時間以内に砂嵐が起きている場合に砂塵条件が充足していると判定してもよい。砂塵条件を充足している場合には、砂塵フラグをオンに設定する。一方、砂塵条件を充足していない場合には砂塵フラグをオフに設定する。砂塵フラグは、道路に砂塵が積もっている可能性の有無を示すフラグである。ステップS202が完了するとステップS203に移る。
ステップS203では、地図取得部F2が取得した地図データに基づき、自車両が走行している道路に区画線が存在するか否かを判定する。区画線情報が地図に登録されている道路を走行している場合にはステップS203を肯定判定してステップS204を実行する。一方、区画線情報が地図に登録されていない道路を走行している場合にはステップS203を否定判定して本フローを終了する。なお、ステップS203を否定判定した場合には、路面状態は不明又は通常であると判定して本フローを終了してもよい。
ステップS204では自車走行レーンの左右両側の区画線を認識できているか否かを判定する。例えば、自車両から所定距離(例えば8.5m)先の両側区画線が認識されているか否かを判定する。左右の区画線の少なくとも何れか一方を認識できていない場合には、ステップS204を否定判定してステップS205を実行する。一方、両側の区画線を認識できている場合には、路面状態は正常であるとして本フローを終了する。
ステップS205では、積雪フラグがオンに設定されているか否かを判定する。積雪フラグオンに設定されている場合にはステップS206に移る。一方、積雪フラグがオフである場合にはステップS207に移る。ステップS206では、積雪によって区画線が認識困難な状態であると判定して本フローを終了する。
ステップS207では、砂塵フラグがオンに設定されているか否かを判定する。砂塵フラグオンに設定されている場合にはステップS208に移る。一方、砂塵フラグがオフである場合にはステップS209に移る。ステップS208では、砂塵が道路に覆っていることによって区画線が認識困難な状態であると判定して本フローを終了する。ステップS209では区画線劣化状態であると判定して本フローを終了する。
以上の構成によれば、前方カメラ11の実際の区画線の認識状況(例えば実効認識距離)に基づいて区画線の状態を判断するため、精度よく区画線の状態を判定可能となる。加えて、区画線が劣化している地点の情報を収集可能となる。また、本開示によれば、天候情報だけでなく、前方カメラ11の実際の区画線の認識状況に基づいて積雪等の路面状態を判断する。このため、天候情報だけで路面状態を判定する構成よりも、判定精度を高めることができる。なお、路面状態判定処理において、ステップS201やステップS202、ステップS205~S208の一部または全部は任意の要素であって、省略可能である。
なお、各種路面状態の判定結果は、一定時間(例えば3秒)或いは一定回数(例えば3回以上)、連続して同一の判定結果が得られた場合に確定するように構成されていることが好ましい。当該構成によれば、瞬間的なノイズ等によって路面状態を誤判定する恐れを低減できる。
その他、路面状態判定部F73は、地図に区画線が登録されている区間において、前方カメラ11がランドマークは認識できている一方、区画線は認識できておらず、且つ、積雪フラグや砂塵フラグがオフである場合に、区画線劣化状態であると判定しても良い。区画線劣化状態の判定条件にランドマークは認識できていることを加える構成によれば、豪雨等の悪環境である可能性、及び、前方カメラ11が故障している可能性を除外可能となる。
<悪環境と判断する材料の補足>
環境判定部F7は、前方カメラ11から認識結果の信頼度を取得し、当該信頼度が所定のしきい値以下となったことに基づいて、悪環境であると判定してもよい。例えば信頼度が所定のしきい値以下である状態が所定時間継続した場合や、信頼度が所定のしきい値以下である状態での走行距離が所定値以上となった場合に悪環境と判定しても良い。
また、環境判定部F7は、地図に登録されてあって、自車両の走行軌跡上、本来検出されるべきランドマークの検出に失敗した割合(以降、見落とし率)から、認識性能を評価してもよい。見落とし率は、一定距離以内において、地図に登録されているランドマークの総数Nと、通過するまでに検出できたランドマークの数(以降、検出成功数m)とに基づいて算出可能である。例えば見落とし率は、(N-m)/Nにて算出されても良い。なお、他の態様として、総数Nは現在位置から前方所定距離(例えば35m)以内に存在する、本来現在位置から見えるべきランドマークの数としても良い。その場合、検出成功数mは現在位置で検出できているランドマークの数とすればよい。
以上では区画線の実効認識距離や環境条件を複合的に組み合わせて悪環境かどうかを判定する構成を開示したが、これに限らない。例えば環境判定部F7は、認識距離評価部F71が算出しているランドマークに対する実効認識距離に基づいて、悪環境に該当するか否かを判定してもよい。より具体的には、環境判定部F7は、ランドマークの実効認識距離が第6距離よりも小さい場合に悪環境であると判定してもよい。ランドマークの実効認識距離に対する悪環境と判定するための第6距離は、区画線の実効認識距離に対する悪環境と判定するための閾値である第1距離とは、同じであっても良いし、異なっていても良い。第6距離は20m、25m、30mなどとすることができる。
種別判定部F72としての環境判定部F7は、例えば第2距離以上遠方のランドマークを認識できておらず、且つワイパーの駆動速度が所定の閾値以上である場合に豪雨と判定しても良い。なお、降雨に関しては、豪雨だけでなく、弱雨、強雨、豪雨など、雨の強さ(つまり雨量)に応じて複数段階に区分されてもよい。ワイパー動作速度が小さい場合には、弱雨と判定しても良い。ここでは一例として降雨量が20mmまでの降雨を弱雨と記載するとともに、降雨量が20mm以上50未満の降雨を強雨と記載する。ここでは雨の強さを3段階に分けているが、雨の強さの区分数は適宜変更可能である。
第1距離~第6距離などの認識距離に対する閾値(以降、距離閾値)は、設計上の認識限界距離に応じて決定されても良い。例えば第1距離及び第6距離は、設計上の認識限界距離の20%~40%に相当する値に設定されても良い。第2距離等は、設計上の認識限界距離の10%~20%に相当する値に設定されても良い。第1距離等の距離閾値は、走行路の種別に応じて調整されても良い。都市間高速に使用する距離閾値は、一般道や都市内高速で使用される距離閾値よりも大きい値であってもよい。都市間高速では一般道路よりも走行速度が大きいため、相対的に悪環境であると判定するための閾値を厳しくすることが好ましい。
ランドマーク/区画線の実効認識距離に基づく悪環境判定は、先行車が存在する場合や、カーブ路においてはキャンセルされても良い。ここでのカーブ路とは曲率は所定の閾値以上の道路を指す。上記構成によれば、先行車の存在や曲率変化に起因して悪環境であると誤判定してしまうおそれを低減可能となる。なお、先行車が存在する場合には、先行車に追従して走行すればよいため、自車両の位置をそこまで厳密に測定する必要はない。それに伴い、悪環境であるか否かを判定する必要性も高くない。換言すれば先行車が存在しないシーンは、自車両の位置を精度良く推定する必要性が高いシーンと言える。運転支援ECU18は、先行車がおらず、かつ、悪環境と判定されているか否かに応じて、動作、換言すればシステム応答を変更するように構成されていても良い。
さらに、環境判定部F7は、区画線の代わりに又は並列的に、道路端の認識状況に基づいて、悪環境であるか否かを判定しても良い。例えば第1距離以上遠方に位置する道路端を認識できていないことに基づいて、悪環境であると判定してもよい。また、前方カメラ11が案内標識に含まれる文字列を画像認識可能に構成されている場合には、案内標識中の文字列が認識できなくなったことに基づいて悪環境であると判定しても良い。前方カメラ11が案内標識に含まれる文字列を画像認識可能に構成されている場合には、文字列を認識できる実効距離が所定値未満となったことに基づいて悪環境と判定しても良い。
また、環境判定部F7は、地図サーバから、悪環境に該当する地域のデータを取得することにより自車両周辺が悪環境に該当するか否かを判定しても良い。例えば地図サーバは、複数の車両からの報告をもとに悪環境エリアを特定して配信するサーバである。このような構成によれば、悪環境かどうかを判断するための演算負荷を低減できる。その他、環境判定部F7は、V2X車載器16を介して他車両と悪環境であるか否かの仮判定結果を共有し、多数決等によって悪環境に該当するか否かの判定を確定させても良い。
また、一般的に豪雨時には、ミリ波レーダ12において、雨滴による不要反射電力が増大する傾向がある。故に、ミリ波レーダ12で観測されている不要反射電力が所定のしきい値以上であることに基づいて悪環境種別は豪雨であると判定しても良い。また、ミリ波レーダ12は一般的に豪雨時でも車両等の検出性能が低下しにくいといった特長を有するが、自転車等の反射強度が弱いものはその限りではない。自転車等の反射強度が弱いものは、豪雨時には検出可能な距離が縮退しうる。車両から離脱したタイヤなどの小物体も同様である。故にミリ波レーダ12での自転車や小物体の検出可能距離が縮退していることに基づいて、周辺環境は豪雨であると判定しても良い。
<悪環境度合いの判定について>
環境判定部F7は、悪環境の度合い、換言すれば、画像フレームを用いた物体認識の性能の低下度合いを評価する悪環境度判定部F75を図12に示すように備えていてもよい。悪環境度合いは例えばレベル0~3の4段階で表現可能である。レベルが高いほど、悪環境度合いが大きいことを示す。悪環境度合いは、ランドマーク/区画線の実効認識距離に基づいて評価できる。例えば悪環境度判定部F75は、区画線の実効認識距離が短いほど悪環境レベルが高いと判定する。例えば区画線の認識距離が35m以上50m未満である場合にはレベル1と判定し、20m以上35m未満である場合にはレベル2と判定してもよい。また、区画線の認識距離が20m未満である場合にはレベル3と判定し、区画線の認識距離が所定値(例えば50m)以上である場合にはレベル0と判定しても良い。レベル0は悪環境ではないことを指す。悪環境度合いを示すレベル数は適宜変更可能である。
なお、悪環境度判定部F75は、降雨量に応じて悪環境度合いを評価しても良い。例えば降雨量が弱雨相当である場合には悪環境度合いをレベル1に設定し、降雨量が強雨相当である場合には悪環境度合いをレベル2に設定する。降雨量が豪雨に相当する場合には悪環境度合いをレベル3に設定する。降雨量は、ワイパーブレードの駆動速度から推定しても良いし、外部サーバから天候情報を取得して判定してもよい。
<環境判定器20の配置について>
上述した実施形態では環境判定器20を前方カメラ11の外側に配置した構成を例示したが、環境判定器20の配置態様はこれに限らない。図13に示すように環境判定器20の機能はカメラECU41に内在していてもよい。また、図14に示すように、環境判定器20の機能は運転支援ECU18に内在していてもよい。図15に示すように環境判定器20は位置推定器30と一体化されていても良い。環境判定器20の機能を含む位置推定器30もまた、カメラECU41または運転支援ECU18に内蔵されていてもよい。各構成の機能配置は適宜変更可能である。加えて、識別器411などのカメラECU41の機能もまた、運転支援ECU18が備えていても良い。すなわち、前方カメラ11は画像データを運転支援ECU18に出力して、運転支援ECU18が画像認識などの処理を実行するように構成されていても良い。
<地図サーバ5との連携について>
環境判定器20は、V2X車載器16と連携し、悪環境と判定した地点の情報を示す通信パケットを悪環境報告として地図サーバ5にアップロードするように構成されていても良い。地図サーバ5は、例えば各車両からアップロードされた悪環境報告を統計処理することによって、前方カメラ11のセンシング能力が低下しうる地点(つまり悪環境地点)を特定するように構成されていても良い。
図16は、複数の車両からの悪環境地点についての報告をもとに、悪環境地点を特定する地図サーバ5を含む、地図配信システム100を示している。図16に示す91は、広域通信網を表しており、92は無線基地局を示している。ここでの広域通信網91とは、携帯電話網やインターネット等の、電気通信事業者によって提供される公衆通信ネットワークを指す。
図17は地図サーバ5が実行する処理の流れを概略的に示したものである。地図サーバ5の処理としては、複数の車両からの悪環境報告を受信するステップS501と、受信した報告に基づいて悪環境地点の設定及び解除を行うステップS502と、悪環境地点情報を配信するステップS503が含まれる。図17のフローチャートを含む以下の種々の処理は地図サーバ5が備えるサーバプロセッサ51によって実行される。
例えば地図サーバ5は、所定時間以内における車両からの悪環境報告の数が所定のしきい値以上となっている地点を、悪環境地点に設定する(ステップS502)。悪環境地点は、例えば、霧や豪雨などの悪環境要因が実際に生じている地点としてもよいし、それらの影響によって実効認識距離が低下し始める地点としてもよい。ここでの統計処理には、多数決や平均化が含まれる。また、「地点」という表現には、所定の長さを有する区間或いはエリアの概念が含まれる。悪環境地点は、レーン単位或いはリンク単位で登録されても良い。
地図サーバ5は、特定した悪環境地点を示すデータを車両に配信する。地図サーバ5は、例えば車両からの要求に基づき、要求された地域の悪環境地点データを配信可能である。また、地図サーバ5が各車両の現在位置を取得可能に構成されている場合には、悪環境地点に進入予定の車両に対して自動的に悪環境地点データを配信しても良い。つまり、悪環境地点データは、プル配信及びプッシュ配信のどちらで配信されても良い。
悪環境要因は、道路構造等に比べて存続状態が相対的に短い時間で変化する、動的な要素である。そのため、地図サーバ5は、90分よりも短い所定の有効時間以内に取得した悪環境報告を元に悪環境地点の設定/解除を行うことが好ましい。有効時間は、例えば10分や、20分、30分などに設定される。当該構成によれば、悪環境地点についての配信データのリアルタイム性を確保することができる。或る悪環境地点についてのデータは、当該地点を通行する車両からの報告に基づき、例えば定期的に更新される。例えば、悪環境地点に設定した地点について、当該地点が悪環境であると報告する車両の数が所定のしきい値未満となった場合には、当該地点は悪環境ではなくなったと判定する。
悪環境地点についての配信データには、悪環境と見なす区間の始端位置座標と終端位置座標、悪環境の種別、悪環境の度合い、最終判定時刻、悪環境となった時刻などが含まれていることが好ましい。また、地図サーバ5は、悪環境であるとの判定結果に対する信頼度を算出し、悪環境地点についてのデータに含めて車両に配信してもよい。信頼度は、実際に悪環境である可能性の高さを示す。信頼度は、例えば悪環境であると報告した車両の数や割合が高いほど大きい値に設定されれば良い。なお、地図サーバ5は、車両からの報告だけでなく、路側機などから悪環境地点を特定するための情報を取得してもよい。例えば路側機がカメラを備える場合には、当該カメラが撮影した画像データなどを悪環境かどうかの判断材料として使用することができる。
<悪環境地点情報の利用形態>
地図サーバ5が生成した悪環境地点情報は、例えば、自動運転の実行の可否判断に利用されても良い。自動運転するための道路条件としては、前方カメラ11の実効認識距離が所定値(例えば40m)以上であることが規定されている構成もあり得る。そのような構成では、霧や豪雨等により前方カメラ11の実効認識距離が所定値未満となりうる区間は、自動運転不可区間となりうる。
自動運転不可区間に該当するか否かは車両側(例えば運転支援ECU18)で判断するように構成されていても良い。また、地図サーバ5が障害物情報に基づいて自動運転不可区間を設定し、当該自動運転不可区間を配信してもよい。例えば、地図サーバ5において、前方カメラ11の実効認識距離が低下する区間を自動運転不可区間に設定して配信するとともに、当該悪環境要因の消失または緩和が確認された場合に、自動運転不可設定を解除して配信する。なお、自動運転不可区間の設定等を配信するサーバは、自動運転管理サーバとして、地図サーバ5とは別に設けられていても良い。自動運転管理サーバは、自動運転可能/不可能な区間を管理するサーバに相当する。上記のように悪環境地点についての情報は、車両毎に設定されている運行設計領域(ODD:Operational Design Domain)を充足しているか否かの判断に利用可能である。
<付言(1)>
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。例えば、処理部21、31等が提供する手段および/または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。環境判定器20が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。例えば処理部21は、CPUの代わりに、MPUやGPUを用いて実現されていてもよい。また、処理部21は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合せて実現されていてもよい。さらに、ECUは、FPGA(field-programmable gate array)や、ASIC(application specific integrated circuit)を用いて実現されていても良い。処理部31も同様である。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等、多様な記憶媒体を採用可能である。
<付言(2)>
本開示には以下の構成も含まれる。
[構成(1)]
車両の周辺の所定範囲を撮像する撮像装置(11)であって、
撮像画像を解析することにより所定の対象地物の位置を認識する物体認識部(411)と、
撮像装置以外のセンサから、車両の外部の環境を示す情報を環境補足情報として取得する補足情報取得部(F2、F4、F5)と、
画像認識情報取得部が取得した対象地物の認識結果と、補足情報取得部が取得した環境補足情報との少なくとも何れか一方に基づいて、車両の周辺環境が、画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定部(F7)と、
環境判定部の判定結果を出力する出力部(F8)と、を備える車両用カメラユニット。
上記のようにカメラユニットに環境判定部を一体化した構成によれば、環境判定部をカメラ外に設ける構成に比べて、コスト抑制できる。
[構成(2)]
複数の車両のそれぞれから、当該車両の周辺環境が車載カメラにとっての悪環境であるか否かの判定結果を示すデータを、位置情報と対応付けて取得し、
複数の車両から取得した情報を統計処理することによって車載カメラにとっての悪環境となっている地点を検出するとともに、
複数の車両から取得した情報をもとに、上記の悪環境とみなした地点が依然として悪環境であるか否かを逐次判定するように構成されている、地図サーバ。
上記構成によれば複数の車両での判断結果を統合して悪環境地点を特定するため、車両単体で悪環境地点を特定する構成に比べて判定精度を向上可能である。また、精度の高い悪環境地点情報を複数の車両に配信可能となるため、交通社会の安全性を高めることができる。
[構成(3)]
運転席乗員の運転操作を支援する運転支援装置であって、
車両の周辺の所定範囲を撮像する撮像装置(11)で撮像された画像を解析することによって定まる所定の対象地物についての認識情報を示す情報を画像認識情報として取得する画像認識情報取得部(F3)と、
画像認識情報取得部が取得した対象地物の認識結果に基づいて、車両の周辺環境が、画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定部(F7)と、
環境判定部の判定結果に基づいて運転支援の内容(換言すればシステム応答)を変更する運転支援装置。
上記の構成によれば、周辺環境に応じた運転支援を実行可能となる。例えば悪環境であることに基づいた運転支援を実行可能となる。
1 運転支援システム、11 前方カメラ(撮像装置)、12 ミリ波レーダ、13 車両状態センサ、14 ロケータ、15 地図記憶部、16 V2X車載器、17 HMIシステム、18 運転支援ECU、20 環境判定器、21 処理部、30 位置推定器、F1 位置取得部、F2 地図取得部、F3 カメラ出力取得部(画像認識情報取得部)、F4 レーダ出力取得部(測距センサ情報取得部)、F5 車両状態取得部、F6 位置誤差取得部、F7 環境判定部、F71 認識距離評価部、F72 種別判定部、F8 出力部、G1 暫定位置取得部、G2 地図取得部、G3 カメラ出力取得部、G4 レーダ出力取得部、G5 詳細位置算出部、S100 画像認識情報取得ステップ、S110 環境判定ステップ

Claims (14)

  1. 車両の周辺の所定範囲を撮像する撮像装置(11)で撮像された画像を解析することによって定まる所定の対象地物についての認識情報を示す情報を画像認識情報として取得する画像認識情報取得部(F3)と、
    前記画像認識情報取得部が取得した前記対象地物の認識結果に基づいて、前記車両の周辺環境が、前記画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定部(F7)と、を備える悪環境判定装置。
  2. 請求項1に記載の悪環境判定装置であって、
    前記対象地物は、車線区画線及びランドマークの少なくとも何れか一方を含み、
    前記環境判定部は、前記撮像装置の撮像範囲内であって、前記撮像装置から所定距離以内に存在するはずの前記対象地物が認識されていないことに基づいて、前記周辺環境は悪環境であると判定するように構成されている、悪環境判定装置。
  3. 請求項1または2に記載の悪環境判定装置であって、
    前記対象地物には、車線区画線とランドマークが含まれ、
    前記環境判定部は、前記車線区画線に対する認識状況と、前記ランドマークに対する認識状況のそれぞれに基づいて、前記周辺環境の種別を特定するように構成されている、悪環境判定装置。
  4. 請求項1から3の何れか1項に記載の悪環境判定装置であって、
    前記画像認識情報に基づき、前記対象地物を認識できている実際の距離である実効認識距離を決定する認識距離評価部(F71)を備え、
    前記環境判定部は、前記実効認識距離が所定の閾値未満であることに基づいて、前記周辺環境は悪環境であると判定するように構成されている、悪環境判定装置。
  5. 請求項4に記載の悪環境判定装置であって、
    前記対象地物には、車線区画線とランドマークの両方が含まれ、
    前記認識距離評価部は、前記車線区画線についての前記実効認識距離と、前記ランドマークについての前記実効認識距離のそれぞれを算出し、
    前記環境判定部は、前記車線区画線の実効認識距離と、前記ランドマークの実効認識距離に基づいて、前記周辺環境の種別を判定するように構成されている、悪環境判定装置。
  6. 請求項1から5の何れか1項に記載の悪環境判定装置であって、
    前記撮像装置以外のセンサから、前記車両の外部の環境を示す情報を環境補足情報として取得する補足情報取得部(F4、F5)を備え、
    前記画像認識情報取得部が取得した前記対象地物の認識結果と、前記補足情報取得部が取得した前記環境補足情報とに基づいて、前記車両の周辺環境が、前記悪環境であるか否か、及び、前記悪環境であると判定した場合にはその種別を判定するように構成されている、悪環境判定装置。
  7. 請求項6に記載の悪環境判定装置であって、
    前記対象地物には、車線区画線とランドマークとが含まれ、
    前記補足情報取得部は、前記車両の進行方向、時刻情報、及び太陽の高度の少なくとも何れかを取得し、
    前記環境判定部は、
    前記補足情報取得部が取得した情報をもとに所定の西日条件が充足されているか否かを判定し、
    所定距離以上遠方に存在する前記車線区画線は認識されている一方で、所定の種別又は所定方向に存在する前記ランドマークは認識されておらず、且つ、前記西日条件が充足されていることに基づいて、前記悪環境として、西日を受けている状況であると判定するように構成されている、悪環境判定装置。
  8. 請求項6または7に記載の悪環境判定装置であって、
    前記対象地物には、車線区画線とランドマークが含まれ、
    前記補足情報取得部は、外気温、湿度、時刻、及び現在位置の少なくとも何れかを取得し、
    前記環境判定部は、
    前記補足情報取得部が取得した情報をもとに所定の霧発生条件が充足されているか否かを判定し、
    前記撮像装置から所定距離以内に位置する前記車線区画線及び前記ランドマークが認識されており、且つ、前記霧発生条件が充足されていることに基づいて、前記悪環境の種別は霧と判定するように構成されている、悪環境判定装置。
  9. 請求項6から8の何れか1項に記載の悪環境判定装置であって、
    前記対象地物には、車線区画線とランドマークが含まれ、
    前記補足情報取得部は、湿度、ワイパーの動作速度、及び天気情報の少なくとも何れかを取得し、
    前記環境判定部は、
    前記補足情報取得部が取得した情報をもとに所定の豪雨条件が充足されているか否かを判定し、
    前記撮像装置から所定距離以上遠方に位置する前記車線区画線及び前記ランドマークが何れも認識されておらず、且つ、前記豪雨条件が充足されていることに基づいて、前記悪環境の種別は豪雨であると判定するように構成されている、悪環境判定装置。
  10. 請求項7から9の何れか1項に記載の悪環境判定装置であって、
    前記補足情報取得部として、探査波又はレーザ光を送受信することで物体を認識する測距センサ(12)の認識結果を示す情報を測距センサ情報として取得する測距センサ情報取得部を備え、
    前記測距センサ情報には前記ランドマークの認識状況が含まれており、
    前記環境判定部は、前記画像認識情報取得部が取得した前記対象地物の認識結果と、前記測距センサ情報取得部が取得した前記測距センサによる前記ランドマークの認識状況と、に基づいて、前記車両の周辺環境が前記悪環境であるか否かを判定するように構成されている、悪環境判定装置。
  11. 請求項1から10の何れか1項に記載の悪環境判定装置であって、
    前記環境判定部は、前記悪環境であると判定した場合、その時点において前記対象地物を認識できている距離、及び、その時点での前記車両の位置情報の少なくとも何れか一方に基づいて、前記悪環境に該当する地点の位置を特定するように構成されている、悪環境判定装置。
  12. 請求項1から11の何れか1項に記載の悪環境判定装置であって、
    前記環境判定部が前記周辺環境は前記悪環境であると判定したことを示す信号を外部に出力する出力部(F8)を備える、悪環境判定装置。
  13. 請求項1から12の何れか1項に記載の悪環境判定装置であって、
    前記対象地物は、車線区画線及びランドマークの少なくとも何れか一方を含み、
    前記対象地物としての前記車線区画線及び前記ランドマークの少なくとも何れか一方の設置位置情報を含む地図情報を取得する地図取得部(F2)を備え、
    前記環境判定部は、前記地図情報に示されている前記対象地物のうち、前記撮像装置の撮像範囲に位置する前記対象地物が認識されていないことに基づいて、前記悪環境であると判定する、悪環境判定装置。
  14. 画像を用いて物体を認識する装置にとっての悪環境であるか否かを判定するための、少なくとも1つのプロセッサによって実行される方法であって、
    車両の周辺の所定範囲を撮像する撮像装置(11)で撮像された画像を解析することによって定まる所定の対象地物についての認識結果を示す情報を画像認識情報として取得する画像認識情報取得ステップ(S100)と、
    前記画像認識情報取得ステップで取得された前記対象地物の認識結果に基づいて、前記車両の周辺環境が、前記画像を用いて物体認識をする装置にとっての悪環境であるか否かを判定する環境判定ステップ(S110)と、を含む悪環境判定方法。
JP2020117247A 2020-07-07 2020-07-07 悪環境判定装置、悪環境判定方法 Pending JP2022014729A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020117247A JP2022014729A (ja) 2020-07-07 2020-07-07 悪環境判定装置、悪環境判定方法
PCT/JP2021/025362 WO2022009847A1 (ja) 2020-07-07 2021-07-05 悪環境判定装置、悪環境判定方法
US18/150,094 US20230148097A1 (en) 2020-07-07 2023-01-04 Adverse environment determination device and adverse environment determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020117247A JP2022014729A (ja) 2020-07-07 2020-07-07 悪環境判定装置、悪環境判定方法

Publications (2)

Publication Number Publication Date
JP2022014729A true JP2022014729A (ja) 2022-01-20
JP2022014729A5 JP2022014729A5 (ja) 2022-09-06

Family

ID=79553214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020117247A Pending JP2022014729A (ja) 2020-07-07 2020-07-07 悪環境判定装置、悪環境判定方法

Country Status (3)

Country Link
US (1) US20230148097A1 (ja)
JP (1) JP2022014729A (ja)
WO (1) WO2022009847A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146862A (ja) * 2022-03-29 2023-10-12 本田技研工業株式会社 車両制御装置、車両、車両制御方法、記憶媒体及びプログラム
KR102671299B1 (ko) * 2023-10-24 2024-06-03 주식회사 케이드커뮤니케이션 화상카메라와 레이저센서를 이용한 작업자 안전관리를 위한 스마트 감시장치 및 그 안전관리 방법
JP2025115301A (ja) * 2024-01-25 2025-08-06 本田技研工業株式会社 判定装置、判定方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210132496A (ko) * 2020-04-27 2021-11-04 한국전자기술연구원 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
KR20220013203A (ko) * 2020-07-24 2022-02-04 현대모비스 주식회사 차량의 차선 유지 보조 시스템 및 이를 이용한 차선 유지 방법
CN117333837A (zh) * 2022-06-22 2024-01-02 鸿海精密工业股份有限公司 行车安全辅助方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2020052909A (ja) * 2018-09-28 2020-04-02 株式会社デンソーテン 提供装置および提供方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108175A (ja) * 2009-11-20 2011-06-02 Alpine Electronics Inc 運転支援装置、運転支援方法および運転支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2020052909A (ja) * 2018-09-28 2020-04-02 株式会社デンソーテン 提供装置および提供方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146862A (ja) * 2022-03-29 2023-10-12 本田技研工業株式会社 車両制御装置、車両、車両制御方法、記憶媒体及びプログラム
JP7776368B2 (ja) 2022-03-29 2025-11-26 本田技研工業株式会社 車両制御装置、車両、車両制御方法、記憶媒体及びプログラム
KR102671299B1 (ko) * 2023-10-24 2024-06-03 주식회사 케이드커뮤니케이션 화상카메라와 레이저센서를 이용한 작업자 안전관리를 위한 스마트 감시장치 및 그 안전관리 방법
JP2025115301A (ja) * 2024-01-25 2025-08-06 本田技研工業株式会社 判定装置、判定方法、およびプログラム

Also Published As

Publication number Publication date
WO2022009847A1 (ja) 2022-01-13
US20230148097A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
JP7371783B2 (ja) 自車位置推定装置
US11846522B2 (en) Warning polygons for weather from vehicle sensor data
US11410332B2 (en) Map system, method and non-transitory computer-readable storage medium for autonomously navigating vehicle
US11979792B2 (en) Method for uploading probe data
US11840254B2 (en) Vehicle control device, method and non-transitory computer-readable storage medium for automonously driving vehicle
US11920948B2 (en) Vehicle-side device, method, and non-transitory computer-readable storage medium for uploading map data
US11835361B2 (en) Vehicle-side device, method and non-transitory computer-readable storage medium for autonomously driving vehicle
US12487099B2 (en) Map server and map distribution method
JP7167876B2 (ja) 地図生成システム、サーバ、方法
US20230148097A1 (en) Adverse environment determination device and adverse environment determination method
JP7409257B2 (ja) 信号機認識装置、信号機認識方法、車両制御装置
US12522239B2 (en) Vehicle control method and vehicular device
WO2020045323A1 (ja) 地図生成システム、サーバ、車両側装置、方法、および記憶媒体
WO2020045318A1 (ja) 車両側装置、サーバ、方法および記憶媒体
WO2020045319A1 (ja) 車両制御装置、方法および記憶媒体
WO2020045324A1 (ja) 車両側装置、方法および記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305