JP2020077180A - 車載制御装置 - Google Patents

車載制御装置 Download PDF

Info

Publication number
JP2020077180A
JP2020077180A JP2018209810A JP2018209810A JP2020077180A JP 2020077180 A JP2020077180 A JP 2020077180A JP 2018209810 A JP2018209810 A JP 2018209810A JP 2018209810 A JP2018209810 A JP 2018209810A JP 2020077180 A JP2020077180 A JP 2020077180A
Authority
JP
Japan
Prior art keywords
area
grid map
vehicle
control device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209810A
Other languages
English (en)
Other versions
JP7136663B2 (ja
Inventor
一野瀬　昌則
Masanori Ichinose
昌則 一野瀬
栗山　哲
Satoru Kuriyama
哲 栗山
晴輝 西村
Haruki Nishimura
晴輝 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2018209810A priority Critical patent/JP7136663B2/ja
Priority to US17/286,783 priority patent/US20210339765A1/en
Priority to PCT/JP2019/041448 priority patent/WO2020095673A1/ja
Priority to EP19882588.7A priority patent/EP3852081A4/en
Publication of JP2020077180A publication Critical patent/JP2020077180A/ja
Application granted granted Critical
Publication of JP7136663B2 publication Critical patent/JP7136663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

【課題】 センサにより検知した物体の位置情報における明瞭度を変化させることなく、車両が走行できる領域の判定を明確に、かつ容易に行なう。【解決手段】 撮像装置が撮像した画像情報から自車両の前方の物体の位置を検知する物体検知部と、該物体検知部が物体を検知した位置を物体占有領域とし、物体を検知しない位置を物体非占有領域とした加工前格子地図を記憶する物体情報蓄積部と、前記加工前格子地図の物体非占有領域の一部を物体占有領域に置換した判定用格子地図を生成する情報加工部と、前記判定用格子地図の物体占有領域に囲まれた閉空間を路面領域とした自動運転用格子地図を生成する路面領域判定部と、を備えることを特徴とする車載制御装置。【選択図】 図１

Description

本発明は、自車両の周囲物体や周囲を走行する車両を検知し、検知データから判定した路面領域に基づいて自車両を走行制御する車載制御装置に関する。
自車両の周囲物体や周囲を走行する車両を検知し、車両周辺の環境を推定する技術の開発が行われている。例えば、特許文献１では、センサによる観測データをサンプリングし、その強度から方位角を中心とした分散の程度を表す角度の分布関数を計算することで、物体による反射が占有格子地図内の複数の格子にわたって分布した状態を算出し、周囲物体の状態を高い精度で推定する技術が開示されている。
特開２０１７−１６６９６６号公報
しかしながら、特許文献１の従来技術にあっては、観測データから得られる強度の強弱に応じて、複数の格子にわたって影響を与えることを考慮した占有格子地図を作成することで、物体の占有領域と非占有領域のコントラストを明確にし、車両が走行できる領域を推定しやすくなる効果があるものの、物体の占有領域が分散による広がりを持つことから車両が走行できる領域の境界となる検知物体の位置情報における明瞭度は低下してしまうという課題、すなわち、車両の走行領域を明瞭度の低い不確実な領域を避けた狭い領域に設定しなければならないという課題がある。
本発明の車載制御装置は、上記従来の課題に鑑み、車両が走行できる領域の判定をより明確に、かつ容易に行なうことを目的とする。
上記課題を解決するため、本発明に係る車載制御装置は、撮像装置が撮像した画像情報から自車両の前方の物体の位置を検知する物体検知部と、該物体検知部が物体を検知した位置を物体占有領域とし、物体を検知しない位置を物体非占有領域とした加工前格子地図を記憶する物体情報蓄積部と、前記加工前格子地図の物体非占有領域の一部を物体占有領域に置換した判定用格子地図を生成する情報加工部と、前記判定用格子地図の物体占有領域に囲まれた閉空間を路面領域とした自動運転用格子地図を生成する路面領域判定部と、を備えるものとした。
本発明の車載制御装置では、物体占有領域を補完処理した判定用格子地図を用いて、自車両が走行する路面領域を抽出するので、路面領域判定精度の向上と処理負荷の低減が可能となる。
上記した以外の課題、構成及び効果は以下の実施例の説明により明らかにされる。
実施例１の車載制御装置の機能ブロック図。 加工前格子地図の一例 判定用格子地図の一例 自動運転用格子地図の一例 実施例１の情報加工部の機能ブロック図。 実施例２の情報加工部の機能ブロック図。 実施例２の格子地図に係る物体領域での代表線分の概念図。 実施例３の車載制御装置の機能ブロック図。 実施例４の車載制御装置の機能ブロック図。 実施例５の車載制御装置の機能ブロック図。
以下、図面等を用いて、本発明の実施例に係る車載制御装置について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
本発明の実施例１に係る車載制御装置１００を、図１〜図３を用いて説明する。本実施例の車載制御装置１００は、自車両２０の周囲の道路形状や他車両等の周辺環境を推定する、いわば、周辺環境推定ＥＣＵ（Electronic Control Unit）と呼べるものであり、自車両２０の加速・操舵・制動等を制御する運転制御ＥＣＵ（以下、「制御部８」）に対し、自動運転の実行に必要な周辺環境情報（具体的には、後述する各種の格子地図）を提供するものである。なお、図１では、車載制御装置１００（周辺環境推定ＥＣＵ）と制御部８（運転制御ＥＣＵ）が分離した構成を例示しているが、両者一体の構成としても良い。
図１は車載制御装置１００の機能ブロック図である。ここに示すように、車載制御装置１００は、撮像装置１が撮像した画像情報に基づいて格子地図を生成し、制御部８（運転制御ＥＣＵ）に提供するものである。この車載制御装置１００は、実際には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えた計算機である。そして、主記憶装置にロードされたプログラムを演算装置が実行することで、後述する各機能を実現するが、以下では、このような周知技術を適宜省略しながら説明する。
図１に示すように、車載制御装置１００は、物体検知部２、物体情報蓄積部３、加工前格子地図４、情報加工部５、判定用格子地図６ａ、自動運転用格子地図６ｂ、路面領域判定部７を備える。これらのうち、物体検知部２、情報加工部５、路面領域判定部７は、上述した演算装置が所定のプログラムを実行することで実現されるものである。また、物体情報蓄積部３は、上述した補助記憶装置であり、この補助記憶装置には、加工前格子地図４、判定用格子地図６ａ、自動運転用格子地図６ｂ、の各格子地図も記憶される。以下、各々を詳細に説明する。
物体検知部２は、撮像装置１が撮像した画像情報に基づいて、自車両２０の周囲の物体位置を検知する。物体情報蓄積部３は、物体検知部２が検知した物体の位置情報を時系列に蓄積する。物体情報蓄積部３に蓄積される物体情報は、前述の位置情報に限定されず、例えば、物体の相対速度情報や、物体の色や種別などの属性情報などを含んでもよい。物体情報蓄積部３では格子地図の各セルの情報を更新することで、加工前格子地図４を生成する。格子地図の各セルの大きさは適宜決定すればよいが、以下では、一辺が１ｍのセルを想定して説明を進める。
図２Ａを用いて、加工前格子地図４の一例を説明する。ここに例示する加工前格子地図４は、自車両２０の前方の環境を示す格子地図であり、物体検知部２が物体を検知したセル（以下、「物体占有領域２１」）を着色している。図２Ａの例では、自車両２０の左右に物体占有領域２１が直線状に並んでおり、かつ、同じ直線上に、物体検知部２が物体を検知しなかったセル（以下、「物体非占有領域２２」）も複数存在している。なお、自車両２０左右の直線状の物体占有領域２１は、具体的には、歩道の縁石やガードレール、ガードポール、塀などの構造物であり、これらと同じ直線上にある物体非占有領域２２ａは、家屋の入口等の縁石や塀などが存在しない箇所に相当する。
加工前格子地図４が更新されると、情報加工部５では、自車両２０が走行可能な路面領域２３を判定するための判定用格子地図６ａを生成する。この判定用格子地図６ａは、加工前格子地図４を平滑化、単純化などして閉空間（すなわち、後述する路面領域２３）を抽出しやすくしたものである。
図２Ｂを用いて、判定用格子地図６ａの一例を説明する。ここに例示する判定用格子地図６ａは、加工前格子地図４の物体非占有領域２２のうち、所定条件を満たすもの（物体非占有領域２２ａ）を、物体占有領域２１に置換することで、複数の物体非占有領域２２を一続きに集約した格子地図である。
次に、図３を用いて、加工前格子地図４に基づいて判定用格子地図６ａを生成する情報加工部５を更に詳細に説明する。ここに示すように、情報加工部５は、物体領域抽出部５ａ、物体領域間距離算出部５ｂ、隣接物体領域補完部５ｃを備えている。物体領域抽出部５ａでは、加工前格子地図４から、物体占有領域２１の連続部を抽出する。物体領域間距離算出部５ｂでは、物体占有領域２１の連続部が複数存在するときに、連続部同士の距離（物体占有領域２１の連続部に挟まれた物体非占有領域２２の連続距離）を夫々算出する。隣接物体領域補完部５ｃでは、物体領域間距離算出部５ｂで算出した距離が閾値以下（例えば、２セル以下）であるときに、両連続部を一続きの物体占有領域２１と見做し、両連続部に挟まれた物体非占有領域２２ａ（例えば２セル以下の隙間）を物体占有領域２１に置換した判定用格子地図６ａを生成する。
このように、連続距離の短い物体非占有領域２２ａを物体占有領域２１に置換する理由は、塀などの構造物の一部に隙間が存在するにしてもその隙間が狭ければ自車両２０が通過できないため、ここに構造物があると見做し連続する物体占有領域２１の連続性を可能な限り維持するように補完処理した判定用格子地図６ａを用いて、自車両２０が走行する路面領域２３を抽出するのが、路面領域２３の抽出精度の向上と、抽出処理負荷の低減に有効だからである。
なお、以上では、物体非占有領域２２を物体占有領域２１に置換する際の距離閾値を固定値（２セル）とした例を説明したが、この距離閾値は可変であってもよく、自車両２０が高速になるほど、距離閾値を大きくしてもよい。これは、同じ隙間（例えば、３セル（３ｍ）の隙間）であっても、低速時には自車両２０が容易に通過できるが、旋回半径が大きくなる高速時には通過が困難となるため、高速時には高速時用の距離閾値を用いて判定用格子地図６ａを生成するのが適切だからである。
判定用格子地図６ａが生成されると、路面領域判定部７では、判定用格子地図６ａに基づいて、自車両２０が走行可能な領域である路面領域２３を判定し、自動運転用格子地図６ｂを生成する。
図２Ｃを用いて、自動運転用格子地図６ｂの一例を説明する。ここに例示する自動運転用格子地図６ｂは、図２Ｂの判定用格子地図６ａの物体非占有領域２２のうち、所定条件を満たすものを、路面領域２３に設定した格子地図である。本実施例の路面領域判定部７では、判定用格子地図６ａの物体非占有領域２２のうち、自車両２０の前方にあり、かつ、物体占有領域２１に囲まれた閉空間を、自車両２０が走行可能な路面領域２３と判定している。
このように、本実施例の車載制御装置１００では、実際の物体位置を記録した加工前格子地図４を単純化した判定用格子地図６ａを生成した後、この判定用格子地図６ａに基づいて、自車両２０が走行可能な路面領域２３を判定し、自動運転用格子地図６ｂを生成する。また、制御部８は、加工前格子地図４と、自動運転用格子地図６ｂを用いることで、周辺環境に応じた自車両２０の走行状態の計画及び制御を行う。
以上説明したように、本実施例の車載制御装置では、物体占有領域の連続性を可能な限り維持するように補完処理した判定用格子地図を用いて、自車両が走行する路面領域を抽出するので、路面領域判定精度の向上と処理負荷の低減が可能となる。また、路面領域形状を適正化することで、路面領域形状を制御部に伝達する通信負荷についても低減が可能となる。
次に、図４、図５を用いて、本発明の実施例２に係る車載制御装置１００について説明する。なお、実施例１との共通点は重複説明を省略する。
実施例１では、物体占有領域２１が直線状に並ぶ縁石等である場合を想定し、図３の情報加工部５を用いて判定用格子地図６ａを生成したが、本実施例では、物体占有領域２１が直線状に並ばない場合でも対応できるよう、図４に示す情報加工部５を用いて判定用格子地図６ａを生成する。
図４に示すように、本実施例の情報加工部５は、物体領域抽出部５ａ、物体領域線分算出部５ｄ、隣接線分補完部５ｅを備えている。物体領域抽出部５ａでは、加工前格子地図４から、物体占有領域２１の塊を抽出する。物体領域線分算出部５ｄでは、物体占有領域２１の塊が複数存在するときに、各塊から代表線分Ｌを算出する。隣接線分補完部５ｅでは、算出した代表線分Ｌを用いて線分間を補完する。線分間の補完条件としては、隣り合う物体占有領域２１における線分間距離が閾値以下であり、かつ、隣り合う線分のなす角が閾値以下の場合とする。これにより、線分間の距離が近いだけでなく、路面領域２３の境界線であるこれらの線分が一定曲率以下の滑らかな線となる場合に補完が行われる。これらの閾値も、実施例１と同様の理由により、自車速に応じて変化させてもよい。
ここで、図５を用いて、物体領域線分算出部５ｄにより、Ｎ個のセルよりなる一塊の物体領域ｘｉ（ｉ＝１〜Ｎ）から代表線分Ｌを求める方法の一例を説明する。図中の５１は一塊の物体領域を、５２は代表線分Ｌを示す。線分Ｌと物体領域のセルｘｉとの距離を表す関数をｄ（Ｌ，ｘｉ）とすると、線分Ｌの評価式ＥＬは（式１）となり、この評価式ＥＬを最小化する線分Ｌが、物体領域の代表線分である。
Figure 2020077180
以上説明したように、本実施例の車載制御装置では、物体占有領域のセルが直線状に並ばないような状況であっても、物体領域から得られる線分が連続となるよう加工した判定用格子地図を用いて、自車両が走行する路面領域を抽出するので、路面領域判定精度の向上と処理負荷の低減が可能となる。
次に、図６を用いて、本発明の実施例３に係る車載制御装置１００について説明する。なお、上述した実施例との共通点は重複説明を省略する。
本実施例では、情報加工部５での情報加工時に、上述した実施例の処理に加え、予め用意された高精度地図９の情報を併用する。
近年の自動運転技術の進展により、道路形状に関する精密な地図が市販されるなど、高精度地図を容易に利用できる環境が整いつつある。そこで、本実施例の情報加工部５では、自車周囲の道路形状に関する高精度地図９から地図情報を取得し、地図上にある道路境界が連続する部分に関しては、補完を実施する判定となる物体占有領域２１間の距離閾値を、通常よりも長くするように切り替える。すなわち、距離閾値が２セルに設定されている状況であっても、高精度地図９により道路境界の連続が確認できた場所においては、距離閾値を４セル等に設定し、物体占有領域２１の連続性を維持しやすくする。
これにより、物体検知部２が物体検知に失敗し、得られた物体領域情報が不明瞭な場合においても、高精度地図９を併用することで所望の補完処理を実施し、適切な判定用格子地図６ａを得ることが可能となる。
次に、図７を用いて、本発明の実施例４に係る車載制御装置１００について説明する。なお、上述した実施例との共通点は重複説明を省略する。
本実施例では、情報加工部５での情報加工時に、上述した実施例の処理に加え、撮像装置１が撮像した画像情報から抽出した道路の白線情報を併用する。そして、これを実現するため、車載制御装置１００内に、白線抽出部１０を備えている。
近年の情報処理装置の高性能化によって、画像処理により道路白線の形状に関する情報を得ることは比較的容易になっている。そこで、道路白線形状や位置から自車周囲の道路形状に関する情報を取得し、道路上の走行帯の連続が確認できた場所においては、距離閾値を、通常よりも長くするように切り替える。
これにより、物体検知部２が物体検知に失敗し、得られた物体領域情報が不明瞭な場合においても、白線情報を併用することで所望の補完処理を実施し、物体占有領域２１の連続性を維持しやすくする。なお、白線以外に、縁石やガードレール、ガードポール、塀などの画像上の特徴やエッジなどを抽出することで、上記で説明した方法と同様に補完を実施してもよい。
次に、図８を用いて、本発明の実施例５に係る車載制御装置１００について説明する。なお、上述した実施例との共通点は重複説明を省略する。
上述の実施例では、自車両２０の周囲環境を把握するために撮像装置１だけを用いたが、本実施例では、撮像装置１に加え、カメラ以外のセンサを用いた物体検知装置１１からの入力情報も物体情報蓄積部３に蓄積し、より高精度な加工前格子地図４を生成する。なお、この物体検知装置１１は複数設けてもよく、その場合は、各々に異なるセンサを用いても良い。
追加される物体検知装置１１としては、例えば、ミリ波レーダーやレーザーレーダー、ソナーなどが考えられ、これらは撮像装置１による検出原理とは異なる物理現象によって物体の検知を行うことから、物体検知の冗長性を高めることでより確実な物体検知を実現することができる。また、物体検知装置１１の取付位置や視野角を撮像装置１とずらすことで、物体検知における死角の低減などを図ることも可能となる。
このような物体検知装置１１では一般的に内部の信号処理によって直接物体位置を算出して出力する。物体情報蓄積部３では、物体検知装置１１が出力した物体位置を時系列的に蓄積し、加工前格子地図４を生成する。物体情報蓄積の方法としては、撮像装置１で得た画像に基づく物体位置、一つ以上の物体検知装置１１により検知された物体位置、それぞれについて独立した格子地図の領域を設定して個別に情報蓄積し、参照時に融合処理、一般的には格子地図の物体占有セルの論理和を行った融合を実施することが考えられるが、物体情報の取得時にすべての検知部による情報を融合し、それを共通の一つの格子地図に蓄積してもよい。物体情報蓄積の方法に関らず、複数の物体情報検知部によって物体情報の情報密度を高くすることが可能となり、より精度の高い路面領域の判定が可能になる。
以上、図面を用いて本発明の実施例を詳述してきたが、具体的な構成はこの実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
１ 撮像装置
２ 物体検知部
３ 物体情報蓄積部
４ 加工前格子地図
５ 情報加工部
５ａ 物体領域抽出部
５ｂ 物体領域間距離算出部
５ｃ 隣接物体領域補完部
５ｄ 物体領域線分算出部
５ｅ 隣接線分補完部
６ａ 判定用格子地図
６ｂ 自動運転用格子地図
７ 路面領域判定部
８ 制御部
２０ 自車両
２１ 物体占有領域
２２、２２ａ 物体非占有領域
２３ 路面領域

Claims (6)

  1. 撮像装置が撮像した画像情報から自車両の前方の物体の位置を検知する物体検知部と、
    該物体検知部が物体を検知した位置を物体占有領域とし、物体を検知しない位置を物体非占有領域とした加工前格子地図を記憶する物体情報蓄積部と、
    前記加工前格子地図の物体非占有領域の一部を物体占有領域に置換した判定用格子地図を生成する情報加工部と、
    前記判定用格子地図の物体占有領域に囲まれた閉空間を路面領域とした自動運転用格子地図を生成する路面領域判定部と、
    を備えることを特徴とする車載制御装置。
  2. 請求項１に記載の車載制御装置において、
    前記情報加工部は、
    前記加工前格子地図から物体占有領域の連続部を抽出する物体領域抽出部と、
    前記連続部が複数存在するときに、連続部同士の距離を算出する物体領域間距離算出部と、
    算出した前記距離が閾値以下であるときに、両連続部に挟まれた前記物体非占有領域を前記物体占有領域に置換した前記判定用格子地図を生成する隣接物体領域補完部と、
    を備えることを特徴とする車載制御装置。
  3. 請求項１において、
    前記情報加工部は、
    前記加工前格子地図から物体占有領域の塊を抽出する物体領域抽出部と、
    前記塊が複数存在するときに、各塊の代表線分を算出する物体領域線分算出部と、
    算出した代表線分同士の距離が閾値以下、かつ、算出した代表線分同士のなす角が閾値以下であるときに、両代表線分間の前記物体非占有領域を前記物体占有領域に置換した前記判定用格子地図を生成する隣接線分補間手段と、
    を備えることを特徴とする車載制御装置。
  4. 請求項２または３に記載の車載制御装置において、
    前記情報加工部は、予め作成しておいた高精度地図を併用して、前記置換の要否を判断することを特徴とする車載制御装置。
  5. 請求項２または３に記載の車載制御装置において、
    前記情報加工部は、前記撮像装置が撮像した画像情報から抽出した白線情報を併用して、前記置換の要否を判断することを特徴とする車載制御装置。
  6. 請求項１乃至５の何れか一項に記載の車載制御装置において、
    前記物体情報蓄積部に記憶された前記加工前格子地図には、自車両に設置された前記撮像装置以外の物体検知装置が検知した物体の位置も前記物体占有領域として登録されることを特徴とする車載制御装置。
JP2018209810A 2018-11-07 2018-11-07 車載制御装置 Active JP7136663B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018209810A JP7136663B2 (ja) 2018-11-07 2018-11-07 車載制御装置
US17/286,783 US20210339765A1 (en) 2018-11-07 2019-10-23 In-vehicle control device
PCT/JP2019/041448 WO2020095673A1 (ja) 2018-11-07 2019-10-23 車載制御装置
EP19882588.7A EP3852081A4 (en) 2018-11-07 2019-10-23 VEHICLE MOUNTED CONTROL DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209810A JP7136663B2 (ja) 2018-11-07 2018-11-07 車載制御装置

Publications (2)

Publication Number Publication Date
JP2020077180A true JP2020077180A (ja) 2020-05-21
JP7136663B2 JP7136663B2 (ja) 2022-09-13

Family

ID=70611334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209810A Active JP7136663B2 (ja) 2018-11-07 2018-11-07 車載制御装置

Country Status (4)

Country Link
US (1) US20210339765A1 (ja)
EP (1) EP3852081A4 (ja)
JP (1) JP7136663B2 (ja)
WO (1) WO2020095673A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020211649A1 (de) * 2020-09-17 2022-03-17 Conti Temic Microelectronic Gmbh Verfahren und System zum Erstellen eines Straßenmodells

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160777A (ja) * 2008-12-12 2010-07-22 Toyota Central R&D Labs Inc 地図生成装置、走路推定装置、移動可能領域推定装置、及びプログラム
JP2014142965A (ja) * 2014-04-24 2014-08-07 Toyota Motor Corp 運転支援装置および運転支援方法
JP2017037473A (ja) * 2015-08-10 2017-02-16 富士重工業株式会社 操舵支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
US8781644B2 (en) * 2011-03-21 2014-07-15 Denso Corporation Method and apparatus for recognizing shape of road for vehicles
JP5348180B2 (ja) * 2011-05-30 2013-11-20 トヨタ自動車株式会社 運転支援装置
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
DE102012107885A1 (de) * 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
JP6160634B2 (ja) * 2015-02-09 2017-07-12 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
KR101847838B1 (ko) * 2015-12-24 2018-04-11 현대자동차주식회사 도로 경계 검출 시스템 및 방법과 이를 이용한 차량
JP6239664B2 (ja) 2016-03-16 2017-11-29 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法
JP6665925B2 (ja) * 2016-03-18 2020-03-13 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法
US10369994B2 (en) * 2016-07-20 2019-08-06 Ford Global Technologies, Llc Rear camera stub detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160777A (ja) * 2008-12-12 2010-07-22 Toyota Central R&D Labs Inc 地図生成装置、走路推定装置、移動可能領域推定装置、及びプログラム
JP2014142965A (ja) * 2014-04-24 2014-08-07 Toyota Motor Corp 運転支援装置および運転支援方法
JP2017037473A (ja) * 2015-08-10 2017-02-16 富士重工業株式会社 操舵支援装置

Also Published As

Publication number Publication date
US20210339765A1 (en) 2021-11-04
EP3852081A1 (en) 2021-07-21
WO2020095673A1 (ja) 2020-05-14
JP7136663B2 (ja) 2022-09-13
EP3852081A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
JP6606610B2 (ja) 走路境界推定装置及びそれを用いた走行支援システム
US11500101B2 (en) Curb detection by analysis of reflection images
US7542835B2 (en) Vehicle image processing device
JP6440411B2 (ja) 物体検出装置
US20210331679A1 (en) Method for Determining a Drivable Area
CN113495272B (zh) 生成动态占用网格的方法
CN104781829A (zh) 用于识别车辆在车道上的位置的方法和设备
JP2006031162A (ja) 移動障害物検出装置
JP6694067B2 (ja) 物体検知装置及びそれを備えた車両制御システム
CN108475471B (zh) 车辆判定装置、车辆判定方法和计算机可读的记录介质
EP3324359B1 (en) Image processing device and image processing method
US11719799B2 (en) Method for determining a collision free space
JP2019096132A (ja) 物体認識装置
CN107480592B (zh) 一种多车道检测方法及跟踪方法
US20220171975A1 (en) Method for Determining a Semantic Free Space
EP4001844A1 (en) Method and apparatus with localization
WO2020095673A1 (ja) 車載制御装置
JP4003586B2 (ja) 車間距離計測装置
JP2018206071A (ja) 区画線認識装置
JP7174131B2 (ja) 判定装置、判定方法及び判定用プログラム
JP7454685B2 (ja) 車両走行路内のデブリの検出
JP7344744B2 (ja) 路側端検出方法、及び、路側端検出装置
JP6611334B2 (ja) 区画線認識装置
JP7058128B2 (ja) 情報処理装置およびプログラム
JP7064400B2 (ja) 物体検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220901

R150 Certificate of patent or registration of utility model

Ref document number: 7136663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150