JP2020086986A - 交通案内物認識装置、交通案内物認識方法、およびプログラム - Google Patents

交通案内物認識装置、交通案内物認識方法、およびプログラム Download PDF

Info

Publication number
JP2020086986A
JP2020086986A JP2018221038A JP2018221038A JP2020086986A JP 2020086986 A JP2020086986 A JP 2020086986A JP 2018221038 A JP2018221038 A JP 2018221038A JP 2018221038 A JP2018221038 A JP 2018221038A JP 2020086986 A JP2020086986 A JP 2020086986A
Authority
JP
Japan
Prior art keywords
traffic
vehicle
unit
traffic guide
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018221038A
Other languages
English (en)
Other versions
JP6843819B2 (ja
Inventor
孝保 熊野
Takayasu Kumano
孝保 熊野
琢也 新岡
Takuya Niioka
琢也 新岡
和馬 小原
Kazuma Ohara
和馬 小原
秀 柳原
Hide Yanagihara
秀 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018221038A priority Critical patent/JP6843819B2/ja
Priority to US16/681,855 priority patent/US11157751B2/en
Priority to CN201911153982.7A priority patent/CN111223315B/zh
Publication of JP2020086986A publication Critical patent/JP2020086986A/ja
Application granted granted Critical
Publication of JP6843819B2 publication Critical patent/JP6843819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】交通案内物の認識精度を向上させることができる交通案内物認識装置、交通案内物認識方法、およびプログラムを提供すること。【解決手段】実施形態における交通案内物認識装置は、車両の周辺を撮像する撮像部と、前記車両の周辺状況を認識する認識部と、を備え、前記認識部は、前記車両の周辺に存在する交通案内物の中から、前記撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する。【選択図】図２

Description

本発明は、交通案内物認識装置、交通案内物認識方法、およびプログラムに関する。
従来では、車両の前方の交差点に信号機がある場合に、不要な衝突可能性の判定処理を実行しないように制御したり、画像データから車両の走行方向に存在する道路標識の種類を認識し、認識された標識の種類に基づいて乗員に報知を行う技術が知られている（例えば、特許文献１および２参照）。
特開２０１５−７６００６号公報 特開２０１７−１０２６６５号公報
しかしながら、道路が直交しない変則交差点や、複数車線のそれぞれに異なる交通案内物が設置されている道路等、道路状況によっては交通案内物を正確に認識できない場合があった。
本発明は、このような事情を考慮してなされたものであり、交通案内物の認識精度を向上させることができる交通案内物認識装置、交通案内物認識方法、およびプログラムを提供することを目的の一つとする。
この発明に係る交通案内物認識装置、交通案内物認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る交通案内物認識装置は、車両の周辺を撮像する撮像部と、前記車両の周辺状況を認識する認識部と、を備え、前記認識部は、前記車両の周辺に存在する交通案内物の中から、前記撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する、交通案内物認識装置である。
（２）：上記（１）の態様において、前記認識部は、前記撮像部により撮像された画像に基づいて前記車両の周辺に存在する交通案内物を認識し、認識した前記交通案内物の形状または特徴領域が占めると認識された画像領域での縦横比に基づいて、前記交通案内物の向きを導出し、導出した向きに基づいて前記車両が従うべき交通案内物を選択するものである。
（３）：上記（１）または（２）の態様において、前記認識部は、前記車両が走行する車線を区画する区画線が延伸する方向に基づいて、前記交通案内物の向きを導出するものである。
（４）：上記（１）〜（３）のうち何れか一つの態様において、前記認識部は、前記車両の周辺の地図情報を取得し、取得した地図情報から前記車両の前方に存在する前記交通案内物の向きを認識し、認識した向きに基づいて前記車両が従うべき交通案内物を選択するものである。
（５）：上記（１）〜（４）のうち何れか一つの態様において、前記認識部は、複数の交通案内物が認識された場合に、前記車両との距離が近い交通案内物を前記車両が従うべき交通案内物として選択するものである。
（６）：上記（１）〜（５）のうち何れか一つの態様において、前記交通案内物は、前記車両の進行を許可する色を発光させる第１発光部と、前記車両の進行を禁止する色を発光させる第２発光部とを含む交通信号機を含むものである。
（７）：上記（６）の態様において、前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域との縦横比に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択するものである。
（８）：上記（６）または（７）の態様において、前記認識部は、前記交通信号機の前記第１発光部と前記第２発光部とが左右に配列されている場合に、前記第１発光部が占めると認識された画像領域と前記第２発光部が占めると認識された画像領域との面積比に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択するものである。
（９）：上記（６）〜（８）のうち何れか一つの態様において、前記交通信号機は、前記第１発光部および前記第２発光部の上方に設けられ、且つ前記第１発光部および前記第２発光部の発光先に向けて突出されたフード部を更に備え、前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域の前記フード部による遮蔽度合に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択するものである。
（１０）：上記（９）の態様において、前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域の左右の面積比に基づいて、前記フード部による遮蔽度合を導出するものである。
（１１）：この発明の一態様に係る交通案内物認識方法は、コンピュータが、車両の周辺状況を認識し、前記車両の周辺に存在する交通案内物の中から、車両の周辺を撮像する撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する、交通案内物認識方法である。
（１２）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺状況を認識させ、前記車両の周辺に存在する交通案内物の中から、車両の周辺を撮像する撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択させる、プログラムである。
（１）〜（１２）によれば、交通案内物の認識精度を向上させることができる。
実施形態に係る物体認識装置を適用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 交通案内物選択部１３２の処理について説明するための図である。 車両Ｌ１を走行する車両Ｍのカメラ１０により撮像された信号機ＴＬ１を含む画像ＩＭ１の一例を示す図である。 車線Ｌ１を走行する車両Ｍのカメラ１０により撮像された信号機ＴＬ２を含む画像ＩＭ２の一例を示す図である。 信号機ＴＬ１を横（図４に示す矢印Ａ方向）から見た図である。 フード部による発光部の遮蔽度合を導出することについて説明するための図である。 フード部を備えていない信号機の発光部が占めると認識された画像領域の一例を示す図である。 車線に対する信号機の方向を導出することについて説明するための図である。 車両Ｍと交通案内物との距離について説明するための図である。 道路案内物が並べて設置された場面での交通案内物選択部１３２の処理について説明するための図である。 車両Ｍのカメラ１０により撮像された交通標識を含む画像の一例を示す図（その１）である。 車両Ｍのカメラ１０により撮像された交通標識を含む画像の一例を示す図（その２）である。 実施形態の交通案内物認識装置により実行される処理の流れを示すフローチャートである。 実施形態の交通案内物認識装置の一部を含む運転制御装置１００のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の交通案内物認識装置、交通案内物認識方法、およびプログラムの実施形態について説明する。また、以下では、一例として、交通案内物認識装置が自動運転車両に適用された実施形態について説明する。自動運転とは、例えば、車両の操舵または加減速のうち一方または双方を制御して運転制御を実行することである。上述した運転制御には、例えば、ＡＣＣ（Adaptive Cruise Control System）やＬＫＡＳ（Lane Keeping Assistance System）、ＣＭＢＳ（Collision Mitigation Brake System）等の乗員の運転を支援する制御（運転支援機能）も含まれる。また、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
［全体構成］
図１は、実施形態に係る物体認識装置を適用した車両システム１の構成図である。車両システム１が搭載される車両（以下、車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム１は、例えば、カメラ（撮像部の一例）１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、後述する認識部１３０とを組み合わせたものが「交通案内物認識装置」の一例である。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両Ｍの任意の箇所に取り付けられる。例えば、車両Ｍの前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
レーダ装置１２は、車両Ｍの周辺にミリ波等の電波を放射するとともに、放射した範囲に含まれる物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、車両Ｍの任意の箇所に取り付けられる。
物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。カメラ１０は、通常の画像を撮像するものの他、物体の表面温度の変化を撮像する赤外線カメラを含む。カメラ１０に備わる機能によって通常の撮像と赤外線撮像に切り替えるものであってもよい。
通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キー、車室内に設けられた発光装置等を含む。ＨＭＩ３０の構成の一部は、運転操作子８０（例えば、ステアリングホイール）に設けられていてもよい。
車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。加速度は、例えば、車両Ｍの進行方向に関する縦加速度または車両Ｍの横方向に対する横加速度の少なくとも一方を含む。
ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ＧＮＳＳ受信機５１は、車両センサ４０として設けられてもよい。
ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリ等の記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２は、道路形状に基づく走行車線の位置や数、交差点の有無、追越車線の位置、合流・分岐等の情報が含まれる。また、第２地図情報６２には、交通案内物、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等が含まれてよい。交通案内物には、例えば、交通信号機（以下、信号機と称する）や交通標識が含まれる。第２地図情報６２には、地図上の絶対座標における交通案内物の設置位置や正面の向き、交通案内物の種類等の情報が含まれてもよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。
運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。
運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、ＨＭＩ制御部１８０と、記憶部１９０とを備える。記憶部１９０を除く各構成要素は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転制御装置１００の記憶部１９０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで運転制御装置１００の記憶部１９０にインストールされてもよい。
図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。行動計画生成部１４０と、第２制御部１６０とを合わせたものが「運転制御部」の一例である。
第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示等がある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部１３０は、例えば、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、車両Ｍの周辺状況を認識する。例えば、認識部１３０は、車両Ｍの周辺にある物体の位置、向き、および速度、加速度等の状態を認識する。物体には、例えば、歩行者、他車両等の移動体や工事箇所等の障害物、橋等の建造物、交通案内物等が含まれる。なお、ここで認識される交通案内物の交通標識には、例えば、道路付近に設置される交通規制等を示す標示板や、路面に描画された一時停止線（以下、停止線を称する）、その他の標識等が含まれる。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心等）を原点とした相対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域（例えば、外接矩形）で表されてもよい。物体が移動体である場合、物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
また、認識部１３０は、カメラ１０によって撮像された画像に基づいて、信号機の発光部により発光されている光源の色や道路構造（例えば、交差点周辺の道路状況）、その他の道路事象を認識してもよい。
また、認識部１３０は、車両Ｍの周辺状況として、例えば、車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレール等を含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。
また、認識部１３０は、走行車線を認識する際に、走行車線に対する車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、車両Ｍの基準点の車線中央からの乖離、および車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する車両Ｍの基準点の位置等を、走行車線に対する車両Ｍの相対位置として認識してもよい。認識部１３０の交通案内物選択部１３２の機能については、後述する。
行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、認識部１３０による認識結果に基づいて車両Ｍの周辺状況に対応できるように、車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば、０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は、軌道点の間隔で表現される。また、行動計画生成部１４０は、認識部１３０による認識結果に基づいて、より適切な運転制御によって車両Ｍを走行させるための目標軌道を生成する。
行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、接触回避イベント等がある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。
第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。
第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
図１に戻り、ＨＭＩ制御部１８０は、ＨＭＩ３０により、乗員に所定の情報を通知する。所定の情報とは、例えば、車両Ｍの状態に関する情報や運転制御に関する情報等の車両Ｍの走行に関連のある情報である。車両Ｍの状態に関する情報とは、例えば、車両Ｍの速度、エンジン回転数、シフト位置、車両Ｍが従うべき交通案内物により案内された内容等である。車両Ｍが従うべき交通案内物により案内された内容とは、例えば、車両Ｍが従うべき信号機の色や、進行方向の道路の交通標識の内容（例えば、進入禁止、一方通行等）である。また、運転制御に関する情報とは、例えば、ＡＣＣ、ＬＫＡＳ、ＣＭＢＳ等の運転支援機能の動作状態や、運転支援機能が実行された理由に関する情報である。また、所定の情報には、テレビ番組、ＤＶＤ等の記憶媒体に記憶されたコンテンツ（例えば、映画）等の車両Ｍの走行に関連しない情報が含まれてもよい。また、ＨＭＩ制御部１８０は、ＨＭＩ３０により受け付けられた情報を通信装置２０、ナビゲーション装置５０、第１制御部１２０等に出力してもよい。
記憶部１９０は、例えば、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、ＨＤＤ等の不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶装置によって実現される。記憶部１９０には、例えば、交通案内物形状情報１９２およびその他の各種情報が格納される。交通案内物形状情報１９２には、例えば、交通案内物に、形状情報が対応付けられている。交通案内物が信号機である場合、形状情報には、実際に設置された信号機の筐体の縦、横、奥行き等の長さ、縦横比、信号機が備える発光部の直径の長さ、面積等が含まれる。また、交通案内物が交通標識である場合、形状情報には、標示板の縦、横の長さ、標示板または路面に描画されたマークや文字、標示板の面積が含まれる。また、形状情報には、交通案内物の基準形状（例えば、円形、正方形、正三角形等の概略形状）の情報が含まれていてもよい。また、交通案内物形状情報１９２には、交通案内物に対応付けられた設置位置情報が含まれていてもよい。また、交通案内物形状情報１９２は、予め設定された形状情報に代えて（または加えて）、過去にカメラ１０で撮影された画像を用いたディープラーニングによって導出された形状情報が含まれてもよい。
走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。
ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
［交通案内物選択部の機能］
交通案内物選択部１３２は、例えば、車両Ｍの周辺に存在する交通案内物の中から車両Ｍが従うべき交通案内物を選択する。また、交通案内物選択部１３２は、選択した交通案内物に基づいて行動計画生成部１４０に目標軌道を生成させる。図３は、交通案内物選択部１３２の処理について説明するための図である。図３の例では、車線Ｌ１〜Ｌ８が交差点ＣＲ１に連結し、車両Ｍは車線Ｌ１を交差点ＣＲ１に向かって走行しているものとする。交差点ＣＲ１は、変則交差点の一例である。変則交差点には、例えば、交差点に連結する車線のうち少なくとも一部が他の車線に対して直交（許容範囲を含む）していない交差点や、交差点に向かって進行する車両から前方を見た場合に、複数の車線の交通案内物が認識可能に設置されている交差点が含まれる。図３の例において、車線Ｌ１〜Ｌ４は、図中Ｘ軸方向に沿って延伸し、車線Ｌ７、Ｌ８は、図中Ｙ軸方向に沿って延伸し、車線Ｌ５、Ｌ６は、車線Ｌ１〜Ｌ４、Ｌ７、およびＬ８と直交していない車線である。
また、以下では、自車両Ｍが交差点ＣＲ１を通過して車線Ｌ３を走行するものとし、説明の便宜上、交通案内物の一例として、信号機ＴＬ１〜ＴＬ３、停止線ＳＬ１、および横断歩道ＣＷ１のみを示すものとする。信号機ＴＬ１〜ＴＬ３は、例えば、ポールや支柱等の支持部材等により道路脇または道路上の所定の高さに設置される。信号機ＴＬ１は、車線Ｌ１から交差点ＣＲ１に進入する車両に対して進行許可や停止を指示する。信号機ＴＬ２は、車線Ｌ５から交差点ＣＲ１に進入する車両に対して進行許可や停止を指示する。信号機ＴＬ３は、車線Ｌ３を走行し、横断歩道ＣＷ１を通過する車両に対して進行許可や停止を指示する。
交通案内物選択部１３２は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、車両Ｍの前方（進行方向）に存在する交通案内物を認識する。例えば、交通案内物選択部１３２は、車両Ｍが車線Ｌ１を走行中にカメラ１０により撮像された画像等に基づいて、車両Ｍの前方に交通案内物を認識し、認識結果に基づいて車両Ｍが従うべき交通案内物を選択する。以下、車両Ｍが従うべき交通案内物の選択手法を各実施例に分けて説明する。また、以下では、交通案内物として、主に信号機を中心として説明する。
＜第１実施例＞
図４は、車両Ｌ１を走行する車両Ｍのカメラ１０により撮像された信号機ＴＬ１を含む画像ＩＭ１の一例を示す図である。また、図５は、車線Ｌ１を走行する車両Ｍのカメラ１０により撮像された信号機ＴＬ２を含む画像ＩＭ２の一例を示す図である。なお、画像ＩＭ１およびＩＭ２は、カメラ１０により撮像された車両Ｍの前方画像のうち、信号機ＴＬ１およびＴＬ２の周辺の画像領域を切り取ったものである。
信号機ＴＬ１およびＴＬ２は、例えば、筐体ＨＧと、発光部（色灯）ＬＰ１〜ＬＰ３と、フード部ＦＤ１〜ＦＤ３とを備える。発光部ＬＰ１〜ＬＰ３は、それぞれ異なる色を発光する。異なる色とは、例えば、通行許可を示す色（例えば、青色）、停止勧告を示す色（例えば、黄色）、通行禁止（停止指示）を示す色（例えば、赤色）である。なお、実施形態における信号機は、少なくとも通行許可を示す色を発光させる発光部（第１発光部）と通行禁止を示す色を発光させる発光部（第２発光部）と含む構成であればよい。
フード部ＦＤ１〜ＦＤ３は、発光部ＬＰ１〜ＬＰ３のそれぞれの上方に設けられる。図６は、信号機ＴＬ１を横（図４に示す矢印Ａ方向）から見た図である。信号機ＴＬ１を横方向から見た場合、フード部ＦＤ１〜ＦＤ３は、発光部ＬＰ１〜ＬＰ３の発光先に向けて所定の長さだけ突出して構成されている。また、フード部ＦＤ１〜ＦＤ３のそれぞれは、対応する発光部ＬＰ１〜ＬＰ３の少なくとも上部を覆うように外周に沿って湾曲した形状または筒形形状となっている。フード部ＦＤ１〜ＦＤ３は、上述した構成によって、例えば、太陽光が発光部ＬＰ１〜ＬＰ３に差し込むのを抑制したり、降雪により発光部ＬＰ１〜ＬＰ３に雪が付着するのを抑制したりすることで、正面から見たときの発光部ＬＰ１〜ＬＰ３の視認性を向上させる。なお、信号機は、フード部を設けない構成であってもよい。
交通案内物選択部１３２は、画像ＩＭ１およびＩＭ２に含まれる各画素情報（色情報、輝度情報等）に基づいて、エッジ処理等の特徴抽出処理やパターンマッチング処理等により、信号機ＴＬ１およびＴＬ２が占めると認識された画像領域における筐体ＨＧの形状または外接矩形ＣＲを導出する。また、交通案内物選択部１３２は、導出した筐体ＨＧの形状または外接矩形ＣＲから画像平面座標系（ＩＸ，ＩＹ）における縦（ＩＸ軸方向）の長さと横（ＩＹ軸方向）の長さを取得する。また、交通案内物選択部１３２は、画像に含まれる信号機ＴＬ１およびＴＬ２の向きによって、筐体ＨＧの奥行きの長さ（厚み）Ｔ１を取得してもよい。図５の例において、交通案内物選択部１３２は、信号機ＴＬ２の奥行きの長さＴ１＃を認識してもよい。
図４および図５の例において、交通案内物選択部１３２は、画像ＩＭ１およびＩＭ２から、信号機ＴＬ１の筐体ＨＧの形状に対する左右の縦の長さＨ１Ｌ、Ｈ１Ｒおよび横の長さＷ１と、信号機ＴＬ２の筐体ＨＧの形状に対する左右の縦の長さＨ１Ｌ＃、Ｈ１Ｒ＃および横の長さＷ１とを導出する。そして、交通案内物選択部１３２は、画像から取得した縦と横の長さの比（例えば、画像縦横比Ｈ１Ｌ／Ｗ１、Ｈ１Ｌ＃／Ｗ１＃）と、予め交通案内物形状情報１９２に記憶された信号機ＴＬ１およびＴＬ２の正面方向から見た基準縦横比（例えば、縦の長さＨ０／横の長さＷ０）とに基づいて、信号機ＴＬ１およびＴＬ２が、車両Ｍが従うべき信号機であるか否かを判定する。
例えば、交通案内物選択部１３２は、画像縦横比と基準縦横比との類似度が閾値以上である場合、車両Ｍの前方に対して正面を向いている（車両と対面している）信号機であると判定し、信号機ＴＬ１を車両Ｍが従うべき信号機として選択する。また、交通案内物選択部１３２は、画像縦横比と基準縦横比の類似度が閾値未満である場合、信号機ＴＬ１を車両Ｍが従うべき信号機として選択しない。ここで、信号機ＴＬ１は、車両Ｍに対して略正面を向いているため基準縦横比との類似度が高くなり、信号機ＴＬ２は、車両Ｍに対して斜めの方向を向いているため、基準縦横比との類似度が低くなる。そのため、交通案内物選択部１３２は、信号機ＴＬ１を車両Ｍが従うべき信号機として選択し、信号機ＴＬ２を車両Ｍが従うべき信号機として選択しない。
また、第１実施例において、交通案内物選択部１３２は、筐体ＨＧの画像領域における面積と、外接矩形ＣＲの画像領域における面積とを比較し、同一または近似する場合（差が所定値未満）である場合に、車両Ｍの前方に対して正面を向いている信号機であると判定し、同一または近似しない場合に、車両Ｍの前方に対して正面を向いていない信号機であると判定してもよい。このように、第１実施例によれば、変則交差点等により複数の信号機の発光部の色が認識される状況下であっても、車両Ｍが従うべき交通案内物を精度よく認識することができる。また、第１実施例によれば、信号機ＴＬ１およびＴＬ２が占めると認識された画像領域における筐体ＨＧの形状または外接矩形ＣＲを用いることで、信号機ＴＬ１およびＴＬ２の正面の向き（方向ベクトル）を精度よく認識することができる。
＜第２実施例＞
第２実施例において、交通案内物選択部１３２は、上述した縦横比の類似度に代えて（または加えて）、筐体ＨＧまたは外接矩形ＣＲの左右の縦の長さを比較し、比較結果に基づいて、車両Ｍが従うべき信号機を選択する。この場合、交通案内物選択部１３２は、例えば、信号機ＴＬ１が占めると認識された画像領域における筐体ＨＧの左右の縦の長さＨ１Ｌ、Ｈ１Ｒを導出し、導出した長さＨ１Ｌ、Ｈ１Ｒが同一または近似する場合（例えば、長さの差が所定長以下である場合）に、信号機ＴＬ１が正面を向いていると判定し、同一または近似しない場合に、信号機ＴＬ２が正面を向いていないと判定する。上述した判定は、画像領域に含まれる他の信号機についても行われる。そして、交通案内物選択部１３２は、車両Ｍに対して正面を向いている信号機を車両Ｍが従うべき信号機として選択する。このように、第2実施例によれば、第１実施例のように、予め記憶された基準縦横比と比較することなく、簡便に、信号機が正面を向いているか否かを判定することができる。
＜第３実施例＞
第３実施例において、交通案内物選択部１３２は、筐体ＨＧの形状または外接矩形ＣＲで比較することに代えて（または加えて）、信号機ＴＬ１およびＴＬ２のそれぞれの発光部ＬＰ１〜ＬＰ３が横（左右）に配列されている場合に、発光部ＬＰ１〜ＬＰ３が占めると認識された画像領域におけるそれぞれの直径Ｒ１〜Ｒ３、Ｒ１＃〜Ｒ３、または、面積Ｓ１〜Ｓ３、Ｓ１＃〜Ｓ３＃を取得し、各信号機での直径同士または面積同士を比較することで、車両Ｍが従うべき信号機を選択する。
例えば、正面方向から発光部ＬＰ１〜ＬＰ３を見た場合には、各発光部が占めると認識された画像領域は、同一または近似する直径または面積となり、斜め方法から発光部ＬＰ１〜ＬＰ３を見た場合には、遠い方が近い方よりも小さくなる。そのため、各発光部のそれぞれの直径または面積を比較することで、より正確に信号機が車両Ｍの正面を向いているか否かを判定することができる。図４の例において、信号機ＴＬ１の発光部ＬＰ１〜ＬＰ３の直径Ｒ１〜Ｒ３のそれぞれの比率または面積Ｓ１〜Ｓ３のそれぞれの面積比は、１と同一または近似する。この場合、交通案内物選択部１３２は、信号機ＴＬ１が車両Ｍの前方に対して正面を向いていると判定し、信号機ＴＬ１を車両Ｍが従うべき信号機として選択する。また、図５の例において、信号機ＴＬ２の発光部ＬＰ１〜ＬＰ３の直径Ｒ１＃〜Ｒ３＃または面積Ｓ１＃〜Ｓ３＃は、Ｒ３＃、Ｒ２＃、Ｒ１＃の順またはＳ３＃、Ｓ２＃、Ｓ１＃の順で小さくなるため、それぞれの長さ比や面積比は１に近似しない。この場合、交通案内物選択部１３２は、信号機ＴＬ２が車両Ｍの前方に対して正面を向いていないと判定し、信号機ＴＬ２を車両Ｍが従うべき信号機として選択しない。このように、第３実施例によれば、発光部ＬＰ１〜ＬＰ３が占めると認識される画像領域によって、車両Ｍが従うべき信号機を、より適切に選択することができる。
また、図５に示す信号機ＴＬ２のように、車両Ｍに対して正面を向いていない場合、発光部ＬＰ１〜ＬＰ３の一部がフード部ＦＤ１〜ＦＤ３によって隠れることになる。そのため、交通案内物選択部１３２は、発光部ＬＰ１〜ＬＰ３におけるフード部ＦＤ１〜ＦＤ３の遮蔽度合を導出し、導出した遮蔽度合に基づいて、信号機が正面を向いているか否かを判定してもよい。遮蔽度合には、例えば、遮蔽された発光部の画像領域の面積（遮蔽量）や遮蔽方向（どの方向に遮蔽されているか）が含まれる。
図７は、フード部による発光部の遮蔽度合を導出することについて説明するための図である。図７では、画像ＩＭ２に含まれる発光部ＬＰ１とフード部ＦＤ１とを含む部分画像を示している。交通案内物選択部１３２は、例えば、発光部ＬＰ１が占めると認識された画像領域の面積Ｓ１＃を、画像領域の中心を通り、垂直方向（図中のＩＹ軸方向）に沿って延伸させた線で区分された左右の面積Ｓ１＃ＬおよびＳ１＃Ｒを取得する。そして、交通案内物選択部１３２は、例えば、取得した面積Ｓ１＃ＬとＳ１＃Ｒとの差に基づいて、遮蔽度合を導出する。例えは、図７に示すように、面積Ｓ１＃Ｒの方が面積Ｓ１＃Ｌよりも小さく、その差が閾値以上である場合に、交通案内物選択部１３２は、信号機ＴＬ２が車両Ｍの正面から見て左側を向いており、正面を向いていないと判定する。また、交通案内物選択部１３２は、例えば、フード部ＦＤ１や発光部ＬＰ１の標準形状に基づくパターンマッチングにより遮蔽度合を検出してもよい。上述した処理により、正面を向いていないことを認識するだけでなく、車両Ｍの正面に対してどちら側を向いているかについても精度よく認識することができる。
なお、信号機がフード部を備えていない場合、交通案内物選択部１３２は、発光部ＬＰ１〜ＬＰ３が占めると認識された画像領域の形状が交通案内物形状情報１９２に記憶された基準形状（例えば、円形、正方形、正三角形）であるか否かを判定し、基準形状でないと判定された場合に、信号機が正面を向いていないと判定してもよい。
図８は、フード部を備えていない信号機の発光部が占めると認識された画像領域の一例を示す図である。図８の例では、発光部ＬＰ１の発光部が占めると認識された画像領域が示されている。また、以下の説明において、発光部の実際の形状は、円形であるものとする。例えば、交通案内物選択部１３２は、画像領域における発光部ＬＰ１の縦（図中のＩＸ軸方向）の長さＲｈ１と、横（図中ＩＹ軸方向）の長さＲｗ１とを導出し、導出した長さＲｈ１と長さＲｗ１とが同一または近似している場合（例えば、Ｒｈ１とＲｗ１との差が所定値未満である場合）に、発光部ＬＰ１が円形であると判定し、この信号機が正面を向いていると判定する。また、交通案内物選択部１３２は、長さＲｈ１と長さＲｗ１とが同一でないまたは近似していない場合、発光部ＬＰ１は円形ではなく、この信号機が正面を向いていないと判定する。
＜第４実施例＞
例えば、交差点ＣＲ１での右折または左折を行うために、車線Ｌ１内において右側または左側に寄せる場合には、車体の向きが車線に対して斜めになる場合があり、その結果、車両Ｍが従うべき信号機を誤認する可能性がある。そこで、第４実施例において、交通案内物選択部１３２は、車両Ｍの向きを基準にするのに代えて（または加えて）、信号機の正面方向の向きと、車両Ｍが走行する車線を区画する区画線に直交する線とがなす角度を導出し、導出した角度に基づいて信号機の向きを判定することで、車両Ｍが従うべき信号機を選択する。
図９は、車線に対する信号機の方向を導出することについて説明するための図である。図９の例では、車両Ｍが車線Ｌ１を走行する場面について、信号機ＴＬ１およびＴＬ２の向きを導出する例を示している。交通案内物選択部１３２は、車両Ｍが走行する車線Ｌ１を区画する左右の区画線ＬＬおよびＣＬを延伸方向に延ばした仮想線ＬＬ＃およびＣＬ＃を設定し、設定した仮想線ＬＬ＃及びＣＬ＃に直交する線ＯＬと、信号機の正面方向とがなす角度θを導出する。
図９の例において、交通案内物選択部１３２は、信号機ＴＬ１およびＴＬ２と、線ＯＬとがなす角度θ１およびθ２を導出する。そして、交通案内物選択部１３２は、導出した角度θ１、θ２のそれぞれについて、９０度と同一または近似する場合（例えば、８０〜１００度程度である場合）に、車線Ｌ１に垂直な方向を向いていると判定し、車両Ｍが従うべき信号機として選択する。また、角度が９０度に近似しない場合、交通案内物選択部１３２は、車線Ｌ１に垂直な方向を向いていないと判定し、車両Ｍが従うべき信号機として選択しない。図９の例では、車両Ｍが従うべき信号機として信号機ＴＬ１が選択される。このように、第４実施例によれば、車両Ｍの挙動に関係なく、信号機の正確な向きを認識することができ、車両Ｍが従うべき信号機を、より正確に選択することができる。
＜第５実施例＞
第５実施例において、交通案内物選択部１３２は、区画線に代えて（または加えて）、路面に描画された交通標識等の向きを基準に信号機の向きを導出し、導出した結果に基づいて、車両Ｍが従うべき信号機を選択する。例えば、図９では、停止線ＳＬ１が、車線Ｌ１の区画線およびＣＬに直交する方向に長く描画されている。したがって、第５実施例によれば、交通案内物選択部１３２は、停止線ＳＬ１が長く延伸している方向と、信号機の正面方向とがなす角度を導出することで、第４実施例と同様に、車線Ｌ１に対する信号機の向きを取得することができ、取得した向きに基づいて、車両Ｍが従うべき信号機を、より精度よく選択することができる。
＜第６実施例＞
第６実施例において、交通案内物選択部１３２は、認識部１３０により認識された車両Ｍと交通案内物との距離に基づいて車両Ｍが従うべき信号機を選択する。図１０は、車両Ｍと交通案内物との距離について説明するための図である。図１０の例では、図３と同様の場面における車両Ｍと信号機ＴＬ１〜ＴＬとを示している。
認識部１３０は、例えば、カメラ１０やレーダ装置１２、ファインダ１４により車両Ｍの前方に存在する信号機ＴＬ１〜ＴＬ３のそれぞれと車両Ｍとの距離Ｄ１〜Ｄ３を認識する。交通案内物選択部１３２は、認識部１３０により認識された距離Ｄ１〜Ｄ３のうち、最も短い距離Ｄ１に存在する信号機ＴＬ１を車両Ｍが従うべき信号機として選択する。このように、第６実施例によれば、例えば、車両Ｍの正面方向に複数の信号機（図１０に示す信号機ＴＬ１およびＴＬ３）が存在する場合に、信号機ＴＬ３も車両Ｍが従うべき信号機であるが、その前の信号機ＴＬ１を優先することで、より適切な運転制御を実行することができる。
＜第７実施例＞
第７実施例は、同一方向に進行可能な車線が複数ある場合であって、それぞれに信号機が並んで設置されている場面での実施例である。この場合、交通案内物選択部１３２は、車両Ｍから信号機までの距離または車両Ｍの正面方向に対する信号機の角度に基づいて、車両Ｍが従うべき交通案内物を選択する。
図１１は、道路案内物が並べて設置された場面での交通案内物選択部１３２の処理について説明するための図である。図１１の例では、同一方向（図中Ｘ軸方向）に延伸し、同一方向に進行可能な二車線Ｌ１０、Ｌ１１と、それぞれの車線Ｌ１０、Ｌ１１に対応付けて車両の進行許可または停止を案内する信号機ＴＬ４およびＴＬ５が設置されているものとする。また、信号機ＴＬ４およびＴＬ５は、交通案内物選択部１３２により、それぞれが、車両Ｍの正面方向を向いていると判定されたものとする。
この場合、交通案内物選択部１３２は、車両Ｍから信号機ＴＬ４およびＴＬ５までのそれぞれの距離Ｄ４およびＤ５を導出し、導出した距離Ｄ４、Ｄ５のうち距離が短い方の信号機を車両Ｍが従うべき信号機として選択する。また、交通案内物選択部１３２は、車両Ｍの正面方向と車両Ｍから信号機ＴＬ４およびＴＬ５の正面方向とがなす角度θ４およびθ５を導出し、角度が小さい方の信号機を車両Ｍが従うべき信号機として選択する。図１１の例では、距離Ｄ４の方が距離Ｄ５よりも短く、角度θ４の方が角度θ５よりも小さい。したがって、交通案内物選択部１３２は、信号機ＴＬ４を車両Ｍが従うべき信号機として選択する。なお、交通案内物選択部１３２は、上述した距離または角度のうち一方を用いて信号機を選択してもよく、双方を用いて信号機を選択してもよい。
＜第８実施例＞
第８実施例において、交通案内物選択部１３２は、車両Ｍの現在の位置情報に基づいて、第２地図情報６２を参照し、車両Ｍの位置情報の周辺の地図情報から車両Ｍの進行方向に存在する交通案内物の向きを取得し、取得した情報に基づいて、車両Ｍが従うべき交通案内物を選択する。この場合、交通案内物選択部１３２は、例えば、車両Ｍの位置情報や向き情報に基づいて、カメラ１０により撮像された画像に含まれる交通案内物と、第２地図情報から取得した交通案内物とで、特徴情報等に基づくマッチングを行う。そして、交通案内物選択部１３２は、マッチした交通案内物に対して第２地図情報６２で得られた絶対座標に基づく向きを取得する。このように、第８実施例によれば、交通案内物の設置位置や正面の向きを地図上の絶対座標を基準に取得することで、車両Ｍに対する交通案内物の向きを、より正確に取得することができ、取得した向きから車両Ｍが従うべき交通案内物を、より適切に選択することができる。
＜変形例＞
上述の例では、交通案内物として信号機を示したが、交通標識に対しても同様に車両Ｍが従うべき交通標識の選択が行われる。図１２、図１３は、車両Ｍのカメラ１０により撮像された交通標識を含む画像の一例を示す図（その１、その２）である。図１２に示す画像ＩＭ３は、カメラ１０により撮像された車両Ｍの前方画像のうち、交通標識ＭＫ１の周辺の画像領域を切り取ったものである。また、図１３に示す画像ＩＭ４は、カメラ１０により撮像された車両Ｍの前方画像のうち、交通標識ＭＫ２の周辺の画像領域を切り取ったものである。交通標識ＭＫ１およびＭＫ２は、一例として、その先の道路への車両の進入を禁止する標識情報が示されている。
交通案内物選択部１３２は、画像ＩＭ３に含まれる交通標識ＭＫ１および画像ＩＭ４に含まれる交通標識ＭＫ２の大きさ（例えば、直径の長さＲｍ１や表示板全体の面積Ｓｍ１）や交通標識ＭＫ１の特徴領域（例えば、標示板に描画された文字や数値等）から得られる情報（例えば、標示板に描画されたマークの左右の縦の長さＨｍ１、Ｈｍ２や横の長さＷｍ１）を認識する。また、認識された交通標識ＭＫ１およびＭＫ２の大きさや特徴領域から得られる情報と、交通案内物形状情報１９２により得られる情報とに基づいて交通標識ＭＫ１が車両Ｍに対して正面を向いているか否かを判定する。図１２、図１３の例において、交通案内物選択部１３２は、交通標識ＭＫ１およびＭＫ２のうち、交通標識ＭＫ１が車両Ｍに対して正面を向いていると判定し、車両Ｍが従うべき交通標識として、交通標識ＭＫ１を選択する。
また、交通案内物選択部１３２は、上述した各実施例により、交通案内物が正面を向いているか否かを判定するだけでなく、交通案内物が車両Ｍの正面方向に対して、どの程度斜めに向いているかを導出してもよい。この場合、交通案内物選択部１３２は、例えば、第１実施例における画像縦横比と基準縦横比との差の大きさや第２実施例における筐体ＨＧや外接矩形ＣＲの左右の縦の長さ（例えば、Ｈ１Ｌ、Ｈ１Ｒ）の差の大きさに応じて、交通案内物がどの程度斜めに向いているかを導出する。また、交通案内物選択部１３２は、第３実施例における発光部ＬＰ１〜ＬＰ３が占めると認識された画像領域におけるそれぞれの直径Ｒ１〜Ｒ３、または、面積Ｓ１〜Ｓ３の差に応じて交通案内物がどの程度斜めに向いているかを導出してもよい。
上述した第１実施例から第８実施例のそれぞれは、他の実施例の一部または全部を組み合わせてもよい。交通案内物選択部１３２は、車両Ｍの周辺状況や車両Ｍの挙動、乗員による設定等に基づいて、各実施例のうち、少なくとも１つの実施例で示した選択手法を実行する。また、上述した各実施例においては、カメラ１０だけでなく、レーダ装置１２やファインダ１４による検出結果も組み合わせて交通案内物の認識や選択を行ってもよい。複数の実施例で示した選択手法を用いることで、より精度よく車両Ｍが従うべき交通案内物を選択することができる。また、選択した交通案内物により、より適切な車両Ｍの運転制御（乗員への運転支援も含む）を実行することができる。
また、例えば、上述した図３に示す車線Ｌ１から交差点ＣＲ１に進入時に、右折または左折する場合には、車両Ｍの旋回挙動により、他の車線の交通案内物が車両Ｍの正面に存在する場合があり得る。したがって、交通案内物選択部１３２は、車両Ｍが交差点ＣＲ１に進入している場合、または車両Ｍの操舵角が閾値角度以上である場合（右折または左折の挙動である場合）に、上述した交通案内物の選択を実施しないようにしてもよい。これにより、交差点付近において、より適切に車両Ｍが従うべき交通案内物の選択を行うことができる。
［処理フロー］
図１４は、実施形態の交通案内物認識装置により実行される処理の流れを示すフローチャートである。本フローチャートの処理は、主に、交通案内物の認識処理を中心として説明するものとする。本フローチャートの処理は、例えば、所定の周期或いは所定のタイミングで繰り返し実行されてよい。
まず、認識部１３０は、車両Ｍの周辺状況を認識する（ステップＳ１００）。次に、認識部１３０は、車両Ｍの前方に交通案内物が存在するか否かを判定する（ステップＳ１０２）。車両Ｍの前方に交通案内物が存在すると判定された場合、交通案内物選択部１３２は、認識された交通案内物の向きを検出し（ステップＳ１０４）、交通案内物の向きが車両Ｍの前方方向に対して正面を向いているか否かを判定する（ステップＳ１０６）。正面を向いていると判定された場合、交通案内物選択部１３２は、正面を向いている交通案内物が複数存在するか否かを判定する（ステップＳ１０８）。
正面を向いている交通案内物が複数存在すると判定された場合、交通案内物選択部１３２は、車両Ｍからの距離が最も短い交通案内物を、車両Ｍが従うべき交通案内物として選択する（ステップＳ１１０）。また、正面を向いている交通案内物が複数存在しないと判定された場合、正面を向いていると判定された１つの交通案内物を車両Ｍが従うべき交通案内物として選択する（ステップＳ１１２）。これにより、本フローチャートの処理は、終了する。また、ステップＳ１０２の処理において、車両Ｍの前方に交通案内物が存在しないと判定された場合、またはステップＳ１０６の処理において、交通案内物の向きが車両Ｍの進行方向に対して正面を向いていないと判定された場合には、処理を終了する。
上述した実施形態によれば、交通案内物の認識精度を向上させることができる。そのため、車両Ｍが従うべき交通案内物を、より適切に選択することができる。また、上述した実施形態によれば、選択された交通案内物によって、より適切な運転制御を実現することができる。
［ハードウェア構成］
図１５は、実施形態の交通案内物認識装置の一部を含む運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、運転制御装置１００のコンピュータは、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ１００−３、ブートプログラム等を格納するＲＯＭ１００−４、フラッシュメモリやＨＤＤ等の記憶装置１００−５、ドライブ装置１００−６等が、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）等によってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、運転制御装置１００の各構成のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
車両の周辺を撮像する撮像部と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
前記車両の周辺状況を認識し、
前記車両の周辺に存在する交通案内物の中から、前記撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する、
ように構成されている、交通案内物認識装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…車両システム、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、３０…ＨＭＩ、４０…車両センサ、５０…ナビゲーション装置、６０…ＭＰＵ、８０…運転操作子、１００…運転制御装置、１２０…第１制御部、１３０…認識部、１３２…交通案内物選択部、１４０…行動計画生成部、１６０…第２制御部、１６２…取得部、１６４…速度制御部、１６６…操舵制御部、１８０…ＨＭＩ制御部、１９０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、Ｍ…車両

Claims (12)

  1. 車両の周辺を撮像する撮像部と、
    前記車両の周辺状況を認識する認識部と、を備え、
    前記認識部は、前記車両の周辺に存在する交通案内物の中から、前記撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する、
    交通案内物認識装置。
  2. 前記認識部は、前記撮像部により撮像された画像に基づいて前記車両の周辺に存在する交通案内物を認識し、認識した前記交通案内物の形状または特徴領域が占めると認識された画像領域での縦横比に基づいて、前記交通案内物の向きを導出し、導出した向きに基づいて前記車両が従うべき交通案内物を選択する、
    請求項１に記載の交通案内物認識装置。
  3. 前記認識部は、前記車両が走行する車線を区画する区画線が延伸する方向に基づいて、前記交通案内物の向きを導出する、
    請求項１または２に記載の交通案内物認識装置。
  4. 前記認識部は、前記車両の周辺の地図情報を取得し、取得した地図情報から前記車両の前方に存在する前記交通案内物の向きを認識し、認識した向きに基づいて前記車両が従うべき交通案内物を選択する、
    請求項１から３のうち何れか１項に記載の交通案内物認識装置。
  5. 前記認識部は、複数の交通案内物が認識された場合に、前記車両との距離が近い交通案内物を前記車両が従うべき交通案内物として選択する、
    請求項１から４のうち何れか１項に記載の交通案内物認識装置。
  6. 前記交通案内物は、前記車両の進行を許可する色を発光させる第１発光部と、前記車両の進行を禁止する色を発光させる第２発光部とを含む交通信号機を含む、
    請求項１から５のうち何れか１項に記載の交通案内物認識装置。
  7. 前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域との縦横比に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択する、
    請求項６に記載の交通案内物認識装置。
  8. 前記認識部は、前記交通信号機の前記第１発光部と前記第２発光部とが左右に配列されている場合に、前記第１発光部が占めると認識された画像領域と前記第２発光部が占めると認識された画像領域との面積比に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択する、
    請求項６または７に記載の交通案内物認識装置。
  9. 前記交通信号機は、前記第１発光部および前記第２発光部の上方に設けられ、且つ前記第１発光部および前記第２発光部の発光先に向けて突出されたフード部を更に備え、
    前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域の前記フード部による遮蔽度合に基づいて、前記交通信号機の向きを導出し、導出した向きに基づいて前記車両が従うべき交通信号機を選択する、
    請求項６から８のうち何れか１項に記載の交通案内物認識装置。
  10. 前記認識部は、前記第１発光部が占めると認識された画像領域または前記第２発光部が占めると認識された画像領域の左右の面積比に基づいて、前記フード部による遮蔽度合を導出する、
    請求項９に記載の交通案内物認識装置。
  11. コンピュータが、
    車両の周辺状況を認識し、
    前記車両の周辺に存在する交通案内物の中から、車両の周辺を撮像する撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択する、
    交通案内物認識方法。
  12. コンピュータに、
    車両の周辺状況を認識させ、
    前記車両の周辺に存在する交通案内物の中から、車両の周辺を撮像する撮像部により撮像された画像中の交通案内物の形態に基づいて、前記車両が従うべき交通案内物を選択させる、
    プログラム。
JP2018221038A 2018-11-27 2018-11-27 交通案内物認識装置、交通案内物認識方法、およびプログラム Active JP6843819B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018221038A JP6843819B2 (ja) 2018-11-27 2018-11-27 交通案内物認識装置、交通案内物認識方法、およびプログラム
US16/681,855 US11157751B2 (en) 2018-11-27 2019-11-13 Traffic guide object recognition device, traffic guide object recognition method, and storage medium
CN201911153982.7A CN111223315B (zh) 2018-11-27 2019-11-21 交通引导物识别装置、交通引导物识别方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221038A JP6843819B2 (ja) 2018-11-27 2018-11-27 交通案内物認識装置、交通案内物認識方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020086986A true JP2020086986A (ja) 2020-06-04
JP6843819B2 JP6843819B2 (ja) 2021-03-17

Family

ID=70771502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221038A Active JP6843819B2 (ja) 2018-11-27 2018-11-27 交通案内物認識装置、交通案内物認識方法、およびプログラム

Country Status (3)

Country Link
US (1) US11157751B2 (ja)
JP (1) JP6843819B2 (ja)
CN (1) CN111223315B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264031B2 (ja) * 2019-12-09 2023-04-25 トヨタ自動車株式会社 制御装置
KR102550678B1 (ko) 2020-01-22 2023-07-04 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
JP7318614B2 (ja) * 2020-09-07 2023-08-01 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び路面標示システム
KR20220036604A (ko) * 2020-09-16 2022-03-23 현대자동차주식회사 차량 및 그 제어 방법
JP2022128712A (ja) * 2021-02-24 2022-09-05 本田技研工業株式会社 道路情報生成装置
CN113793523B (zh) * 2021-08-06 2023-01-13 华为技术有限公司 一种指挥交通的方法、装置、车载设备及车辆
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor
CN116659540B (zh) * 2023-08-01 2023-10-27 西安博康硕达网络科技有限公司 一种在自动驾驶过程中的交通护栏识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962850B2 (ja) 2013-04-04 2016-08-03 日産自動車株式会社 信号認識装置
JP2015076006A (ja) 2013-10-10 2015-04-20 スズキ株式会社 運転支援装置
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
JP6468173B2 (ja) 2015-12-01 2019-02-13 株式会社デンソー 運転支援装置
US20170270378A1 (en) 2016-03-16 2017-09-21 Haike Guan Recognition device, recognition method of object, and computer-readable recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置

Also Published As

Publication number Publication date
CN111223315A (zh) 2020-06-02
US20200167574A1 (en) 2020-05-28
CN111223315B (zh) 2022-08-05
US11157751B2 (en) 2021-10-26
JP6843819B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
JP6843819B2 (ja) 交通案内物認識装置、交通案内物認識方法、およびプログラム
JP7086798B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7048398B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN110531755B (zh) 车辆控制装置、车辆控制方法及存储介质
JP6745294B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP6601696B2 (ja) 予測装置、予測方法、およびプログラム
WO2018216194A1 (ja) 車両制御システムおよび車両制御方法
JP6710710B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7043295B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN111762113A (zh) 车辆控制装置、车辆控制方法及存储介质
JP6641583B2 (ja) 車両制御装置、車両制御方法、およびプログラム
WO2019073511A1 (ja) 車両制御装置、車両制御方法、及びプログラム
JP7098366B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US10854083B2 (en) Vehicle control device, vehicle control method, and storage medium
JP6827026B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2019185112A (ja) 車両制御装置、車両制御方法、およびプログラム
CN111731256A (zh) 驾驶支援装置、驾驶支援方法及存储介质
JP2020163903A (ja) 表示制御装置、表示制御方法、及びプログラム
CN110194153B (zh) 车辆控制装置、车辆控制方法及存储介质
JP7080091B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20190094881A1 (en) Vehicle control device, vehicle control method, and storage medium
CN112319476A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2022011329A (ja) 制御装置、制御方法、およびプログラム
JP2022036418A (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210224

R150 Certificate of patent or registration of utility model

Ref document number: 6843819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150