JP2020160496A - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Abstract

【課題】矢印が指し示す道路をより精度よく認識することができる車両制御装置、車両制御方法、およびプログラムを提供すること。【解決手段】車両制御装置は、車両の周辺環境を認識する認識部と、前記認識部の認識結果に基づいて、前記車両の操舵および速度を制御する運転制御部と、を備え、前記認識部は、第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識する。【選択図】図１

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。

従来、自車両前方の矢印信号灯が付設された信号機の赤色信号灯が点灯していると判定したとき、矢印信号灯の指示する方向に対する走行レーンと自車両走行レーンとが一致する場合、矢印信号灯に基づいて車両の運転を支援する運転支援方法が開示されている（例えば特許文献１参照）。

特開２００８−２４２９８６号公報

しかしながら、上記の従来技術では、矢印が指し示す道路を精度よく認識することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、矢印が指し示す道路をより精度よく認識することができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御装置は、車両の周辺環境を認識する認識部と、前記認識部の認識結果に基づいて、前記車両の操舵および速度を制御する運転制御部と、を備え、前記認識部は、第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識する車両制御装置である。

（２）：上記（１）の態様において、前記第１方向は、前記矢印式信号を正面から見た方向であり、前記第１情報は、前記矢印式信号の矢印が指し示す指示方向を示す情報であるものである。

（３）：上記（１）または（２）の態様において、前記第２方向は、前記複数の道路を俯瞰する方向であり、前記第２情報は、前記複数の道路を俯瞰方向から見た情報であるものである。

（４）：上記（２）または（３）の態様において、前記第１情報は、前記矢印式信号の矢印が指し示す指示方向が俯瞰方向から見た俯瞰指示方向に変換された情報であるものである。

（５）：上記（４）の態様において、前記統合する処理は、前記認識部が、前記第２情報に前記俯瞰指示方向を反映させる処理であるものである。

（６）：上記（５）の態様において、前記認識部は、前記第１方向を基準に指示方向が鉛直反対方向を指し示す矢印を認識した場合、前記第２情報において、前記車両の進行方向と、前記鉛直反対方向が俯瞰から見た前記方向に変換された前記俯瞰指示方向と、が合致するように、前記第２情報に前記第１情報を反映させるものである。

（７）：上記（５）または（６）の態様において、前記認識部は、少なくとも、前記指示方向が左右のうち特定方向である第１矢印式信号と、前記指示方向が前記特定方向である第２矢印式信号とを認識した場合、前記第１矢印式信号の前記指示方向と、前記第２矢印式信号の前記指示方向とを、前記俯瞰方向から見た前記俯瞰指示方向に変換し、前記俯瞰指示方向を前記第２情報に反映させて、前記第１矢印式信号に対応する道路と、前記第２矢印式信号に対応する道路とを認識するものである。

（８）：上記（１）から（７）のいずれかの態様において、前記認識部は、前記矢印式信号の指示方向を示す矢印を形成する基部と矢先部とを認識し、前記矢先部が指し示す方向を前記矢印式信号が指し示す指示方向として認識するものである。

（９）：上記（１）から（８）のいずれかの態様において、前記認識部は、前記矢印式信号の指示方向を示す矢印を形成する基部と矢先部と、前記矢先部が有する屈曲部を認識し、前記屈曲部側に前記基部が延出する方向を前記矢印式信号が指し示す指示方向として認識するものである。

（１０）：上記（５）から（８）のいずれかの態様において、前記認識部は、前記指示方向が左右のうち特定方向である複数の矢印式信号を認識した場合において、前記複数の道路を俯瞰方向から見た前記第２情報における前記車両の進行方向と、前記複数の矢印式信号を俯瞰方向から見るように変換された前記複数の矢印式信号のそれぞれの矢印の矢先部の方向とがなす第１角が大きい順に前記矢印を一つずつ選択し、前記第２情報における前記車両の進行方向と前記特定方向に延在する道路とのなす第２角が大きい順に前記道路を一つずつ選択し、前記選択における序列が同じ前記なす第１角と前記なす第２角とを組にして、前記矢印が指し示す道路は、前記組における前記矢印に対応する前記道路であると認識するものである。

（１１）：上記（５）から（１０）のいずれかの態様において、前記認識部は、前記矢印式信号の矢印が指し示す指示方向を俯瞰方向から見た俯瞰指示方向に変換し、前記車両が走行する第１道路と、前記第１道路と交差する第２道路とが交差する位置付近を基準に、前記第２情報に前記俯瞰指示方向を反映させるものである。

（１２）：上記（１１）の態様において、前記認識部は、前記第１道路における前記車両が走行する第１走行車線と前記第１走行車線に対する対向車線との第１区画線を延出させた第１仮想線と、前記第２道路における第２走行車線と前記第２走行車線に対する対向車線との第２区画線を延出させた第２仮想線と、が交差する位置付近を前記基準に設定するものである。

（１３）：上記（１）から（１２）のいずれかの態様において、地図情報を記憶した記憶部を更に備え、前記認識部は、前記地図情報を参照して、認識した道路のうち車道を前記複数の道路の対象とするものである。

（１４）：上記（１）から（１３）のいずれかの態様において、前記認識部は、前記矢印式信号の色を認識し、前記運転制御部は、前記認識部により認識された前記色が所定の色でない場合、前記矢印式信号が指示する方向に向かって移動するように、前記車両の操舵および速度を制御しないものである。

（１５）：この発明の一態様に係る車両制御方法は、コンピュータが、車両の周辺環境を認識し、前記認識結果に基づいて、前記車両の操舵および速度を制御し、第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識する車両制御方法である。

（１６）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺環境を認識させ、前記認識結果に基づいて、前記車両の操舵および速度を制御させ、第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識させるプログラムである。

（１）〜（１６）によれば、矢印が指し示す道路をより精度よく認識することができる。

実施形態に係る車両制御装置を利用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 自動運転制御装置１００により実行される特定処理の流れの一例を示すフローチャートである。 基部ｂと矢先部ａとにより形成される矢印の一例を示す図である。 変換処理の概念図である。 ステップＳ１１４および後述するステップＳ１１６の処理の概念図である。 ステップＳ１１８および後述するステップＳ１２０の処理の概念図である。 俯瞰指示方向に対応する道路を認識する処理の他の一例を示す図である。 入口を設定する処理における俯瞰指示方向が指し示す道路が認識される一例を示す図である。 俯瞰指示方向がＵターンを示す際の処理の一例を示す図である。 正面指示方向が鉛直反対方向（Ｚ方向）を示す際の処理の一例を示す図である。 俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−１Ａ）を示す図である。 俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−１Ｂ）を示す図である。 俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−２）を示す図である。 第２実施形態の特定処理の対象となる場面の一例を示す図である。 第２実施形態の自動運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。 ステップＳ２０８の処理について説明するための図である。 ステップＳ２１０の処理を説明するための図である。 導出されるスコアの内容の一例を示す図である。 スコア４が付与される際の概念図である。 スコア４が付与される際の他の概念図である。 第１画像が第２画像に変換される処理の概念図である。 学習モデル２００に入力される画像と、学習モデル２００が出力する情報の一例を示す図である。 第５実施形態の認識部１３０が行う特定処理を説明するための図である。 矢印式信号が指し示す道路が認識される処理の他の一例を示す図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。

［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、信号（矢印式信号を含む）、料金所、その他の道路事象を認識する。また、認識部１３０は、認識した認識対象の色を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１３０は、矢印式信号が指し示す道路を認識する。認識部１３０は、例えば、判定部１３２、処理部１３４、および道路認識部１３６を備える。判定部１３２、処理部１３４、および道路認識部１３６の概要について説明し、詳細については後述する。

判定部１３２は、カメラ１０により撮像された画像を取得し、取得した画像に矢印式信号が含まれるか否か判定する。また、判定部１３２は、画像に矢印式信号が含まれる場合、上記の矢印式信号の色を認識し、認識した色が所定の色であるか判定する。処理部１３４は、画像における矢印式信号の矢印を俯瞰するように見た矢印に変換したり、変換した矢印を俯瞰で見たときの道路に当てはめたりする。

道路認識部１３６は、道瞰指示方向が指し示す道路を認識する。行動計画生成部１４０は、認識部１３０の認識結果に基づいて、自車両Ｍの操作および速度を制御する。この処理の詳細については後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

図２に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

以下の説明において適宜、ＸＹＺ座標系を用いて位置関係等を説明する。Ｘ方向は、自車両Ｍの進行方向であり、Ｙ方向は、進行方向に直交する方向すなわち水平面内でＸ方向に直交する方向である。Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。

［特定処理］
認識部１３０は、第１方向を基準に生成された自車両Ｍの進行方向に存在する矢印式信号の表示する第１情報と、前記第１方向とは別の第２方向を基準に生成された矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する特定処理を行って、複数の道路のうち、矢印式信号が指し示す道路がどれであるかを認識する。

「第１方向」は、矢印式信号を正面（略正面）から見た方向である。正面から見た方向とは、自車両Ｍが進行方向に存在する矢印式信号を、自車両Ｍ側から見た方向である。「第１情報」は、矢印式信号の矢印が指し示す指示方向を示す情報である。また、「第１情報」は、指示方向が俯瞰方向から見た俯瞰指示方向に変換された情報である。

「第２方向」は、複数の道路を俯瞰する方向である。「第２情報」は、複数の道路を俯瞰方向から見た情報である。

「特定処理」は、認識部１３０が、第２情報に俯瞰指示方向を反映させる処理である。以下、この処理の詳細について、図３〜図７を参照して説明する。

図３は、自動運転制御装置１００により実行される特定処理の流れの一例を示すフローチャートである。図３のステップ番号は、図４〜６のステップ番号に相当する。

まず、判定部１３２が、カメラ１０により撮像された画像を取得する（ステップＳ１００）。次に、判定部１３２は、取得した画像に矢印式信号が含まれるか否かを判定する（ステップＳ１０２）。画像に矢印式信号が含まれる場合、認識部１３０は、上記の矢印式信号の色を認識する（ステップＳ１０４）。次に、判定部１３２は、矢印式信号の色が所定の色（例えば緑）であるか否かを判定する（ステップＳ１０６）。

矢印式信号の色が所定の色でない場合、判定部１３２は、ステップＳ１０２で画像に含まれると判定された矢印式信号は、自車両Ｍが従って行動する対象の矢印式信号でないと判定する（ステップＳ１０８）。この場合、自動運転制御装置１００は、矢印式信号が指示する方向に向かって移動するように、自車両Ｍの操舵および速度を制御しない。所定の色とは、法規等で車両が従うことを意味する色（日本国内であれば、例えば緑）である。

例えば、所定の色以外の色とは、車両以外の交通参加者（路面電車など）が従うことを意味する色（日本国内であれば、例えば黄色）である。また、所定の色および所定の色以外の色は、各国や地域によって変更されてもよい。例えば、赤色の矢印式信号が認識された場合、認識部１３０は、矢印式信号が示す方向に進行禁止という意味であることを認識してもよい。

ステップＳ１０６で矢印式信号の色が所定の色であると判定された場合、認識部１３０は、ステップＳ１００で取得された画像における矢印式信号の矢印の指示方向（正面指示方向）を認識する（ステップＳ１１０）。すなわち、第１方向から見たときの矢印式信号の矢印の指示方向を認識する。

認識部１３０は、例えば、矢印式信号の指示方向を示す矢印を形成する基部と矢先部とを認識し、矢先部が指し示す方向を矢印式信号が指し示す指示方向として認識する。図４は、基部ｂと矢先部ａとにより形成される矢印の一例を示す図である。図４の例では、矢先部ａの先端がＺ方向を指し示している。この場合、車両が直進する方向を矢印式信号は指し示している。また、認識部１３０は、矢先部ａが有する屈曲部ｃを認識し、屈曲部ｃ側に基部ｂが延出する方向を矢印式信号が指し示す指示方向として認識してもよい。

次に、処理部１３４が、正面指示方向を俯瞰指示方向に変換する（ステップＳ１１２）。俯瞰指示方向とは、正面から認識された矢印式信号の指示方向を俯瞰方向から把握すると仮定した場合の矢印式信号の指示方向である。例えば、処理部１３４は、所定の変換テーブルを参照して、正面指示方向を俯瞰指示方向に変換してもよいし、所定の関数やアルゴリズムを用いて正面指示方向を俯瞰指示方向に変換してよい。また、地面からの矢印式信号機の設置場所や、基準位置に対する矢印式信号機の設置角度が加味された上記の変換がされてもよい。

図５は、変換処理の概念図である。例えば、処理部１３４は、ＺＹ平面において方向を指し示す正面指示方向を、ＸＹ平面において正面指示方向が指し示す方向に対応する方向を指し示す俯瞰指示方向に変換する。

次に、処理部１３４は、ステップＳ１００で取得された画像、またはステップＳ１００で取得された画像が撮像されたタイミングの前後のタイミングで撮像された画像に基づいて、俯瞰方向から道路の構造を表現した道路情報を生成する（ステップＳ１１４）。例えば、処理部１３４は、所定の変換テーブルを参照して、画像から得られた情報に基づいて道路情報を生成する。なお、道路情報は、地図情報に基づいて、または加味して生成されてもよいし、他の装置と通信して他の装置から取得されてもよい。図６は、ステップＳ１１４および後述するステップＳ１１６の処理の概念図である。

次に、処理部１３４は、ステップＳ１１４で生成した道路情報に基準点を設定する（ステップＳ１１６）。例えば、処理部１３４は、後述する図６のＳ１１６に示すように、自車両Ｍが走行する第１道路Ｒ１と、第１道路Ｒ１と交差する第２道路Ｒ２とが交差する位置付近を基準位置ＳＰとする。第２道路Ｒ２は、例えば、第１道路Ｒ１と直交する道路である。

例えば、処理部１３４は、第１仮想線ＩＭ１と、第２仮想線ＩＭ２と、が交差する位置付近を基準位置ＳＰに設定する。第１仮想線ＩＭ１は、第１道路Ｒ１における自車両Ｍが走行する第１走行車線と第１走行車線に対する対向車線との第１区画線Ｄ１を延出させた仮想線である。第２仮想線ＩＭ２は、第２道路Ｒ２における第２走行車線と第２走行車線に対する対向車線との第２区画線Ｄ２を延出させた仮想線である。

次に、処理部１３４は、基準位置ＳＰに基づいて、道路情報に俯瞰指示方向を当てはめる（ステップＳ１１８）。例えば、処理部１３４は、俯瞰指示方向の矢印の起点（基部ｂの矢先部ａから遠い端部）を基準位置ＳＰに設定する。すなわち、処理部１３４は、道路情報に俯瞰指示方向を反映させる。図７は、ステップＳ１１８および後述するステップＳ１２０の処理の概念図である。

次に、道路認識部１３６が、俯瞰指示方向が指し示す道路を矢印式信号が指し示す道路であると認識する（ステップＳ１２０）。例えば、道路認識部１３６は、道路情報に含まれる各道路Ｒ１〜Ｒ５の入口を設定する。例えば、道路認識部１３６は、道路の第１始点と第２始点とを結んだ仮想線ＩＭ１１〜ＩＭ１５を入口として設定する。道路の始点とは、交差点付近に存在する道路の端部（例えば、他の道路と接続する箇所）である。道路認識部１３６は、俯瞰指示方向の矢印を延在させた場合に、この矢印と接触する入口に対応する道路を、矢印式信号が指し示す道路であると認識する。

例えば、図７の例では、道路認識部１３６は、俯瞰指示方向ＡＲ１は仮想線ＩＭ１１に対応する道路Ｒ４を指し示し、俯瞰指示方向ＡＲ２は仮想線ＩＭ１２に対応する道路Ｒ５を指し示していると認識する。

そして、自動運転制御装置１００は、ステップＳ１２０の認識結果に基づいて、自車両Ｍを制御する（ステップＳ１２２）。例えば、自車両Ｍは、道路Ｒ４に進行する計画を生成している場合において、特定処理結果に基づいて、道路Ｒ４方向に進んでよいことを示すように矢印式信号が点灯したと認識した場合、周辺状況を考慮しながら道路Ｒ４方向に進む。

上述したように、認識部１３０は、特定処理を行うことにより、矢印が指し示す道路をより精度よく認識することができる。ひいては、自動運転制御装置１００は、より精度の高い自動運転を実現することができる。

なお、認識部１３０は、少なくとも、矢印式信号の指示方向が左右のうち特定方向（プラスＹ方向またはマイナスＹ方向）である第１矢印式信号と、指示方向が特定方向である第２矢印式信号を認識した場合、第１矢印式信号の指示方向と、第２矢印式信号の指示方向とを、俯瞰方向から見た俯瞰指示方向に変換し、俯瞰指示方向を道路情報に反映させて、第１矢印式信号に対応する道路と、第２矢印式信号に対応する道路とを認識してもよい。すなわち、指示方向が所定の角度の範囲内に含まれる複数の矢印式信号が存在する場合に、特定処理が行われてもよい。

特定方向とは、例えば、自車両Ｍの進行方向をゼロ度とした場合に、ゼロ度からプラス１８０度、またはゼロ度からマイナス１８０度の方向である。例えば、自車両Ｍの進行方向を基準に右方向を指し示す第１矢印式信号および第２矢印式信号が存在する場合、特定方向はゼロ度からプラス１８０度の方向である。また、当然、一つの矢印式信号が存在する場合であっても、同様の処理が行われてもよい。

［俯瞰指示方向に対応する道路を認識する処理の他の一例（その１）］
図３のステップ１２０の俯瞰指示方向が指し示す道路を矢印式信号が指し示す道路であると認識する処理は、以下のように行われてもよい。

図８は、俯瞰指示方向に対応する道路を認識する処理の他の一例を示す図である。道路認識部１３６は、基準位置ＳＰまたは所定位置に基づいて、道路情報に俯瞰指示方向を当てはめ、更に、道路ベクトルを生成する。道路ベクトルは、道路が延在する方向を示すベクトルである。例えば、道路認識部１３６は、例えば、道路の幅方向の中心点を結んだ線が延在する方向をベクトルの向きとする道路ベクトル（図７のａｒ１〜ａｒ５）を生成する。また、道路ベクトルは、道路の車線を区画線が延在する方向がベクトルの向きとして設定されてもよい。

道路認識部１３６は、俯瞰指示方向ＡＲ１、ＡＲ２のそれぞれと、道路ベクトルのそれぞれとがなす角を導出し、俯瞰指示方向ＡＲ１、ＡＲ２に対するなす角が最小になるような道路を導出する。換言すると、道路認識部１３６は、俯瞰指示方向と道路ベクトルとを網羅的に組み合わせ、これらのなす角の大きさを導出し、導出したなす角の大きさが最小になるような俯瞰指示方向と道路ベクトルとの組み合わせを導出する。道路認識部１３６は、導出した組み合わせの道路ベクトルに対応する道路を俯瞰指示方向が指し示す道路であると認識する。最小になるような俯瞰指示方向と道路ベクトルとの組み合わせとは、それぞれのなす角の大きさが閾値以下となり、それぞれのなす角の大きさが平滑化されるような組み合わせである。

また、上記の処理に代えて、道路認識部１３６は、自車両Ｍの進行方向または自車両Ｍの進行方向に直交する直交方向の俯瞰指示方向が指し示す道路を認識した後、その他の俯瞰指示方向が指し示す道路であると認識してもよい。例えば、図８の例では、道路認識部１３６は、直交方向の俯瞰指示方向ＡＲ２とのなす角の大きさが最小となる道路ベクトルａｒ５を導出し、俯瞰指示方向ＡＲ２の指し示す道路は道路Ｒ５であると認識する。次に、道路認識部１３６は、俯瞰指示方向ＡＲ２と道路ベクトルａｒ５以外の道路ベクトルとのなす角度を導出し、俯瞰指示方向ＡＲ１とのなす角が最小となる道路ベクトルａｒ４を導出し、俯瞰指示方向ＡＲ１の指し示す道路は道路４であると認識する。

なお、図３のフローチャートのステップＳ１２０の処理で説明したように、道路認識部１３６は、道路情報に含まれる各道路の入口を設定する処理においても、自車両Ｍの進行方向、または自車両Ｍの進行方向に直交する直交方向の俯瞰指示方向が指し示す道路を認識した後、その他の俯瞰指示方向が指し示す道路であると認識してもよい。

図９は、入口を設定する処理における俯瞰指示方向が指し示す道路が認識される一例を示す図である。自車両Ｍの進行方向に合致する俯瞰指示方向ＡＲ３と、進行方向に直交する俯瞰指示方向ＡＲ２とに対する道路が認識された後、他の俯瞰指示方向ＡＲ１の道路が認識される処理が行われてもよい。

上述したように、認識部１３０は、特定処理を行うことにより、矢印が指し示す道路をより精度よく認識することができる。

［俯瞰指示方向がＵターンを示す際の処理の他の一例］
図１０は、俯瞰指示方向がＵターンを示す際の処理の一例を示す図である。図３〜９で説明したように、俯瞰指示方向が自車両Ｍの進行方向とは反対方向を指し示す場合、道路認識部１３６は、上述した処理により、俯瞰指示方向は自車両Ｍの対向車線を指し示す道路であると認識する。認識部１３０は、対向車線にＵターンすることが可能であることを認識することができる。

上述したように、認識部１３０は、Ｕターンを示す矢印式信号が存在する場合であっても矢印が指し示す道路をより精度よく認識することができる。

［正面指示方向が鉛直反対方向（Ｚ方向）を示す際の処理の一例］
図１１は、正面指示方向が鉛直反対方向（Ｚ方向）を示す際の処理の一例を示す図である。道路認識部１３６は、第１方向を基準に指示方向が鉛直反対方向を示す矢印を認識した場合、道路情報において、自車両Ｍの進行方向ＰＤと、第１方向を基準にした場合の鉛直反対方向が俯瞰から見た方向に変換された俯瞰指示方向ＡＲ３と、が合致するように、道路情報に指示方向を反映させる。そして、道路認識部１３６は、俯瞰指示方向ＡＲ３は自車両Ｍが進行している道路を指し示していると認識する。なお、この処理は、上述した各処理においても適用されてもよい。

上述したように、認識部１３０は、鉛直反対方向を示す矢印式信号が存在する場合、より容易に矢印が指し示す道路をより精度よく認識することができる。

［俯瞰指示方向に対応する道路を認識する処理の他の一例（その２）］
認識部１３０は、指示方向が左右のうち特定方向である複数の矢印式信号を認識した場合において、以下の処理を行ってもよい。なお、右方向を指し示す矢印式信号と左方向を指し示す矢印式信号とが存在する場合、本処理の対象外とされてもよい。

例えば、認識部１３０は、複数の道路を俯瞰方向から見た道路情報における自車両Ｍの進行方向と、複数の矢印式信号を俯瞰方向から見るように変換された複数の矢印式信号のそれぞれの矢印の矢先部の方向とがなす第１角が大きい順に矢印を一つずつ選択する。認識部１３０は、道路情報における自車両Ｍの進行方向と特定方向に延在する道路とのなす第２角が大きい順に道路を一つずつ選択する。更に、認識部１３０は、選択における序列が同じなす第１角となす第２角とを組にして、矢印が指し示す道路は、組における矢印に対応する道路であると認識する。

例えば、道路１〜３、および俯瞰指示方向１〜３が存在する場合、認識部１３０は、道路１と俯瞰指示方向１とを選択し、これを組とし、道路２と俯瞰指示方向２とを選択し、これを組みとし、道路３と俯瞰指示方向３とを選択し、これを組とする。そして、認識部１３０は、俯瞰指示方向１が指し示す道路は道路１であり、俯瞰指示方向２が指し示す道路は道路２であり、俯瞰指示方向３が指し示す道路は道路３であると認識する。

図１２は、俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−１Ａ）を示す図である。例えば、認識部１３０は、複数の矢印式信号を俯瞰方向から見るように変換された複数の矢印式信号のそれぞれの俯瞰指示方向ＡＲ３、ＡＲ４の矢印の矢先部の方向と、自車両Ｍの進行方向ＰＤとがなす角の大きさθ１、θ２が大きい順に矢印を一つずつ選択する。θ１＞θ２なので、俯瞰指示方向ＡＲ３、ＡＲ４の矢印の順で選択される。

次に、例えば、認識部１３０は、特定方向に延在する道路の基準方向ＡＲｒ１、ＡＲｒ２と、自車両Ｍの進行方向ＰＤとのなす角の大きさθ１１、θ１２が大きい順に基準方向に対応する道路を一つずつ選択する。θ１１＞θ１２なので、基準方向ＡＲｒ１、ＡＲｒ２の順で選択される。

そして、認識部１３０は、矢印を選択した順序と、基準方向を選択した順序とにおいて、同じ序列の矢印と基準方向とを組にして、それぞれが対応すると認識する。上記の例では、俯瞰指示方向ＡＲ３は基準方向ＡＲｒ１に対応する道路を指し示し、俯瞰指示方向ＡＲ４は基準方向ＡＲｒ２に対応する道路を指し示していると認識される。

図１３は、俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−１Ｂ）を示す図である。図１２の例では、Ｕターンを指し示す矢印式信号が表示されるものとした。 図１３の例では、Ｕターンを指し示す矢印式信号が表示されない。例えば、自動運転制御装置１００は、地図情報や他の装置により送信された情報、標識等に基づいて、対象の矢印式信号にはＵターンを指し示す矢印式信号が表示されないことを認識した場合、Ｕターン先の道路Ｒ１を処理対象から除外する。

図１３の例では、認識部１３０は、矢印式信号の俯瞰指示方向ＡＲ４、ＡＲ５の矢印の矢先部の方向と、自車両Ｍの進行方向ＰＤとがなす角の大きさθ２、θ３が大きい順に矢印を一つずつ選択する。θ２＞θ３なので、俯瞰指示方向ＡＲ４、ＡＲ５の矢印の順で選択される。

例えば、認識部１３０は、道路の基準方向ＡＲｒ２、ＡＲｒ３と、自車両Ｍの進行方向ＰＤとのなす角の大きさθ１２、θ１３が大きい順に基準方向に対応する道路を一つずつ選択する。θ１２＞θ１３なので、基準方向ＡＲｒ２、ＡＲｒ３の順で選択される。

認識部１３０は、俯瞰指示方向ＡＲ４は基準方向ＡＲｒ２に対応する道路を指し示し、俯瞰指示方向ＡＲ５は基準方向ＡＲｒ３に対応する道路を指し示していると認識する。

上述したように、認識部１３０は、自車両Ｍの進行方向と道路ベクトルとのなす角と、自車両Ｍの進行方向と俯瞰指示方向とのなす角とに基づいて、矢印式信号が指し示す道路を認識することにより、矢印が指し示す道路をより精度よく認識することができる。

［俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−２）］
図１４は、俯瞰指示方向に対応する道路を認識する処理の他の一例（その２−２）を示す図である。図１４に示すように、矢印式信号が表示される表示枠の数が、Ｕターン先の道路を除いた道路（進行先）の数よりも多い場合、Ｕターンを指し示す矢印式信号が表示されるものとされてもよい。この場合、認識部１３０は、矢印式信号が表示される表示枠のうち最も右側には、Ｕターンを指し示す矢印式信号が表示されると認識する。

図１４の例では、認識部１３０は、表示枠のうち、最も右側に表示される表示枠には何も表示されていないため、Ｕターン対象の道路を処理対象から除外する。例えば、認識部１３０は、表示枠のうち、最も右側に表示される表示枠の次に右側の表示枠に表示される矢印式信号およびそれより左側の表示枠に表示された矢印式信号と、Ｕターン先の道路を除いた道路とを処理対象とする。

上述したように、認識部１３０は、Ｕターンを示す矢印式信号が出現する場合であっても、矢印が指し示す道路をより精度よく認識することができる。

以上説明した第１実施形態によれば、認識部１３０は、第１方向を基準に生成された車両の進行方向に存在する矢印式信号の表示する第１情報と、第１方向とは別の第２方向を基準に生成された矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する特定処理を行って、複数の道路のうち、矢印式信号が指し示す道路を精度よく認識することができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、矢印式信号に対応付けられた設けられた看板、または道路上に表示された路面標示を加味して、矢印式信号が指し示す道路を認識する。以下、第１実施形態との相違点を中心に説明する。

図１５は、第２実施形態の特定処理の対象となる場面の一例を示す図である。例えば、図１５に示すように、矢印式信号に対応付けられて地名が対応付けられていたり、矢印式信号の手前の路面に路面標示が存在していたりする場合、これらの情報が加味されて、矢印式信号の矢印が指し示す道路が認識される。

［フローチャート］
図１６は、第２実施形態の自動運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。まず、認識部１３０が、図３のフローチャートのステップＳ１００〜Ｓ１２０の処理を実行する（ステップＳ２００）。次に、道路認識部１３６が、ステップＳ１２０で認識した道路を道路候補として抽出する（ステップＳ２０２）。

次に、道路認識部１３６は、地図情報を参照して、道路候補の行き先を取得し、取得した行き先と、矢印式信号に対応する看板とに基づいて、第１スコアを導出する（ステップＳ２０４）。第１スコアは、矢印式信号に対応付けられた行き先と、矢印式信号に基づいて抽出された道路候補の行き先との合致度に基づく指標である。

例えば、道路認識部１３６は、画像処理を行って矢印式信号付近に設けられた看板を認識し、更に、地図情報等を参照して、看板に表示された情報が地名や道路名など行き先を示唆する情報（行き先情報）であるか否かを判定する。行き先情報である場合、認識部１３０は、看板の最も近くに存在する矢印式信号の表示枠を認識し、行き先情報は、上記の認識した表示枠の矢印式信号に対応する情報であると認識する。なお、図１５の例では、最も右側の右方向を指し示している矢印式信号に対応する行き先情報は「Ｄ」である。

例えば、認識された矢印式信号に対応する行き先情報が存在する場合、認識部１３０は、行き先情報の行き先と、道路候補の行き先とが合致するか否かを判定し、合致度に応じて第１スコアを導出する。例えば、認識部１３０は、地図情報を参照し、道路の行き先を辿ると、行き先情報の行き先に到達する場合、高い第１スコアを導出し、外れる場合は低い第１スコアを導出し、到達はしないが近くに到達する場合、高いスコアと低いスコアとの間のスコアを導出する。

次に、道路認識部１３６は、第１スコアが閾値以上であるか否かを判定する（ステップＳ２０６）。例えば、複数の道路候補が存在する場合、すべての、道路候補の行き先と、行き先情報の行き先とに対する第１スコアが閾値以上である必要がある。

第１スコアが閾値以上でない場合、道路認識部１３６は、再度、道路候補を設定する（ステップＳ２１６）。例えば、道路候補の行き先が埼玉であり、行き先情報の行き先が千葉であるような場合、第１スコアは閾値未満となる場合がある。例えば、道路認識部１３６は、前回、導出した道路候補の次に、矢印式信号が示す道路である可能性が高い道路を道路候補に設定する。例えば、道路認識部１３６は、前回とは異なる手法（上述した処理または後述する処理）を用いて道路候補を導出したり、処理対象とした画像とは異なるタイミングで撮像された画像を用いて処理を行ったりする。

第１スコアが閾値以上である場合、道路認識部１３６は、路面標示が指し示す道路を認識する（ステップＳ２０８）。図１７は、ステップＳ２０８の処理について説明するための図である。例えば、処理部１３４は、カメラ１０により撮像された画像に含まれる路面標示を認識し、認識した路面標示を俯瞰方向から見た路面標示に変換する。道路認識部１３６は、処理部１３４により変換された路面標示Ｓ１〜Ｓ４を道路情報に対応付ける。そして、道路認識部１３６は、各路面標示Ｓ１〜Ｓ４の方向と、道路ベクトルが指し示す方向とを比較して、路面標示と道路ベクトルとのなす角の大きさが最小になる組み合わせを導出する。なお、マイナスＸ方向側に存在する路面標示ほど、マイナスＸ方向側に延在する道路に対する路面標示である。

道路認識部１３６は、図１７に示すうに、道路ｒ３の道路ベクトルｒｖ３と路面標示Ｓ３との組み合わせがなす角の大きさが最小となり、道路ｒ２の道路ベクトルｒｖ２と路面標示Ｓ２との組み合わせがなす角の大きさが最小となると認識する。そして、道路認識部１３６は、路面標示Ｓ３は道路ｒ３を指し示し、路面標示Ｓ２は道路ｒ２を指し示すと認識する。路面標示に基づいて認識された道路を「特定道路」と称する場合がある。

次に、道路認識部１３６は、矢印式信号の俯瞰指示方向と、俯瞰方向から見た路面標示とに対応する道路を導出する（ステップＳ２１０）。図１８は、ステップＳ２１０の処理を説明するための図である。例えば、道路認識部１３６は、矢印式信号の俯瞰指示方向と、俯瞰方向から見た路面標示の指し示す方向とがなす角の大きさが最小となる組み合わせを導出する。図１８の例では、路面標示Ｓ３と俯瞰指示方向ＡＲ１１との組み合わせと、路面標示Ｓ２と俯瞰指示方向ＡＲ１２との組み合わせとが導出される。道路認識部１３６は、俯瞰指示方向ＡＲ１１は、路面標示Ｓ３に対応付けられた道路ｒ３を指し示し、俯瞰指示方向ＡＲ１２は、路面標示Ｓ２に対応付けられた道路ｒ２を指し示していると認識する。

次に、道路認識部１３６は、矢印式信号における道路候補と、矢印式信号および路面標示に対応する特定道路とが一致するか否かを判定する（ステップＳ２１２）。ステップ道路候補と特定道路とが一致しない場合、ステップＳ２１６の処理に進む。

道路候補と特定道路とが一致する場合、道路認識部１３６は、道路候補を矢印式信号が指し示す道路と認識する（ステップＳ２１４）。これにより、本フローチャートの処理が終了する。

上述したように、認識部１３０は、矢印式信号の周辺の情報を加味することにより、更に、より精度よく矢印式信号が指し示す道路を認識することができる。

［変形例］
なお、上述したような処理の流れに代えて、認識部１３０は、処理結果に対するスコアを導出し、導出したスコアに基づいて、矢印式信号が指し示す道路を認識してもよい。図１９は、導出されるスコアの内容の一例を示す図である。例えば、認識部１３０は、図示するように、矢印式信号と、この矢印式信号に対応する道路候補との組み合わせごとにスコア１〜スコア４を導出し、導出したスコアを統計的に処理して矢印式信号が指し示す道路が認識する。例えば、認識部１３０は、すべての、矢印式信号と、この矢印式信号に対応する道路候補との組み合わせごとのスコア（統合スコア）が閾値以上である場合、矢印式信号が指し示す道路は道路候補であると認識する。

スコア１は、矢印式信号の俯瞰指示方向と、道路候補の道路ベクトルとの合致度に基づくスコアである。合致度が高いほど、スコアは大きく導出される（スコア２、３についても同様である）。スコア２は、矢印式信号に基づいて認識された道路の行き先と、行き先情報の行き先との合致度に基づくスコアである。スコア３は、道路候補と、特定道路との合致度に基づくスコアである。

スコア４は、矢印式信号の表示枠の位置に基づくスコアである。図２０は、スコア４が付与される際の概念図である。例えば、認識部１３０は、複数の矢印式信号の表示枠が存在する信号機において、最も右側の表示枠は自車両Ｍの進行方向に対して、最も角度が大きい方向に道路ベクトルが向いている道路（プラス１８０度（またはマイナス１８０度）に近い方向に延在する道路）に対応する矢印式信号であると認識する。そして、認識部１３０は、複数の表示枠のうち最も右側の矢印式信号に最も角度が大きい道路ベクトルが向いている道路が道路候補として対応付けられている場合、スコアが高くなるようなスコアを付与する。

また、認識部１３０は、２番の表示枠についても、複数の表示枠のうち２番目に右側の矢印式信号に２番目に角度が大きい道路ベクトルが向いている道路が道路候補として対応付けられている場合、スコアが高くなるようなスコアを付与する。

上述したように、認識部１３０は、複数の表示枠における矢印式信号の位置を加味することにより、更に、より精度よく矢印式信号が指し示す道路を認識することができる。

図２１は、スコア４が付与される際の他の概念図である。図２０では、Ｙ方向に並べて設けられた矢印式信号について説明したが、Ｙ方向とＺ方向とに並べて設けられた矢印式信号の場合、以下のように処理が行われてもよい。例えば、図２１では、複数の表示枠のうち最も右側に設けられた表示枠の下側に（マイナスＺ方向）に、矢印式信号が設けられている。

この場合、例えば、認識部１３０は、下側に設けられた矢印式信号は自車両Ｍの進行方向に対して、最も角度が大きい方向に道路ベクトルが向いている道路に対応する矢印式信号であると認識する。そして、認識部１３０は、上述したように、下側に設けられた矢印式信号に最も角度が大きい道路ベクトルが向いている道路が道路候補として対応付けられている場合、スコアが高くなるようなスコアを付与する。

また、認識部１３０は、最も右側の矢印式信号に２番目に角度が大きい道路ベクトルが向いている道路が道路候補として対応付けられている場合、スコアが高くなるようなスコアを付与する。

上述した処理により、認識部１３０は、上下方向に矢印式信号が表示される場合であっても、複数の表示枠における矢印式信号の位置を加味することにより、更に、より精度よく矢印式信号が指し示す道路を認識することができる。

以上説明した第２実施形態によれば、認識部１３０が、矢印式信号が存在する周辺の情報や、複数の表示枠における矢印式信号が表示される位置を加味することにより、更に、より精度よく矢印式信号が指し示す道路を認識することができる。

＜第３実施形態＞
以下、第３実施形態について説明する。第３実施形態では、認識部１３０は、撮像された第１画像に含まれる信号を、第２画像に変換し、第２画像を用いて、矢印式信号が指し示す道路を認識する。以下、第１実施形態または第２実施形態との相違点を中心に説明する。

図２２は、第１画像が第２画像に変換される処理の概念図である。例えば、認識部１３０は、第１画像において矢印式信号の位置と撮像位置との相対位置を認識し、認識した相対位置が、矢印式信号が撮像位置から正面に位置するような相対関係でない場合、第１画像を第２画像に変換する変換処理を行う。例えば、認識部１３０は、第１画像に含まれる画像要素（例えば看板や標識、信号機、またはこれらに含まれる特徴箇所等）と、要素を各方向から見たときのテンプレートとを比較して、画像要素に合致する要素を有するテンプレートを抽出する。そして、認識部１３０は、抽出したテンプレートに対応付けられた撮像方向を認識する。

認識部１３０は、変換情報を参照して、撮像方向に基づいて、第１画像を第２画像に変換する。変換情報とは、例えば、撮像方向ごとに規定された第１画像を第２画像に変換する関数やパラメータ、座標に関する情報等である。

以上説明した第３実施形態によれば、認識部１３０が、所定の方向から見たときの矢印式信号を含む第１画像を、第２画像に変換することで、正面視で表現された矢印式信号を特定処理に利用することができる。この結果、認識部１３０は、より精度よく矢印式信号が示す道路を認識することができる。

＜第４実施形態＞
以下、第４実施形態について説明する。第４実施形態では、認識部１３０は、学習済モデル２００を用いて特定処理を行う。以下、第１実施形態から第３実施形態との相違点を中心に説明する。

図２３は、学習済モデル２００に入力される画像と、学習済モデル２００が出力する情報の一例を示す図である。認識部１３０は、記憶装置に記憶された学習済モデル２００に画像を入力し、学習済モデル２００により出力された結果を用いて、正面から矢印式信号を見たときの矢印式信号が指し示す方向を認識してもよい。

例えば、学習済モデル２００は、不図示の学習装置が学習データを機械学習して生成したモデルである。学習済モデル２００は、ニューラルネットワークなどの機械学習を利用したモデルである。学習データは、様々な方向から撮像された矢印式信号を含む学習画像と、正面から矢印式信号を見たときの矢印式信号が指し示す方向を示す情報（正解データ）とが対応付けられた情報を含む。例えば、学習装置は、学習データに含まれる学習画像をモデルに入力した場合に、学習モデルが学習画像に対応付けられた正解データを出力するように、学習モデルに含まれる係数や重みを調整することで学習済モデル２００を生成する。

なお、学習済モデル２００は、俯瞰指示方向を出力してもよい。学習済モデル２００は、矢印式信号の撮像方向を出力するモデルであってもよい。

上述したように、認識部１３０は、予め用意された学習済モデル２００を利用することにより、処理負荷を抑制して、より精度よく矢印式信号が示す道路を認識することができる。

以上説明した第４実施形態によれば、認識部１３０が、学習済モデル２００を用いて特定処理を行うことにより、容易且つ精度よく、矢印式信号が指し示す道路を認識することができる。

なお、学習済モデル２００は、第１情報（例えば正面視方向から撮像された画像）と、第２情報（俯瞰方向から見た道路情報）とを入力すると、矢印式信号が指し示す道路を示す情報を出力するモデルであってもよい。この場合、例えば、学習済モデル２００が出力する情報は、交差点パターン１〜Ｎ（「Ｎ」は任意の自然数）のうち、所定の交差点パターンに該当し、更に、所定の交差点パターンの道路において矢印信号は道路ｎ１、道路ｎ２を指し示していることを示す情報を出力する。例えば、学習装置は、学習情報をモデルに入力した場合に、学習モデルが学習情報に対応付けられた正解情報を出力するように、学習モデルに含まれる係数や重みを調整することで学習済モデル２００を生成する。学習情報は、第１情報および第２情報であり、正解情報は、道路のパターンと道路のパターンにおいて矢印式信号が指し示す道路を示す情報とが対応付けられた情報である。

なお、学習モデルは、正面視方向から撮像された画像における矢印式信号が指し示す方向と、俯瞰方向に対応する道路ベクトルとが入力されると、矢印式信号に対応する道路ベクトル、または矢印式信号と道路ベクトルとの組み合わせを出力するモデルであってもよい。

＜第５実施形態＞
以下、第４実施形態について説明する。第５実施形態では、認識部１３０は、地図情報を参照して、認識した道路のうち車道を複数の道路の対象とし、それ以外の道路を複数の道路の対象外とする。以下、第１実施形態から第４実施形態との相違点を中心に説明する。

図２４は、第５実施形態の認識部１３０が行う特定処理を説明するための図である。例えば、認識部１３０は、地図情報を参照して、俯瞰方向から見た道路情報を取得する。例えば、図示するように、認識部１３０が、道路ｒ１〜ｒ５を認識したものとする。地図情報には、道路の種別が対応付けられているものとする。例えば、道路ｒ１〜ｒ４は車道であり、道路ｒ５は歩道であるものとする。この場合、認識部１３０は、車道である道路ｒ１〜ｒ４の道路を特定処理の処理対象とし、道路ｒ５を特定処理の処理対象外とする。

また、認識部１３０は、所定の基準を満たさない道路を処理対象外としてもよい。所定の基準を満たさない道路とは、道幅が所定幅以下の道路や、中央車線などの道路区画線を有さない道路等である。

以上説明した第５実施形態によれば、認識部１３０は、処理対象外の道路を除外して、特定処理を行うことができるため、より精度よく矢印式信号が指し示す道路を認識することができる。

上記処理では、認識部１３０は、矢印式信号が示す方向を俯瞰方向から見たときの方向に変換したが、これに代えて、（１）道路が延在する方向を正面から見たときの信号を示す情報に当てはめて、矢印式信号が指し示す道路を認識してもよい。以下、図２５を参照して説明する。

図２５は、矢印式信号が指し示す道路が認識される処理の他の一例を示す図である。例えば、認識部１３０は、正面から見たときの信号を示す情報（図中、ＡＲ２１、ＡＲ２１）に対して、道路ベクトルａｒ１〜５を当てはめてもよい。この場合、自車両Ｍの進行方向および進行方向と同じ方向を向いている道路ベクトルを、鉛直反対方向（正面から見たときのＺ方向）に合わせる。これにより、矢印式信号が指し示す方向と、矢印式信号が指し示す方向の道路の道路ベクトルの方向とが合致する。認識部１３０は、上記処理で合致した矢印式信号が示す方向に合致する方向を有する道路ベクトルに対応する道路を、矢印式信号が指し示す道路と認識する。

上述した処理により、認識部１３０は、より精度よく矢印式信号の指し示す道路を認識することができる。

また、認識部１３０は、高精度地図を参照して、高精度地図に交差点に接続される道路の情報や、矢印式信号が指し示す道路の情報等が含まれている場合、画像における矢印式信号の情報と、高精度地図とに基づいて、矢印式信号が指し示す道路を認識してもよい。認識部１３０は、高精度地図に高精度地図に交差点に接続される道路の情報や、矢印式信号が指し示す道路の情報等が判定基準を満たす程度含まれていない場合、画像から得られた道路の情報を参照して、または高精度地図（または地図情報）に画像から得られた情報を統合した情報を参照して、道路情報を取得し、取得した道路情報を用いて矢印式信号が指し示す道路を認識してもよい。

また、認識部１３０は、自車両Ｍの位置情報と、走行する地域の法規を示す情報とに基づいて、第１法規が適用される地域から第２法規が適用される地域を自車両Ｍが走行すると判定した場合、第２法規に基づく処理を行う。この場合、認識部１３０は、第２法規に対応するプログラムに従って処理を実行したり、第２法規に基づいて生成された情報を参照して処理を実行したりする。

上述した各実施形態の一部、各実施形態の全部、各実施形態における一部の処理、各実施形態における全部の処理は、組み合わされて実行されてもよい。また、図３および図１６のフローチャートの一部の処理は省略されてもよい。また、図３および図１６のフローチャートの一部または全部の処理は適宜組み合わされて実行されてもよい。

［ハードウェア構成］
図２６は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、判定部１３２、処理部１３４、および道路認識部１３６のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の周辺環境を認識し、
前記認識結果に基づいて、前記車両の操舵および速度を制御し、
第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、
前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、
前記複数の道路のうち、前記矢印式信号が指し示す前記道路を認識する、
ように構成されている車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥車両システム、１０‥カメラ、１６‥物体認識装置、１００‥自動運転制御装置、１２０‥第１制御部、１３０‥認識部、１３２‥判定部、１３４‥処理部、１３６‥道路認識部、１４０‥行動計画生成部、１６０‥第２制御部、１６４‥速度制御部、１６６‥操舵制御部

Claims (16)

1. 車両の周辺環境を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の操舵および速度を制御する運転制御部と、
   を備え、
   前記認識部は、
   第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、
   前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、
   前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識する、
   車両制御装置。
2. 前記第１方向は、前記矢印式信号を正面から見た方向であり、
   前記第１情報は、前記矢印式信号の矢印が指し示す指示方向を示す情報である、
   請求項１に記載の車両制御装置。
3. 前記第２方向は、前記複数の道路を俯瞰する方向であり、
   前記第２情報は、前記複数の道路を俯瞰方向から見た情報である、
   請求項１または２に記載の車両制御装置。
4. 前記第１情報は、前記矢印式信号の矢印が指し示す指示方向が俯瞰方向から見た俯瞰指示方向に変換された情報である、
   請求項２または３に記載の車両制御装置。
5. 前記統合する処理は、前記認識部が、前記第２情報に前記俯瞰指示方向を反映させる処理である、
   請求項４に記載の車両制御装置。
6. 前記認識部は、
   前記第１方向を基準に指示方向が鉛直反対方向を指し示す矢印を認識した場合、
   前記第２情報において、前記車両の進行方向と、前記鉛直反対方向が俯瞰から見た前記方向に変換された前記俯瞰指示方向と、が合致するように、前記第２情報に前記第１情報を反映させる、
   請求項５に記載の車両制御装置。
7. 前記認識部は、
   少なくとも、前記指示方向が左右のうち特定方向である第１矢印式信号と、前記指示方向が前記特定方向である第２矢印式信号とを認識した場合、
   前記第１矢印式信号の前記指示方向と、前記第２矢印式信号の前記指示方向とを、前記俯瞰方向から見た前記俯瞰指示方向に変換し、
   前記俯瞰指示方向を前記第２情報に反映させて、
   前記第１矢印式信号に対応する道路と、前記第２矢印式信号に対応する道路とを認識する、
   請求項５または６に記載の車両制御装置。
8. 前記認識部は、
   前記矢印式信号の指示方向を示す矢印を形成する基部と矢先部とを認識し、
   前記矢先部が指し示す方向を前記矢印式信号が指し示す指示方向として認識する、
   請求項１から７のうちいずれか１項に記載の車両制御装置。
9. 前記認識部は、
   前記矢印式信号の指示方向を示す矢印を形成する基部と矢先部と、前記矢先部が有する屈曲部を認識し、
   前記屈曲部側に前記基部が延出する方向を前記矢印式信号が指し示す指示方向として認識する、
   請求項１から８のうちいずれか１項に記載の車両制御装置。
10. 前記認識部は、
    前記指示方向が左右のうち特定方向である複数の矢印式信号を認識した場合において、
    前記複数の道路を俯瞰方向から見た前記第２情報における前記車両の進行方向と、前記複数の矢印式信号を俯瞰方向から見るように変換された前記複数の矢印式信号のそれぞれの矢印の矢先部の方向とがなす第１角が大きい順に前記矢印を一つずつ選択し、
    前記第２情報における前記車両の進行方向と前記特定方向に延在する道路とのなす第２角が大きい順に前記道路を一つずつ選択し、
    前記選択における序列が同じ前記なす第１角と前記なす第２角とを組にして、
    前記矢印が指し示す道路は、前記組における前記矢印に対応する前記道路であると認識する、
    請求項５から９のうちいずれか１項に記載の車両制御装置。
11. 前記認識部は、
    前記矢印式信号の矢印が指し示す指示方向を俯瞰方向から見た俯瞰指示方向に変換し、
    前記車両が走行する第１道路と、前記第１道路と交差する第２道路とが交差する位置付近を基準に、前記第２情報に前記俯瞰指示方向を反映させる、
    請求項５から１０のうちいずれか１項に記載の車両制御装置。
12. 前記認識部は、
    前記第１道路における前記車両が走行する第１走行車線と前記第１走行車線に対する対向車線との第１区画線を延出させた第１仮想線と、
    前記第２道路における第２走行車線と前記第２走行車線に対する対向車線との第２区画線を延出させた第２仮想線と、が交差する位置付近を前記基準に設定する、
    請求項１１に記載の車両制御装置。
13. 地図情報を記憶した記憶部を更に備え、
    前記認識部は、前記地図情報を参照して、認識した道路のうち車道を前記複数の道路の対象とする、
    請求項１から１２のうちいずれかの１項に記載の車両制御装置。
14. 前記認識部は、前記矢印式信号の色を認識し、
    前記運転制御部は、前記認識部により認識された前記色が所定の色でない場合、前記矢印式信号が指示する方向に向かって移動するように、前記車両の操舵および速度を制御しない、
    請求項１から１３のうちいずれかの１項に記載の車両制御装置。
15. コンピュータが、
    車両の周辺環境を認識し、
    前記認識結果に基づいて、前記車両の操舵および速度を制御し、
    第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、
    前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、
    前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識する、
    車両制御方法。
16. コンピュータに、
    車両の周辺環境を認識させ、
    前記認識結果に基づいて、前記車両の操舵および速度を制御させ、
    第１方向を基準に生成された前記車両の進行方向に存在する矢印式信号の表示する第１情報と、
    前記第１方向とは別の第２方向を基準に生成された前記矢印式信号付近に存在する複数の道路の構造に関する第２情報と、を統合する処理を行って、
    前記複数の道路のうち、前記矢印式信号が指し示す前記道路がどれであるかを認識させる、
    プログラム。

Images