JP2022007157A - 車両制御装置 - Google Patents

Abstract

【課題】車両の走行に関する挙動の制御に関連する車両周囲の物体を適切に選択可能な車両制御装置を提供する。
【解決手段】車両制御装置は、車両１０の周囲に存在する複数の物体を検出する物体検出部３１と、車両１０のドライバの顔の向きまたは視線方向を検出する顔向き検出部３２と、検出された複数の物体のうち、ドライバの顔の向きまたは視線方向に沿った方向に位置する少なくとも一つの注視物体を特定する注視物体特定部３３と、検出された複数の物体のうち、車両１０の走行に関する挙動の制御に関連する少なくとも一つの物体を選択する選択部３４と、選択された物体と車両１０との位置関係に基づいて車両１０の走行に関する挙動を制御する車両制御部３５とを有し、選択部３４は、特定された少なくとも一つの注視物体を検出された複数の物体のうちの他の物体よりも選択され易くする。
【選択図】図３

Description

本発明は、車両の走行を制御する車両制御装置に関する。

自車両の運転制御にドライバが注目した他車両の挙動を利用する技術が研究されている（例えば、特許文献１または特許文献２を参照）。例えば、特許文献１には、ドライバの視線方向を検出し、視線方向に存在する物体を検出し、その物体に関する物体情報を取得し、物体が複数検出された場合に、物体に関する物体情報に基づいて、検出された物体の中からドライバの視認物体を推定する技術が提案されている。また、特許文献２には、自車両の運転者が注目する他車両の挙動を検出し、検出された他車両の挙動に対する運転者の違和感を検出し、自車両の走行を制御する際に、違和感が検出された挙動を自車両が行うことを抑制する技術が提案されている。

特開２００９－２５１７７４号公報 特開２０１８－８４９８１号公報

これらの技術では、ドライバの視認方向に基づいてドライバが視認する物体が推定され、あるいは、ドライバが注目する他車両の挙動が自車両の走行の制御に反映される。しかし、自車両の周囲には、ドライバが視認する物体以外の物体も存在することがある。そこで、自車両の周囲に存在する複数の物体の中から車両の走行の制御に関連する物体を適切に選択することが求められる。

そこで、本発明は、車両の走行に関する挙動の制御に関連する車両周囲の物体を適切に選択可能な車両制御装置を提供することを目的とする。

一つの実施形態によれば、車両を自動運転制御する車両制御装置が提供される。この車両制御装置は、車両に搭載された車両の周囲の状況を検知するセンサにより得られたセンサ信号に基づいて車両の周囲に存在する複数の物体を検出する物体検出部と、車両に搭載された、車両のドライバを撮影する車内撮像部により得られた、ドライバの顔の少なくとも一部が表された頭部画像に基づいて、ドライバの顔の向きまたは視線方向を検出する顔向き検出部と、検出された複数の物体のうち、ドライバの顔の向きまたは視線方向に沿った方向に位置する少なくとも一つの注視物体を特定する注視物体特定部と、検出された複数の物体のうち、車両の走行に関する挙動の制御に関連する少なくとも一つの物体を選択する選択部と、選択された物体と車両との位置関係に基づいて、車両の走行に関する挙動を制御する車両制御部とを有し、選択部は、特定された少なくとも一つの注視物体を検出された複数の物体のうちの他の物体よりも選択され易くする。

本発明に係る車両制御装置は、車両の走行に関する挙動の制御に関連する車両周囲の物体を適切に選択できるという効果を奏する。

車両制御装置が実装される車両制御システムの概略構成図である。 車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 注視物体と選択される物体との関係の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、選択された物体に基づく走行予定経路の設定の一例を示す図である。 車両制御処理の動作フローチャートである。

以下、図を参照しつつ、車両制御装置について説明する。この車両制御装置は、車両を自動運転するよう制御する。そのために、この車両制御装置は、車両の周囲に存在する複数の物体を検出し、検出した複数の物体のうちの何れかを、車両の走行に関する挙動（以下、単に車両の挙動と呼ぶことがある）の制御に関連する物体として選択する。その際、この車両制御装置は、ドライバの顔の向きまたは視線方向を検出し、検出した複数の物体の中から、ドライバの顔の向きまたは視線方向に沿った方向に位置する物体、すなわち、ドライバが注視していると想定される物体（以下、注視物体と呼ぶ）を特定する。そしてこの車両制御装置は、特定した注視物体が車両の挙動の制御に関連する物体として選択され易いようにする。これにより、この車両制御装置は、車両の挙動の制御に関連する物体を適切に選択することを可能とする。

図１は、車両制御装置が実装される車両制御システムの概略構成図である。また図２は、車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、GPS受信機２と、カメラ３と、ドライバモニタカメラ４と、ストレージ装置５と、車両制御装置の一例である電子制御装置（ＥＣＵ）６とを有する。GPS受信機２、カメラ３、ドライバモニタカメラ４及びストレージ装置５とＥＣＵ６とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、LiDARあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する距離センサ（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、他の機器と無線通信するための無線通信端末（図示せず）を有していてもよい。さらにまた、車両制御システム１は、車両１０の走行ルートを探索するためのナビゲーション装置（図示せず）を有していてもよい。

GPS受信機２は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両１０の自己位置を測位する。そしてGPS受信機２は、所定の周期ごとに、GPS信号に基づく車両１０の自己位置の測位結果を、車内ネットワークを介してＥＣＵ６へ出力する。なお、車両制御システム１は、GPS受信機２の代わりに、他の衛星測位システムに準拠した受信機を有していてもよい。

カメラ３は、車両１０の周囲の状況を検知するセンサの一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ３は、例えば、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ３により得られた画像は、センサ信号の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両１０の後方へ向けられたカメラが設けられてもよい。

カメラ３は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ６へ出力する。

ドライバモニタカメラ４は、車内撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ４は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ４は、車両１０の運転席に着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ４は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバの頭部を撮影し、ドライバの顔の少なくとも一部が写った画像（以下、カメラ３により得られた画像と区別するために、説明の便宜上、頭部画像と呼ぶ）を生成する。ドライバモニタカメラ４により得られた頭部画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ４は、頭部画像を生成する度に、その生成した頭部画像を、車内ネットワークを介してＥＣＵ６へ出力する。

ストレージ装置５は、例えば、ハードディスク装置、または、不揮発性の半導体メモリを有する。そしてストレージ装置５は、車両の自動運転制御において利用される高精度地図を記憶する。なお、高精度地図には、例えば、その高精度地図に表される所定の領域に含まれる各道路についての車線区画線または停止線といった道路標示を表す情報及び道路標識を表す情報が含まれる。

さらに、ストレージ装置５は、高精度地図の更新処理、及び、ＥＣＵ６からの高精度地図の読出し要求に関する処理などを実行するためのプロセッサを有していてもよい。そしてストレージ装置５は、例えば、車両１０が所定距離だけ移動する度に、無線通信端末（図示せず）を介して地図サーバへ、高精度地図の取得要求を車両１０の現在位置とともに送信し、地図サーバから無線通信端末を介して車両１０の現在位置の周囲の所定の領域についての高精度地図を受信してもよい。また、ストレージ装置５は、ＥＣＵ６からの高精度地図の読出し要求を受信すると、記憶している高精度地図から、車両１０の現在位置を含み、上記の所定の領域よりも相対的に狭い範囲を切り出して、車内ネットワークを介してＥＣＵ６へ出力する。

ＥＣＵ６は、車両１０の走行に関する挙動を制御する。本実施形態では、ＥＣＵ６は、車両１０の周囲に存在する複数の物体を、カメラ３により得られた画像に基づいて検出し、検出した複数の物体の中から、車両１０の挙動の制御に関連する物体を選択し、選択した物体と車両１０との位置関係に基づいて、車両１０の挙動を制御する。その際、ＥＣＵ６は、ドライバモニタカメラ４により得られた頭部画像に基づいてドライバの顔向きまたは視線方向を検出し、その顔向きまたは視線方向に基づいて、検出された複数の物体の中から、少なくとも一つの注視物体を特定する。そしてＥＣＵ６は、注視物体が他の物体よりも選択され易いようにする。

図２に示されるように、ＥＣＵ６は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ６を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、GPS受信機２から自己位置の測位結果を受信する度に、その測位結果をプロセッサ２３へわたす。また、通信インターフェース２１は、カメラ３から画像を受信する度に、受信した画像をプロセッサ２３へわたす。同様に、通信インターフェース２１は、ドライバモニタカメラ４から頭部画像を受信する度に、受信した頭部画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、ナビゲーション装置（図示せず）から走行ルートを受信するとその走行ルートをプロセッサ２３へわたす。さらに、通信インターフェース２１は、ストレージ装置５から読み込んだ高精度地図をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ６のプロセッサ２３により実行される車両制御処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、車両１０の周囲の画像、頭部画像、高精度地図及びカメラ３の内部パラメータなどを記憶する。また、メモリ２２は、地物または他の車両などの検出に利用される、物体検出用の識別器を特定するためのパラメータセット、及び、頭部画像からドライバの顔の各部の検出、顔の向きの判定または視線方向の判定などに利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、車両制御処理の途中で生成される各種のデータを一時的に記憶する。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０に対する車両制御処理を実行する。

図３は、車両制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、顔向き検出部３２と、注視物体特定部３３と、選択部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

物体検出部３１は、ＥＣＵ６がカメラ３から画像を受け取る度に、受け取った画像に基づいて車両１０の周囲に存在する複数の物体を検出する。なお、検出対象となる物体には、例えば、車両１０の周囲を走行する他の車両、車線区画線などの道路標示、及び、速度標識などの道路標識が含まれる。

例えば、物体検出部３１は、画像を識別器に入力することで、車両１０の周囲に存在する複数の物体を検出する。なお、識別器は、画像から車両といった検出対象となる物体を検出するように予め学習される。物体の検出に用いる識別器として、例えば、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)が用いられる。このような識別器は、検出対象となる物体が表された画像とその画像上に表された検出対象物の位置及び種類を示す情報と、検出対象物が表されていない画像とを含む教師データを用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。そしてその識別器を規定するためのパラメータセット（例えば、各層に含まれる各ノードの重み係数など）はメモリ２２に予め記憶される。

この場合、識別器は、画像が入力される度に、その入力された画像の様々な領域について、検出対象となる物体の種類ごとに、その種類の物体がその領域に実際に表されている確からしさを表す確信度を算出する。そして何れかの種類の物体についての確信度が所定の検出閾値以上となる領域が、その種類の物体が表された物体領域として検出される。したがって、識別器は、画像上で検出された物体が表された１以上の物体領域のそれぞれについて、その物体領域の位置及びサイズを表す情報と、その物体領域に表された物体の種類を表す情報と、確信度とを出力する。

また、車両１０に複数のカメラが設けられている場合、物体検出部３１は、カメラごとに、そのカメラにより得られた画像を識別器に入力することで、カメラごとに、物体領域の位置及びサイズを表す情報と、その物体領域に表された物体の種類を表す情報と、その物体領域に表された物体の種類についての確信度とをもとめてもよい。さらに、車両１０がLiDARセンサあるいはレーダといった距離センサ（図示せず）を有している場合には、物体検出部３１は、その距離センサにより得られる測距信号に基づいて車両１０の周囲に存在する物体を検出してもよい。なお、距離センサは、車両１０の周囲の状況を検知するセンサの他の一例であり、測距信号は、センサ信号の他の一例である。例えば、測距信号において、所定の角度範囲以上にわたって、その角度範囲に含まれる各方位における距離センサからの距離の測定値の互いの差の絶対値が所定値以下、かつ、その角方位における距離センサからの距離の測定値が所定の距離以下である場合、物体検出部３１は、その角度範囲に何らかの物体が存在すると判定してもよい。また上記のように、複数のカメラのそれぞれからの画像または距離センサからの測距信号により物体が検出されている場合、物体検出部３１は、それら複数のカメラの車両１０への取り付け位置及び撮影方向と、距離センサの取り付け位置とを参照して、各画像から検出された物体及び測距信号から検出された物体が同一の物体か否か判定してもよい。これにより、同一の物体を検出したカメラ及び距離センサの数が算出される。

物体検出部３１は、検出された物体のそれぞれについて、その物体の方向を表す情報（例えば、画像上でのその物体を含む物体領域の重心の位置、あるいは、測距信号における、検出された物体に相当する角度範囲の中心となる方位）、その物体の種類を表す情報及び確信度を、注視物体特定部３３、選択部３４及び車両制御部３５へ出力する。さらに、物体検出部３１は、検出された物体ごとに、その物体を検出したカメラ及び距離センサの数を選択部３４へ通知してもよい。

顔向き検出部３２は、ＥＣＵ６がドライバモニタカメラ４から頭部画像を受け取る度に、受け取った頭部画像に基づいて、ドライバの顔の向きまたは視線方向を検出する。

顔向き検出部３２は、例えば、頭部画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、その頭部画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。顔向き検出部３２は、そのような識別器として、例えば、CNN型のアーキテクチャを持つDNNまたはAdaBoost識別器を利用することができる。識別器は、物体検出部３１にて説明したように、顔が表された画像及び顔が表されていない画像を含む教師データを用いて、所定の学習手法に従って予め学習されればよい。そして識別器を規定するパラメータセットは、メモリ２２に予め記憶されればよい。

顔向き検出部３２は、頭部画像の顔領域から、ドライバの眼及び口を検出する。その際、顔向き検出部３２は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして顔向き検出部３２は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出すればよい。

顔向き検出部３２は、頭部画像からドライバの視線方向を検出する場合、例えば、頭部画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像（プルキンエ像とも呼ばれる）及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。その際、顔向き検出部３２は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、顔向き検出部３２は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、顔向き検出部３２は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして顔向き検出部３２は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。

また、顔向き検出部３２は、頭部画像からドライバの顔の向きを検出する場合、頭部画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。この場合も、顔向き検出部３２は、例えば、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出することができる。そのような識別器として、顔向き検出部３２は、例えば、CNN型のアーキテクチャを持つDNNまたはAdaBoost識別器を用いることができる。あるいは、顔向き検出部３２は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の特徴点を検出してもよい。なお、顔領域を検出する識別器が、顔領域だけでなく、顔の特徴点を検出するように予め学習されてもよい。この場合には、顔向き検出部３２は、頭部画像を識別器に入力することで、顔領域とともに顔の特徴点も検出することができる。

顔向き検出部３２は、検出した顔の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして顔向き検出部３２は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、顔向き検出部３２は、画像に表された顔の向きを判定する他の手法に従って、頭部画像に基づいてドライバの顔の向きを検出してもよい。

顔向き検出部３２は、ドライバの顔の向きまたは視線方向を検出する度に、検出した顔の向きまたは視線方向を表す情報を注視物体特定部３３へ出力する。

注視物体特定部３３は、所定の周期ごとに、検出された複数の物体のうち、ドライバの顔の向きまたは視線方向に沿った方向に位置する少なくとも一つの注視物体を特定する。

例えば、カメラ３により得られた画像上の位置と、その位置に対応するカメラ３からの方位とは１対１に対応している。そこで、注視物体特定部３３は、カメラ３により得られた最新の画像において、検出されたそれぞれの物体について、その物体が表された物体領域の重心位置に基づいて、カメラ３からその物体への方向を求める。そして注視物体特定部３３は、最新の頭部画像から検出されたドライバの顔の向きまたは視線方向と、検出された物体への方向との差が所定の角度差以下である場合に、ドライバがその検出された物体を注視していると判定する。すなわち、注視物体特定部３３は、注視していると判定された物体を、注視物体として特定する。また、測距信号に基づいて物体が検出されている場合も同様に、注視物体特定部３３は、最新の測距信号において検出された物体の方位とドライバの顔の向きまたは視線方向との差が所定の角度差以下である場合に、ドライバがその検出された物体を注視していると判定すればよい。

あるいは、注視物体特定部３３は、直近の一定期間（例えば、数秒間）にわたって何れかの物体に顔を向け、あるいは視線を向けている場合に、その物体を注視していると判定してもよい。この場合には、注視物体特定部３３は、例えば、カメラ３から取得した時系列の一連の画像のそれぞれから検知された物体を表す物体領域のそれぞれに対して、オプティカルフローを用いた追跡処理といった所定の追跡処理を実行することで、検出された各物体を追跡する。そして注視物体特定部３３は、直近の一定期間に得られた各画像に対して上記と同様の処理を実行することで、画像ごとに注視している物体を特定し、特定した物体がその一定期間にわたって同一であれば、その物体を改めて注視物体として特定すればよい。

あるいはまた、注視物体特定部３３は、ドライバの顔の向きまたは視線方向が、車両１０が走行中の車線（以下、自車線と呼ぶことがある）と隣接する車線（以下、隣接車線と呼ぶことがある）を向いている場合、隣接車線上に位置する物体、例えば、隣接車線を走行する他の車両を注視物体として特定してもよい。この場合、注視物体は複数であってもよい。例えば、注視物体特定部３３は、ドライバの顔の向きまたは視線方向が車両１０の進行方向（すなわち、正面方向）に対して水平方向に沿って所定角度（例えば、20°～40°）以上右側を向いている場合、右側の隣接車線上の物体を注視物体として特定する。逆に、ドライバの顔の向きまたは視線方向が車両１０の進行方向に対して水平方向に沿って所定角度以上左側を向いている場合、注視物体特定部３３は、左側の隣接車線上の物体を注視物体として特定すればよい。なお、この場合も、注視物体特定部３３は、直近の一定期間にわたって、ドライバの顔の向きまたは視線方向が車両１０の進行方向に対して所定角度以上右側（あるいは左側）を向いている場合に、右側（あるいは左側）の隣接車線上の物体を注視物体として特定するようにしてもよい。

この場合、注視物体特定部３３は、追跡中の物体のうち、ドライバが注視する隣接車線上の物体を特定する。そのために、注視物体特定部３３は、検知された複数の物体のうち、識別器により検出された車線区画線が車両１０との間に位置する物体を、隣接車線上に位置する物体として特定すればよい。すなわち、隣接車線上に位置する物体よりも車両１０側に車線区画線が存在するので、カメラ３により得られた画像上では、自車線の右側の隣接車線上に位置する物体が表された物体領域は、自車線の右側の車線区画線が表された物体領域よりも右側に存在する。逆に、自車線の左側の隣接車線上に位置する物体が表された物体領域は、自車線の左側の車線区画線が表された物体領域よりも左側に存在する。したがって、注視物体特定部３３は、検知された複数の物体のそれぞれについて、画像上での水平方向における自車線の右側または左側の車線区画線が表された物体領域の位置とその物体が表された物体領域の位置とを比較することで、その物体が隣接車線上に位置している物体か否かを判定できる。すなわち、注視物体特定部３３は、画像上で、自車線の右側の車線区画線が表された物体領域よりも右側に位置する物体領域に表された物体を、右側の隣接車線上に位置する物体として特定する。同様に、注視物体特定部３３は、画像上で、自車線の左側の車線区画線が表された物体領域よりも左側に位置する物体領域に表された物体を、左側の隣接車線上に位置する物体として特定する。

さらに、注視物体特定部３３は、ドライバの顔の向きまたは視線方向が、ルームミラーが位置すると想定される方向の範囲内に含まれる場合、ルームミラーを介して車両１０の後方を走行する車両を注視していると判定してもよい。すなわち、注視物体特定部３３は、車両１０の後方を走行する車両を注視物体として特定してもよい。なお、ルームミラーが位置すると想定される方向の範囲は、メモリ２２に予め記憶されればよい。この場合、車両１０の後方領域を撮影するように設けられたカメラからの画像に基づいて物体検出部３１が車両１０の周囲の物体を検出し、注視物体特定部３３は、その検知された物体のうちで、自車線上に位置する物体を車両１０の後方を走行する車両として特定すればよい。その際、注視物体特定部３３は、隣接車線上に位置する物体の特定と同様に、画像上での自車線の左右それぞれの車線区画線の位置と、着目する車両が表された物体領域の位置とを比較することで、その車両が自車線上を走行する車両か否かを判定すればよい。さらに、注視物体特定部３３は、ドライバの顔の向きまたは視線方向が、右側のドアミラーが位置すると想定される方向の範囲内に含まれる場合、車両１０の後方かつ右側の隣接車線を走行する車両を注視物体として特定してもよい。同様に、注視物体特定部３３は、ドライバの顔の向きまたは視線方向が、左側のドアミラーが位置すると想定される方向の範囲内に含まれる場合、車両１０の後方かつ左側の隣接車線を走行する車両を注視物体として特定してもよい。なお、ドアミラーが位置すると想定される方向の範囲は、メモリ２２に予め記憶されればよい。これらの場合も、車両１０の後方領域を撮影するように設けられたカメラからの画像に基づいて物体検出部３１が車両１０の周囲の物体を検出し、注視物体特定部３３は、その検知された物体のうちで隣接車線上に位置する物体を、車両１０の後方かつ隣接車線を走行する車両として特定すればよい。

注視物体特定部３３は、ドライバの注視物体を特定する度に、その注視物体を表す情報（例えば、注視物体が表された物体領域を表す情報、例えば、その物体領域の重心位置）を選択部３４へ出力する。

選択部３４は、所定の周期ごとに、検出された複数の物体のうち、車両１０の挙動の制御に関連する少なくとも一つの物体を選択する。その際、選択部３４は、特定された少なくとも一つの注視物体を、検出された複数の物体のうちの他の物体よりも選択され易くする。例えば、選択部３４は、原則として、検出された複数の物体のうち、物体検出部３１により算出された確信度が所定の確信度閾値（ただし、確信度閾値は検出閾値よりも高い値に設定される）以上となる物体を、車両１０の挙動の制御に関連する物体として選択する。あるいは、選択部３４は、物体を検出できたカメラ及び距離センサの数が所定数以上である場合に、その物体を、車両１０の挙動の制御に関連する物体として選択してもよい。あるいはまた、選択部３４は、検出された複数の物体のうち、車両１０からの距離が所定距離以下となる物体を、車両１０の挙動の制御に関連する物体として選択してもよい。この場合、選択部３４は、例えば、検出された物体のそれぞれについて、画像上でその物体が表された物体領域の下端に相当するカメラ３からの方位と、カメラ３の内部パラメータの一つであるカメラ３の路面からの高さとに基づいて、その画像が取得された時の車両１０からその物体までの距離を推定してもよい。あるいは、車両１０がLiDARあるいはレーダといった距離センサを有している場合、選択部３４は、検出された物体のそれぞれについて、画像が取得された時において、画像上でのその物体が表された物体領域の位置に対応する方位についての距離センサによる距離の測定値を、車両１０からその物体までの距離の推定値としてもよい。

しかし、検出された物体の何れかが注視物体である場合、選択部３４は、その注視物体についての確信度が所定の確信度閾値未満であっても、その注視物体を車両１０の挙動の制御に関連する物体として選択する。あるいは、選択部３４は、注視物体を検出できたカメラ及び距離センサの数が所定数未満であっても、その注視物体を車両１０の挙動の制御に関連する物体として選択してもよい。さらに、車両１０からの距離に基づいて車両１０の挙動の制御に関連する物体が選択される場合、選択部３４は、車両１０からその注視物体までの距離が所定距離よりも遠くても、その注視物体を車両１０の挙動の制御に関連する物体として選択してもよい。あるいはまた、注視物体の種類が道路標識である場合、選択部３４は、車両１０からその注視物体までの距離または画像上でのサイズにかかわらず、その注視物体を車両１０の挙動の制御に関連する物体として選択してもよい。

図４は、注視物体と選択される物体との関係の一例を示す図である。図４に示される画像４００において、複数の車両４０１～４０４が検出されている。これらの車両のうち、隣接車線を走行する車両４０３が含まれる物体領域の重心４０３ａへ向かう方向と、ドライバの顔の向きまたは視線方向４１０との差が所定角度差以下となっている。したがって、車両４０３が注視物体として特定されている。この場合、車両４０３について算出された確信度が所定の確信度閾値未満であっても、車両４０３が車両１０の挙動の制御に関連する物体として選択される。なお、注視物体でない車両４０１、４０２及び４０４についても、その車両について算出された確信度が所定の確信度閾値以上であれば、車両１０の挙動の制御に関連する物体として選択される。また上記のように、車両１０からの距離に基づいて車両１０の挙動の制御に関連する物体が選択される場合において、車両４０１については、車両１０からの距離が所定距離以下であり、一方、車両４０１の前方を走行する車両４０２については、車両１０からの距離が所定距離よりも遠いとする。この場合でも、車両４０２が注視物体であれば、車両４０１とともに、注視物体である車両４０２が、車両１０の挙動の制御に関連する物体として選択される。

選択部３４は、選択した物体を表す情報を車両制御部３５へ出力する。

車両制御部３５は、車両１０を自動運転するよう、車両１０の走行に関する挙動を制御する。本実施形態では、車両制御部３５は、検出された車両１０の周囲の複数の物体のうち、選択部３４により選択された物体と車両１０との位置関係に基づいて、車両１０の挙動を制御する。

例えば、車両制御部３５は、目的地までの走行ルートに沿って車両１０が進むよう、直近の所定の区間（例えば、500m～1km）における車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、所定の区間を車両１０が走行する際の各時刻における、車両１０の目標位置の集合として表される。そして車両制御部３５は、その走行予定経路に沿って車両１０が走行するように車両１０の各部を制御する。

その際、車両制御部３５は、物体検出部３１により検出された、車両１０の周囲に存在する複数の物体の何れとも衝突しないように走行予定経路を生成する。そのために、車両制御部３５は、カメラ３により得られた時系列の一連の画像等から検出された車両１０の周囲に存在する各物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。

その際、車両制御部３５は、注視物体特定部３３による追跡結果を利用してもよい。また、車両制御部３５は、各画像の取得時における、車両１０の位置及び姿勢と、追跡結果に示される、検出された他の車両までの推定距離及び車両１０から他の車両へ向かう方向とにより、各画像の取得時における、検出された他の車両の位置を推定することで、他の車両の軌跡を求めることができる。なお、各画像取得時における車両１０の位置及び姿勢は、カメラ３により得られた画像と高精度地図とを照合することで推定されればよい。例えば、車両制御部３５は、車両１０の位置及び姿勢を仮定して、カメラ３から得た画像から検出された道路上の地物（例えば、車線区画線あるいは停止線といった道路標示）をカメラ３の内部パラメータを参照して高精度地図上に投影するか、あるいは、高精度地図上の車両１０の周囲の道路上の地物を画像上に投影する。そして車両制御部３５は、画像から検出された道路上の地物と高精度地図上に表された道路上の地物とが最も一致するときの車両１０の位置及び姿勢を、車両１０の現在位置及び姿勢として推定すればよい。なお、車両制御部３５は、物体検出部３１から受け取った、画像から検出された地物に関する情報を車両１０の位置及び姿勢の推定に利用すればよい。

車両制御部３５は、各画像の取得時における着目する物体の推定位置に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、着目する物体の予測軌跡を推定することができる。

車両制御部３５は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。

さらに、本実施形態では、車両制御部３５は、選択部３４により選択された１以上の物体と車両１０との位置関係を考慮して、走行予定経路を生成する。

図５（ａ）及び（ｂ）は、それぞれ、選択された物体に基づく走行予定経路の設定の一例を示す図である。

図５（ａ）に示される例では、車両１０が走行する自車線５０１の右側の隣接車線５０２を走行する大型車両（例えば、トラックまたはバス）５１０が選択された車両となっている。この場合、車両制御部３５は、車両１０がいわゆるvariable lateral offset(VLO)と呼ばれる挙動を実行するように走行予定経路５２０を設定する。すなわち、車両制御部３５は、大型車両５１０からの距離を所定距離以上とするよう、自車線５０１内で左側寄りに走行予定経路５２０を設定する。特に、大型車両５１０が注視物体である場合、ドライバは、大型車両５１０に対して近付きたくないと考えている可能性が有る。そこで、車両制御部３５は、大型車両５１０が注視物体である場合における車両１０と大型車両５１０間の距離が、大型車両５１０が注視物体でない場合における車両１０と大型車両５１０間の距離よりも大きくなるように走行予定経路５２１を設定する。これにより、車両制御部３５は、大型車両５１０と近付きたくないというドライバの思考を反映するよう、車両１０の挙動を制御できるので、ドライバのストレスを軽減することができる。

なお、車両制御部３５は、隣接車線を走行する他の車両が注視物体である場合、他の車両の種類にかかわらず、車両１０と他の車両間の距離が所定距離以上となるよう、すなわち、車両１０がVLOと呼ばれる挙動を実行するよう、走行予定経路を設定してもよい。これにより、例えば、隣接車線を走行する注視物体が例えば２輪車のような比較的小さな車両である場合も車両１０とその注視物体間の距離を広くすることができるので、車両制御部３５は、ドライバのストレスを軽減することができる。

図５（ｂ）に示される例では、車両１０が走行する自車線５０１の右側の隣接車線５０２を走行する車両５３０の死角５３１に車両１０が位置している。この場合、車両制御部３５は、車両１０が車両５３０の死角５３１から外れるよう、すなわち、車両５３０の死角において車両１０が車両５３０と並走することを回避するよう、例えば、車両１０を減速または加速するよう、走行予定経路５４０を設定する。なお、このような挙動は死角並走回避と呼ばれる。また、他の車両の死角を表す方向の範囲は予め設定され、メモリ２２に記憶されればよい。そして車両制御部３５は、選択された他の車両の軌跡において、その選択された他の車両の位置から見た車両１０の方向が死角を表す方向の範囲に含まれる場合に、車両１０は選択された他の車両の死角に位置すると判定すればよい。本実施形態では、車両制御部３５は、車両５３０が注視物体である場合における車両１０の減速または加速のタイミングを、車両５３０が注視物体でない場合における車両１０の減速または加速のタイミングよりも早くするよう、走行予定経路を設定してもよい。これにより、車両制御部３５は、車両１０が注視物体の死角から早期に外れるようにすることができるので、ドライバのストレスを軽減することができる。

なお、車両制御部３５は、車両１０が上記のVLOと呼ばれる挙動を取りつつ、死角並走回避の挙動を取るように走行予定経路を設定してもよい。また、ドライバが一定期間にわたって隣接車線上に位置する他の車両を注視することで注視物体が設定されている場合には、車両制御部３５は、注視物体である、隣接車線を走行する他の車両の死角に車両１０が含まれていなくても、上記のように、車両１０を加速または減速するよう走行予定経路を設定してもよい。これにより、車両制御部３５は、注視物体である、隣接車線を走行する他の車両と車両１０間の距離を広くすることができる。

さらに、車両制御部３５は、隣接車線を走行する他の車両が注視物体である場合、他の車両が隣接車線から自車線へ車線変更することを、他の車両が注視物体でない場合よりも早期に検出できるようにしてもよい。例えば、車両制御部３５は、他の車両が隣接車線と自車線間の車線区画線間の距離が所定の距離閾値以下となった場合、あるいは、他の車両がその車線区画線をまたいで所定期間を経過すると、隣接車線から自車線へ車線変更したと判定してもよい。この場合、車両制御部３５は、隣接車線を走行する他の車両が注視物体である場合におけるその距離閾値を、他の車両が注視物体でない場合におけるその距離閾値よりも大きくしてもよい。あるいは、車両制御部３５は、隣接車線を走行する他の車両が注視物体である場合におけるその所定期間を、他の車両が注視物体でない場合におけるその所定期間よりも短くしてもよい。これにより、隣接車線を走行する他の車両が注視物体である場合、他の車両が自車線へ車線変更したときにより早期に車両１０が減速するように走行予定経路が設定される。そのため、車両制御部３５は、他の車両が自車線へ車線変更しても他の車両と車両１０間の車間距離を他の車両が注視物体でない場合よりも広くすることができる。したがって、ドライバのストレスが軽減される。

また、注視物体が制限速度表示用の道路標識である場合、車両制御部３５は、車両１０の速度がその道路標識で表された制限速度に近付くように、走行予定経路を設定してもよい。特に、その道路標識が電光掲示式の速度標識である場合のように、状況に応じて変化する制限速度を表していることがある。そこで、ドライバがその速度標識を注視している場合に、車両１０の速度をその速度標識で表されている制限速度に近付けるよう、走行予定経路を設定することで、車両制御部３５は、車両１０の速度に関して、車両１０の挙動をドライバが想定する挙動に近付けることができ、その結果として、ドライバのストレスを軽減することができる。なお、速度標識に表された制限速度は、例えば、物体検出部３１が画像を識別器に入力することで、その速度標識に表された制限速度を認識してもよい。あるいは、車両１０に搭載された無線通信端末（図示せず）を介して、車両制御部３５は、車両１０が走行中の道路の制限速度を表す情報を取得してもよい。

あるいはまた、車両制御部３５は、車両１０の後方を走行する他の車両が注視物体である場合における他の車両と車両１０間の車間距離が、車両１０の後方を走行する他の車両が注視物体でない場合における他の車両と車両１０間の車間距離よりも広くなるように、走行予定経路を設定してもよい。この場合、車両制御部３５は、車両１０の後方を走行する他の車両が注視物体である場合における、車両１０がVLOまたはレーンチェンジを実行するタイミングを、車両１０の後方を走行する他の車両が注視物体でない場合におけるそのタイミングよりも早くするように、走行予定経路を設定してもよい。

車両制御部３５は、走行予定経路を設定すると、車両１０がその走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図６は、プロセッサ２３により実行される、車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごと、以下の動作フローチャートに従って車両制御処理を実行すればよい。

プロセッサ２３の物体検出部３１は、カメラ３により得られた画像に基づいて車両１０の周囲に存在する複数の物体を検出する（ステップＳ１０１）。また、プロセッサ２３の顔向き検出部３２は、ドライバモニタカメラ４により得られた頭部画像に基づいてドライバの顔の向きまたは視線方向を検出する（ステップＳ１０２）。なお、プロセッサ２３は、ステップＳ１０１の処理とステップＳ１０２の処理とをそれぞれ独立に実行してもよい。

プロセッサ２３の注視物体特定部３３は、検出された複数の物体のうち、ドライバの顔の向きまたは視線方向に沿った方向に位置する少なくとも一つの注視物体を特定する（ステップＳ１０３）。また、プロセッサ２３の選択部３４は、注視物体が他の物体よりも選択され易いようにして、検出された複数の物体のうち、車両１０の挙動の制御に関連する１以上の物体を選択する（ステップＳ１０４）。そしてプロセッサ２３の車両制御部３５は、選択された物体と車両１０との位置関係に基づいて、車両１０の挙動を制御する（ステップＳ１０５）。その後、プロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この車両制御装置は、車両の周囲に存在する複数の物体の中から、車両の挙動の制御に関連する少なくとも一つの物体を選択する。その際、この車両制御装置は、ドライバの顔の向きまたは視線方向を検出し、検出した顔の向きまたは視線方向に基づいて複数の物体の中から注視物体を特定する。そしてこの車両制御装置は、複数の物体のうち、注視物体が他の物体よりも選択され易いようにする。これにより、この車両制御装置は、注視物体の挙動を車両の挙動の制御に反映させ易くすることができる。このように、この車両制御装置は、車両の自動運転制御に影響する車両周囲の物体を適切に選択することができる。その結果として、この車両制御装置は、車両の挙動を、ドライバが想定する挙動に近付けることができるので、ドライバのストレスを軽減できる。

変形例によれば、選択部３４は、車室内に設けられた表示装置（図示せず）を介して、ドライバへ、検出された注視物体及び車両の挙動の制御に関連する、選択された物体を通知してもよい。例えば、選択部３４は、カメラ３により得られた画像とともに、その画像上で注視物体を含む物体領域を表す枠線及び選択された物体を含む物体領域を表す枠線を、表示装置に表示させてもよい。なお、注視物体と選択された物体が異なる場合には、選択部３４は、注視物体を含む物体領域を表す枠線の色または線種と、選択された物体を含む物体領域を表す枠線の色または線種とを、互いに異ならせてもよい。さらに、選択部３４は、注視物体が選択される場合には、注視物体に基づいて車両１０の制御が行われることを示すメッセージを表示装置に表示させてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
１０ 車両
２ GPS受信機
３ カメラ
４ ドライバモニタカメラ
５ ストレージ装置
６ 電子制御装置(ＥＣＵ)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 顔向き検出部
３３ 注視物体特定部
３４ 選択部
３５ 車両制御部

Claims (1)

1. 車両の走行に関する挙動を制御する車両制御装置であって、
   前記車両に搭載された前記車両の周囲の状況を検知するセンサにより得られたセンサ信号に基づいて前記車両の周囲に存在する複数の物体を検出する物体検出部と、
   前記車両に搭載された、前記車両のドライバを撮影する車内撮像部により得られた、前記ドライバの顔の少なくとも一部が表された頭部画像に基づいて、前記ドライバの顔の向きまたは視線方向を検出する顔向き検出部と、
   前記複数の物体のうち、前記ドライバの顔の向きまたは視線方向に沿った方向に位置する少なくとも一つの注視物体を特定する注視物体特定部と、
   検出された前記複数の物体のうち、前記車両の走行に関する挙動の制御に関連する少なくとも一つの物体を選択する選択部と、
   選択された前記物体と前記車両との位置関係に基づいて、前記車両の走行に関する挙動を制御する車両制御部と、
   を有し、
   前記選択部は、特定された前記少なくとも一つの注視物体を、検出された前記複数の物体のうちの他の物体よりも選択され易くする、車両制御装置。

Images