JP2022144145A

JP2022144145A - 車両

Info

Publication number: JP2022144145A
Application number: JP2021045029A
Authority: JP
Inventors: 優太郎津川; Yutaro Tsugawa; 健一郎原; Kenichiro Hara; 広海根本; Hiromi Nemoto
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2022-10-03

Abstract

【課題】運転者の顔を表す顔画像から算出される顔向きまたは視線方向を用いて適切に走行を制御することができる車両を提供する。
【解決手段】車両は、画像から検出された運転者の顔の特徴点に基づいて運転者の顔向きを算出する第１算出部と、第１の時刻に対応する画像から検出された特徴点を第１の時刻よりも後の第２の時刻に対応する画像において追跡することで検出された、第２の時刻に対応する特徴点に基づいて顔向きを算出する第２算出部と、第２算出部により算出された第２の時刻に対応する顔向きが車両を緊急停止すべき条件を満たすと判定された場合、第１算出部により算出された第２の時刻に対応する顔向きが条件を満たすか否かをさらに判定する判定部と、第２算出部により算出された顔向きが条件を満たし、かつ、第１算出部により算出された顔向きが条件を満たすと判定された場合、緊急停止するように車両を制御する実行部と、を備える。
【選択図】図６

Description

本発明は、走行制御装置により走行を制御可能な車両に関する。

走行制御装置により走行が自動制御される車両の運転者は、周辺監視を要求される場合がある。

特許文献１には、車室内カメラの撮像画像から算出される顔向きまたは視線方向に基づいて、乗員が自車両の周辺を監視しているか否かを判定し、監視していない場合、車両を停止させる車両制御システムが記載されている。

国際公開第２０１８／２２０８２６号

運転者の顔向きまたは視線方向は、運転者の顔を表す顔画像から検出される特徴点を用いて算出される。また、前の顔画像から検出された特徴点の位置を、後の顔画像の特徴点検出に用いることで、特徴点を効率よく検出することができる。

前の顔画像で特徴点が誤検出された場合、後の顔画像で特徴点を適切に検出することができないため、顔向きまたは視線方向が適切に算出されない。そのため、走行制御装置は、車両を停止させる必要のない状況にもかかわらず車両を停止させるなど、運転者にとって好ましくない走行制御を行う場合がある。

本発明は、運転者の顔を表す顔画像から算出される顔向きまたは視線方向を用いて適切に走行を制御することができる車両を提供することを目的とする。

本発明にかかる車両は、車両の運転者の顔を表すように時系列に生成される複数の画像のうちいずれかの画像から検出された運転者の顔の特徴点に基づいて、運転者の顔向きまたは視線方向を算出する第１算出部と、複数の画像のうち第１の時刻に対応する画像から検出された特徴点を、複数の画像のうち第１の時刻よりも後の第２の時刻に対応する画像において追跡することで、第２の時刻に対応する画像から特徴点を検出し、検出された特徴点に基づいて顔向きまたは視線方向を算出する第２算出部と、第２算出部により第２の時刻に対応する画像から算出された顔向きまたは視線方向が車両を緊急停止すべき条件を満たすか否かを判定し、条件が満たされると判定した場合、第１算出部により第２の時刻に対応する画像から算出された顔向きまたは視線方向が条件を満たすか否かをさらに判定する判定部と、第２算出部により算出された顔向きまたは視線方向が条件を満たし、かつ、第１算出部により算出された顔向きまたは視線方向が条件を満たすと判定された場合、緊急停止するように車両を制御する実行部と、を備える。

本発明にかかる車両は、運転者の顔を表す顔画像から算出される顔向きまたは視線方向を用いて適切に走行を制御することができる。

車両の概略構成図である。算出装置のハードウェア模式図である。算出装置が有するプロセッサの機能ブロック図である。走行制御装置のハードウェア模式図である。走行制御装置が有するプロセッサの機能ブロック図である。算出装置および走行制御装置の動作シーケンス図である。

以下、図面を参照して、運転者の顔を表す顔画像から算出される顔向きまたは視線方向を用いて適切に走行を制御することができる車両について詳細に説明する。車両は、車両の運転者の顔を表すように時系列に生成される複数の画像のうちいずれかの画像から検出された運転者の顔の特徴点に基づいて、運転者の顔向きまたは視線方向を算出する第１算出部を備える。また、車両は、複数の画像のうち第１の時刻に対応する画像から検出された特徴点を、複数の画像のうち第１の時刻よりも後の第２の時刻に対応する画像において追跡することで、第２の時刻に対応する画像から特徴点を検出し、検出された特徴点に基づいて顔向きまたは視線方向を算出する第２算出部を備える。車両の判定部は、第２算出部により第２の時刻に対応する画像から算出された顔向きまたは視線方向が車両を緊急停止すべき条件を満たすか否かを判定し、条件が満たされると判定した場合、第１算出部により第２の時刻に対応する画像から算出された顔向きまたは視線方向が条件を満たすか否かをさらに判定する。そして、車両の実行部は、第２算出部により算出された顔向きまたは視線方向が条件を満たし、かつ、第１算出部により算出された顔向きまたは視線方向が条件を満たすと判定された場合、緊急停止するように車両を制御する。

図１は、車両の概略構成図である。

車両１は、周辺カメラ２と、ドライバモニタカメラ３と、算出装置４と、走行制御装置５とを有する。周辺カメラ２およびドライバモニタカメラ３と、算出装置４および走行制御装置５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

周辺カメラ２は、車両の周辺が表された周辺画像を生成するための周辺撮影部の一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況が表された周辺画像を出力する。

ドライバモニタカメラ３は、車両の運転者の顔領域を表す顔画像を生成するための運転者撮影部の一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ３は、赤外光を発する光源を有する。ドライバモニタカメラ３は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った画像を時系列に出力する。

図２は、算出装置４のハードウェア模式図である。

算出装置４は、通信インタフェース４１と、メモリ４２と、プロセッサ４３とを備えるＥＣＵ（Electronic Control Unit）である。算出装置４は、通信インタフェース４１を介してドライバモニタカメラ３から受信する顔画像から運転者の顔の特徴点を検出する。また、算出装置４は、検出された特徴点に基づいて、運転者の顔向きまたは視線方向を算出する。

通信インタフェース４１は、通信部の一例であり、算出装置４を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース４１は、受信したデータをプロセッサ４３に供給する。また、通信インタフェース４１は、プロセッサ４３から供給されたデータを外部に出力する。

メモリ４２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ４２は、プロセッサ４３による処理に用いられる各種データ、例えば顔画像から特徴点の位置を検出する識別器として動作するニューラルネットワークを規定するためのパラメータ群等を保存する。また、メモリ４２は、顔画像から検出された特徴点の位置を一時保存する。また、メモリ４２は、各種アプリケーションプログラム、例えば算出処理を実行する算出プログラム等を保存する。

プロセッサ４３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ４３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、算出装置４が有するプロセッサ４３の機能ブロック図である。

算出装置４のプロセッサ４３は、機能ブロックとして、第１算出部４３１と、第２算出部４３２とを有する。プロセッサ４３が有するこれらの各部は、プロセッサ４３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ４３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして算出装置４に実装されてもよい。

第１算出部４３１は、通信インタフェースを介してドライバモニタカメラ３から受信する顔画像から検出された運転者の顔の特徴点に基づいて、運転者の顔向きまたは視線方向を算出する。

運転者の顔向きは、車室内の３次元空間における運転者の頭部のピッチ、ヨーおよびロールのうち１つ以上の角度により表される。第１算出部４３１は、取得した顔画像を、目尻、目頭、口角点といった顔の部位を特徴点として検出するよう学習された識別器に入力することにより、運転者の顔の特徴点の位置を特定する。そして、第１算出部４３１は、顔画像から検出された顔の各部位の位置を、標準的な顔の３次元モデルと照合する。そして、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向きを、顔画像における顔向きとして算出する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。顔の特徴点を含む顔画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは顔の特徴点の位置を特定する識別器として動作する。

運転者の視線方向は、車両１の進行方向と運転者の視線との間の水平方向または鉛直方向の角度により表される。第１算出部４３１は、例えば瞳孔および光源の角膜反射像が表されたテンプレートと顔画像との間でテンプレートマッチングを行うことで瞳孔および光源の角膜反射像を特徴点として検出し、それらの位置関係に基づいて視線方向を算出する。

第２算出部４３２は、通信インタフェースを介してドライバモニタカメラ３から時系列に受信する複数の画像のうち第１の時刻に対応する画像から検出された特徴点を、第１の時刻よりも後の第２の時刻に対応する画像において追跡することで、第２の時刻に対応する画像から特徴点を検出する。そして、第２算出部４３２は、検出された特徴点に基づいて顔向きまたは視線方向を算出する。

第２算出部４３２は、第２の時刻に対応する画像における、第１算出部４３１または第２算出部４３２により第１の時刻に対応する画像から検出されメモリ４２に一時保存された当該特徴点の周辺を検索し、特徴点を検出する。例えば、第２算出部４３２は、第１の時刻に対応する画像および第２の時刻に対応する画像のそれぞれを、所定サイズのサブブロックに分割する。次に、第２算出部４３２は、第１の時刻に対応する画像において当該特徴点の検出されたサブブロックを特定する。そして、第２算出部４３２は、第２の時刻に対応する画像におけるサブブロックから、当該特徴点の検出されたサブブロックに最もよくマッチするサブブロックを特定することで、特徴点を検出する。検出された特徴点に基づく顔向きまたは視線方向の算出は第１算出部４３１と同様であるので詳細な説明を省略する。

算出装置４は、動作を開始すると、まず第１算出部４３１により顔向きまたは視線方向を算出し、このときの特徴点の位置をメモリ４２に一時保存する。次に、算出装置４は、第２算出部４３２により、メモリ４２に一時保存された特徴点の位置を第１の時刻に対応する画像から検出された特徴点の位置として、第２の時刻における特徴点の位置を検出してメモリ４２に一時保存し、顔向きまたは視線方向を算出する。以降、算出装置４は、第２算出部４３２による顔向きまたは視線方向の算出を繰り返す。

図４は、走行制御装置５のハードウェア模式図である。

走行制御装置５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備えるＥＣＵである。走行制御装置５は、通信インタフェース５１を介して算出装置４から運転者の顔向きまたは視線方向を算出する。また、走行制御装置５は、周辺カメラ２から受信する周辺画像から周辺の地物を検出し、検出された地物および運転者の顔向きまたは視線方向を用いて車両１の走行を制御する。

通信インタフェース５１は、通信部の一例であり、走行制御装置５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

メモリ５２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば車両１を緊急停止すべき条件（運転に不適切とされる運転者の顔向きまたは視線方向であり、例えば正面を中心とする所定の角度範囲を除く角度範囲）、周辺画像から地物の位置を検出する識別器として動作するニューラルネットワークを規定するためのパラメータ群等を保存する。また、メモリ５２は、通信インタフェース５１を介して算出装置４から受信した顔向きまたは視線方向を一時保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば走行制御処理を実行する走行制御プログラム等を保存する。

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図５は、走行制御装置５が有するプロセッサ５３の機能ブロック図である。

走行制御装置５のプロセッサ５３は、機能ブロックとして、判定部５３１と、実行部５３２とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして走行制御装置５に実装されてもよい。

判定部５３１は、メモリ５２に一時保存された顔向きまたは視線方向が、メモリ５２に保存された、車両１を緊急停止すべき条件を満たすか否かを判定する。メモリ５２に一時記憶された顔向きまたは視線方向が車両１を緊急停止すべき条件を満たすと判定された場合、判定部５３１は、通信インタフェース５１を介して算出装置４に、第１算出部４３１による顔向きまたは視線方向の算出を要求する。そして、判定部５３１は、第１算出部４３１により算出された顔向きまたは視線方向が車両１を緊急停止すべき条件を満たすか否かをさらに判定する。

実行部５３２は、通信インタフェース５１を介して周辺カメラ２から受信した周辺画像から周辺の地物を検出し、検出された地物から所定以上の間隔を保つように車両１の走行を制御する。また、実行部５３２は、第２算出部４３２により算出された顔向きまたは視線方向が車両１を緊急停止すべき条件を満たし、かつ、第１算出部４３１により算出された顔向きまたは視線方向が当該条件を満たすと判定された場合、緊急停止するように車両１を制御する。

実行部５３２は、取得した周辺画像を、地物を検出するように予め学習された識別器に入力することにより、周辺画像に含まれる地物の位置を特定する。識別器は、例えば、ＣＮＮとすることができる。地物を含む周辺画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは地物の位置を特定する識別器として動作する。

実行部５３２は、検出された地物から所定以上の間隔を保つように、通信インタフェース５１を介して車両１の走行機構（不図示）に制御信号を出力する。走行機構には、例えば車両１に動力を供給するエンジン、車両１の走行速度を減少させるブレーキ、および車両１を操舵するステアリング機構が含まれる。

図６は、算出装置４および走行制御装置５の動作シーケンス図である。第１の走行制御処理のフローチャートである。算出装置４および走行制御装置５は、車両１が走行している間、図６に示す動作シーケンスを実行する。

算出装置４は、動作を開始すると、第１算出部４３１により車両１の運転者の顔向きまたは視線方向を算出する（ステップＳ４１）。

続いて、算出装置４は、第２算出部４３２により車両１の運転者の顔向きまたは視線方向を算出し（ステップＳ４２）、車内ネットワークを介して算出された顔向きまたは視線方向を表す情報を走行制御装置５に送信する（ステップＳ４３）。

算出装置４の第２算出部４３２により算出された顔向きまたは視線方向を表す情報を受信した場合、走行制御装置５の判定部５３１は、受信した顔向きまたは視線方向が車両１を緊急停止すべき条件を満たすか否かを判定する（ステップＳ５１）。例えば、判定部５３１は、受信した顔向きまたは視線方向が、緊急停止すべき条件として記憶された角度範囲に含まれない場合、条件を満たさないと判定する。条件を満たさないと判定された場合（ステップＳ５１：Ｎ）、走行制御装置５の処理はステップＳ５１に戻り、次の時刻に対応する顔向きまたは視線方向を表す情報の受信を待機する。

算出装置４の第２算出部４３２により算出された顔向きまたは視線方向が条件を満たすと判定された場合（ステップＳ５１：Ｙ）、走行制御装置５の判定部５３１は、通信ネットワークを介して算出装置４にリセット要求を送信する（ステップＳ５２）。リセット要求は、算出装置４の再起動を要求する信号である。リセット要求を受信した算出装置４は再起動し、第１算出部４３１により車両１の運転者の顔向きまたは視線方向を再算出し（ステップＳ４４）、算出された顔向きまたは視線方向を走行制御装置５に送信する（ステップＳ４５）。その後、算出装置４の処理はステップＳ４２に戻り、第２算出部４３２による顔向きまたは視線方向の算出を行う。

算出装置４の第１算出部４３１により算出された顔向きまたは視線方向を受信した場合、走行制御装置５の判定部５３１は、受信した顔向きまたは視線方向が車両１を緊急停止すべき条件を満たすか否かを判定する（ステップＳ５３）。条件を満たさないと判定された場合（ステップＳ５３：Ｎ）、走行制御装置５の処理はステップＳ５１に戻り、次の時刻に対応する顔向きまたは視線方向を表す情報の受信を待機する。

算出装置４の第１算出部４３１により算出された顔向きまたは視線方向が条件を満たすと判定された場合（ステップＳ５３：Ｙ）、走行制御装置５の実行部５３２は、緊急停止するように車両１を制御し（ステップＳ５４）、一連の処理を終了する。

なお、ステップＳ５２において走行制御装置５から算出装置４に送信されるリセット要求は、第１算出部４３１により算出された顔向きまたは視線方向の要求であればよい。したがって、算出装置４は、リセット要求の受信に応じて第１算出部４３１により顔向きまたは視線方向の算出（ステップＳ４４）を行えば足り、必ずしも再起動しなくてもよい。

このように算出装置４および走行制御装置５が動作することにより、車両１は、運転者の顔を表す顔画像から算出される顔向きまたは視線方向を用いて適切に走行を制御することができる。

変形例によれば、第１算出部４３１、第２算出部４３２、判定部５３１および実行部５３２は、同一のＥＣＵに実装されていてもよい。

異なる変形例によれば、算出装置４の第１算出部４３１および第２算出部は、さらに運転者の開眼度または顔位置を算出してもよい。この場合、メモリ５２に記憶される緊急停止すべき条件に開眼度または顔位置の範囲がさらに含まれ、走行制御装置５の判定部５３１は、受信した開眼度または顔位置が条件を満たすか否かを判定する。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１車両
４算出装置
４３１第１算出部
４３２第２算出部
５走行制御装置
５３１判定部
５３２実行部

Claims

車両の運転者の顔を表すように時系列に生成される複数の画像のうちいずれかの画像から検出された前記運転者の顔の特徴点に基づいて、前記運転者の顔向きまたは視線方向を算出する第１算出部と、
前記複数の画像のうち第１の時刻に対応する画像から検出された前記特徴点を、前記複数の画像のうち前記第１の時刻よりも後の第２の時刻に対応する前記画像において追跡することで、前記第２の時刻に対応する画像から前記特徴点を検出し、検出された前記特徴点に基づいて前記顔向きまたは前記視線方向を算出する第２算出部と、
前記第２算出部により前記第２の時刻に対応する画像から算出された前記顔向きまたは前記視線方向が前記車両を緊急停止すべき条件を満たすか否かを判定し、前記条件が満たされると判定した場合、前記第１算出部により前記第２の時刻に対応する画像から算出された前記顔向きまたは前記視線方向が前記条件を満たすか否かをさらに判定する判定部と、
前記第２算出部により算出された前記顔向きまたは前記視線方向が前記条件を満たし、かつ、前記第１算出部により算出された前記顔向きまたは前記視線方向が前記条件を満たすと判定された場合、緊急停止するように前記車両を制御する実行部と、
を備える車両。