JP2021026720A5

JP2021026720A5 -

Info

Publication number: JP2021026720A5
Application number: JP2019146795A
Authority: JP
Filing date: 2019-08-08
Publication date: 2021-05-20
Anticipated expiration: 2039-08-08

Description

ここでの潜在リスク予測の方法については、例えば、ディープラーニングなどの機械学習の学習モデルによる予測方法が適用可能である。ここでの学習モデルでは、複数の画像データ（データセット）を用いて、各画像に含まれる物標の動きを予測するための学習が行われる。学習方法の詳細については、ここでは省略し、公知の方法が適用可能であるとする。学習方法については特に限定するものでは無く、周知の方法が用いられてよい。ここで学習用データとしては、物標を含む連続した画像データが用いられる。この学習用データを用いることで、本実施形態に係る学習済みモデルが生成される。ある状況における車両にて取得した画像に対して、学習済みモデルが適用されることにより、その画像に含まれる物標の行動予測が行われ、その行動結果に基づいて、潜在リスク予測されることとなる。なお、学習済みモデルの生成には、大きな負荷がかかるため、予め生成され、車両１内の記憶部に保持されているものとする。また、潜在リスク予測の際に用いられる、交通参加者の検知方法や画像認識方法についても、公知の方法が適用可能であるとして、ここでの詳細な説明は省略する。また、周辺情報の取得手段として、画像の代わりに、ＬＩＤＡＲやレーダによりデータを用いる場合は、前述の学習用データは画像ではなく、ＬＩＤＡＲやレーダからの出力データとなる。

［処理フロー］
図６を用いて、本実施形態に係る制御処理の処理フローを説明する。本処理フローの各制御は、上述したような車両１が備える各種ＥＵＣ等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両１の制御ユニット２として示す。例えば、車両１において走行が開始された際に、本処理が開始されてよい。また、本処理は、車両１が走行している間は継続的に繰り返されてよい。

Ｓ６０１にて、制御ユニット２は、検知ユニットであるカメラ４１から車両１の周辺画像を取得する。ここでは、車両１の進行方向前方の画像を取得するものとする。

Ｓ６０２にて、制御ユニット２は、Ｓ６０１にて取得された画像から交通参加者を検出する。ここでの交通参加者としては、例えば、人、他車両、動体などが挙げられ、その種類は特に限定するものではない。図２（ａ）に示す画像の例の場合、自転車２０１や他車両２０２が検出される。なお、ここでの検出内容は、画像による平面情報に限定するものではなく、自車両と交通参加者との相対距離や位置関係の情報を併せて検出してもよい。

Ｓ６０３にて、制御ユニット２は、Ｓ６０２にて検出した交通参加者に対する行動予測を行う。更に、制御ユニット２は、行動予測の結果に基づき、走行中の周辺における潜在リスクを予測し、そのリスクが発生する領域を特定する。具体的には、図２（ｂ）に示す領域２０４が予測されることとなる。ここでの行動予測および潜在リスクの予測方法は、特に限定するものでは無いが、例えば、自動運転分野におけるリスク予測機能として公知の方法を適用することができる。

Ｓ６０４にて、制御ユニット２は、自車両の走行状態に関する情報を取得する。ここでの走行状態に関する情報としては、走行速度や加減速量、進行方向（舵角）の情報などが挙げられる。

Ｓ６０５にて、制御ユニット２は、Ｓ６０３にて予測した潜在リスクの領域と、Ｓ６０４にて取得した自車両の走行状態に関する情報を用いて、潜在リスクの領域と自車両の走行位置との距離が所定の閾値Ａ以下か否かを判定する。例えば、図２（ｃ）に示すように、車両１と、領域２０４や領域２０５との距離が閾値Ａ以下であるか否かが判定される。このとき、Ｓ６０４にて取得した情報に基づき、一定時間後の自車両の位置を予測し、その予測結果と、潜在リスク領域との位置関係とに基づいて、ここでの判定を行ってもよい。閾値Ａについては、予め規定され、車両１の記憶部にて保持されているものとする。距離が閾値Ａ以下であると判定された場合（Ｓ６０５にてＹＥＳ）Ｓ６１５へ進み、閾値Ａよりも大きいと判定された場合（Ｓ６０５にてＮＯ）Ｓ６０６へ進む。

Ｓ６０６にて、制御ユニット２は、Ｓ６０３にて予測した潜在リスクの領域と、Ｓ６０４にて取得した自車両の走行状態に関する情報を用いて、潜在リスクの領域と自車両の走行位置との距離が所定の閾値Ｂ以上か否かを判定する。閾値Ａと閾値Ｂとの関係は、閾値Ｂ＞閾値Ａとなる。閾値Ｂについても、閾値Ａと同様に、予め規定され、車両１の記憶部にて保持されているものとする。距離が閾値Ｂよりも小さいと判定された場合（Ｓ６０６にてＮＯ）Ｓ６０７へ進む。距離が閾値Ｂ以上であると判定された場合（Ｓ６０６にてＹＥＳ）、ドライバに対して通知する内容は無いものとして、本処理フローを終了する。

Ｓ６０７にて、制御ユニット２は、Ｓ６０１にて取得した周辺画像に対して、予め生成された学習済みモデルを適用することで、熟練ドライバによる注視点の推定を行う。具体的には、本工程における処理結果として、図３（ｂ）に示すような、領域３０１が出力されることとなる。

Ｓ６０８にて、制御ユニット２は、車内検出手段５０により、車両１のドライバの画像を取得する。

Ｓ６０９にて、制御ユニット２は、Ｓ６０８にて取得したドライバの画像に基づき、当該ドライバの視線を検出する。視線の検出方法は、公知の方法を用いてよく、特に限定するものではない。本工程では、具体的には、図４（ａ）に示すように、ドライバの顔領域を検出し、その視線の向きを検出する。

Ｓ６１０にて、制御ユニット２は、Ｓ６０９にて検出したドライバの視線に基づき、Ｓ６０１の周辺画像におけるドライバの視線の位置を特定する。ここでの視線の位置は、範囲にて特定されてよい。本工程では、具体的には、図４（ｂ）の領域４０３に示すような視線の位置の領域が特定される。

Ｓ６１１にて、制御ユニット２は、Ｓ６０７にて推定した熟練ドライバの注視点と、Ｓ６１０にて特定したドライバの視線との距離の乖離が所定の閾値Ｃ以上か否かを判定する。具体的には、図５（ｂ）に示すように、領域３０１と領域４０３との距離を算出し、算出した距離と閾値Ｃとの比較を行う。ここでの距離の算出方法は特に限定するものではないが、例えば、各領域のエッジ間の最も近い距離を算出してもよいし、各領域の中心点間の距離を算出してもよい。また、領域が重畳している場合には、距離を“０”として扱ってもよい。閾値Ｃについては、予め規定され、車両１の記憶部にて保持されているものとする。距離が閾値Ｃ以上であると判定された場合（Ｓ６１１にてＹＥＳ）Ｓ６１４へ進み、閾値Ｃよりも小さいと判定された場合（Ｓ６１１にてＮＯ）Ｓ６１２へ進む。

Ｓ６１２にて、制御ユニット２は、Ｓ６０３にて予測した潜在リスク領域と、Ｓ６１０にて特定したドライバの視線との距離の乖離が所定の閾値Ｄ以上か否かを判定する。具体的には、図５（ａ）に示すように、領域２０４と領域４０３との距離を算出し、算出した距離と閾値Ｄとの比較を行う。ここでの距離の算出方法は特に限定するものではないが、例えば、各領域のエッジ間の最も近い距離を算出してもよい。閾値Ｄについては、予め規定され、車両１の記憶部にて保持されているものとする。距離が閾値Ｄ以上であると判定された場合（Ｓ６１２にてＹＥＳ）Ｓ６１４へ進み、閾値Ｄよりも小さいと判定された場合（Ｓ６１２にてＮＯ）Ｓ６１３へ進む。

Ｓ６１３にて、制御ユニット２は、ドライバに対して、報知手段を用いて、間接誘導による報知を行う。本実施形態に係る間接誘導の具体例については後述する。そして、本処理フローを終了する。

Ｓ６１４にて、制御ユニット２は、ドライバに対して、報知手段を用いて、直接誘導による報知を行う。本実施形態に係る直接誘導の具体例については後述する。そして、本処理フローを終了する。

Ｓ６１５にて、制御ユニット２は、ドライバに対して、自車両と周辺環境の潜在リスク領域との位置関係により、何らかのリスクが発生する可能性が高まっている旨の警告を行う。本実施形態に係る警告の具体例については後述する。そして、本処理フローを終了する。

図９（ａ）は、自車両が走行している車線の対向車線において、渋滞等により停止車両が並んでおり、それらの停止車両の間に歩行者が存在している状況を示す。図９（ｂ）は、この状況において、間接誘導を行う場合の報知例を示している。これにより、ドライバの視線が対向車線の停止車両側を含むように変化させることを意図する。図９（ｃ）は、直接誘導を行う場合の報知例を示している。この場合、図９（ｂ）のドライバの視線と比較して、当初の視線の位置が対向車線の停止車両の位置よりも離れた位置にあるものとする。

上述したように、運転支援制御の例として、車線維持制御、車線逸脱抑制制御（路外逸脱抑制制御）、車線変更制御、前走車追従制御、衝突軽減ブレーキ制御、誤発進抑制制御、隣接車両報知制御、および前走車発進報知制御などが挙げられる。更に、車速に関する運転支援制御の例として、車速維持制御や加減速制御などが挙げられる。

［処理フロー］
図１０は、本実施形態に係る制御処理の処理フローを説明する。本処理フローの各制御は、上述したような車両１が備える各種ＥＣＵ等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両１の制御ユニット２として示す。例えば、車両１において運転支援制御が開始された際に、本処理が開始されてよい。また、本処理は、車両１が走行している間は継続的に繰り返されてよい。第１の実施形態にて述べた図６の処理と重複する部分については、同じ参照番号を付し、説明を省略する。

Ｓ６１１にて、制御ユニット２は、Ｓ６０７にて推定した熟練ドライバの注視点と、Ｓ６１０にて特定したドライバの視線との距離の乖離が所定の閾値Ｃ以上か否かを判定する。距離が閾値Ｃ以上であると判定された場合（Ｓ６１１にてＹＥＳ）Ｓ１００２へ進み、閾値Ｃよりも小さいと判定された場合（Ｓ６１１にてＮＯ）Ｓ６１２へ進む。

Ｓ６１２にて、制御ユニット２は、Ｓ６０３にて予測した潜在リスク領域と、Ｓ６１０にて特定したドライバの視線との距離の乖離が所定の閾値Ｄ以上か否かを判定する。距離が閾値Ｄ以上であると判定された場合（Ｓ６１２にてＹＥＳ）Ｓ１００２へ進み、閾値Ｄよりも小さいと判定された場合（Ｓ６１２にてＮＯ）Ｓ１００１へ進む。

Ｓ１００１にて、制御ユニット２は、運転支援制御のパラメータに対し、閾値Ｘを設定する。ここでの閾値Ｘは、車両１が実行可能な運転支援制御に対して予め規定されたものとする。そして、本処理フローを終了する。

Ｓ１００２にて、制御ユニット２は、運転支援制御のパラメータに対し、閾値Ｙを設定する。ここでの閾値Ｙは、車両１が実行可能な運転支援制御に対して予め規定されたものとする。なお、閾値Ｙは、閾値Ｘよりも制限が厳しいものとする。そして、本処理フローを終了する。

［閾値設定処理］
図１１は、本実施形態に係る閾値設定の処理フローを説明する。本処理フローの各制御は、上述したような車両１が備える各種ＥＣＵ等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両１の制御ユニット２として示す。例えば、車両１において走行が開始された際に、本処理が開始されてよい。

Ｓ１１０１にて、制御ユニット２は、車内検出手段５０により、車両１のドライバの画像を取得する。

Ｓ１１０２にて、制御ユニット２は、Ｓ１１０１にて取得したドライバの画像に基づき、ドライバの特定を行う。ここでの特定方法は特に限定するものでは無いが、例えば、予め登録された顔画像とのマッチング処理により行われてよい。

Ｓ１１０３にて、制御ユニット２は、Ｓ１１０２にて特定したドライバにより設定された動作モードが有るか否かを判定する。ここでの動作モードは、車両１の運転支援制御などに対して設けられた動作モードである。動作モードの内容は特に限定するものでは無いが、例えば、運転支援時のエネルギー消費を抑える省エネモードや、搭乗者が快適に搭乗できるようにブレーキの制御などが行われるモードなどが挙げられる。各動作モードは、車両１が備える表示装置９２等を用いて設定されてよい。設定された動作モードがある場合（Ｓ１１０３にてＹＥＳ）Ｓ１１０７へ進み、設定された動作モードが無い場合（Ｓ１１０３にてＮＯ）Ｓ１１０４へ進む。

Ｓ１１０４にて、制御ユニット２は、Ｓ１１０２にて特定したドライバの運転履歴の情報が保持されているか否かを判定する。運転履歴は、車両１の運転時にその操作内容が逐次記憶デバイス等に保持されるものとする。運転履歴がある場合は（Ｓ１１０４にてＹＥＳ）Ｓ１１０９へ進み、運転履歴が無い場合には（Ｓ１１０４にてＮＯ）Ｓ１１０５へ進む。なお、運転履歴のデータ量（例えば、走行距離）が一定量以下である場合や、最後に運転してから一定期間が過ぎている場合には、運転履歴が無いものとして扱ってもよい。

Ｓ１１０５にて、制御ユニット２は、Ｓ１１０２にて特定したドライバの属性情報が登録されているか否かを判定する。ここでの属性情報とは、例えば、免許証のランクや年齢などが挙げられる。これらの属性情報は、例えば、車両１が備える表示装置９２等を用いて予め登録されてよい。属性情報が登録されている場合（Ｓ１１０５にてＹＥＳ）Ｓ１１０８へ進み、登録されていない場合（Ｓ１１０５にてＮＯ）Ｓ１１０６へ進む。

Ｓ１１０６にて、制御ユニット２は、予め規定されたデフォルト値を、乖離度の判定に用いる閾値として設定する。そして、本処理フローを終了する。

Ｓ１１０７にて、制御ユニット２は、設定された動作モードに対応付けて保持されている閾値を、乖離度の判定に用いる閾値として設定する。動作モードに対応する閾値は、予め規定されて、保持されているものとする。そして、本処理フローを終了する。

Ｓ１１０８にて、制御ユニット２は、属性情報に基づく閾値を、乖離度の判定に用いる閾値として設定する。属性情報に基づく閾値は、テーブル等により予め規定されて保持されているものとする。そして、本処理フローを終了する。

Ｓ１１０９にて、制御ユニット２は、運転履歴に基づく閾値を、乖離度の判定に用いる閾値として設定する。運転履歴に基づく閾値は、例えば、加減速制御（ブレーキ、アクセル）、ステアリング制御などの操作履歴や、操作履歴を用いた運転技術判定結果に応じて設定されてよい。例えば、運転技術が高いと判定されたドライバに対しては、閾値を緩めに設定してもよい。そして、本処理フローを終了する。

１…車両、２…制御ユニット、２０〜２９…ＥＣＵ、４１〜４３…検知ユニット、５０…車内検出手段