JP2020098468A

JP2020098468A - 注意喚起装置

Info

Publication number: JP2020098468A
Application number: JP2018236340A
Authority: JP
Inventors: 俊一郎澤井; Shunichiro Sawai; 俊博筒井; Toshihiro Tsutsui
Original assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Current assignee: Tokai Rika Co Ltd; Toyota Motor Corp
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2020-06-25
Anticipated expiration: 2038-12-18
Also published as: CN111409551B; US11325560B2; JP7189002B2; US20200189518A1; CN111409551A

Abstract

【課題】ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制可能な注意喚起装置を提供する。【解決手段】注意喚起装置１は、手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両のドライバに対して注意喚起を行う。注意喚起装置１は、実行中の運転モードを認識する運転モード認識部１１と、車両に設けられたドライバモニタカメラ２の撮像画像に基づいて、ドライバの状態であるドライバ状態を認識するドライバ状態認識部１２と、ドライバ状態に基づいて、注意喚起の要否を判定する判定部１３と、判定部１３により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度で車両の運転に意識を向けさせるための刺激をドライバに付与するように車両のリトラクタ４を制御するリトラクタ制御部１４と、を備える。【選択図】図１

Description

本発明は、注意喚起装置に関する。

従来、トリガ検知部で所定のトリガを検知した場合に、対象者の覚醒状態を維持するための刺激の強度を時間的に変動させる覚醒維持装置が示されている（例えば特許文献１）。

特開２０１７−２２８２８０号公報

手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両において、例えば運転に意識を向けさせるための刺激を一定の強度でドライバに付与すると、ドライバにとって適度な強度とならず、ドライバが煩わしさを感じるおそれがある。

本発明は、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制可能な注意喚起装置を提供することを目的とする。

本発明の一態様に係る注意喚起装置は、手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両のドライバに対して注意喚起を行う注意喚起装置であって、実行中の運転モードを認識する運転モード認識部と、車両に設けられたドライバモニタカメラの撮像画像に基づいて、ドライバの状態であるドライバ状態を認識するドライバ状態認識部と、ドライバ状態に基づいて、注意喚起の要否を判定する判定部と、判定部により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度で車両の運転に意識を向けさせるための刺激をドライバに付与するように車両の刺激部を制御する制御部と、を備える。

本発明によれば、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制することが可能となる。

一実施形態に係る注意喚起装置を示すブロック図である。注意喚起処理を示すフローチャートである。

以下、図面を参照して、例示的な実施形態について説明する。

図１は、一実施形態に係る注意喚起装置１を示すブロック図である。図１に示される注意喚起装置１は、一例として、自動運転が可能な乗用車等の車両に搭載され、ドライバに注意喚起するための刺激をドライバに付与する装置である。自動運転とは、予め設定された目的地に向かって自動で車両を走行させる車両制御である。

注意喚起装置１は、装置を統括的に制御する注意喚起ＥＣＵ［Electronic Control Unit］１０を備えている。注意喚起ＥＣＵ１０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。注意喚起ＥＣＵ１０は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、注意喚起処理に関する各機能を実現する。注意喚起ＥＣＵ１０は、複数のＥＣＵにより構成されていてもよい。注意喚起ＥＣＵ１０の機能の一部は、車両と通信可能なサーバで実行されてもよい。

注意喚起ＥＣＵ１０には、ドライバモニタカメラ２、自動運転ＥＣＵ３、及びリトラクタ（刺激部）４が接続されている。

ドライバモニタカメラ２は、ドライバを撮像する撮像機器である。ドライバモニタカメラ２は、車両のステアリングコラムのカバー上でドライバの前方の位置に設けられ、少なくともドライバの顔を撮像する。ドライバモニタカメラ２は、ドライバを複数方向から撮像するためにステアリングコラム以外の場所などにも複数個設けられていてもよい。ドライバモニタカメラ２は、ドライバの撮像情報を注意喚起ＥＣＵ１０に送信する。

自動運転ＥＣＵ３は、車両の自動運転を実行するための電子制御ユニットである。自動運転ＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する電子制御ユニットである。自動運転ＥＣＵ３は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、自動運転の各機能を実現する。自動運転ＥＣＵ３は、複数のＥＣＵにより構成されていてもよい。自動運転ＥＣＵ３の機能の一部は、車両と通信可能なサーバで実行されてもよい。

自動運転ＥＣＵ３は、車載のＧＰＳ［Global Positioning System］受信部が測定した車両の位置情報、地図データベースの地図情報、車載の外部カメラ及びレーダセンサ（ミリ波レーダ及びライダー）の検出結果から認識された車両の周辺環境（他車両の位置等）、及び、車載の内部センサ（車速センサ、ヨーレートセンサ等）の検出結果から認識された車両状態（車速、ヨーレート等）に基づいて、予め設定された目的地までの目標ルートに沿った走行計画を生成する。目的地は乗員等により設定されてもよい。目標ルートは、目的地に基づいて、周知のナビゲーションシステムによって設定されてもよい。この場合のナビゲーションシステムは、自動運転ＥＣＵ３と一体であってもよい。

自動運転ＥＣＵ３は、走行計画に従い目的地に向かって自動運転を実行する。自動運転ＥＣＵ３は、車両のアクチュエータ（エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータ等）に制御信号を送信することで自動運転を実行する。

自動運転ＥＣＵ３は、複数の運転モードを切替え可能に構成されている。運転モードは、車両の運転に対するドライバの関与度合いに応じて予め分類されたモードであり、手動運転、運転支援、ドライバ主体自動運転、及びシステム主体自動運転を含む。自動運転ＥＣＵ３は、運転モード情報を注意喚起ＥＣＵ１０に送信する。

一例として、手動運転は、ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てをドライバが行う必要がある運転モードである。

運転支援は、ドライバによるステアリングホイールの保舵が必要であり且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の少なくとも１つが自動的に制御されドライバが行う必要がない運転モードである。運転支援としては、例えば、ＡＣＣ［Adaptive Cruise Control］、ＬＫＡ［Lane Keeping Assist］等が含まれる。

ドライバ主体自動運転は、ドライバによるステアリングホイールの保舵が必要ではなく且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てが自動的に制御されドライバが行う必要がない運転モードであって、なおかつ車両の運転の主体はドライバ側にあるものとして扱われる運転モードである。ドライバ主体自動運転においては、ドライバは、車両の運転操作自体を行う必要はないが、車両の自動運転中に周囲の状況及び車両の挙動などを監視し、必要に応じて自動運転に介入することが求められる。

システム主体自動運転は、ドライバによるステアリングホイールの保舵が必要ではなく且つステアリング操作、アクセルペダル操作、及びブレーキペダル操作の全てが自動的に制御されドライバが行う必要がない運転モードであって、なおかつ車両の運転の主体は自動運転ＥＣＵ３側（自動運転システム側）にあるものとして扱われる運転モードである。システム主体自動運転においては、ドライバは、車両の運転操作自体を行う必要はなく、また、車両の自動運転中に周囲の状況及び車両の挙動などを監視することは、必ずしも求められない。

リトラクタ４は、車両のシートベルトの巻き取り及び繰り出しを行うアクチュエータである。リトラクタ４は、車両の運転席のシートベルトについて少なくとも設けられている。リトラクタ４は、注意喚起ＥＣＵ１０からの制御信号に応じてシートベルトを巻き取る。リトラクタ４は、注意喚起ＥＣＵ１０からの制御信号に応じた強度でシートベルトを巻き取ることで、シートベルトの張力を変化させる。これにより、ドライバに付与する刺激を変化させることができる。

次に、注意喚起ＥＣＵ１０の機能的構成について説明する。注意喚起ＥＣＵ１０は、運転モード認識部１１、ドライバ状態認識部１２、判定部１３、及びリトラクタ制御部（制御部）１４を有している。

運転モード認識部１１は、自動運転ＥＣＵ３からの運転モード情報に基づいて、実行中の運転モードを認識する。

ドライバ状態認識部１２は、ドライバモニタカメラ２の撮像画像に基づいて、ドライバ状態を認識する。ドライバ状態とは、ドライバへの注意喚起の要否を判定するための判断材料として利用されるドライバの状態を意味する。

ドライバ状態認識部１２は、例えば、ドライバモニタカメラ２の撮像情報に基づいて、公知の画像処理手法によりドライバの顔向きを取得し、ヨー角方向、ピッチ角方向、及びロール方向のそれぞれについてドライバの顔向きの角度情報を取得する。ドライバ状態認識部１２は、ドライバの顔向きの角度情報に基づいて、公知の手法により、ドライバの脇見の有無を認識する。脇見とは、例えば、ドライバが正面等の所定範囲の外を向いている状態を意味する。ドライバ状態認識部１２は、例えば、予め設定された時間にわたって、ドライバの顔向きが、ドライバの正面方向に対して予め設定された角度以上だけヨー角方向、ピッチ角方向、又はロール方向にずれている場合に、ドライバ状態としてドライバの脇見状態を認識する。

ドライバ状態認識部１２は、例えば、ドライバモニタカメラ２の撮像情報に基づいて、公知の画像処理手法により、ドライバの毎分の閉眼率、眼の開眼の状況、まばたきの頻度、眼球運動、顔向きの時間変化度合い、あくび行動の有無、又は、口の開き具合の変化度合い等からドライバの覚醒度を認識する。覚醒度とは、ドライバが睡眠不足等により意識が朦朧とした状態ではなく覚醒していることを示す度合いである。ドライバ状態認識部１２は、例えば覚醒度が所定の閾値以下である場合に、ドライバ状態としてドライバの覚醒度低下を認識する。

ドライバ状態認識部１２は、例えば、ドライバモニタカメラ２の撮像情報に基づいて、公知の画像処理手法により、ドライバの視線の向きを取得し、ドライバの漫然運転の有無を認識する。漫然運転とは、例えばドライバが考え事をしているような状態を指し、ドライバに有意な眠気はないがドライバが周辺確認行動を怠っている状態を意味する。ドライバ状態認識部１２は、例えば覚醒度が所定の閾値以下ではない場合において、予め設定された時間にわたってドライバの視線の向きや顔向きの変化が所定範囲内に留まっているとき、ドライバ状態としてドライバの漫然運転を認識する。

判定部１３は、ドライバ状態認識部１２で認識されたドライバ状態に基づいて、注意喚起の要否を判定する。判定部１３は、例えばドライバ状態認識部１２でドライバの脇見状態が認識された場合、注意喚起が必要であると判定する。判定部１３は、例えばドライバ状態認識部１２でドライバの覚醒度低下が認識された場合、注意喚起が必要であると判定する。判定部１３は、例えばドライバ状態認識部１２でドライバの漫然運転が認識された場合、注意喚起が必要であると判定する。

リトラクタ制御部１４は、判定部１３により注意喚起が必要と判定された場合、車両の運転に意識を向けさせるための刺激を、運転モード認識部１１で認識された実行中の運転モードに応じた強度でドライバに付与するようにリトラクタ４を制御する。リトラクタ制御部１４は、運転モード認識部１１で認識された運転モードに基づいて、実行中の運転モードが、手動運転、運転支援、ドライバ主体自動運転、及びシステム主体自動運転のいずれであるかを判定する。

リトラクタ制御部１４は、実行中の運転モードが手動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ＳＴ１でドライバに刺激を付与するようにリトラクタ４を制御する。リトラクタ制御部１４は、実行中の運転モードが運転支援であると判定した場合、実行中の運転モードに応じた強度として、強度ＳＴ２でドライバに刺激を付与するようにリトラクタ４を制御する。リトラクタ制御部１４は、実行中の運転モードがドライバ主体自動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ＳＴ３でドライバに刺激を付与するようにリトラクタ４を制御する。リトラクタ制御部１４は、実行中の運転モードがシステム主体自動運転であると判定した場合、実行中の運転モードに応じた強度として、強度ＳＴ４でドライバに刺激を付与するようにリトラクタ４を制御する。強度ＳＴ１〜強度ＳＴ４は、実行中の運転モードに応じてリトラクタ制御部１４がリトラクタ４に運転席のシートベルトを巻き取らせる強度である。

一例として、強度ＳＴ２は、強度ＳＴ１よりも強い。強度ＳＴ３は、強度ＳＴ２よりも強い。つまり、ドライバに付与する刺激の強度は、運転モードが手動運転の場合、運転モードが運転支援の場合、運転モードがドライバ主体自動運転の場合、の順で強くなる。このような序列となる理由としては、各運転モードにおいてドライバの意識が運転に向けられる度合いに応じて、ドライバに眠気が発生し易いと考えられることによっている。例えば、同等の覚醒度のドライバに発生する眠気が所定レベル以上となるまでの相対的な時間が、上述の序列で短くなると考えられる。

また例えば、強度ＳＴ４は、強度ＳＴ３よりも弱い。つまり、ドライバに付与する刺激の強度は、運転モードがシステム主体自動運転の場合の方が、運転モードがドライバ主体自動運転の場合よりも弱い。このような序列となる理由として、運転モードがシステム主体自動運転の場合においては、ドライバの意識が運転に向けられる度合いが運転モードがドライバ主体自動運転の場合よりも小さくなるため、よりドライバに眠気が発生し易いものと考えられる。しかしながら、システム主体自動運転にあっては車両の自動運転中に周囲の状況及び車両の挙動などを監視することがドライバに必ずしも求められないことを考慮すると、システム主体自動運転においてドライバに付与すべき刺激の強さは、少なくともドライバ主体自動運転においてドライバに付与すべき刺激の強さよりも弱くすることができる、と考えられることによっている。なお、強度ＳＴ４は、強度ＳＴ２よりも弱くてもよい。強度ＳＴ４は、強度ＳＴ１よりも弱くてもよい。強度ＳＴ４は、ドライバに刺激を付与しない強度であってもよい。

続いて、注意喚起ＥＣＵ１０による注意喚起処理について説明する。図２は、注意喚起処理を示すフローチャートである。図２のフローチャートは、例えば車両の走行中に実行される。

図２に示されるように、ステップＳ１１において、注意喚起ＥＣＵ１０は、ドライバ状態認識部１２により、ドライバモニタカメラ２から受信したドライバの撮像情報に基づいて、公知の手法によりドライバの状態を認識する。ステップＳ１２において、注意喚起ＥＣＵ１０は、判定部１３により、ドライバ状態認識部１２により認識されたドライバ状態に基づいて、注意喚起の要否を判定する。

注意喚起ＥＣＵ１０は、判定部１３により注意喚起が必要と判定された場合（Ｓ１２：ＹＥＳ）、ステップＳ１３において、運転モード認識部１１により、実行中の運転モードを認識する。ステップＳ１４において、注意喚起ＥＣＵ１０は、リトラクタ制御部１４により、運転モード認識部１１により認識された運転モードに基づいて、運転モードが手動運転か否かを判定する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードが手動運転であると判定された場合（Ｓ１４：ＹＥＳ）、ステップＳ１５において、リトラクタ制御部１４により、実行中の運転モードである手動運転に応じた強度として、強度ＳＴ１でドライバに刺激を付与するようにリトラクタ４を制御する。その後、注意喚起ＥＣＵ１０は、今回の注意喚起処理を終了し、ステップＳ１１から再度注意喚起処理を実行する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードが手動運転ではないと判定された場合（Ｓ１４：ＮＯ）、ステップＳ１６において、注意喚起ＥＣＵ１０は、リトラクタ制御部１４により、運転モード認識部１１により認識された運転モードに基づいて、運転モードが運転支援か否かを判定する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードが運転支援であると判定された場合（Ｓ１６：ＹＥＳ）、ステップＳ１７において、リトラクタ制御部１４により、実行中の運転モードである運転支援に応じた強度として、強度ＳＴ１よりも強い強度ＳＴ２でドライバに刺激を付与するようにリトラクタ４を制御する。その後、注意喚起ＥＣＵ１０は、今回の注意喚起処理を終了し、ステップＳ１１から再度注意喚起処理を実行する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードが運転支援ではないと判定された場合（Ｓ１６：ＮＯ）、ステップＳ１８において、注意喚起ＥＣＵ１０は、リトラクタ制御部１４により、運転モード認識部１１により認識された運転モードに基づいて、運転モードがドライバ主体自動運転か否かを判定する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードがドライバ主体自動運転であると判定された場合（Ｓ１８：ＹＥＳ）、ステップＳ１９において、リトラクタ制御部１４により、実行中の運転モードであるドライバ主体自動運転に応じた強度として、強度ＳＴ２よりも強い強度ＳＴ３でドライバに刺激を付与するようにリトラクタ４を制御する。その後、注意喚起ＥＣＵ１０は、今回の注意喚起処理を終了し、ステップＳ１１から再度注意喚起処理を実行する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードがドライバ主体自動運転ではないと判定された場合（Ｓ１８：ＮＯ）、ステップＳ２０において、注意喚起ＥＣＵ１０は、リトラクタ制御部１４により、運転モード認識部１１により認識された運転モードに基づいて、運転モードがシステム主体自動運転か否かを判定する。

注意喚起ＥＣＵ１０は、リトラクタ制御部１４により運転モードがシステム主体自動運転であると判定された場合（Ｓ２０：ＹＥＳ）、ステップＳ２１において、リトラクタ制御部１４により、実行中の運転モードであるシステム主体自動運転に応じた強度として、強度ＳＴ３よりも弱い強度ＳＴ４でドライバに刺激を付与するようにリトラクタ４を制御する。その後、注意喚起ＥＣＵ１０は、今回の注意喚起処理を終了し、ステップＳ１１から再度注意喚起処理を実行する。

一方、注意喚起ＥＣＵ１０は、判定部１３により注意喚起が不要と判定された場合（Ｓ１２：ＮＯ）、今回の注意喚起処理を終了し、ステップＳ１１から再度注意喚起処理を実行する。

以上説明したように、注意喚起装置１によれば、判定部１３により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度の刺激がドライバに付与される。これにより、運転モードに応じて異なる強度の刺激をドライバに付与することができる。よって、例えば運転モードを考慮しないで一定の強度の刺激をドライバに付与する場合と比較して、運転モードを考慮した強度としているので、ドライバに付与する注意喚起のための刺激によってドライバが煩わしさを感じることを抑制することが可能となる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

例えば、上記実施形態では、刺激部としてリトラクタ４を例示したが、これに限定されない。注意喚起としては、光の照射、音声、振動などの物理刺激によるドライバへの運転及び周囲の確認の促しの少なくとも１つを採用し得るため、刺激部として、例えばドライバへ向けた車内灯、車載のスピーカ、及びシート座面の振動子などを用いることができる。なお、制御部としては、判定部により注意喚起が必要と判定された場合、実行中の運転モードに応じた強度で刺激をドライバに付与するように、これらの刺激部を制御可能な、注意喚起ＥＣＵ１０の機能的構成であればよい。

ドライバ状態認識部１２は、ドライバ状態の例として、ドライバの脇見状態、ドライバの覚醒度低下、及びドライバの漫然運転を認識したが、ドライバ状態はこれらに限定されない。ドライバ状態は、判定部１３が注意喚起の要否を判定するために利用可能なドライバの状態であればよい。

上記実施形態では、強度ＳＴ２は強度ＳＴ１よりも強く、且つ、強度ＳＴ３は強度ＳＴ２よりも強かったが、これに限定されない。例えば、強度ＳＴ２は強度ＳＴ１と同等であり、且つ、強度ＳＴ３は強度ＳＴ２よりも強くてもよいし、強度ＳＴ２は強度ＳＴ１よりも強く、且つ、強度ＳＴ３は強度ＳＴ２と同等であってもよい。

１…注意喚起装置、２…ドライバモニタカメラ、４…リトラクタ（刺激部）、１１…運転モード認識部、１２…ドライバ状態認識部、１３…判定部、１４…リトラクタ制御部（制御部）。

Claims

手動運転、運転支援、及びドライバ主体自動運転を含む運転モードを切替え可能な車両のドライバに対して注意喚起を行う注意喚起装置であって、
実行中の前記運転モードを認識する運転モード認識部と、
前記車両に設けられたドライバモニタカメラの撮像画像に基づいて、前記ドライバの状態であるドライバ状態を認識するドライバ状態認識部と、
前記ドライバ状態に基づいて、前記注意喚起の要否を判定する判定部と、
前記判定部により前記注意喚起が必要と判定された場合、実行中の前記運転モードに応じた強度で前記車両の運転に意識を向けさせるための刺激を前記ドライバに付与するように前記車両の刺激部を制御する制御部と、を備える注意喚起装置。