JP2017030578A - 自動運転制御装置、自動運転制御方法 - Google Patents

Abstract

【課題】どのような運転者でも快適に移動することが可能な自動運転車両を実現する。
【解決手段】自動運転状態時に運転者が運転操作を監視しているか否かを判定する。そして、運転者が運転操作を監視していると判定された場合には、運転操作に先立って、運転操作の内容を運転者に予告する。こうすれば、運転に伴う周囲の状況判断や運転操作を自動運転に委ねることに運転者が不安を感じている場合でも、運転者は自動運転がしようとしている運転操作の内容を予め認識することができる。その結果、自動運転に対する不安を軽減することができるので、自動運転状態で快適に移動することが可能となる。
【選択図】図２

Description

本発明は、自動運転車両を制御する技術に関する。

運転者が運転操作を行うことなく、コンピューターが周囲の状況を把握して運転操作を行う自動運転車両が開発されている（特許文献１）。
この自動運転車両では、手動運転時に運転者が行う状況把握（たとえば、周囲に存在する障害物や車両などの有無、信号機の状態、自車両の状態などの把握）をコンピューターが行い、更に、状況に応じたハンドル操作や、ブレーキ操作、アクセル操作などの運転操作もコンピューターが実行する。このため、自動運転車両が実現されれば、運転者は運転操作に伴う身体的な負担から解放されるだけでなく、車両の周囲を確認して状況判断する精神的な負担からも解放されるので、現状よりも快適に目的地まで移動することができるものと期待されている。

特開２０１５−１１１３８６号公報

しかし、自動運転車両が実現されても、必ずしも全ての運転者が快適に移動可能となるわけではないという問題があった。
これは、自動運転車両では、運転操作や周囲の状況判断をコンピューターに委ねるので、一部の運転者はそのことに不安を感じてしまい、その結果、車両の動きを絶えず監視することになって、精神的な負担がほとんど軽減されない事態が起こり得るためである。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、どのような運転者に対しても、目的地まで快適に移動することが可能な自動運転車両を実現する技術の提供を目的とする。

上述した課題を解決するために本発明の自動運転制御装置および自動運転制御方法は、自動運転状態時に運転者が運転操作を監視しているか否かを判定する。そして、運転者が運転操作を監視していると判定された場合には、運転操作に先立って、運転操作の内容を運転者に予告する。
こうすれば、運転に伴う周囲の状況判断や運転操作を自動運転に委ねることに運転者が不安を感じている場合でも、運転者は自動運転がしようとしている運転操作の内容を予め認識することができる。その結果、自動運転に対する不安を軽減することができるので、自動運転状態で快適に移動することが可能となる。

本実施例の自動運転制御装置１００を搭載した自動運転車両１を示す説明図である。 本実施例の自動運転制御装置１００の内部構成を示すブロック図である。 自動運転制御装置１００が実行する自動運転制御処理の前半部分のフローチャートである。 自動運転制御処理の後半部分のフローチャートである。 運転席８のヘッドレスト８ｈを移動させることによって運転操作の内容を予告する様子を示した説明図である。 運転席８の背もたれ部８ｂの後傾角度と、運転者の視線の向きとの関係を示した説明図である。 背もたれ部８ｂの後傾角度に応じて決定される動作補正係数を例示した説明図である。 自動運転状態での運転操作を運転者が監視しているか否かを判定する監視判定処理のフローチャートである。 前方画像中で自車両に対して表示する信号機を検出した様子を示す説明図である。 ヘッドレスト８ｈを移動させて運転操作の内容を予告する第１変形例についての説明図である。 背もたれ部８ｂを移動させて運転操作の内容を予告する第２変形例についての説明図である。 運転席８全体を移動させて運転操作の内容を予告する第２変形例の他の態様についての説明図である。 運転席８のサポート部８Ｒ，８Ｌを移動させて運転操作の内容を予告する第２変形例についての説明図である。 ステアリングハンドル２を移動させて運転操作の内容を予告する第３変形例についての説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の自動運転制御装置１００を搭載した自動運転車両１の大まかな構成が示されている。図示されるように自動運転車両１には、ステアリングハンドル２や、ステアリングシャフト３、アクセルペダル４、ブレーキペダル５などが搭載されている。ステアリングシャフト３にはステアリングハンドル２を操舵するハンドル駆動部２ｍが装着されており、また、アクセルペダル４には、アクセルペダル４を駆動するアクセル駆動部４ｍが、更に、ブレーキペダル５には、ブレーキペダル５を駆動するブレーキ駆動部５ｍが装着されている。

また、自動運転車両１には、進行方向前方の画像（以下、前方画像）を撮影する車載カメラ６や、運転席の前方に搭載されて運転者の顔画像を撮影する運転席カメラ７や、測位衛星からの測位信号などの情報に基づいて自車両の現在位置を検出する現在位置検出部９や、地図情報を記憶した地図情報記憶部１０などが搭載されている。
自動運転制御装置１００は、現在位置検出部９や地図情報記憶部１０からの情報に基づいて自車両の走行位置や、目的地までの走行経路を検出する。そして、車載カメラ６から取得した前方画像を解析して周囲の状況を把握しながら、ハンドル駆動部２ｍや、アクセル駆動部４ｍ、ブレーキ駆動部５ｍを駆動することによって、自動運転を実施する。

もっとも、自動運転状態では、周囲の状況把握や運転操作が自動運転制御装置１００に委ねられることになる。このため、そのことに不安を感じる運転者にとっては、自動運転状態は必ずしも快適な状態とは限らない。例えば、前方の信号機が「赤」に変わったのを見て、「本当に止まってくれるだろうか。止まらなかったら事故になってしまう」と心配していたのでは、自動運転状態であっても快適な状態とはなり難い。あるいは、信号機が「青」に変わったのを見て、「ちゃんと発進するだろうか」と心配していたのでは、自動運転状態を快適な状態と感じることは困難である。
そこで、本実施例の自動運転車両１では、図１に示されるように、運転者が座る運転席８に、ヘッドレスト８ｈを駆動するヘッドレスト駆動部８ｍ，８ｔが搭載されている。そして、自動運転制御装置１００が、ハンドル駆動部２ｍや、アクセル駆動部４ｍ、ブレーキ駆動部５ｍを駆動して運転操作を行うに先立って、ヘッドレスト駆動部８ｍ，８ｔを駆動してヘッドレスト８ｈを動かすことによって運転操作の内容を予告する。こうすれば、自動運転制御装置１００がしようとしている運転操作の内容を認識することができるので、自動運転制御装置１００の運転操作を信じ切ることができない運転者に対しても安心感を与えることができる。その結果、運転者の不安を軽減することができるので、自動運転状態を快適に感じながら目的地まで移動することが可能となる。

図２には、本実施例の自動運転制御装置１００の大まかな内部構造が示されている。図示されるように自動運転制御装置１００は、自動運転操作部１０１と、顔画像取得部１０２と、方向検出部１０３と、前方画像取得部１０４と、信号機検出部１０５と、運転監視判定部１０６と、運転操作予告部１０７とを備えている。
尚、これらの「部」は、自動運転制御装置１００が、自動運転状態での運転操作を運転者に予告するために備える機能に着目して、自動運転制御装置１００の内部を便宜的に分類した抽象的な概念である。従って、自動運転制御装置１００がこれらの「部」に物理的に区分されることを表すものではない。これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更には、これらを組合せることによって実現することもできる。

自動運転操作部１０１は、現在位置検出部９や地図情報記憶部１０に接続されており、現在位置検出部９からは自車両の現在位置を取得し、地図情報記憶部１０からは、自車両の周辺の地図情報を取得する。現在位置検出部９は、測位衛星から受信した測位信号の情報や、図示しない車速センサーから取得した移動距離に関する情報や、図示しない方位センサーから取得した移動方向に関する情報に基づいて、自車両の現在位置を検出することができる。また、地図情報記憶部１０には、道路形状を含む地図情報が記憶されている。

また、自動運転操作部１０１は、前方画像取得部１０４にも接続されている。
前方画像取得部１０４は、車載カメラ６が所定の撮影周期で撮影した前方画像を取得して、自動運転操作部１０１に出力する。自動運転操作部１０１は、前方画像取得部１０４から受け取った前方画像を解析することによって、自動運転車両１の周囲の状況を把握する。そして、現在位置検出部９から受け取った自車両の現在位置や、地図情報、周囲の状況に基づいて、ハンドル駆動部２ｍや、アクセル駆動部４ｍ、ブレーキ駆動部５ｍなどを駆動することによって、自動運転状態を実現する。

顔画像取得部１０２は、運転席カメラ７に接続されており、運転席８（図１参照）に座った運転者の顔画像を取得する。運転席カメラ７は、人間が不可視の赤外線を用いて、鮮明な顔画像を一定周期で撮影して顔画像取得部１０２に出力する。
方向検出部１０３は、運転席カメラ７で撮影した顔画像を顔画像取得部１０２から受け取って、顔画像を解析することによって、運転者が見ている方向を検出する。ここで、運転者が見ている方向としては、種々の方法を用いることができるが、本実施例の方向検出部１０３は、顔の向きを検出する方法と、視線の方向を検出するという2つの方法で、運転者が見ている方向を検出する。

信号機検出部１０５は、運転席カメラ７が撮影した前方画像を前方画像取得部１０４から取得して前方画像を解析することにより、前方画像の中から、自車両に対して表示する信号機を検出する。
運転監視判定部１０６は、自動運転状態の場合に、自動運転操作部１０１による運転操作の内容を運転者が監視しているか否かを判定する。判定の詳細な方法については後述するが、方向検出部１０３から取得した運転者が見ている方向に関する情報や、信号機検出部１０５から取得した信号機の位置の情報や、自動運転操作部１０１から取得した運転操作に関する情報などを用いて判定する。
運転操作予告部１０７は、自動運転状態の時に運転者が運転動作を監視していると判定されると、自動運転操作部１０１が運転操作を実行するに先立って、運転操作の内容を自動運転操作部１０１から取得する。そして、運転席８に搭載されたヘッドレスト駆動部８ｍ，８ｔを駆動してヘッドレスト８ｈを動かすことによって、運転操作の内容を運転者に予告する。
これらの「部」を備える本実施例の自動運転制御装置１００は、以下のような処理を実行することによって、自動運転状態での運転操作の内容を運転者に予告する。このため、自動運転制御装置１００に運転を委ねることに不安を感じる運転者でも、自動運転状態を快適に感じながら目的地まで移動することが可能となる。

Ｂ．自動運転制御処理 ：
図３および図４には、本実施例の自動運転制御装置１００が実行する自動運転制御処理のフローチャートが示されている。図示されるように、自動運転制御処理を開始すると、先ず始めに、現在の運転状態が自動運転状態か否かを判断する（Ｓ１００）。自動運転状態は、自動運転制御装置１００が運転操作を行うことによって実現されているので、自動運転制御装置１００は、現在の運転状態が自動運転状態か否かを容易に判断することができる。
その結果、現在の運転状態が自動運転状態ではないと判断した場合は（Ｓ１００：ｎｏ）、以降の処理は不要となるので、運転を終了するか否かを判断する（図４のＳ１１１）。そして、運転を終了しない場合は（Ｓ１１１：ｎｏ）、再び処理の先頭に戻って、現在の運転状態が自動運転状態か否かを判断する（図３のＳ１００）。
このような操作を繰り返しているうちに、運転者が運転を終了したら、図４のＳ１１１で「ｙｅｓ」と判断して、自動運転制御処理を終了する。
これに対して、運転者の設定によって運転状態が自動運転状態に切り換わったら、図３のＳ１００で「ｙｅｓ」と判断する。

そして、この場合（Ｓ１００：ｙｅｓ）は、現在位置検出部９および地図情報記憶部１０から取得した情報に基づいて、自車両の現在位置や、移動経路を把握する（Ｓ１０１）。自車両の現在位置を検出するに際しては、測位衛星からの測位信号を用いて検出することができる。また、地図情報記憶部１０に記憶されている地図情報から道路形状を読み出して、いわゆるマップマッチングを行うことにより、現在位置の検出精度を向上させることも可能である。
続いて、車載カメラ６で撮影した前方画像を取得して、画像を解析することによって、走行中の車線の位置や、障害物の有無、歩行者の有無など含めた自車両の周囲の状況を把握する（Ｓ１０２）。
そして、自車両の現在位置や、地図情報や、周囲の状況などの情報に基づいて、運転操作の内容を決定する（Ｓ１０３）。ここで運転操作の内容とは、自車両の停止や発進、加速や減速、更には、右操舵や左操舵などを実現するための、ハンドル駆動部２ｍや、アクセル駆動部４ｍ、ブレーキ駆動部５ｍなどの駆動量である。

運転操作の内容を決定したら、続いて、監視判定処理を開始する（Ｓ２００）。詳細には後述するが、監視判定処理では、自動運転状態中に運転者が運転操作を監視しているか否かを判定する。すなわち、そもそも自動運転状態では自動運転制御装置１００が運転操作を実行するので、運転者は自動運転制御装置１００に運転操作を任せておくことができる。しかし、運転者の中には自動運転制御装置１００に運転操作を任せることに不安を感じる運転者も存在する。そして、このような運転者は、自動運転制御装置１００が周囲の状況に応じて適切な運転操作を実行するか否かを監視することになる。
従って、自動運転状態中に運転操作の内容を運転者が監視しているか否かが分かれば、その運転者が自動運転を信用しているか否かを知ることができる。そして、自動運転を信用していない運転者に対しては、運転操作の内容を予告してやることによって、運転者を安心させることが可能と考えられる。その一方で、自動運転を信用している運転者にとっては、運転操作の内容は不要な情報であるため、運転操作の度にそれを予告されても煩わしく感じる虞がある。
そこで、本実施例の自動運転制御処理では、自動運転状態で運転操作の内容を決定したら（Ｓ１０３）、自動運転制御装置１００が実行する運転操作を運転者が監視しているか否かを判定する。運転操作を運転者が監視しているか否かを判定する方法については、後ほど詳しく説明する。また、得られた判定結果は、自動運転制御装置１００の図示しない内蔵メモリーに記憶しておく。

続いて、運転者が運転操作を監視しているか否かを判断する（Ｓ１０４）。上述したように、監視判定処理によって得られた判定結果は、自動運転制御装置１００の内蔵メモリーに記憶されているので、メモリーに記憶されている判定結果を参照することによって、運転者が運転操作を監視しているか否かは直ちに判断することができる。
その結果、運転者が運転操作を監視していると判断した場合は（Ｓ１０４：ｙｅｓ）、先にＳ１０３で決定した運転操作に内容に応じて、予告態様および予告動作量を決定する（Ｓ１０５）。

図５には、運転操作に応じて予告態様および予告動作量を決定する方法が示されている。本実施例では、運転席８のヘッドレスト８ｈを移動させることによって運転操作を予告することとしており、ヘッドレスト８ｈを移動させる態様（すなわち予告態様）は、運転操作の内容に応じて予め定められている。
例えば、運転操作の内容が発進あるいは加速である場合には、図５（ａ）中に白抜きの矢印で示したように、ヘッドレスト８ｈを後方に移動させる予告態様が、運転操作に対応付けて設定されている。このうちの発進に対しては、ヘッドレスト８ｈを小さく急に移動させる予告態様が設定されており、加速に対しては、ヘッドレスト８ｈを比較的大きな移動量でゆっくりと移動させる予告態様が設定されている。更に、加速の場合のヘッドレスト８ｈの移動量は、これから自動運転車両１が行おうとしている加速の度合い（すなわち加速度）が大きくなるほど、移動量も大きくなる。

逆に、運転操作の内容が停止あるいは減速である場合には、図５（ａ）中に黒抜きの矢印で示したように、ヘッドレスト８ｈを前方に移動させる予告態様が、運転操作に対応付けて設定されている。このうちの停止に対しては、ヘッドレスト８ｈを小さく急に移動させる予告態様が設定され、減速に対しては、ヘッドレスト８ｈを比較的大きな移動量でゆっくりと移動させる予告態様が設定されている。更に、減速時のヘッドレスト８ｈの移動量は、これから自動運転車両１が行おうとしている減速度が大きくなるほど、移動量も大きくなる。
尚、自動運転車両１の発進や、停止、加速、減速に対しては、ヘッドレスト８ｈの移動量が予告動作量となる。また、ヘッドレスト８ｈを前後方向に移動させる動きは、運転席８に搭載されたヘッドレスト駆動部８ｍを駆動することによって実現することができる。

以上は、運転操作の内容が発進や、加速、停止、減速であった場合について説明したが、運転操作の内容が左右への操舵であった場合には、次のような予告態様が設定されている。先ず、右操舵に対しては、図５（ｂ）中に白抜きの矢印で示したように、ヘッドレスト８ｈを時計回りに回転させるような予告態様が設定されている。また、このときのヘッドレスト８ｈの回転量は、これから自動運転車両１が行おうとしている右操舵の操舵量が大きくなるほど、回転量も大きくなる。
逆に、左操舵に対しては、図５（ｂ）中に黒抜きの矢印で示したように、ヘッドレスト８ｈを反時計回りに回転させるような予告態様が設定されている。また、ヘッドレスト８ｈの回転量は、これから自動運転車両１が行おうとしている左操舵の操舵量が大きくなるほど、回転量も大きくなる。
尚、自動運転車両１の右操舵や左操舵に対しては、ヘッドレスト８ｈの回転量が予告動作量となる。また、ヘッドレスト８ｈを時計方向または反時計方向に回転させる動きは、ヘッドレスト８ｈに搭載されたヘッドレスト駆動部８ｔを駆動することによって実現することができる。
図３に示したＳ１０５では、以上のようにして、ヘッドレスト８ｈを用いた予告態様および予告動作量を決定する。

続いて、自動運転制御装置１００は、運転席８の背もたれ部８ｂの後傾角度を検出する（Ｓ１０６）。ここで、背もたれ部８ｂの後傾角度とは、背もたれ部８ｂを垂直に立てた状態を０度として、そこから背もたれ部８ｂを後ろ向きに倒した角度である。
図６に示したように、運転席８の背もたれ部８ｂが座部８ａに取り付けられる部分には、背もたれ部８ｂの後傾角度を検出する角度センサー８ｓが搭載されている。従って、自動運転制御装置１００は、角度センサー８ｓの出力に基づいて、背もたれ部８ｂの後傾角度を検出することができる。

背もたれ部８ｂの後傾角度を検出したら、後傾角度に対応する動作補正係数を決定する（図３のＳ１０７）。ここで、動作補正係数とは、Ｓ１０５で決定した予告動作量を補正するために用いる補正係数である。動作補正係数を、背もたれ部８ｂの後傾角度に応じて決定する理由は次のような事情による。

図６（ａ）には、後傾角度が１５度に設定された運転席８に、運転者が座った状態が示されている。図示されるように、後傾角度が１５度では、運転者は若干、窮屈な姿勢で運転席８に座ることとなる。また、このときの運転者は、図中に破線の矢印で示したように、真っ直ぐに前方を見ている状態となる。
一方、図６（ｂ）には、後傾角度が４５度に設定された運転席８に運転者が座った状態が示されている。図示されるように、後傾角度が４５度では、運転者は楽な姿勢で運転席８に座ることができる。また、このときの運転者は、図中に破線の矢印で示したように、上方に向かい、前方の状況を確認することは困難な状態となる。

自動運転状態では、運転者は運転操作を行う必要は無い。それにも拘わらず、図６（ａ）に示したように、運転者が、窮屈な姿勢を我慢してでも真っ直ぐに前が見えるような姿勢で座っているということは、自動運転制御装置１００による運転操作（すなわち自動運転）を信用していないことの表れと考えて良い。
一方、図６（ｂ）に示したように、前方が見えない楽な姿勢で座っている運転者は、前方の状況を把握しようとしているとは考えにくいから、このような運転者は、自動運転を信用していると考えて良い。

以上のことから、自動運転状態での運転席８の背もたれ部８ｂの後傾角度には、自動運転に対する運転者の信用度が反映されていると考えることができる。すなわち、後傾角度が小さくなる程、自動運転に対する信用度が小さくなり、特に、図６（ａ）に示したように後傾角度が１５度より小さくなると、ほとんど自動運転を信用していないと考えて良い。そして、このような運転者に対しては、運転操作の内容がハッキリと分かるように予告することが重要と考えられる。
また逆に、後傾角度が大きくなる程、自動運転に対する信用度が大きくなり、特に、図６（ｂ）に示したように後傾角度が４５度より大きくなると、自動運転を完全に信用していると考えて良い。そして、このような運転者に対しては、運転操作の内容を予告する必要はない。むしろ、予告することによって運転者が煩わしく感じる虞もあるので、予告しない方が良いと考えられる。
そこで、本実施例の自動運転制御装置１００では、背もたれ部８ｂの後傾角度に応じて動作補正係数を設定しておき、動作補正係数を用いて予告動作量を補正する。

図７には、自動運転制御装置１００の図示しない内蔵メモリーに、後傾角度に対する動作補正係数が記憶されている様子が例示されている。図示されるように、１５度未満の後傾角度に対しては、動作補正係数「１．０」が対応付けて記憶されている。また、１５度以上で２５度未満の後傾角度に対しては、動作補正係数「０．８」が対応付けて記憶されており、２５度以上で３５度未満の後傾角度に対しては、動作補正係数「０．６」が、３５度以上で４５度未満の後傾角度に対しては、動作補正係数「０．３」が記憶されている。更に、４５度以上の後傾角度に対しては、動作補正係数「０．０」が記憶されている。

ここで、４５度以上の後傾角度に対する動作補正係数が０．０となっているのは、図６（ｂ）に示したように自動運転を完全に信用していると考えられる運転者に対しては、予告を行わせないようにするためである。

また、後傾角度の増加に対する動作補正係数の減少量は、後傾角度が３５度未満の角度範囲よりも、３５度以上の角度範囲の方が大きくなっている。これは、後傾角度が大きくなると、運転者の頭部がヘッドレスト８ｈにしっかりと当接するため、ヘッドレスト８ｈの動きが運転者に伝わり易くなることを考慮したためである。
すなわち、例えば後傾角度が４０度に設定されていた場合、運転者は完全ではないにせよ、かなりの程度まで自動運転を信用していると考えられ、そのような運転者に対しては、運転操作の内容を予告する必要性は小さいと考えられる。そこで、運転者が予告を煩わしく感じることを避けるためには、予告動作量が小さくなるように補正することが望ましい。
しかし、背もたれ部８ｂが後傾しているために、運転者の頭部がヘッドレスト８ｈにしっかりと当接して、ヘッドレスト８ｈの動きが運転者に伝わり易くなっていたのでは、予告動作量を小さくしても、その効果が十分には得られない虞がある。そこで、本実施例の自動運転制御装置１００では、後傾角度が３５度以上の角度範囲では、３５度未満の角度範囲よりも、後傾角度の増加に対する動作補正係数の減少量を大きくしている。

図３のＳ１０７では、以上のようにして、背もたれ部８ｂの後傾角度に対応する動作補正係数を決定する。
続いて、Ｓ１０５で決定しておいた予告動作量に動作補正係数を乗算することによって、予告動作量を補正する（Ｓ１０８）。

そして、補正した予告動作量で、ヘッドレスト駆動部８ｍあるいはヘッドレスト駆動部８ｔを駆動してヘッドレスト８ｈを移動させることによって、運転操作の内容を予告する（図４のＳ１０９）。
例えば、自動運転車両１が減速しようとしている場合は、ヘッドレスト８ｈを前方に移動させ、加速しようとしている場合は、ヘッドレスト８ｈを後方に移動させる（図５（ａ）参照）。あるいは自動運転車両１が右または左操舵しようとしている場合は、ヘッドレスト８ｈを時計方向または反時計方向に回転させる（図５（ｂ）参照）。このため運転者は、自動運転車両１が行おうとしている運転操作の内容を、ヘッドレスト８ｈの動きによって予め認識することができる。
また、自動運転状態では、運転者はステアリングハンドル２から手を離しているので、運転者は自然とヘッドレスト８ｈに頭部を預けた姿勢となる。従って、ヘッドレスト８ｈを移動させることで、運転操作の内容を確実に運転者に認識させることができる。それでいながら、ヘッドレスト８ｈの移動による予告は、運転者に取っては、あたかも軽いマッサージを受けているような感じで、音や画像を用いて予告する場合のように運転者に負担を掛ける虞もない。

こうして運転操作の内容を運転者に予告したら、図３のＳ１０３で決定した運転操作の内容に従って、ハンドル駆動部２ｍや、アクセル駆動部４ｍ、ブレーキ駆動部５ｍを駆動することにより、運転操作を実施する（図４のＳ１１０）。

以上では、自動運転中に運転者が運転操作を監視していると判断した場合（図３のＳ１０４：ｙｅｓ）についての処理について説明した。
これに対して、運転者が運転操作を監視していない場合は（Ｓ１０４：ｎｏ）、運転操作の内容を運転者に対して予告する必要は無い。そこで、運転操作を予告するための一連の処理（すなわち、Ｓ１０５からＳ１０９）は省略して、直ちに運転操作を実施する（Ｓ１１０）。

こうして運転操作を実施したら（Ｓ１１０）、運転を終了するか否かを判断して（Ｓ１１１）、運転を終了しない場合は（Ｓ１１１：ｎｏ）、再び先頭に戻って、自動運転状態が継続されているか否かを判断した後（図３のＳ１００）、上述した続く一連の処理を繰り返す。

上述した自動運転制御処理で、運転者に運転操作の内容を適切に予告するためには、運転者が運転操作の内容を監視しているか否かを適切に判定することが重要となる。本実施例の自動運転制御装置１００では、自動運転制御処理の中で以下のような監視判定処理を行うことによって、運転者が運転操作の内容を監視しているか否かを判定する。

Ｃ．監視判定処理 ：
図８には、本実施例の自動運転制御装置１００が実行する監視判定処理のフローチャートが示されている。この処理は、上述した自動運転制御処理の中で運転状態が自動運転状態であると判断された場合に、自動運転制御装置１００によって実行される処理である。

図示されるように監視判定処理（Ｓ２００）を開始すると、運転者の顔画像を取得する（Ｓ２０１）。運転席カメラ７は一定周期で運転者の顔画像を撮影しており、Ｓ２０１では、運転席カメラ７で撮影した最新の顔画像を取得する。
続いて、顔画像を解析することによって、運転者の顔の向きを検出する（Ｓ２０２）。運転者の顔の向きは、種々の方法で検出することができる。例えば、顔画像の中から目や鼻の位置を検出して、顔の中でのそれらの位置に基づいて顔の向きを検出する。仮に、顔が真正面を向いているのであれば、鼻が検出される位置は顔の中央となり、鼻から同じような距離で両側に目が検出される。これに対して、顔が左側を向くに従って、顔画像では鼻および目の位置が右側にずれていき、ある程度傾くと、運転者の左側の目（すなわち、顔画像上では右側に写った目）が検出されなくなる。従って、顔画像中で目や鼻が検出された位置に基づいて、顔の向きを検出することができる。

次に、運転者の視線の向きを検出する（Ｓ２０３）。運転者の視線の向きについても種々の方法で検出することができる。例えば、運転者の顔画像の中から目が写った画像を検出し、更に、目の画像の中で黒目が写った部分を検出する。仮に、視線が真っ直ぐに前を向いているのであれば、黒目の位置は目の中央となる筈である。これに対して、視線が左側を向くに従って、画像上では黒目の位置が目の中央から右側にずれていく。逆に視線が右側を向くに従って、画像上では黒目の位置が目の中央から左側にずれていく。従って、目が写った画像中での黒目の位置に基づいて、視線の向きを検出することができる。

こうして運転者の顔の向きおよび視線の向きを検出したら、自動運転車両１の操舵角度を取得する（Ｓ２０４）。前述したように監視判定処理は自動運転状態で実行される処理であり、自動運転状態中は自動運転制御装置１００がステアリングハンドル２を操舵する。従って、自動運転制御装置１００は、現時点でのステアリングハンドル２の操舵角度を直ちに取得することができる。

続いて、取得した操舵角度の方向が、直進方向か否かを判断する（Ｓ２０５）。取得した操舵角度が０度を中心として所定の角度範囲内にあれば、直進方向と判断することができる。
その結果、操舵角度の方向が直進方向ではなかった場合は（Ｓ２０５：ｎｏ）、今度は、運転者が操舵角度の方向を見ているか否かを判断する（Ｓ２０６）。この判断には、Ｓ２０２で取得した運転者の顔の向きと、Ｓ２０３で取得した視線の向きとを利用する。すなわち、運転者の顔の向き、あるいは視線の向きの少なくとも一方が、操舵角度の方向を向いていた場合には、運転者が操舵角度の方向を見ていると判断する（Ｓ２０６：ｙｅｓ）。
ここで、運転者の顔の向きあるいは視線の向きが、「正面方向」、「右斜め方向」、「右方向」、「左斜め方向」、「左方向」のように大ざっぱな方向で得られている場合には、操舵角度の方向が大ざっぱな方向に該当するか否かを判断する。これに対して、顔の向きあるいは視線の向きが角度で得られている場合には、顔や視線の向きを示す角度と操舵角度との偏差を求めて、偏差が所定角度以内であれば、顔あるいは視線の向きが操舵角度の方向を向いていると判断する。

そして、運転者が操舵角度の方向を見ている場合には（Ｓ２０６：ｙｅｓ）、運転者が運転操作を監視しているものと判断して、その結果を、自動運転制御装置１００の内蔵メモリーに記憶する（Ｓ２１０）。すなわち、自動運転状態では運転者は運転する必要がないので、ちょうどタクシーに乗車した時と同じように、周囲の景色や町並みを眺めたり、あるいは手元の書物や携帯端末等を見たりするものと思われる。それにも拘わらず、例えば自動運転状態で右操舵している場合には右方向を確認し、左操舵している場合は左方向を確認するのは、自動運転状態での運転操作を監視していることの表れと考えて良い。そこで、運転者が操舵角度の方向を見ている場合には（Ｓ２０６：ｙｅｓ）、運転者が運転操作を監視しているものと判断して、その旨をメモリーに記憶する（Ｓ２１０）。

一方、Ｓ２０４で取得した操舵角度の方向が直進方向であった場合（Ｓ２０５：ｙｅｓ）、あるいは運転者が操舵角度の方向を見ていないと判断した場合は（Ｓ２０６：ｎｏ）、車載カメラ６で撮影した前方画像を取得する（Ｓ２０７）。そして、前方画像を解析することによって、自車両に対して表示する信号機が前方画像に写っているか否かを判断する（Ｓ２０８）。

図９には、前方画像の中から自車両に対して表示する信号機が検出された様子が例示されている。自車両に対して表示する信号機は、当然ながら、こちら側に正面を向けて写っている。そして、正面から見た信号機は特徴的な形状を有しているので、前方画像中にこのような信号機が写っていれば、容易に検出することができる。図９に示した例では、前方画像中の領域Ａおよび領域Ｂで、該当する信号機が検出されている。
このように、前方画像中で自車両に対して表示する信号機が検出された場合には、Ｓ２０８では「ｙｅｓ」と判断されて、続いて、Ｓ２０３で検出した運転者の視線の向きが、信号機の方向を向いているか否かを判断する（Ｓ２０９）。図９に示した例では、運転者の視線が、領域Ａまたは領域Ｂの何れかを向いているか否かを判断する。

その結果、運転者の視線の向きが信号機の方向を向いていた場合は（Ｓ２０９：ｙｅｓ）、運転者が運転操作を監視していると判断して、その旨を自動運転制御装置１００の内蔵メモリーに記憶する（Ｓ２１０）。
これに対して、運転者の視線の向きが信号機の方向を向いていない場合は（Ｓ２０９：ｎｏ）、運転者は操作方向も信号機の方向も見ていないことになる。そこで、運転操作は監視していないと判断して、その旨を自動運転制御装置１００の内蔵メモリーに記憶する（Ｓ２１１）。
また、前方画像中で自車両に対して表示する信号機が写っていなかった場合も（Ｓ２０８：ｎｏ）、運転者は運転操作を監視していないと判断して、その旨を自動運転制御装置１００の内蔵メモリーに記憶する（Ｓ２１１）。

以上のようにして、運転者が運転操作を監視しているか否かについての判断結果を記憶したら（Ｓ２１０、Ｓ２１１）、図８に示した監視判定処理を終了して、図３および図４に示した自動運転制御処理に復帰する。そして、前述したように自動運転制御処理では、記憶した判断結果を読み出すことによって、運転者が運転操作を監視しているか否かを判断し（図３のＳ１０４）、運転操作を監視していると判断した場合には（Ｓ１０４：ｙｅｓ）、運転者に対して運転操作の内容を予告する（図４のＳ１１０）。これに対して、運転操作を監視していないと判断した場合には（Ｓ１０４：ｎｏ）、運転操作の予告は行わない。

こうすれば、自動運転制御装置１００に運転を委ねることに不安を感じる運転者に対しては、自動運転制御装置１００によって行われる運転操作の内容を、予め認識させることができる。このため、運転者の不安を軽減することができるので、目的地まで快適に移動することが可能となる。また、自動運転制御装置１００に運転を委ねることに不安を感じない運転者に対しては、運転操作の内容が予告されることはない。このため、運転者が予告を煩わしく感じることもない。

また、運転者が操作角度の方向を見ているなどして、運転操作を監視しているとご判断された場合でも、運転者が運転席８の背もたれ部８ｂを倒していれば、運転操作の内容が予告されないか、あるいは、ヘッドレスト８ｈが小さく動いて予告されるに過ぎない。このため、運転者が予告を煩く感じることを回避することが可能となる。

尚、上述した監視判定処理では、運転者が操舵角度の方向を見ていれば（図８のＳ２０６：ｙｅｓ）、運転操作を監視していると判断するものとして説明した。
しかし、運転者が一定時間に亘って操舵角度の方向を見ている場合、あるいは一定時間の中で操舵角度の方向を見ている時間の比率が所定比率以上であった場合に、運転者が運転操作を監視していると判断してもよい。
こうすれば、運転者が顔の向きあるいは視線の向きを動かしているときに顔画像を撮影して、その顔画像に写った顔の向きあるいは視線の向きが、たまたま操舵角度の方向を向いていたために、運転者が運転操作を監視しているとご判断することを回避することができる。

あるいは、毎回の判断結果をそのまま採用するのではなく、それまでに得られた複数回の判断結果を踏まえて、最終的な判断結果を決定することとしても良い。例えば、毎回の判断結果は一旦記憶しておき、この度に記憶した判断結果を含めて過去の例えば５回分の判断結果を読み出して、その中で運転操作を監視しているとする判断結果が多かった場合には、運転操作を監視している旨を、最終的な判断結果としてもよい。
あるいは、この度の判断結果を含めて過去の３回分の判断結果が何れも、運転操作を監視している旨の判断結果であった場合には、運転操作を監視している旨を最終的な判断結果とし、そうではなかった場合には、運転操作を監視していない旨を最終的な判断結果としてもよい。
このようにしても、運転者が顔の向きあるいは視線の向きを動かしているときに顔画像を撮影して、その顔画像に写った顔の向きあるいは視線の向きが、たまたま操舵角度の方向を向いていたために、運転者が運転操作を監視しているとご判断することを回避することができる。

Ｄ．変形例 ：
上述した本実施例には、種々の変形例が存在する。以下では、これらの変形例について、本実施例との相違点を中心として簡単に説明する。
（１）第１変形例 ：
上述した本実施例では、背もたれ部８ｂに内蔵されたヘッドレスト駆動部８ｍによって、ヘッドレスト８ｈを傾けるようにして前後に移動させ、ヘッドレスト８ｈに内蔵されたヘッドレスト駆動部８ｔによってヘッドレスト８ｈを回転させるものとして説明した。
これに対して、伸縮可能な２つのヘッドレスト駆動部８ｃ，８ｅをヘッドレスト８ｈの内部に搭載することによって、ヘッドレスト８ｈの運転者が頭部を載せる側の表面（以下、頭部載置面）を移動させても良い。

図１０には、このような第１変形例のヘッドレスト８ｈの大まかな構造が示されている。図示されるように第１変形例のヘッドレスト８ｈの内部には、２つのヘッドレスト駆動部８ｃ，８ｅが左右に並べて搭載されている。これらのヘッドレスト駆動部８ｃ，８ｅは、自動運転制御装置１００の制御の元で伸縮可能となっている。
そして、ヘッドレスト駆動部８ｃを伸張させて、ヘッドレスト駆動部８ｅを収縮させると、ヘッドレスト８ｈの頭部載置面の右側（図面上では向かって左側）が隆起するように変形する。逆に、ヘッドレスト駆動部８ｃを収縮させて、ヘッドレスト駆動部８ｅを伸張させると、ヘッドレスト８ｈの頭部載置面の左側（図面上では向かって右側）が隆起するように変形する。
更に、ヘッドレスト駆動部８ｃおよびヘッドレスト駆動部８ｅのどちらも伸張させると、ヘッドレスト８ｈの頭部載置面が前方に移動し、ヘッドレスト駆動部８ｃおよびヘッドレスト駆動部８ｅのどちらも収縮させると、ヘッドレスト８ｈの頭部載置面が後方に移動する。

従って、ヘッドレスト駆動部８ｃ，８ｅを適切に駆動することによって、図５（ａ）、図５（ｂ）を用いて前述したヘッドレスト８ｈの動きと同様な動きを実現することができる。このため、第１変形例のヘッドレスト８ｈを用いても、前述した本実施例と同様に、ヘッドレスト８ｈの動きによって、運転操作の内容を運転者に予告することが可能となる。

（２）第２変形例 ：
上述した本実施例および第１変形例では、ヘッドレスト８ｈの動きによって、運転操作の内容を運転者に予告するものとして説明した。しかし、ヘッドレスト８ｈに限らず、運転席８の一部を駆動することによっても、運転操作の内容を予告することができる。

例えば、図１１に示したように、背もたれ部８ｂを駆動する駆動部８ｄを運転席８に設けておき、自動運転制御装置１００の制御によって駆動部８ｄを駆動しても良い。
例えば、発進前や加速前には、図１１中に白塗りの矢印で示したように、背もたれ部８ｂを後方に倒すように移動させ、停止前や減速前には、黒塗りの矢印で示したように、背もたれ部８ｂを前方に倒すように移動させる。
あるいは、図１２に示したように、運転席８の座部８ａに、運転席８全体を移動させる駆動部８ｇを設けておき、自動運転制御装置１００の制御によって駆動部８ｇを駆動しても良い。
例えば、発進前や加速前には、図１２中に白塗りの矢印で示したように、運転席８全体を後方に移動させ、停止前や減速前には、黒塗りの矢印で示したように、運転席８を前方に移動させる。

また、図１３に示したように、運転席８の左右に設けられたサポート部８Ｒ，８Ｌに、それぞれの駆動部８Ｒｄ，８Ｌｄを設けておき、自動運転制御装置１００の制御によって駆動部８Ｒｄ，８Ｌｄを駆動しても良い。
例えば、左操舵前には、右側のサポート部８Ｒおよび左側のサポート部８Ｌが図中の黒塗りの矢印で示した方向に傾くように、それぞれ駆動部８Ｒｄ，８Ｌｄを駆動する。
また、右操舵前には、右側のサポート部８Ｒおよび左側のサポート部８Ｌが図中の白塗りの矢印で示した方向に傾くように、それぞれ駆動部８Ｒｄ，８Ｌｄを駆動する。

このようにすれば、背もたれ部８ｂの動きや、運転席８全体の動き、サポート部８Ｒ，８Ｌの動きなどによって、運転操作の内容を運転者に予告することが可能となる。

（３）第３変形例 ：
また、運転操作の内容を予告すべき運転者は、自動運転状態でも車両の進行方向前方を見ているから、ステアリングハンドル２が視界に入っていると考えられる。
そこで、図１４に示したように、ステアリングハンドル２の中にハンドル移動部２ｄを設けておき、自動運転制御装置１００の制御によってハンドル移動部２ｄを駆動することによって、ステアリングハンドル２の位置を移動させることとしても良い。
例えば、発進前や加速前には、図１４（ａ）中に黒塗りの矢印で示したように、ステアリングハンドル２を上方に移動させ、停止前や減速前には、白塗りの矢印で示したように、ステアリングハンドル２を下方に移動させる。
また、左操舵前には、図１４（ｂ）中に黒塗りの矢印で示したように、ステアリングハンドル２を左方向に移動させ、右操舵前には、白抜きの矢印で示したように、ステアリングハンドル２を右方向に移動させる。
このようにすれば、ステアリングハンドル２の動きによって、運転操作の内容を運転者に予告することが可能となる。

以上、各種の実施例および変形例について説明したが、本発明は上述した各種の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

たとえば、上述した実施例および変形例では、自動運転中に運転者が運転操作を監視しているか否かを、運転者の顔画像に基づいて判定した。しかし、判定方法は他の方法を用いることもできる。たとえば、運転席８に座った運転者の生体情報（たとえば、心拍数や、脈拍、発汗）を検出するセンサーを搭載しておき、検出した生体情報に基づいて判定するようにしてもよい。

１…自動運転車両、 ２…ステアリングハンドル、 ２ｄ…ハンドル移動部、
６…車載カメラ、 ７…運転席カメラ、 ８…運転席、
８ｂ…背もたれ部、 ８ｃ，８ｅ，８ｍ，８ｔ…ヘッドレスト駆動部、
８ｈ…ヘッドレスト、 ８ｓ…角度センサー、 ９…現在位置検出部、
１０…地図情報記憶部、 １００…自動運転制御装置、 １０１…自動運転操作部、
１０２…顔画像取得部、 １０３…方向検出部、 １０４…前方画像取得部、
１０５…信号機検出部、 １０６…運転監視判定部、 １０７…運転操作予告部。

Claims (12)

1. 運転者によって運転操作が行われる手動運転状態と、該運転者によらずに運転操作が行われる自動運転状態とに切換可能な自動運転車両（１）に搭載されて、前記自動運転車両を制御する自動運転制御装置（１００）であって、
   前記自動運転状態時に前記自動運転車両に対して前記運転操作を行う自動運転操作部（１０１）と、
   前記自動運転状態での前記運転操作を前記運転者が監視しているか否かを判定する運転監視判定部（１０６）と、
   前記運転者が前記運転操作を監視していると判定された場合には、前記自動運転操作部による前記運転操作に先立って、該運転操作の内容を前記運転者に予告する運転操作予告部（１０７）と
   を備える自動運転制御装置。
2. 請求項１に記載の自動運転制御装置であって、
   前記運転者の顔画像を取得する顔画像取得部（１０２）と、
   前記運転者が見ている方向を前記顔画像に基づいて検出する方向検出部（１０３）と
   を備え、
   前記運転監視判定部は、前記運転者が前記自動運転車両の進行方向を見ている場合に、前記運転操作を監視していると判定する
   ことを特徴とする自動運転制御装置。
3. 請求項２に記載の自動運転制御装置であって、
   前記運転監視判定部は、前記自動運転操作部から前記自動運転車両の操舵方向を取得して、前記運転者が前記自動運転車両の操舵方向を見ている場合に、前記運転操作を監視していると判定する
   ことを特徴とする自動運転制御装置。
4. 請求項２または請求項３に記載の自動運転制御装置であって、
   前記方向検出部は、前記顔画像から前記運転者の視線の方向を検出することによって、前記運転者が見ている方向を検出する
   ことを特徴とする自動運転制御装置。
5. 請求項２ないし請求項４の何れか一項に記載の自動運転制御装置であって、
   前記自動運転車両から進行方向前方を撮影した前方画像を取得する前方画像取得部（１０４）と、
   前記前方画像の中から自車両に対して表示する信号機を検出する信号機検出部（１０５）と
   を備え、
   前記運転監視判定部は、前記運転者が前記信号機の方向を見ている場合に、前記運転操作を監視していると判定する
   ことを特徴とする自動運転制御装置。
6. 請求項１ないし請求項５の何れか一項に記載の自動運転制御装置であって、
   運転席の少なくとも一部を移動させる運転席駆動部（８ｍ、８ｔ、８ｃ、８ｅ、８ｄ、８ｇ、８Ｒｄ、Ｌｄ）を備え、
   前記運転操作予告部は、前記運転席駆動部を駆動することによって、前記運転操作の内容を前記運転者に予告する
   ことを特徴とする自動運転制御装置。
7. 請求項６に記載の自動運転制御装置であって、
   前記運転席駆動部は、前記運転席のヘッドレストを移動させる
   ことを特徴とする自動運転制御装置。
8. 請求項６または請求項７に記載の自動運転制御装置であって、
   前記運転席の背もたれ部の後傾角度を検出する後傾角度検出部（８ｓ）を備え、
   前記運転操作予告部は、前記後傾角度に応じた駆動量で前記運転席駆動部を駆動する
   ことを特徴とする自動運転制御装置。
9. 請求項１ないし請求項７の何れか一項に記載の自動運転制御装置であって、
   前記運転者が操舵するハンドルの位置を移動させるハンドル移動部（２ｄ）を備え、
   前記運転操作予告部は、前記ハンドル移動部を駆動することによって、前記運転操作の内容を前記運転者に予告する
   ことを特徴とする自動運転制御装置。
10. 請求項９に記載の自動運転制御装置であって、
    前記運転席の背もたれ部の後傾角度を検出する後傾角度検出部（８ｓ）を備え、
    前記運転操作予告部は、前記後傾角度に応じた移動量で前記ハンドル駆動部を駆動する
    ことを特徴とする自動運転制御装置。
11. 請求項８または請求項１０に記載の自動運転制御装置であって、
    前記運転監視判定部は、前記後傾角度が所定の閾値角度より大きかった場合は、前記運転操作を前記運転者が監視していないと判定する
    ことを特徴とする自動運転制御装置。
12. 運転者によって運転操作が行われる手動運転状態と、該運転者によらずに運転操作が行われる自動運転状態とに切換可能な自動運転車両に適用されて、前記自動運転車両を制御する自動運転制御方法であって、
    前記自動運転状態時に前記自動運転車両に対する前記運転操作の内容を決定する工程（Ｓ１０３）と、
    前記自動運転状態時に前記運転者が前記運転操作を監視しているか否かを判定する工程（Ｓ２００）と、
    前記運転者が前記運転操作を監視していると判定された場合には、前記運転操作に先立って、該運転操作の内容を前記運転者に予告する工程（Ｓ１０９）と、
    前記運転操作を実施する工程（Ｓ１１０）と
    を備える自動運転制御方法。

Images