JP2017091013A - 運転支援装置 - Google Patents

Abstract

【課題】車両に搭載する表示装置において、運転者が意図したものを表示する。【解決手段】運転支援装置は、車両の後方を撮影する後方撮影装置と、運転者の目を撮影範囲に含む車内撮影装置と、運転者から視認できる位置に設けられ、後方撮影装置が撮影した後方画像を表示する表示装置とに接続される。また、運転支援装置は、車内撮影装置が撮影した画像に基づいて、表示装置上に表示された後方画像における、運転者の注視点を求める視線検知部と、表示装置において、後方画像を、当初の拡大率よりも注視点を拡大して表示させる表示制御部とを有する。【選択図】図４

Description

本発明は、運転支援装置に関する。

従来、車両の周囲を撮影した画像を車内の表示装置に表示して乗員に視認させる技術が提案されている。また、車両内の乗員の視点から、車両の後方を確認するための車載用ミラーを見たときに視認される車載用ミラーの映像を示す画像を、車両の周囲における予め設定された所定撮影領域を繰り返し撮影した画像である周囲撮影画像を座標変換することにより生成する技術も提案されている（例えば、特許文献１）。

また、例えば車両周囲の俯瞰画像のような視点変換画像の一部を切り出す技術（例えば、特許文献２及び３）、運転者の視点から見た仮想カメラ画像と、半透明化した車室内画像とを重ね合わせて表現する技術（例えば、特許文献４）、仮想的なカメラ位置から見た複数のカメラの画像の合成画像を、仮想カメラの位置或いは画像合成時のブレンド率を変化させながら作成し、仮想的な周囲空間に投射する技術（例えば、特許文献５）、走行シーンに基づいて周囲映像に関する視点位置を調整する技術（例えば、特許文献６）等も提案されている。

特開２０１０−１８３１７０号公報 特開２０１５−７０３５０号公報 特開２０１０−０６７０９５号公報 国際公開第２００９／１０４６７５号 特開２０１５−１５５２７号公報 特開２０１０−０８１２４５号公報

従来、車両の周囲の画像を合成して表示装置に出力したり、走行シーン等に応じて表示を変更する技術が提案されていた。しかしながら、運転者が見たがっているものを表示するような技術は存在していなかった。

そこで、本発明は、車両に搭載する表示装置において、運転者が意図したものを表示できるようにすることを目的とする。

本発明に係る運転支援装置は、車両の後方を撮影する後方撮影装置と、運転者の目を撮影範囲に含む車内撮影装置と、運転者から視認できる位置に設けられ、後方撮影装置が撮影した後方画像を表示する表示装置とに接続される。また、運転支援装置は、車内撮影装置が撮影した画像に基づいて、表示装置上に表示された後方画像における、運転者の注視点を求める視線検知部と、表示装置において、後方画像を、当初の拡大率よりも注視点を拡大して表示させる表示制御部とを有する。

また、視線検知部が、所定期間、運転者の注視点が表示装置から外れたと判断した場合、表示制御部は、後方画像を当初の拡大率に戻すようにしてもよい。

また、後方画像に撮影された動体のうち、車両に対する相対速度が所定値よりも高い接近動体を検知する接近検知部をさらに有し、視線検知部が、運転者の注視点が、表示装置上の接近動体から外れていると判断した場合、表示制御部は、表示装置上に接近動体を強調表示するようにしてもよい。

また、視線検知部が、運転者の注視点が接近動体から外れており、且つ運転者の注視点が表示装置から外れていると判断した場合において、運転者の注視点が表示装置上に移動したとき、点滅による強調表示を点灯状態から開始するようにしてもよい。

また、運転者の生体情報を取得し、取得した生体情報に基づいて運転者の集中力、緊張感、疲労又は眠気を示す第１の指標値を求める生体情報解析部をさらに備え、表示制御部は、第１の指標値が所定の閾値を超える場合に、表示装置上に接近動体の強調表示を行うようにしてもよい。

また、運転支援装置は音声入力手段と、車両の後部座席を撮影する後部座席撮影装置とにさらに接続され、音声入力手段を介して入力された音声から、所定の単語を検知する音声認識部をさらに有し、音声認識部が、所定の単語を検知し、且つ視線検知部が、運転者の注視点が表示装置上にあると判断した場合、表示制御部は、後部座席撮影装置が撮影した後部座席の画像を表示装置に表示するようにしてもよい。

また、音声入力手段を介して入力される音声に基づいて、運転者が会話を継続していると判断された場合、表示制御部は、後部座席の画像の表示を継続するようにしてもよい。

車内撮影装置が撮影した画像に基づいて、運転者の疲労又は眠気を示す第２の指標値を求める画像解析部をさらに備え、表示制御部は、第２の指標値が所定の閾値を超える場合、表示装置において、後方画像を、当初の拡大率よりも注視点を拡大して表示させるようにしてもよい。

また、運転支援装置は、音声出力部とさらに接続されており、視線検知部が、運転者の注視点が所定時間以上、表示装置上にないと判断した場合、音声出力部に、音声による警告を出力させるようにしてもよい。

また、車両は自動運転を行うシステムを備え、表示制御装置は、自動運転時において、表示装置に後方画像をズームアウトした状態で表示するようにしてもよい。

また、運転支援装置は、運転者の生体情報を取得するウェアラブル装置とさらに接続され、生体情報解析部は、ウェアラブル装置から取得した生体情報に基づいて運転者の体調が良好でないと判断した場合、表示装置は、平面鏡と略同一の視野角で後方画像を表示するようにしてもよい。

また、表示装置が表示装置に表示する画像を変更した後、車内撮影装置が撮影した運転者の画像のフィードバックを受け、表示装置による制御を調整する最適化部をさらに備えるようにしてもよい。

運転支援装置は、表示制御装置が表示装置に表示する画像を変更する条件、又は当該条件を満たした場合に表示する画像の設定を記憶する記憶部をさらに備え、当該記憶部に条件又は画像の設定が記憶されている場合、当該条件又は画像の設定に基づいて制御を行うようにしてもよい。

なお、課題を解決するための手段に記載の内容は、本発明の課題や技術的思想を逸脱し
ない範囲で可能な限り組み合わせることができる。また、課題を解決するための手段の内容は、回路が実行する方法として提供するようにしてもよい。

車両に搭載する表示装置において、運転者が意図したものを表示できるようになる。

運転支援装置を搭載した車両の主な構成を示す図である。 運転支援装置を搭載した車両の構成を模式的に示す図である。 コンピュータの一例を示す装置構成図である。 運転支援装置の一例を示す機能ブロック図である。 画像拡大処理の一例を示す処理フロー図である。 表示装置に表示される画像の一例を示す図である。 表示装置に表示される画像の一例を示す図である。 危険車両強調処理の一例を示す処理フロー図である。 表示装置に表示される画像の一例を示す図である。 後部座席表示処理の一例を示す処理フロー図である。 状態判定処理の一例を示す処理フロー図である。

以下、添付図面を参照して説明する。図面に本発明の好ましい実施形態を示すが、本発明は多くの異なる形態で実施することが可能であり、本明細書に記載する実施形態には限定されない。

＜車両の構成＞
図１は、本実施形態に係る運転支援装置を搭載した車両の主な構成を示す図である。図２は、本実施形態に係る運転支援装置を搭載した車両の構成を模式的に示す図である。図２では、破線で車両１を表し、実線で車両１が備える構成及びこれらの接続関係、並びに各構成を設けるおおよその位置を示している。車両１は、表示装置１１と、運転支援装置１２と、車内撮影装置１３と、後方撮影装置１４と、後部座席撮影装置１５と、音声入力装置１６と、音声出力装置１７と、周辺センサ１８とを備えている。

表示装置１１は、運転者２が視認できる位置に設けられたモニターである。具体的には、いわゆるルームミラー（バックミラー）の鏡面の代わりに液晶モニターを搭載した装置であり、任意の画像又は映像を表示することができる。後述するように、本実施形態では、例えば、車両の外部後方をカメラで撮影した画像を左右反転させて鏡像を生成し、表示装置１１に表示させることができる。このように、表示装置１１はルームミラーのようにも機能するものであり、本実施形態では表示装置１１をスマートミラーとも呼ぶ。また、いわゆる映像も時系列的に更新される複数の画像によって表されるものであり、本実施形態では画像と呼ぶものとする。

運転支援装置１２は、いわゆるコンピュータであり、表示装置１１が行う画像の表示を制御する。図３は、コンピュータの一例を示す装置構成図である。運転支援装置１２は、例えば図３に示すようなコンピュータである。図３に示すコンピュータ１０００は、ＣＰＵ（Central Processing Unit）１００１、主記憶装置１００２、補助記憶装置１００３
、通信ＩＦ（Interface）１００４、入出力ＩＦ（Interface）１００５、通信バス１００６を備えている。ＣＰＵ１００１は、プログラム（「ソフトウェア」又は「アプリケーション」とも呼ぶ）を実行することにより本実施の形態に係る処理等を行う。主記憶装置１００２は、ＣＰＵ１００１が読み出したプログラムやデータをキャッシュしたり、ＣＰＵの作業領域を確保したりする。主記憶装置は、具体的には、ＲＡＭ（Random Access Memo
ry）やＲＯＭ（Read Only Memory）等である。補助記憶装置１００３は、ＣＰＵ１００１により実行されるプログラムや、動作の設定情報などを記憶する。補助記憶装置１００３は、具体的には、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ｅＭＭＣ（embedded Multi-Media Card）、フラッシュメモリ等である。通信ＩＦ１００４は、例
えば運転者２が身に着けているウェアラブル装置３等との間でデータを送受信する。通信ＩＦ１００４は、具体的には、無線通信チップ等である。入出力ＩＦ１００５は、表示装置１１、各撮影装置、音声入出力装置等と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。そして、以上のような構成要素が、通信バス１００６で接続されている。なお、これらの構成要素はそれぞれ複数設けられていてもよいし、一部の構成要素を設けないようにしてもよい。そして、ＣＰＵ１００１がプログラムを実行することにより、図３のコンピュータを運転支援装置１２として働かせる。

また、車内撮影装置１３、後方撮影装置１４及び後部座席撮影装置１５は、いわゆるカメラであり、撮影した画像を継続的に出力する。また、図１及び図２に示した一点鎖線は、各撮影装置のおおよその撮影範囲（すなわち、視野角）を示している。車内撮影装置１３は、運転者２（少なくとも運転者２の目）を撮影範囲に含み、運転支援装置１２は、例えば撮影された運転者２の状態に応じて表示装置１１に表示させる画像を変更する。後方撮影装置１４は、車両１の車外後方を撮影範囲とし、運転支援装置１２は、例えば後方撮影装置１４が撮影した画像を表示装置１１に表示させる。後部座席撮影装置１５は、車両１の後部座席を撮影範囲とし、運転支援装置１２は、所定の状況においては、後部座席撮影装置１５が撮影した画像を表示装置１１に表示させるようにしてもよい。

音声入力部１６は、マイクロフォン等の入力装置であり、例えば運転者２の声を取得して運転支援装置１２に出力する。音声出力部１７は、スピーカー等の出力装置であり、運転支援装置１２は、音声出力部１７を介して運転者２に音声による警告等を出力してもよい。

周辺センサ１８は、超音波センサやミリ波レーダ等の装置であり、車両１の周囲に接近する物体を検知することができる。

また、運転者２は、運転者２の様々な状態を測定して運転支援装置１２へ送信するウェアラブル装置３を身に着けていてもよい。ウェアラブル装置３は、例えば、腕時計型、眼鏡型等の装置であり、運転者の脈拍、体温等を測定して運転支援装置１２に送信する。なお、データの送受信には、既存の様々な無線通信規格を利用することができる。

＜機能構成＞
図４は、運転支援装置１２の一例を示す機能ブロック図である。運転支援装置１２は、視線検知部１２１と、表示制御部１２２と、接近検知部１２３と、生体情報解析部１２４と、音声認識部１２５と、画像解析部１２６と、最適化部１２７と、記憶部１２８とを備えている。なお、運転支援装置１２の上述したＣＰＵ１００１が所定のプログラムを実行することにより、運転支援装置１２を図４に示した各機能部として働かせることができる。

視線検知部１２１は、車内カメラ１３が撮影した運転者２の顔の画像に基づいて、運転者２の視線の先にある注視点が、表示装置１１上であるか否か、表示装置１１上のいずれの位置であるか等を判断する。なお、注視点の特定には、既存の様々な技術を適用することができる。例えば、車内撮影装置１３が撮影した画像において、運転者２の目頭を基準とした虹彩の位置関係に基づいて、注視点を求めるようにしてもよい。また、眼球表面の角膜側と網膜側との電位差を利用するＥＣＱ法、コイルを備えるコンタクトレンズを磁界の中で用いて電流を計測するサーチコイル法、角膜と強膜との光の反射率の差を利用する
強膜反射法、眼球に近赤外線を照射し、角膜表面に生じる輝点（プルキニエ像）と瞳孔との位置関係を利用する各膜反射法等を用いるようにしてもよい。また、車内撮影装置１３は、車両１に設けられていてもよいし、運転者２が装着するものであってもよい。

表示制御部１２２は、表示装置１１に出力する画像を変更する。例えば、後方撮影装置１３が撮影した画像の一部を拡大（デジタルズーム）するようにしてもよいし、後方撮影装置１３の画像に代えて後部座席撮影装置１４が撮影した画像を表示させるようにしてもよい。また、撮影された人や物体を強調するための文字、図形又は記号等を、画像に重畳表示したり、表示装置１１の画面を２以上に分割して複数の画像を表示するようにしてもよい。

接近検知部１２３は、所定の基準よりも大きな相対速度で車両１に接近する物体が存在するか判断する。接近検知部１２３は、例えば、後方撮影装置１４が継続的に撮影した複数の画像に基づいて、撮影された物体の大きさが、所定の閾値よりも大きな割合で変化している物体を抽出する。また、接近検知部１２３は、車両１が備える超音波センサやミリ波レーダ等のような周辺センサ１８によって接近する物体を検知するようにしてもよい。

生体情報解析部１２４は、運転者２が装着するウェアラブル装置３が測定したデータに基づき、運転者２の状態を判断する。なお、状態の判断には、既存の様々な技術を適用することができる。例えば、運転者２の心拍数に基づいて眠気を判断することができる。

音声認識部１２５は、運転者２が発する音声を認識する処理を行う。音声認識処理についても、既存の様々な技術を適用することができる。音声認識部１２５は、運転者２が会話中であるか、例えば子供の名前等、予め記憶部１２８に登録された単語を発したか等を判断する。

画像解析部１２６は、車内撮影装置１３が撮影した画像に基づき、運転者２の状態を判断する。なお、状態の判断には、既存の様々な技術を適用することができる。例えば、運転者２の注視点が前方から外れている割合が所定の基準以上であったり、表示装置１１を確認する頻度が所定の基準以下である場合に、漫然と運転している状態であると判断する。

最適化部１２７は、表示制御部１２２が表示装置１１に出力する画像を変更した後の運転者２の動作に基づいて、画像変更処理の制御を最適化する。すなわち、表示制御部１２２が表示装置１１に出力する画像を変更した後の、車内撮影装置１３が撮影した運転者２の画像に基づいて、例えば画像を拡大する際の拡大率やズームアップする速さ等を変更し、設定を記憶部１２８に記憶させる。なお、このような設定は運転者２等が明示的に設定できるようにしてもよい。

このような運転支援装置１２によれば、表示装置１１に表示された後方画像のうち、運転者が注視している部分を拡大する等のように、運転者が見たい画像を推定して表示することができるようになる。すなわち、運転者が意図したものを表示できるようにする技術を提供できる。

特に、車両がいわゆる自動運転の機能を有する場合、運転者は従来ほど運転に集中する必要がなくなる。ここで、例えば内閣府の「自動走行システム研究開発計画」によれば、自動運転をレベル１からレベル４に区分して説明している。「安全運転支援システム」であるレベル１は、加速・操舵・制動のいずれかをシステムが行う状態と定義されている。また、「自動走行システム」のうち「準自動走行システム」であるレベル２は、加速・操舵・制動のうち複数の操作をシステムが行う状態と定義されている。同様に「自動走行シ
ステム」のうち「準自動走行システム」であるレベル３は、加速・操舵・制動を全てシステムが行い、システムが要請したときはドライバーが対応する状態と定義されている。また、「完全自動走行システム」であるレベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態と定義されている。本実施形態では、レベル１からレベル４を含めて、自動運転と呼ぶものとする。このような自動運転を行う車両の場合、運転者には、スマートミラーを注視したり、後部座席の同乗者を見て会話する余裕が生まれる。したがって、本実施形態に係る運転支援装置１２は、自動運転を行う車両に、特に好適に用いることができる。

＜画像拡大処理＞
図５は、本実施形態に係る画像拡大処理の一例を示す処理フロー図である。運転支援装置１２の表示制御部１２２は、通常の状態において、後方撮影装置１４が撮影した画像を所定の倍率で表示装置１１に表示させる（図５：Ｓ１０１）。本ステップでは、例えば等倍のように、比較的広範囲が確認できるような画像を表示させる。例えば、図６に示すような後方画像が、表示装置１１に表示されるものとする。

また、運転支援装置１２の視線検知部１２１は、運転者２が表示装置１１上の一か所を注視しているか判断する（Ｓ１０２）。本ステップでは、視線検知部１２１は、まず、車内撮影装置１３が継続的に撮影する、運転者２の目を含む画像を取得する。そして、既存の注視点特定技術に基づいて、取得した画像に撮影された運転者２が、所定期間以上、注視点が一か所に留まっているか判断する。ここで、一か所とは所定の範囲内をいうものとする。例えば、ある時点から所定期間、ある時点における注視点から所定の距離内に注視点が留まっている場合、運転者２が表示装置１１上の一か所を注視していると判断する。そして、視線検知部１２１が、運転者２は表示装置１１上の一か所を注視していないと判断した場合（Ｓ１０２：Ｎｏ）、Ｓ１０１に戻り処理を繰り返す。

一方、Ｓ１０２において、視線検知部１２１が、運転者２は表示装置１１上の一か所を注視していると判断した場合（Ｓ１０２：Ｙｅｓ）、表示制御部１２２は、表示装置１１において、後方画像撮影装置１４が撮影した画像のうち注視点の周囲を拡大表示する（Ｓ１０３）。本ステップでは、運転者２が注視点をよく見たいという意図をもっているものと推定し、当該部分を拡大表示する。具体的には、ある時点の注視点を中心に画像を拡大してもよいし、所定期間における注視点の重心等を中心に画像を拡大してもよい。例えば、Ｓ１０２において、図６に表された後続の車両１１１を運転者２が注視していたと判断された場合、Ｓ１０３では、図７に示すような、拡大された後方画像が、表示装置１１に表示される。

その後、視線検知部１２１は、運転者２が所定期間、注視点から視線を外したか否か判断する（Ｓ１０４）。本ステップでも、視線検知部１２１は、車内撮影装置１３が継続的に撮影する、運転者２の目を含む画像を取得する。そして、既存の注視点特定技術に基づいて、取得した画像に撮影された運転者２の注視点が、所定期間、Ｓ１０２で注視していた一か所から外れたか判断する。そして、運転者２が所定期間、注視点から視線を外していないと判断された場合（Ｓ１０４：Ｎｏ）、Ｓ１０３に戻り処理を繰り返す。Ｓ１０３における画像の拡大は、例えば、徐々に拡大されるように、予め定められた単位時間あたりの拡大率等に従って実行するようにしてもよい。また、拡大率の上限を予め定めておくようにしてもよいし、運転者２が一か所を注視し続ける間は拡大し続けるようにしてもよい。

一方、Ｓ１０４において、視線検知部１２１が、運転者２は所定期間、注視点から視線を外したと判断した場合（Ｓ１０４：Ｙｅｓ）、Ｓ１０１の処理に戻る。すなわち、運転者２に注視点をよく見たいという意図はなくなったものと判断し、画像の拡大率を通常通
りに戻す。

画像拡大処理によれば、運転者が意図した部分を拡大表示することができ、運転者は当該部分の詳細な確認ができるようになる。

＜危険車両強調処理＞
図８は、本実施形態に係る危険車両強調処理の一例を示す処理フロー図である。本実施形態では、図５に示した画像拡大処理と並行して、又は画像拡大処理に代えて、図８に示す危険車両強調処理を行うようにしてもよい。なお、初期状態において、表示装置１１には後方画像が表示されているものとする。

まず、運転支援装置１２の接近検知部１２３は、車両１の周囲に接近する危険車両が存在するか判断する（図８：Ｓ２０１）。本ステップでは、接近検知部１２３は、例えば、後方撮影装置１４が継続的に撮影した複数の画像に基づいて、撮影された物体の大きさが、所定の閾値よりも大きな割合で変化している物体を抽出する。また、接近検知部１２３は、周辺センサ１８によって接近する物体を検知するようにしてもよい。危険車両が存在しないと判断された場合（Ｓ２０１：Ｎｏ）、Ｓ２０１の処理に戻り判断を繰り返す。

一方、危険車両が存在すると判断された場合（Ｓ２０１：Ｙｅｓ）、視線検知部１２１は、運転者２が危険車両を確認したか判断する（Ｓ２０２）。本ステップでは、視線検知部１２１は、表示装置１１に表示された後方画像における運転者２の注視点が、Ｓ２０１で検知された危険車両と重なったか判断する。なお、Ｓ２０１において周辺センサによって接近する物体を検知した場合、予めセンサが検知した物体と後方画像上に撮影された物体とのマッチングを行うものとする。運転者２が危険車両を確認したと判断された場合（Ｓ２０２：Ｙｅｓ）、Ｓ２０１の処理に戻り判断を繰り返す。

一方、運転者２が危険車両を確認していないと判断された場合（Ｓ２０２：Ｎｏ）、運転者２が表示装置１１を見ているか判断する（Ｓ２０３）。本ステップでは、運転者２の注視点が表示装置１１上にあるか否か判断するようにしてもよいし、運転者２の注視点が表示装置１１の周囲にあれば（すなわち、表示装置１１が運転者２の視界に入っていれば）運転者２が表示装置１１を見ていると判断するようにしてもよい。そして、運転者２が表示装置１１を見ていないと判断された場合（Ｓ２０３：Ｎｏ）、Ｓ２０１の処理に戻り判断を繰り返す。

一方、運転者２が表示装置１１を見ていると判断された場合（Ｓ２０３：Ｙｅｓ）、表示制御部１２２は、表示装置１１において、後方画像上の危険車両を強調表示する（Ｓ２０４）。本ステップでは、Ｓ２０１で検知された危険車両の周囲に、例えば文字、図形又は記号等を重畳表示する。文字、図形又は記号等は、点滅させたり色を変化させたり、所定の動きをさせたりしてもよい。図９は、強調表示の一例を示す図である。なお、図９では、後方画像撮影装置１４が撮影する複数の画像において、後続の車両１１１が所定の閾値よりも大きな割合で拡大されており、Ｓ２０１で急接近する危険車両と判断されたものとする。図９の例では、後続の車両１１１の周囲に、破線の円が重畳表示されている。また、運転者２の注意を引くように、破線の円を点滅させるようにしてもよい。その後、Ｓ２０１の処理に戻り、運転者２が危険車両を確認するまでＳ２０４の強調表示が継続される。なお、Ｓ２０３で運転者２が表示装置１１を見ていないと判断された後に、繰り返し実行されるＳ２０３において運転者２が表示装置１１を見たと判断された場合、Ｓ２０４において例えば点滅による強調表示を「点灯」の状態から開始することで、運転者２が速やかに危険車両に気づくようにすることができる。

危険車両強調処理によれば、運転者が気づいていない可能性のある危険車両を確認する
よう促すことができる。また、運転者がすでに見て認識していると推定される車両については強調表示を行わないため、運転者にとって煩わしさが軽減される。

＜後部座席表示処理＞
図１０は、本実施形態に係る後部座席処理の一例を示す処理フロー図である。本実施形態では、図５に示した画像拡大処理もしくは図８に示した危険車両強調処理と並行して、又は画像拡大処理及び危険車両強調処理に代えて、図１０に示す後部座席表示処理を行うようにしてもよい。なお、初期状態において、表示装置１１には後方画像が表示されているものとする。

まず、運転支援装置１２の音声認識部１２５は、運転者２が後部座席に向かって呼びかけたか判断する（図１０：Ｓ３０１）。本ステップでは、音声認識部１２５は、音声入力部１６から取得した音声に対して既存の音声認識技術を適用し、例えば予め記憶部１２８に登録された単語（例えば、子供等の名前）を運転者２が呼んだか判断する。併せて、視線検知部１２１は、運転者２が表示装置１１を見たか判断する。運転者２が後部座席に向かって呼びかけていないと判断された場合（Ｓ３０１：Ｎｏ）、Ｓ３０１の処理に戻って判断を繰り返す。

一方、運転者２が所定の名前を呼び、且つ表示装置１１を見たと判断された場合（Ｓ３０１：Ｙｅｓ）、表示制御部１２２は、後部座席撮影装置１４が撮影する後部座席の画像を表示装置１１に表示させる。

その後、音声認識部１２５は、会話が継続しているか判断する（Ｓ３０３）。本ステップでは、音声入力部１６に入力された音声に基づいて、例えば前回の発言から所定時間内に、運転者２が、又は運転者２及び後部座席の同乗者のいずれかが発言した場合、会話が継続していると判断する。そして、会話が継続していると判断された場合（Ｓ３０３：Ｙｅｓ）、Ｓ３０２の処理に戻り、後部座席の表示を継続する。

一方、会話が継続していないと判断された場合（Ｓ３０３：Ｎｏ）、表示制御部１２２は、後方画像撮影装置１４が撮影した後方画像を、表示装置１１に表示させる（Ｓ３０４）。

後部座席表示処理によれば、スマートミラーである表示装置１１を介して後部座席の確認ができる。特に小さい子供を載せている場合等には、後部座席の状態を目で見て確認できると安心でき便利である。

＜状態判定処理＞
図１１は、本実施形態に係る状態判定処理の一例を示す処理フロー図である。本実施形態では、図５に示した画像拡大処理、図８に示した危険車両強調処理もしくは図１０に示した後部座席表示処理と並行して、又は画像拡大処理、危険車両強調処理及び後部座席表示処理に代えて、図１１に示す状態判定処理を行うようにしてもよい。なお、初期状態において、表示装置１１には後方画像が表示されているものとする。

まず、運転支援装置１２の生体情報解析部１２４又は画像解析部１２６は、ウェアラブル装置３又は車内撮影装置１３からデータを取得する（図１１：Ｓ４０１）。本ステップでは、生体情報解析部１２４が、運転者２の体温や脈拍、呼吸等を示すデータを取得するようにしてもよいし、画像解析部１２６が運転者２の表情がわかる画像を取得するようにしてもよい。また、生体情報解析部１２４又は画像解析部１２６は、取得したデータに基づいて、運転者２の状態を判定する。例えば、運転者２の体温が所定の閾値を超える場合、運転者２の体調が悪いと判定するようにしてもよい。また、運転者２の脈拍に基づいて
、運転者２の眠気の有無を判定するようにしてもよい。また、運転者２の画像に基づいて注視点を特定し、例えば表示装置１１や左右（周囲）の確認の頻度が所定の閾値よりも少ない場合、運転者２が疲労状態又は漫然状態にあると判定するようにしてもよい。

その後、表示制御部１２２は、状態に応じて表示を制御する（Ｓ４０２）。例えば、運転者２が漫然状態であると判定された場合、図８に示した危険車両強調処理を行うようにしてもよい。また、運転者２が疲労状態であると判定された場合、図８に示した危険車両強調処理を行うと共に、表示装置１１に表示する後方画像を、通常よりも狭い範囲の拡大表示に切り替えるようにしてもよい。このようにすれば、少なくとも近い範囲を見やすく表示することができる。

また、運転者２の体調が悪いと判定された場合、表示装置１１の表示を変更させず、所定の拡大率に固定した後方画像の表示を継続するようにしてもよい。例えば、従来のルームミラーと同様に、一般的な平面鏡と同程度の拡大率で後方画像を表示する。このようにすれば、表示装置１１の画像を認識する際の運転者２の負担を軽減することができる。

特に、運転者２が表示装置１１を長時間（所定時間）にわたって見ていない場合、表示制御部１２２は、音声出力部１７を介して警告を出力し、運転者２に対して表示装置１１を確認するよう促すようにしてもよい。

状態判定処理によれば、様々な状況に応じて好ましい表示制御を行うことができる。

＜その他＞
特に自動運転時においては、運転者２は常に周囲に気を配っているわけではないため、表示装置１１には比較的広範囲を撮影した後方画像を表示するようにしてもよい。このようにすれば、運転者２は表示装置１１を見る動作によってできるだけ広範囲の情報を得られるようになる。

また、表示制御部１２２が表示装置１１の表示を変更した後に、車内撮影装置１３が撮影した運転者２の動作や、車両１に設けられたセンサが検知した信号をフィードバック情報として、最適化部１２７が表示制御を最適化するようにしてもよい。例えば、画像拡大処理において、一定の拡大率を超えると運転者２が表示装置１１から目をそらしたり目標を見失って注視点が定まらなくなるような場合、一定値を超えないように拡大率の上限を変更するようにしてもよいし、当該一定値まで画像を拡大する速さを挙げるように変更してもよい。また、ＡＢＳ作動中信号、ペダルストロークセンサを介して検知した緊急ブレーキ等に基づいて、画像を拡大する速さや拡大率の上限を下げるようにしてもよい。これらの設定は、記憶部１２８に記憶されるものとする。

このようなフィードバック制御によれば、運転者が設定を変更する手間をかけずに、運転者に適した設定に変更することができる。

なお、画像の拡大率の上限や、画像を拡大する速さの設定は、明示的に運転者２等が設定して記憶部１２８に記憶させておくようにしてもよい。

また、運転者２等は、図１１のＳ４０１で判定される状態と、Ｓ４０２で行われる表示の制御の組み合わせを設定し、記憶部１２８に記憶させるようにしてもよい。このようにすれば、様々な状況において、運転者２の意図したものを適切に表示できるようになる。

後方撮影装置１３、又は後部座席撮影装置１４は、複数のレンズの位置を制御して光学ズームの拡大率を変更したり、撮影する方向を変更できる１軸以上のアクチュエータを備
えていてもよい。この場合、例えば図５に示した画像拡大処理においては、注視点の周囲をズームアップにより拡大するものとする。

本発明は、上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において変更したり組み合わせたりすることができる。

１ 車両
１１ 表示装置（スマートミラー）
１２ 運転支援装置
１２１ 視線検知部
１２２ 表示制御部
１２３ 接近検知部
１２４ 生体情報解析部
１２５ 音声認識部
１２６ 画像解析部
１２７ 最適化部
１２８ 記憶部
１３ 車内撮影装置
１４ 後方撮影装置
１５ 後部座席撮影装置
１６ 音声入力部
１７ 音声出力部
１８ 周辺センサ

Claims (13)

1. 車両の後方を撮影する後方撮影装置と、運転者の目を撮影範囲に含む車内撮影装置と、前記運転者から視認できる位置に設けられ、前記後方撮影装置が撮影した後方画像を表示する表示装置とに接続される運転支援装置であって、
   前記車内撮影装置が撮影した画像に基づいて、前記表示装置上に表示された前記後方画像における、前記運転者の注視点を求める視線検知部と、
   前記表示装置において、前記後方画像を、当初の拡大率よりも前記注視点を拡大して表示させる表示制御部と、
   を有する運転支援装置。
2. 前記視線検知部が、所定期間、前記運転者の注視点が前記表示装置から外れたと判断した場合、前記表示制御部は、前記後方画像を前記当初の拡大率に戻す
   請求項１に記載の運転支援装置。
3. 前記後方画像に撮影された動体のうち、前記車両に対する相対速度が所定値よりも高い接近動体を検知する接近検知部をさらに有し、
   前記視線検知部が、前記運転者の注視点が、前記表示装置上の前記接近動体から外れていると判断した場合、前記表示制御部は、前記表示装置上に前記接近動体を強調表示する
   請求項１又は２に記載の運転支援装置。
4. 前記視線検知部が、前記運転者の注視点が前記接近動体から外れており、且つ前記運転者の注視点が前記表示装置から外れていると判断した場合において、前記運転者の注視点が前記表示装置上に移動したとき、点滅による前記強調表示を点灯状態から開始する
   請求項３に記載の運転支援装置。
5. 前記運転者の生体情報を取得し、取得した生体情報に基づいて前記運転者の集中力、緊張感、疲労又は眠気を示す第１の指標値を求める生体情報解析部をさらに備え、
   前記表示制御部は、前記第１の指標値が所定の閾値を超える場合に、前記表示装置上に前記接近動体の強調表示を行う
   請求項３又は４に記載の運転支援装置。
6. 前記運転支援装置は音声入力手段と、前記車両の後部座席を撮影する後部座席撮影装置とにさらに接続され、
   前記音声入力手段を介して入力された音声から、所定の単語を検知する音声認識部をさらに有し、
   前記音声認識部が、前記所定の単語を検知し、且つ前記視線検知部が、前記運転者の注視点が前記表示装置上にあると判断した場合、前記表示制御部は、前記後部座席撮影装置が撮影した後部座席の画像を前記表示装置に表示する
   請求項１から５のいずれか一項に記載の運転支援装置。
7. 前記音声入力手段を介して入力される音声に基づいて、前記運転者が会話を継続していると判断された場合、前記表示制御部は、後部座席の画像の表示を継続する
   請求項６に記載の運転支援装置。
8. 前記車内撮影装置が撮影した画像に基づいて、前記運転者の疲労又は眠気を示す第２の指標値を求める画像解析部をさらに備え、
   前記表示制御部は、前記第２の指標値が所定の閾値を超える場合、前記表示装置において、前記後方画像を、前記当初の拡大率よりも前記注視点を拡大して表示させる
   請求項１から７のいずれか一項に記載の運転支援装置。
9. 前記運転支援装置は、音声出力部とさらに接続されており、
   前記視線検知部が、運転者の注視点が所定時間以上、表示装置上にないと判断した場合、前記音声出力部に、音声による警告を出力させる
   請求項１から８のいずれか一項に記載の運転支援装置。
10. 前記車両は自動運転を行うシステムを備え、
    前記表示制御装置は、自動運転時において、前記表示装置に前記後方画像をズームアウトした状態で表示する
    請求項１から９のいずれか一項に記載の運転支援装置。
11. 前記運転支援装置は、前記運転者の生体情報を取得するウェアラブル装置とさらに接続され、
    前記生体情報解析部は、前記ウェアラブル装置から取得した生体情報に基づいて前記運転者の体調が良好でないと判断した場合、前記表示装置は、平面鏡と略同一の視野角で前記後方画像を表示する
    請求項１から１０のいずれか一項に記載の運転支援装置。
12. 前記表示装置が前記表示装置に表示する画像を変更した後、前記車内撮影装置が撮影した前記運転者の画像のフィードバックを受け、前記表示装置による制御を調整する最適化部をさらに備える
    請求項１から１１のいずれか一項に記載の運転支援装置。
13. 前記運転支援装置は、前記表示制御装置が前記表示装置に表示する画像を変更する条件、又は当該条件を満たした場合に表示する画像の設定を記憶する記憶部をさらに備え、
    当該記憶部に前記条件又は前記画像の設定が記憶されている場合、当該条件又は画像の設定に基づいて制御を行う
    請求項１から１２のいずれか一項に記載の運転支援装置。

Images