JP2014199546A - 運転支援装置及び運転支援方法 - Google Patents

Abstract

【課題】車両の周囲を撮影した画像と車内を撮影した画像を利用して、車両の周囲と車内の両方の監視を可能とするとともに、ドライバの監視負荷を軽減可能な運転支援装置を提供する。【解決手段】運転支援装置１は、車両の周囲の少なくとも一部が写った車外画像を生成する第１の撮像部（３−１〜３−４）と、車両の内部が写った車内画像を生成する第２の撮像部（２−１〜２−４）と、車外画像から車両の外に安全運転を阻害する要因が有るか否かを判定する車外危険判定部２２と、車内画像から車両内で安全運転を阻害する要因が有るか否かを判定する車内危険判定部２３と、車外画像と車内画像のうち、安全運転を阻害する要因が検出された方の画像が車外画像と車内画像のうちの他方の画像よりも見易くなるように、車外画像と車内画像とを合成して合成画像を生成する合成画像生成部２４と、合成画像を表示する表示部７とを有する。【選択図】図３

Description

本発明は、例えば、車両の周囲を撮影して得られた画像及び車内を撮影して得られた画像を利用する運転支援装置及び運転支援方法に関する。

近年、車両に関する様々な事故の発生を防止する技術が研究されている。このような技術では、車両の周囲において安全運転を阻害する要因となりそうな事象を検知するために、車両の周囲を撮影した画像が利用される。さらに、バス及び列車といった、ドライバ以外に多数の乗客が乗車する車両では、車両の周囲だけでなく、乗客に関する安全運転阻害要因を検知することも重要である。そこで、車両の周囲の状況を撮影する撮像装置と、車両の室内の状況を撮影する撮像装置とを有し、それらの撮像装置からの画像を使って、車両の周囲及び室内の双方の状況を表す運転支援画像を作成する技術が提案されている（例えば、特許文献１を参照）。また、鉄道車両の側面に設けられた複数のカメラにより、列車が駅に停車中にホーム上の人物を撮像し、撮像したカメラの映像を俯瞰変換し、変換された映像を合成した一体の映像を運転席のモニタに表示する技術が提案されている（例えば、特許文献２を参照）。

国際公開第０３／０３４７３８号 特開２０１２−１１９１号公報

特許文献１に開示された技術及び特許文献２に開示された技術の何れにおいても、複数の撮像装置から得られた複数の画像を合成することにより得られた合成画像がドライバに提示される。そのため、合成画像には、多くの注意すべき点が含まれるので、そのような合成画像から安全運転阻害要因を検知するためのドライバの負担が重くなる。場合によっては、せっかく合成画像上に安全運転を阻害する要因となる事象が写っていても、ドライバがその事象を見逃すおそれがあった。

そこで本明細書は、一つの側面として、車両の周囲を撮影した画像と車内を撮影した画像を利用して、車両の周囲と車内の両方の監視を可能とするとともに、ドライバの監視負荷を軽減可能な運転支援装置を提供することを目的とする。

一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、車両の周囲の少なくとも一部が写った車外画像を生成する第１の撮像部と、車両の内部が写った車内画像を生成する第２の撮像部と、車外画像から車両の外に安全運転を阻害する要因が有るか否かを判定する車外危険判定部と、車内画像から車両内で安全運転を阻害する要因が有るか否かを判定する車内危険判定部と、車外画像と車内画像のうち、安全運転を阻害する要因が検出された方の画像が車外画像と車内画像のうちの他方の画像よりも見易くなるように、車外画像と車内画像とを合成して合成画像を生成する合成画像生成部と、合成画像を表示する表示部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された運転支援装置は、車両の周囲を撮影した画像と車内を撮影した画像を利用して、車両の周囲と車内の両方の監視を可能とするとともに、ドライバの監視負荷を軽減できる。

一つの実施形態による運転支援装置が搭載された車両の概略図である。 一つの実施形態による運転支援装置の概略構成図である。 制御部の機能ブロック図である。 安全運転阻害要因となる移動物体を説明する図である。 不安定な乗客の検知の一例を示す図である。 車外俯瞰画像及び車内俯瞰画像と、車外俯瞰画像と車内俯瞰画像の優先度が同じ場合の合成画像の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、車内俯瞰画像の方が優先される場合の合成画像の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、車外俯瞰画像の方が優先される場合の合成画像の一例を示す図である。 運転支援処理の動作フローチャートを示す図である。

以下、図を参照しつつ、一つの実施形態による運転支援装置について説明する。
この運転支援装置は、車外を撮影する１以上のカメラから得られた画像と、車内を撮影する１以上のカメラから得られた画像を合成することにより、車外と車内の両方を監視できる合成画像を生成する。その際、この運転支援装置は、車外と車内のそれぞれごとに安全運転阻害要因があるか否かを判断し、安全運転阻害要因が検出された方の画像を見易くするよう他方の画像よりも強調して合成画像を生成することで、ドライバの監視負担を軽減する。

なお、本実施形態では、車両はバスである。しかし、車両はバスに限られず、複数の乗客が乗車できる車両であればよい。

図１は、一つの実施形態による運転支援装置が搭載された車両の概略図である。また図２は、運転支援装置１の概略構成図である。図１に示すように、車両１００の内部に運転支援装置１は設置される。そして運転支援装置１は、４台の車内カメラ２−１〜２−４と、４台の車外カメラ３−１〜３−４と、制御回路基板４とを有する。これらのカメラは、車両内ネットワーク（図示せず）を介して運転支援装置１の制御回路基板４と接続されている。なお、車両内ネットワークは、例えば、コントロールエリアネットワーク（Control Area Network, CAN）に準拠したネットワークとすることができる。さらに、制御回路基板４は、車両内ネットワークを介して、ドライバの運転操作に応じて車両１００の各部を制御する電子制御ユニット（図示せず）とも接続されている。

車内カメラ２−１〜２−４は、車内撮像部の一例であり、車両１００の車内を撮影し、その車内が写った画像を生成する。そのために、車内カメラ２−１〜２−４は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車内の像を結像する結像光学系を有する。本実施形態では、車内カメラ２−１〜２−４は、例えば、車両１００の４カ所のコーナー近傍にそれぞれ取り付けられ、車内の略中央を向くように配置される。これにより、車内の各部は、何れかの車内カメラにより撮影される。車内カメラ２−１〜２−４は、一定の撮影周期（例えば1/30秒）ごとに、車両１００の車内を撮影し、車内が写った画像を生成する。そして車内カメラ２−１〜２−４は、画像を生成する度に、その画像を制御回路基板４へ出力する。
なお、車内カメラの数は４台に限られず、車内全体が写るように１台以上の車内カメラが配置されればよい。例えば、車両１００の車内中央の天井付近に、魚眼レンズを備えた１台の車内カメラが設置されてもよい。また、車内カメラの位置も、車両１００のコーナーに限られない。例えば、何れかの車内カメラは、出入口近傍に設置されてもよい。

車外カメラ３−１〜３−４は、車外撮像部の一例であり、それぞれ、車両１００の各コーナーに、車両１００の周囲の一部を撮影するように配置される。そして車外カメラ３−１〜３−４は、それぞれ、一定の撮影周期（例えば1/30秒）ごとに、車両１００の周囲の一部が写った画像を生成する。そして車外カメラ３−１〜３−４は、画像を生成する度に、その画像を制御回路基板４へ出力する。
なお、車外カメラの数も４台に限られない。例えば、車両１００の前方は、ドライバが直接視認できるので、車両１００の後方のみを撮影するように１台または２台の車外カメラが配置されてもよい。
また、車内カメラ２−１〜２−４及び車外カメラ３−１〜３−４により生成される画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。

さらに、車内の各座席と、つり革及び取っ手など乗客が把持するための支持部材のそれぞれには、圧力センサ６が設けられている（なお、図１では、簡便化のために、一つの圧力センサのみが図示されている）。そして圧力センサ６は、例えば、乗客が座席に座ったり、つり革をつかむことにより一定以上の圧力が掛かると、圧力が掛かったことを検知する。そして圧力が掛かったことを検知した圧力センサ６は、圧力を検知したことを表す信号及び圧力センサ６の識別情報を含む検知信号を、車両内ネットワークを介して制御回路基板４へ出力する。

運転支援装置１の制御回路基板４は、各カメラからの画像及び圧力センサ６からの検知信号を受け取る。さらに、制御回路基板４は、車両内ネットワークを介して、電子制御ユニットから、シフトレバーのポジションを表すシフトポジション情報、速度情報、操舵角情報といった、車両の状態または挙動を表す車両状態情報を受け取る。そして制御回路基板４は、それらの画像、検知信号及び車両状態情報に基づいて、車両１００の車内及び車外における安全運転阻害要因の有無を判定する。そして制御回路基板４は、車内及び車外の安全運転阻害要因の有無に応じて合成画像を生成し、その合成画像を、運転席の前方にドライバへ向けて配置された表示部７へ表示させる。
また制御回路基板４は、ドライバの顔を撮影するように、例えば表示部７に組み込まれたドライバ用カメラ８からの画像に基づいて、ドライバが表示された合成画像上に示される、検知された安全運転阻害要因を確認したか否かを判定する。

表示部７は、例えば、液晶ディスプレイまたは有機エレクトロニクスルミネッセンスディスプレイを有する。そして表示部７は、制御回路基板４から受け取った合成画像を表示する。さらに、表示部７の表示画面の周囲には、ドライバ用カメラ８及びドライバの顔を照明するための赤外発光ダイオードが設けられていてもよい。

図２を参照すると、制御回路基板４は、インターフェース部１１と、記憶部１２と、制御部１３とを有する。インターフェース部１１及び記憶部１２は、それぞれ、バスを介して制御部１３と接続されている。また、運転支援装置１は、ドライバに安全運転阻害要因の存在する警告部の一例として、スピーカ（図示せず）、発光ダイオードといった光源（図示せず）またはステアリングに取り付けられた振動子（図示せず）をさらに有していてもよい。

インターフェース部１１は、車両内ネットワークに制御回路基板４を接続するためのインターフェース回路を有する。そしてインターフェース部１１は、車内カメラ２−１〜２−４または車外カメラ３−１〜３−４から、車両内ネットワークを介して画像を受け取り、その画像を制御部１３へ渡す。またインターフェース部１１は、車両１００の電子制御ユニットから、車両内ネットワークを介して車両状態情報を受け取り、その車両状態情報を制御部１３へ渡す。さらに、インターフェース部１１は、圧力センサ６から受け取った検知信号を制御部１３へ渡す。

記憶部１２は、例えば、不揮発性の読み出し専用の半導体メモリ及び揮発性の読み書き可能な半導体メモリを有する。そして記憶部１２は、制御部１３により実行される運転支援処理用コンピュータプログラム、その運転支援処理用コンピュータプログラムで利用される各種のデータ及び中間処理結果、及び各カメラから受け取った画像などを記憶する。

制御部１３は、例えば、一つまたは複数のプロセッサを有し、そのプロセッサ上で運転支援処理用コンピュータプログラムを実行することにより、各カメラから受け取った画像を解析することで車内または車外の安全運転阻害要因を検知する。そして制御部１３は、安全運転阻害要因の検知結果に応じて、車内の画像または車外の画像の何れかが優先的に表示される合成画像を生成し、その合成画像を表示部７へ出力する。さらに、制御部１３は、ドライバが表示された合成画像に示された安全運転阻害要因を確認したか否かを判定し、その確認結果に応じて合成画像を修正する。

図３は、制御部１３の機能ブロック図である。制御部１３は、俯瞰映像生成部２１と、車外危険判定部２２と、車内危険判定部２３と、合成画像生成部２４と、確認判定部２５とを有する。制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行される運転支援処理用コンピュータプログラムによって実現される機能モジュールとして実装される。
あるいは、制御部１３が有するこれらの各部は、その各部の機能を実現する演算回路が集積されたデジタル信号処理プロセッサといった集積回路として、運転支援装置１に実装されてもよい。

俯瞰映像生成部２１は、車内カメラ２−１〜２−４のそれぞれから画像を受け取る度に、それら画像に対して、視線方向が真下を向くように、例えば、平面射影変換処理を実行することにより、俯瞰画像を生成する。そして俯瞰映像生成部２１は、それら４個の車内カメラの俯瞰画像を、各カメラの画角及び視点間の位置関係に応じて同一の座標系に投影して各俯瞰画像を結合することで１枚の俯瞰映像を生成する。

また、俯瞰映像生成部２１は、車外カメラ３−１〜３−４のそれぞれから画像を受け取る度に、その画像に対しても、視線方向が真下を向くように、例えば、平面射影変換処理を実行することにより、俯瞰画像を生成する。そして俯瞰映像生成部２１は、それら４個の車外カメラの俯瞰画像を、各カメラの画角及び視点間の位置関係に応じて同一の座標系に投影して各俯瞰画像を結合することで１枚の俯瞰映像を生成する。
なお、以下では、説明の便宜上、車内カメラ２−１〜２−４から得られた画像に基づいて合成された、車両１００の車内が写った俯瞰画像を、車内俯瞰画像と呼ぶ。また、車外カメラ３−１〜３−４から得られた画像に基づいて生成された、車両１００の周囲が写った俯瞰画像を、車外俯瞰画像と呼ぶ。

俯瞰映像生成部２１は、車内俯瞰画像及び車外俯瞰画像を記憶部１２に一時的に記憶する。

車外危険判定部２２は、車外俯瞰画像に基づいて、車両１００の外に車両１００の安全運転を阻害する要因が有るか否かを判定する。本実施形態では、車外危険判定部２２は、車両１００に接近する移動物体を検知する。そして車外危険判定部２２は、検知した移動物体が車両１００と衝突する危険がある場合、その移動物体を安全運転阻害要因と判定する。

そのために、車外危険判定部２２は、例えば、所定周期で得られる車外俯瞰画像上の移動物体の特徴点に基づいてオプティカルフローを計算することで、車両１００の周囲の移動物体を追跡し、その移動物体が移動する軌跡を予測する。そして車外危険判定部２２は、予測した軌跡と車両１００の予測軌跡とが重なる場合、その移動物体は車両１００と衝突する危険が有ると判定する。

具体的には、車外危険判定部２２は、車外俯瞰画像に写っている移動物体上の点である可能性がある特徴点を抽出する。車外危険判定部２２は、例えば、Harris検出器を車外俯瞰画像に適用することにより、車外俯瞰画像に写っているコーナーを検出する。また車外危険判定部２２は、車外俯瞰画像から特徴点を抽出するために、他の特徴点抽出用の検出器を利用してもよい。例えば、そのような検出器として、Moravec検出器、Smallest Univalue Segment Assymilating Nucleus(SUSAN)検出器、Kanade-Lucas-Tomasi(KLT) TrackerまたはScale-invariant feature transform(SIFT)検出器の何れかが用いられてもよい。

次に、車外危険判定部２２は、特徴点ごとに、その特徴点を中心とする所定の領域（例えば、横10画素×縦10画素）をテンプレートとして設定する。そして車外危険判定部２２は、特徴点ごとに、そのテンプレートと車外カメラから次に受信した画像から生成された車外俯瞰画像との間で、相対的な位置を変えつつテンプレートマッチングを行って類似度を求める。そして車外危険判定部２２は、類似度が最大となるときのテンプレートと位置合わせされた領域の中心位置を、直前の車外俯瞰画像上のその特徴点に対応する次の車外俯瞰画像上の特徴点として求める。なお、車外危険判定部２２は、例えば、正規化相互相関係数、テンプレートと画像間の対応画素間の輝度値の差の絶対値和に1加算した値の逆数、または対応画素間の差の二乗和に1加算した値の逆数を、類似度として算出できる。
なお、車外危険判定部２２は、類似度の最大値が所定の閾値以下である直前の車外俯瞰画像上の特徴点については、次の車外俯瞰画像上においてその特徴点に対応する特徴点は存在しないと判定してもよい。所定の閾値は、例えば、類似度が取り得る最大値の1/2とすることができる。

車外危険判定部２２は、直前の車外俯瞰画像上の特徴点(x_i0,y_i0)から、次の車外俯瞰画像における対応する特徴点(x_i1,y_i1)までの移動ベクトル(x_i1-x_i0,y_i1-y_i0)を算出する。

また車外危険判定部２２は、画像を受信する度に、その画像から得られた車外俯瞰画像上で直前の車外俯瞰画像における特徴点と対応していない各画素に対して、特徴点抽出用の検出器を用いて特徴点を抽出する。

車外危険判定部２２は、以降に受信した画像から得られた車外俯瞰画像においても同様に、その直前の車外俯瞰画像について抽出された特徴点に対応する特徴点を抽出する。その際、車外危険判定部２２は、その直前の車外俯瞰画像における特徴点に移動ベクトルが求められている場合には、その特徴点から、その特徴点についての移動ベクトルだけシフトした位置を中心として探索範囲を設定する。そして車外危険判定部２２は、その探索範囲内で次の車外俯瞰画像と直前の車外俯瞰画像から求められたテンプレートの相対的な位置を変えつつ類似度が最大値となる位置を特徴点として抽出する。そして車外危険判定部２２は、直前の車外俯瞰画像上の特徴点(x_it-1,y_it-1)から、次の車外俯瞰画像における対応する特徴点(x_it,y_it)までの移動ベクトル(x_it-x_it-1,y_it-y_it-1)を算出する。

車外危険判定部２２は、移動ベクトルの大きさが所定の閾値以下である場合には、その移動ベクトルに対応する次の車外俯瞰画像上の特徴点と直前の車外俯瞰画像上の特徴点は静止物体に対応するものとして、それら二つの特徴点を削除してもよい。なお、所定の閾値は、例えば、時速5km/hで移動する移動物体に相当する移動ベクトルの大きさとすることができる。

車外危険判定部２２は、車外俯瞰画像ごとに、移動ベクトルの大きさ及び方向が類似し、互いに近接する特徴点を一つにグループ化する。車外危険判定部２２は、二つの移動ベクトルの方向の差の絶対値が所定の角度差閾値以下であり、かつ、その二つの移動ベクトルの大きさの比が所定の範囲以下である場合、その二つの移動ベクトルは類似していると判定する。また、角度差閾値は、例えば、5°に設定され、比の範囲は、例えば、0.8〜1.2に設定される。また車外危険判定部２２は、二つの特徴点間の距離が、画像上に写る移動物体のサイズの想定される最大値以下であれば、その二つの特徴点が近接していると判断する。

車外危険判定部２２は、グループごとに、そのグループに属する特徴点の外接矩形を移動物体が写っている移動物体領域として検出し、そのグループに属する各特徴点の移動ベクトルの平均値または中央値を、移動物体の移動ベクトルとする。また車外危険判定部２２は、移動物体領域の重心を、移動物体の位置とする。

なお、車外危険判定部２２は、時間的に連続する複数の画像間で同じ被写体が写っている領域同士を対応付ける他の様々なトラッキング手法の何れかを利用して、各車外俯瞰画像から検出された移動物体領域同士を対応付けてもよい。

車外危険判定部２２は、最新の車外俯瞰画像について検出された移動物体領域ごとに、その移動物体領域の移動ベクトル、重心の座標、各頂点の座標を記憶部１２に記憶する。

また車外危険判定部２２は、車両１００の電子制御ユニットから受け取った車両状態情報に含まれる、操舵角情報及び速度情報に基づいて、車両１００の右前方コーナーを基準とする進行方向及び移動速度を表す進行方向ベクトルを求める。

車外危険判定部２２は、移動物体領域の移動ベクトルと、車両１００の進行方向ベクトルとから、時間Tを変化させつつ、現時刻から時間T後の車両１００の位置と移動物体の位置を推定する。そして車外危険判定部２２は、何れかの時間において車両１００の位置と移動物体の位置が所定距離以下となる場合、その移動物体は、車両１００と衝突する危険がある安全運転阻害要因であると判定する。一方、何れの時間においても車両１００の位置と移動物体の位置が所定距離よりも遠ければ、車外危険判定部２２は、車両１００と移動物体が衝突する危険は無く、その移動物体は安全運転阻害要因でないと判定する。なお、所定距離は、例えば、２〜３ｍに設定される。

図４は、安全運転阻害要因となる移動物体を説明する図である。移動物体４００は、時刻(t-2)〜時刻tに撮影された画像から、時刻(t+T)の時点で位置４０１にいると推定されている。一方、車両１００も、時刻tにおける速度情報及び操舵角情報から、時刻(t+T)の時点で、位置４０１と重なる位置４０２にいると推定される。この場合、移動物体４００は、安全運転阻害要因になると判定される。一方、時刻(t+T)の時点で、移動物体４００は、位置４０２よりも前方の位置４０３まで移動していると推定される場合には、移動物体４００は、車両１００が位置４０２に移動する前にその位置を通り過ぎるので、安全運転阻害要因にならないと判定される。

なお、車外危険判定部２２は、車両１００が右折したり、走行中の車線から右側に隣接する車線へ移動する場合にも、上記と同様の処理を行って、衝突の危険がある移動物体を安全運転阻害要因として検出してもよい。また、車外危険判定部２２は、車両１００が停止している場合でも、操舵角情報または方向指示器の情報に基づいて車両１００の進行方向のみを表す進行方向ベクトルを求めてもよい。また、乗客が車両１００に乗車または下車する際には、通常、車両１００は道路の左端に寄るので、発進時には、車両１００は右側へ移動する。そこで、車外危険判定部２２は、乗降用のドアの開閉情報を、例えば、車両１００の電子制御ユニットから取得し、その開閉情報がドアが開いていることを示していれば、進行方向ベクトルを車両の右前方へ向かう方向に設定してもよい。そして車外危険判定部２２は、その進行方向ベクトルと検知された移動物体の移動ベクトルが交差する場合も、その移動物体を車両１００と衝突する危険がある安全運転阻害要因であると判定してもよい。
さらに、車外危険判定部２２は、車両状態情報に含まれるシフトポジション情報に従って、車両１００の進行方向を判定してもよい。そして車外危険判定部２２は、その進行方向上、かつ車両１００から所定距離（例えば、5m〜10m）以内にいる移動物体を、車両１００と衝突する危険がある安全運転阻害要因として検出してもよい。

車外危険判定部２２は、車両１００と衝突する可能性があると判定した移動物体の位置情報に対応付けて、安全運転阻害要因となることを示すフラグを記憶部１２に記憶する。なお、一旦安全運転阻害要因となると判定された移動物体であっても、その後の追跡により、車両１００と衝突する危険が無くなれば、車外危険判定部２２は、その移動物体についての安全運転阻害要因となることを示すフラグを記憶部１２から消去してもよい。

車内危険判定部２３は、車内俯瞰画像に基づいて車内で事故の要因となる安全運転阻害要因があるか否か判定する。例えば、乗客が座席に座る前であり、かつ、つり革などに掴まっていない状態で車両１００が発車すると、その乗客は転倒するおそれがある。また車両１００の走行中において、乗客が座席から立ったり、つり革などを放したときも、その乗客は転倒するおそれがある。

そこで、車内危険判定部２３は、車内俯瞰画像及び各圧力センサからの検知信号に基づいて、乗客のうち、座席に座っておらず、かつ、どこにも掴まっていない乗客がいるか否か判定する。そして車内危険判定部２３は、そのような乗客を、安全運転阻害要因として検出する。なお、説明の便宜上、以下では、座席に座っておらず、かつ、どこにも掴まっていない乗客を、不安定な乗客と呼ぶ。
また、本実施形態では、車内危険判定部２３は、車両が停車中のときだけでなく、車両が走行中のときにも、車内に安全運転阻害要因が有るか否か判定する。ただし、車両１００の走行中において何れかの乗客がどこにも掴まっていなかったとしても、車両１００が他の物体と衝突する危険が生じたときなど、ドライバはその乗客が危険であっても車両１００を急減速せざるを得ないことがある。一方、車両１００が停車している間であれば、ドライバは、どこにも掴まっていない乗客に気が付けば、発進時の加速を緩やかにすることで危険を回避するといった対処を行うことができる。そのため、車内の安全運転阻害要因を検出することは、特に車両１００が停車している状態からの出発時に有用である。

不安定な乗客を検知するために、車内危険判定部２３は、車内にいる乗客の総数を求める。車内危険判定部２３は、例えば、車内俯瞰画像に写っている乗客を検出することにより乗客の総数を求める。そのために、車内危険判定部２３は、例えば、車内俯瞰画像を乗客検出用の識別器に入力する。そして車内危険判定部２３は、識別器が乗客を検知した数を乗客の総数とする。なお、乗客検出用の識別器は、例えば、adaBoost識別器またはサポートベクトルマシンといった、機械学習システムを利用した識別器とすることができる。

あるいは、車内危険判定部２３は、車両内ネットワークを介して、乗降口に設置された整理券発券機が発券する度にその整理券発券機から発券したことを表す信号を受信してもよい。同様に、車内危険判定部２３は、乗降口に設置されたカードリーダがＩＣカードを検知する度に、そのカードリーダから検知したことを表す信号を受信してもよい。そして車内危険判定部２３は、それらの信号を受信する度に、車内の乗客数を表すカウンタを1増加させる。一方、車内危険判定部２３は、車両内ネットワークを介して、運賃箱が運賃を支払われたことを検知する度に、その運賃箱から検知したことを表す信号を受信してもよい。そして車内危険判定部２３は、運賃箱からの検知信号を受信する度に、車内の乗客数を表すカウンタから1を減じる。これにより、車内危険判定部２３は、乗客の総数を求めてもよい。

あるいはまた、車内危険判定部２３は、車内俯瞰画像が得られる度に、車内俯瞰画像における乗降口近辺の領域に対して識別器を適用することで車両１００に乗車した乗客を検知してもよい。同様に、車内危険判定部２３は、車内俯瞰画像が得られる度に、車内俯瞰画像における降車口近辺の領域に対して識別器を適用することで車両１００から降車した乗客を検知してもよい。車内危険判定部２３は、乗車した乗客を検知する度に、車内の乗客数を表すカウンタを1増加させ、一方、降車した乗客を検知する度に、そのカウンタから1を減じることで、乗客の総数を求めてもよい。なお、乗降口または降車口を撮影するように設置されたカメラが車両１００に取り付けられている場合には、車内危険判定部２３は、車内俯瞰画像の代わりに、それらのカメラによる画像から乗車または降車する乗客を検知してもよい。さらに、乗降口及び降車口のそれぞれに、乗降口または降車口を通る人を検知するセンサが設けられている場合、車内危険判定部２３は、それらのセンサから、車両内ネットワークを介して乗降口または降車口を乗客が通過したことを表す検知信号を受信してもよい。そしてそれらの検知信号に応じて、車内危険判定部２３は、乗客の総数を表すカウンタを増減することで、乗客の総数を求めてもよい。

また車内危険判定部２３は、検知信号を受信した圧力センサ６が設けられた座席またはつり革などに、それぞれ、乗客が座っているか、掴まっていると判定する。すなわち、車内危険判定部２３は、検知信号を受信した圧力センサ６の総数を、座っているか、どこかに掴まっている乗客の数と推定する。
そして車内危険判定部２３は、乗客の総数から、座っているか、どこかに掴まっている乗客の数を減じることにより、不安定な乗客の数を算出する。

車内危険判定部２３は、不安定な乗客の数が１以上である場合、車両１００の車内に安全運転阻害要因があると判定し、一方、不安定な乗客の数が０である場合、車両１００の車内に安全運転阻害要因はないと判定する。

車内危険判定部２３は、不安定な乗客の数が１以上である場合、その不安定な乗客の位置を検出する。そこで車内危険判定部２３は、例えば、圧力が掛かったことを検知した圧力センサ６（以下、便宜上、検知済みセンサと呼ぶ）のそれぞれについて、検知信号に含まれる識別情報を参照して、車内俯瞰画像上でその検知済みセンサの位置を特定する。そして車内危険判定部２３は、各検知済みセンサについて、車内俯瞰画像上で検知された乗客のうち、その検知済みセンサに最も近い乗客がその検知済みセンサが設けられた座席に座っているか、その検知済みセンサが設けられたつり革等に掴まっていると判定する。なお、車内危険判定部２３は、検知済みセンサからの距離が所定距離（例えば、0.5m〜1m）以下であることも、検知済みセンサが設けられた座席などに座った乗客またはつり革などに掴まった乗客とする条件としてもよい。車内危険判定部２３は、車内俯瞰画像上で検知された乗客のうち、検知済みセンサが設けられた座席またはつり革などに座らず、かつ、掴まっていない乗客を不安定な乗客と判定する。

図５は、不安定な乗客の検知の一例を示す図である。図５において、白丸は、それぞれ、検知された乗客を表す。またハッチングされた四角は、検知済みセンサを表す。この例では、検知された乗客のうち、乗客５０１は検知済みセンサ５１１に最も近く、乗客５０２は、検知済みセンサ５１２に最も近いので、乗客５０１、乗客５０２は、不安定な乗客ではないと判断される。一方、乗客５０３は、何れの検知済みセンサに対しても、他の何れかの乗客より離れているので、不安定な乗客と判断される。

なお、車内を移動する乗客を不安定な乗客として検知するために、車内の通路に圧力マットセンサが設けられてもよい。この場合、車内危険判定部２３は、圧力マットセンサから得られる圧力が掛かる位置が人の歩行速度程度で移動する場合、不安定な乗客がいると判定してもよい。

車内危険判定部２３は、車内俯瞰画像上での不安定な乗客の位置及びその位置を含む不安定な乗客が検知された領域の外接矩形の各頂点の座標を、安全運転阻害要因であることを表すフラグとともに記憶部１２に記憶する。また車内危険判定部２３は、一旦検出した不安定な乗客が降車するか、不安定でなくなる（すなわち、座席に座ったりどこかに掴まる）まで、車内俯瞰画像が得られる度にオプティカルフローなどのトラッキング技術を利用して、その不安定な乗客を追跡してもよい。その際、車内危険判定部２３は、一定期間（例えば、３〜１０秒間）にわたって不安定な乗客が座席に座るかどこかに掴まったと判定された場合に限り、その不安定な乗客が不安定でなくなったと判定してもよい。不安定な乗客は、車内を移動する際に、一時的にどこかに掴まることがあり、そのような一時的な把持によって不安定でないと判断されることを防ぐためである。なお、車内危険判定部２３は、一旦不安定な乗客と判定されても、その後に得られた車内俯瞰画像に基づいてその乗客が不安定でなくなったと判定すると、その乗客についての安全運転阻害要因であることを表すフラグを記憶部１２から消去する。

合成画像生成部２４は、車内の安全運転阻害要因の有無と車外の安全運転阻害要因の有無により、車内俯瞰画像と車外俯瞰画像の何れを優先させるかを判定する。本実施形態では、合成画像生成部２４は、車内に安全運転阻害要因があると判定されており、一方、車外の安全運転阻害要因は検知されていない場合、車内俯瞰画像を車外俯瞰画像よりも優先する。逆に、車外に安全運転阻害要因があると判定されており、一方、車内の安全運転阻害要因は検知されていない場合、合成画像生成部２４は、車外俯瞰画像を車内俯瞰画像よりも優先する。

また、合成画像生成部２４は、車内と車外の両方に安全運転阻害要因があると判定されている場合、車両同士の衝突は大事故につながる可能性があるので、車外俯瞰画像を車内俯瞰画像よりも優先させてもよい。あるいは、合成画像生成部２４は、車外俯瞰画像と車内俯瞰画像を同じ優先度としてもよい。
なお、合成画像生成部２４は、車内と車外の両方とも安全運転阻害要因が検知されていない場合、車外俯瞰画像と車内俯瞰画像を同じ優先度とする。

また、車内の安全運転阻害要因が検知されていても、不安定な乗客の全ての位置情報に、確認済みフラグが対応付られている場合には、車内の安全運転阻害要因が検知されていないとみなして車外俯瞰画像と車内俯瞰画像の優先度を決定してもよい。同様に、車外の安全運転阻害要因が検知されていても、安全運転阻害要因となる移動物体の位置情報に確認済みフラグが対応付られている場合には、車外の安全運転阻害要因が検知されていないとみなして車外俯瞰画像と車内俯瞰画像の優先度を決定してもよい。なお、確認済みフラグについては、確認判定部２５とともに後述する。

合成画像生成部２４は、車外俯瞰画像と車内俯瞰画像のうち優先される方の画像が他方の画像よりも見易くなるように、車外俯瞰画像と車内俯瞰画像を合成する。

図６は、車外俯瞰画像及び車内俯瞰画像と、車外俯瞰画像と車内俯瞰画像の優先度が同じ場合の合成画像の一例を示す図である。この例では、合成画像６００は、車外俯瞰画像６０１の自車両の位置に車内俯瞰画像６０２が重ね合わせられることにより生成される。

図７（ａ）及び（ｂ）は、それぞれ、車内俯瞰画像の方が優先される場合の合成画像の一例を示す図である。図７（ａ）に示される例では、合成画像７００において、車内俯瞰画像と車外俯瞰画像の優先度が等しい場合よりも、車内俯瞰画像７０１が拡大されて車外俯瞰画像７０２に重ね合わせられている。さらに、ドライバが、不安定な乗客に気付き易いように、検知された不安定な乗客を囲む枠線７０３が表示される。

一方、図７（ｂ）に示される例では、合成画像７１０において、図７（ａ）に示される合成画像７００よりも車内俯瞰画像７１１がより拡大されている。さらに、車外俯瞰画像７１２上で検知されている移動物体７１４は縮小され、かつ、合成画像７１０の隅へ移動されている。この例でも、検知された不安定な乗客を囲む枠線７１３が表示される。これにより、合成画像生成部２４は、合成画像上でドライバが車内の安全運転阻害要因をより視認し易くできる。

なお、合成画像生成部２４は、ドライバが不安定な乗客をより視認し易くするために、不安定な乗客が写った領域を、車内俯瞰画像から切り出してさらに拡大した後に、図７（ａ）または図７（ｂ）に示された合成画像上に重ね合わせてもよい。あるいは、合成画像生成部２４は、不安定な乗客を囲む枠線を点滅表示させたり、その枠線の色または輝度を時間とともに変化させてもよい。また、車両１００と衝突する危険が無いと判断された移動物体については、その移動物体が安全運転阻害要因とならないことをドライバに通知するために、合成画像生成部２４は合成画像上でその移動物体が写った領域の周囲に青線または点線の枠を表示してもよい。

図８（ａ）及び（ｂ）は、それぞれ、車外俯瞰画像の方が優先される場合の合成画像の一例を示す図である。図８（ａ）に示される例では、合成画像８００において、車内俯瞰画像と車外俯瞰画像の優先度が等しい場合よりも、車内俯瞰画像８０１が縮小されて車外俯瞰画像８０２に重ね合わせられている。さらに、ドライバが、車両１００に衝突する危険性の有る移動物体に気付き易いように、検知された移動物体を囲む枠線８０３が表示される。

一方、図８（ｂ）に示される例では、合成画像８１０において、車内俯瞰画像８１１の透明度が低く設定された上で、車外俯瞰画像８１２と重ね合わされている。この例でも、検知された移動物体を囲む枠線８１３が表示される。これにより、合成画像生成部２４は、合成画像上でドライバが車外の安全運転阻害要因をより視認し易くできる。

なお、車内俯瞰画像が優先される場合の車内俯瞰画像の表示領域の位置及びサイズを表す情報は、予め記憶部１２に記憶される。同様に、車外俯瞰画像が優先される場合、及び車内俯瞰画像と車外俯瞰画像の優先度が同じ場合の車内俯瞰画像の表示領域の位置及びサイズを表す情報も、予め記憶部１２に記憶される。そして合成画像生成部２４は、優先度に応じて、記憶部１２から車内俯瞰画像の表示領域の位置及びサイズを表す情報を読み込み、その位置及びサイズにしたがって合成画像上の車内俯瞰画像の位置及び拡大率を決定すればよい。

合成画像生成部２４は、生成した合成画像を表示部７に表示させる。

確認判定部２５は、安全運転阻害要因が検出されている場合、表示部７に表示された合成画像上でその安全運転阻害要因を確認したか否か判定する。そのために、本実施形態では、確認判定部２５は、ドライバ用カメラ８により撮影されたドライバの顔の画像から、ドライバの視線方向を検出する。例えば、確認判定部２５は、ドライバの顔の画像から、ドライバの顔を照明する赤外発光ダイオードの角膜反射像（プルキンエ像と呼ばれる）と瞳孔重心を、例えばテンプレートマッチングにより検出する。そして確認判定部２５は、プルキンエ像と瞳孔重心との間の差分ベクトルを求め、記憶部１２に予め記憶された、その差分ベクトルと視線方向との関係を表す参照テーブルを参照して、視線方向を検出する。

確認判定部２５は、ドライバの視線方向が、表示部７に表示されている合成画像上の安全運転阻害要因となる不安定な乗客または移動物体が写っている領域と一定期間重なっている場合、ドライバは、その安全運転阻害要因を確認したと判定する。なお、一定期間は、例えば、１〜２秒間に設定される。そして確認判定部２５は、ドライバが確認した安全運転阻害要因となる不安定な乗客または移動物体の位置情報に対応付けて、ドライバが確認したことを表す確認済みフラグを記憶部１２に記憶する。

なお、確認判定部２５は、ドライバの所定のジェスチャを検知することにより、合成画像上に示された安全運転阻害要因を確認したか否かを判定してもよい。所定のジェスチャは、例えば、指で安全運転阻害要因が示されている領域を指し示す動作とすることができる。この場合、ドライバ用カメラ８は、画素ごとにその画素に写っている被写体までの距離を検知できる、Time of Flight(TOF)方式のカメラとすることができる。
TOF方式のドライバ用カメラ８が、表示部７の表示画面から所定距離以内に近づく物体を検知した場合、確認判定部２５は、ドライバが所定の動作を行ったと判定する。そして確認判定部２５は、TOF方式のドライバ用カメラ８により検知されたその物体の位置から表示部７の表示画面に下した垂線の足に相当する位置をドライバが指し示していると判断する。そして垂線の足に相当する位置が、安全運転阻害要因となる不安定な乗客または移動物体が写った領域に含まれていれば、確認判定部２５は、ドライバはその安全運転阻害要因を確認したと判定する。

図９は、制御部１３により実行される運転支援処理の動作フローチャートである。制御部１３は、例えば、車外カメラまたは車内カメラの画像取得周期ごとに、この運転支援処理を実行する。

俯瞰映像生成部２１は、車外カメラ３−１〜３−４からの画像及び車内カメラ２−１〜２−４からの画像をそれぞれ車外俯瞰画像及び車内俯瞰画像に変換する（ステップＳ１０１）。
車外危険判定部２２は、最新の車外俯瞰画像及び過去に得られた車外俯瞰画像に基づいて、車外に安全運転阻害要因が有るか否か判定する（ステップＳ１０２）。一方、車内危険判定部２３は、最新の車内俯瞰画像に基づいて、車内に安全運転阻害要因が有るか否か判定する（ステップＳ１０３）。

合成画像生成部２４は、車外に未確認の安全運転阻害要因が有るか否か判定する（ステップＳ１０４）。車外に未確認の安全運転阻害要因が有る場合（ステップＳ１０４−Ｙｅｓ）、合成画像生成部２４は、車外俯瞰画像が車内俯瞰画像より見易くなるように、車外俯瞰画像と車内俯瞰画像の合成画像を生成する（ステップＳ１０５）。

一方、車外に未確認の安全運転阻害要因が無い場合（ステップＳ１０４−Ｎｏ）、合成画像生成部２４は、車内に未確認の安全運転阻害要因が有るか否か判定する（ステップＳ１０６）。車内に未確認の安全運転阻害要因が有る場合（ステップＳ１０６−Ｙｅｓ）、合成画像生成部２４は、車内俯瞰画像が車外俯瞰画像より見易くなるように、車外俯瞰画像と車内俯瞰画像の合成画像を生成する（ステップＳ１０７）。

一方、車内に未確認の安全運転阻害要因が無い場合（ステップＳ１０６−Ｎｏ）、合成画像生成部２４は、車内俯瞰画像と車外俯瞰画像が同等の見易さになるように合成画像を生成する（ステップＳ１０８）。

ステップＳ１０５、Ｓ１０７またはＳ１０８の後、合成画像生成部２４は、合成画像を表示部７に表示させる（ステップＳ１０９）。その後、確認判定部２５は、ドライバにより、安全運転阻害要因の確認操作がなされたか否か判定する（ステップＳ１１０）。ドライバにより、安全運転阻害要因の確認操作がなされた場合（ステップＳ１１０−Ｙｅｓ）、制御部１３は、ステップＳ１０４以降の処理を繰り返す。一方、安全運転阻害要因の確認操作がなされていない場合（ステップＳ１１０−Ｎｏ）、制御部１３は、全ての安全運転阻害要因について確認操作がなされたか否か判定する（ステップＳ１１１）。もし、何れか一つでも、確認操作がなされていない安全運転阻害要因が有る場合（ステップＳ１１１−Ｎｏ）、制御部１３は、ステップＳ１０４以降の処理を繰り返す。一方、全ての安全運転阻害要因について確認操作がなされている場合（ステップＳ１１１−Ｙｅｓ）、制御部１３は、運転支援処理を終了する。

なお、制御部１３は、ステップＳ１１０及びＳ１１１の判定を、画像取得周期とは独立して、随時実行してもよい。また制御部１３は、ステップＳ１０２の処理とステップＳ１０３の処理の順序を入れ替えてもよく、あるいは、ステップＳ１０２の処理とステップＳ１０３の処理を並列に実行してもよい。さらに、制御部１３は、車外俯瞰画像の生成と車内俯瞰画像の生成を互いに独立して実行してもよい。

以上に説明してきたように、この運転支援装置は、車内と車外のそれぞれごとに、安全運転阻害要因があるか否か判定し、安全運転阻害要因がある方の画像がドライバにとって見易くなるように、車内俯瞰画像と車外俯瞰画像を合成する。そして運転支援装置は、そのようにして得られた合成画像を表示部に表示させる。そのため、ドライバは合成画像上で確認すべき場所を容易に見つけられるので、例え表示部が小さくても、この運転支援装置は、ドライバが車外と車内の両方を監視できるようにするとともに、ドライバの監視負担を軽減できる。さらに、この運転支援装置は、表示された合成画像上でドライバが安全運転阻害要因を確認すると、安全運転阻害要因が検知されていないときと同様の合成画像に切り替える。そのため、この運転支援装置は、安全運転阻害要因の確認が済んでいるにもかかわらず、運転中に煩わしい警告表示が出たままになることを防止できる。さらに、ドライバは、確認済みの安全運転阻害要因とその後に検出された安全運転阻害要因とを容易に識別することができる。

なお、変形例によれば、俯瞰映像生成部は省略されてもよい。この場合には、車外危険判定部２２は、車外カメラから得られた画像そのものから、車両１００に衝突する可能性の有る移動物体を検出する。同様に、車内危険判定部２３は、車内カメラから得られた画像そのものから、不安定な乗客を検出する。そして合成画像生成部２４は、例えば、車外カメラから得られた画像及び車内カメラから得られた画像を重ね合わせずに、単純に結合することで合成画像を生成してもよい。この場合も、合成画像生成部２４は、合成画像生成部２４から通知された優先度に従って、安全運転阻害要因となる移動物体または不安定な乗客が写っている画像を、他の画像よりも拡大した上で各画像を結合して合成画像を生成してもよい。
また、制御部１３は、合成画像を表示部に表示させるとともに、スピーカに警告音を出力させたり、ステアリングに設けられた振動子を振動させたり、あるいは、警告用の光源を点滅させてもよい。

また、他の変形例によれば、確認判定部２５は省略されてもよい。この場合には、合成画像生成部２４は、安全運転阻害要因が未確認か否かにかかわらず、車外俯瞰画像と車内俯瞰画像のうち、安全運転阻害要因が検出されている方の画像が見易くなるように合成画像を生成する。

さらに他の変形例によれば、ドライバが確認していない安全運転阻害要因が有る場合、制御部１３は、車両１００の電子制御ユニットに、ドライバのアクセル操作を制限する信号を送信して、ドライバが車両１００を発進させることを制限してもよい。特に、制御部１３は、車内の安全運転阻害要因がなくなるか、ドライバが車内の安全運転阻害要因全てを確認するまで、車両１００の電子制御ユニットに、ドライバのアクセル操作を制限する信号を送信してもよい。そして、車外と車内の両方に安全運転阻害要因が有る場合、車両１００が発進する前であれば、制御部１３は、車内俯瞰画像の方を優先するように合成画像を生成してもよい。この場合でも、制御部１３は、電子制御ユニットからの速度情報などに基づいて車両１００が発進したことを確認した以降、車外と車内の両方に安全運転阻害要因が有る場合、車外俯瞰画像の方を優先するように合成画像を生成してもよい。これにより、運転支援装置１は、事故の発生を予防できる。

さらに他の変形例によれば、確認判定部２５は、一定期間以上、ドライバにより確認されない安全運転阻害要因が有る場合、その安全運転阻害要因に相当する移動物体または乗客を囲む枠線を点滅させたり、輝度または色を変化させてもよい。さらに、確認判定部２５は、スピーカに警告音を出力させたり、警告用の光源を点滅させてもよい。これにより、運転支援装置１は、ドライバが安全運転阻害要因を見落とす可能性を低減できる。

また、制御部１３は、車内で不安定な乗客が検出されると、車内アナウンス用のスピーカに、何かに掴まることを指示する警告メッセージを出力させてもよい。

また、運転支援装置は、例えば、ナビゲーションシステム（図示せず）に組み込まれていてもよい。この場合には、ナビゲーションシステムの制御部上で運転支援処理用コンピュータプログラムが実行されることにより、図３に示された運転支援装置の制御部の各部の機能が実現される。

また、上記の実施形態及び変形例による制御部の各部の機能を実現する、運転支援処理用コンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。この場合、例えば、ナビゲーションシステムが有する記録媒体アクセス装置に記録媒体がセットされ、その記録媒体から運転支援処理用プログラムがナビゲーションシステムにロードされることにより、ナビゲーションシステムが運転支援処理を実行可能となる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
車両の周囲の少なくとも一部が写った車外画像を生成する第１の撮像部と、
前記車両の内部が写った車内画像を生成する第２の撮像部と、
前記車外画像から前記車両の外に安全運転を阻害する要因が有るか否かを判定する車外危険判定部と、
前記車内画像から前記車両内で安全運転を阻害する要因があるか否かを判定する車内危険判定部と、
前記車外画像と前記車内画像のうち、安全運転を阻害する要因が検出された方の画像が前記車外画像と前記車内画像のうちの他方の画像よりも見易くなるように、前記車外画像と前記車内画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を表示する表示部と、
を有する運転支援装置。
（付記２）
前記表示部に表示された前記合成画像上に表された安全運転を阻害する要因をドライバが確認したか否かを判定する確認判定部をさらに有し、
前記合成画像生成部は、前記安全運転を阻害する要因をドライバが確認した場合、当該確認された安全運転を阻害する要因が無いとみなして前記合成画像を生成する、付記１に記載の運転支援装置。
（付記３）
前記合成画像生成部は、前記車外画像と前記車内画像の両方から安全運転を阻害する要件が検出された場合、前記車外画像が前記車内画像よりも見易くなるように前記合成画像を生成する、付記１または２に記載の運転支援装置。
（付記４）
前記車内危険判定部は、前記車両内にいる乗客の総数を検出し、当該乗客の総数と、前記車両に設けられた座席に座った乗客及び支持部材を把持する乗客を検知するセンサから受信した信号に基づいて求めた前記車両に設けられた座席に座った乗客及び支持部材を把持する乗客の数を比較することにより、前記車両に設けられた座席に座っておらず、かつ、支持部材を把持していない不安定な乗客がいるか否か判定し、当該不安定な乗客がいる場合、前記車両内に安全運転を阻害する要因があると判定する、付記１〜３の何れか一項に記載の運転支援装置。
（付記５）
前記車外危険判定部は、所定の周期で生成された前記車外画像のそれぞれから、移動物体を検出し、当該移動物体の移動方向と前記車両の移動方向が重なる場合、前記車両の外に安全運転を阻害する要因があると判定する、付記１〜３の何れか一項に記載の運転支援装置。
（付記６）
前記車内画像及び前記車外画像をそれぞれ俯瞰画像に変換する俯瞰映像生成部をさらに有し、
前記合成画像生成部は、前記車内画像の俯瞰画像と前記車外画像の俯瞰画像を合成することで前記合成画像を生成する、付記１〜５の何れか一項に記載の運転支援装置。
（付記７）
車両の周囲の少なくとも一部が写った車外画像から前記車両の外に安全運転を阻害する要因が有るか否かを判定し、
前記車両の内部が写った車内画像から前記車両内で安全運転を阻害する要因があるか否かを判定し、
前記車外画像と前記車内画像のうち、安全運転を阻害する要因が検出された方の画像が前記車外画像と前記車内画像のうちの他方の画像よりも見易くなるように、前記車外画像と前記車内画像とを合成して合成画像を生成し、
前記合成画像を表示部に表示させる、
ことを含む運転支援方法。

１００ 車両
１ 運転支援装置
２−１〜２−４ 車内カメラ
３−１〜３−４ 車外カメラ
４ 制御回路基板
６ 圧力センサ
７ 表示部
８ ドライバ用カメラ
１１ インターフェース部
１２ 記憶部
１３ 制御部
２１ 俯瞰映像生成部
２２ 車外危険判定部
２３ 車内危険判定部
２４ 合成画像生成部
２５ 確認判定部

Claims (4)

1. 車両の周囲の少なくとも一部が写った車外画像を生成する第１の撮像部と、
   前記車両の内部が写った車内画像を生成する第２の撮像部と、
   前記車外画像から前記車両の外に安全運転を阻害する要因が有るか否かを判定する車外危険判定部と、
   前記車内画像から前記車両内で安全運転を阻害する要因があるか否かを判定する車内危険判定部と、
   前記車外画像と前記車内画像のうち、安全運転を阻害する要因が検出された方の画像が前記車外画像と前記車内画像のうちの他方の画像よりも見易くなるように、前記車外画像と前記車内画像とを合成して合成画像を生成する合成画像生成部と、
   前記合成画像を表示する表示部と、
   を有する運転支援装置。
2. 前記表示部に表示された前記合成画像上に表された安全運転を阻害する要因をドライバが確認したか否かを判定する確認判定部をさらに有し、
   前記合成画像生成部は、前記安全運転を阻害する要因をドライバが確認した場合、当該確認された安全運転を阻害する要因が無いとみなして前記合成画像を生成する、請求項１に記載の運転支援装置。
3. 前記合成画像生成部は、前記車外画像と前記車内画像の両方から安全運転を阻害する要件が検出された場合、前記車外画像が前記車内画像よりも見易くなるように前記合成画像を生成する、請求項１または２に記載の運転支援装置。
4. 車両の周囲の少なくとも一部が写った車外画像から前記車両の外に安全運転を阻害する要因が有るか否かを判定し、
   前記車両の内部が写った車内画像から前記車両内で安全運転を阻害する要因があるか否かを判定し、
   前記車外画像と前記車内画像のうち、安全運転を阻害する要因が検出された方の画像が前記車外画像と前記車内画像のうちの他方の画像よりも見易くなるように、前記車外画像と前記車内画像とを合成して合成画像を生成し、
   前記合成画像を表示部に表示させる、
   ことを含む運転支援方法。