JP2007081590A - 車両側方確認装置 - Google Patents

Abstract

【課題】運転者に車両側方の状況を違和感なく把握させることが可能で、ひいては運転時の安全性の向上に寄与する車両側方確認装置を提供する。
【解決手段】一般的なサイドミラーにおいて死角となる範囲の情景を運転者が視認できるようにサイドミラー２０１、２０２の角度を設定し、一般的なサイドミラーにおいて視認可能な範囲の情景をカメラ１０１、１０２により撮像し、サイドミラー２０１、２０２の傍かつ車両内部にモニタ１４１、１４２を設置し、カメラ１０１、１０２による撮像映像に対し、モニタ１４１、１４２に表示される映像視界がサイドミラー２０１、２０２に映る視界と一続きになるように画像処理を施す。
【選択図】図１

Description

本発明は、車両ドアに設置されたサイドミラーの死角範囲の情景を撮像してその映像を車両内部の表示手段に表示する車両側方確認装置に関する。

従来の車両側方確認装置として、サイドガラス上かつ運転者からサイドミラーが見える位置の外側にホログラムを設置し、サイドミラーにより運転者が視認できない車両側方の死角範囲の情景を撮像した映像をこのホログラム上に投影することにより、サイドミラーにより視認できる視界と、ホログラム上に表示する映像視界を一続きの視界として表示する装置が公開されている（例えば、特許文献１参照。）。

しかしながら、この従来の車両側方確認装置では、サイドガラス上に設置したホログラムに映像を投影するため、運転者はサイドガラスを開けることができないという問題があった。さらに、ホログラムの向こう側の情景が映像に重なって見える可能性が高く、運転者の誤認識を招くおそれがあり、また、映像が投影された部分が新たな死角となるおそれもあり、安全性の面で問題があった。

一方、従来の他の車両側方確認装置として、サイドミラーにより視認できる範囲の情景に加えて、死角範囲の情景も含めて撮像した映像を表示装置に表示する装置が公開されている（例えば、特許文献２参照。）。

しかしながら、この従来の車両側方確認装置では、表示装置をメータパネル内や中央部に設置した場合には運転者が車両側方の映像を見ても直感的にわかりづらく、不安感を与えるという問題がある一方、表示装置を車両の両側に設置した場合でも、サイドミラーに映る視界と表示装置の映像視界の一部が重複しており、運転者の目には同じ視界が二つ見えることから混乱する原因になりかねず、安全性の面で問題があった。

そこで、視認手段を表示装置による映像視界のみにし、サイドミラーを無くしてしまうということも考えられるが、サイドミラーはそのまま使えるという心理面での安心感が得られることや、撮像装置の故障時のためにも、やはりサイドミラーは存在することが安全上望ましい。

また、従来の他の車両側方確認装置として、シートの位置に基づいて運転者の目の位置を決定し、撮像装置により撮像された映像を、運転者がサイドミラーを通して見る視界に対応した映像に変換して表示装置に表示する装置が公開されている（例えば、特許文献２参照。）。

しかしながら、シートの位置に基づいて運転者の目の位置を決定した場合、運転者の身長や、着座時の姿勢などによっても目の位置が変わり、正確な目の位置を得られないため、サイドミラーにより視認できる視界と、表示装置に表示する映像視界とにずれが生じる可能性があるという問題があった。
特開２０００−７１８７７号公報 特開２００３−３３９０４４号公報

本発明は、上記問題点に鑑み、車両ドアに設置されたサイドミラーにおいて一般的に死角となる範囲の情景を運転者が視認できるように角度設定したサイドミラーと、サイドミラーにおいて一般的に視認可能な範囲の情景を撮像する撮像手段と、サイドミラーの傍かつ車両内部に設置した表示手段と、車両側方の撮像映像に対し、前記表示手段に表示される映像視界がサイドミラーに映る視界と一続きになるように画像処理を施す画像処理手段とを備えることにより、運転者に車両側方の状況を違和感なく把握させることが可能で、ひいては運転時の安全性の向上に寄与する車両側方確認装置を提供することを目的とする。

本発明の請求項１記載の車両側方確認装置は、車両側方の外側の所定範囲の情景を運転者が視認できるように角度設定されて車両ドアに設置されたサイドミラーと、前記サイドミラーの車両側の死角範囲を含む所定範囲の情景を撮像する撮像手段と、前記サイドミラーの傍かつ車両内部に設置された表示手段と、前記撮像手段により撮像された撮像映像に対し、前記表示手段に表示される映像視界が前記サイドミラーに映る視界と一続きになるように画像処理を施し、該画像処理後の映像を前記表示手段に表示させる画像処理手段と、を備えることを特徴とする。

また、本発明の請求項２記載の車両側方確認装置は、請求項１記載の車両側方確認装置であって、前記サイドミラーの角度を検出する角度検出手段と、運転者の目の位置を検出する位置検出手段と、を備え、前記画像処理手段は、前記角度検出手段により検出された前記サイドミラーの角度の情報と前記位置検出手段により検出された運転者の目の位置の情報を用いて前記サイドミラーに映る視界の範囲を求め、該視界の範囲と一続きになる映像視界に対応する部分映像を前記撮像映像から切り出すための切り出し位置を算出し、該切り出し位置の情報を用いて前記撮像画像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項３記載の車両側方確認装置は、請求項２記載の車両側方確認装置であって、前記角度検出手段は、車両の上下方向および左右方向に対する前記サイドミラーの角度を検出することを特徴とする。

また、本発明の請求項４記載の車両側方確認装置は、請求項２もしくは３のいずれかに記載の車両側方確認装置であって、前記位置検出段は、運転者の目の位置を検出するためのカメラを２台有し、該２台のカメラの撮像画像を用いて、車両の前後方向および上下方向に対する運転者の目の位置、または車両の前後方向および上下方向および左右方向に対する運転者の目の位置を検出することを特徴とする。

また、本発明の請求項５記載の車両側方確認装置は、請求項２ないし４のいずれかに記載の車両側方確認装置であって、切り出し位置の情報を記録する記録手段を備え、前記画像処理手段は、一定時間ごとに切り出し位置を算出して前記記録手段に記録されている情報を更新し、前記記録手段に記録されている情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項６記載の車両側方確認装置は、請求項２ないし４のいずれかに記載の車両側方確認装置であって、切り出し位置の情報を記録する記録手段を備え、前記画像処理手段は、運転開始時に切り出し位置を算出して前記記録手段に記録し、前記記録手段に記録されている情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項７記載の車両側方確認装置は、請求項２ないし６のいずれかに記載の車両側方確認装置であって、前記画像処理手段により算出された切り出し位置のパラメータを調整するための設定情報を入力する設定手段をさらに備え、前記画像処理手段は、前記設定情報を基に切り出し位置のパラメータの変換を行う機能をさらに有し、この変換後の切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項８記載の車両側方確認装置は、請求項１記載の車両側方確認装置であって、前記サイドミラーの角度を検出する角度検出手段と、運転者の目の位置を検出する位置検出手段と、前記サイドミラーに映る視界の範囲と一続きになる映像視界に対応する部分映像を前記撮像映像から切り出すための切り出し位置のパターン情報を、前記サイドミラーの角度と運転者の目の位置の組み合わせのパターンに対応させて記録する記録手段と、を備え、前記画像処理手段は、前記角度検出手段により検出された前記サイドミラーの角度の情報と前記位置検出手段により検出された運転者の目の位置の情報の組み合わせに対応する切り出し位置のパターンを前記記録手段に記録されている切り出し位置のパターン情報から検索し、この検索した切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項９記載の車両側方確認装置は、請求項８記載の車両側方確認装置であって、前記角度検出手段は、車両の上下方向および左右方向に対する前記サイドミラーの角度を検出することを特徴とする。

また、本発明の請求項１０記載の車両側方確認装置は、請求項８もしくは９のいずれかに記載の車両側方確認装置であって、前記位置検出段は、運転者の目の位置を検出するためのカメラを２台有し、該２台のカメラの撮像画像を用いて、車両の前後方向および上下方向に対する運転者の目の位置、または車両の前後方向および上下方向および左右方向に対する運転者の目の位置を検出することを特徴とする。

また、本発明の請求項１１記載の車両側方確認装置は、請求項８ないし１０のいずれかに記載の車両側方確認装置であって、前記記録手段は、前記画像処理手段により検索された切り出し位置の検索情報を記録し、前記画像処理手段は、一定時間ごとに切り出し位置のパターンを検索して前記記録手段に記録されている検索情報を更新し、前記記録手段に記録されている検索情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項１２記載の車両側方確認装置は、請求項８ないし１０のいずれかに記載の車両側方確認装置であって、前記記録手段は、前記画像処理手段により検索された切り出し位置の検索情報を記録し、前記画像処理手段は、運転開始時に切り出し位置のパターンを検索して前記記録手段に検索情報として記録し、前記記録手段に記録されている検索情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項１３記載の車両側方確認装置は、請求項８ないし１２のいずれかに記載の車両側方確認装置であって、前記画像処理手段により検索された切り出し位置のパラメータを調整するための設定情報を入力する設定手段をさらに備え、前記画像処理手段は、前記設定情報を基に切り出し位置のパラメータの変換を行う機能をさらに有し、この変換後の切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、ことを特徴とする。

また、本発明の請求項１４記載の車両側方確認装置は、請求項２ないし１３のいずれかに記載の車両側方確認装置であって、前記表示手段は、前記サイドミラーよりも車両の上下方向の幅が大きく、前記画像処理手段は、前記サイドミラーの角度の情報と運転者の目の位置の情報を用いて、前記表示手段と前記サイドミラーの角度差により発生する歪み量を算出し、この歪み量を基に前記撮像映像から切り出された部分映像を補正する機能をさらに有する、ことを特徴とする。

また、本発明の請求項１５記載の車両側方確認装置は、請求項２ないし１３のいずれかに記載の車両側方確認装置であって、前記画像処理手段を介して前記サイドミラーの角度の情報と運転者の目の位置の情報を取得し、これらの情報を用いて前記表示手段の角度および位置を調整する移動手段をさらに備えることを特徴とする。

また、本発明の請求項１６記載の車両側方確認装置は、請求項１ないし１５のいずれかに記載の車両側方確認装置であって、前記撮像手段は、赤外線カメラであることを特徴とする。

本発明によれば、運転者に車両側方の状況を違和感なく把握させることが可能で、ひいては運転時の安全性の向上に寄与することができる。つまり、左側方の情景は左側の表示手段により表示し、右側方の情景は右側の表示手段により表示するため、運転者にとって従来からのサイドミラーを見ている感覚となんら変わりがないので、不安を抑制できる。また、表示手段に表示される映像視界とサイドミラーに映る視界とが一続きの視界として得られるため、運転者が違和感を覚えることを抑制できる。また、サイドミラーに映る視界と映像視界とで重複して映る部分が無いため、不安感を抑制できる。

また、車両側方の情景を視認するために、一部サイドミラーを利用しているため、撮像手段が撮像しなければならない範囲を限定でき、撮像手段の数を削減できる。また、表示手段に関しても、サイドミラーにより視認できない範囲のみを表示すればよく、表示手段を有効に活用できる。また、雨天の場合にでも、映像視界に関してはサイドミラーやサイドガラスに雨滴が付くことにより見づらくなるということが無い。

また、車両の上下方向および左右方向に対するサイドミラーの角度の情報を取得することにより、画像処理手段は運転者がサイドミラーを介して視認する範囲をサイドミラーの角度に応じて認識し、映像視界をサイドミラーに映る視界と一続きとなるようにより正確に表示することができるため、運転者は車両側方の情景をより違和感なく把握することができる。

また、車両の前後方向および上下方向、あるいは、車両の前後方向および上下方向および左右方向に対する運転者の目の位置の情報を取得することにより、画像処理手段は運転者の座席位置や身長や姿勢によって変わる目の位置を認識し、映像視界をサイドミラーに映る視界と一続きとなるようにより正確に表示することができるため、運転者は車両側方の情景をより違和感なく把握することができる。

また、運転者が座席位置や姿勢を変えた場合に追従して、リアルタイムに映像視界をサイドミラーに映るの視界に合わせこむことができるため、運転者は車両側方の情景を常に違和感なく把握することができる。

また、運転開始時にのみ切り出し位置を算出あるいは検索することにより、運転開始時にのみ角度検出手段と位置検出手段を働かせればよく、運転中はこれらを使用せずに済むため、消費電力を削減することができる。

また、サイドミラーの角度と運転者の目の位置の組み合わせに対応する切り出し位置のパターンを記録手段に予め保持させておくことにより、視界の範囲と切り出し位置の算出処理を省き、より高速に処理を行うことができる。

また、切り出し位置のパラメータ調整を可能にすることにより、運転者が好みに応じて映像視界の範囲を調整することができる。また、複数のプリセット登録が可能になる。また、切り出し位置のパラメータの調整時には、角度検出手段と位置検出手段を用いてもよく、大まかな範囲をこれらの手段を用いて設定したあとに、運転者の好みに応じて調整することもできる。

また、表示手段とサイドミラーの向きが異なる場合、運転者が両者を視認する際に、見え方に差が生じて認識しづらい状態となるが、表示手段とサイドミラーの角度差により発生する歪み量を算出して部分映像を補正することにより、表示手段に表示される映像視界をサイドミラーに映る視界に合わせて補正でき、運転者は両者を一続きの視界として認識できるようになり、車両側方の情景を把握しやすくなる。また、表示手段を車両の上下方向に大きくすることにより、補正した映像を十分に表示することができる。

また、表示手段の角度を調整することにより、表示手段をサイドミラーと同様の角度にすることができ、運転者は表示手段に表示される映像視界とサイドミラーに映る視界を同じ角度で視認できるため、車両側方の情景を把握しやすくなる。また、表示手段の位置を調整することにより、運転者の目の位置とサイドミラーの車両側の端を結ぶ直線と、運転者の目の位置と表示手段のサイドミラー側の端を結ぶ直線を略一致させることができ、運転者は表示手段による映像視界とサイドミラーに映る視界を一続きの視界として把握することができる。また、画像処理手段は、表示手段とサイドミラーの角度差により発生する視界の歪みを補正せずに済む。

また、赤外線カメラを使用することにより、夜間、カメラで判別しにくい物体も確認することができるため、より運転者の安全性を向上させることができる。

以下、本発明の実施の形態における車両側方確認装置について、図面を交えて説明する。
（実施の形態１）
図１は、本実施の形態１における車両側方確認装置の概略構成を示すブロック図である。また、図２は、本実施の形態１の車両側方確認装置における撮像装置（撮像手段）の撮像範囲およびサイドミラーにより運転者が視認できる視界の範囲を説明するための図である。

図２に示すように、本実施の形態１では、車両２００の車両ドアに設置された左右のサイドミラー２０１、２０２は、従来のサイドミラーにおいて一般的に死角となる外側の所定範囲２１１、２１２の情景を運転者が視認できるように角度設定されている。逆に、車両２００の左右側方の情景をそれぞれ撮像するカメラ（撮像装置）１０１、１０２の撮像範囲は、従来のサイドミラーにおいて一般的に運転者が視認可能な範囲２２１、２２２を含む。つまり、カメラ１０１、１０２は、サイドミラー２０１、２０２の車両側の死角範囲を含む所定範囲の情景を撮像する。なお、カメラ１０１、１０２は、サイドミラーが映像に映りこまないような位置、例えばサイドミラー下部付近に設置するのが望ましい。

図１において、カメラ（撮像手段）１０１、１０２は、車両２００の左右側方の情景をそれぞれ撮像する。なお、カメラ１０１、１０２の３次元位置情報（３次元座標）は既知であり、当該車両側方確認装置は所定の記憶領域に予め保持している。なお、カメラ１０１、１０２として赤外線カメラを用いることにより、夜間でも良好な映像視界を得ることができる。

角度検出部（角度検出手段）１１１、１１２は、サイドミラー２０１、２０２の角度を調整する装置（図示せず）に取り付けられ、車両の上下方向および左右方向に対するサイドミラー２０１、２０２の角度を検出する。

位置検出部（位置検出手段）１２０は、車両の前後方向および上下方向に対する運転者の目の位置、あるいは、車両の前後方向、上下方向、および左右方向に対する運転者の目の位置を検出する。なお、運転者の目の位置は、両目の位置であっても、特定の一方の目の位置であってもよい。

画像処理部（画像処理手段）１３０は、角度検出部１１１、１１２からの２次元角度情報と位置検出部１２０からの２次元あるいは３次元位置情報（２次元あるいは３次元座標情報）を用いて、カメラ１０１、１０２が撮像した撮像映像に対し、運転者から見て、モニタ１４１、１４２に表示される映像視界がサイドミラー２０１、２０２に映る視界と一続きの視界となるように画像処理を施し、この画像処理後の映像をモニタ１４１、１４２に表示させる。モニタ（表示手段）１４１、１４２は、画像処理部１３０による画像処理後の映像を表示する。

図３は、運転席側におけるモニタ１４１および位置検出用カメラ１２１、１２２の設置例を示す図である。位置検出部１２０は、運転者の目の位置を検出するための位置検出用カメラ１２１、１２２を２台有している。これら２台の位置検出用カメラ１２１、１２２は、車両の上下方向に一定距離だけ離して、モニタ１４１近傍に配置する。また、モニタ１４１は、サイドミラー２０１の傍かつ車両内部に設置する。図４は、助手席側におけるモニタ１４２の設置例を示す図である。モニタ１４２もモニタ１４１と同様に、サイドミラー２０２の傍かつ車両内部に設置する。なお、助手席側には特に位置検出部は設けない。

図５の上図は、位置検出用カメラ（上側）１２１により撮像された撮像画像の模式図であり、下図は、位置検出用カメラ（下側）１２２により撮像された撮像画像の模式図である。

位置検出部１２０は、各位置検出用カメラ１２１、１２２により撮像された撮像画像から運転者の目の輪郭を抽出し、各撮像画像における目の輪郭の位置とその輪郭の大きさ（面積）を求めて、目の位置を検出する。

すなわち、まず、各撮像画像における目の輪郭の画素座標を用いて、位置検出用カメラの撮像範囲の中心位置を指す方向に対して、位置検出用カメラの位置と目の位置とを結ぶ方向がなす角度について取得する。

例えば、位置検出用カメラが上下６０度までを縦１００画素で撮像する場合（画角の上下中心を０度とする）、上下方向の１画素当たりの角度は、
上下方向の１画素当たりの角度 ＝ 上下方向の画角／上下方向の構成画素数 ＝ （６０−（−６０））度／１００画素 ＝ １．２度
となる。

したがって、目の輪郭の抽出時に、目の輪郭内部（輪郭を含む）の任意の点（例えば中心点）を目の位置とし、その目の位置を表す画素が撮像画像の上下方向の何番目の画素になるかを得ることで、撮像画像の上下方向に対する角度αを求めることができる。

例えば、目の位置が下から８０画素目の場合、
角度α ＝ 計算対象の画素座標（−６０度に対応した画素位置を０とする）×上下方向の１画素当たりの角度−補正角 ＝ ８０画素目×１．２度−６０度＝３６度（上側に３６度）
となり、目は上方向３６度の位置に存在する。

撮像画像の左右方向に対する角度βの算出も同様に行う。すなわち、例えば位置検出用カメラが左右７０度までを横２００画素で撮像する場合（画角の左右中心を０度とする）、左右方向の１画素当たりの角度は、
左右方向の１画素当たりの角度 ＝ 左右方向の画角／左右方向の構成画素数 ＝ （７０−（−７０））度／２００画素 ＝ ０．７度
となり、目の位置が左から１２０画素目の場合、
角度β ＝ 計算対象の画素座標（−７０度に対応した画素位置を０とする）×左右方向の１画素当たりの角度−補正角 ＝ １２０画素目×０．７度−７０度＝１４度（右側に１４度）
となり、目は右方向１４度の位置に存在する。

続いて、上記の角度α、βを用いて目の位置を検出する。図６は、車両の上下方向に対する目の位置を検出する方法を説明するための図である。車両の上下方向の目の位置は、図６に示す距離ｘを算出することで求める。

図６において、角度θ２は、位置検出用カメラ（下側）１２２の撮像画像から算出した角度α２を用いて（９０−α２）となる。また、位置検出用カメラ１２１、１２２間の車両の上下方向に対する距離Ａは既知であり、当該車両側方確認装置は所定の記憶領域に予め保持している。また、角度θ１は、位置検出用カメラ（上側）１２１の撮像画像から算出した角度α１を用いて（９０＋α１）となる。

したがって、
距離ｘ ＝ Ａｔａｎθ２／{ｔａｎ（１８０−θ１）−ｔａｎθ２}
となるので、
車両の上下方向に対する目の位置 ＝ 車両の上下方向に対する位置検出用カメラ（上側）１２１の位置＋距離ｘ
を算出することで、車両の上下方向に対する目の位置を求めることができる。但し、位置検出用カメラ１２１、１２２の３次元位置は既知であり、当該車両側方確認装置は所定の記憶領域に予め保持している。

図７は、車両の前後方向に対する目の位置を検出する方法を説明するための図である。車両の前後方向の目の位置は、図７に示す距離ｙを算出することで求める。図７において、角度α１は、位置検出用カメラ（上側）１２１の撮像画像から算出した角度であり、距離ｘは、車両の上下方向に対する目の位置を検出するときに求めており、すでに既知である。

したがって、
距離ｙ ＝ ｘ×ｔａｎα１
となるので、
車両の前後方向に対する目の位置 ＝ 車両の前後方向に対する位置検出用カメラ（上側）１２１の位置＋距離ｙ
を算出することで、車両の前後方向に対する目の位置を求めることができる。

図８は、車両の左右方向に対する目の位置を検出する方法を説明するための図である。車両の左右方向の目の位置は、図８に示す距離ｚを算出することで求める。図８において、角度β１は、位置検出用カメラ（上側）１２１の撮像画像から算出した角度であり、距離ｙは、車両の前後方向に対する目の位置を検出するときに求めており、すでに既知である。

したがって、
距離ｚ ＝ ｙ／ｔａｎα１
となるので、
車両の左右方向に対する目の位置 ＝ 車両の左右方向に対する位置検出用カメラ（上側）１２１の位置＋距離ｚ
を算出することで、車両の左右方向に対する目の位置を求めることができる。

図９に画像処理部１３０における処理のフローチャートを示す。画像処理部１３０は、まず、位置検出部１２０から目の位置の情報（２次元あるいは３次元座標情報）を取得する（ステップＳ１）。目の位置の情報は、両目の位置の情報であっても、特定の一方の目の位置の情報であってもよい。

次に、画像処理部１３０は、位置検出部１２０から得た情報とサイドミラー２０１、２０２上の任意の点の２次元あるいは３次元位置情報（２次元あるいは３次元座標情報）を基に、車両の左右方向および上下方向に対する運転者のサイドミラー２０１、２０２への視線の角度を計算する（ステップＳ２）。なお、サイドミラー２０１、２０２の３次元位置は既知であり、当該車両側方確認装置は所定の記憶領域に予め保持している。

次に、画像処理部１３０は、角度検出部１１１、１１２から車両の左右方向および上下方向に対するサイドミラー２０１、２０２の角度の情報を取得する（ステップＳ３）。そして、ステップＳ２、３において得た運転者の角度の情報とサイドミラー２０１、２０２の角度の情報を用いて、運転者がサイドミラー２０１、２０２により視認できる視界の車両左右方向および上下方向に対する角度（視界の範囲）を計算する（ステップＳ４）。

次に、画像処理部１３０は、サイドミラーで視認できない範囲の映像のみをモニタ１４１、１４２に表示するために、ステップＳ４において得た視界の角度を用いて、視界の範囲と一続きになる映像視界に対応する部分映像をカメラ１０１、１０２により撮像された撮像映像から切り出すための切り出し位置の座標を計算する（ステップＳ５）。

次に、画像処理部１３０は、ステップＳ５において計算した切り出し位置の座標を用いて、カメラ１０１、１０２により撮像された撮像映像に対し、部分映像の切り出し、該部分画像の位置合わせ、反転、拡大または縮小等の所定の画像処理を施し（ステップＳ６）、画像処理後の映像をモニタ１４１、１４２に表示する（ステップＳ７）。画像処理部１３０は、以上の処理を運転中繰り返す（ステップＳ８）。図１０に運転席側の画像処理のイメージ図を示す。

図１０に示すように、部分映像を切り出した後、通常のサイドミラーと同じ左右方向で表示するために、部分映像の左右反転を行う。さらに、カメラ１０１、１０２の画素数、モニタ１４１、１４２の解像度、ドットピッチなどに応じて、サイドミラーと同じ拡大比率で表示するために、部分映像の拡大または縮小を行う。また、サイドミラーに映る視界と映像視界が連続した視界となるように、映像をサイドミラー側に寄せる位置合わせの処理を行う。なお位置合わせの処理は左右方向だけでなく、上下方向も対象とする。

本実施の形態１によれば、運転者に車両側方の状況を違和感なく把握させることが可能で、ひいては運転時の安全性の向上に寄与することができる。つまり、左側方の情景は左側のモニタ１４２により表示し、右側方の情景は右側のモニタ１４１により表示するため、運転者にとって従来からのサイドミラーを見ている感覚となんら変わりがないので、不安を抑制できる。また、モニタ１４１、１４２に表示される映像視界とサイドミラー２０１、２０２に映る視界とが一続きの視界として得られるため、運転者が違和感を覚えることを抑制できる。また、サイドミラー２０１、２０２に映る視界と映像視界とで重複して映る部分が無いため、不安感を抑制できる。

また、車両側方の情景を視認するために、一部サイドミラーを利用しているため、カメラ１０１、１０２が撮像しなければならない範囲を限定でき、カメラの数を削減できる。また、モニタ１４１、１４２に関しても、サイドミラー２０１、２０２により視認できない範囲のみを表示すればよく、モニタを有効に活用できる。また、雨天の場合にでも、映像視界に関してはサイドミラー２０１、２０２やサイドガラスに雨滴が付くことにより見づらくなるということが無い。

また、車両の上下方向および左右方向に対するサイドミラー２０１、２０２の角度の情報を取得することにより、画像処理部１３０は運転者がサイドミラー２０１、２０２を介して視認する視界の範囲をサイドミラー２０１、２０２の角度に応じて認識し、映像視界をサイドミラー２０１、２０２に映る視界と一続きとなるようにより正確に表示することができるため、運転者は車両側方の情景をより違和感なく把握することができる。

また、車両の前後方向および上下方向、あるいは、車両の前後方向、上下方向、および左右方向に対する運転者の目の位置の情報を取得することにより、画像処理部１３０は運転者の座席位置や身長や姿勢によって変わる目の位置を認識し、映像視界をサイドミラー２０１、２０２に映る視界と一続きとなるようにより正確に表示することができるため、運転者は車両側方の情景をより違和感なく把握することができる。

（実施の形態２）
図１１は、本実施の形態２における車両側方確認装置の概略構成を示すブロック図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

図１１において、記録部（記録手段）１５０は、カメラ１０１、１０２により撮像された撮像映像から部分映像を切り出すための切り出し位置の情報（切り出し位置座標）を記録する。

また、画像処理部１３１による切り出し位置座標の算出処理は、前述の図９において説明したステップＳ１〜Ｓ５と同様の処理であり、画像処理部１３１は、この算出処理を一定時間ごとに実行して切り出し位置座標を算出し、記録部１５０に記録されている情報の更新を行う。また、画像処理部１３１による画像処理および映像表示処理は、前述の図９において説明したステップＳ６、７と同様の処理であり、記録部１５０に記録されている情報を用いて、実施の形態１と同様に行われる。

本実施の形態２によれば、一定時間ごとに切り出し位置の座標を算出して記録部１５０の情報を更新し、記録部１５０から切り出し位置の情報を読み出して画像処理を実行するので、運転者が座席位置や姿勢を変えた場合に追従して、リアルタイムに映像視界をサイドミラーに映るの視界に合わせこむことができ、運転者は車両側方の情景を常に違和感なく把握することができる。

なお、ここでは一定時間ごとに切り出し位置を算出する場合について説明したが、運転開始時にのみ切り出し位置を算出して記録部１５０に記録し、運転中は、常時、この運転開始時に算出した切り出し位置の情報を用いるようにしてもよい。

運転開始時にのみ切り出し位置を算出することにより、運転開始時にのみ角度検出部１１１、１１２と位置検出部１２０を働かせればよく、運転中はこれらを使用せずに済むため、消費電力を削減することができる。

（実施の形態３）
図１２は、本実施の形態３における車両側方確認装置の概略構成を示すブロック図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

図１２において、記録部（記録手段）１５１は、サイドミラー２０１、２０２に映る視界の範囲と一続きになる映像視界に対応する部分映像をカメラ１０１、１０２により撮像された撮像映像から切り出すための切り出し位置のパターン情報（切り出し位置座標のパターン情報）を、サイドミラー２０１、２０２の角度の情報と運転者の目の位置の情報の組み合わせパターンに対応させて予め記録する。

また、画像処理部１３２は、角度検出部１１１、１１２により検出されたサイドミラー２０１、２０２の角度の情報と位置検出部１２０により検出された運転者の目の位置の情報の組み合わせに対応する切り出し位置座標のパターンを記録部１５１から検索し、この検索した切り出し位置座標の情報を用いて、実施の形態１と同様の画像処理および映像表示処理を行う。

図１３に画像処理部１３２における処理のフローチャートを示す。但し、前述の図９において説明した処理に対応する処理には同一の符号を付して、説明を省略する。画像処理部１３２は、位置検出部１２０から目の位置の情報を取得し（ステップＳ１）、角度検出部１１１、１１２からサイドミラー２０１、２０２の角度を取得して（ステップＳ３）、目の位置の情報とサイドミラー２０１、２０２の角度の情報の組み合わせに対応する切り出し位置座標のパターンを記録部１５１から検索する（ステップＳ１１）。

次に、画像処理部１３２は、この検索した切り出し位置座標の情報を記録部１５１等の記録手段に記録・更新し（ステップＳ１２）、ステップＳ１２において記録した切り出し位置の座標を用いて、実施の形態１と同様に、所定の画像処理および映像表示処理を行う（ステップＳ６、Ｓ７）。

このように、サイドミラー２０１、２０２の角度の情報と運転者の目の位置の情報の組み合わせパターンに対応させて、切り出し位置座標のパターン情報を予め記録しておくことにより、視界の範囲と切り出し位置の算出処理を省き、より高速に処理を行うことが可能となる。

なお、本実施の形態３における車両側方確認装置においても、実施の形態２と同様に、一定時間ごとに切り出し位置座標を検索し、記録部１５１等の記録手段に記録・更新して、各一定時間の間は、その記録した検索情報を用いて所定の画像処理を行うようにしてもよい。

また、無論、運転開始時にのみ切り出し位置座標を検索し、記録部１５１等の記録手段に記録し、運転中は、常時、この運転開始時に検索した検索情報を用いて所定の画像処理を行うようにしてもよい。これにより、切り出し位置の計算を無くすことが可能となるだけでなく、運転開始以降に角度検出部１１１、１１２と位置検出部１２０を動作させる必要がないため、消費電力を削減することができる。

（実施の形態４）
図１４は、本実施の形態４における車両側方確認装置の概略構成を示すブロック図である。但し、前述の実施の形態１ないし３において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

図１４において、設定部（設定手段）１６０は、運転者が、画像処理部１３３により検索された切り出し位置座標のパラメータを調整するための設定情報を入力する手段である。例としては、運転者は、モニタ１４１、１４２に表示する映像視界に関し、現状よりも外側か内側か、上か下か、拡大するか縮小するかを設定する。この設定情報は、例えば記録部１５１等の記録手段にプリセット登録することができる。プリセット登録は複数できるようにし、複数の運転者の好みの設定情報を登録しておける。

図１５に画像処理部１３３における処理のフローチャートを示す。但し、前述の図９、図１３において説明した処理に対応する処理には同一の符号を付して、説明を省略する。画像処理部１３３は、まず実施の形態３と同様に、運転者の目の位置の情報を取得し（ステップＳ１）、サイドミラー２０１、２０２の角度の情報の取得し（ステップＳ３）、切り出し位置座標の検索を行い（ステップＳ１１）、検索した切り出し位置座標を記録部１５１等の記録手段へ記録・更新する（ステップＳ１２）。

次に、画像処理部１３３は、設定部１６０により設定情報が更新されたか否かを判定し（ステップＳ２１）、更新された場合、記録部１５１等の記録手段に登録されている設定情報を更新する（ステップＳ２２）。

次に、画像処理部１３３は、ステップＳ１２において記録された切り出し位置座標の情報と登録されている設定情報を読み出し、この設定情報を基に切り出し位置座標のパラメータ変換を行い、記録部１５１等の記録手段へ記録する（ステップＳ２３）。

その後、画像処理部１３３は、ステップＳ２３において記録した切り出し位置の座標を用いて、実施の形態１と同様に、所定の画像処理および映像表示処理を行う（ステップＳ６、Ｓ７）。

本実施の形態４によれば、切り出し位置のパラメータ調整が可能となるので、運転者が好みに応じて映像視界の範囲を調整することができる。また、複数のプリセット登録が可能になる。また、切り出し位置のパラメータの調整時には、角度検出部１１１、１１２と位置検出部１２０を用いてもよく、大まかな範囲をこれらの手段を用いて設定したあとに、運転者の好みに応じて調整することもできる。

なお、本実施の形態４では、前述した実施の形態３における車両側方確認装置の構成に、設定部１６０と、画像処理部による切り出し位置座標のパラメータ変換機能とを追加した構成としたが、実施の形態１における車両側方確認装置に適用することも可能であり、無論、前述の実施の形態２、３において説明したように、一定時間ごとに、あるいは運転開始時にのみ、切り出し位置座標を算出または検索する構成とすることもできる。

（実施の形態５）
図１６に本実施の形態５における助手席側のモニタの表示例を示す。例えば、サイドミラー２０２とモニタ１４２の角度が異なることによって、サイドミラー２０２に映る視界と映像視界の見え方に差が生ずる場合、本実施の形態５における車両側方確認装置の画像処理部は、角度検出部１１２により検出されたサイドミラー２０２の角度の情報と、位置検出部１２０により検出された運転者の目の位置の情報と、サイドミラー２０２の位置の情報と、モニタ１４２の位置および角度の情報（モニタの３次元位置情報および２次元角度情報は既知であり、当該車両側方確認装置は所定の記憶領域に予め保持している。）を基に、モニタ１４２とサイドミラー２０２の角度差により発生する歪み量を算出し、この歪み量を基に、撮像画像から切り出した部分画像を補正する機能を有する。

ここで歪み量とは、サイドミラーとモニタの角度が異なることにより、サイドミラーに映る対象物の長さや角度と、モニタに映る対象物の長さや角度との間に生ずる差の量を指す。なお、例えば、車両左右方向および上下方向に対するカメラ、サイドミラー、およびモニタの角度情報と、サイドミラーと運転者の目を結ぶ線と車両左右方向および上下方向とのなす角度の情報とをパラメータとした画像変換テーブルを記録部に予め記録しておくことで歪み量を求めるようにしてもよい。

これにより、モニタ１４１、１４２に表示される映像視界をサイドミラー２０１、２０２に映る視界に合わせて補正でき、運転者から見てより違和感のない映像を表示することが可能となる。また、モニタには、補正後の映像を表示するためにサイドミラー２０１、２０２よりも車両の上下方向の幅が大きいものを用いる。

（実施の形態６）
図１７は、本実施の形態６における車両側方確認装置の概略構成を示すブロック図である。但し、前述の実施の形態１ないし４において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

図１７において、制御部１７０は、モニタ１４１、１４２それぞれの可動部（図示せず）の駆動制御を行う。本実施の形態６では、モニタの角度および位置を調整する移動手段を制御部１７０と可動部により構成する。

制御部１７０は、画像処理部１３３を介してサイドミラー２０１、２０２の角度の情報と運転者の目の位置の情報とサイドミラー２０１の位置の情報を取得し、例えば、サイドミラー２０２とモニタ１４２の角度が異なる場合、サイドミラー２０２の角度の情報とモニタ１４２の現在の角度情報を基に、モニタ１４２の角度をサイドミラー２０２の角度に合わせ込む角度変位量を算出してモニタ１４２の可動部を駆動制御し、モニタ１４２とサイドミラー２０２の角度を一致させる。そして、運転者の目の位置の情報と、サイドミラー２０２の位置の情報と、モニタ１４２の現在の位置情報を基に、モニタ１４２の移動量を算出して可動部を駆動制御し、モニタ１４２の位置を調整する。なお、モニタの現在の角度と位置については、可動部の状態から得ることができる。

図１８に本実施の形態６における助手席側のモニタの設置例および表示例を示す。図１８に示すように、モニタ１４２の角度と位置を調整して、運転者が、モニタ１４２による映像視界とサイドミラー２０２に映る視界を一続きの視界として把握できるようにする。

図１９に本実施の形態６におけるモニタとサイドミラーの位置関係を示す。モニタ１４１、１４２はモニタ可動域１８１、１８２の域内において角度と位置を変更することが可能である。以下、モニタの位置の調整について説明する。図１９に示すように、制御部１７０は、運転者の目の位置の情報と、サイドミラー２０１、２０２の位置の情報と、モニタ１４２の現在の位置情報を用いて、運転者の目の位置とサイドミラー２０１、２０２の車両側の端を結ぶ直線と、運転者の目の位置とモニタ１４１、１４２のサイドミラー側の端を結ぶ直線を略一致させるためのモニタ１４１、１４２の移動量を算出して、モニタ１４１、１４２を移動させる。図２０はモニタの可動部の例を示す図である。モニタはアームに取り付けられ、各稼動軸はステッピングモータにより細かな移動制御ができる構造となっている。

このように、制御部１７０は、サイドミラー２０１、２０２の角度に応じてモニタ１４１、１４２の角度を変更し、モニタ１４１、１４２とサイドミラー２０１、２０２を同じ角度にするので、運転者は直感的に視界を認識しやすくなる。

また、モニタ１４１、１４２の位置を調整することにより、運転者がモニタ１４１、１４２に表示される映像視界とサイドミラー２０１、２０２に映る視界をより一続きの視界として把握できるようになる。

以上のように、実施の形態１ないし６によれば、モニタに表示される映像視界とサイドミラーに映る視界とが一続きとなるため、運転者は、車両側方の情景を違和感なく把握することができる。また、従来とほぼ同じ向きを見ることによって車両側方の情景を視認できるため、安心感が得られる。また、サイドミラーによる視界も効率的に利用しているため、建物などが二つ見えることもなく、把握し易い視界が得られる。また、モニタを有効に活用できる。

本発明にかかる車両側方確認装置は、サイドミラーに映る視界と表示手段に表示される映像視界を一続きの視界とし、運転者が車両の側方の様子を違和感なく直感的に把握することができ、車両側方の視界範囲を広範囲化する用途にも応用できる。

本発明の実施の形態１における車両側方確認装置の概略構成を示すブロック図 同実施の形態における撮像装置の撮像範囲およびサイドミラーにより運転者が視認できる視界の範囲を説明するための図 同実施の形態の運転席側におけるモニタおよび位置検出用カメラの設置例を示す図 同実施の形態の助手席側におけるモニタの設置例を示す図 同実施の形態における位置検出用カメラにより撮像された撮像画像の模式図 同実施の形態における車両の上下方向に対する目の位置を検出する方法を説明するための図 同実施の形態における車両の前後方向に対する目の位置を検出する方法を説明するための図 同実施の形態における車両の左右方向に対する目の位置を検出する方法を説明するための図 同実施の形態の画像処理部における処理のフローチャートを示す図 同実施の形態における運転席側の画像処理のイメージ図 本発明の実施の形態２における車両側方確認装置の概略構成を示すブロック図 本発明の実施の形態３における車両側方確認装置の概略構成を示すブロック図 同実施の形態の画像処理部における処理のフローチャートを示す図 本発明の実施の形態４における車両側方確認装置の概略構成を示すブロック図 同実施の形態の画像処理部における処理のフローチャートを示す図 本発明の実施の形態５における助手席側のモニタの表示例を示す図 本発明の実施の形態６における車両側方確認装置の概略構成を示すブロック図 同実施の形態における助手席側のモニタの設置例および表示例を示す図 同実施の形態におけるモニタとサイドミラーの位置関係を示す図 同実施の形態におけるモニタの可動部の例を示す図

符号の説明

１０１、１０２ カメラ
１１１、１１２ 角度検出部
１２０ 位置検出部
１２１、１２２ 位置検出用カメラ
１３０、１３１、１３２、１３３ 画像処理部
１４１、１４２ モニタ
１５０、１５１ 記録部
１６０ 設定部
１７０ 制御部
１８１、１８２ モニタ可動域
２００ 車両
２０１、２０２ サイドミラー
２１１、２１２ 視界の範囲
２２１、２２２ 映像視界の範囲

Claims (16)

1. 車両側方の外側の所定範囲の情景を運転者が視認できるように角度設定されて車両ドアに設置されたサイドミラーと、
   前記サイドミラーの車両側の死角範囲を含む所定範囲の情景を撮像する撮像手段と、
   前記サイドミラーの傍かつ車両内部に設置された表示手段と、
   前記撮像手段により撮像された撮像映像に対し、前記表示手段に表示される映像視界が前記サイドミラーに映る視界と一続きになるように画像処理を施し、該画像処理後の映像を前記表示手段に表示させる画像処理手段と、
   を備えることを特徴とする車両側方確認装置。
2. 請求項１記載の車両側方確認装置であって、
   前記サイドミラーの角度を検出する角度検出手段と、
   運転者の目の位置を検出する位置検出手段と、
   を備え、前記画像処理手段は、前記角度検出手段により検出された前記サイドミラーの角度の情報と前記位置検出手段により検出された運転者の目の位置の情報を用いて前記サイドミラーに映る視界の範囲を求め、該視界の範囲と一続きになる映像視界に対応する部分映像を前記撮像映像から切り出すための切り出し位置を算出し、該切り出し位置の情報を用いて前記撮像画像に所定の画像処理を施す、
   ことを特徴とする車両側方確認装置。
3. 前記角度検出手段は、車両の上下方向および左右方向に対する前記サイドミラーの角度を検出することを特徴とする請求項２記載の車両側方確認装置。
4. 前記位置検出段は、運転者の目の位置を検出するためのカメラを２台有し、該２台のカメラの撮像画像を用いて、車両の前後方向および上下方向に対する運転者の目の位置、または車両の前後方向および上下方向および左右方向に対する運転者の目の位置を検出することを特徴とする請求項２もしくは３のいずれかに記載の車両側方確認装置。
5. 請求項２ないし４のいずれかに記載の車両側方確認装置であって、
   切り出し位置の情報を記録する記録手段を備え、
   前記画像処理手段は、一定時間ごとに切り出し位置を算出して前記記録手段に記録されている情報を更新し、前記記録手段に記録されている情報を用いて前記撮像映像に所定の画像処理を施す、
   ことを特徴とする車両側方確認装置。
6. 請求項２ないし４のいずれかに記載の車両側方確認装置であって、
   切り出し位置の情報を記録する記録手段を備え、
   前記画像処理手段は、運転開始時に切り出し位置を算出して前記記録手段に記録し、前記記録手段に記録されている情報を用いて前記撮像映像に所定の画像処理を施す、
   ことを特徴とする車両側方確認装置。
7. 請求項２ないし６のいずれかに記載の車両側方確認装置であって、
   前記画像処理手段により算出された切り出し位置のパラメータを調整するための設定情報を入力する設定手段をさらに備え、
   前記画像処理手段は、前記設定情報を基に切り出し位置のパラメータの変換を行う機能をさらに有し、この変換後の切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、
   ことを特徴とする車両側方確認装置。
8. 請求項１記載の車両側方確認装置であって、
   前記サイドミラーの角度を検出する角度検出手段と、
   運転者の目の位置を検出する位置検出手段と、
   前記サイドミラーに映る視界の範囲と一続きになる映像視界に対応する部分映像を前記撮像映像から切り出すための切り出し位置のパターン情報を、前記サイドミラーの角度と運転者の目の位置の組み合わせのパターンに対応させて記録する記録手段と、
   を備え、前記画像処理手段は、前記角度検出手段により検出された前記サイドミラーの角度の情報と前記位置検出手段により検出された運転者の目の位置の情報の組み合わせに対応する切り出し位置のパターンを前記記録手段に記録されている切り出し位置のパターン情報から検索し、この検索した切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、
   ことを特徴とする車両側方確認装置。
9. 前記角度検出手段は、車両の上下方向および左右方向に対する前記サイドミラーの角度を検出することを特徴とする請求項８記載の車両側方確認装置。
10. 前記位置検出段は、運転者の目の位置を検出するためのカメラを２台有し、該２台のカメラの撮像画像を用いて、車両の前後方向および上下方向に対する運転者の目の位置、または車両の前後方向および上下方向および左右方向に対する運転者の目の位置を検出することを特徴とする請求項８もしくは９のいずれかに記載の車両側方確認装置。
11. 請求項８ないし１０のいずれかに記載の車両側方確認装置であって、
    前記記録手段は、前記画像処理手段により検索された切り出し位置の検索情報を記録し、
    前記画像処理手段は、一定時間ごとに切り出し位置のパターンを検索して前記記録手段に記録されている検索情報を更新し、前記記録手段に記録されている検索情報を用いて前記撮像映像に所定の画像処理を施す、
    ことを特徴とする車両側方確認装置。
12. 請求項８ないし１０のいずれかに記載の車両側方確認装置であって、
    前記記録手段は、前記画像処理手段により検索された切り出し位置の検索情報を記録し、
    前記画像処理手段は、運転開始時に切り出し位置のパターンを検索して前記記録手段に検索情報として記録し、前記記録手段に記録されている検索情報を用いて前記撮像映像に所定の画像処理を施す、
    ことを特徴とする車両側方確認装置。
13. 請求項８ないし１２のいずれかに記載の車両側方確認装置であって、
    前記画像処理手段により検索された切り出し位置のパラメータを調整するための設定情報を入力する設定手段をさらに備え、
    前記画像処理手段は、前記設定情報を基に切り出し位置のパラメータの変換を行う機能をさらに有し、この変換後の切り出し位置の情報を用いて前記撮像映像に所定の画像処理を施す、
    ことを特徴とする車両側方確認装置。
14. 請求項２ないし１３のいずれかに記載の車両側方確認装置であって、
    前記表示手段は、前記サイドミラーよりも車両の上下方向の幅が大きく、
    前記画像処理手段は、前記サイドミラーの角度の情報と運転者の目の位置の情報を用いて、前記表示手段と前記サイドミラーの角度差により発生する歪み量を算出し、この歪み量を基に前記撮像映像から切り出された部分映像を補正する機能をさらに有する、
    ことを特徴とする車両側方確認装置。
15. 請求項２ないし１３のいずれかに記載の車両側方確認装置であって、前記画像処理手段を介して前記サイドミラーの角度の情報と運転者の目の位置の情報を取得し、これらの情報を用いて前記表示手段の角度および位置を調整する移動手段をさらに備えることを特徴とする車両側方確認装置。
16. 前記撮像手段は、赤外線カメラであることを特徴とする請求項１ないし１５のいずれかに記載の車両側方確認装置。
    
    

Images