JP2007096638A - 車両周囲映像提供装置 - Google Patents

Abstract

【課題】 死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置に関わらず違和感を軽減することが可能な車両周囲映像提供装置を提供する。
【解決手段】 車両周囲映像提供装置１は、取得された視点位置の情報と液晶ディスプレイ４０の設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。このため、あたかも液晶ディスプレイ４０が透過して車外が見えるかのように、液晶ディスプレイ４０に映像表示が行われる。しかも、運転者の視点位置が考慮されて座標変換が行われるため、運転者の視点位置が変化等したとしても、液晶ディスプレイ４０の映像が調整されて、液晶ディスプレイ４０が透過して車外が見えるかのような映像表示が行われる。
【選択図】 図１

Description

本発明は、車両周囲映像提供装置に関する。

従来、ピラーなどの車体構造物によって運転者にとって死角となる車両周囲を、車室外に設置されたカメラで撮影し、撮影により得られた映像を該車体構造物の位置に設けたモニタに表示する車両周囲映像提供装置が知られている（特許文献１参照）。
特開平２００４−３４９５７号公報

しかしながら、従来の車両周囲映像提供装置では、カメラにより撮影した映像を単純にモニタに表示するため、運転者の視点位置によってはモニタに表示される映像とモニタ周囲の窓などを通して見える風景とが連続的に見えず、違和感があるものとなってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置に関わらず違和感を軽減することが可能な車両周囲映像提供装置を提供することにある。

本発明に係る車両周囲映像提供装置は、車両周囲を撮影して得られた映像を運転者に提供するものであって、車両の構造上運転者にとって死角となる車両周囲を撮影する撮影手段と、撮影手段により撮影された車両周囲の映像を処理する映像処理手段と、映像処理手段により処理された映像を表示する表示手段とを備えている。さらに、車両周囲映像提供装置は、運転者の視点位置の情報を取得する視点位置取得手段を備え、映像処理手段は、視点位置取得手段により取得された視点位置の情報と表示手段の設置状態の情報とに基づいて、運転者の視点位置から表示手段の設置領域が透過して車外が見えた場合と同じ映像が表示手段に表示されるように、撮影手段により撮影された映像を座標変換する構成となっている。

本発明によれば、取得された視点位置の情報と表示手段の設置状態の情報とに基づいて、運転者の視点位置から表示手段の設置領域が透過して車外が見えた場合と同じ映像が表示手段に表示されるように、撮影手段により撮影された映像を座標変換する。このため、あたかも表示手段が透過して車外が見えるかのように、表示手段に映像表示が行われる。しかも、運転者の視点位置が考慮されて座標変換が行われるため、運転者の視点位置が変化等したとしても、表示手段の映像が調整されて、表示手段が透過して車外が見えるかのような映像表示が行われる。これにより、表示手段に表示される映像と表示手段周囲の窓などを通して見える風景とが連続的に見えることとなり、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置に関わらず違和感を軽減することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係るの車両周囲映像提供装置の構成図である。同図に示すように、本実施形態の車両周囲映像提供装置１は、車両周囲を撮影して得られた映像を運転者に提供するものであって、撮影装置（撮影手段）１０と、視点位置取得装置（視点位置取得手段）２０と、画像処理装置（映像処理手段）３０と、液晶ディスプレイ（表示手段）４０とを備えている。

撮影装置１０は、車両の構造上運転者にとって死角となる車両周囲を撮影するものであり、例えばＣＣＤカメラやＣＭＯＳカメラが用いられる。この撮影装置１０は、撮影により得られた映像信号を画像処理装置３０に送信する構成となっている。

視点位置取得装置２０は、運転者の視点位置の情報を取得するものであり、視点位置操作部（操作部）２１と、視点位置保存部２２とを有している。視点位置操作部２１は、運転者による操作が可能とされたスイッチであり、具体的には視点上昇スイッチ、視点下降スイッチ、視点前方スイッチ、及び視点後方スイッチにより構成されている。視点位置保存部２２は、視点位置操作部２１への操作によって設定された位置を保存するものである。視点位置取得装置２０は、視点位置保存部２２によって保存される位置を運転者の視点位置の情報として取得し、取得した視点位置の情報を画像処理装置３０に送信することとなる。

画像処理装置３０は、撮影装置１０により撮影された車両周囲の映像を、視点位置取得装置２０によって取得された視点位置の情報に基づいて処理するものである。この画像処理装置３０は、マイクロコンピュータとメモリとから構成され、具体的には動作プログラムやそれぞれの処理を回路として組み込んだＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が用いられる。また、画像処理装置３０は、処理した映像を液晶ディスプレイ４０に送信する構成となっている。

液晶ディスプレイ４０は、画像処理装置３０により処理された映像を表示するものであり、例えば、車両前方側のピラー部分（いわゆるＡピラー）、運転席と助手席との間のインストルメントパネル部分、車両後方側のピラー部分（いわゆるＣピラー）に設置されている。

ここで、上記した画像処理装置３０は、視点変換処理部３１を備えている。視点変換処理部３１は、視点位置取得装置２０により取得された視点位置の情報と液晶ディスプレイ４０の設置状態（設置位置及び設置領域）の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換するものである。

図２は、図１に示した視点変換処理部３１の詳細を示す図である。同図に示すように、仮に液晶ディスプレイ４０の設置領域が透過するとした場合、運転者の視点位置からは領域Ａが見えることとなる。撮影装置１０は、この領域Ａを含む領域Ｂを撮影している。視点変換処理部３１は、撮影装置１０により撮影された領域Ｂのうち、視点位置の情報と液晶ディスプレイ４０の設置状態から求まる領域Ａの映像を取り出し、領域Ａに相当する映像を座標変換して、あたかも液晶ディスプレイ４０が透過して車外が見えるかのような映像（以下透過映像と称する）を生成する。

図３は、図１に示した視点変換処理部３１の詳細を示す第２の図である。運転者の視点位置は、運転者の体格やシート状態等の様々な要因によって変化する。視点変換処理部３１は、視点位置取得装置２０により取得された視点位置の情報が変化すると、その変化に応じた処理を行う。すなわち、運転者の視点位置が運転者の左下に移動したとする。このとき、仮に液晶ディスプレイ４０の設置領域が透過するとした場合、運転者の視点位置からは領域Ａが見えるわけでなく、領域Ａよりやや右前方の領域Ａ’が見えることとなる。このため、視点変換処理部３１は、領域Ａ’の映像を取り出し、領域Ａ’に相当する映像を座標変換して、透過映像を生成する。

次に、本実施形態に係る車両周囲映像提供装置１の詳細動作を説明する。図４は、本実施形態に係る車両周囲映像提供装置１の詳細動作を示すフローチャートである。図４に示すように、まず、視点位置取得装置２０は運転者の視点位置の情報を取得する（ＳＴ１）。次に、撮影装置１０は、死角となる車両周囲の映像を取得する（ＳＴ２）。

次いで、視点変換処理部３１は、図２及び図３を参照して説明したように座標変換処理を行う（ＳＴ３）。そして、液晶ディスプレイ４０は、ステップＳＴ３において処理された映像を表示することとなる（ＳＴ４）。その後、本装置１の電源がオフされるなどするまで、上記処理が繰り返されることとなる。

ここで、液晶ディスプレイ４０がインストルメントパネル部分に設けられている場合、画像処理装置３０は、車両周囲の表示に加えて、車体外周を表す外周表示を行う。すなわち、液晶ディスプレイ４０がインストルメントパネル部分に設けられている場合、液晶ディスプレイ４０には車両の左前方コーナー付近の映像が表示されることとなる。このため、左前方コーナー部を壁等の障害物に擦らないようにするべく、運転支援のために車体外周線などを表示することとしている。

図５は、図１に示した視点位置取得装置２０の処理を示すフローチャートである。図５に示すように、まず、視点位置取得装置２０は、視点位置操作部２１へスイッチ入力があったか否かを判断する（ＳＴ１１）。スイッチ入力がなかったと判断した場合（ＳＴ１１：ＮＯ）、処理はステップＳＴ２０に移行する。

一方、スイッチ入力があったと判断した場合（ＳＴ１１：ＹＥＳ）、視点位置取得装置２０は、視点上昇スイッチへの入力であったか否かを判断するか（ＳＴ１２）。視点上昇スイッチへの入力であったと判断した場合（ＳＴ１２：ＹＥＳ）、視点位置取得装置２０は、保存される視点位置の高さを上昇させる（ＳＴ１３）。そして、処理はステップＳＴ１６に移行する。

また、視点上昇スイッチへの入力でなかったと判断した場合（ＳＴ１２：ＮＯ）、視点位置取得装置２０は、視点下降スイッチへの入力であったか否かを判断するか（ＳＴ１４）。視点下降スイッチへの入力でなかったと判断した場合（ＳＴ１４：ＮＯ）、処理はステップＳＴ１６に移行する。一方、視点下降スイッチへの入力であったと判断した場合（ＳＴ１４：ＹＥＳ）、視点位置取得装置２０は、保存される視点位置の高さを下降させ（ＳＴ１５）、処理はステップＳＴ１６に移行する。

ステップＳＴ１６において、視点位置取得装置２０は、視点前方スイッチへの入力であったか否かを判断するか（ＳＴ１６）。視点前方スイッチへの入力であったと判断した場合（ＳＴ１６：ＹＥＳ）、視点位置取得装置２０は、保存される視点位置を前方に移動させる（ＳＴ１７）。そして、処理はステップＳＴ２０に移行する。

また、視点前方スイッチへの入力でなかったと判断した場合（ＳＴ１６：ＮＯ）、視点位置取得装置２０は、視点後方スイッチへの入力であったか否かを判断するか（ＳＴ１８）。視点後方スイッチへの入力でなかったと判断した場合（ＳＴ１８：ＮＯ）、処理はステップＳＴ２０に移行する。一方、視点下降スイッチへの入力であったと判断した場合（ＳＴ１８：ＹＥＳ）、視点位置取得装置２０は、保存される視点位置を後方に移動させ（ＳＴ１９）、処理はステップＳＴ２０に移行する。

そして、ステップＳＴ２０において、視点位置保存部２２は、移動後の視点位置を保存する。その後、本装置１の電源がオフされるなどするまで、上記処理が繰り返されることとなる。

なお、上記において、視点位置取得装置２０は、視点位置操作部２１と視点位置保存部２２とを備える構成であったが、これに限らず、以下の構成であってもよい。すなわち、視点位置取得装置２０は、運転席のシート状態、ルームミラーの設置状態、及びサイドミラーの設置状態の少なくとも１つに基づいて視点位置の情報を取得する構成であってもよい。ここで、シート状態とは、運転席の前後位置、高さ位置及びリクライニング角度をいう。また、ルームミラーの設置状態とは、ルームミラーの設置位置及び鏡面の角度をいう。さらに、サイドミラーの設置状態とは、サイドミラーの設置位置及び鏡面の角度をいう。

図６は、視点位置取得装置２０の変形例を説明する図である。同図に示すように、左右のサイドミラーおよびルームミラーに基づいて視点位置の情報を取得する場合、まず、視点位置取得装置２０は、予め記憶しているミラーの設置位置の情報を読み込む。次いで、視点位置取得装置２０は、運転者が真後ろを視認できるようにミラーの設置角度が調整されていると仮定し、ミラーの設置位置から真後ろに伸びる線とミラーの設置角度とから、運転者の視点位置が存在し得る直線を求める。そして、この直線の交点から視点位置を求め、視点位置の情報を取得する。

また、シート状態から視点位置の情報を取得する場合、視点位置取得装置２０は、運転席の前後位置、高さ位置及びリクライニング角度と、運転者の平均的な体格から視点位置を予測し、視点位置の情報を取得する。

ここで、視点位置取得装置２０は、１つのミラーに基づいて視線位置の情報を取得することも可能である。この場合、視点位置取得装置２０は、まず、１つのミラーに基づいて運転者の視点位置が存在し得る直線を求める。次に、視点位置取得装置２０は、この直線と予め記憶する固定のシート位置情報とから、視点位置を予測し、視点位置の情報を取得する。

なお、視点位置取得装置２０は、視点位置の情報を取得するにあたり、上記のシート状態、サイドミラーの設置状態、およびルームミラーの設置状態の２つ以上から複合的に視点位置を求め、視点位置の情報を取得するようにしてもよい。

さらに、視点位置取得装置２０は、シート状態等に基づいて視点位置の情報を取得する構成に限らず、以下の構成であってもよい。すなわち、視点位置取得装置２０は、運転者の顔を撮影する車内撮影装置（車内撮影手段）と、車内撮影装置により撮影された映像から運転者の眼球位置を判別する眼球位置判別装置（眼球位置判別手段）とを含み、眼球位置判別装置により判別された眼球位置を視点位置の情報として取得する構成であっても良い。これによっても、同様に視点位置の情報を取得することができる。

このようにして、本実施形態に係る車両周囲映像提供装置１によれば、取得された視点位置の情報と液晶ディスプレイ４０の設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。このため、あたかも液晶ディスプレイ４０が透過して車外が見えるかのように、液晶ディスプレイ４０に映像表示が行われる。しかも、運転者の視点位置が考慮されて座標変換が行われるため、運転者の視点位置が変化等したとしても、液晶ディスプレイ４０の映像が調整されて、液晶ディスプレイ４０が透過して車外が見えるかのような映像表示が行われる。これにより、液晶ディスプレイ４０に表示される映像と液晶ディスプレイ４０周囲の窓などを通して見える風景とが連続的に見えることとなり、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置に関わらず違和感を軽減することができる。

また、運転者による操作が可能とされた視点位置操作部２１を含み、この操作部２１への操作によって設定された位置を視点位置の情報として取得することとしている。これにより、運転者の操作によって視点位置が決定されることとなり、視点位置を正確に設定することができる。

また、運転席のシート状態、ルームミラーの設置状態、及びサイドミラーの設置状態の少なくとも１つに基づいて視点位置の情報を取得することとしている。このため、視点位置の情報を自動的に取得することができる。

また、運転者の顔を撮影する車内撮影装置と、車内撮影装置により撮影された映像から運転者の眼球位置を判別する眼球位置判別装置とを含み、この判別装置により判別された眼球位置を視点位置の情報として取得することとしている。このため、視点位置の情報を自動的に取得することができるうえ、運転者が運転中に姿勢を変化させた場合などにおいても、その変化に応じた視点位置の情報を取得することができる。

また、液晶ディスプレイ４０が車両前方側のピラー部分に設置されているため、右左折時などにおいて死角となる箇所の映像を運転者に提供することができる。

また、液晶ディスプレイ４０は、運転席と助手席との間のインストルメントパネル部分に設置されているため、狭路などで左折する場合において運転席から遠く障害物等との距離感覚がつかみ難い左前方コーナー付近の映像を運転者に提供することができる。

また、液晶ディスプレイ４０が運転席と助手席との間のインストルメントパネル部分に設置されている場合、車両周囲の映像の表示に加えて、車体外周を表す外周表示を行うことしている。このため、障害物等との距離感覚をつかみ易くすることができる。

また、液晶ディスプレイ４０は、車両後方側のピラー部分に設置されているため、巻き込み確認時や車線変更時に死角となる箇所の映像を運転者に提供することができる。特に、液晶ディスプレイ４０が車両後方側のピラー部分に設置され、運転者の顔を撮影して視点位置の情報を取得する場合、運転者が後方を確認しようとして振り返ったときの視点位置から、液晶ディスプレイ４０の領域が透過するように映像表示されるため、後方確認時に適切に違和感を軽減した表示を行うことができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

本発明の実施形態に係るの車両周囲映像提供装置の構成図である。 図１に示した視点変換処理部の詳細を示す図である。 図１に示した視点変換処理部の詳細を示す第２の図である。 本実施形態に係る車両周囲映像提供装置の詳細動作を示すフローチャートである。 図１に示した視点位置取得装置の処理を示すフローチャートである。 視点位置取得装置の変形例を説明する図である。

符号の説明

１…車両周囲映像提供装置
１０…撮影装置（撮影手段）
２０…視点位置取得装置（視点位置取得手段）
２１…視点位置操作部（操作部）
２２…視点位置保存部
３０…画像処理装置（映像処理手段）
３１…視点変換処理部
４０…液晶ディスプレイ（表示手段）

Claims (8)

1. 車両周囲を撮影して得られた映像を運転者に提供する車両周囲映像提供装置であって、
   車両の構造上運転者にとって死角となる車両周囲を撮影する撮影手段と、
   前記撮影手段により撮影された車両周囲の映像を処理する映像処理手段と、
   前記映像処理手段により処理された映像を表示する表示手段と、
   運転者の視点位置の情報を取得する視点位置取得手段と、を備え、
   前記映像処理手段は、前記視点位置取得手段により取得された視点位置の情報と前記表示手段の設置状態の情報とに基づいて、運転者の視点位置から前記表示手段の設置領域が透過して車外が見えた場合と同じ映像が前記表示手段に表示されるように、前記撮影手段により撮影された映像を座標変換する
   ことを特徴とする車両周囲映像提供装置。
2. 前記視点位置取得手段は、運転者による操作が可能とされた操作部を含み、この操作部への操作によって設定された位置を前記視点位置の情報として取得することを特徴とする請求項１に記載の車両周囲映像提供装置。
3. 前記視点位置取得手段は、運転席のシート状態、ルームミラーの設置状態、及びサイドミラーの設置状態の少なくとも１つに基づいて前記視点位置の情報を取得することを特徴とする請求項１に記載の車両周囲映像提供装置。
4. 前記視点位置取得手段は、運転者の顔を撮影する車内撮影手段と、前記車内撮影手段により撮影された映像から運転者の眼球位置を判別する眼球位置判別手段とを含み、前記眼球位置判別手段により判別された眼球位置を前記視点位置の情報として取得することを特徴とする請求項１に記載の車両周囲映像提供装置。
5. 前記表示手段は、車両前方側のピラー部分に設置されていること特徴とする請求項１〜請求項４のいずれか１項に記載の車両周囲映像提供装置。
6. 前記表示手段は、運転席と助手席との間のインストルメントパネル部分に設置されていること特徴とする請求項１〜請求項４のいずれか１項に記載の車両周囲映像提供装置。
7. 前記表示手段は、車両周囲の映像の表示に加えて、車体外周を表す外周表示を行うことを特徴とする請求項６に記載の車両周囲映像提供装置。
8. 前記表示手段は、車両後方側のピラー部分に設置されていること特徴とする請求項１〜請求項４のいずれか１項に記載の車両周囲映像提供装置。

Images