JP2007124609A

JP2007124609A - 車両周囲映像提供装置

Info

Publication number: JP2007124609A
Application number: JP2006107912A
Authority: JP
Inventors: Takeshi Akatsuka; 健赤塚; Ken Oizumi; 大泉　　謙
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-09-28
Filing date: 2006-04-10
Publication date: 2007-05-17
Also published as: US8174576B2; US20070070197A1

Abstract

【課題】死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することが可能な車両周囲映像提供装置を提供する。
【解決手段】車両周囲映像提供装置１は、取得された視点位置の情報と液晶ディスプレイ４０の設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。このため、あたかも液晶ディスプレイ４０が透過して車外が見えるかのように、液晶ディスプレイ４０に映像表示が行われる。特に、車両周囲映像提供装置１は、座標変換の基準面を障害物までの距離の位置に設けるため、障害物の歪みを軽減することができる。
【選択図】図１

Description

本発明は、車両周囲映像提供装置に関する。

従来、ピラーなどの車体構造物によって運転者にとって死角となる車両周囲を、車室外に設置されたカメラで撮影し、撮影により得られた映像を該車体構造物の位置に設けたモニタに表示する車両周囲映像提供装置が知られている（特許文献１参照）。
特開平２００４−３４９５７号公報

しかしながら、従来の車両周囲映像提供装置では、カメラにより撮影した映像を単純にモニタに表示するため、運転者の視点位置によってはモニタに表示される映像とモニタ周囲の窓などを通して見える風景とが連続的に見えず、違和感があるものとなってしまう。

また、モニタに表示される映像とモニタ周囲の窓などを通して見える風景とが連続的に見えるようにカメラにより撮影された映像について座標変換を行うこととした場合、カメラにより撮影された映像内に障害物が存在するときには、たとえ座標変換を行ったとしても、表示映像は違和感があるものとなってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することが可能な車両周囲映像提供装置を提供することにある。

本発明に係る車両周囲映像提供装置は、車両周囲を撮影して得られた映像を運転者に提供するものであって、車両の構造上運転者にとって死角となる車両周囲を撮影する撮影手段と、撮影手段により撮影された車両周囲の映像を処理する映像処理手段と、映像処理手段により処理された映像を表示する表示手段とを備えている。また、車両周囲映像提供装置は、撮影手段の撮影方向側に存在する障害物までの距離を検出する距離検出手段を備えている。さらに、映像処理手段は、運転者の視点位置の情報と表示手段の設置状態の情報とに基づいて、運転者の視点位置から表示手段の設置領域が透過して車外が見えた場合と同じ映像が表示手段に表示されるように、撮影手段により撮影された映像を座標変換すると共に、距離検出手段により検出された障害物までの距離の位置に座標変換の基準面を設けて座標変換する構成となっている。

本発明によれば、運転者の視点位置の情報と表示手段の設置状態の情報とに基づいて、運転者の視点位置から表示手段の設置領域が透過して車外が見えた場合と同じ映像が表示手段に表示されるように、撮影手段により撮影された映像を座標変換する。このため、あたかも表示手段が透過して車外が見えるかのように、表示手段に映像表示が行われる。これにより、表示手段に表示される映像と表示手段周囲の窓などを通して見える風景とが連続的に見えることとなり、違和感が軽減される。特に、障害物までの距離の位置に座標変換の基準面が設けられ、この基準面をもとに座標変換を行うため、座標変換による障害物の歪みが軽減されることとなる。従って、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の第１実施形態に係るの車両周囲映像提供装置の構成図である。同図に示すように、第１実施形態の車両周囲映像提供装置１は、車両周囲を撮影して得られた映像を運転者に提供するものであって、撮影装置（撮影手段）１０と、距離測定装置（距離検出手段）２０と、画像処理装置（映像処理手段）３０と、液晶ディスプレイ（表示手段）４０とを備えている。

撮影装置１０は、車両の構造上運転者にとって死角となる車両周囲を撮影するものであり、例えばＣＣＤカメラやＣＭＯＳカメラが用いられる。この撮影装置１０は、撮影により得られた映像信号を画像処理装置３０に送信する構成となっている。

距離測定装置２０は、撮影装置１０の撮影方向側に存在する障害物までの距離を検出するものであり、例えばソナーやレーザーレーダーが用いられる。また、距離測定装置２０は、検出した障害物までの距離の情報を画像処理装置３０に送信する構成となっている。

画像処理装置３０は、撮影装置１０により撮影された車両周囲の映像を、運転者の視点位置の情報に基づいて処理するものである。この画像処理装置３０は、マイクロコンピュータとメモリとから構成され、具体的には動作プログラムやそれぞれの処理を回路として組み込んだＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が用いられる。また、画像処理装置３０は、処理した映像を液晶ディスプレイ４０に送信する構成となっている。

液晶ディスプレイ４０は、画像処理装置３０により処理された映像を表示するものであり、例えば、車両前方側で車両の屋根を支えるピラー部分（いわゆるＡピラー）、運転席と助手席との間のインストルメントパネル部分、車両後方側のピラー部分（いわゆるＣピラー）などに設置されている。

ここで、上記した画像処理装置３０は、視点変換処理部３１を備えている。視点変換処理部３１は、予め記憶した視点位置の情報と液晶ディスプレイ４０の設置状態（設置位置及び設置領域）の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換するものである。

図２は、図１に示した視点変換処理部３１の詳細を示す図である。同図に示すように、仮に液晶ディスプレイ４０の設置領域が透過するとした場合、運転者の視点位置からは領域Ａが見えることとなる。撮影装置１０は、この領域Ａを含む領域Ｂを撮影している。視点変換処理部３１は、撮影装置１０により撮影された領域Ｂのうち、視点位置の情報と液晶ディスプレイ４０の設置状態から求まる領域Ａの映像を取り出し、領域Ａに相当する映像を座標変換して、あたかも運転者からは液晶ディスプレイ４０が透過して車外が見えるかのような映像（以下透過映像と称する）を生成する。

図３は、図１に示した視点変換処理部３１の詳細を示す第２の図である。視点変換処理部３１は複数の視点位置の情報を記憶していることが望ましい。この場合、視点変換処理部３１は複数の視点位置それぞれから、液晶ディスプレイ４０の設置領域が透過した場合に見える領域を求める。そして、視点変換処理部３１は、求めた領域のすべて含む大領域を液晶ディスプレイ４０に表示させる。

図３を参照して、視点変換処理部３１が２つの視点位置の情報を記憶している場合を例に説明する。この場合、視点変換処理部３１は、第１の視点位置から見える領域Ａを求める。また、視点変換処理部３１は、第２の視点位置から見える領域Ａ’を求める。そして、視点変換処理部３１は、これら領域Ａ，Ａ’の双方を含む大領域Ａ’’を求める。そして、視点変換処理部３１は、大領域Ａ’’が液晶ディスプレイ４０に表示されるように座標変換することとなる。

ここで、視点変換処理部３１に記憶される複数の視点位置は、設定的に求められた人の眼が存在する確立の高い領域内に存在している。すなわち、運転姿勢はある程度決まっていることから、本実施形態では、運転姿勢に加えて運転者の体格などを考慮して、人の眼が存在する確立の高い領域を求めておき、この領域又は領域内の代表点を視点変換処理部３１に記憶させることとする。

さらに、視点変換処理部３１は、距離測定装置２０により検出された障害物までの距離の位置に略垂直な座標変換の基準面を設けて、座標変換を行う。なお、座標変換の基準面とは、座標変換される対象となる面をいい、図２及び図３では座標変換の基準面が地面（に水平な面）に設定されていることとなる。

図４は、図１に示した視点変換処理部３１の詳細を示す第３の図であり、（ａ）は基準面を示し、（ｂ）は液晶ディスプレイ４０が透過した場合の映像を示し、（ｃ）は従来の基準面で座標変換した場合の映像を示している。

図４（ａ）に示すように、まず、地面を座標変換の基準面とする。この場合、視点変換処理部３１は、図２に示したようにして座標変換を行う。ここで、仮に液晶ディスプレイ４０が透過したとした場合、円筒形状の構造物である障害物Ｏは、図４（ｂ）に示すように、歪みなく円筒形状として液晶ディスプレイ４０に表示されるべきである。ところが、地面を座標変換の基準面とした場合、図４（ｃ）に示すように、液晶ディスプレイ４０に表示される障害物Ｏは上側が拡大され歪みが生じてしまう。

故に、視点変換処理部３１は、距離測定装置２０により検出された障害物までの距離の位置に略垂直な座標変換の基準面を設ける（図４（ａ））。図５は、図１に示した視点変換処理部３１の詳細を示す第４の図である。図５に示すように、視点変換処理部３１は、障害物Ｏまでの距離の位置に略垂直な座標変換の基準面を設け、液晶ディスプレイ４０が透過して車外が見えるように、この基準面の座標を液晶ディスプレイ４０の座標に変換することとなる。これにより、図４（ｃ）に示したような歪んだ障害物Ｏは、図４（ｂ）に示す障害物Ｏのように、歪みが軽減されることとなる。

なお、上記において視点変換処理部３１は、座標変換の基準面を略垂直に設けているが、これに限らず、少なくとも地面に平行でない角度で座標変換の基準面を設けていればよい。

次に、本実施形態に係る車両周囲映像提供装置１の詳細動作を説明する。図６は、第１実施形態に係る車両周囲映像提供装置１の詳細動作を示すフローチャートである。図６に示すように、まず、撮影装置１０は、死角となる車両周囲の映像を取得する（ＳＴ１）。

次いで、距離測定装置２０は障害物Ｏまでの距離を検出する（ＳＴ２）。次に、視点変換処理部３１は、座標変換の基準面を設定する（ＳＴ３）。このとき、視点変換処理部３１は、障害物Ｏまでの距離の位置に略垂直な座標変換の基準面を設けるが、距離測定装置２０により検出された障害物Ｏまでの距離が所定距離以上である場合、障害物Ｏまでの距離の位置に座標変換の基準面を設けず、地面に座標変換の基準面を設ける。障害物Ｏが非常に遠くに存在する場合などに、その遠くについて座標変換の基準面を設けると、障害物Ｏの手前側の地面に描かれる白線等が逆に歪んでしまい、却って運転者に違和感を与える可能性があるためである。なお、上記所定距離は、例えば１０ｍや２０ｍなど、車両と障害物Ｏとの接触の可能性が極めて低いといえる程度の距離に設定されもよいし、撮影装置１０の撮影領域Ｂを超える距離に設定されてもよい。

また、ステップＳＴ３において、視点変換処理部３１は、距離測定装置２０により複数の障害物Ｏについて障害物Ｏまでの距離が検出される場合、複数の障害物Ｏまでの距離のうち最も近い障害物Ｏまでの距離の位置に座標変換の基準面を設けるようにしてもよい。これにより、車両の近くに存在する最も接触の可能性が高いといえる障害物Ｏについて歪みなく映像表示することができる。

以上のようにして、座標変換の基準面を設けた後、視点変換処理部３１は、図５等に示したようにして座標変換処理を行う（ＳＴ４）。その後、液晶ディスプレイ４０は、ステップＳＴ４において処理された映像を表示することとなる（ＳＴ５）。そして、本装置１の電源がオフされるなどするまで、上記処理が繰り返されることとなる。

このようにして、第１実施形態に係る車両周囲映像提供装置１によれば、取得された視点位置の情報と液晶ディスプレイ４０の設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。このため、あたかも液晶ディスプレイ４０が透過して車外が見えるかのように、液晶ディスプレイ４０に映像表示が行われる。これにより、液晶ディスプレイ４０に表示される映像と液晶ディスプレイ４０周囲の窓などを通して見える風景とが連続的に見えることとなり、違和感が軽減される。特に、障害物Ｏまでの距離の位置に座標変換の基準面が設けられ、この基準面をもとに座標変換を行うため、座標変換による障害物Ｏの歪みが軽減されることとなる。従って、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することができる。

また、運転者の複数の視点位置に基づいて、複数の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合の映像（領域Ａや領域Ａ’の映像）を全て含む範囲の映像（領域Ａ’’の映像）が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。これにより、運転者の姿勢や体格などの違いによって見える範囲が異なる場合であっても、液晶ディスプレイ４０の設置領域が透過した領域は表示されることとなる。従って、運転者の姿勢や体格などの相違によらず、必要範囲を運転者に視認させることができる。

また、距離測定装置２０により検出された障害物Ｏまでの距離が所定距離以上である場合、障害物Ｏまでの距離の位置に座標変換の基準面を設けず、地面に座標変換の基準面を設けることとしている。障害物Ｏが非常に遠くに存在する場合などに、その遠くについて座標変換の基準面を設けると、障害物Ｏの手前側の地面に描かれる白線等が逆に歪んでしまい、却って運転者に違和感を与える可能性がある。このため、障害物Ｏまでの距離が所定距離以上である場合、地面に座標変換の基準面を設けることで、表示映像の違和感を軽減させることができる。

また、視点変換処理部３１は、距離測定装置２０により複数の障害物Ｏについて障害物Ｏまでの距離が検出される場合、複数の障害物までの距離うち最も近い障害物Ｏまでの距離の位置に座標変換の基準面を設けるようにしている。このため、車両の近くに存在することにより最も接触の可能性が高いといえる障害物Ｏについて歪みなく映像表示することができる。

次に、本発明の第２実施形態について説明する。第２実施形態に係る車両周囲映像提供装置は、第１実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第１実施形態との相違点について説明する。

図７は、本発明の第２実施形態に係るの車両周囲映像提供装置の構成図である。同図に示すように、第２実施形態の車両周囲映像提供装置２は、新たに視点位置取得装置（視点位置取得手段）５０を備えている。

視点位置取得装置５０は、運転者の視点位置の情報を取得するものであり、視点位置操作部（操作部）５１と、視点位置保存部５２とを有している。視点位置操作部５１は、運転者による操作が可能とされたスイッチであり、具体的には視点上昇スイッチ、視点下降スイッチ、視点前方スイッチ、及び視点後方スイッチにより構成されている。視点位置保存部５２は、視点位置操作部５１への操作によって設定された位置を保存するものである。視点位置取得装置５０は、視点位置保存部５２によって保存される位置を運転者の視点位置の情報として取得し、取得した視点位置の情報を画像処理装置３０に送信することとなる。

また、第２実施形態において視点変換処理部３１は、予め記憶した視点位置の情報に基づいて透過映像を表示せず、視点位置取得装置５０によって取得された視点位置の情報に基づいて透過映像を表示するようになっている。

図８は、図７に示した視点変換処理部３１の詳細を示す図である。運転者の視点位置は、運転者の体格やシート状態等の様々な要因によって影響を受ける。視点変換処理部３１は、視点位置取得装置５０により取得された視点位置の情報が変化すると、その変化に応じた処理を行う。すなわち、運転者の視点位置が運転者の左下に移動したとする。このとき、仮に液晶ディスプレイ４０の設置領域が透過するとした場合、運転者の視点位置からは領域Ａが見えるわけでなく、領域Ａよりやや右前方の領域Ａ’が見えることとなる。このため、視点変換処理部３１は、領域Ａ’の映像を取り出し、領域Ａ’に相当する映像を座標変換して、透過映像を生成する。これにより、運転者の視点位置が変化等したとしても、液晶ディスプレイ４０の映像が調整されて、液晶ディスプレイ４０が透過して車外が見えるかのような映像表示が行われることとなる。

次に、第２実施形態に係る車両周囲映像提供装置２の詳細動作を説明する。図９は、第２実施形態に係る車両周囲映像提供装置２の詳細動作を示すフローチャートである。なお、図９に示すステップＳＴ１２〜ＳＴ１６の処理は、図６に示すステップＳＴ１〜ＳＴ５の処理と同様であるため、説明を省略する。

第２実施形態では、まず、視点位置取得装置５０が運転者の視点位置の情報を取得する（ＳＴ１１）。これにより、取得された視点位置から液晶ディスプレイ４０が透過して見える領域について、ステップＳＴ１５において座標変換されることとなる。

次に、視点位置取得装置５０の詳細を説明する。図１０は、図７に示した視点位置取得装置５０の処理を示すフローチャートである。図７に示すように、まず、視点位置取得装置５０は、視点位置操作部５１へスイッチ入力があったか否かを判断する（ＳＴ２１）。スイッチ入力がなかったと判断した場合（ＳＴ２１：ＮＯ）、処理はステップＳＴ３０に移行する。

一方、スイッチ入力があったと判断した場合（ＳＴ２１：ＹＥＳ）、視点位置取得装置５０は、視点上昇スイッチへの入力であったか否かを判断するか（ＳＴ２２）。視点上昇スイッチへの入力であったと判断した場合（ＳＴ２２：ＹＥＳ）、視点位置取得装置５０は、保存される視点位置の高さを上昇させる（ＳＴ２３）。そして、処理はステップＳＴ２６に移行する。

また、視点上昇スイッチへの入力でなかったと判断した場合（ＳＴ２２：ＮＯ）、視点位置取得装置５０は、視点下降スイッチへの入力であったか否かを判断するか（ＳＴ２４）。視点下降スイッチへの入力でなかったと判断した場合（ＳＴ２４：ＮＯ）、処理はステップＳＴ２６に移行する。一方、視点下降スイッチへの入力であったと判断した場合（ＳＴ２４：ＹＥＳ）、視点位置取得装置５０は、保存される視点位置の高さを下降させ（ＳＴ２３）、処理はステップＳＴ２６に移行する。

ステップＳＴ２６において、視点位置取得装置５０は、視点前方スイッチへの入力であったか否かを判断するか（ＳＴ２６）。視点前方スイッチへの入力であったと判断した場合（ＳＴ２６：ＹＥＳ）、視点位置取得装置５０は、保存される視点位置を前方に移動させる（ＳＴ２７）。そして、処理はステップＳＴ３０に移行する。

また、視点前方スイッチへの入力でなかったと判断した場合（ＳＴ２６：ＮＯ）、視点位置取得装置５０は、視点後方スイッチへの入力であったか否かを判断するか（ＳＴ２８）。視点後方スイッチへの入力でなかったと判断した場合（ＳＴ２８：ＮＯ）、処理はステップＳＴ３０に移行する。一方、視点下降スイッチへの入力であったと判断した場合（ＳＴ２８：ＹＥＳ）、視点位置取得装置５０は、保存される視点位置を後方に移動させ（ＳＴ２９）、処理はステップＳＴ３０に移行する。

そして、ステップＳＴ３０において、視点位置保存部５２は、移動後の視点位置を保存する。その後、本装置２の電源がオフされるなどするまで、上記処理が繰り返されることとなる。

このようにして、第２実施形態に係る車両周囲映像提供装置２によれば、第１実施形態と同様に、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することができる。また、障害物Ｏまでの距離が所定距離以上である場合、地面に座標変換の基準面を設けることで、表示映像の違和感を軽減させることができる。また、車両の近くに存在することにより最も接触の可能性が高いといえる障害物Ｏについて歪みなく映像表示することができる。

さらに、第２実施形態によれば、視点位置取得装置５０により取得された視点位置の情報と液晶ディスプレイ４０の設置状態の情報とに基づいて、運転者の視点位置から液晶ディスプレイ４０の設置領域が透過して車外が見えた場合と同じ映像が液晶ディスプレイ４０に表示されるように、撮影装置１０により撮影された映像を座標変換する。このように、運転者の視点位置が求められて座標変換が行われるため、運転者の視点位置が変化等したとしても、液晶ディスプレイ４０の映像が調整されて、液晶ディスプレイ４０が透過して車外が見えるかのような映像表示が行われる。従って、より違和感が少ない映像表示を行うことができる。

次に、本発明の第３実施形態について説明する。第３実施形態に係る車両周囲映像提供装置は、第２実施形態のものと同様であるが、構成及び処理内容が一部異なっている。以下、第２実施形態との相違点について説明する。

図１１は、本発明の第３実施形態に係るの車両周囲映像提供装置の構成図である。同図に示すように、第３実施形態の車両周囲映像提供装置３は、新たに第２撮影装置（第２撮影手段）６０を備えている。第２撮影装置６０は、車両の構造上運転者にとって死角となる車両周囲を撮影するものであって、撮影装置１０とは別に設けられたものである。この第２撮影装置６０は、撮影装置１０と同様に例えばＣＣＤカメラやＣＭＯＳカメラが用いられ、撮影により得られた映像信号を画像処理装置３０に送信する構成となっている。

また、第３実施形態に係る画像処理装置３０は、映像合成部３２を備えている。映像合成部３２は、撮影装置１０により撮影され座標変換された映像と、第２撮影装置６０により撮影され座標変換された映像とを合成するものである。この合成により、第３実施形態では、障害物Ｏを除く背景等がぼやけ、障害物Ｏが目立つ映像が生成されることとなる。

図１２は、第３実施形態に係る車両周囲映像提供装置３の詳細動作を示すフローチャートである。なお、図１２に示すステップＳＴ３１〜ＳＴ３４は、図９に示したステップＳＴ１１〜ＳＴ１４と同じ処理であるため、説明を省略する。

座標変換の基準面を設定した後（ＳＴ３４の後）、視点変換処理部３１は、撮影装置１０により撮影された映像と第２撮影装置６０により撮影された映像とをそれぞれ座標変換する（ＳＴ３５）。次いで、映像合成部３２は、座標変換したそれぞれの映像を合成する（ＳＴ３６）。

このとき、映像合成部３２は、まず、座標変換したそれぞれの映像を画素ごとに比較する。次に、映像合成部３２は、比較した画素の画素値（濃度値など）が同じ場合は該当画素の値をその値とし、画素値が異なる場合は周辺画素の画素値の平均値をその画素の画素値とする。ここで、両映像は、障害物Ｏの位置が座標変換の基準面に設定されて得られたものであるため、障害物Ｏについては比較した画素の画素値が同じとなり易く、障害物Ｏを除く他の部分（背景など）については比較した画素の画素値が異なり易い。故に、この映像合成処理によって、背景等の画素値が曖昧になりぼやけることとなる。これにより、障害物Ｏが目立つ映像が生成される。

そして、液晶ディスプレイ４０は、映像合成処理された映像を表示する（ＳＴ３７）。その後、本装置３の電源がオフされるなどするまで、上記処理が繰り返されることとなる。

なお、ステップＳＴ３６の映像合成処理に代えて、以下の処理を行ってもよい。すなわち、画像処理装置３０は、座標変換した映像の障害物Ｏを除く部分をぼかすぼかし処理を行うようにしてもよい。ここで、ぼかし処理とは、例えば焦点調整する処理をいう。すなわち、車両用に用いられる通常のカメラでは近距離から遠距離まで満遍なく撮影できるように焦点が全距離を対象とされているが、ぼかし処理では、その焦点を障害物Ｏに合わせることにより、他の部分がぼやけるようにする。これにより、液晶ディスプレイ４０は、ぼかし処理が行われた映像を表示することとなり、上記と同様に、障害物Ｏが目立つ映像を運転者に提供することができる。

なお、ぼかし処理では、上記に限らず、障害物Ｏの位置を特定し、特定した障害物Ｏの位置を除く他の画像部分の画素値を、各画素の画素値と周辺画素の画素値との平均値とするようにしてもよい。この手法によっても、障害物Ｏを除く画像部分はぼかされることとなる。

さらに、ステップＳＴ３６の映像合成処理に代えて、以下の処理を行ってもよい。すなわち、画像処理装置３０は、座標変換した映像の障害物Ｏについてエッジを強調する強調処理を行うようにしてもよい。ここで、強調処理とは、例えば原画像から、原画像にラプラシアンフィルタをかけた出力画像を引き算する処理をいう。また、エッジ処理は、例えば障害物Ｏの輪郭部分に障害物Ｏが目立つように、線を描き加えるなどの処理であってもよい。この強調処理により、上記と同様に、障害物Ｏが目立つ映像を運転者に提供することができる。

なお、上記映像合成処理を行うにあたっては、撮影装置１０と第２撮影装置６０との複数の撮影手段が必要となるが、上記ぼかし処理及び強調処理を行うにあたっては少なくとも１つの撮影手段があればよい。

このようにして、第３実施形態に係る車両周囲映像提供装置３によれば、第２実施形態と同様に、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することができる。また、より違和感が少ない映像表示を行うことができる。また、障害物Ｏまでの距離が所定距離以上である場合、地面に座標変換の基準面を設けることで、表示映像の違和感を軽減させることができる。また、車両の近くに存在することにより最も接触の可能性が高いといえる障害物Ｏについて歪みなく映像表示することができる。

さらに、第３実施形態によれば、座標変換したそれぞれの映像を画素ごとに比較し、比較した画素の画素値（濃度値など）が同じ場合は該当画素の値をその値とし、画素値が異なる場合は周辺画素の画素値の平均値をその画素の画素値とすることとしている。ここで、両映像は、障害物Ｏの位置が座標変換の基準面に設定されて得られたものであるため、障害物Ｏについては比較した画素の画素値が同じとなり易く、障害物Ｏを除く他の部分（背景など）については比較した画素の画素値が異なり易い。故に、この映像合成処理によって、背景等の画素値が曖昧になりぼやけることとなる。従って、障害物Ｏが目立つ映像を運転者に提供することができる。

また、座標変換した映像の障害物を除く部分をぼかすぼかし処理を行い、ぼかし処理が行われた映像を表示することとしている。このため、背景等がぼやけることとなり、障害物Ｏが目立つ映像を運転者に提供することができる。

また、座標変換した映像の障害物についてエッジを強調する強調処理を行い、強調処理が行われた映像を表示することとしている。このため、障害物Ｏが強調された映像が生成されることとなり、障害物Ｏが目立つ映像を運転者に提供することができる。

次に、本発明の第４実施形態を説明する。第４実施形態に係る車両周囲映像提供装置は、第１実施形態のものと同様であるが、処理内容が一部異なっている。以下、第２実施形態との相違点について説明する。

図１３は、第４実施形態に視点変換処理部３１を説明する図である。第４実施形態に係る視点変換処理部３１は、距離測定装置２０により検出された障害物Ｏまでの距離の位置に座標変換の基準面を設けるだけでなく、地面に第２基準面を設けることとしている。そして、視点変換処理部３１は、障害物Ｏまでの距離より手前側については第２基準面をもとに座標変換し、他の部分については基準面をもとに座標変換する。

これにより、障害物Ｏの手前側の領域については第２基準面をもとにした座標変換により白線等の歪みが軽減される。また、障害物Ｏについても基準面をもとにした座標変換により歪みが軽減される。従って、障害物Ｏについて歪みを軽減しつつ、障害物Ｏの手前の地面に描かれる白線等についても歪みを軽減することができ、一層違和感を軽減した映像を提供することができる。

このようにして、第４実施形態に係る車両周囲映像提供装置４によれば、第２実施形態と同様に、死角となる車両周囲映像を運転者に提供するにあたり運転者の視点位置及び障害物の有無に関わらず違和感を軽減することができる。また、より違和感が少ない映像表示を行うことができる。また、障害物Ｏまでの距離が所定距離以上である場合、地面に座標変換の基準面を設けることで、表示映像の違和感を軽減させることができる。また、車両の近くに存在することにより最も接触の可能性が高いといえる障害物Ｏについて歪みなく映像表示することができる。

さらに、第４実施形態によれば、障害物Ｏまでの距離の位置に座標変換の基準面を設けるだけでなく、地面に第２基準面を設け、障害物Ｏまでの距離より手前側については第２基準面をもとに座標変換し、他の部分については基準面をもとに座標変換することとしている。このため、障害物Ｏについて歪みを軽減しつつ、障害物Ｏの手前の地面に描かれる白線等についても歪みを軽減することができ、一層違和感を軽減した映像を提供することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、本実施形態では、障害物の距離の位置に略垂直な基準面を設けていたが、これに限らず、以下のように基準面を設けてもよい。例えば、車両周囲映像提供装置１〜４が障害物Ｏの形状を検出する形状検出手段を有し、形状検出手段により検出された形状に沿って基準面を設けるようにしてもよい。図１４は、障害物Ｏの形状に沿った基準面を説明する図である。図１４に示すように、地面に対して斜めに立つ障害物Ｏの場合、その形状に沿って斜めに基準面を設けることとなる。これにより、斜めに立つ障害物Ｏについて歪んだ表示とならず、正確に表示することができる。

また、第３実施形態のように、複数の撮影手段を備える場合には、複数の撮影手段からの映像を利用して障害物Ｏまでの距離を検出するようにしてもよい。

本発明の第１実施形態に係るの車両周囲映像提供装置の構成図である。図１に示した視点変換処理部の詳細を示す図である。図１に示した視点変換処理部の詳細を示す第２の図である。図１に示した視点変換処理部の詳細を示す第３の図であり、（ａ）は基準面を示し、（ｂ）は液晶ディスプレイが透過した場合の映像を示し、（ｃ）は従来の基準面で座標変換した場合の映像を示している。図１に示した視点変換処理部の詳細を示す第４の図である。第１実施形態に係る車両周囲映像提供装置の詳細動作を示すフローチャートである。本発明の第２実施形態に係るの車両周囲映像提供装置の構成図である。図７に示した視点変換処理部の詳細を示す図である。第２実施形態に係る車両周囲映像提供装置の詳細動作を示すフローチャートである。図７に示した視点位置取得装置の処理を示すフローチャートである。本発明の第３実施形態に係るの車両周囲映像提供装置の構成図である。第３実施形態に係る車両周囲映像提供装置の詳細動作を示すフローチャートである。第４実施形態に視点変換処理部を説明する図である。障害物Ｏの形状に沿った基準面を説明する図である。

符号の説明

１〜４…車両周囲映像提供装置
１０…撮影装置（撮影手段）
２０…距離測定装置（距離検出手段）
３０…画像処理装置（映像処理手段）
３１…視点変換処理部
３２…映像合成部
４０…液晶ディスプレイ（表示手段）
５０…視点位置取得装置（視点位置取得手段）
５１…視点位置操作部
５２…視点位置保存部
６０…第２撮影装置（第２撮影手段）

Claims

車両周囲を撮影して得られた映像を運転者に提供する車両周囲映像提供装置であって、
車両の構造上運転者にとって死角となる車両周囲を撮影する撮影手段と、
前記撮影手段により撮影された車両周囲の映像を処理する映像処理手段と、
前記映像処理手段により処理された映像を表示する表示手段と、
前記撮影手段の撮影方向側に存在する障害物までの距離を検出する距離検出手段と、を備え、
前記映像処理手段は、運転者の視点位置の情報と前記表示手段の設置状態の情報とに基づいて、運転者の視点位置から前記表示手段の設置領域が透過して車外が見えた場合と同じ映像が前記表示手段に表示されるように、前記撮影手段により撮影された映像を座標変換すると共に、前記距離検出手段により検出された障害物までの距離の位置に座標変換の基準面を設けて座標変換する
ことを特徴とする車両周囲映像提供装置。
前記映像処理手段は、運転者の複数の視点位置に基づいて、複数の視点位置から前記表示手段の設置領域が透過して車外が見えた場合の映像を全て含む範囲の映像が前記表示手段に表示されるように、前記撮影手段により撮影された映像を座標変換すると共に、前記距離検出手段により検出された障害物までの距離の位置に座標変換の基準面を設けて座標変換する
ことを特徴とする請求項１に記載の車両周囲映像提供装置。
運転者の視点位置の情報を取得する視点位置取得手段をさらに備え、
前記映像処理手段は、前記視点位置取得手段により取得された視点位置の情報と前記表示手段の設置状態の情報とに基づいて、運転者の視点位置から前記表示手段の設置領域が透過して車外が見えた場合と同じ映像が前記表示手段に表示されるように、前記撮影手段により撮影された映像を座標変換すると共に、前記距離検出手段により検出された障害物までの距離の位置に座標変換の基準面を設けて座標変換する
ことを特徴とする請求項１に記載の車両周囲映像提供装置。
前記映像処理手段は、前記距離検出手段により検出された障害物までの距離が所定距離以上である場合、障害物までの距離の位置に座標変換の基準面を設けず、地面に座標変換の基準面を設けて、映像を座標変換する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の車両周囲映像提供装置。
前記映像処理手段は、前記距離検出手段により複数の障害物について障害物までの距離が検出される場合、複数の障害物までの距離うち最も近い障害物までの距離の位置に座標変換の基準面を設けて、映像を座標変換する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の車両周囲映像提供装置。
車両の構造上運転者にとって死角となる車両周囲を撮影すると共に前記撮影手段とは別に設けられた第２撮影手段を備え、
前記映像処理手段は、前記撮影手段により撮影された映像と前記第２撮影手段により撮影された映像とをそれぞれ座標変換し、座標変換したそれぞれの映像を画素ごとに比較し、画素の値が同じ場合は該当画素の値をその値とし、画素の値が異なる場合は周辺の画素の値の平均値を該当画素の値とする映像合成処理を行い、
前記表示手段は、映像合成処理された映像を表示する
ことを特徴とする請求項１〜請求項５のいずれか１項に記載の車両周囲映像提供装置。
前記映像処理手段は、座標変換した映像の障害物を除く部分をぼかすぼかし処理を行い、
前記表示手段は、ぼかし処理が行われた映像を表示する
ことを特徴とする請求項１〜請求項５のいずれか１項に記載の車両周囲映像提供装置。
前記映像処理手段は、座標変換した映像の障害物についてエッジを強調する強調処理を行い、
前記表示手段は、強調処理が行われた映像を表示する
ことを特徴とする請求項１〜請求項５のいずれか１項に記載の車両周囲映像提供装置。
前記映像処理手段は、前記距離検出手段により検出された障害物までの距離の位置に座標変換の基準面を設けると共に、地面に第２基準面を設け、障害物までの距離より手前側については前記第２基準面をもとに座標変換し、他の部分については前記基準面をもとに座標変換する
ことを特徴とする請求項１〜請求項８のいずれか１項に記載の車両周囲映像提供装置。