JP2006248247A - 画像提供装置 - Google Patents

Abstract

【課題】 運転者が車両における稼動部位の状態を認識することが可能な画像提供装置を提供する。
【解決手段】 画像提供装置１００は、上方からの視点に対応する車両の画像と、カメラ１０２−１乃至１０２−４により撮影された車両の周辺の画像を上方からの視点に変換した周辺画像とを合成して提供するものであって、車両における稼動部位の状態を認識する稼動状態認識部１１２と、認識された稼動部位の状態に応じて、車両の画像における稼動部位に対応する画像部分を変更する稼動部位画像変換部１１６とを有する。
【選択図】 図１

Description

本発明は、車両と当該車両の周辺の画像を提供する画像提供装置に関する。

近年、ナビゲーション装置には、目的地までの経路案内の機能や車両周辺の地図画像表示の機能のみならず、様々な機能が搭載されるようになっている。例えば、車両の周辺に存在する障害物を運転者に認識させて衝突を抑止するために、上方からの視点に対応する車両画像と、車両に設置されたカメラによって撮影された車両周辺の実写画像を上方からの視点に変換した周辺画像とを合成して提供する機能がある（例えば、特許文献１参照）。

更には、このような車両画像と周辺画像との提供において、現時点で死角となってカメラが撮影することができない部分について、過去に撮影されたその死角部分の画像を反映させ、障害物を運転者に認識させる技術が提案されている（例えば、特許文献２参照）。
特開２００１−１１６５６７号公報 特開２００２−３５４４６７号公報

しかしながら、上述した車両画像と周辺画像との提供においては、運転者は、車両における稼動部位が現時点でどのような状態にあるのかを認識することができない。例えば、運転者のステアリング操作によって車輪の舵角が変化するが、車輪が偶然にカメラの撮影範囲内に含まれていたような場合を除いては、その車輪の舵角の変化は提供される画像には反映されない。このため、運転者は、車輪の状態、更には車輪と車両周辺の障害物との位置関係を認識することができない。

本発明の目的は、上述した問題を解決するものであり、運転者が車両における稼動部位の状態を認識することが可能な画像提供装置を提供することにある。

本発明に係る画像提供装置は、上方からの視点に対応する車両の画像と、前記車両の周辺の実写画像を上方からの視点に変換した周辺画像とを合成して提供するものであって、前記車両における稼動部位の状態を認識する稼動認識手段と、前記稼動認識手段により認識された稼動部位の状態に応じて、前記車両の画像における前記稼動部位に対応した画像部分を変更する稼動部位画像変更手段とを有する。

この構成により、車両における稼動部位の状態が提供される画像に反映されることになり、運転者は、その稼動部位の状態を認識することができる。

また、本発明に係る画像提供装置は、前記稼動認識手段が、前記車両に対する操作情報に基づいて、前記稼動部位の状態を認識する。

この構成により、操作に応じて変化する稼動部位の状態を適切に把握することが可能となる。

また、本発明に係る画像提供装置は、前記稼動部位画像変更手段が、前記稼動部位に対応した画像部分を最前面に設定する。

この構成により、運転者は、稼動部位の状態をより的確に認識することができる。

また、本発明に係る画像提供装置は、前記稼動部位画像変更手段が、前記稼動部位及び該稼動部位の周辺に対応した画像を拡大する。

この構成により、運転者は、稼動部位の状態と、当該稼動部位と周辺の障害物等との位置関係とをより的確に認識することができる。

また、本発明に係る画像提供装置は、前記稼動部位が車輪であり、前記稼動認識手段が、前記車輪の舵角を認識し、前記稼動部位画像変更手段が、前記車輪の舵角に応じて、前記車輪に対応した画像部分を変更する。

本発明によれば、車両における稼動部位の状態が提供される画像に反映され、運転者は、その稼動部位の状態を認識することが可能となる。

以下、本発明の実施の形態について、図面を参照して具体的に説明する。

図１は、画像提供装置の構成を示す図である。同図に示す画像提供装置１００は、車両に搭載され、車庫入れ等の際に運転者の要求に応じ、当該車両の画像と当該車両の周辺の画像とを合成して運転者に提供する。

この画像提供装置１００は、車両の周辺を撮影するカメラ１０２−１乃至１０２−４（以下、これらカメラ１０２−１乃至１０２−４をまとめて適宜「カメラ１０２」と称する）と、各カメラ１０２の撮影によって得られる画像データを記憶する撮影画像メモリ１０４と、各カメラ１０２によって撮影された画像の視点を上方からの視点に変換する視点変換部１０６と、視点変換後の車両の周辺の画像を生成する周辺画像生成部１０８と、車両の画像を記憶する車両画像メモリ１１０と、車両における稼動部位である車輪の状態を認識する稼動状態認識部１１２と、車輪の画像を記憶する稼動部位画像メモリ１１４と、車輪の状態に応じて、当該車輪の画像を変換する稼動部位画像変換部１１６と、視点変換後の車両の周辺の画像、車両の画像及び変換後の車輪の画像を合成する画像合成部１１８と、合成された画像を表示するディスプレイ１２０とにより構成される。

これらのうち、各カメラ１０２は、例えばＣＣＤ（Charge Coupled Device）を内蔵しており、車両の所定箇所に設置される。図２は、車両におけるカメラ１０２の設置箇所の一例を示す図である。同図において、カメラ１０２−１は車両の前部、カメラ１０２−２及び１０２−３は車両の側部（例えばフェンダーミラー）、カメラ１０２−４は車両の後部に設置されており、レンズ（図示せず）が若干下方を向いている。これら各カメラ１０２によって車両の全周囲が撮影可能となっている。一方、撮影画像メモリ１０４、視点変換部１０６、周辺画像生成部１０８、車両画像メモリ１１０、稼動状態認識部１１２、稼動部位画像メモ１１４、稼動部位画像変換部１１６、画像合成部１１８及びディスプレイ１２０は、例えば、ナビゲーション装置の一部を構成する。

以下、画像提供装置１００の動作の詳細を説明する。図２は、画像提供装置１００の動作を示すフローチャートである。

車両の所定箇所に設置された各カメラ１０２は、車両の周辺を撮影して画像データを生成し、当該画像データを撮影画像メモリ１０４へ出力する。撮影画像メモリ１０４は、これら各カメラ１０２からの画像データを記憶する（Ｓ１０１）。

視点変換部１０６は、撮影画像メモリ１０４に記憶された各画像データを読み出し、公知の手法により、上方からの視点に対応する画像データに変換する。変換後の各画像データは、周辺画像生成部１０８へ出力される。周辺画像生成部１０８は、変換後の各画像データを組み合わせることにより、上方からの視点に対応する車両の周辺の画像データ（周辺画像データ）を生成する。この周辺画像データは、車両の全周囲を網羅する画像であり、画像合成部１１８へ出力される（Ｓ１０２）。

稼動状態認識部１１２は、車両のステアリングの回転角を表すステアリング回転角信号を受信したか否かを判定する（Ｓ１０３）。ステアリング回転角信号は、例えば、車両に内蔵されたステアリングの回転角を検出する装置から所定の周期で出力される。稼動状態認識部１１２は、ステアリング回転角信号を受信すると、稼動部位である車輪の舵角を算出する（Ｓ１０４）。一般に、車輪の舵角はステアリングの回転角と比例関係にある。稼動状態認識部１１２は、この比例関係を予め認識しておくことによって、当該比例関係とステアリングの回転角とに基づいて、車輪の舵角を算出することができる。

更に、稼動状態認識部１１２は、稼動部位画像メモリ１１４に記憶されている車輪の画像データの中から算出した舵角に対応する車輪の画像データを特定する（Ｓ１０５）。稼動部位メモリ１１４には、舵角と当該舵角に対応する車輪の画像データとが記憶されている。図４は、稼動部位メモリ１１４に記憶されている舵角と車輪の画像データとの対応関係の一例を示す図である。舵角と車輪の画像データとが図４に示す対応関係にある場合、稼動部位認識部１１２は、例えば、舵角が１５°であれば、１０〜２０°に対応する車輪画像データ＃３を、舵角に対応する車輪の画像データとして特定する。稼動部位認識部１１２は、特定した舵角に対応する車輪の画像データを稼動部位画像メモリ１１４から読み出し、稼動部位画像変換部１１６へ出力する。

稼動部位画像変換部１１６は、稼動部位認識部１１２からの舵角に対応する車輪の画像データを入力すると、次に、車両画像メモリ１１０に記憶されている車両の画像データを読み出す。この車両画像データは、稼動部位である車輪を除いた車両を表す画像データであり、車両を上方から撮影することによって得られる実写画像のデータでも良く、車両を上方から見た絵画像のデータでも良い。

更に、稼動部位画像変換部１１６は、車両画像メモリ１１０から読み出した車両の画像データと、稼動部位認識部１１２からの舵角に対応する車輪の画像データとを合成する。この際、稼動部位画像変換部１１６は、運転者が車輪の状態を容易に認識することができるようにすべく、車輪の画像が最前面となるように車両の画像データと舵角に対応する車輪の画像データとを合成することが望ましい。この画像合成により得られた画像データ（車両と舵角に対応する車輪の合成画像データ）は、画像合成部１１８へ出力される。

画像合成部１１８は、周辺画像生成部１０８からの周辺画像データと、稼動部位画像変換部１１６からの車両と舵角に対応する車輪の合成画像データとを合成する。そして、画像合成部１１８は、合成により得られた画像データ、すなわち、周辺、車両及び舵角に対応する車輪の合成画像データをディスプレイ１２０へ出力する。ディスプレイ１２０は、この周辺、車両及び舵角に対応する車輪の合成画像データに基づく画像表示を行う（Ｓ１０６）。

図５は、ディスプレイ１２０に表示される画像の一例を示す図である。ディスプレイ１２０に表示される画像は、車両３００の画像、稼動部位である車輪３０２−１及び３０２−２の画像、及び、車両周辺３５０の画像により構成される。図５（ａ）は車輪３０２−１及び３０２−２が直進方向を向いている場合の画像であり、図５（ｂ）は運転者のステアリング操作に応じて車輪３０１−１及び３０２−２が右方向を向いている場合の画像である。運転者は、この画像を見ることによって、ステアリング操作に応じた稼動部位である車輪３０２−１及び３０２−２の状態を認識するとともに、これら車輪３０２−１及び３０２−２と、車両周辺の障害物である側壁３５０との位置関係を認識することができる。

なお、稼動部位である車輪３０２−１及び３０２−２とその周辺の画像を拡大させるようにしても良い。この場合、稼動部位画像変換部１１６は、車両と舵角に対応する車輪の合成画像データを画像合成部１１８へ出力する際に、車輪の画像領域を示すデータも出力し、画像合成部１１８は、この車輪の画像領域を示すデータに基づいて、車輪の画像領域を認識し、車輪の画像領域とその周辺の画像領域とについて拡大処理を行う。

このように、本実施形態の画像提供装置１００は、上方からの視点に対応する車両の画像と、車両の周辺の画像を上方からの視点に変換した周辺画像とを合成して提供する際に、車両における稼動部位のである車輪の状態を認識し、その車輪の状態に応じて、車輪の画像を変更する。このため、車輪の状態が提供される画像に反映されることになり、運転者は、その車輪の状態を認識することができる。

なお、上述した実施形態では、稼動部位が車輪である場合について説明したが、車両における他の稼動部位の状態を提供される画像に反映させる場合においても、本発明を適用することができる。

例えば、車両におけるハザードランプの点滅状態やブレーキランプの点灯状態を提供される画像に反映させる場合には、稼動部位画像メモリ１１４に、点滅状態に対応するハザードランプや点灯状態に対応するブレーキランプの画像データを記憶させておく。そして、稼動状態認識部１１２は、例えば、ハザードランプのスイッチがオン状態であることを示す信号を受信すると、点滅状態に対応するハザードランプの画像データを稼動部位画像メモリ１１４から読み出し、稼動部位画像変換部１１６は、車両の画像データと点滅状態に対応するハザードランプの画像データとを合成する。また、稼動状態認識部１１２は、例えば、ブレーキペダルが踏み込まれたことを示す信号を受信すると、点灯状態に対応するブレーキランプの画像データを稼動部位画像メモリ１１４から読み出し、稼動部位画像変換部１１６は、車両の画像データと点灯状態に対応するブレーキランプの画像データとを合成する。

その後は、上述と同様、画像合成部１１８が、周辺画像データと、稼動部位画像変換部１１６において生成された画像データとを合成し、ディスプレイ１２０がこの合成画像データに基づく画像表示を行う。これにより、例えば、図６に示すように、ハザードランプ３０４−１及び３０４−２の点滅状態に対応する画像やブレーキランプ３０６−１及び３０６−２の点灯状態に対応する画像が表示されることになる。

また、車両におけるドアの開放状態を提供される画像に反映させる場合には、稼動部位画像メモリ１１４に、開放角に応じたドアの画像データを記憶させておく。そして、稼動状態認識部１１２は、例えば、ドアの開放角を示す信号を受信すると、その開放角に対応するドアの画像データを稼動部位画像メモリ１１４から読み出し、稼動部位画像変換部１１６は、車両の画像データと開放角に対応するドアの画像データとを合成する。その後は、上述と同様、画像合成部１１８が、周辺画像データと、稼動部位画像変換部１１６において生成された画像データとを合成し、ディスプレイ１２０がこの合成画像データに基づく画像表示を行うことにより、ドアの開放角に対応する画像が表示されることになる。

また、上述した実施形態において、図５は前輪のみが稼働部位となる場合の例であるが、運転者のステアリング操作に応じて前輪とともに後輪も方向が変位する４輪操舵システム（４ＷＳ）が採用される車両においては、稼動部位である後輪についてもステアリング操作に応じて画像が変化することになり、運転者は、後輪の状態をも認識することができる。

以上、説明したように、本発明に係る画像提供装置は、運転者が車両における稼動部位の状態を認識することが可能であり、画像提供装置として有用である。

画像提供装置の構成を示す図である。 車両におけるカメラの設置箇所の一例を示す図である・ 画像提供装置の動作を示すフローチャートである。 稼動部位画像メモリに記憶されている舵角と車輪の画像データとの対応関係の一例を示す図である。 ディスプレイに表示される画像の一例を示す図である。 ディスプレイに表示される画像の他の例を示す図である。

符号の説明

１００ 画像提供装置
１０２−１、１０２−２、１０２−３、１０２−４ カメラ
１０４ 撮影画像メモリ
１０６ 視点変換部
１０８ 周辺画像生成部
１１０ 車両画像メモリ
１１２ 稼動状態認識部
１１４ 稼動部位画像メモリ
１１６ 稼動部位画像変換部
１１８ 画像合成部
１２０ ディスプレイ

Claims (5)

1. 上方からの視点に対応する車両の画像と、前記車両の周辺の実写画像を上方からの視点に変換した周辺画像とを合成して提供する画像提供装置であって、
   前記車両における稼動部位の状態を認識する稼動認識手段と、
   前記稼動認識手段により認識された稼動部位の状態に応じて、前記車両の画像における前記稼動部位に対応した画像部分を変更する稼動部位画像変更手段とを有することを特徴とする画像提供装置。
2. 前記稼動認識手段は、前記車両に対する操作情報に基づいて、前記稼動部位の状態を認識することを特徴とする請求項１に記載の画像提供装置。
3. 前記稼動部位画像変更手段は、前記稼動部位に対応した画像部分を最前面に設定することを特徴とする請求項１又は２に記載の画像提供装置。
4. 前記稼動部位及び該稼動部位の周辺に対応した画像を拡大する画像拡大手段を有することを特徴とする請求項１乃至３のいずれかに記載の画像提供装置。
5. 前記稼動部位は車輪であり、
   前記稼動認識手段は、前記車輪の舵角を認識し、
   前記稼動部位画像変更手段は、前記車輪の舵角に応じて、前記車輪に対応した画像部分を変更することを特徴とする請求項１乃至４のいずれかに記載の画像提供装置。
   

Images