JP2004235986A

JP2004235986A - 監視システム

Info

Publication number: JP2004235986A
Application number: JP2003022245A
Authority: JP
Inventors: Hiroshi Ishii; 浩史石井; Masaki Sato; 政喜佐藤; Kazufumi Mizusawa; 和史水澤; Satoru Masuda; 悟増田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2004-08-19

Abstract

【課題】撮影範囲の重複領域に映った画像が３次元物体の画像であるのか否かを瞬時に判断できる画像を運転者に提示する。
【解決手段】撮影範囲が少なくとも一部重複する領域を有し重複する領域に存在する被写体に対する視線方向が異なる様に設置されたカメラ１及びカメラ８と、車両に搭載される二重ディスプレイ装置であって第１層表示部３１と第２層表示部３２とが重ねて設けられ第１層表示部３１の表示内容が第２層表示部３２を透過し第２層表示部３２の表示内容と重ねて合わせて視認できる二重ディスプレイ装置３０と、カメラ１、８の夫々の撮像画像を夫々視点変換して第１層表示部３１、３２に夫々表示する画像処理手段１０とを備える。重複する領域に存在する３次元物体の視点変換画像の歪む方向が第１、第２の層表示部３１、３２でずれ、容易に３次元物体の存在を知ることができる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は複数の撮像手段で撮影した映像をモニタ画面に表示する監視システムに係り、特に、撮像手段の撮影範囲内に存在する立体物の存在を監視者に容易に認識させることができる監視システムに関する。
【０００２】
【従来の技術】
監視システムがビルや工場等あるいは車両等の移動体に設置されることが増えてきている。例えば、カメラを車両に設置し、この車載カメラで撮影した車両周囲の映像をモニタ画面に表示して運転者に提示する運転支援装置としての監視システムが普及し始めている。
【０００３】
例えば、下記の特許文献１に記載された従来技術では、車両の前部、右側部、左側部、後部の夫々に車載カメラを搭載し、各車載カメラの撮像画像を合成して、車両廻りの全周の画像を１画面内に合成しモニタ画面に表示する様にしている。そして、この特許文献１の従来技術では、各車載カメラによる撮像画像を、車両上方位置の仮想上視点から見た映像に変換し、合成することで、運転者にとって見やすく理解し易い映像にしている。
【０００４】
【特許文献１】
特開２００２−３２４２３５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、路面上に置かれている３次元物体の撮像画像を視点変換した画像は、原理的に、車載カメラの視線方向に歪んだ画像となってしまうため、例えば、図９に示す様に車両前部に取り付けられた車載カメラ５１で車両５０の左前方に在る円柱状物体を撮像した画像を視点変換すると、この視点変換画像上での円柱状物体画像５２ａは左方向に倒れた画像になる。また、図１０に示す様に車両左側部に取り付けられた車載カメラ５３でこの円柱状物体を撮像した画像を視点変換すると、この視点変換画像上での円柱状物体画像５２ｂは前方に倒れた画像となる。
【０００６】
車載カメラ５１による撮像画像を視点変換した画像と、車載カメラ５３による撮像画像を視点変換した画像とを合成してモニタ画面に表示する場合、両方の車載カメラ５１、５３の共通撮影範囲内に映った円柱状物体画像は、図１１に示される様に重ね合わされて表示されることになる。しかし、図１１に示される様に、半透明の円柱状物体画像５２ａ及び５２ｂが重合した画像をモニタ画面で見ただけでは、これが路面上に描かれた高さの無い模様なのか、それとも３次元物体なのかを直感的に判断できないという問題がある。
【０００７】
また、図１２に示す様に、円柱状物体画像５２ａの一部画像（斜線を施した範囲）と円柱状物体画像５２ｂの一部画像（斜線を施した範囲）を切り出し、両者を継ぎ合わせて表示しても、継ぎ目部分で立体物の画像が見づらくなってしまうという問題がある。
【０００８】
本発明の目的は、複数の撮像手段による撮影範囲の重複領域に映った画像が３次元物体の画像であるか否かを瞬時に判断できる監視システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明の監視システムは、撮影範囲が少なくとも一部重複する領域を有し前記重複する領域に存在する被写体に対する視線方向が異なる様に設置された第１及び第２の撮像手段と、前記車両に搭載され２以上の表示部を有する多重ディスプレイ装置であって第１層表示部と第２層表示部とが重ねて設けられ前記第１層表示部の表示内容が前記第２層表示部を透過し前記第２層表示部の表示内容と重ねて合わせて視認できる多重ディスプレイ装置と、前記第１の撮像手段の撮像画像を視点変換して前記第１層表示部に表示し前記第２の撮像手段の撮像画像を視点変換して前記第２層表示部に表示する画像処理手段とを備えたことを特徴とする。
【００１０】
この構成により、重複する領域に存在する３次元物体の画像の視点変換画像が第１層表示部に表示されるときの歪む方向と第２層表示部に表示されるときの歪む方向にずれが生じ、このずれによって３次元物体の存在を知ることができる。
【００１１】
本発明の監視システムの前記画像処理手段は、前記第１層表示部に前記第１の撮像手段のイラストデータを表示すると共に前記第２層表示部に前記第２の撮像手段のイラストデータを表示することを特徴とする。
【００１２】
この構成により、第１層表示部に表示された３次元物体の視点変換画像が第１の撮像手段により撮像されたことを画面上で確認でき、第２層表示部に表示された３次元物体の視点変換画像が第２の撮像手段によって撮像されたことを画面上で確認できる。
【００１３】
本発明の監視システムの画像処理手段は、前記第１層表示部と前記第２層表示部との各表示内容を夫々前記第２層表示部と前記第１層表示部とに切り替えて表示することを特徴とする。
【００１４】
この構成により、重複領域における画像が３次元物体の画像であったとき層の切り替え表示によってこの画像が目立ち、認識遅れを回避可能となる。層の切り替え表示は、予めユーザが設定した周期で行っても、また、画像処理手段が所定周期で自動的に行っても、あるいは、ユーザによる指示ボタンの入力によって行ってもよい。
【００１５】
本発明の監視システムの画像処理手段は、半透明の前記第２層表示部の透過率を変化させることを特徴とする。
【００１６】
この構成により、第２層表示部の透過度（透明度）を上げることにより、即ち、第２層表示部の表示濃度を下げることにより、第１層表示部の内容が見やすくなり、逆に第２層表示部の透過度を下げることにより、即ち、第２層表示部の表示濃度を上げることにより、第２層表示部の表示内容が見やすくなる。第２層表示部の透過度変化すなわちコントラスト変化は、これをユーザが設定することでも、また、画像処理手段が自動的に行うことでもよく、上記の層の切り替え表示と合わせて実行することで、ユーザに各層の表示内容を見やすい状態で提供可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。尚、以下の実施の形態では、監視システムの一例である運転支援装置を説明するが、ビルや工場などに設置される一般の監視システムにも本発明を適用可能である。
【００１８】
図１は、本発明の一実施の形態に係る運転支援装置のブロック構成図である。本実施の形態に係る運転支援装置は、夫々が画角内の景色をカラー撮影する８台の撮像手段この例では車載カメラ１、２、３、４、５、６、７、８と、これらのカメラ１、２、…、８に接続された画像処理装置１０と、車両の運転席近傍に設置され画像処理装置１０からの出力画像信号を表示する二重ディスプレイ装置３０とを備える。
【００１９】
図２は、車載カメラ１、２、…、８の取り付け説明図である。車載カメラ１、２は車両３５の前部中央に交差する様にして取り付けられ、車載カメラ１は車両３５の左前方を画角内に収め、車載カメラ２は車両３５の右前方を画角内に収める。
【００２０】
車載カメラ３、４は、車両３５の右側部中央に交差する様にして取り付けられ、車載カメラ３は車両３５の右側部前方を画角内に収め、車載カメラ４は車両３５の右側部後方を画角内に収める。車載カメラ５、６は、車両３５の後部中央に交差する様にして取り付けられ、車載カメラ５は車両３５の右後方を画角内に収め、車載カメラ６は車両３５の左後方を画角内に収める。
【００２１】
車載カメラ７、８は、車両３５の左側部中央に交差する様にして取り付けられ、車載カメラ７は車両３５の左側部後方を画角内に収め、車載カメラ８は、車両３５の左側部前方を画角内に収める。
【００２２】
図３は、車載カメラ１、２、５、６の夫々の画角θ１、θ２、θ５、θ６を示す図であり、画角θ１、θ２は図３で斜線を施した領域Ａで重なる様に設置され、画角θ５、θ６も同様に重なる様に設置される。図４は、車載カメラ３、４、７、８の夫々の画角θ３、θ４、θ７、θ８を示す図であり、画角θ３、θ４は斜線を施した部分で重なる様に設置され、同様に、画角θ７、θ８も重なる様に設置される。
【００２３】
図５は、車載カメラ１と車載カメラ８の夫々の画角θ１、θ８を示す図である。斜線を施した領域Ｂが各車載カメラ１、８の撮影領域が重なる範囲である。上述した従来技術の課題、即ち、３次元物体の画像を視点変換したとき、その画像の歪む方向が異なってしまうという問題が発生する領域がこの領域Ｂである。同様に、車載カメラ２と車載カメラ３の撮影範囲の重複領域、車載カメラ４と車載カメラ５の撮影範囲の重複領域、車載カメラ６と車載カメラ７の撮影範囲の重複領域で同様の問題が発生する。
【００２４】
車載カメラ１、２の撮影範囲の重複領域Ａに存在する被写体に対する各車載カメラ１、２の視線方向は、本実施の形態では車載カメラ１、２が同一箇所に設置されているためほぼ同一方向とみなすことができ、このため、図３の重複領域Ａに存在する３次元物体の画像が視点変換したとき歪む方向は、ほぼ同一方向となり、両車載カメラ１、２による画像が重なっても見づらくなることはない。
【００２５】
これに対し、重複領域Ｂに存在する被写体に対する車載カメラ１と車載カメラ８の視線方向は大きく異なるため、この重複領域Ｂに存在する３次元物体の視点変換画像の歪む方向は大きく異なってしまう。
【００２６】
図１に戻り、画像処理装置１０は、各車載カメラ１、２、…、８に対応して設けられたバッファメモリ１１、１２、…１８と、車載カメラ１、２、…、８の撮像画像を夫々視点変換するときに用いるマッピングテーブル１９と、各バッファメモリ１１、１２、…、１８内に取り込まれた各車載カメラ１、２、…、８の撮像画像データをマッピングテーブル１９によって変換し合成する画像合成手段２０と、画像合成手段２０によって視点変換され合成された車載カメラ１、２、５、６の撮像画像データを格納する合成メモリ２１と、画像合成手段２０によって視点変換され合成された車載カメラ３、４、７、８の撮像画像データを格納する合成メモリ２２とを備え、画像処理と二重ディスプレイ装置３０の表示制御を司る。
【００２７】
二重ディスプレイ装置３０は、第１層表示部３１と、第２層表示部３２とを備える。図６は、この二重ディスプレイ装置３０の断面図である。二重ディスプレイ装置３０は、液晶表示装置が２重構成になっており、第１層表示部３１の上に、透明なジェル層３を介して半透明状の第２層表示部３２が設けられ、第１層表示部３１と第２層表示部３２に夫々独立に画像が表示され、且つ、第１層表示部３１の表示内容は、ジェル層３３及び第２層表示部３２を透過して見える様になっている。
【００２８】
次に、上述した構成でなる運転支援装置の動作について説明する。例えば、二重ディスプレイ装置３０の表面に設けられた図示しないタッチパネルから、車両３５周りの映像を視点変換して表示する旨の指示が入力されると、通常はカーナビゲーションシステムのモニタ画面として使用されている２重表示装置３０に、車載カメラ１、２、…、８の撮像画像が表示される。
【００２９】
このとき、画像合成手段２０は、バッファメモリ１１、１２、１５、１６から車載カメラ１、２、５、６の撮像画像データを取り込み、マッピングテーブル１９によってこれらを仮想上視点からの映像に変換すると共に４つの画像を１画面に合成し、合成後の合成画像データを合成メモリ２１に書き込む。このとき、自車両３５の映像自体は車載カメラには映っていないため、自車両３５を示すイラスト画像データ３５ａ（図７参照）を合成画像データに貼り付けると共に、車載カメラ１、２、５、６を示すカメライラスト画像１ａ、２ａ、５ａ、６ａも貼り付けて、合成メモ２１に書き込む。
【００３０】
また、これと同時並行的に、画像合成手段２０は、バッファメモリ１３、１４、１７、１８から車載カメラ３、４、７、８の撮像画像データを取り込み、マッピングテーブル１９によってこれらを仮想上視点からの映像に変換すると共に４つの画像を１画面に合成し、合成後の合成画像データを合成メモリ２２に書き込む。このとき、上記と同様に、自車両３５を示すイラスト画像データ３５ａ（図８参照）を合成画像データに貼り付けると共に、車載カメラ３、４、７、８を示すカメライラスト画像３ａ、４ａ、７ａ、８ａも貼り付けて合成メモリ２２に書き込む。
【００３１】
二重ディスプレイ装置３０の第１層表示部３１は、合成メモリ２１の内容を取り込んで図７に示す様に表示し、第２層表示部３２は、合成メモリ２２の内容を取り込んで図８に示す様に表示する。
【００３２】
この二重ディスプレイ装置３０の画面を見る運転者は、第２層表示部３２の表示内容（図８）と、第１層表示部３１の表示内容（図７）とを同時に視認することになる。このとき、自車両のイラスト画像データ３５ａは、第１層表示部３１と第２層表示部３２とで全く同じであるため、重なって見える。
【００３３】
そして、車両周囲に３次元物体が存在した場合には、例えば、車両左前方に円柱状物体が存在した場合には、その視点変換した画像は、第１層表示部３１では左側に倒れた画像５２ａとして表示され、第２層表示部３２では、前方に倒れた画像５２ｂとして表示される。本実施の形態の場合には、画像５２ａに対して画像５２ｂはジェル層３３の厚み分だけ浮いた状態に見えるため、倒れた方向の異なる画像５２ａ、５２ｂが同一箇所に見えることで、運転者は、そこに３次元物体が存在すると直感することができる。
【００３４】
この表示を行うとき、本実施の形態では、画像５２ａ、即ち、横方向に倒れた画像が表示される表示層（第１層）にこの画像を撮像した車載カメラを示すイラストデータ１ａ、２ａ、５ａ、６ａを表示し、前後方向に倒れた画像が表示される層（第２層）にもこの層に対応する車載カメラを示すイラストデータ３ａ、４ａ、７ａ、８ａを表示するため、更に画像５２ａ、５２ｂが異なる車載カメラによって撮影された３次元物体画像であり、路面上に描画された模様ではないと容易に判断可能となる。
【００３５】
このように、本実施の形態によれば、撮影領域が重なり視線方向が異なる複数の車載カメラの夫々の撮影映像を視点変換して二重ディスプレイ装置の異なる層に表示するため、両方の画像がずれて見づらい画像となったときそれを３次元物体による画像であると直感的に認識することが可能となる。
【００３６】
上述した実施の形態では、第１層表示部３１の表示濃度と第２層表示部３２の表示濃度とを同じにして表示しているが、各表示濃度を異ならせて表示させることでもよい。例えば、表面側となる第２層表示部３２の表示濃度すなわちその透明度を運転者の調整指示を受けた画像処理装置１０が調整し、あるいは画像処理装置１０が予め決められた条件に基づいて自動的に変化させる様にする。これにより、第２層表示部３２の表示濃度が高ければ表面側となる第２層表示部３２の表示内容が見やすくなり、第２層表示部３２の表示濃度を薄くすれば第１層表示部３１の表示内容が見やすくなる。
【００３７】
また、第１層表示部３１と第２層表示部３２の表示内容を交互に交換することでも、運転者に見やすい画面を提供可能となる。表示内容を交互に交換することで、３次元物体の画像５２ａ、５２ｂの層表示が交互に切り替えられるため、３次元物体の存在を運転者に容易に認識させることが可能となる。この層表示の切替指示は、運転者が切替ボタンから手入力することで行うようにしても、また、画像処理装置１０が予め決められた所定条件に従って例えば所定時間毎に自動的に切り替える様にしても、あるいは予め運転者が設定した所定条件に従って切り替える様にしてもよい。
【００３８】
尚、上述した実施の形態は、移動体である車両に複数台のカメラを搭載し各カメラの撮影画像を第１層表示部と第２層表示部に分けて表示したが、本発明はこの実施の形態に限るものではなく、例えば、ビルなどの一般の監視システムにも適用可能である。例えば、ビルの入口に向けて視線方向の異なる複数台のカメラを設置し、各カメラの撮影映像を第１層表示部３１と第２層表示３２に分けて表示することで、画像処理装置が撮影映像を解析処理することなく容易に３次元物体の存在を監視者に認識させることができ、その３次元物体が静止物であるか移動物であるかも容易に認識させることが可能となる。
【００３９】
【発明の効果】
本発明によれば、撮影範囲の重複領域に映った画像が３次元物体の画像であるのか否かを瞬時に判断できる監視システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る監視システムのブロック構成図
【図２】本発明の実施の形態に係る監視システムの車載カメラの取付説明図
【図３】本発明の実施の形態に係る監視システムの車載カメラの画角説明図
【図４】本発明の実施の形態に係る監視システムの車載カメラの画角説明図
【図５】本発明の実施の形態に係る監視システムのカメラの撮影範囲重複領域説明図
【図６】本発明の実施の形態に係る監視システムの二重ディスプレイ装置の断面図
【図７】本発明の実施の形態に係る監視システムにおける二重ディスプレイ装置の第１層表示画像を例示する図
【図８】本発明の実施の形態に係る監視システムにおける二重ディスプレイ装置の第２層表示画像を例示する図
【図９】従来の監視システムにおける車両前部搭載カメラによる視点変換画像説明図
【図１０】従来の監視システムにおける車両側部搭載カメラによる視点変換画像説明図
【図１１】従来の監視システムにおける３次元物体視点変換画像の表示例を示す図
【図１２】従来の監視システムにおける３次元物体視点変換画像の別の表示例を示す図
【符号の説明】
１、２、…、８車載カメラ
１ａ、２ａ、…８ａカメライラスト画像
１０画像処理装置
１１、１２、…１８バッファメモリ
１９マッピングテーブル
２０画像合成手段
２１、２２合成メモリ
３０二重ディスプレイ装置
３１第１層表示部
３２第２層表示部
３３ジェル層
３５車両
３５ａ車両イラスト画像
５２ａ、５２ｂ３次元物体画像

Claims

撮影範囲が少なくとも一部重複する領域を有し前記重複する領域に存在する被写体に対する視線方向が異なる様に設置された第１及び第２の撮像手段と、前記車両に搭載され２以上の表示部を有する多重ディスプレイ装置であって第１層表示部と第２層表示部とが重ねて設けられ前記第１層表示部の表示内容が前記第２層表示部を透過し前記第２層表示部の表示内容と重ねて合わせて視認できる多重ディスプレイ装置と、前記第１の撮像手段の撮像画像を視点変換して前記第１層表示部に表示し前記第２の撮像手段の撮像画像を視点変換して前記第２層表示部に表示する画像処理手段とを備えたことを特徴とする監視システム。
前記画像処理手段は、前記第１層表示部に前記第１の撮像手段のイラストデータを表示すると共に前記第２層表示部に前記第２の撮像手段のイラストデータを表示することを特徴とする請求項１に記載の監視システム。
前記画像処理手段は、前記第１層表示部と前記第２層表示部との各表示内容を夫々前記第２層表示部と前記第１層表示部とに切り替えて表示することを特徴とする請求項１または請求項２に記載の監視システム。
前記画像処理手段は、半透明の前記第２層表示部の透過率を変化させることを特徴とする請求項１乃至請求項３のいずれかに記載の監視システム。