JP2003331383A - 画像処理方法及び物体表示装置 - Google Patents

Abstract

(57)【要約】 【課題】車両監視システム等において、危険走行車両等
の特定車両が実際の道路上のどの位置を走行しているの
かを、容易にかつ瞬時に認識できるようにする。 【解決手段】物体を異なる複数の方向から撮影する複数
の撮影手段（カメラ１Ａ，１Ｂ）と、それら撮影手段に
て撮影された複数の映像信号から物体の３次元復元デー
タを視体積交差法に基づいて作成する３次元復元データ
作成部２１と、作成された３次元復元データのうち、所
定の物体写像と重複している部分以外の３次元復元デー
タを削除して表示データを作成する補正処理部２２と、
その補正後の表示データを、前記撮影手段で撮影された
映像上に合成して表示部（表示装置５）の画面上に表示
する表示制御部３を設けて、車両等の物体を立体的に監
視できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば高速道路や
一般道の車両監視システムなどに用いられる画像処理方
法及び物体表示装置に関する。

【０００２】

【従来の技術】従来、高速道路や一般道などの道路を監
視するシステムとしては、道路の様子をカメラなどで撮
影し、その映像を遠隔地で監視する遠隔監視方法が用い
られている。そのような監視システムとして、例えば、
道路や交差点の複数の位置にカメラを設置して車両を撮
影し、そのカメラ映像を管制室や監視センターに伝送し
て複数のモニタに表示したり、あるいは１台のモニタに
複数のカメラ映像を割り当てて表示（マルチウィンドウ
表示）して監視するシステムが一般に知られている。ま
た、監視画像の表示の方法として、複数のカメラ映像を
数秒おきに順次切り替えて表示するという手法も採られ
ている。

【０００３】

【発明が解決しようとする課題】ところで、従来の監視
システムにおいては、一般に、複数のカメラ映像の一部
が重複するように各カメラを設置することで、車両を監
視しやすくしているが、カメラ映像の一部を重複させる
だけでは、危険走行車両などの監視車両が実際の道路上
のどの位置を走行しているのかを、瞬時に認識すること
が難しいという問題がある。特に、高速道路などの広域
監視や、交差点・分合流点などの複雑な交通流れ領域の
監視において車両位置などを認識することは非常に困難
である。また、複数のカメラ映像の一部を重複させて表
示しても、監視員は複数のモニタ画面を監視しなければ
ならず、監視作業に多くの労力を要する。

【０００４】さらに、従来の監視システムでは、カメラ
にて撮影した映像をそのままモニタの画面上に表示して
いるだけであるので、車間距離が把握し難い、監視
車両が大型車両などに隠れてしまう、遠くの車両は認
識し難いなどの問題がある。また、交差点・分合流点な
どにおいては、複数のカメラの向き（視野の向き）が一
方向ではなく、異なる方向に混在しているので、車両が
走行している位置を把握することが非常に困難である。

【０００５】なお、以上のような問題は、道路上を走行
する車両の監視のみならず、例えば建物の通路の監視等
においても同様なことが言える。

【０００６】本発明はそのような実情に鑑みてなされた
もので、例えば車両監視システムにおいて、危険走行車
両などの特定車両が実際の道路上のどの位置を走行して
いるのかを、容易にかつ瞬時に認識することが可能な画
像処理方法及び物体表示装置の提供を目的とする。

【０００７】

【課題を解決するための手段】本発明の画像処理方法
は、物体を異なる方向から撮影した複数の映像信号を用
い、その各映像信号から物体の３次元復元データを視体
積交差法に基づいて作成する処理と、作成された３次元
復元データのうち、所定の物体写像と重複している部分
以外の３次元復元データを削除して表示データを作成す
る処理を有することによって特徴づけられる。

【０００８】本発明の画像処理方法によれば、視体積交
差法に基づいて複数の映像信号から物体の３次元表示デ
ータを作成しているので、例えば車両監視システムに適
用することにより、車両を立体的に監視することがで
き、車両同士の位置関係を容易にかつ瞬時に把握するこ
とができる。さらに、複数のカメラで撮影した物体写像
が重複していることを条件として３次元復元データの補
正を行っているので、物体の復元に必要なカメラ台数を
削減できる。

【０００９】本発明の物体表示装置は、物体を異なる複
数の方向から撮影する複数の撮影手段と、それら撮影手
段にて撮影された複数の映像信号から物体の３次元復元
データを視体積交差法に基づいて作成する３次元復元デ
ータ作成部と、作成された３次元復元データのうち、所
定の物体写像と重複している部分以外の３次元復元デー
タを削除して表示データを作成する補正処理部と、その
補正後の表示データを、前記撮影手段で撮影された映像
上に合成して表示部の画面上に表示する表示制御部を備
えていることによって特徴づけられる。

【００１０】本発明の物体表示装置は、車両を異なる複
数の方向から撮影する複数の撮影手段と、それら撮影手
段にて撮影された複数の映像信号から車両の３次元復元
データを視体積交差法に基づいて作成する３次元復元デ
ータ作成部と、作成された３次元復元データのうち、所
定の車両写像と重複している部分以外の３次元復元デー
タを削除して表示データを作成する補正処理部と、その
補正後の表示データを、前記撮影手段で撮影された映像
上に合成して表示部の画面上に表示する表示制御部を備
えていることによって特徴づけられる。

【００１１】この発明の物体表示装置において、補正処
理部で実行する処理として、前記３次元復元データのう
ち写像上の道路面の車両写像と重複している部分以外の
車両写像データを削除して表示データを作成するという
処理を挙げることができる。

【００１２】以上の各発明の物体表示装置によれば、視
体積交差法に基づいて複数の映像信号から物体（車両）
の３次元表示データを作成しているので、例えば車両監
視システムに適用することにより、車両を立体的に監視
することができ、車両同士の位置関係を容易にかつ瞬時
に把握することができる。さらに、複数のカメラで撮影
した物体写像が重複していることを条件として３次元復
元データの補正を行っているので、物体（車両）の復元
に必要なカメラ台数を削減できる。

【００１３】本発明の物体表示装置において、表示部に
表示する３次元表示画像の視点を変更する機能を表示制
御部に付加しておいもよい。このようにすれば、表示部
に表示する３次元画像の視点を任意に変更することがで
きるので、カメラの設置位置に関係なく、監視員が見や
すくて監視に最も適した視点位置から物体映像（例えば
道路上の車両移動）を表示することができる。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００１５】図１は本発明の実施形態の構成を示すブロ
ック図である。

【００１６】図１に示す実施形態は、車両監視システム
に用いる物体表示装置であって、２台のカメラ１Ａ，１
Ｂ、３次元復元データ作成部２１と補正処理部２２から
なる画像処理装置２、表示制御部３、表示操作盤４、Ｃ
ＲＴやＬＣＤなどの表示装置５を主体として構成されて
いる。

【００１７】２台のカメラ１Ａ，１Ｂは、例えば図２に
示すように、道路Ｒの中央分離帯の上空に設置される。
また、画像処理装置２、表示制御部３、表示操作盤４及
び表示装置５は、高速道路などの管制室あるいは監視セ
ンター（図示せず）などに設置される。

【００１８】各カメラ１Ａ，１Ｂにて撮影された映像信
号は、監視センター等に設置の画像処理装置２に伝送さ
れ、３次元復元データ作成部２１に入力される。

【００１９】３次元復元データ作成部２１は、２台のカ
メラ１Ａ，１Ｂによって撮影された各映像信号を、視体
積交差法に基づいて処理して３次元復元データを作成す
る。

【００２０】補正処理部２２は、３次元復元データ作成
部２１にて作成された３次元復元データを補正して車両
の表示データを作成する。それら３次元復元データ作成
部２１及び補正処理部２２で実行する画像処理の詳細は
後述する。

【００２１】表示制御部３は、画像処理装置２において
作成された車両の表示データと、カメラ１Ａ，１Ｂによ
って撮影されたカメラ映像データとを、表示装置５の画
面上に合成して表示する。

【００２２】また、表示制御部３は、マウスやキーボー
ド等の表示操作盤４からの指示に応じて、表示装置５に
表示する３次元画像の視点変更する機能（表示方向の回
転）や、３次元画像を部分的に拡大して表示する機能な
どを備えている。なお、３次元表示画像の視点変更処理
や拡大処理などは、３次元物体表示（３Ｄ映像表示）に
おいて一般に用いられている技術であるので、ここでは
その詳細な説明は省略する。

【００２３】次に、本実施形態に用いる画像処理方法を
各項目ごとに詳細に説明する。

【００２４】［カメラ配置と映像重複範囲］図２に示す
ように、道路Ｒの中央分離帯上空に設置された２台のカ
メラ１Ａ，１Ｂにより映像を撮影する。２台のカメラ１
Ａ，１Ｂは、互いに対向した状態でかつ撮影が重複する
範囲が約１００ｍとなるように設置されており、その重
複範囲を中心として車両の復元を行う。各カメラ１Ａ，
１Ｂの撮影画像の一例を図３（Ａ）及び（Ｂ）に示す。

【００２５】［世界座標系への変換（ｚ平面へ投影）］
まず、各カメラ１Ａ，１Ｂの映像信号を処理するにあた
り、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）を導入する。世界
座標系は、図４に示すように、カメラ１Ａ直下の道路白
線Ｌ上を原点とし、道路面と鉛直方向にＺｗ軸、カメラ
１Ｂ方向の線路方向をＹｗ軸、車線横断面をＸｗ軸とす
る。

【００２６】世界座標系への変換は、各カメラ１Ａ，１
Ｂの映像信号をＴｓａｉの手法によって変換パラメータ
を求める。その後、２つの変換画像の差が少なくなるよ
うに変換パラメータを調節する。世界座標系に変換した
変換画像（Ｚｗ＝０）の一例を図５（Ａ）及び（Ｂ）に
示す。

【００２７】［視体積交差法による物体形状の復元］物
体形状の復元処理は、（１）車両の抽出処理→（２）Ｚ
ｗ平面への投影処理→（３）カメラの統合処理→（４）
３Ｄデータの補正処理の順で実施する。その各処理を具
体的に説明する。

【００２８】（１）車両の抽出処理 車両抽出は、例えば背景差分法に基づいて実行し、対象
とする車両だけを切り抜くという処理にて行う。車両部
分の抽出画像の一例を図６（Ａ）及び（Ｂ）に示す。

【００２９】（２）Ｚｗ平面への投影処理 車両２値画像をＺｗ＝ｎ平面に投影する。投影処理を行
うＺｗ平面の数は、高さ成分の分解能に相当する。この
例では、２００ｍｍの分解能を持たせて、高さ０ｍｍか
ら５０００ｍｍまでの各２６枚の投影画像を作成する。
なお、投影処理には前記した変換パラメータを用いる。

【００３０】Ｚｗ＝０平面で変換画像の一例を図７
（Ａ）及び（Ｂ）に示す。車両の高さに相当する部分
が、横長の投影像を形成している。これは車両が隠蔽し
ている範囲に相当し、高い車両及びカメラよりも遠方に
ある車両がより長くなっている。

【００３１】（３）カメラの統合処理（物体存在可能空
間の構成） Ｚｗ平面ごとに２つのカメラ１Ａ，１Ｂの重複部分（論
理積）のデータのみを抽出し、物体存在可能空間Ｓを構
成する（視体積交差法による物体復元）。その物体存在
可能空間Ｓついて各画素の最大Ｚｗを濃度で表わした画
像の一例を図８に示す。

【００３２】（４）３Ｄデータの補正処理 本実施形態では、カメラ１Ａ，１Ｂの台数を２台として
いるので、物体存在可能空間Ｓ（復元された物体）は、
実際の車長よりも長くなる。これは、カメラ台数が２台
と少ないため、物体の形状を近似するまで空間を狭めら
れないことによる。そこで、本発明では、車両形状（箱
物体）の特徴を利用して加工を行い、より車両に近い形
状が得られるように補正するという処理を実施する。そ
の処理法を以下に説明する。

【００３３】まず、前記したカメラ統合により構成した
物体存在可能空間Ｓを側面から見ると５角形の形をして
いる（図９（Ａ））。ここで車両は、道路上に面した立
方体の組み合わせと考えられるから、道路面に接してい
ない部分（地上から浮いている部分）を切り取ることが
できる。具体的には、図９（Ａ）及び（Ｂ）に示すよう
に、物体存在可能空間Ｓのうち、道路面に接している部
分つまりＺｗ＝０平面（投影面）に接触している部分以
外の車両写像データ（写像上の道路面の車両写像と重な
る部分以外の車両写像データ）を削除するという補正を
行って車両の表示データを作成する（図１０）。

【００３４】なお、この例の補正処理では、道路面に接
している部分以外の車両写像データを削除するという処
理を行っているが、これに限られることなく、例えば、
道路面から所定高さに位置する面に接している部分以外
の車両写像データを削除するという処理を行ってもよ
い。

【００３５】そして、このようにして作成した車両の表
示データを、表示装置５の画面上に、カメラ１Ａ，１Ｂ
にて撮像された映像データに合成して表示することによ
り、図１１に示すような３次元表示画像を得ることがで
きる。なお、図１１の表示例には、３次元車両拡大画像
と平面画像をマルチウィンド方式で表示した例を示して
いる。

【００３６】以上のように、本実施形態によれば、道路
上を走行する車両を３次元復元化して表示するので、車
両を立体的に監視することができ、車両同士の位置関係
を容易にかつ瞬時に把握することができる。

【００３７】また、２台のカメラ１Ａ，１Ｂ間の重複映
像を統合して表示することができるので、１つのモニタ
画面を監視するだけで、危険走行車両などの特定車両の
道路上の位置などを容易に認識することができる。従っ
て、従来のように監視員が複数のモニタを監視するとい
うような作業を行う必要がなく、監視作業の労力を軽減
できる。さらに、複数のカメラ１Ａ，１Ｂの道路上の車
両写像が重複していることを条件として３次元復元デー
タの補正を行っているので、復元に必要なカメラ台数を
最小限（例えば２台）に抑えることができる。

【００３８】しかも、本実施形態においては、表示操作
盤４の操作により、表示装置５に表示する３次元の映像
データの視点を任意に変更することが可能であるので、
カメラ１Ａ，１Ｂの設置位置に関係なく、監視員が見や
すくて監視に最も適した視点位置から道路上の車両移動
を表示することができるという利点もある。

【００３９】なお、以上の実施形態では、道路Ｒ上のあ
る１個所の撮影範囲Ｆについて説明しているが、実際に
車両監視システムを構築する場合、複数台のカメラの組
み合わせを１箇所の撮影範囲Ｆとして、道路Ｒ上の複数
の撮影範囲Ｆのカメラ映像を捉えるようにする。

【００４０】以上の実施形態では、１つの撮影範囲Ｆに
用いるカメラ台数を２台としているが、これに限られる
ことなく、そのカメラ台数は３台以上の任意複数台であ
ってもよい。ただし、復元に必要なカメラ台数を削減す
るという目的を達成するには、カメラ台数は２または３
台程度であることが好ましい。

【００４１】以上の実施形態では、可視光線カメラを用
いているが、本発明はこれに限られることなく、例えば
赤外線カメラまたは２次元方向走査方式の距離センサな
ど、２次元の映像信号を出力することのできる他の各種
の撮像手段を用いてもよい。また、それら可視光線カメ
ラ、赤外線カメラ、距離センサなどを組み合わせて物体
表示装置を構成してもよい。

【００４２】ここで、本発明の画像処理方法及び物体表
示装置は、車両監視システムのほか、例えば建物の通路
の監視あるいは駐車場の車両の監視など、各種物体の監
視システムに適用することができる。

【００４３】

【発明の効果】以上説明したように、本発明の画像処理
方法によれば、物体を異なる方向から撮影した複数の映
像信号から物体の３次元復元データを視体積交差法に基
づいて作成し、その作成された３次元復元データのう
ち、所定の物体写像と重複している部分以外の３次元復
元データを削除して表示データを作成しているので、例
えば車両監視システムに適用することにより、車両を立
体的に監視することができ、車両同士の位置関係を容易
にかつ瞬時に把握することができる。さらに、複数のカ
メラによる物体写像が重複していることを条件として３
次元復元データの補正を行っているので、物体の復元に
必要なカメラ台数を削減できる。

【００４４】本発明の物体表示装置によれば、物体を異
なる複数の方向から撮影する複数の撮影手段と、それら
撮影手段にて撮影された複数の映像信号から物体の３次
元復元データを視体積交差法に基づいて作成する３次元
復元データ作成部と、作成された３次元復元データのう
ち、所定の物体写像と重複している部分以外の３次元復
元データを削除して表示データを作成する補正処理部
と、その補正後の表示データを、前記撮影手段で撮影さ
れた映像上に合成して表示部の画面上に表示する表示制
御部を設けて、複数の映像信号から視体積交差法に基づ
いて物体の３次元表示データを作成するように構成して
いるので、例えば車両監視システムに適用することによ
り、車両を立体的に監視することができ、車両同士の位
置関係を容易にかつ瞬時に把握することができる。さら
に、複数のカメラによる物体写像が重複していることを
条件として３次元復元データの補正を行っているので、
物体の復元に必要なカメラ台数を削減できる。

【００４５】本発明の物体表示装置において、表示部に
表示する３次元表示画像の視点を変更する機能を表示制
御部に付加しておけば、表示部に表示する３次元画像の
視点を任意に変更することができるので、カメラの設置
位置に関係なく、監視員が見やすい監視に最も適した視
点位置から物体映像（例えば道路上の車両移動）を表示
することができる。

【図面の簡単な説明】

【図１】本発明の実施形態の構成を示すブロック図であ
る。

【図２】カメラ配置と映像重複範囲を示す図である。

【図３】カメラ画像の一例を模式的に示す図である。

【図４】本発明の実施形態の画像処理に採用する世界座
標系を示す図である。

【図５】世界座標系への変換画像の一例を模式的に示す
図である。

【図６】車両を抽出した画像の一例を模式的に示す図で
ある。

【図７】Ｚｗ＝０平面への投影画像の一例を模式的に示
す図である。

【図８】視体積交差法にて構成した物体存在可能空間の
画像の一例を模式的に示す図である。

【図９】物体存在可能空間の切取処理（補正処理）の説
明図である。

【図１０】切取処理後の画像の一例を模式的に示す図で
ある。

【図１１】表示装置の表示例を模式的に示す図である。

【符号の説明】

１Ａ，１Ｂ カメラ ２ 画像処理装置 ２１ ３次元復元データ作成部 ２２ 補正処理部 ３ 表示制御部 ４ 表示操作盤 ５ 表示装置 Ｆ 道路上の撮影範囲 Ｓ 物体存在可能空間 Ｒ 道路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｕ Ｆターム(参考） 5B057 AA16 AA19 BA02 CA08 CA13 CA16 CC03 CE08 CH08 CH18 DA07 DA12 DA16 DB03 DB09 DC08 DC09 DC32 5C054 AA01 EA05 FD01 FE13 HA26 5H180 AA01 CC04

Claims (5)

【特許請求の範囲】
1. 【請求項１】 物体を異なる方向から撮影した複数の映
   像信号を処理する方法であって、複数の映像信号から物
   体の３次元復元データを視体積交差法に基づいて作成す
   る処理と、作成された３次元復元データのうち、所定の
   物体写像と重複している部分以外の３次元復元データを
   削除して表示データを作成する処理を有することを特徴
   とする画像処理方法。
2. 【請求項２】 物体を異なる複数の方向から撮影する複
   数の撮影手段と、それら撮影手段にて撮影された複数の
   映像信号から物体の３次元復元データを視体積交差法に
   基づいて作成する３次元復元データ作成部と、作成され
   た３次元復元データのうち、所定の物体写像と重複して
   いる部分以外の３次元復元データを削除して表示データ
   を作成する補正処理部と、その補正後の表示データを、
   前記撮影手段で撮影された映像上に合成して表示部の画
   面上に表示する表示制御部を備えていることを特徴とす
   る物体表示装置。
3. 【請求項３】 車両を異なる複数の方向から撮影する複
   数の撮影手段と、それら撮影手段にて撮影された複数の
   映像信号から車両の３次元復元データを視体積交差法に
   基づいて作成する３次元復元データ作成部と、作成され
   た３次元復元データのうち、所定の車両写像と重複して
   いる部分以外の３次元復元データを削除して表示データ
   を作成する補正処理部と、その補正後の表示データを、
   前記撮影手段で撮影された映像上に合成して表示部の画
   面上に表示する表示制御部を備えていることを特徴とす
   る物体表示装置。
4. 【請求項４】 請求項３記載の物体表示装置において、
   前記補正処理部は、前記３次元復元データのうち、写像
   上の道路面の車両写像と重複している部分以外の車両写
   像データを削除して表示データを作成することを特徴と
   する物体表示装置。
5. 【請求項５】 前記表示制御部は、表示部に表示する３
   次元表示画像の視点を変更する機能を備えていることを
   特徴とする請求項２〜４のいずれかに記載の物体表示装
   置。