JP2004325186A - 計測システムおよびその方法 - Google Patents

Abstract

【課題】１台のカメラで撮影した画像に基づいて車両の３次元位置情報を計測することができる計測システムを提供する。
【解決手段】撮影手段１１であるビデオカメラ１を用いて車両を撮影し、その撮影画像を計測装置２へ出力する。計測装置２においては、仮想空間作成手段２１が３次元仮想空間を作成し、視野画像作成手段２３が３次元仮想空間の任意の視点における視野画像を作成する。画像重ね合わせ手段２５は、撮影手段１１からの撮影画像と視野画像作成手段２３からの視野画像とを、視点を一致させた状態で重ね合わせて表示する。車両決定手段２７は、撮影画像における車両を視野画像の上に投影して、視野画像の投影車両を決定する。位置情報記録手段２９は、投影車両に基づいて、３次元仮想空間の道路上に存在する車両の位置情報を記録する。
【選択図】 図１

Description

【０００１】
【発明の技術分野】
この発明は、撮影画像に基づいて計測対象物の物理量を計測する計測システムおよびその方法に関する。特に、走行中の車両を撮影した撮影画像に基づいて、当該車両の位置情報を計測する計測システムおよびその方法に関する。
【０００２】
【従来の技術および課題】
従来、計測対象物の位置情報を計測する方法として、ステレオ視による計測方法が知られている。ステレオ視による計測方法では、２ 台のカメラで計測対象物を撮影し、それぞれのカメラで得られた２つの撮影画像に基づいて三角測量の原理で計測対象物の位置を計測する。
【０００３】
上記のようなステレオ視による計測方法を利用して、道路を走行する車両における走行軌跡を取得することが可能である。この場合、２台のビデオカメラで車両を撮影し、それぞれのビデオカメラで得られた２つのフレーム画像に基づいて三角測量の原理で車両の位置を計測し、時刻の異なる複数のフレームで得られた位置をつなぎ合わせることによって、３次元空間における車両の走行軌跡を計測することができる。
【０００４】
しかしながら、上記のようなステレオ視による計測方法を用いるかぎり、少なくとも２つのカメラが必要となり、システム構成が複雑化するという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたものであって、システム構成を簡単にすることのできる計測システムを提供することを目的とする。
【０００６】
なお、２台のカメラの撮影方向を制御して所定の時間間隔で計測した移動体の３次元位置座標をつなぎ合わせ、移動体の移動軌跡にかかる３次元位置計測を行う３次元位置計測システムが知られている（例えば、特許文献１参照。）。
【０００７】
【特許文献１】
【０００８】
特開平２００１−３４９７０７号公報。
【０００９】
【課題を解決するための手段および発明の効果】
（１）この発明にかかる計測システムにおいては、実在空間を走行する車両を撮影してビデオ画像を出力する撮影手段と、車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、前記視野画像の視点と前記ビデオ画像のフレームの視点とを一致させ、前記視野画像と前記ビデオ画像とを重ね合わせる画像重ね合わせ手段と、前記ビデオ画像上に表示された車両と重なりあう前記視野画像の領域を、前記仮想空間における計測車両として決定する車両決定手段と、前記ビデオ画像上に表示された車両と重なりあう前記視野画像の領域がユーザによって指定されると、当該領域を前記仮想空間における計測車両として決定する車両決定手段と、を備え、前記ビデオ画像の複数のフレームにおいて記録した車両の３次元位置情報をつなぎ合わせることにより当該車両の走行軌跡を計測することを特徴としている。
【００１０】
したがって、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することができ、システム構成を簡単にすることができる。
【００１１】
（２）この発明にかかる計測システムにおいては、実在空間に位置する計測対象物を撮影して撮影画像を出力する撮影手段と、前記実在空間とほぼ同一の形状を成す仮想空間を作成する仮想空間作成手段と、前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、前記視野画像と前記撮影画像とを同一の視点で重ね合わせる画像重ね合わせ手段と、前記撮影画像における計測対象物と重ね合わされた前記視野画像の所定領域に基づいて前記計測対象物の物理量を計測する計測手段と、を備えたことを備えたことを特徴としている。
【００１２】
したがって、１つのカメラで撮影した画像に基づいて、計測対象物の物理量を計測することができ、システム構成を簡単にすることができる。
【００１３】
（３）（４）この発明にかかる計測装置またはプログラムによって実現されるコンピュータにおいては、計測対象物が位置する実在空間とほぼ同一の形状を成す仮想空間を作成する仮想空間作成手段と、前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、前記視野画像と前記撮影画像とを同一の視点で重ね合わせる画像重ね合わせ手段と、前記撮影画像の計測対象物と重ね合わせた前記視野画像の所定領域に基づいて前記計測対象物の物理量を計測する計測手段と、を備えたことを特徴としている。
【００１４】
したがって、１つのカメラで撮影した画像に基づいて、計測対象物の物理量を計測することができ、システム構成を簡単にすることができる。
【００１５】
（５）この発明にかかる計測システム、計測装置またはプログラムにおいては、計測対象物は、移動体であることを特徴としている。
【００１６】
したがって、１つのカメラで撮影した画像に基づいて、移動体の位置に関する物理量を計測し、この位置に関する物理量に基づいて移動体に関する移動軌跡や移動速度等を計測することができる。
【００１７】
（６）この発明にかかる計測システム、計測装置またはプログラムにおいては、計測対象物が位置する実在空間は３次元空間であって、仮想空間作成手段は３次元仮想空間を作成することを特徴としている。
【００１８】
したがって、１つのカメラで撮影した画像に基づいて、３次元空間における計測対象物の物理量を計測することができ、システム構成を簡単にすることができる。
【００１９】
（７）この発明にかかる計測システム、計測装置またはプログラムにおいては、撮影画像は、３次元仮想空間における２次元平面上に表示されることを特徴としている。
【００２０】
したがって、撮影画像を表示する処理と視野画像を表示する処理を分ける必要がなく、撮影画像と視野画像と重ね合わせる処理を３次元仮想空間を作成するアプリケーション上で同時に行うことができる。これにより、２次元の画像である撮影画像を３次元仮想空間に容易に配置することができる。
【００２１】
（８）この発明にかかる計測システム、計測装置またはプログラムにおいては、計測手段は、撮影画像における計測対象物と重ね合わされた視野画像の所定領域に基づいて計測対象物の位置情報を計測することを特徴としている。
【００２２】
したがって、１つのカメラで撮影した画像に基づいて、３次元空間における計測対象物の位置情報を計測することができる、システム構成を簡単にすることができる。
【００２３】
（９）この発明にかかる計測方法においては、計測対象物が位置する実在空間とほぼ同一の形状を成す仮想空間を作成し、前記仮想空間における視野画像を作成するときの視点と、前記実在空間における計測対象物を撮影したときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせ、前記撮影画像における計測対象物に基づいて、前記仮想空間における前記計測対象物の物理量を計測することを特徴としている。
【００２４】
したがって、１つのカメラで撮影した画像に基づいて、計測対象物の物理量を計測することができ、システム構成を簡単にすることができる。
【００２５】
（１０）この発明にかかる計測システムにおいては、実在空間に位置する車両を撮影して撮影画像を出力する撮影手段と、車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、前記仮想空間における視野画像を作成するときの視点と、前記実在空間における車両を撮影するときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定する車両決定手段と、前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録する位置情報記録手段と、を備えたことを特徴としている。
【００２６】
したがって、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することができ、システム構成を簡単にすることができる。
【００２７】
（１１）（１２）この発明にかかる計測装置またはプログラムによって実現されるコンピュータにおいては、車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、前記仮想空間における視野画像を作成するときの視点と、前記実在空間における車両を撮影するときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定する車両決定手段と、前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録する位置情報記録手段と、を備えたことを特徴としている。
【００２８】
したがって、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することができ、システム構成を簡単にすることができる。
【００２９】
（１３）この発明にかかる計測方法においては、車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成し、前記仮想空間における視野画像を作成するときの視点と、前記実在空間における計測対象物を撮影したときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせ、前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定し、前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録することを特徴としている。
【００３０】
したがって、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することができ、システム構成を簡単にすることができる。
【００３１】
（１４）この発明にかかる計測装置においては、計測対象物の存在する空間と同一の座標系を有する仮想空間における視野画像を作成する視野画像作成手段と、前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、を備え、前記視野画像の視点と前記撮影画像上の計測対象物とを結ぶ直線が、前記仮想空間を構成する３次元モデルと交差する位置に基づいて、前記計測対象物の位置情報を決定することを特徴としている。
【００３２】
したがって、１つの撮影画像に基づいて計測対象物の位置情報を計測することができる。
【００３３】
（１５）この発明にかかる計測方法においては、計測対象物の存在する空間と同一の座標系を有する仮想空間を作成し、前記仮想空間を表示する視野画像と、前記計測対象物を撮影した撮影画像とを重ね合わせて表示させることにより、前記計測対象物の位置情報を決定することを特徴としている。
【００３４】
したがって、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することができ、システム構成を簡単にすることができる。
【００３５】
この発明において、「物理量」とは、計測対象物にかかる物理的な特性を表すものであり、例えば、位置情報、速度もしくは加速度等のように計測対象物の運動に関する物理量、または、形状、大きさもしくは長さ等のように計測対象物の外見的特徴に関する物理量がこれに該当する。
【００３６】
「ビデオ画像」とは、ビデオカメラで撮影した画像であって、複数のフレームを有する動画像である。
【００３７】
【発明の実施の形態】
以下、本発明における実施形態について、図面を参照して説明する。
【００３８】
１．第１の実施形態
本実施形態においては、計測対象物が道路を走行する車両であり、当該車両の３次元位置情報を計測する場合の例について説明する。
【００３９】
１−１．機能ブロック図
図１に、本発明を実現する計測システムの概略構成を機能ブロック図で示す。この図において、ビデオカメラ１は、計測対象物である車両を撮影して撮影画像を出力する撮影手段１１を備えている。
【００４０】
また、計測装置２は、３次元仮想空間を作成する仮想空間作成手段２１と、３次元仮想空間上の任意の視点における視野画像を作成する視野画像作成手段２３と、撮影手段１１によって出力された撮影画像と視野画像作成手段２３によって作成された視野画像とを重ね合わせて表示する画像重ね合わせ手段２５と、撮影画像の車両を視野画像に投影することによって視野画像における投影車両を決定する車両決定手段２７および投影車両が仮想空間に存在する場合の位置情報に基づいて車両の３次元位置情報を計測する計測手段２９とを備えている。なお、車両決定手段２７および位置情報記録手段２９を合わせてたものを計測手段３０とする。
【００４１】
１−２．処理の概要
本実施形態における処理の概要を以下に示す。撮影手段１１は、実際に道路上を走行している車両を撮影し、撮影画像を計測装置２に出力する。計測装置２において、仮想空間作成手段２１は、予め記録されている３次元データを用いて車両が走行している道路の形状とほぼ同一の形状を有する３次元仮想空間を作成する。視野画像作成手段２３は、仮想空間作成手段２１が作成した３次元仮想空間の任意の視点からの視野画像を作成する。
【００４２】
画像重ね合わせ手段２５は、撮影手段１１から出力された撮影画像と視野画像作成手段２３が作成した視野画像とを重ね合わせて表示する。このとき、撮影画像を撮影したときの実在空間における視点と、視野画像を作成するときの３次元仮想空間における視点とが一致するように２つの画像を重ね合わせる。
【００４３】
図１ａは、上記の状態を、計測装置２の３次元仮想空間３５を用いて表現した場合の図である。撮影手段１１から出力された撮影画像３３は、３次元仮想空間３５上において２次元平面の４角形ポリゴン上に表示される。
【００４４】
視野画像を作成する視点３１は、実在空間において撮影画像３３を撮影した視点に対応する位置にある。これにより、撮影画像３３の道路形状と視野画像の道路形状が重なり合って表示されることになる。
【００４５】
ユーザは、撮影画像３３と視野画像とが重ね合わされた画面上で、３次元仮想空間上に表示されているワイヤーフレーム３７にマウスポインタ４０を合わせ、これをドラッグして移動させる。画面上において、ワイヤーフレーム３７が撮影画像３３に表示されている車両３９と重なって見えるようになると、ユーザが車両決定の操作を行う。これを受けて、車両決定手段２７は、ワイヤーフレーム３７の位置を投影車両の位置として決定する。
【００４６】
位置情報記録手段２９は、このときのワイヤーフレーム３７で示された投影車両の位置を車両の位置として記録する。
【００４７】
これにより、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することが可能となる。
【００４８】
よって、２つのカメラを必要とするステレオ計測を採用した場合に比べて、システム構成を簡単にすることができるとともに、計測時の誤差を減らして正確な３次元位置計測を行うことができる。
【００４９】
１−３．ハードウェア構成
図２に、計測装置２のハードウェア構成図を示す。この装置は、ディスプレイ２０１、ＣＰＵ２０３、メモリ２０５、キーボード／マウス２０７、ハードディスク２０９、ＣＤ−ＲＯＭドライブ２１１および通信回路２１５を備えている。通信回路２１５は、他の装置との接続を行うための回路であって、ビデオカメラ１と接続可能である。
【００５０】
ハードディスク２０９には、仮想空間作成手段２１、視野画像作成手段２３、画像重ね合わせ手段２５、車両決定手段２７および位置情報記録手段２９（計測手段３０）を実現するための計測プログラム２０９１が記録されている。このプログラムはＣＤ−ＲＯＭ２１１からインストールされたものである。また、ハードディスク２０９には、３次元仮想空間を作成する３次元モデルを定義するための３次元データが記録されている。
【００５１】
なお、ビデオカメラ１のハードウェア構成は、撮影した画像を記録してこれを出力することができる一般的なビデオカメラと同様である。
【００５２】
１−４．フローチャート
図３は、本実施形態において、計測システムを利用して車両の位置情報を計測する場合のフローチャートである。
【００５３】
１−４−１．ビデオカメラにおける処理
計測システムを利用するユーザは、ビデオカメラ１を、道路をある程度見渡せる位置に固定して設置する。設置場所においてビデオカメラ１は、計測車両が走行する道路を撮影し、動画像である撮影画像を記録媒体等に記録する（ステップＳ３０１）。なお、記録媒体には、ＤＶテープ、ハードディスクまたはＤＶＤ等のように、使用するビデオカメラに適した記録媒体を用いればよい。
【００５４】
１−４−２．計測装置における処理
ビデオカメラ１による撮影が終了すると、ユーザは、ビデオカメラ１を計測装置２に接続する。ビデオカメラ１は、記録媒体に記録された撮影画像のデータを計測装置２に出力する。（ステップＳ３０２）。例えば、ビデオカメラ１がデジタルビデオカメラの場合、ＵＳＢケーブル等で計測装置２とビデオカメラ１を接続し、ＤＶ形式の撮影画像のデータをＭＰＥＧ形式に変換して計測装置２に転送する。
【００５５】
図４に、ビデオカメラ１を用いて撮影された撮影画像の例を示す。なお、この撮影画像は、動画像として記録されている撮影画像の１フレームを示している。図４に示すように、この撮影画像は、紙面上方向に車両が走行する道路を中心にして撮影されたものである。
【００５６】
ビデオカメラ１からの出力を受けて、計測装置２は車両の撮影画像のデータを入力する（ステップＳ３１１）。例えば、車両が走行する道路を所定時間撮影して得られる動画像が記録されたＭＰＥＧ形式のデータが入力され、計測装置２のハードディスク２０９に記録される。
【００５７】
計測装置２において、ユーザは計測プログラム２０９１を起動させる。これを受けて、ＣＰＵ２０３は、撮影した車両が走行する道路の形状とほぼ同一の形状を有する３次元仮想空間を作成する（ステップＳ３１２）。この３次元仮想空間は、ハードディスク２０９に記録されている３次元データ３０に基づいて作成される。なお、３次元仮想空間の作成は、例えば、３ＤグラフィックスＡＰＩであるＯｐｅｎＧＬ（商標）やＤｉｒｅｃｔＸ（商標）等を用いて行えばよい。
【００５８】
図５に、３次元データ３０の例を示す。本実施形態においては、３次元仮想空間の表現に三角形ポリゴンを用いたサーフェイスモデルを採用している。したがって、図５に示す３次元データ３０には、各ポリゴンのポリゴンＩＤ５１とともに各頂点の座標（座標Ａ５３、座標Ｂ５５、座標Ｃ５７）と、当該ポリゴンの表面画像を表すテクスチャ５９が記録されている。なお、この３次元データは、図４において示した撮影画像における車両が走行する道路とほぼ同一の形状を表現できるものである。
【００５９】
計測装置２のＣＰＵ２０３は、作成した３次元仮想空間における所定の視点からの視野画像を作成する（ステップＳ３１３）。ここで、所定の視点とは、実在空間においてユーザがビデオカメラ１を設置した視点に対応する３次元仮想空間上の視点である。
【００６０】
図６に、上記において作成した視野画像の例を示す。図６に示すように、この視野画像は、紙面上方向に車両が走行する道路を中心にして作成されたものである。
【００６１】
計測装置２のＣＰＵ２０３は、ビデオカメラ１から入力した撮影画像の最初の１フレームと、ステップＳ３１３において作成した視野画像とを重ね合わせて表示する（ステップＳ３１４）。
【００６２】
このとき、撮影画像を撮影した実在空間の視点は、視野画像を作成した３次元仮想空間の視点に対応する位置にある。このため、撮影画像の２次元平面に映し出された道路形状と、視野画像の２次元平面に映し出された道路形状とは重ね合わせて表示させることができる。これにより、撮影画像の車両を、あたかも視野画像の３次元仮想空間に存在しているように表示することができる。
【００６３】
図７に、撮影画像と視野画像を重ね合わせて表示した場合の例を示す。図４で示した撮影画像７１を、図６で示した視野画像７３の上に重ねて表示すると重ね合わせ画像７５のようになる。重ね合わせ画像７５においては、撮影画像７１の道路形状と視野画像７３の道路形状がぴたりと重なり合っている。
【００６４】
このように、実在空間を２次元平面で表現した撮影画像と、仮想空間を２次元平面で表現した視野画像とを、同一の視点に基づいて作成して重ね合わせることにより、撮影画像上の車両が、視野画像にかかる３次元仮想空間に存在しているように表示させることができる。
【００６５】
１−４−２−１．計測処理
ＣＰＵ２０３は、撮影画像と視野画像とを重ね合わせて表示した後、撮影画像における車両についての３次元位置情報を計測する処理を行う（図３、ステップＳ３１５）。図８に、計測処理におけるフローチャートを示す。図１０は、この処理を行う場合にディスプレイ２０１に表示される画面である。
【００６６】
図１０において、ユーザが「＋１」フレーム変更ボタン１０１を１回押下すると、ＣＰＵ２０３はこれを受けて（ステップＳ８０１）、動画像である撮影画像のフレームを１つ前方に進めてディスプレイ２０１に表示する（ステップＳ８０２）。なお、ユーザが「−１」フレーム変更ボタン１００を押下すると、ＣＰＵ２０３は、撮影画像として表示するフレームを１つ後方に戻す。
【００６７】
上記の操作によって計測を開始する所望のフレームを表示させたユーザが「マーカー表示」ボタン１０３を押下すると、ＣＰＵ２０３はこれを受けて（ステップＳ８０３）、ディスプレイ２０１上の任意の位置にマーカーを表示する（ステップＳ８０４）。
【００６８】
このマーカーは、車両形状に近い立方体のワイヤーフレームであり、３次元仮想空間上に定義されるものである。本実施形態においては、ワイヤーフレームで示されるマーカー１００１は、視野画像の作成時において撮影画像を示す４角形ポリゴンの上に重なるように表示させている。
【００６９】
これにより、常にマーカー１００１をディスプレイ２０１上に表示させておくことができ、ワイヤーフレームのマーカー１００１の視認性を向上させることができる。なお、撮影画像を透過処理することによって、３次元仮想空間のワイヤーフレームを表示させるようにしてよい。
【００７０】
図１０においては、ワイヤーフレーム（破線）のマーカー１００１が画面中央に表示されており、ユーザがこのワイヤーフレームをマウス操作でドラッグすることによって移動させると、３次元仮想空間上における投影車両の位置が決定される。なお、このワイヤーフレームのマーカー１００１は、後述するように、３次元仮想空間における路面上に沿ってのみ移動させることができるようになっている。
【００７１】
ユーザが、画面中央のマーカー１００１をマウス操作で移動させると、ＣＰＵ２０３はこれを検知し（ステップＳ８０５）、マーカーの移動処理を行う（ステップＳ８０６）。
【００７２】
１−４−２−１−１．マーカーの移動処理
図９に、マーカーの移動処理におけるフローチャートを示す。また、図１１のＡに、ディスプレイ上のマウスポインタの位置に基づいて３次元仮想空間の位置を取得する方法を説明する図を示す。図１１のＢはワイヤフレームの拡大図である。
【００７３】
ＣＰＵ２０３は、図１０に示すマウスポインタ１００３のディスプレイ２０１における座標を取得する（ステップＳ９０１、図９）。ディスプレイ画面における座標は、図１１においては、撮影画像１１０上の座標ＰＳｓ（ｘｓ，ｙｓ）として表される。
【００７４】
図１１のＡにおいて、ビデオカメラ座標系のＹ軸は、撮影画像１１０の中心点において撮影画像１１０の平面と直交する。
【００７５】
ＣＰＵ２０３は、２次元の画面上の座標であるＰＳｓ（ｘｓ，ｙｓ）を、ビデオカメラ座標系の座標ＰＳｖ（ｘｖ，ｙｖ，ｚｖ）に座標系変換を行う（ステップＳ９０２）。
【００７６】
なお、図１１のＡに示すように、ビデオカメラ座標系のＹ軸は、撮影画像１１０の中心点において撮影画像１１０の平面と直交し、ビデオカメラ座標系の原点と撮影画像１１０との距離は一定であることにより、この座標系変換は、２次元座標から３次元座標を取得する逆透視変換行列を用いて行うことができる。
【００７７】
ＣＰＵ２０３は、取得したビデオカメラ座標系の座標ＰＳｖ（ｘｖ，ｙｖ，ｚｖ）をワールド座標系の座標ＰＳｗ（ｘｗ，ｙｗ，ｚｗ）に座標系変換を行う（ステップＳ９０３）。なお、この座標系変換は、ワールド座標系で定義されているビデオカメラの視点座標ＰＶに基づいて平行移動と回転を行えばよい。
【００７８】
ＣＰＵ２０３は、ワールド座標系において、ビデオカメラ座標系の原点ＰＶとマウスポインタの座標ＰＳｗ（ｘｗ，ｙｗ，ｚｗ）とを結ぶ直線Ｖ１を算出する（ステップＳ９０４）。なお、直線Ｖ１は一般的な２点を通る直線の方程式に基づいて算出すればよい。
【００７９】
ＣＰＵ２０３は、算出した直線Ｖ１と３次元モデルを形成する各ポリゴンとの間において交差判定を行い、直線Ｖ１との交差点ＰＭを有するポリゴン１１１を抽出する。なお、直線Ｖ１が複数のポリゴンと交差する場合には、ビデオカメラ座標系の原点ＰＶまたは座標ＰＳｗに最も近い交差点を有するポリゴンを採用する。
【００８０】
ＣＰＵ２０３は、ポリゴン上の交差点ＰＭに図１１のＢに示すワイヤーフレームの底面の中心点１１５がくるようにマーカーを移動させる（ステップＳ９０５）。なお、ポリゴン１１１と直線Ｖ１との交差判定においては、ポリゴン１１１を形成する頂点Ｐ１，Ｐ２，Ｐ６で定まる平面領域と直線の交差点があるか否かを判定すればよい。
【００８１】
このように、２次元座標であるマウスポインタの位置に基づいて３次元モデルを形成するポリゴン上の位置を特定することにより、ワイヤーフレームを、３次元仮想空間における路面上に沿ってのみ移動させることができる。
【００８２】
これにより、ワイヤーフレームを３次元仮想空間の路面を走行する車両とみなし、このワイヤーフレームに基づいて車両の３次元位置座標を計測することができる。
【００８３】
１−４−２−１−２．投影車両の位置決定
上述したように、ユーザのマウス操作によってワイヤーフレームのマーカー１００１が移動させられると、ＣＰＵ２０３は上記に示した「マーカーの移動処理」（ステップＳ８０６）を行い、即座にワイヤーフレームのマーカー１００１をマウスポインタの位置に移動させる。
【００８４】
ユーザのマウス操作によって、ワイヤーフレームのマーカー１００１が車両７０に重ねて表示されると、マーカー１００１の現在位置を投影車両の位置として決定するため、ユーザは車両決定ボタン１０５を押下する。
【００８５】
これを受けて（ステップＳ８０７、ＹＥＳ）、ＣＰＵ２０３はマーカー１００１の位置を投影車両の３次元位置座標としてハードディスク２０９に記録する（ステップＳ８０８）。
【００８６】
図１２に、この場合にハードディスク２０９に記録される投影車両の３次元位置座標にかかるデータを示す。このデータは、動画である撮影画像のフレーム番号１２０、投影車両であるワイヤーフレームの底面の中心点座標１２３および投影車両であるワイヤーフレームの方向１２５から構成される。
【００８７】
中心点座標１２３は、ワールド座標系における３次元仮想空間上の座標（ｘ，ｙ，ｚ）を表している。方向１２５は、図１１のＢに示したワイヤーフレームのローカル座標系による方向指定についての角度（ｈ（水平角），ｐ（上下角），ｒ（ねじれ角））を表している。
【００８８】
ここで、ローカル座標系とは、ワイヤーフレームの中心点１１７（図１１のＢ）を原点にとった場合の座標系である。すなわち、このローカル座標の各軸を中心として回転したときの角度がそれぞれｈ（水平角）、ｐ（上下角）、ｒ（ねじれ角）に該当する。すなわち、方向指定についての角度を決定することにより、道路を走行する車両の姿勢を表すことができる。
【００８９】
ユーザが、撮影画像における任意のフレーム間における同一車両について、上記の処理を繰り返すと、ＣＰＵ２０３は、選択された各フレーム毎に計測車両の３次元位置座標を記録する（ステップＳ８０１〜Ｓ８０９）。
【００９０】
例えば、ユーザは、図１０の「＋１」ボタン１０１を押下して計測を行うフレームを表示させ、マーカー表示ボタン１０３を押下してマーカーを表示させ、計測車両の位置にワイヤーフレームのマーカー１００１を重ね合わせて、車両決定ボタン１０５を押下する操作を繰り返す。
【００９１】
処理を行うフレームがなくなると、ユーザは、計測終了ボタン１０９を押下する。計測終了ボタン１０９の押下を受けて（ステップＳ８０９、ＹＥＳ）、ＣＰＵ２０３は、計測処理を終了する。
【００９２】
１−４−３．まとめ
以上に説明したように、実在空間を走行する車両を撮影した撮影画像と、実在空間の道路形状とほぼ同一の形状を有する３次元仮想空間の任意の視点からの視野画像とを作成し、これらの撮影画像と視野画像とを視点を一致させた状態で重ね合わせて表示し、撮影画像における車両の位置と視野画像の上に投影した投影車両の位置を一致させることにより、車両の３次元仮想空間上の位置情報を計測する。
【００９３】
これにより、１つのカメラで撮影した画像に基づいて、車両の３次元位置情報を計測することが可能となり、そのシステム構成を簡単にすることができ、計測時の誤差を減らして正確な３次元位置計測を行うことができる。
【００９４】
また、２台のビデオカメラを用いて走行車両の３次元位置計測を行う場合に比べて、ビデオカメラの撮影方向を制御する必要がなく、簡単なシステム構成で計測誤差の少ない３次元位置計測を行うことができ、１度の撮影で複数の車両の移動軌跡を計測することができる。
【００９５】
１−５．計測データの利用方法
以下、上記のような方法で計測した車両の３次元位置情報の利用方法について説明する。
【００９６】
本発明によって、撮影画像の１フレームにおける車両の３次元位置座標を取得することができる。よって、各フレームで得られた３次元位置座標をつなぎ合わせることにより、撮影画像における車両の走行軌跡を取得することができる。
【００９７】
したがって、任意の地点を走行する複数の車両について上記の計測処理を行うことにより、各車両の走行軌跡をそれぞれデータ化することができる。これにより、同一の地点を走行する車両についての走行軌跡データをシミュレータ等を用いて解析し、運転者挙動を調査することができる。この場合において、調査の対象となる例を以下に示す。
【００９８】
１−５−１．標識判読挙動調査
本発明は、交通工学の分野において、道路標識が運転者挙動にどのような影響を与えるかを調査する標識判読挙動調査に適用することができる。
【００９９】
例えば、「下り急勾配あり」の警戒標識の位置を変えて計測した場合において、各車両がどの地点で速度を落とし始めるのかを調査し、車両が最も安全に走行することのできる警戒標識の位置を算出することができる。
【０１００】
１−５−２．合流部挙動調査
本発明は、交通工学の分野において、合流部の道路形状が運転者挙動にどのような影響を与えるかを調査する合流部挙動調査に適用することができる。
【０１０１】
例えば、高速道路等における合流部の車線の長さを変えて計測した場合において、各車両がどの地点で合流を行うのかを調査し、車両が最も安全に合流することのできる合流部の車線の長さを算出することができる。
【０１０２】
１−５−３．事故多発地点における挙動調査
本発明は、交通事故の多発地点において、道路環境が運転者挙動にどのような影響を与えるかを調査する事故多発地点における挙動調査に適用することができる。
【０１０３】
例えば、交通事故の多発地点を通過する複数の車両を計測した場合において、各車両がどのような軌跡で、またどのような速度で走行するのかを調査し、事故が多発する原因を調査することができる。
【０１０４】
また、実際に事故が発生した場合の撮影画像が得られた場合においては、事故を起こした車両の走行軌跡等を計測して事故原因を調査し、その事故の経緯を３次元仮想空間上において別の視点から再現することもできる。
【０１０５】
２．その他の実施形態
上記実施形態においては、ビデオカメラ１にデジタル方式のビデオカメラを使用し、ＭＰＥＧ形式の撮影画像を計測装置２に入力するように構成したが、アナログ方式のビデオカメラを使用してもよい。この場合、計測装置２にインストールされたビデオキャプチャボード等を用いて、撮影画像を取り込めばよい。
【０１０６】
上記実施形態においては、撮影画像にビデオカメラで撮影した動画像を用いて計測しているが、スチールカメラで撮影した静止画像を用いて計測するように構成してもよい。なお、複数の静止画像に基づいて計測すれば、上記のように軌跡データを計測することが可能である。
【０１０７】
上記実施形態においては、ビデオカメラ１において撮影した撮影画像を一旦記録媒体に記録しておき、ビデオカメラ１と計測装置２を接続して、動画像である撮影画像を転送するように構成したが、ビデオカメラ１と計測装置２を常に通信可能にしておき、撮影画像を計測装置２に直接入力するように構成してもよい。これにより、ＤＶテープ等の記録媒体は不要となり、システム構成をより簡単にすることができる。
【０１０８】
また、ビデオカメラ１と計測装置２をインターネット等のネットワークを経由して接続できるように構成してもよい。これにより、ビデオカメラ１を設置する場所と、計測装置２を設置する場所とを別の場所にして構成することができる。すなわち、撮影地点から遠く離れた遠隔地からであっても計測処理を行うことができる。
【０１０９】
上記実施形態においては、所定の視点を設定してから３次元仮想空間における視野画像を作成するように構成したが、コンピュータに任意の視点における視野画像を作成して表示させ、その後ユーザの操作によって視野画像の視点を撮影画像の視点に一致させるように構成してもよい。
【０１１０】
また、上記の視野画像の視点を撮影画像の視点に一致させる処理をコンピュータによって自動的に行わせるように構成してもよい。例えば、撮影画像に表示されたセンターラインを画像認識によって認識させ、これを対応する視野画像のセンターラインにぴたりと重ね合わせることによって、視野画像の視点と撮影画像の視点とを合わせることができる。
【０１１１】
上記実施形態においては、ビデオカメラで車両を撮影した撮影画像から車両の位置情報を計測しているが、各フレームにおける位置情報とフレーム間隔に基づいて車両の走行速度や加速度を計測するようにしてもよい。例えば、２つのフレームにおけるそれぞれの位置座標を取得してその距離を算出し、当該距離をフレーム間隔の時間で除算して得られる値が、そのフレーム間における車両の平均速度である。また、フレーム間隔毎に速度の変化率を算出して加速度を得ることもできる。
【０１１２】
上記実施形態においては、計測対象物を道路を走行する４輪の車両である自動車としているが、これ以外のものであってもよい。例えば、道路を走行する２輪の車両であるオートバイを撮影した場合には、その走行歩行軌跡を３次元仮想空間のデータとして計測することができる。なお、この場合の方向指定についての角度（ｈ（水平角），ｐ（上下角），ｒ（ねじれ角））において、ｐ（上下角）は０であり、ｒ（ねじれ角）はカーブ走行時のバンク角である。例えば、歩行路を歩行する人間を撮影した場合には、各人間の歩行軌跡を３次元仮想空間のデータとして計測することができる。なお、この場合の方向指定についての角度（ｈ（水平角），ｐ（上下角），ｒ（ねじれ角））において、ｐ（上下角），ｒ（ねじれ角）は０であり、ｈ（水平角）は体の向きである。ただし体の向きが計測不要であれば、ｈ（水平角），ｐ（上下角），ｒ（ねじれ角）はすべて０である。
上記実施形態においては、投影車両を決定する車両決定手段２７および投影車両の位置情報を記録する位置情報記録手段２９を用いて計測システムを構成したが、これら車両決定手段２７および位置情報記録手段２９を計測手段３０（図１）として構成するようにしてもよい。この場合、計測手段３０は、撮影画像における計測対象物である車両等と重ね合わされた視野画像上の所定領域に基づいて、当該車両等の３次元仮想空間における位置情報などを計測する。
【０１１３】
上記実施形態においては、計測対象物を車両のように移動しているものを対象としているが、移動しないものであってもよい。例えば、建築物を撮影した撮影画像を用いた場合においては、その建築物の形状や大きさを３次元仮想空間のデータとして計測することができる。この場合、建築物を構成する各頂点をワイヤーフレーム等で指定することにより、車両の場合と同様に形状や大きさを３次元仮想空間において計測することができる。
【０１１４】
上記実施形態においては、ユーザが、ワイヤーフレームのマーカーを撮影画像上の車両に重ねることによって、投影車両を決定しているが、画像認識技術により自動的に投影車両を決定させるように構成してもよい。これにより、ビデオカメラを設置しておくだけで、実際に走行している車両の走行軌跡を自動的に計測することができ効率がよい。
【０１１５】
上記実施形態においては、ビデオカメラで車両を撮影した撮影画像から車両の位置情報を計測しているが、車両の大きさや形状を計測するようにしてもよい。例えば、車両に重ねて表示されるワイヤーフレーム自体の大きさを車両の大きさとすることができる。また、上記の画像認識技術を採用した場合において、そのワイヤーフレームの大きさにより、車両が乗用車かトラックか等を判断できるようにしてもよい。
【０１１６】
上記実施形態においては、１台のビデオカメラで車両を撮影した撮影画像から車両の位置情報を計測するように構成しているが、複数のビデオカメラで複数の地点を撮影した撮影画像から車両の位置情報を計測するように構成してもよい。
【０１１７】
図１３にこの場合の例を示す。この図においては、撮影画像１３０１、撮影画像１３０３および撮影画像１３０５は、実在空間におけるそれぞれ別の視点から撮影された撮影画像であり、３次元仮想空間内に配置されている。実在空間のそれぞれの視点に対応する３次元仮想空間の視点が、視点１３１，視点１３３および視点１３５に該当する。
【０１１８】
このような状態で、その撮影時刻を記録した複数のビデオカメラにおいて撮影された撮影画像を解析し、撮影時刻を考慮して撮影画像をつなぎ合わせて各車両の３次元位置情報を計測することにより、ある程度の距離を有する道路区間における車両の交通流を調査することができる。これにより、本発明は、交通工学の分野において、渋滞多発地点等における交通渋滞の発生メカニズムの解明に適用することができる。
【０１１９】
例えば、渋滞が発生した地点の前後の道路状況を撮影した撮影画像に基づいて調査することにより、渋滞の原因となる交通現象の解明を飛躍的に発展させることができる。
【０１２０】
上記実施形態においては、図１に示す機能を実現する為に、ＣＰＵを用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。
【０１２１】
なお、プログラムの一部の処理をさらに、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。
【図面の簡単な説明】
【図１】この発明の実施形態における機能ブロック図の例を示す図である。
【図１ａ】この発明の実施形態における撮影画像と視野画像を重ねて表示させる場合の例を示す図である。
【図２】この発明の実施形態における計測装置のハードウェア構成の例を示す図である。
【図３】この発明の実施形態における計測システムのフローチャートの例を示す図である。
【図４】この発明の実施形態における撮影画像の例を示す図である。
【図５】この発明の実施形態における３次元データの例を示す図である。
【図６】この発明の実施形態における視野画像の例を示す図である。
【図７】この発明の実施形態における撮影画像と視野画像を重ね合わせた画像の例を示す図である。
【図８】この発明の実施形態における計測処理のフローチャートの例を示す図である。
【図９】この発明の実施形態におけるマーカーの移動処理のフローチャートの例を示す図である。
【図１０】この発明の実施形態における計測処理の画面の例を示す図である。
【図１１】この発明の実施形態におけるマーカーの移動処理の例を示す図である。
【図１２】この発明の実施形態における投影車両の３次元位置座標データの例を示す図である。
【図１３】この発明の実施形態における複数のビデオカメラを使用した場合の例を示す図である。
【符号の説明】
１・・・ビデオカメラ
２・・・計測装置
１１・・・撮影手段
２１・・・仮想空間作成手段
２３・・・視野画像作成手段
２５・・・画像重ね合わせ手段
２７・・・車両決定手段
２９・・・位置情報記録手段
３０・・・計測手段

Claims (15)

1. ビデオ画像に基づいて、車両の走行軌跡を計測する計測システムであって、
   実在空間を走行する車両を撮影してビデオ画像を出力する撮影手段と、
   車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、
   前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、
   前記視野画像の視点と前記ビデオ画像のフレームの視点とを一致させ、前記視野画像と前記ビデオ画像とを重ね合わせる画像重ね合わせ手段と、
   前記ビデオ画像上に表示された車両と重なりあう前記視野画像の領域がユーザによって指定されると、当該領域を前記仮想空間における計測車両として決定する車両決定手段と、
   前記車両決定手段によって決定された計測車両の３次元位置情報を、前記ビデオ画像上に表示された車両の３次元位置情報として記録する位置情報記録手段と、を備え、
   前記ビデオ画像の複数のフレームにおいて記録した車両の３次元位置情報をつなぎ合わせることにより当該車両の走行軌跡を計測すること
   を特徴とする計測システム。
2. 計測対象物を撮影した撮影画像に基づいて、当該計測対象物の物理量を計測する計測システムであって、
   実在空間に位置する計測対象物を撮影して撮影画像を出力する撮影手段と、
   前記実在空間とほぼ同一の形状を成す仮想空間を作成する仮想空間作成手段と、
   前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、
   前記視野画像と前記撮影画像とを同一の視点で重ね合わせる画像重ね合わせ手段と、
   前記撮影画像における計測対象物と重ね合わされた前記視野画像の所定領域に基づいて前記計測対象物の物理量を計測する計測手段と、を備えたこと
   を特徴とする計測システム。
3. 計測対象物を撮影した撮影画像に基づいて、当該計測対象物の物理量を計測する計測装置であって、
   計測対象物が位置する実在空間とほぼ同一の形状を成す仮想空間を作成する仮想空間作成手段と、
   前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、
   前記視野画像と前記撮影画像とを同一の視点で重ね合わせる画像重ね合わせ手段と、
   前記撮影画像の計測対象物と重ね合わせた前記視野画像の所定領域に基づいて前記計測対象物の物理量を計測する計測手段と、を備えたこと
   を特徴とする計測装置。
4. 計測対象物を撮影した撮影画像に基づいて、当該計測対象物の物理量を計測する計測装置をコンピュータを用いて実現するためのプログラムであって、コンピュータに以下の手段を構成させることを特徴とするプログラム：
   Ａ）計測対象物が位置する実在空間とほぼ同一の形状を成す仮想空間を作成する仮想空間作成手段、
   Ｂ）前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段、
   Ｃ）前記視野画像と前記撮影画像とを同一の視点で重ね合わせる画像重ね合わせ手段、
   Ｄ）前記撮影画像の計測対象物と重ね合わせた前記視野画像の所定領域に基づいて前記計測対象物の物理量を計測する計測手段。
5. 請求項２〜４のいずれかの計測システム、計測装置またはプログラムにおいて、
   前記計測対象物は、移動体であること
   を特徴とするもの。
6. 請求項２〜５のいずれかの計測システム、計測装置またはプログラムにおいて、
   前記計測対象物が位置する実在空間は３次元空間であって、前記仮想空間作成手段は３次元仮想空間を作成すること
   を特徴とするもの。
7. 請求項６の計測システム、計測装置またはプログラムにおいて、
   前記撮影画像は、３次元仮想空間における２次元平面上に表示されること
   を特徴とするもの。
8. 請求項２〜７のいずれかの計測システム、計測装置またはプログラムにおいて、
   前記計測手段は、撮影画像における計測対象物と重ね合わされた前記視野画像の所定領域に基づいて前記計測対象物の位置情報を計測すること
   を特徴とするもの。
9. 計測対象物を撮影した撮影画像に基づいて、当該計測対象物の物理量を計測する計測方法であって、
   計測対象物が位置する実在空間とほぼ同一の形状を成す仮想空間を作成し、
   前記仮想空間における視野画像を作成するときの視点と、前記実在空間における計測対象物を撮影したときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせ、
   前記撮影画像における計測対象物に基づいて、前記仮想空間における前記計測対象物の物理量を計測すること
   を特徴とする計測方法。
10. 走行中の車両を撮影した撮影画像に基づいて、当該車両の３次元位置情報を計測する計測システムであって、
    実在空間に位置する車両を撮影して撮影画像を出力する撮影手段と、
    車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、
    前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、
    前記仮想空間における視野画像を作成するときの視点と、前記実在空間における車両を撮影するときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、
    前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定する車両決定手段と、
    前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録する位置情報記録手段と、を備えたこと
    を特徴とする計測システム。
11. 走行中の車両を撮影した撮影画像に基づいて、当該車両の３次元位置情報を計測する計測装置であって、
    車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段と、
    前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段と、
    前記仮想空間における視野画像を作成するときの視点と、前記実在空間における車両を撮影するときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、
    前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定する車両決定手段と、
    前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録する位置情報記録手段と、を備えたこと
    を特徴とする計測装置。
12. 走行中の車両を撮影した撮影画像に基づいて、当該車両の３次元位置情報を計測する計測装置をコンピュータを用いて実現するためのプログラムであって、コンピュータに以下の手段を構成させることを特徴とするプログラム：
    Ａ）車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成する仮想空間作成手段、
    Ｂ）前記仮想空間の任意の視点における視野画像を作成する視野画像作成手段、
    Ｃ）前記仮想空間における視野画像を作成するときの視点と、前記実在空間における車両を撮影するときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段、
    Ｄ）前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定する車両決定手段、
    Ｅ）前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録する位置情報記録手段。
13. 走行中の車両を撮影した撮影画像に基づいて、当該車両の３次元位置情報を計測する計測方法であって、
    車両が走行する道路の形状とほぼ同一の形状を有する仮想空間を作成し、
    前記仮想空間における視野画像を作成するときの視点と、前記実在空間における計測対象物を撮影したときの視点とを一致させた状態で前記視野画像と前記撮影画像とを重ね合わせ、
    前記撮影画像における車両を前記視野画像に投影して得られる投影車両を決定し、
    前記投影車両が前記仮想空間の道路上に存在する場合の位置情報に基づいて、前記車両の３次元位置情報を記録すること
    を特徴とする計測方法。
14. 撮影画像に基づいて計測対象物の位置情報を計測する計測装置であって、
    計測対象物の存在する空間と同一の座標系を有する仮想空間における視野画像を作成する視野画像作成手段と、
    前記視野画像と前記撮影画像とを重ね合わせる画像重ね合わせ手段と、を備え、
    前記視野画像の視点と前記撮影画像上の計測対象物とを結ぶ直線が、前記仮想空間を構成する３次元モデルと交差する位置に基づいて、前記計測対象物の位置情報を決定すること
    を特徴とする計測装置。
15. 撮影画像に基づいて計測対象物の位置情報を計測する計測方法であって、
    計測対象物の存在する空間と同一の座標系を有する仮想空間を作成し、
    前記仮想空間を表示する視野画像と、前記計測対象物を撮影した撮影画像とを重ね合わせて表示させることにより、前記計測対象物の位置情報を決定すること
    を特徴とする計測方法。

Images