JP2011185777A - 地物検出システム - Google Patents

Abstract

【課題】地物の含まれる実平面を高精度に算出し、地物の位置および大きさを正確に検出することができる地物検出システムを得る。
【解決手段】対象とする地物の周辺のカメラ画像が記憶された画像記憶手段と、地物の周辺のレーザ測量データが、点群データとしてカメラ画像と関連づけて記憶された測量データ記憶手段と、画像記憶手段に記憶されたカメラ画像を表示する表示手段と、表示手段に表示されたカメラ画像上の２点を指定する指定手段と、指定手段で指定された２点の中点から所定の距離の範囲内に含まれる点群を測量データ記憶手段から抽出し、抽出した点群から地物の含まれる平面を算出するとともに、指定手段で指定された２点を算出された平面上にマッピングして、地物の位置および大きさを検出する地物検出手段とを備える。
【選択図】図１

Description

この発明は、レーザ点群とカメラ画像とを用いて、例えば道路周辺に設けられた地物を検出する地物検出システムに関する。

近年、ＧＰＳ受信機、ジャイロスコープ、レーザ、カメラ等を搭載した車両を走行させながら、周辺のカメラ画像やレーザ測量データを３次元で連続的に取得するモービルマッピングシステムが発展している。モービルマッピングシステムは、高精度地図作成等の技術への適用が主に期待されている。

高精度な地図を作成するには、モービルマッピングシステムによって取得した映像やレーザ測量データから、屋外の建物や広告といった地物を検出し、必要な情報を抜き出す必要がある。
ここで、レーザ測量は、車両からの距離を主に求めるものであり、そこから位置（点）を求めるので、その位置は車両の位置に依存する。位置測量技術は、ＧＰＳ衛星等を利用して、高精度な測位を行うことが可能となっている。

なお、レーザ測量では、レーザの反射により、何かがあることは分かるものの、その対象が何であるかは分からないので、地物の判別にはカメラ画像等を必要とする。すなわち、レーザ測量データの集合（点の集合、以下「点群」と称する）、カメラ画像およびカメラ画像の撮影位置に基づいて、点群がカメラ画像のどの位置にマッピングされるかを求めることにより、点群がどの地物に属するかを判別することができる。

一方、点群が地物にどの程度乗るか、すなわちレーザが地物にどの程度当たっているかは、測量状況に依存する。また、点群は、離散的に存在するので、地物全体を網羅することができない場合がある。そのため、点群、カメラ画像およびカメラ画像の撮影位置だけでは、地物の検出を十分に行うことができないという問題があった。

このような問題を解決するために、カメラ画像上において地物の範囲に相当する多角形の領域を指定し、指定した多角形の領域に含まれる点群を抽出して、抽出した点群から地物の含まれる実平面を算出する３次元モデル構築システムが知られている（例えば、特許文献１参照）。

特開２００４−３４８５７５号公報

しかしながら、従来技術には、以下のような課題がある。
従来の３次元モデル構築システムでは、指定した多角形の領域が実際の地物よりも大きい場合、例えば図７に示されるように、対象とする地物の後方にある別の地物に当たった点群が、実平面の候補として加えられる恐れがある。その結果、地物の含まれる実平面が曲がったり、ずれたりするという問題がある。

この発明は、上記のような課題を解決するためになされたものであり、地物の含まれる実平面を高精度に算出し、地物の位置および大きさを正確に検出することができる地物検出システムを得ることを目的とする。

この発明に係る地物検出システムは、対象とする地物の周辺のカメラ画像が記憶された画像記憶手段と、地物の周辺のレーザ測量データが、点群データとしてカメラ画像と関連づけて記憶された測量データ記憶手段と、画像記憶手段に記憶されたカメラ画像を表示する表示手段と、表示手段に表示されたカメラ画像上の２点を指定する指定手段と、指定手段で指定された２点の中点から所定の距離の範囲内に含まれる点群を測量データ記憶手段から抽出し、抽出した点群から地物の含まれる平面を算出するとともに、指定手段で指定された２点を算出された平面上にマッピングして、地物の位置および大きさを検出する地物検出手段とを備えたものである。

この発明に係る地物検出システムによれば、地物検出手段は、指定手段で指定された２点の中点から所定の距離の範囲内に含まれる点群を測量データ記憶手段から抽出し、抽出した点群から対象とする地物の含まれる平面を算出するとともに、指定手段で指定された２点を算出された平面上にマッピングして、地物の位置および大きさを検出する。
そのため、地物の含まれる実平面を高精度に算出し、地物の位置および大きさを正確に検出することができる。

この発明の実施の形態１に係る地物検出システムを示すブロック構成図である。 この発明の実施の形態１に係る地物検出システムの表示部を示す説明図である。 この発明の実施の形態１に係る地物検出システムの点群抽出部での処理を詳細に示すフローチャートである。 （ａ）、（ｂ）は、この発明の実施の形態１に係る地物検出システムの点群抽出部の動作を説明するための説明図である。 （ａ）、（ｂ）は、この発明の実施の形態１に係る地物検出システムの領域算出部の動作を説明するための説明図である。 この発明の実施の形態１に係る地物検出システムを示す別のブロック構成図である。 従来の３次元モデル構築システムの問題を説明するための説明図である。

以下、この発明の地物検出システムの好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。

まず、屋外の地物の含まれる実平面を算出する際、地物の端点を使用すると、上述したように、算出される実平面が、実際のものから曲がったり、ずれたりするという問題がある。そのため、地物のできる限り中側の点を使用することが望ましい。すなわち、中側の点のみで実平面を算出することができれば、外側の点（端点）を使用しないほうが、むしろ誤差が少なくなると考えられる。

ただし、地物の中側の点を指定するだけでは、地物の範囲を算出することができないので、地物の範囲を別途指定する必要がある。地物の中側の点および地物の範囲の２つの情報があれば、地物の占有する範囲を算出することができる。

そこで、以下の実施の形態では、地物の両端の２点を指定することにより、地物の範囲、すなわち地物の位置および大きさを算出（検出）するシステムを提案する。両端の２点の中点は、地物の中に入るので、この中点を中心として一定範囲を点群の範囲とすることにより、不必要な点群を排除することができ、結果的に地物の含まれる実平面を高精度に算出することができる。ここで、一定範囲とは、例えば中点から両端点までの距離をベースにして、この距離の半分までとするといったものが考えられる。

また、実平面を算出した後、指定した２点を実平面上にマッピングする。これにより、指定した点の実位置を算出することができる。このとき、指定した位置が多少ずれていても、実平面の算出には影響がない。また、ずれの影響は、地物の大きさのみに現れるが、この影響は軽微である。

なお、地物の形状が矩形である場合には、地物の対角線の両端の２点を指定することにより、地物の位置および大きさ（幅、高さ）を一意に求めることができる。同様に、他の形状であっても、地物を覆う矩形領域の範囲を算出することができる。

また、広告のように、車両等から見えることを前提に配置されている地物であれば、レーザ測量時に、他の物体に邪魔されていないこと、すなわちレーザ測量において送出されたレーダが、広告全体に当たっていると期待することができる。この場合には、実平面の算出に使用される点群が確実に広告上にあると期待することができるので、結果的に地物の含まれる実平面を高精度に算出することができる。

実施の形態１．
図１は、この発明の実施の形態１に係る地物検出システムを示すブロック構成図である。図１において、この地物検出システムは、画像データ１１（画像記憶手段）、点群データ１２（測量データ記憶手段）、車両パラメータ１３、画像指定部２１、点指定部２２（指定手段）、表示部２３（表示手段）、地物検出装置３０（地物検出手段）および領域出力結果データ４１を備えている。

また、地物検出装置３０は、画像描画部３１、点群抽出部３２、実平面算出部３３および領域算出部３４を有している。
なお、地物検出装置３０は、ＣＰＵとプログラムを格納したメモリとを有するマイクロプロセッサ（図示せず）で構成されており、地物検出装置３０を構成する各ブロックは、メモリにソフトウェアとして記憶されている。
以下、上記構成の地物検出システムの各部位の機能について説明する。

画像データ１１には、上述したモービルマッピングシステムで使用される車両に搭載されたカメラにより撮影されたカメラ画像が収められている。なお、各カメラ画像は、撮影時刻とともに収められている。

点群データ１２には、上述したモービルマッピングシステムで使用される車両に搭載されたレーザにより測量されたレーザ測量データが収められている。なお、レーザ測量データは、各点群の座標値および測量時刻として収められている。
ここで、座標系は、平面直角座標系を用い、ｘ座標およびｙ座標がそれぞれ緯度方向および経度方向の原点からの距離を示し、ｚ座標が標高を示す。平面直角座標系については、国土地理院、平面直角座標系（平成十四年国土交通省告示第九号）（http://www.gsi.go.jp/LAW/heimencho.html）に示されているので、詳細な説明は省略する。

車両パラメータ１３には、画像データ１１および点群データ１２を取得した車両およびカメラのパラメータが収められている。具体的には、カメラ撮影時の車両の位置および向きや、カメラの車両上の配置、カメラの焦点距離等のデータが収められている。

画像指定部２１は、オペレータの操作により、画像データ１１内の各カメラ画像の中から、表示部２３に表示するカメラ画像を指定する。カメラ画像を指定する手段としては、例えば図２に示されるように、画像データ１１内の各カメラ画像を表示部２３にサムネイル表示して、その中から表示するものを選択して等倍表示するといった方法が考えられる。

点指定部２２は、オペレータの操作により、画像指定部２１で指定されたカメラ画像上の２点を指定する。このとき、表示部２３に表示されたカメラ画像上の上下左右端の数％程度の範囲を指定対象外としてもよい。

画像描画部３１は、画像指定部２１により指定されたカメラ画像、点指定部２２により指定されたカメラ画像上の２点、および後述する領域算出部３４で算出された領域等を表示部２３に表示する。

点群抽出部３２は、画像指定部２１により指定されたカメラ画像、および点指定部２２により指定されたカメラ画像上の２点に基づいて、車両パラメータ１３を参照しながら、点群データ１２から実平面算出部３３での実平面の算出に必要な点群を抽出する。なお、点群抽出部３２の詳細な動作については、後述する。

実平面算出部３３は、点群抽出部３２によって抽出された点群から、地物の含まれる実平面を算出する。実平面算出部３３での処理によって、地物と実在の位置（点群）とが結び付けられる。

領域算出部３４は、実平面算出部３３によって算出された実平面上における対象とする地物の範囲を算出し、領域出力結果データ４１に出力する。領域算出部３４での処理によって、地物の位置および大きさ（幅、高さ）を算出することができる。
領域出力結果データ４１は、領域算出部３４によって算出された地物の位置および大きさを保存する。

続いて、上記構成の地物検出システムの動作について説明する。
画像指定部２１によってカメラ画像が指定されると、カメラ画像およびその撮影時刻が、画像データ１１から一意に決定される。この情報および領域算出部３４で算出された領域は、画像描画部３１によって、表示部２３に重ねて表示される。算出された領域がカメラ画像の外にまたがる場合には、カメラ画像内に収まる範囲のみ表示される。

なお、領域算出部３４で領域が算出されていない場合には、領域は表示されない。また、算出された領域を表示するか否かを、画像指定部２１により指定してもよい。領域を表示しないことが指定された場合には、領域算出部３４で領域が算出された後であっても、表示部２３には、カメラ画像のみが表示される。

表示部２３にカメラ画像が表示された後、点指定部２２によって、カメラ画像上の２点が指定される。なお、２点を指定する順序は問わない。
点指定部２２によってカメラ画像上の２点が指定された後、その２点の座標（カメラ画像上のＸ座標、Ｙ座標）と、表示部２３に表示されているカメラ画像の撮影時刻とに基づいて、点群データ１２から実平面算出部３３での実平面の算出に必要な点群が、点群抽出部３２によって抽出される。

ここで、図３のフローチャートを参照しながら、点群抽出部３２での処理を詳細に説明する。
まず、点群抽出部３２は、カメラ画像の撮影時刻から一定の時間範囲内に測量された点群のみを、点群データ１２から抽出する（ステップＳ１）。このとき、主に使用されるデータは、カメラ画像の撮影時刻近傍の点群である。

次に、点群抽出部３２は、抽出された各点群をカメラ画像上にマッピングした場合の位置算出を実行する（ステップＳ２）。なお、上記ステップＳ１において、点群をカメラ画像の撮影時刻近傍のものに制限した理由は、このステップＳ２において、対象とする地物の前後にある物体に当たったものを含むことを防止するためである。カメラ画像の撮影時刻近傍の点群であれば、マッピングされた点群がカメラ画像上の地物の中にある場合に、地物に実際に当たった点群である可能性が高い。

各点群のカメラ画像上の位置の算出においては、まず、点群内の各点のカメラ位置からの相対位置（ｘ_１，ｙ_１，ｚ_１）が、車両パラメータ１３に納められたカメラ撮影時の車両の位置および向きと、車両上のカメラの位置および向きとから算出される。その後、カメラの焦点距離ｆ、カメラの１画素あたりの距離ｐ_ｍおよびカメラの光軸中心座標（ｘｃ，ｙｃ）に基づいて、点群のカメラ画像上の位置が、図４（ａ）、（ｂ）に示されるように算出され、算出された点群のカメラ画像上の位置（ｘ，ｙ）は、次式（１）で表される。

続いて、点群抽出部３２は、ステップＳ２で算出された各点群のカメラ画像上の位置のうち、点指定部２２で指定された２点の中点に近い点を複数点選択する（ステップＳ３）。このとき、選択する点数は、最低３点とする。なお、点を選択する際、指定された２点のカメラ画像上の座標を利用して、選択する範囲を、例えば「中点から２点間のＸ（Ｙ）座標幅の±１／４に収まる範囲」のように制限してもよい。これにより、点指定部２２での点の指定に多少ずれがあった場合でも、誤差を吸収することができる。

ここで、点群抽出部３２によって選択された点が３点未満である場合には、エラーとして以降の処理は実行せず、画像指定部２１によるカメラ画像指定に戻る。一方、点群抽出部３２によって選択された点が３点以上である場合には、実平面算出部３３によって、得られた点を含む実平面（地物の含まれる実平面）が算出される。

なお、実際には、得られた点には誤差が乗っているので、すべての点が乗るような平面が算出される場合は少ない。そこで、最小二乗法等を用いて、最も近い平面が算出される。このようにして得られた平面が、対象とする地物の含まれる実平面となる。

実平面算出部３３によって実平面が算出された後、領域算出部３４によって、対象とする地物の範囲が算出される。具体的には、まず、領域算出部３４は、点指定部２２によって指定された２点を、実平面算出部３３によって算出された実平面上にマッピングした場合の位置算出を実行する。この位置算出は、上記式（１）を満たすとともに、算出する点の位置（ｘ，ｙ，ｚ）が実平面算出部３３によって算出された実平面の式を満たすので、一意に定まる。

次に、領域算出部３４は、点指定部２２によって指定された２点の実平面上の位置を算出した後、図５（ａ）に示されるように、２点間の（ｘ，ｙ）平面における距離を幅とし、２点間の標高差を高さとする。また、領域算出部３４は、標高が２点の中間となり、かつｘｙ平面に平行な平面πに対して、点指定部２２によって指定された２点とそれぞれ対称となる点を算出する。すなわち、領域算出部３４は、図５（ｂ）に示されるように、指定された２点Ａ、Ｂと対称となる点Ａ'、Ｂ'を算出し、点Ａ、Ｂ'、Ｂ、Ａ'の４点で囲まれる矩形領域を地物の範囲とする。

領域算出部３４による領域算出の後、画像描画部３１により、算出された領域が表示部２３に表示されるとともに、画像指定部２１によるカメラ画像指定待ち状態に移行する。また、このとき、領域算出部３４によって算出された地物の範囲（幅、高さおよび矩形の頂点４点）が領域出力結果データ４１に出力される。

以上により、カメラ画像および点群によって、地物の位置および大きさを検出することができる。また、領域算出部３４により算出された領域を、表示部２３に表示されたカメラ画像上に重ねて表示することにより、オペレータの目による確認も同時に行うことができる。

なお、上述したように、地物の中側の点および地物の範囲の２つの情報があれば、地物の占有する範囲を算出することができるが、扱う情報である点群等には誤差が乗っているので、必ずしも精度が高い保証はない。一方、モービルマッピングシステムでは、連続的に地物周辺の情報を取得するので、同一の地物が複数のカメラ画像中に出現する可能性が高い。そこで、あるカメラ画像での範囲算出結果を別のカメラ画像上にマッピングすることにより、算出結果の精度を判定することができる。

具体的には、画像指定部２１によって別のカメラ画像が指定された場合、上記のように領域が表示されたカメラ画像の上に、新たな別のカメラ画像が表示される。領域を算出したカメラ画像以外のカメラ画像であって、同じ地物が写っている別のカメラ画像上に、算出された領域を重ねることにより、算出された領域の正確さを確認することができる。

このように、複数のカメラ画像に写っている地物に関して、それぞれのカメラ画像で領域を算出し、算出された領域を別のカメラ画像に重ね合わせる処理を実行することにより、オペレータが最もよく重なり合っているものを判断することで、正確な地物の位置および大きさを選択することができる。これにより、計算だけでは拾いきれない誤差を吸収することができる。

以上のように、実施の形態１によれば、地物検出手段は、指定手段で指定された２点の中点から所定の距離の範囲内に含まれる点群を測量データ記憶手段から抽出し、抽出した点群から対象とする地物の含まれる平面を算出するとともに、指定手段で指定された２点を算出された平面上にマッピングして、対象とする地物の位置および大きさを検出する。
そのため、地物の含まれる実平面を高精度に算出し、地物の位置および大きさを正確に検出することができる。

なお、上記実施の形態１において、領域算出部３４は、地物の位置を算出するとともに、カメラ画像内の地物の範囲を算出する。このとき、領域算出部３４は、カメラ画像から地物の範囲を切り出して別途保存してもよい。この場合、図６に示されるように、図１に示した地物検出システムに加えて、地物の範囲に応じて切り出したカメラ画像を収めるための領域画像データ４２を別途設け、領域算出部３４は、切り出したカメラ画像を領域画像データ４２に出力する。
地物の位置と切り出したカメラ画像とを別途表示することにより、地物の検出状況を確認することが容易になる。

また、上記実施の形態１では、点指定部２２により、画像指定部２１で指定されたカメラ画像上の２点を指定することで、地物の検出を実行した。ここでは、地物の幅および高さを算出するために２点を指定しているが、地物の位置のみを算出する場合には、必ずしも２点を指定する必要はなく、地物の中心座標（位置）のみを指定してもよい。このとき、上記実施の形態１で示した、点指定部２２で指定された２点の中点の代わりに、指定した１点を利用し、点群抽出部３２および実平面算出部３３での処理を実行することによって、地物の位置を算出することができる。

地物の中心座標（位置）のみを指定する場合には、上述したように、地物の幅および高さを算出することはできないが、ある程度の範囲のカメラ画像を、例えば図６に示した領域画像データ４２に別途保存しておき、オペレータの目で、地物が何であるかを判断できるようにすることができる。このとき、上記ある程度の範囲は、対称とする地物によって異なるが、例えば屋外広告（看板等）であるならば、指定した１点から１〜２メートル範囲のカメラ画像（カメラ画像としての大きさは位置により異なる）を収めておくことで、オペレータが判断できると考えられる。

１１ 画像データ、１２ 点群データ、１３ 車両パラメータ、２１ 画像指定部、２２ 点指定部、２３ 表示部、３０ 地物検出装置、３１ 画像描画部、３２ 点群抽出部、３３ 実平面算出部、３４ 領域算出部、４１ 領域出力結果データ、４２ 領域画像データ。

Claims (4)

1. 対象とする地物の周辺のカメラ画像が記憶された画像記憶手段と、
   前記地物の周辺のレーザ測量データが、点群データとして前記カメラ画像と関連づけて記憶された測量データ記憶手段と、
   前記画像記憶手段に記憶されたカメラ画像を表示する表示手段と、
   前記表示手段に表示されたカメラ画像上の２点を指定する指定手段と、
   前記指定手段で指定された２点の中点から所定の距離の範囲内に含まれる点群を前記測量データ記憶手段から抽出し、抽出した点群から前記地物の含まれる平面を算出するとともに、前記指定手段で指定された２点を算出された前記平面上にマッピングして、前記地物の位置および大きさを検出する地物検出手段と、
   を備えたことを特徴とする地物検出システム。
2. 前記地物検出手段は、あるカメラ画像について検出された前記地物の位置および大きさを、別のカメラ画像に重ね合わせて表示させることを特徴とする請求項１に記載の地物検出システム。
3. 前記地物検出手段は、検出された前記地物の位置および大きさに応じた部分を、前記カメラ画像から切り出して保存することを特徴とする請求項１または請求項２に記載の地物検出システム。
4. 前記指定手段は、前記表示手段に表示されたカメラ画像上の２点を指定する代わりに、カメラ画像上の１点を指定し、
   前記地物検出手段は、前記指定手段で指定された１点から所定の距離の範囲内に含まれる点群を前記測量データ記憶手段から抽出し、抽出した点群から前記地物の含まれる平面を算出するとともに、前記指定手段で指定された１点を算出された前記平面上にマッピングして、前記地物を含む領域を検出する
   ことを特徴とする請求項１または請求項２に記載の地物検出システム。

Images