JP2005115420A - 三次元形状生成装置 - Google Patents

Abstract

【課題】 安価なカメラであっても、容易かつ高精度に三次元地図を生成する。
【解決手段】 車載カメラの映像を取得する画像取得部１１と、取得画像を一時記録する画像記録部１２と、画像データから、各フレームで対応関係にある小領域の三次元位置と、カメラの三次元位置，３軸回転を複数のフレームで重複演算し、誤差の分布が最小になるようにカメラベクトルを求めるベクトル検出部１３と、求められたカメラの三次元位置と３軸回転のカメラベクトルの各データを付加した全フレーム画像を記録するカメラベクトル付加画像記録部１４と、各フレーム画像と得られたカメラベクトルに基づき、複数のフレーム画像から得られる多数の視差を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する多重視差演算部１５と、対象物の三次元形状の生成を連続的に繰り返して、三次元形状を形成する三次元形状生成部１６を備える。
【選択図】 図１

Description

本発明は、カメラで得られる動画又は連続静止画の映像に基づいて、対象物の三次元形状を求め、三次元地図を生成する三次元形状生成装置に関する。
特に、本発明は、高価な機器や膨大な手間と費用などを必要とすることなく、簡易かつ高精度に対象物の三次元形状を求めて三次元地図を生成することができる三次元形状生成装置に関する。

カーナビゲーション装置などにおいては、対象物を三次元的に表示する三次元地図の生成技術が利用されている。三次元地図では、例えば道路や建物などの対象物について高さ方向を含む立体的な三次元情報が表示されるため、対象物を容易かつ正確に把握することができ、二次元地図では得られない有用な地図情報が得られるようになる。
従来の三次元地図生成の技術としては、航空機からレーザーなどで地表を測量し、地表の三次元データを取得して、地上から撮影した視差による三次元データと組み合わせて詳細部分を計測し、それから３ＤＣＧ（コンピュータグラフィックス）を生成し、さらに地上から撮影した対象物のテクスチャーを切り取って３ＤＣＧに貼り付ける等の処理によって生成していた（特許文献１−３参照。）。

特開２０００−０６６５８３号公報 特開２００２−０９８５３８号公報 特開２００３−１１４６１４号公報

上記のような従来の三次元地図の技術では、高価な機器を必要とし、しかも、膨大な手間と費用をかけなければ三次元地図を作成できないという問題があった。
ここで、通常の安価なカメラで撮影される映像であっても、映像は三次元情報を含んでおり、そこから三次元地図の生成に必要となる三次元情報を抽出することは可能であり、また、二台のカメラで撮影した視差から三次元情報を抽出することも可能であった。従って、通常のカメラを車両などに搭載して移動しながら対象物を撮影し、そこから三次元情報を抽出して三次元地図を生成することは、理論上は可能である。

しかしながら、単に通常のカメラで映像を撮影しただけでは、撮影するカメラが移動するために、揺れ等の外乱を受け、座標がぶれ、回転し、位置として安定な映像を取得，抽出できず、三次元情報を高精度に抽出することはできない。
特に、カメラ位置と視点角度は、カメラを搭載した車両等の移動につれて刻々変化するので、その三次元位置を精度良く計測できなければならない。また、カメラの３軸方向の移動を正確に抽出できなければ、精度の良い三次元地図を生成することはできない。
また、二台のカメラで撮影した視差からの三次元抽出では精度に限界があり、誤差を縮小する何等かの技術，手段が必要となる。

そこで、本願発明者は、鋭意研究の結果、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、さらに、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることにより、安価なカメラであっても、精度の良い三次元データを抽出し、高精度な三次元地図を生成し得ることに想到した。
すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、高価な機器を必要とせず、安価なカメラで、しかも原理的には一台のカメラで、車両に積載して周辺状況を撮影し、あるいは人がカメラを手に持って周囲を撮影し、その映像を解析して、そこから三次元情報を抽出して、画像処理技術により三次元形状を生成し、三次元地図を生成することができる三次元形状生成装置の提供を目的とする。

上記目的を達成するため、本発明の三次元形状生成装置は、請求項１に記載するように、移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、前記画像取得部で取得された画像を一時記録する画像記録部と、前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの３軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、前記ベクトル検出部で求められたカメラの三次元位置と３軸回転のカメラベクトルの各データを付加した全フレーム画像を記録するカメラベクトル付加画像記録部と、各フレーム画像及び各フレーム単位で得られたカメラベクトルに基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する多重視差演算部と、前記多重視差演算部における対象物の三次元形状の生成を連続的に繰り返して、三次元形状を形成する三次元形状生成部と、を備える構成としてある。

また、本発明の三次元形状生成装置は、請求項２に記載するように、移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、
前記画像取得部で取得された画像を一時記録する画像記録部と、前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの３軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、前記ベクトル検出部で求めたカメラベクトルから、元画像を補正するための補正信号を生成する補正信号生成部と、前記補正信号で補正された正規化画像を記録する正規化画像変換部と、各フレームでのカメラの三次元位置と、前記補正信号で補正された複数の正規化映像に基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する三次元形状生成部と、を備える構成としてある。

また、本発明の三次元形状生成装置は、請求項３に記載するように、前記ベクトル検出部が、前記画像記録部から読み出された画像データにより、画像中に特徴点となるべき点又は小領域画像を自動抽出して自動指定する特徴点抽出部と、前記自動指定された特徴点の各フレーム間での対応関係を求める特徴点対応処理部と、前記対応関係が求められた特徴点の三次元位置座標及びカメラ位置を演算で求める特徴点・カメラ位置演算部と、前記特徴点の三次元位置を複数演算し、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をするとともに、誤差の大きい特徴点を検出してそれを削除し、他の特徴点に基づく再演算をし、全体の誤差を最小化する誤差最小化部と、を備える構成としてある。

また、本発明の三次元形状生成装置は、請求項４に記載するように、前記ベクトル検出部が、画像内の映像的に特徴がある特徴点を自動検出し、各フレーム画像内で当該特徴点の対応点を求め、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、所定の値にｎとｍを設定して単位演算を繰り返し、カメラから画像内の特徴点までの距離により特徴点を複数段に分類して、フレーム間隔ｍを、カメラから特徴点までの距離が遠いほど大きくなるように設定し、ｍによる特徴点の分類を複数オーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行し、演算を連続的に進行させ、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算して、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整することにより統合し、距離演算を行い、誤差の分布が大きい特徴点を削除し、再演算することにより、各特徴点及びカメラ位置での演算の精度を上げるように構成してある。

また、本発明の三次元形状生成装置は、請求項５に記載するように、前記三次元形状生成部が、既に得られているカメラベクトルに基づき、フレーム画像内の小領域を移動しながら演算を繰り返して、画像内のすべての小領域について多数の視差を抽出し、その視差による重複演算により誤差の少ない三次元形状を生成する多重視差三次元形状生成部と、多重視差三次元形状生成部で生成された三次元形状を、カメラと同一の座標系に統合して三次元地図を出力する多重視差三次元形状出力部と、を備える構成としてある。

また、本発明の三次元形状生成装置は、請求項６に記載するように、前記三次元形状生成部が、前記画像取得部で取得された映像を、所望の対象物の面に垂直になるカメラ視点からの映像に平面変換する指定方向平面変換処理部と、平面変換された映像により、ある領域内の映像のオプティカルフローを演算し、所望の目的平面のオプティカルフローを抽出する目的平面オプティカルフローの抽出指定部と、前記目的平面以外のオプティカルフローを排除する目的以外面排除部と、目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える平面形状及び座標取得部と、前記ある領域を移動しながら演算を繰り返して、領域内の所望の対象物のすべてについて、平面構成による三次元形状を生成する平面構成三次元形状生成部と、それらの平面構成による三次元形状を三次元地図として出力する平面再構成三次元形状出力部と、を備える構成としてある。

また、本発明の三次元形状生成装置は、請求項７に記載するように、前記ベクトル検出部が、移動するカメラのベクトルを検出するとともに、カメラとは別に、移動する移動物体の移動ベクトルを、前記カメラベクトルと同じ方法により検出することで、移動するカメラからの移動物体のベクトルを検出しカメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出するように構成してある。

また、本発明の三次元形状生成装置は、請求項８に記載するように、前記移動体に備えられるカメラとは別に又はそれを兼ねて、同じ移動体に備えられる複数のカメラからなり、視野が重複するように設定した視野重複カメラ部と、前記視野重複カメラ部で取得される同時刻の複数の画像を関連づけて記録する視野重複画像記録部と、前記視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する連続三次元画像生成部と、前記連続三次元画像生成部で得られた三次元画像を、前記ベクトル検出部から得られた移動するカメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する座標統合部と、統合された座標系で対象物及び周囲の三次元形状を生成する統合三次元形状生成部と、を備えた構成としてある。

さらに、本発明の三次元形状生成装置は、請求項９に記載するように、前記移動体に備えられるカメラとして複数のカメラを備え、近距離の詳細データを必要とする部分を主に撮影する近距離部分詳細画像取得部と、前記複数のカメラで取得される、視野が一部重複するように設定された同時刻の複数の画像を関連して呼び出し可能な形で記録する並列画像記録部と、前記視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する近距離部分三次元形状生成部と、前記視野の重複する画像から視差を検出し、前記カメラを備えた移動体以外の他の移動物体を検出する他の移動物体検出部と、前記視野の重複する画像の視差データから、前記他の移動物体の視差データを排除する他の移動物体排除部と、前記三次元形状生成部と、前記近距離部分三次元形状生成部とが重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する座標校正統合部と、統合されたデータを記録する統合座標記録部と、それら統合されたデータを表示する総合画像表示部と、を備える構成としてある。

そして、本発明の三次元形状生成装置は、請求項１０に記載するように、請求項１乃至９記載の三次元形状生成装置を備え、対象物の三次元形状を連続的に広範囲に生成することにより、三次元地図を生成するように構成してある。

以上のような本発明の三次元形状生成装置によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析してカメラ軌跡を三次元で求めることができる。
そして、その三次元カメラ位置を基準として、カメラ映像内の平面部分を多重視差やオプティカルフロー等から抽出し、平面をテクスチャー付きで抽出し、平面の三次元形状を再構成することで対象物の三次元形状を表現し、それを連続して実施することで三次元地図を生成することができる。

これにより、従来技術のような高価な機器や膨大な手間と費用を必要とすることなく、安価かつ高精度に三次元地図を生成することができる。
なお、本発明は、移動するカメラによって得られる映像のみでなく、並列に設置した二台のカメラによる視差からの情報を併用することも勿論可能である。
例えば、移動するカメラで取得される映像によるだけでなく、並列に設置したカメラから取得された三次元画像と本発明を組み合わせることにより、固定されたカメラで取得された時間的に連続した三次元画像を、本発明によるカメラベクトルにより三次元的に統合し、一つの座標系に統合して表示することができる。

以下、本発明に係る三次元形状生成装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の三次元形状生成装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明の三次元形状生成装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［第一実施形態］
まず、図１〜図１２を参照して、本発明に係る三次元形状生成装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態に係る三次元形状生成装置１０は、所望の対象物についての三次元情報を生成するために、例えば、移動する車両に積載したカメラ、（原理的には一台のカメラでよい）を用い、その移動による座標の変化を精度良く抽出するようにしてある。
カメラ座標を精度良く抽出するには、画像内の映像的な特徴点を検出し、その移動を追跡する技術を用いる。特徴点の検出を自動化し、追跡も自動化することで、手作業による作業を大幅に省略することができる。

ここで、画像内の特徴点からカメラ位置を求めるには、例えば、同時に６〜７点以上の特徴点があるように、特徴点を画像内で追跡する。そして、それらの特徴点に対してエピポーラ幾何学を用い、カメラ位置を演算により求めることができるが、６〜７点程度の特徴点では、得られるカメラ位置の精度は不十分なものとなる。
そこで、本実施形態では、抽出，追跡する特徴点の数を十分に多くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフレーム数を得るようにしてある。有り余る特徴点と有り余るフレーム数による多重視差を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め、そこから統計処理により、精度の高いカメラ位置を三次元座標として求めるようにする。このようにすることで、各フレームのカメラ位置は高精度で求められる。カメラ位置が高精度で求められれば、その後は、視差から三次元座標を求める技術で、画像内の全画素についての三次元座標が得られる。

具体的には、図１に示すように、三次元形状生成装置１０は、画像取得部１１と、画像記録部１２と、ベクトル検出部１３と、カメラベクトル付加画像記録部１４と、多重視差演算部１５と、三次元形状生成部１６を備えている。
画像取得部１１は、例えば、車両などの移動体に積載されたカメラや、人が手に持って移動するカメラによって撮影される動画若しくは連続静止画の映像を取得する。なお、カメラが備えられる移動体（移動物体）としては、移動する人，自動車，船舶，航空機，ロボット，移動する機械等が含まれる。
画像記録部１２は、画像取得部１１で取得した画像を一時記録する。
カメラベクトル検出部１３は、画像記録部１２から読み出された画像データより、各フレームで対応関係にある点の、若しくは対応関係にある小領域の三次元位置、及びカメラの三次元位置とカメラの３軸回転等を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理して精度良く求める。
このベクトル検出部１３については、図３以下を参照しつつ後に詳述する。

カメラベクトル付加画像記録部１４は、ベクトル検出部１３で得られたカメラの三次元位置と３軸回転のカメラベクトルの各データを付加した全フレーム画像を記録する。
多重視差演算部１５は、各フレーム単位で得られたカメラベクトルと、各フレーム画像とから、複数のフレーム画像から得られる十分に多くの視差、若しくは複数のフレーム画像から得られる十分に多くのオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する。
三次元形状生成部１６は、多重視差演算部１５で行われる対象物の形状の生成を連続的に繰り返して、三次元形状を形成する。

以上のような構成からなる三次元形状生成装置１０では、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。原理的には６点乃至７点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、１００点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。
このようにして求められたカメラの三次元位置とカメラの３軸回転から、それを各フレーム画像にデータとして付加し、複数のフレーム画像から得られる複数の視差、即ち多重視差と、既に取得しているカメラの三次元位置から、対象物の三次元形状を演算で求めることができる。このようにして、対象物の三次元形状を取得できる。

以上のような三次元形状生成装置１０によれば、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求め、カメラベクトルから、撮影した対象物の三次元形状を求めることができる。
そして、以上の処理を繰り返すことで、広範囲の三次元形状、即ち三次元地図が生成されることになる。
図２に、本実施形態で生成される三次元形状（三次元地図）の表示例を示す。

次に、図１で示した三次元形状生成装置１０のベクトル検出部１３の詳細について説明する。
図３は、本発明の第一実施形態に係るベクトル検出部２０（図１に示すベクトル検出部１３）の概略構成を示すブロック図である。
同図に示すように、ベクトル検出部２０は、特徴点抽出部２１と、特徴点対応処理部２２と、特徴点・カメラ位置演算部２３と、誤差最小化部２４を備えている。

特徴点抽出部２１は、三次元形状生成装置１０の画像記録部１２から読み出された画像データにより、記録した画像の中に、特徴点となるべき小領域画像を自動抽出して自動指定する。
特徴点対応処理部２２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
特徴点・カメラ位置演算部２３は、対応関係が求められた特徴点の三次元位置座標を求めるとともに、特徴点の三次元位置から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２４は、複数の特徴点の演算により、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をし、さらに誤差の大きい特徴点を検出して、それを削除し、再演算をすることで、全体の誤差を最小化する。これにより、複数のカメラベクトルの解の分布が最小になるように統計処理された誤差の最小化処理を施したカメラ位置方向が自動的に決定される。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図３に示す本実施形態のベクトル検出部２０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のベクトル検出部２０によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ベクトル検出部２０における具体的なカメラベクトルの検出方法について、図４以下を参照しつつ説明する。
まず、特徴点抽出部２１で、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理部２２で、複数のフレーム画像間で特徴点の対応関係を自動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図４〜図６に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図６に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図７に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図７の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、特徴点・カメラ位置演算部２３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、特徴点・カメラ位置演算部２３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図６に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
なお、図６は、ベクトル検出部２０における処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のベクトル検出部２０では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt 法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図８〜図１０に、ベクトル検出部２０により得られる特徴点の三次元座標とカメラベクトルの例を示す。図８〜図１０は、本実施形態のベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図８では、図６の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図９及び図１０は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ベクトル検出部における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１１に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ベクトル検出部は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

そして、このように求められたカメラベクトルは、生成された三次元地図中に表示することができる。
例えば、図１２に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。

以上説明したように、本実施形態に係る三次元形状生成装置によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析してカメラ軌跡を三次元で求めることができる。
そして、その三次元カメラ位置を基準として、カメラ映像内の平面部分を多重視差やオプティカルフロー等から抽出し、平面をテクスチャー付きで抽出し、平面の三次元形状を再構成することで対象物の三次元形状を表現し、それを連続して実施することで三次元地図を生成することができる。

これにより、従来技術のような高価な機器や膨大な手間と費用を必要とすることなく、安価かつ高精度に三次元地図を生成することができる。
なお、本実施形態に係る三次元形状生成装置は、移動するカメラによって得られる映像のみでなく、並列に設置した二台のカメラによる視差からの情報を併用することも勿論可能である。例えば、移動するカメラで取得される映像によるだけでなく、並列に設置したカメラから取得された三次元画像と本実施形態を組み合わせることにより、固定されたカメラで取得された時間的に連続した三次元画像を、本実施形態によるカメラベクトルにより三次元的に統合し、一つの座標系に統合して表示することができる。

［第二実施形態］
次に、本発明に係る三次元形状生成装置の第二実施形態について、図１３を参照しつつ説明する。
図１３は、本発明の第二実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態の三次元形状生成装置１０は、図１に示した第一実施形態の三次元形状生成装置１０におけるカメラベクトル付加画像記録部１４と多重視差演算部１５を省略し、補正信号生成部１７と正規化画像変換部１８を備えた構成となっている。
なお、画像取得部１１，画像記録部１２，ベクトル検出部１３については、第一実施形態と同様になっている。

補正信号生成部１７は、ベクトル検出部１３で得られた結果から、元画像の揺れ等を補正する為の補正信号を生成する。
正規化画像変換部１８は、補正信号生成部１７で生成された補正信号によって、補正された揺れ等の無い正規化画像を変換，記録する。
そして、三次元形状生成部１６では、各フレームでのカメラの三次元位置と、揺れが補正された複数の正規化映像とから、複数のフレーム画像から得られる十分に多くの視差、若しくは複数のフレーム画像から得られる十分に多くのオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、
対象物の三次元形状を生成する。
このように、図２に示す三次元形状生成装置１０では、ベクトル検出部１３で求められたカメラベクトルに基づいて画像の揺れを補正してから、三次元形状の生成を行うようにしてあり、より高精度な三次元地図の生成が可能となる。

［第三実施形態］
次に、本発明に係る三次元形状生成装置の第三実施形態について、図１４を参照しつつ説明する。
図１４は、本発明の第三実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態は、図１に示した三次元形状生成装置１０の他の実施形態であり、三次元形状生成部１６として視差方式を採用している。
具体的には、本実施形態の三次元形状生成部１６は、多重視差三次元形状生成部１６−１と、多重視差三次元形状出力部１６−２を備えている。

多重視差三次元形状生成部１６−１は、既に得られているカメラベクトルと、小領域を移動しながら得られる画像情報に基づいて、演算を繰り返して、すべての小領域について十分に多くの視差を抽出し、それによる重複演算により誤差の少ない三次元形状を生成する。
多重視差三次元形状出力部１６−２は、多重視差三次元形状生成部１６−１で得られた三次元形状を、カメラと同一の座標系に統合して、三次元地図を出力する。
人が手持ちで撮影した映像や、カメラを積載し走行する車両から撮影して取得した画像において、カメラ位置と回転が確定すれば、対象の三次元形状を取得できる。
そこで、本実施形態の三次元形状生成部１６のように、複数のフレームに共通する対象物の視差を求めれば、そのフレームの数以上の多重視差が得られる。
これにより、重複演算が可能となり、対象物の誤差のない三次元形状を得ることができ、より高精度な三次元地図を生成することができるようになる。

［第四実施形態］
次に、本発明に係る三次元形状生成装置の第四実施形態について、図１５〜図１６を参照しつつ説明する。
図１５は、本発明の第四実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態は、図１に示した三次元形状生成装置１０の他の実施形態であり、三次元形状生成部１６としてオプティカルフロー（Ｏｐｔ．Ｆ．）方式を採用している。
具体的には、本実施形態の三次元形状生成部１６は、指定方向平面変換処理部１６ａと、オプティカルフロー演算部１６ｂと、目的平面オプティカルフローの抽出指定部１６ｃと、目的以外面排除部１６ｄと、平面形状及び平面座標取得部１６ｅと、三次元形状生成部１６ｆと、平面再構成三次元形状出力部１６ｇとを備えている。

指定方向平面変換処理部１６ａは、画像取得部１１（図１参照）で取得される映像を、ある対象物の面に垂直になるカメラ視点からの映像に平面変換する。
オプティカルフロー演算部１６ｂは、ある領域内におけるオプティカルフローを演算により求める。
目的平面オプティカルフローの抽出指定部１６ｃは、ある領域内でお求められたオプティカルフローに基づき、所望の目的平面のオプティカルフローを抽出する。
目的以外面排除部１６ｄは、オプティカルフローが抽出された目的平面以外のオプティカルフローを排除する。
平面形状及び座標取得部１６ｅは、目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える。
三次元形状生成部１６ｆは、ある領域を移動しながら、演算を繰り返して、すべての領域について抽出し、平面構成による三次元形状を生成する。
平面再構成三次元地図出力部１６ｇは、三次元形状生成部１６ｆで生成された平面構成による三次元地図を出力する。

図１６は、本実施形態の三次元生成部１６でオプティカルフローによって抽出される対象物の平面のイメージ図である。同図に示すように、カメラの標準位置から各対象物が属する平面の垂直距離をＤとすると、複数の並行平面群としてすべての平面を分離、抽出することができる。このとき、同図に示す街路樹のように、曲面状の対象物については、一つの対象物であっても一つの平面には乗らない点や面を有する曲面状の対象物については、曲面を複数の平面の集まりとして扱い、基準となる平面（同図では街路樹面(1)）からの距離を与えることで、その平面に属する一つの対象物の情報として捉えることができる。
このようにして、カメラ位置と方向を検出することにより、複数画像のカメラ位置から対象物の位置を特定することができ、平面展開画像から三次元地図を再構成できる。従って、車載カメラ等で撮影するだけで走行した範囲の領域についての三次元地図を自動的に生成することができるようになる。

このように、本実施形態の三次元形状生成部１６では、視差による地図生成によらない三次元地図生成の方法として、オプティカルフロー方式を採用している。
カメラで取得された映像を平面変換することにより、平面変換した画像から平面のオプティカルフローを演算することができる。カメラの移動方向に対して並行な平面は同一のオプティカルフローを持つという法則から、同一平面上の画素のみを抽出することができる。
これにより、本発明の三次元形状生成装置１０により高精度で求められるカメラ位置から平面変換処理を行い、正確な平面を求めること、すなわち、同一オプティカルフローを持つ目的の平面を定義することができ、その定義平面に平面のテクスチャーを貼り付けることができるようになる。
さらに、同様の方法を繰り返し、次々と平面を定義し、テクスチャーが貼り付けられた平面を三次元的に再構成することで、データ量としては相当に少ない三次元地図を生成することが可能となる。

［第五実施形態］
次に、本発明に係る三次元形状生成装置の第五実施形態について、図１７を参照しつつ説明する。
図１７は、本発明の第五実施形態に係る三次元形状生成装置における移動物体のベクトル検出方法を概念的に示す説明図である。
同図に示すように、本実施形態では、図１に示した三次元形状生成装置１０におけるベクトル検出と同じ方法で、移動物体の移動ベクトルを検出するようにしてある。

具体的には、本実施形態の三次元形状生成装置１０は、上述した各実施形態における場合と同様に、移動するカメラのベクトルを検出する。
次に、カメラとは別に、移動する移動物体（例えば、走行する他の車両）の移動ベクトルを、カメラの移動ベクトルを検出するのと同じ方法で検出することにより、移動するカメラからの移動物体のベクトルを検出する。
そして、カメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出するようにしてある。

運動は相対的であるから、カメラが動いても、対象物が動いても同じ方法が適用でき、カメラのベクトルと、カメラから見た移動物体の見かけ上のベクトルとの加算により、移動物体の移動ベクトルの相対値を検出できる。
これによって、例えば、移動物体中に既知の長さを見つけて、絶対長に変換することができる。また、複数のカメラからの視差により、絶対長を計測して、あるいは、長さが既知の物体にふれている部分から、例えば路面に接している車両であれば、その路面から絶対長を得て、移動物体の絶対長を取得することができる。
このようにして、本実施形態では、移動物体の絶対長を求めることができるようになる。

［第六実施形態］
次に、本発明に係る三次元形状生成装置の第六実施形態について、図１８及び図１９を参照しつつ説明する。
図１８は、本発明の第六実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
図１９は、本実施形態に係る三次元形状生成装置に備えられる視野重複カメラと広角カメラを固定して設けた場合の具体例を模式的に示す斜視図である。

これらの図に示す本実施形態は、図１に示した三次元形状生成装置１０の他の実施形態であり、視野の重複する複数の画像を取得し、その視野重複画像に基づいて、複数の三次元形状を統合できるようになっている。
従来から、複数のカメラによる重複する画像から、時間的に連続する三次元画像を得る手段が知られている。しかし、時々刻々得られる三次元画像は、それぞれが独立した座標であるため、そのままでは、フレームが異なる画像の間で関係付けることができない。
そこで、本実施形態では、時間軸方向の連続する画像により、特徴点追跡法によりカメラベクトルを求めて、時間的に連続するカメラベクトルを得ることで、先に取得された一部分の三次元画像を共通の座標で統一的に表現し、三次元全体像を生成できるようにした。

具体的には、本実施形態の三次元形状生成装置３０は、視野重複カメラ部３１と、視野重複画像記録部３２と、連続三次元画像生成部３３と、移動カメラ座標系画像変換部３４と、座標校正統合部３５と、統合三次元形状生成部３６とを備えた構成となっている。
視野重複カメラ部３１は、移動物体に積載したカメラとは別に、若しくはそれを兼ねて、同じ移動物体に積載し、複数のカメラから成り、視野が重複するように設定したカメラである。
視野重複画像記録部３２は、視野重複カメラ部から取得した、同時刻の画像を関連づけて、記録する。
連続三次元画像生成部３３は、視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する。
なお、視野重複カメラ部３１と、視野重複画像記録部３２と、連続三次元画像生成部３３は、ステレオビジョンカメラ（図１９（ａ），（ｂ）に示すカメラ１）のような、視野重複画像を取得できるカメラによって構成することができる。

移動カメラ座標系画像変換部３４及び座標統合部３５は、連続三次元画像生成部３３で得られた三次元画像を、ベクトル抽出部１３（図１参照）から得られた移動カメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する。
ここで、本実施形態では、ベクトル抽出部１３で移動ベクトルが抽出されるカメラは、例えば３６０度の全周画像のような広範囲の映像が撮影できる広角カメラ２（図１９（ａ），（ｂ）に示すカメラ２）とする。
統合三次元形状生成部３６は、座標統合部３５で統合された座標系で、対象物及び周囲の三次元形状を生成する。
以上のような構成により、重複するカメラから取得された各時刻単位の三次元画像を統合し、単一座標系で結合して三次元全体像を表示することができる。

なお、視野重複させた近距離の三次元画像取得用のカメラとしては、例えば、カナダＰＧＲ社製「デジクロップス」を用いることができ（図１９（ａ），（ｂ）に示すカメラ１参照）、このような公知の視野重複カメラによって近距離の三次元画像を取得する。
また、カメラベクトル取得用のカメラとしては、３６０度全周映像のような広範囲映像を撮影できるカメラ、例えば、カナダＰＧＲ社製「レディ・バグ」を用いることができ（図１９（ａ），（ｂ）に示すカメラ２参照）、また、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラなどを用いることもできる。

そして、このような広角カメラと視野重複カメラの位置関係を固定することで、３６０度カメラ等の広角カメラで得られたカメラベクトルを、視野重複カメラの持つカメラベクトルと同じとし、時刻毎の三次元画像に反映して、三次元画像を統一した画像に統合することができる。図１９（ａ），（ｂ）に示す例では、視野重複のカメラ１と３６０度用のカメラ２を、固定台３に固定してある。
このようにして、本実施形態では、移動物体であっても同一座標に統合できることになる。
なお、カメラベクトルにより、それぞれの固有の座標系は共通する特徴点を共有するかたちで統合されるが、この場合は特徴点に限らず、画像全体を特徴点と見なして、全体の形状が一致するように統合することも可能である。

以下、本実施形態に係る三次元形状装置３０の、より具体的な実施例として、連続してステレオビジョンを得ることができるカメラと、全周囲画像を撮影することが出来るカメラの組み合わせにより、三次元形状を得る実施例について説明する。
まず、図１９（ａ），（ｂ）に示すように、ステレオビジョンカメラ１を、全周囲カメラ２と一体化して固定台３で固定し、相互の位置関係が変わらないように車両の屋根等に積載する。
カメラベクトルを抽出するには、視野が広いことが望ましい。そこで３６０度全周囲撮影可能なカメラ２を選択する。
なお、ステレオビジョンカメラ１は、カナダＰＧＲ社製「デジクロップス（Degiclops）」を、また、全周囲カメラ２としては、同じくカナダＰＧＲ社製「レディ・バグ（LadyBug）」を用いるものとする。

図１９（ａ），（ｂ）に示すように、ステレオビジョンカメラ１と全周囲カメラ２を固定台３の上に固定し、車両の屋根に取り付ける。カメラ取り付け位置と車両形状の三次元位置関係は前もって計測しておく必要があるが、一度計測すればカメラを移動しない限り、カメラ位置を計測することで、車両位置を決定することができる。
また、ステレオビジョンカメラ１と全周囲カメラ２の位置関係が固定されているので、それぞれのカメラは、車両と一体化して同じように回転し、進行し、揺れを受けることになる。
なお、図１９（ａ）ではステレオビジョンカメラ１は一つだけ搭載されているが、図１９（ｂ）では、複数のステレオビジョンカメラ１を搭載するようにしてある。このように、複数のステレオビジョンカメラ１を備えることによって、同時に広範囲の三次元形状を取得できるので、本発明の画像処理の効率を、より向上させることができる。

このように車両に搭載されたカメラでは、まず、ステレオビジョンカメラ１では、連続三次元画像生成部３３（図１８参照）により、連続した三次元画像が得られる。ただ、各フレーム間の画像の位置関係は何ら関係が無く、そのままでは結合できない。
三次元的にマッチングすれば結合できるようにも考えられるが、それだけでは次第に誤差が累積し、フレームが進むにつれて画像は正常に結合されない。

そこで、他のカメラである全周囲カメラ２により映像を取得して、ベクトル抽出部１３（図１８参照）でカメラベクトルを抽出することにより、カメラベクトルに基づいてカメラの姿勢をフィードバックさせ、カメラの姿勢を正しく整合して、それを画像に反映させる。
また、カメラベクトルからカメラの移動距離も取得できるので、カメラベクトルのデータから各フレームのカメラ位置と回転を三次元的に演算で求められるので、得られた３軸回転量と三次元位置を、それぞれのステレオビジョンカメラからの各フレームの映像に反映することで、各フレームのステレオ画像を移動カメラ座標系画像変換部３４（図１８参照）で共通の座標で表現することが可能となる。それらは共通の座標系であるので、そのまま座標統合部３５（図１８参照）で合成することができる

以上のように共通の座標系で画像を合成した上で、結合部位の微調整として三次元マッチングを施すことは十分意味のあることである。
このようにすることで、統合三次元形状生成部３６（図１８参照）で、三次元形状を連続的に取得でき、また、それを三次元地図とすることができる。
なお、本実施例では、ステレオビジョンを得るカメラと、カメラベクトルを得るカメラを別々としたが、共通のカメラとすることも当然可能である。

［第七実施形態］
次に、本発明に係る三次元形状生成装置の第七実施形態について、図２０を参照しつつ説明する。
図２０は、本発明の第七実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態は、図１に示した三次元形状生成装置１０の他の実施形態であり、カメラを搭載した車両が通る路面の凹凸を検出して、三次元地図を校正する手段を備えている。
具体的には、本実施形態に係る三次元形状生成装置４０は、近距離部分詳細画像取得部４１と、並列画像記録部４２と、近距離部分三次元計測部４３と、他の移動物体検出部４４と、他の移動物体排除部４５と、座標結合部４６と、結合座標記録部４７と、総合画像表示部４８とを備えている。

近距離部分詳細画像取得部４１は、移動物体に積載したカメラとして、複数台のカメラを積載し、特に近距離の詳細データを必要とする部分を主に撮影する手段である。
並列画像記録部４２は、移動物体積載カメラによる視野が一部重複するように設定された、同時刻の画像を関連して呼び出し可能な形で記録する。
近距離部分三次元形状生成部４３は、視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する。
他の移動物体検出部４４は、視野の重複する画像から視差を検出し、カメラを積載した移動物体以外の、他の移動体を検出する。

他の移動物体排除部４５は、視野の重複する画像の視差データから、他の移動物体の視差データを排除する。
座標結合部４６は、上述した各実施形態で示した三次元形状生成部１６と、近距離部分三次元形状生成部４３とにおいて重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する。
統合座標記録部４７は、統合されたデータを記録する。
総合画像表示部４８は、統合座標記録部４７で統合されたデータを表示する。

カメラを搭載した車両が通過する路面の凹凸を精度良く計測しようとする場合、例えば二台のカメラで路面を撮影し、視差を検出して路面の凹凸を検出することができる。しかし、それだけでは、カメラ間のベースラインの制限から、近距離の精度は取れるが、遠距離の精度は取れない。
そこで、本実施形態では、超近距離計測のみ、二台のカメラによる視差によって画像処理で近距離の三次元形状生成を精度良く行い、全体座標と統合することで、三次元形状及び三次元地図を生成するようにしてある。これによって、時車両以外の移動体を検出して、画像から移動体を排除することで、計算精度を向上させることができる。

なお、本実施形態の三次元形状生成装置４０は、上述した第六実施形態で示した三次元形状生成装置３０（図１８参照）と組み合わせて統合して実施することができる。
すなわち、本実施形態に係る三次元形状生成装置４０は、一つのカメラによる基本実施形態だけに限られず、第六実施形態で示したような複数のカメラ（ステレオビジョンカメラ、広角カメラ等を含む）による視差を併用したシステムとしても実施可能である。

［第八実施形態］
さらに、本発明に係る三次元形状生成装置の第八実施形態について、図２１を参照しつつ説明する。
図２１は、本発明の第八実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。
同図に示す本実施形態は、上述した第一乃至第七実施形態に係る三次元形状生成装置を、適宜組み合わせて実施できるようにしたものである。

具体的には、本実施形態に係る三次元形状生成装置１００は、図２１に示すように、映像取得部１０１と、ベクトル検出部１０２と、重複演算部１０３と、補正信号生成部１０４と、正規化画像変換部１０５と、指定方向平面変換処理部１０６と、Ｏｐｔ．Ｆ．演算部１０７と、目的平面Ｏｐｔ．Ｆ．の抽出指定部１０８と、平面形状及び座標演算部１０９と、面以外処理部１１０と、統合出力部１１１と、平面再構成三次元地図出力部１１２が、任意に選択により組み合わせられて実施できるようになっている。
各構成部分の具体的な内容は、上述した各実施形態で示した通りである。
このような本実施形態の三次元形状生成装置１００によれば、対象物の三次元形状を連続的に、広範囲に生成することで、三次元地図を生成することができる三次元地図生成装置を実現することができる。本発明においては、三次元形状生成を限定した対象物に対してではなく、広範囲に連続して実行すれば三次元地図が得られるようになっている。

以上、本発明の三次元形状生成装置について、好ましい実施形態を示して説明したが、本発明に係る三次元形状生成装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

本発明は、例えば、カーナビゲーション装置に備えられる三次元地図を生成するために好適な三次元形状生成装置として利用することができる。

本発明の第一実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第一実施形態に係る三次元形状生成装置で生成される三次元形状（三次元地図）の表示例を示す説明図である。 本発明の第一実施形態に係るベクトル検出部の概略構成を示すブロック図である。 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の第一実施形態に係るベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の第一実施形態に係るベクトル検出部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の第一実施形態に係るベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の第一実施形態に係るベクトル検出部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の第一実施形態に係るベクトル検出部で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。 本発明の第二実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第三実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第四実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第四実施形態の三次元生成部でオプティカルフローによって抽出される対象物の平面のイメージ図である。 本発明の第五実施形態に係る三次元形状生成装置における移動物体のベクトル検出方法を概念的に示す説明図である。 本発明の第六実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第六実施形態に係る三次元形状生成装置に備えられる視野重複カメラと広角カメラを固定して設けた場合の具体例を模式的に示す斜視図である。 本発明の第七実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。 本発明の第八実施形態に係る三次元形状生成装置の概略構成を示すブロック図である。

符号の説明

１０ 三次元形状生成装置
１１ 画像取得部
１２ 画像記録部
１３ ベクトル検出部
１４ カメラベクトル付加画像記録部
１５ 多重視差演算部
１６ 三次元形状生成部
１７ 補正信号生成部
１８ 正規化画像変換部
２０ ベクトル検出部
２１ 特徴点抽出部
２２ 特徴点対応処理部
２３ 特徴点・カメラ位置演算部
２４ 誤差最小化部

Claims (10)

1. 移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、
   前記画像取得部で取得された画像を一時記録する画像記録部と、
   前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの３軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、
   前記ベクトル検出部で求められたカメラの三次元位置と３軸回転のカメラベクトルの各データを付加した全フレーム画像を記録するカメラベクトル付加画像記録部と、
   各フレーム画像及び各フレーム単位で得られたカメラベクトルに基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する多重視差演算部と、
   前記多重視差演算部における対象物の三次元形状の生成を連続的に繰り返して、三次元形状を形成する三次元形状生成部と、
   を備えることを特徴とする三次元形状生成装置。
2. 移動体に備えられた動画又は連続静止画を得るカメラからの映像を取得する画像取得部と、
   前記画像取得部で取得された画像を一時記録する画像記録部と、
   前記画像記録部から読み出された画像データから、各フレームで対応関係にある点又は小領域の三次元位置と、カメラの三次元位置及びカメラの３軸回転を複数のフレームで重複演算し、誤差の分布が最小になるように統計処理してカメラベクトルを求めるベクトル検出部と、
   前記ベクトル検出部で求めたカメラベクトルから、元画像を補正するための補正信号を生成する補正信号生成部と、
   前記補正信号で補正された正規化画像を記録する正規化画像変換部と、
   各フレームでのカメラの三次元位置と、前記補正信号で補正された複数の正規化映像に基づき、複数のフレーム画像から得られる多数の視差、又は複数のフレーム画像から得られる多数のオプティカルフローの平均値を用いて、画像内対象物の微少面各点について重複演算し、対象物の三次元形状を生成する三次元形状生成部と、
   を備えることを特徴とする三次元形状生成装置。
3. 前記ベクトル検出部は、
   前記画像記録部から読み出された画像データにより、画像中に特徴点となるべき点又は小領域画像を自動抽出して自動指定する特徴点抽出部と、
   前記自動指定された特徴点の各フレーム間での対応関係を求める特徴点対応処理部と、
   前記対応関係が求められた特徴点の三次元位置座標及びカメラ位置を演算で求める特徴点・カメラ位置演算部と、
   前記特徴点の三次元位置を複数演算し、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をするとともに、誤差の大きい特徴点を検出してそれを削除し、他の特徴点に基づく再演算をし、全体の誤差を最小化する誤差最小化部と、
   を備える請求項１又は２記載の三次元形状生成装置。
4. 前記ベクトル検出部は、
   画像内の映像的に特徴がある特徴点を自動検出し、各フレーム画像内で当該特徴点の対応点を求め、
   カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、所定の値にｎとｍを設定して単位演算を繰り返し、
   カメラから画像内の特徴点までの距離により特徴点を複数段に分類して、フレーム間隔ｍを、カメラから特徴点までの距離が遠いほど大きくなるように設定し、
   ｍによる特徴点の分類を複数オーバーラップさせながら、複数段階のｍを設定し、
   画像の進行とともにｎが連続的に進行し、演算を連続的に進行させ、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算して、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整することにより統合し、距離演算を行い、
   誤差の分布が大きい特徴点を削除し、再演算することにより、
   各特徴点及びカメラ位置での演算の精度を上げる請求項１乃至３記載の三次元形状生成装置。
5. 前記三次元形状生成部は、
   既に得られているカメラベクトルに基づき、
   フレーム画像内の小領域を移動しながら演算を繰り返して、画像内のすべての小領域について多数の視差を抽出し、その視差による重複演算により誤差の少ない三次元形状を生成する多重視差三次元形状生成部と、
   多重視差三次元形状生成部で生成された三次元形状を、カメラと同一の座標系に統合して三次元地図を出力する多重視差三次元形状出力部と、
   を備える請求項１乃至４記載の三次元形状生成装置。
6. 前記三次元形状生成部は、
   前記画像取得部で取得された映像を、所望の対象物の面に垂直になるカメラ視点からの映像に平面変換する指定方向平面変換処理部と、
   平面変換された映像により、ある領域内の映像のオプティカルフローを演算し、所望の目的平面のオプティカルフローを抽出する目的平面オプティカルフローの抽出指定部と、
   前記目的平面以外のオプティカルフローを排除する目的以外面排除部と、
   目的平面を、形状を持つ平面として抽出し、その平面に三次元座標を与える平面形状及び座標取得部と、
   前記ある領域を移動しながら演算を繰り返して、領域内の所望の対象物のすべてについて、平面構成による三次元形状を生成する平面構成三次元形状生成部と、
   それらの平面構成による三次元形状を三次元地図として出力する平面再構成三次元形状出力部と、
   を備える請求項１乃至５記載の三次元形状生成装置。
7. 前記ベクトル検出部は、
   移動するカメラのベクトルを検出するとともに、カメラとは別に、移動する移動物体の移動ベクトルを、前記カメラベクトルと同じ方法により検出することで、移動するカメラからの移動物体のベクトルを検出し
   カメラの移動ベクトルと移動物体の移動ベクトルとのベクトル加算により、移動物体の静止座標形に対する姿勢を三次元ベクトルとして検出する請求項１乃至６記載の三次元形状生成装置。
8. 前記移動体に備えられるカメラとは別に又はそれを兼ねて、同じ移動体に備えられる複数のカメラからなり、視野が重複するように設定した視野重複カメラ部と、
   前記視野重複カメラ部で取得される同時刻の複数の画像を関連づけて記録する視野重複画像記録部と、
   前記視野重複した同時刻の複数の画像から演算で求められる、単位時刻における固有の座標系からなる三次元画像を生成する連続三次元画像生成部と、
   前記連続三次元画像生成部で得られた三次元画像を、前記ベクトル検出部から得られた移動するカメラのカメラベクトルと結合し、移動カメラ系と共通の座標系に変換して統合する座標統合部と、
   統合された座標系で対象物及び周囲の三次元形状を生成する統合三次元形状生成部と、
   を備えた請求項１乃至７記載の三次元形状生成装置。
9. 前記移動体に備えられるカメラとして複数のカメラを備え、近距離の詳細データを必要とする部分を主に撮影する近距離部分詳細画像取得部と、
   前記複数のカメラで取得される、視野が一部重複するように設定された同時刻の複数の画像を関連して呼び出し可能な形で記録する並列画像記録部と、
   前記視野の重複する画像から視差を検出し、近距離部分の詳細な三次元形状を生成する近距離部分三次元形状生成部と、
   前記視野の重複する画像から視差を検出し、前記カメラを備えた移動体以外の他の移動物体を検出する他の移動物体検出部と、
   前記視野の重複する画像の視差データから、前記他の移動物体の視差データを排除する他の移動物体排除部と、
   前記三次元形状生成部と、前記近距離部分三次元形状生成部とが重複する部分の対象物の三次元形状から、視差による実測長でスケールを校正して、それぞれの座標系を統合する座標校正統合部と、
   統合されたデータを記録する統合座標記録部と、
   それら統合されたデータを表示する総合画像表示部と、
   を備える請求項１乃至９記載の三次元形状生成装置。
10. 請求項１乃至９記載の三次元形状生成装置を備え、対象物の三次元形状を連続的に広範囲に生成することにより、三次元地図を生成することを特徴とする三次元地図生成装置。