JP3614709B2 - 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 - Google Patents
景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3614709B2 JP3614709B2 JP14012899A JP14012899A JP3614709B2 JP 3614709 B2 JP3614709 B2 JP 3614709B2 JP 14012899 A JP14012899 A JP 14012899A JP 14012899 A JP14012899 A JP 14012899A JP 3614709 B2 JP3614709 B2 JP 3614709B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- image
- reference model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、画像中に何が写っているかを提示したり、所望する画像を検索したりするための、景観映像にインデクスを付与する方法に関するものである。
【０００２】
【従来の技術と問題点】
従来より、景観画像に対して、インデクスする技術が存在している。例えば特開平７−２４８７２６号公報に記載の装置は、いろいろな地点の映像を、ＧＰＳを利用して取得した、その撮影地点の位置情報とともに、対応づけて記憶する装置である。これにより、その画像の撮影された位置情報を条件として検索したりすることができる。ところが、これは撮影された位置という情報のみであるため、その画像中に何が写っているかを提示したり、その写っているものの属性で検索したりすることはできない。そのため、このＧＰＳを利用して取得した位置情報だけでなく、画像を撮影したカメラパラメータを利用する技術が、これまで、いくつか提案されている。例えば、特開平１０−４２２８２号公報に記載のシステム、あるいは特開平１０−２６７６７１号公報に記載の装置およびシステムは、いろいろな地点の映像を、その画像を撮影したカメラの３次元位置情報、３次元姿勢情報、画角、焦点距離とともに、対応づけて記憶するものである。この３次元位置情報という位置情報に加えて、３次元姿勢情報、画角というカメラパラメータを利用することにより、画像中に何が写っているかを提示したり、所望する画像を検索したりするための、景観映像にインデクスを付与することが可能となる。ところが、このような位置情報、およびカメラパラメータを取得する装置が問題となる。このような情報を取得するためのセンサは、精度を要求するために、大きな装置であり、また高額である。そのため、ヘリコプターや大きなワゴン車といったものに載せる必要があり、例えば、人が、持ち歩くといった状況での利用は難しい。また、このような装置を利用しても、撮影状況によっては、誤差も大きく、効果的な利用は難しいと考えられる。
【０００３】
【発明が解決しようとする課題】
上述したように、従来は大がかりな装置を用意する、あるいは人手を介する必要がある。また、この作業はかなりの時間と経験を要するものである。そのため、その省力化、さらには、自動化が強く望まれている。
【０００４】
本発明の目的は、上述したような従来技術を有する問題点に鑑みなされたものであって、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、画像中に何が写っているかを提示したり、所望する画像を検索したりるするために、景観映像にインデクスを付与することを大がかりな装置を用いることなく、かつ自動的に行なう方法、装置、および景観画像インデクスプログラムを記録した記録媒体を提供することである。
【０００５】
本発明の景観映像インデクス方法は、
映像を構成する各フレームについて、画像を表現する各画素値を含む画像情報と、そのフレームを撮影したカメラの位置、撮影角度、および焦点距離からなるカメラパラメータを含むフレーム情報と、属性が付与されたオブジェクト領域の情報とその属性データを含むインデクス情報とを対応づけて記憶する映像情報データベースと、
地図中に存在する構造物を構成する各頂点の３次元座標を含む３次元地図データと、その構造物を構成する面のテクスチャ情報と、属性データとを対応づけて記憶する地図データベースと
を有する景観画像インデクス装置が景観画像にインデクスを付与する方法であって、
処理対象フレームについて、前記映像情報データベースから、当該フレームの画像情報と、当該フレームの１つ前のフレームのフレーム情報とを入力する入力制御処理段階と、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力し、前記１つ前のフレームのフレーム情報のカメラパラメータに対して、それに幅を持たせたカメラパラメータに基づいて、前記入力した３次元地図データを画像座標系に投影して複数の参照モデルを生成する参照モデル算出処理段階と、
前記処理対象フレームの画像情報から輪郭情報を抽出し、それを前記複数の参照モデルと比較することにより、最適な参照モデルを選択するとともに、該選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとして算出する画像マッチング処理段階と、
前記処理対象フレームの画像情報に対して前記選択した参照モデルを投影することにより、該参照モデルを構成する図形の各面を表すポリゴンの構成点の、当該処理対象フレームの画像情報上の位置を算出し、該算出したポリゴン構成点の当該処理対象フレームの画像情報上の位置、前記ポリゴンに付与されている属性データ、および前記算出した当該処理対象フレームのカメラパラメータを前記映像情報データベースに格納するインデクス処理段階と、
前記処理対象フレームの画像情報から、前記ポリゴン構成点の当該処理対象フレームの画像情報上の位置に基づき、該ポリゴン構成点内の画像情報を取得し、該取得した画像情報を当該ポリゴンのテクスチャ情報として前記地図データベースに格納するテクスチャ抽出処理段階と
を有する。
【０００６】
本発明は、町並みの建物、構造物等の外観を撮影したＶＴＲ画像、または実時間の画像、撮影時のカメラ位置や角度や焦点距離（以下、カメラパラメータと呼ぶ）、建物の外形線の各頂点の３次元座標を少なくとも含む３次元地図データ、を入力として、以上の各処理を行うことにより、建物の外観の、その外観のテクスチャまで含めたリアルな表示を、任意の角度で眺めた、例えば、鳥瞰図のように行うことが可能な３次元データベースを構築する。
【０００７】
本発明によれば、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、地図情報を利用して、そのフレーム内のオブジェクトに自動的にインデクスを付与することにより、画像中に何が写っているかを提示したり、所望する画像を検索したりできる。
【０００８】
前フレームを撮影したカメラパラメータから、現フレームを撮影したカメラパラメータを推定することにより、地図情報から生成される参照モデルの数を減らすことができ、計算の効率化ができる。
【０００９】
処理対象フレームの画像から輪郭情報を抽出し、それを参照モデルと比較することにより、画像情報、地図情報からカメラパラメータを算出し、算出されたカメラパラメータを利用して、算出された座標系に地図情報を投影し、フレーム中のオブジェクト領域を算出することにより、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与し、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図で情報として取得することで、ＧＰＳやジャイロなどの大きな装置を用いることなくインデクスを付与することができる。
【００１０】
計算機による画一処理によって、人間の作業の個人差を解放したことで、品質を一定に保つことが可能になる。
【００１１】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１２】
図１を参照すると、本発明の一実施形態の景観画像インデクス装置は、映像情報データベース１０１と地図データベース１０２と入力制御処理部１１０と参照モデル算出処理部１２０と画像マッチング処理部１３０とインデクス処理部１４０とテクスチャ抽出処理部１５０で構成される。
【００１３】
図２は図１の景観画像インデクス装置が行う処理を示す図で、入力制御処理２１０と参照モデル算出処理２２０と画像マッチング処理２３０とインデクス処理２４０とテクスチャ抽出処理２５０で構成される。
【００１４】
映像情報データベース１０１は、映像を構成する各フレームについて、その画像情報、フレーム情報、インデクス情報を含むデータベースである。画像情報は、フレームの大きさ、各画素のＲＧＢ値といった画像を表現するためのデータである。フレーム情報は、そのフレームを撮影したカメラの情報であり、位置（Ｘ，Ｙ，Ｚ）、Ｙ，Ｙ，Ｚ軸まわりの撮影角度（ω，φ，χ）、および焦点距離（ｆ）を含むデータである。インデクス情報は、そのフレームについて、属性が付与された領域、および、その属性を含むデータである。
【００１５】
地図データベース１０２は、地図中に存在する人工物、構造物等の構造を構成する各頂点の、３次元（ｘ，ｙ，ｚ）の座標点列データ、および座標点列の接続関係を示すデータ、その人工物、構造物等に付与されている属性、道路のネットワーク構造を表す、道路をリンク、交差点をノードとするデータを含むデータベースである。ここで、付与されている属性は、名称、住所、電話番号、属性種別といった住人情報、および図形を構成する面のテクスチャ情報から構成されている。
【００１６】
入力制御処理部１１０は、利用者からの要求を受け付けて、映像情報データベース１０１から、該当個所の映像情報データ２０１を入力する入力制御処理２１０を行う。
【００１７】
参照モデル算出処理部２１０は、前フレームを撮影したカメラパラメータに対して、それに幅を持たせたパラメータで、地図情報から参照モデルを生成する参照モデル算出処理２２０を行う。
【００１８】
画像マッチング処理部１３０は、処理フレームの画像情報から輪郭情報を抽出し、それを参照モデルと比較することにより、最適なモデルを選択し、カメラパラメータを算出する画像マッチング処理２３０を行う。
【００１９】
インデクス処理部１４０は、算出されたカメラパラメータを利用して、画像座標系に地図情報を投影することにより、フレーム中のオブジェクト領域を算出し、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与することを行い、それを映像情報データベース１０１に格納するインデクス処理２４０行う。
【００２０】
テクスチャ抽出処理部１５０は、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図情報として取得し、それを地図データベース１０２に格納するテクスチャ抽出処理２５０を行う。
【００２１】
次に、各処理の内容を詳しく説明する。
【００２２】
入力制御処理２１０では、図３に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ が入力されると（ステップ３０１）、映像情報データベース１０１を検索して、その１つ前のフレームの画像情報Ｆｎ−１ およびフレーム情報Ｉｎ−１ を入力する（ステップ３０２）。このＩｎ−１ は、位置（Ｘｎ−１ ，Ｙｎ−１ ，Ｚｎ−１ ）、撮影角度（ωｎ−１ 、φｎ−１ ，χｎ−１ ）、および焦点距離（ｆｎ−１ ）を含む情報である。検索の結果、このＩｎ−１ の入力ができなかった場合は、他の処理対象フレームを入力することとする。
【００２３】
参照モデル算出処理２２０では図４に示すようなフローで処理が行われる。まず、入力制御処理２１０で入力されたフレーム情報Ｉｎ−１ に対する地図データ（ｘｗ，ｙｗ，ｚｗ）を地図データベース１０２から入力する（ステップ４０１）。
【００２４】
次に、フレーム情報Ｉｎ−１ に対してどれくらいの幅で計算を行うかの値（Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）を設定する（ステップ４０２）。再設定の場合には補正された値を、そうでない場合には初期値を設定する。次に、Ｉｎ−１ に±幅の幅をもたせて処理対象のフレーム情報を算出する（ステップ４０３）。幅が１の場合、ｘについてはｘ−１からｘ＋１となり、これを７つのパラメータについて行う。フレーム情報の撮影角度（ω，φ，χ）から回転行列Ｒを次式（１）により算出する（ステップ４０４）。
【００２５】
【数１】
次に、地図データ（ｘｗ，ｙｗ，ｚｗ）を次式（２）によりカメラ座標系（ｘｃ，ｙｃ，ｚｃ）に変換する（ステップ４０５）。
【００２６】
【数２】
次に、座標（ｘｃ，ｙｃ，ｚｃ）を次式（３）により透視変換し、画像座標系（ｘｉ，ｙｉ）に変換する（ステップ４０６）。
【００２７】
【数３】
次に、画像座標系に投影された点（ｘｉ，ｙｉ）に対して、もともとその点が有している座標点列の接続関係を利用して、つながっている点同志を接続して、参照モデルＲＭｎ−１ （Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）を生成する（ステップ４０７）。
【００２８】
画像マッチング処理２３０では、図５に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ について輪郭を抽出する（ステップ５０１）。この輪郭画像の画像情報をＦ’ｎ とする。このＦ’ｎ と参照モデル算出処理２２０で生成されたＲＭｎ−１ （Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）との比較を行う（ステップ５０２）。このＲＭｎ−１ （Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）の中で、輪郭の一致画素数が最大のものを選択し、正解の候補ＲＭａｘとする（ステップ５０３）。この一致画素数の画像の全画素数に対する割合が、予め決められた閾値より大きい場合には、この候補を正解とする（ステップ５０４，５０５）。また、そうでない場合には、幅を補正して（ステップ５０６）、処理を参照モデル算出処理２２０に移し、再度、参照モデルを生成する。この正解となった参照モデルを生成したフレーム情報をＩｎ とし、処理をインデクス処理２４０に移す。
【００２９】
インデクス処理２４０では、図６に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ に対してＲＭａｘをあてはめることが行われる（ステップ６０１）。このＲＭａｘを構成する図形の各面を表すポリゴンの構成点のＦｎ 上の位置を映像情報データベース１０１に格納する（ステップ６０２）。また、このポリゴンに付与されている属性情報、およびＩｎ を映像情報データベース１０１に格納し（ステップ６０３）、処理をテクスチャ抽出処理２５０に移す。
【００３０】
テクスチャ抽出処理２５０では、入力をＦｎ として映像情報データベース１０１の検索処理を行い、ポリゴン構成点を入力する（ステップ７０１）。このポリゴン構成点内の画像テクスチャの取得処理を行い、テクスチャの画像情報を出力する（ステップ７０２）。このテクスチャの画像情報を地図データベース１０２へ格納する（ステップ７０３）。
【００３１】
以上により、本実施形態によれば、地図データ、映像データを用意することにより、景観映像にインデクスを付与し、画像中に何が写っているかを提示したり、所望する画像を検索したりすることができる。
【００３２】
図８，９，１０は、上述した処理手順を実際のデータに即して説明するための図である。
【００３３】
入力制御処理２１０において、図８（１）の映像情報データから、図８（２）に示す処理対象フレームの画像情報Ｆｎ が入力されたとする。このＦｎ に対して、映像情報データベース１０１を検索して、その１つ前のフレームの画像情報Ｆｎ−１ 、およびフレーム情報Ｉｎ−１ を入力する。このＩｎ−１ は、位置（Ｘｎ−１ ，Ｙｎ−１ ，Ｚｎ−１ ）、撮影角度（ωｎ−１ ，φｎ−１ ，χｎ−１ ）、および焦点距離（ｆｎ−１ ）を含む情報である。
【００３４】
これに対して、参照モデル算出処理２２０では、入力制御処理２１０で入力されたＩｎ−１ に対して、地図データベース１０２から、図９（１）に示す地図データを入力する。ここで、Ｉｎ−１ に対して、どれくらいの幅で計算を行わせるかの値を設定する。この値に対して、参照モデルを生成する。ここでは、参考のために、生成された参照モデルの例を、図９（２），（３），（４），（５）に示す。
【００３５】
画像マッチング処理２３０では、図１０（１）に示す処理対象フレームの画像情報Ｆｎ から輪郭を抽出する。この輪郭画像の画像情報Ｆ’ｎ を、図１０（２）に示す。このＦ’ｎ と生成された参照モデルとの比較を行う。図９（２），（３），（４），（５）に示す参照モデルに対する比較を、図１０（３），（４），（５），（６）に示す。この中で、輪郭の一致画素数が最大のものを選択し、図１０（４）に示すものを正解の候補ＲＭａｘとする。ここでは、この一致画素数の画像の全画素数に対する割合が、予め決められた閾値より大きいので、この候補を正解とする。
【００３６】
インデクス処理２４０では、図１１（１）に示すように、処理対象フレームの画像情報Ｆｎ に対してＲＭａｘをあてはめることが行われる。このＲＭａｘを構成する図形の各面を表すポリゴンの構成点のＦｎ 上の位置を、映像情報データベース１０１に格納する。また、図１１（２），（３）に示すように、このポリゴンに付与されている属性情報、およびＩｎ を映像情報データベース１０１に格納する。
【００３７】
テクスチャ抽出処理２５０では、図１１（４）に示す図形の面に対応するテクスチャを獲得し、図１１（５）に示す画像情報を、該当するポリゴンのテクスチャ情報として、地図データベース１０２に格納する。
【００３８】
図１２は本発明の他の実施形態の景観画像インデクス装置の構成図である。本実施形態の景観画像インデクス装置は入力装置８０１と記憶装置８０２〜８０４と出力装置８０５と記録媒体８０６とデータ処理装置８０７で構成されている。
【００３９】
入力装置８０１は利用者が要求を入力するためのものである。記憶装置８０２，８０３はそれぞれ図１中の映像情報データベース１０１、地図情報データベース１０２に対応している。記憶装置８０４は主記憶装置である。出力装置８０５は最終処理結果を出力するためのものである。記録媒体８０６はＦＤ（フロッピディスク）、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録媒体で、図２に示した入力制御処理２１０からテクスチャ抽出処理２５０までの処理からなる景観画像インデクスプログラムが記録されている。データ処理装置８０７は記録媒体８０６から景観画像インデクスプログラムを記憶装置４に読み込んで、これを実行するＣＰＵである。
【００４０】
【発明の効果】
以上説明したように本発明は、以下に記載するような効果を有する。
【００４１】
蓄積された、あるいは実時間で獲得された時系列景観画像に対して、地図情報を利用してそのフレーム内のオブジェクトにインデクスを行うことにより、画像中に何が写っているかを提示したり、所望する画像を検索したりできる。
【００４２】
また、計算機が画一的な処理を施すので、複数の人による個人差もなく、均質な品質を維持することができる。
【００４３】
前フレームを撮影したカメラパラメータから、現フレームを撮影したカメラパラメータを推定することにより、地図情報から生成される参照モデルの数を減らすことができ、計算の効率化ができる。
【００４４】
処理対象フレームの画像から輪郭情報を抽出し、それを参照モデルと比較することにより、画像情報、地図情報からカメラパラメータを算出し、算出されたカメラパラメータを利用して、算出された座標系に地図情報を投影し、フレーム中のオブジェクト領域を算出することにより、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与し、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図で情報として取得することで、ＧＰＳやジャイロなどの大きな雄値を用いることなくインデクスを付与することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の景観映像インデクス装置の構成を示すブロック図である。
【図２】図１に示した装置の各部で行われている処理を示す図である。
【図３】入力制御処理２１０を説明するためのフローチャートである。
【図４】参照モデル算出処理２２０を説明するためのフローチャートである。
【図５】画像マッチング処理２３０を説明するためのフローチャートである。
【図６】インデクス処理２４０を説明するためのフローチャートである。
【図７】テクスチャ抽出処理２５０を説明するためのフローチャートである。
【図８】入力制御処理２１０の具体例を示す図である。
【図９】参照モデル算出処理２２０の具体例を示す図である。
【図１０】画像マッチング処理２３０の具体例を示す図である。
【図１１】インデクス処理２４０およびテクスチャ抽出処理２５０の具体例を示す図である。
【図１２】本発明の他の実施形態の景観画像インデクス装置の構成図である。
【符号の説明】
１０１ 映像情報データーベース
１０２ 地図データベース
１１０ 入力制御処理部
１２０ 参照モデル算出処理部
１３０ 画像マッチング処理部
１４０ インデクス処理部
１５０ テクスチャ抽出処理部
２０１ 映像情報データ
２０２ 地図データ
２１０ 入力制御処理
２２０ 参照モデル算出処理
２３０ 画像マッチング処理
２４０ インデクス処理
２５０ テクスチャ抽出処理
３０１，３０２，４０１〜４０７，５０１〜５０６，６０１〜６０３，７０１〜７０３ ステップ
８０１ 入力装置
８０２〜８０４ 記憶装置
８０５ 出力装置
８０６ 記録媒体
８０７ データ処理装置
【発明の属する技術分野】
本発明は、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、画像中に何が写っているかを提示したり、所望する画像を検索したりするための、景観映像にインデクスを付与する方法に関するものである。
【０００２】
【従来の技術と問題点】
従来より、景観画像に対して、インデクスする技術が存在している。例えば特開平７−２４８７２６号公報に記載の装置は、いろいろな地点の映像を、ＧＰＳを利用して取得した、その撮影地点の位置情報とともに、対応づけて記憶する装置である。これにより、その画像の撮影された位置情報を条件として検索したりすることができる。ところが、これは撮影された位置という情報のみであるため、その画像中に何が写っているかを提示したり、その写っているものの属性で検索したりすることはできない。そのため、このＧＰＳを利用して取得した位置情報だけでなく、画像を撮影したカメラパラメータを利用する技術が、これまで、いくつか提案されている。例えば、特開平１０−４２２８２号公報に記載のシステム、あるいは特開平１０−２６７６７１号公報に記載の装置およびシステムは、いろいろな地点の映像を、その画像を撮影したカメラの３次元位置情報、３次元姿勢情報、画角、焦点距離とともに、対応づけて記憶するものである。この３次元位置情報という位置情報に加えて、３次元姿勢情報、画角というカメラパラメータを利用することにより、画像中に何が写っているかを提示したり、所望する画像を検索したりするための、景観映像にインデクスを付与することが可能となる。ところが、このような位置情報、およびカメラパラメータを取得する装置が問題となる。このような情報を取得するためのセンサは、精度を要求するために、大きな装置であり、また高額である。そのため、ヘリコプターや大きなワゴン車といったものに載せる必要があり、例えば、人が、持ち歩くといった状況での利用は難しい。また、このような装置を利用しても、撮影状況によっては、誤差も大きく、効果的な利用は難しいと考えられる。
【０００３】
【発明が解決しようとする課題】
上述したように、従来は大がかりな装置を用意する、あるいは人手を介する必要がある。また、この作業はかなりの時間と経験を要するものである。そのため、その省力化、さらには、自動化が強く望まれている。
【０００４】
本発明の目的は、上述したような従来技術を有する問題点に鑑みなされたものであって、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、画像中に何が写っているかを提示したり、所望する画像を検索したりるするために、景観映像にインデクスを付与することを大がかりな装置を用いることなく、かつ自動的に行なう方法、装置、および景観画像インデクスプログラムを記録した記録媒体を提供することである。
【０００５】
本発明の景観映像インデクス方法は、
映像を構成する各フレームについて、画像を表現する各画素値を含む画像情報と、そのフレームを撮影したカメラの位置、撮影角度、および焦点距離からなるカメラパラメータを含むフレーム情報と、属性が付与されたオブジェクト領域の情報とその属性データを含むインデクス情報とを対応づけて記憶する映像情報データベースと、
地図中に存在する構造物を構成する各頂点の３次元座標を含む３次元地図データと、その構造物を構成する面のテクスチャ情報と、属性データとを対応づけて記憶する地図データベースと
を有する景観画像インデクス装置が景観画像にインデクスを付与する方法であって、
処理対象フレームについて、前記映像情報データベースから、当該フレームの画像情報と、当該フレームの１つ前のフレームのフレーム情報とを入力する入力制御処理段階と、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力し、前記１つ前のフレームのフレーム情報のカメラパラメータに対して、それに幅を持たせたカメラパラメータに基づいて、前記入力した３次元地図データを画像座標系に投影して複数の参照モデルを生成する参照モデル算出処理段階と、
前記処理対象フレームの画像情報から輪郭情報を抽出し、それを前記複数の参照モデルと比較することにより、最適な参照モデルを選択するとともに、該選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとして算出する画像マッチング処理段階と、
前記処理対象フレームの画像情報に対して前記選択した参照モデルを投影することにより、該参照モデルを構成する図形の各面を表すポリゴンの構成点の、当該処理対象フレームの画像情報上の位置を算出し、該算出したポリゴン構成点の当該処理対象フレームの画像情報上の位置、前記ポリゴンに付与されている属性データ、および前記算出した当該処理対象フレームのカメラパラメータを前記映像情報データベースに格納するインデクス処理段階と、
前記処理対象フレームの画像情報から、前記ポリゴン構成点の当該処理対象フレームの画像情報上の位置に基づき、該ポリゴン構成点内の画像情報を取得し、該取得した画像情報を当該ポリゴンのテクスチャ情報として前記地図データベースに格納するテクスチャ抽出処理段階と
を有する。
【０００６】
本発明は、町並みの建物、構造物等の外観を撮影したＶＴＲ画像、または実時間の画像、撮影時のカメラ位置や角度や焦点距離（以下、カメラパラメータと呼ぶ）、建物の外形線の各頂点の３次元座標を少なくとも含む３次元地図データ、を入力として、以上の各処理を行うことにより、建物の外観の、その外観のテクスチャまで含めたリアルな表示を、任意の角度で眺めた、例えば、鳥瞰図のように行うことが可能な３次元データベースを構築する。
【０００７】
本発明によれば、蓄積された、あるいは実時間で獲得された時系列景観画像に対して、地図情報を利用して、そのフレーム内のオブジェクトに自動的にインデクスを付与することにより、画像中に何が写っているかを提示したり、所望する画像を検索したりできる。
【０００８】
前フレームを撮影したカメラパラメータから、現フレームを撮影したカメラパラメータを推定することにより、地図情報から生成される参照モデルの数を減らすことができ、計算の効率化ができる。
【０００９】
処理対象フレームの画像から輪郭情報を抽出し、それを参照モデルと比較することにより、画像情報、地図情報からカメラパラメータを算出し、算出されたカメラパラメータを利用して、算出された座標系に地図情報を投影し、フレーム中のオブジェクト領域を算出することにより、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与し、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図で情報として取得することで、ＧＰＳやジャイロなどの大きな装置を用いることなくインデクスを付与することができる。
【００１０】
計算機による画一処理によって、人間の作業の個人差を解放したことで、品質を一定に保つことが可能になる。
【００１１】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１２】
図１を参照すると、本発明の一実施形態の景観画像インデクス装置は、映像情報データベース１０１と地図データベース１０２と入力制御処理部１１０と参照モデル算出処理部１２０と画像マッチング処理部１３０とインデクス処理部１４０とテクスチャ抽出処理部１５０で構成される。
【００１３】
図２は図１の景観画像インデクス装置が行う処理を示す図で、入力制御処理２１０と参照モデル算出処理２２０と画像マッチング処理２３０とインデクス処理２４０とテクスチャ抽出処理２５０で構成される。
【００１４】
映像情報データベース１０１は、映像を構成する各フレームについて、その画像情報、フレーム情報、インデクス情報を含むデータベースである。画像情報は、フレームの大きさ、各画素のＲＧＢ値といった画像を表現するためのデータである。フレーム情報は、そのフレームを撮影したカメラの情報であり、位置（Ｘ，Ｙ，Ｚ）、Ｙ，Ｙ，Ｚ軸まわりの撮影角度（ω，φ，χ）、および焦点距離（ｆ）を含むデータである。インデクス情報は、そのフレームについて、属性が付与された領域、および、その属性を含むデータである。
【００１５】
地図データベース１０２は、地図中に存在する人工物、構造物等の構造を構成する各頂点の、３次元（ｘ，ｙ，ｚ）の座標点列データ、および座標点列の接続関係を示すデータ、その人工物、構造物等に付与されている属性、道路のネットワーク構造を表す、道路をリンク、交差点をノードとするデータを含むデータベースである。ここで、付与されている属性は、名称、住所、電話番号、属性種別といった住人情報、および図形を構成する面のテクスチャ情報から構成されている。
【００１６】
入力制御処理部１１０は、利用者からの要求を受け付けて、映像情報データベース１０１から、該当個所の映像情報データ２０１を入力する入力制御処理２１０を行う。
【００１７】
参照モデル算出処理部２１０は、前フレームを撮影したカメラパラメータに対して、それに幅を持たせたパラメータで、地図情報から参照モデルを生成する参照モデル算出処理２２０を行う。
【００１８】
画像マッチング処理部１３０は、処理フレームの画像情報から輪郭情報を抽出し、それを参照モデルと比較することにより、最適なモデルを選択し、カメラパラメータを算出する画像マッチング処理２３０を行う。
【００１９】
インデクス処理部１４０は、算出されたカメラパラメータを利用して、画像座標系に地図情報を投影することにより、フレーム中のオブジェクト領域を算出し、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与することを行い、それを映像情報データベース１０１に格納するインデクス処理２４０行う。
【００２０】
テクスチャ抽出処理部１５０は、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図情報として取得し、それを地図データベース１０２に格納するテクスチャ抽出処理２５０を行う。
【００２１】
次に、各処理の内容を詳しく説明する。
【００２２】
入力制御処理２１０では、図３に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ が入力されると（ステップ３０１）、映像情報データベース１０１を検索して、その１つ前のフレームの画像情報Ｆｎ−１ およびフレーム情報Ｉｎ−１ を入力する（ステップ３０２）。このＩｎ−１ は、位置（Ｘｎ−１ ，Ｙｎ−１ ，Ｚｎ−１ ）、撮影角度（ωｎ−１ 、φｎ−１ ，χｎ−１ ）、および焦点距離（ｆｎ−１ ）を含む情報である。検索の結果、このＩｎ−１ の入力ができなかった場合は、他の処理対象フレームを入力することとする。
【００２３】
参照モデル算出処理２２０では図４に示すようなフローで処理が行われる。まず、入力制御処理２１０で入力されたフレーム情報Ｉｎ−１ に対する地図データ（ｘｗ，ｙｗ，ｚｗ）を地図データベース１０２から入力する（ステップ４０１）。
【００２４】
次に、フレーム情報Ｉｎ−１ に対してどれくらいの幅で計算を行うかの値（Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）を設定する（ステップ４０２）。再設定の場合には補正された値を、そうでない場合には初期値を設定する。次に、Ｉｎ−１ に±幅の幅をもたせて処理対象のフレーム情報を算出する（ステップ４０３）。幅が１の場合、ｘについてはｘ−１からｘ＋１となり、これを７つのパラメータについて行う。フレーム情報の撮影角度（ω，φ，χ）から回転行列Ｒを次式（１）により算出する（ステップ４０４）。
【００２５】
【数１】
【００２６】
【数２】
【００２７】
【数３】
【００２８】
画像マッチング処理２３０では、図５に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ について輪郭を抽出する（ステップ５０１）。この輪郭画像の画像情報をＦ’ｎ とする。このＦ’ｎ と参照モデル算出処理２２０で生成されたＲＭｎ−１ （Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）との比較を行う（ステップ５０２）。このＲＭｎ−１ （Δｘ，Δｙ，Δｚ，Δω，Δφ，Δχ，Δｆ）の中で、輪郭の一致画素数が最大のものを選択し、正解の候補ＲＭａｘとする（ステップ５０３）。この一致画素数の画像の全画素数に対する割合が、予め決められた閾値より大きい場合には、この候補を正解とする（ステップ５０４，５０５）。また、そうでない場合には、幅を補正して（ステップ５０６）、処理を参照モデル算出処理２２０に移し、再度、参照モデルを生成する。この正解となった参照モデルを生成したフレーム情報をＩｎ とし、処理をインデクス処理２４０に移す。
【００２９】
インデクス処理２４０では、図６に示すようなフローで処理が行われる。処理対象フレームの画像情報Ｆｎ に対してＲＭａｘをあてはめることが行われる（ステップ６０１）。このＲＭａｘを構成する図形の各面を表すポリゴンの構成点のＦｎ 上の位置を映像情報データベース１０１に格納する（ステップ６０２）。また、このポリゴンに付与されている属性情報、およびＩｎ を映像情報データベース１０１に格納し（ステップ６０３）、処理をテクスチャ抽出処理２５０に移す。
【００３０】
テクスチャ抽出処理２５０では、入力をＦｎ として映像情報データベース１０１の検索処理を行い、ポリゴン構成点を入力する（ステップ７０１）。このポリゴン構成点内の画像テクスチャの取得処理を行い、テクスチャの画像情報を出力する（ステップ７０２）。このテクスチャの画像情報を地図データベース１０２へ格納する（ステップ７０３）。
【００３１】
以上により、本実施形態によれば、地図データ、映像データを用意することにより、景観映像にインデクスを付与し、画像中に何が写っているかを提示したり、所望する画像を検索したりすることができる。
【００３２】
図８，９，１０は、上述した処理手順を実際のデータに即して説明するための図である。
【００３３】
入力制御処理２１０において、図８（１）の映像情報データから、図８（２）に示す処理対象フレームの画像情報Ｆｎ が入力されたとする。このＦｎ に対して、映像情報データベース１０１を検索して、その１つ前のフレームの画像情報Ｆｎ−１ 、およびフレーム情報Ｉｎ−１ を入力する。このＩｎ−１ は、位置（Ｘｎ−１ ，Ｙｎ−１ ，Ｚｎ−１ ）、撮影角度（ωｎ−１ ，φｎ−１ ，χｎ−１ ）、および焦点距離（ｆｎ−１ ）を含む情報である。
【００３４】
これに対して、参照モデル算出処理２２０では、入力制御処理２１０で入力されたＩｎ−１ に対して、地図データベース１０２から、図９（１）に示す地図データを入力する。ここで、Ｉｎ−１ に対して、どれくらいの幅で計算を行わせるかの値を設定する。この値に対して、参照モデルを生成する。ここでは、参考のために、生成された参照モデルの例を、図９（２），（３），（４），（５）に示す。
【００３５】
画像マッチング処理２３０では、図１０（１）に示す処理対象フレームの画像情報Ｆｎ から輪郭を抽出する。この輪郭画像の画像情報Ｆ’ｎ を、図１０（２）に示す。このＦ’ｎ と生成された参照モデルとの比較を行う。図９（２），（３），（４），（５）に示す参照モデルに対する比較を、図１０（３），（４），（５），（６）に示す。この中で、輪郭の一致画素数が最大のものを選択し、図１０（４）に示すものを正解の候補ＲＭａｘとする。ここでは、この一致画素数の画像の全画素数に対する割合が、予め決められた閾値より大きいので、この候補を正解とする。
【００３６】
インデクス処理２４０では、図１１（１）に示すように、処理対象フレームの画像情報Ｆｎ に対してＲＭａｘをあてはめることが行われる。このＲＭａｘを構成する図形の各面を表すポリゴンの構成点のＦｎ 上の位置を、映像情報データベース１０１に格納する。また、図１１（２），（３）に示すように、このポリゴンに付与されている属性情報、およびＩｎ を映像情報データベース１０１に格納する。
【００３７】
テクスチャ抽出処理２５０では、図１１（４）に示す図形の面に対応するテクスチャを獲得し、図１１（５）に示す画像情報を、該当するポリゴンのテクスチャ情報として、地図データベース１０２に格納する。
【００３８】
図１２は本発明の他の実施形態の景観画像インデクス装置の構成図である。本実施形態の景観画像インデクス装置は入力装置８０１と記憶装置８０２〜８０４と出力装置８０５と記録媒体８０６とデータ処理装置８０７で構成されている。
【００３９】
入力装置８０１は利用者が要求を入力するためのものである。記憶装置８０２，８０３はそれぞれ図１中の映像情報データベース１０１、地図情報データベース１０２に対応している。記憶装置８０４は主記憶装置である。出力装置８０５は最終処理結果を出力するためのものである。記録媒体８０６はＦＤ（フロッピディスク）、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録媒体で、図２に示した入力制御処理２１０からテクスチャ抽出処理２５０までの処理からなる景観画像インデクスプログラムが記録されている。データ処理装置８０７は記録媒体８０６から景観画像インデクスプログラムを記憶装置４に読み込んで、これを実行するＣＰＵである。
【００４０】
【発明の効果】
以上説明したように本発明は、以下に記載するような効果を有する。
【００４１】
蓄積された、あるいは実時間で獲得された時系列景観画像に対して、地図情報を利用してそのフレーム内のオブジェクトにインデクスを行うことにより、画像中に何が写っているかを提示したり、所望する画像を検索したりできる。
【００４２】
また、計算機が画一的な処理を施すので、複数の人による個人差もなく、均質な品質を維持することができる。
【００４３】
前フレームを撮影したカメラパラメータから、現フレームを撮影したカメラパラメータを推定することにより、地図情報から生成される参照モデルの数を減らすことができ、計算の効率化ができる。
【００４４】
処理対象フレームの画像から輪郭情報を抽出し、それを参照モデルと比較することにより、画像情報、地図情報からカメラパラメータを算出し、算出されたカメラパラメータを利用して、算出された座標系に地図情報を投影し、フレーム中のオブジェクト領域を算出することにより、そのオブジェクトを構成する属性データを、そのフレーム内のオブジェクトに付与し、算出されたフレーム内のオブジェクトの画像を取得することにより、該オブジェクトのテクスチャ情報を地図で情報として取得することで、ＧＰＳやジャイロなどの大きな雄値を用いることなくインデクスを付与することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の景観映像インデクス装置の構成を示すブロック図である。
【図２】図１に示した装置の各部で行われている処理を示す図である。
【図３】入力制御処理２１０を説明するためのフローチャートである。
【図４】参照モデル算出処理２２０を説明するためのフローチャートである。
【図５】画像マッチング処理２３０を説明するためのフローチャートである。
【図６】インデクス処理２４０を説明するためのフローチャートである。
【図７】テクスチャ抽出処理２５０を説明するためのフローチャートである。
【図８】入力制御処理２１０の具体例を示す図である。
【図９】参照モデル算出処理２２０の具体例を示す図である。
【図１０】画像マッチング処理２３０の具体例を示す図である。
【図１１】インデクス処理２４０およびテクスチャ抽出処理２５０の具体例を示す図である。
【図１２】本発明の他の実施形態の景観画像インデクス装置の構成図である。
【符号の説明】
１０１ 映像情報データーベース
１０２ 地図データベース
１１０ 入力制御処理部
１２０ 参照モデル算出処理部
１３０ 画像マッチング処理部
１４０ インデクス処理部
１５０ テクスチャ抽出処理部
２０１ 映像情報データ
２０２ 地図データ
２１０ 入力制御処理
２２０ 参照モデル算出処理
２３０ 画像マッチング処理
２４０ インデクス処理
２５０ テクスチャ抽出処理
３０１，３０２，４０１〜４０７，５０１〜５０６，６０１〜６０３，７０１〜７０３ ステップ
８０１ 入力装置
８０２〜８０４ 記憶装置
８０５ 出力装置
８０６ 記録媒体
８０７ データ処理装置
Claims (9)
- 映像を構成する各フレームについて、画像を表現する各画素値を含む画像情報と、そのフレームを撮影したカメラの位置、撮影角度、および焦点距離からなるカメラパラメータを含むフレーム情報と、属性が付与されたオブジェクト領域の情報とその属性データを含むインデクス情報とを対応づけて記憶する映像情報データベースと、
地図中に存在する構造物を構成する各頂点の３次元座標を含む３次元地図データと、その構造物を構成する面のテクスチャ情報と、属性データとを対応づけて記憶する地図データベースと
を有する景観画像インデクス装置が景観画像にインデクスを付与する方法であって、
処理対象フレームについて、前記映像情報データベースから、当該フレームの画像情報と、当該フレームの１つ前のフレームのフレーム情報とを入力する入力制御処理段階と、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力し、前記１つ前のフレームのフレーム情報のカメラパラメータに対して、それに幅を持たせたカメラパラメータに基づいて、前記入力した３次元地図データを画像座標系に投影して複数の参照モデルを生成する参照モデル算出処理段階と、
前記処理対象フレームの画像情報から輪郭情報を抽出し、それを前記複数の参照モデルと比較することにより、最適な参照モデルを選択するとともに、該選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとして算出する画像マッチング処理段階と、
前記処理対象フレームの画像情報に対して前記選択した参照モデルを投影することにより、該参照モデルを構成する図形の各面を表すポリゴンの構成点の、当該処理対象フレームの画像情報上の位置を算出し、該算出したポリゴン構成点の当該処理対象フレームの画像情報上の位置、前記ポリゴンに付与されている属性データ、および前記算出した当該処理対象フレームのカメラパラメータを前記映像情報データベースに格納するインデクス処理段階と、
前記処理対象フレームの画像情報から、前記ポリゴン構成点の当該処理対象フレームの画像情報上の位置に基づき、該ポリゴン構成点内の画像情報を取得し、該取得した画像情報を当該ポリゴンのテクスチャ情報として前記地図データベースに格納するテクスチャ抽出処理段階と
を有する景観画像インデクス方法。 - 前記参照モデル算出処理段階は、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力する段階と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対する幅を設定する段階と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対して前記幅を持たせて処理対象のカメラパラメータを算出する段階と、
該処理対象のカメラパラメータのうち撮影角度に基づいて回転行列を算出する段階と、
該回転行列を用いて前記地図データをカメラ座標系の地図データに変換する段階と、
カメラ座標系の地図データを、前記処理対象のカメラパラメータのうち焦点距離に基づいて透視変換することにより、画像座標系に投影する段階と、
該画像座標系に投影した地図データに対して、つながっている点同志を接続して、参照モデルを生成する段階と
を有する、請求項１記載の景観画像インデクス方法。 - 前記画像マッチング処理段階は、
前記処理対象フレームの画像情報から輪郭を抽出する抽出段階と、
該輪郭の画像情報と、前記参照モデル算出処理段階で生成された前記複数の参照モデルとを比較し、一致画素数が最大の参照モデルを選択する段階と、
該選択した参照モデルの一致画素数の全画素数に対する割合を、予め決められた閾値と比較する段階と、
該割合が該閾値より大きい場合には、前記選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとする段階と、
該割合が該閾値以下の場合には、前記カメラパラメータに対する幅を補正して前記参照モデル算出処理段階に戻る段階と
を有する、請求項２記載の景観画像インデクス方法。 - 映像を構成する各フレームについて、画像を表現する各画素値を含む画像情報と、そのフレームを撮影したカメラの位置、撮影角度、および焦点距離からなるカメラパラメータを含むフレーム情報と、属性が付与されたオブジェクト領域の情報とその属性データを含むインデクス情報とを対応づけて記憶する映像情報データベースと、
地図中に存在する構造物を構成する各頂点の３次元座標を含む３次元地図データと、その構造物を構成する面のテクスチャ情報と、属性データとを対応づけて記憶する地図データベースと、
処理対象フレームについて、前記映像情報データベースから、当該フレームの画像情報と、当該フレームの１つ前のフレームのフレーム情報とを入力する入力制御処理部と、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力し、前記１つ前のフレームのフレーム情報のカメラパラメータに対して、それに幅を持たせたカメラパラメータに基づいて、前記入力した３次元地図データを画像座標系に投影して複数の参照モデルを生成する参照モデル算出処理部と、
前記処理対象フレームの画像情報から輪郭情報を抽出し、それを前記複数の参照モデルと比較することにより、最適な参照モデルを選択するとともに、該選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとして算出する画像マッチング処理部と、
前記処理対象フレームの画像情報に対して前記選択した参照モデルを投影することにより、該参照モデルを構成する図形の各面を表すポリゴンの構成点の、当該処理対象フレームの画像情報上の位置を算出し、該算出したポリゴン構成点の当該処理対象フレームの画像情報上の位置、前記ポリゴンに付与されている属性データ、および前記算出した当該処理対象フレームのカメラパラメータを前記映像情報データベースに格納するインデクス処理部と、
前記処理対象フレームの画像情報から、前記ポリゴン構成点の当該処理対象フレームの画像情報上の位置に基づき、該ポリゴン構成点内の画像情報を取得し、該取得した画像情報を当該ポリゴンのテクスチャ情報として前記地図データベースに格納するテクスチャ抽出処理部と
を有する景観画像インデクス装置。 - 前記参照モデル算出処理部は、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力する手段と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対する幅を設定する手段と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対して前記幅を持たせて処理対象のカメラパラメータを算出する手段と、
該処理対象のカメラパラメータのうち撮影角度に基づいて回転行列を算出する手段と、
該回転行列を用いて前記地図データをカメラ座標系の地図データに変換する手段と、
カメラ座標系の地図データを、前記処理対象のカメラパラメータのうち焦点距離に基づいて透視変換することにより、画像座標系に投影する手段と、
該画像座標系に投影した地図データに対して、つながっている点同志を接続して、参照モデルを生成する手段と
を有する、請求項４記載の景観画像インデクス装置。 - 前記画像マッチング処理部は、
前記処理対象フレームの画像情報から輪郭を抽出する抽出手段と、
該輪郭の画像情報と、前記参照モデル算出処理部で生成された前記複数の参照モデルとを比較し、一致画素数が最大の参照モデルを選択する手段と、
該選択した参照モデルの一致画素数の全画素数に対する割合を、予め決められた閾値と比較する手段と、
該割合が該閾値より大きい場合には、前記選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとする手段と、
該割合が該閾値以下の場合には、前記カメラパラメータに対する幅を補正して処理を前記参照モデル算出処理部に戻す手段と
を有する、請求項５記載の景観画像インデクス装置。 - 映像を構成する各フレームについて、画像を表現する各画素値を含む画像情報と、そのフレームを撮影したカメラの位置、撮影角度、および焦点距離からなるカメラパラメータを含むフレーム情報と、属性が付与されたオブジェクト領域の情報とその属性データを含むインデクス情報とを対応づけて記憶する映像情報データベースと、
地図中に存在する構造物を構成する各頂点の３次元座標を含む３次元地図データと、その構造物を構成する面のテクスチャ情報と、属性データとを対応づけて記憶する地図データベースと
を有するコンピュータが実行する景観画像インデクスプログラムを記録した記録媒体であって、
処理対象フレームについて、前記映像情報データベースから、当該フレームの画像情報と、当該フレームの１つ前のフレームのフレーム情報とを入力する入力制御処理と、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力し、前記１つ前のフレームのフレーム情報のカメラパラメータに対して、それに幅を持たせたカメラパラメータに基づいて、前記入力した３次元地図データを画像座標系に投影して複数の参照モデルを生成する参照モデル算出処理と、
前記処理対象フレームの画像情報から輪郭情報を抽出し、それを前記複数の参照モデルと比較することにより、最適な参照モデルを選択するとともに、該選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとして算出する画像マッチング処理と、
前記処理対象フレームの画像情報に対して前記選択した参照モデルを投影することにより、該参照モデルを構成する図形の各面を表すポリゴンの構成点の、当該処理対象フレームの画像情報上の位置を算出し、該算出したポリゴン構成点の当該処理対象フレームの画像情報上の位置、前記ポリゴンに付与されている属性データ、および前記算出した当該処理対象フレームのカメラパラメータを前記映像情報データベースに格納するインデクス処理と、
前記処理対象フレームの画像情報から、前記ポリゴン構成点の当該処理対象フレームの画像情報上の位置に基づき、該ポリゴン構成点内の画像情報を取得し、該取得した画像情報を当該ポリゴンのテクスチャ情報として前記地図データベースに格納するテクスチャ抽出処理と
を前記コンピュータに実行させる景観画像インデクスプログラムを記録した記録媒体。 - 前記参照モデル算出処理は、
前記地図データベースから、前記１つ前のフレームのフレーム情報に対応する３次元地図データを入力する処理と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対する幅を設定する処理と、
前記１つ前のフレームのフレーム情報のカメラパラメータに対して前記幅を持たせて処理対象のカメラパラメータを算出する処理と、
該処理対象のカメラパラメータのうち撮影角度に基づいて回転行列を算出する処理と、
該回転行列を用いて前記地図データをカメラ座標系の地図データに変換する処理と、
カメラ座標系の地図データを、前記処理対象のカメラパラメータのうち焦点距離に基づいて透視変換することにより、画像座標系に投影する処理と、
該画像座標系に投影した地図データに対して、つながっている点同志を接続して、参照 モデルを生成する処理と
を有する、請求項７記載の景観画像インデクスプログラムを記録した記録媒体。 - 前記画像マッチング処理は、
前記処理対象フレームの画像情報から輪郭を抽出する抽出処理と、
該輪郭の画像情報と、前記参照モデル算出処理で生成された前記複数の参照モデルとを比較し、一致画素数が最大の参照モデルを選択する処理と、
該選択した参照モデルの一致画素数の全画素数に対する割合を、予め決められた閾値と比較する処理と、
該割合が該閾値より大きい場合には、前記選択した参照モデルを生成したカメラパラメータを当該処理対象フレームのカメラパラメータとする処理と、
該割合が該閾値以下の場合には、前記カメラパラメータに対する幅を補正して前記参照モデル算出処理に戻る処理と
を有する、請求項８記載の景観画像インデクスプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14012899A JP3614709B2 (ja) | 1999-05-20 | 1999-05-20 | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14012899A JP3614709B2 (ja) | 1999-05-20 | 1999-05-20 | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000331019A JP2000331019A (ja) | 2000-11-30 |
| JP3614709B2 true JP3614709B2 (ja) | 2005-01-26 |
Family
ID=15261558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14012899A Expired - Fee Related JP3614709B2 (ja) | 1999-05-20 | 1999-05-20 | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3614709B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005537535A (ja) | 2002-07-10 | 2005-12-08 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | オブジェクトの３次元電子モデルを生成するシステム |
| US20060002590A1 (en) * | 2004-06-30 | 2006-01-05 | Borak Jason M | Method of collecting information for a geographic database for use with a navigation system |
| US7460953B2 (en) | 2004-06-30 | 2008-12-02 | Navteq North America, Llc | Method of operating a navigation system using images |
| US8751156B2 (en) | 2004-06-30 | 2014-06-10 | HERE North America LLC | Method of operating a navigation system using images |
| JP4606318B2 (ja) | 2005-12-05 | 2011-01-05 | 富士通株式会社 | 映像メタデータ補正装置及びプログラム |
| US20090164701A1 (en) * | 2007-12-20 | 2009-06-25 | Murray Thomas J | Portable image indexing device |
| JP4838272B2 (ja) * | 2008-01-30 | 2011-12-14 | 日本電信電話株式会社 | 映像インデキシング装置，映像インデキシング方法，映像インデキシングプログラムおよびその記録媒体 |
| JP5196426B2 (ja) * | 2008-05-16 | 2013-05-15 | アルパイン株式会社 | ナビゲーション装置 |
| JP5062054B2 (ja) * | 2008-06-19 | 2012-10-31 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
| CN113706996B (zh) * | 2021-08-27 | 2024-04-05 | 张慎佳 | 一种真、伪地图的生理界线比例尺 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5768447A (en) * | 1996-06-14 | 1998-06-16 | David Sarnoff Research Center, Inc. | Method for indexing image information using a reference model |
| JP3468998B2 (ja) * | 1996-08-08 | 2003-11-25 | 日本電信電話株式会社 | 建物図形注記名称抽出方法および建物図形注記名称抽出装置 |
-
1999
- 1999-05-20 JP JP14012899A patent/JP3614709B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000331019A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| JP3622094B2 (ja) | 地図更新支援装置および地図情報の編集方法 | |
| KR101307341B1 (ko) | 동적 개체 모션 캡쳐 방법 및 그 장치 | |
| JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| KR101314120B1 (ko) | 3차원 도시 모델링 장치 및 방법 | |
| JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
| JP2010109783A (ja) | 電子カメラ | |
| JP3614709B2 (ja) | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 | |
| CN110487274B (zh) | 用于弱纹理场景的slam方法、系统、导航车及存储介质 | |
| US20020094134A1 (en) | Method and system for placing three-dimensional models | |
| JP3618649B2 (ja) | 不定形窓を用いた画像間拡張イメージマッチング方法 | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
| JP2002517840A (ja) | ３次元画像処理方法及びその装置 | |
| CN115375857B (zh) | 三维场景重建方法、装置、设备及存储介质 | |
| JP4389663B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP2002520969A (ja) | 動き画像からの自動化された３次元シーン走査方法 | |
| JPH0814860A (ja) | モデル作成装置 | |
| CN113140031B (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 | |
| JP2006059165A (ja) | ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体 | |
| JP2002008014A (ja) | ３次元形状抽出方法及び装置並びに記録媒体 | |
| JPH0981737A (ja) | 三次元物体モデル生成方法 | |
| KR20190113669A (ko) | 3차원 객체 표면 복원을 위한 데이터 관리 장치 및 그 방법 | |
| JP5997664B2 (ja) | テクスチャ画像データの生成方法 | |
| WO2023273272A1 (zh) | 目标位姿估计方法、装置、计算设备、存储介质及计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040921 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040921 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041027 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |