JP2004020398A - Method, device, and program for acquiring spatial information and recording medium recording program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To acquire spatial information by estimating the attitude of an omniazimuth camera from omniazimuth images. <P>SOLUTION: A feature point setting section 2 sets a feature point in an omniazimuth image extracted by means of an image extracting section 1. A parameter calculating section 3 finds the coordinate value of the feature point in the image and calculates the parameters of the phase p<SB>j</SB>and angle of elevation ϕ<SB>j</SB>of the point from the coordinate value and camera parameters and the parameters of the phase p'<SB>j</SB>and angle of elevation ϕ'<SB>j</SB>from the p<SB>j</SB>and the initial values of the spatial information and camera attitude information from an external information inputting section 14. A coordinate calculating section 11 calculates a first converted coordinate value from the p<SB>j</SB>and ϕ<SB>j</SB>and a second converted coordinate value from the p'<SB>j</SB>and ϕ'<SB>j</SB>. An optimization discriminating section 12 discriminates whether or not the error between the first and second converted coordinate values is equal to or smaller than an allowable value and, when the former is equal to or smaller than the latter, outputs the then spatial information and camera attitude information from a parameter outputting section 4. When the former is larger than the latter, a parameter updating section 13 repeats the calculation and discrimination by updating the spatial information and camera attitude information. <P>COPYRIGHT: (C)2004,JPO

Description

【００１２】
で表され、前記第２の座標変換が、
【００１３】
【数６】

【００１４】
で表される（但し、ｘ_ｊ，ｙ_ｊ…特徴点の表示座標値、Ｃ_ｘ，Ｃ_ｙ…カメラパラメータである射影中心、ｆ…カメラパラメータである焦点距離、Ｄ…カメラパラメータである全方位画像解像度、ρ_ｊ…特徴点の位相パラメータ、φ_ｊ…特徴点の仰角パラメータ、ｕ_ｊ，ｖ_ｊ…第１の変換座標値、Ｒ_ｊ…特徴点の空間座標値上の奥行き、Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊ…空間中の特徴点の仮定した位置、θ_ｉ，χ_ｉ，ω_ｉ…全方位カメラの仮定した姿勢情報、ρ’_ｊ…Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊで求めた位相パラメータ、φ’_ｊ…Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊで求めた仰角パラメータ、ｕ’_ｊ，ｖ’_ｊ…第２の変換座標値）ことを特徴とする空間情報獲得方法を解決の手段とする。
【００１５】
あるいは、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を算出する手段とを有することを特徴とする空間情報獲得装置を解決の手段とする。
【００１６】
あるいは、全方位カメラを用いて全方位の景観を一度に撮影した全方位画像から外界の空間情報を獲得する装置であって、撮影された全方位画像において１つ以上の特徴点を設定・抽出する手段と、前記撮影された全方位画像において前記特徴点の表示座標値を求める手段と、前記表示座標値に対して第１の座標変換を施すことにより第１の変換座標値を求める手段と、全方位カメラの姿勢情報および前記特徴点の実空間における位置を仮定する手段と、前記仮定した姿勢情報および前記表示座標値を用いて前記仮定した位置に対して第２の座標変換を施すことにより第２の変換座標値を求める手段と、前記１つ以上の特徴点の各々に対して前記第１の変換座標値と前記第２の変換座標値との差分または誤差を求める手段と、前記差分または誤差が許容値以下になるように前記仮定した姿勢情報および前記仮定した位置を補正する手段と、前記補正後の前記仮定した位置を外界の空間形状に関する空間情報とする手段とを有することを特徴とする空間情報獲得装置を解決の手段とする。
【００１７】
あるいは、前記空間情報獲得装置において、前記第１の座標変換が、
【００１８】
【数７】

【００１９】
で表され、前記第２の座標変換が、
【００２０】
【数８】

【００２１】
で表される（但し、ｘ_ｊ，ｙ_ｊ…特徴点の表示座標値、Ｃ_ｘ，Ｃ_ｙ…カメラパラメータである射影中心、ｆ…カメラパラメータである焦点距離、Ｄ…カメラパラメータである全方位画像解像度、ρ_ｊ…特徴点の位相パラメータ、φ_ｊ…特徴点の仰角パラメータ、ｕ_ｊ，ｖ_ｊ…第１の変換座標値、Ｒ_ｊ…特徴点の空間座標値上の奥行き、Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊ…空間中の特徴点の仮定した位置、θ_ｉ，χ_ｉ，ω_ｉ…全方位カメラの仮定した姿勢情報、ρ’_ｊ…Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊで求めた位相パラメータ、φ’_ｊ…Ｘ_ｊ’，Ｙ’_ｊ，Ｚ’_ｊで求めた仰角パラメータ、ｕ’_ｊ，ｖ’_ｊ…第２の変換座標値）ことを特徴とする空間情報獲得装置を解決の手段とする。
【００２２】
あるいは、前述の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする空間情報獲得プログラムを解決の手段とする。
【００２３】
あるいは、前述の空間情報獲得方法における過程を、コンピュータに実行させるためのプログラムとし、前記プログラムを、前記コンピュータが読み取りできる記録媒体に記録したことを特徴とする空間情報獲得プログラムを記録した記録媒体を解決の手段とする。
【００２４】
本発明は、上述の構成により、全方位カメラ装置を画像入力装置として使用した時系列映像解析、または、コンピュータビジョンにおいて、時系列間の特徴点追跡、対応点探索、などのオプティカルフローを必要とせず、各々の全方位画像から、カメラ視点に関する姿勢情報と、外界の空間形状に関する空間情報を獲得、復元することを可能にする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２６】
『実施形態例１』
本実施形態例は、全方位カメラから取得した全方位画像から、外界の空間形状に関する空間情報を獲得する手法である。
【００２７】
図１に、本実施形態例の基本構成図を示す。本発明は、処理対象とする全方位画像を設定・抽出する画像抽出部１、処理対象とする全方位画像中に特徴点を設定する特徴点設定部２、特徴点設定部２で設定・抽出され選択された特徴点の画像座標値（表示座標値）を求め、この画像座標値と全方位カメラのカメラパラメータとから外界の空間形状に関する空間情報を計算するパラメータ計算部３、並びに、計算された空間情報を出力するパラメータ出力部４から構成される。
【００２８】
図２は、本発明に関する実施形態例１の処理フロー図である。本実施形態例においては、等距離射影（光軸からの入射角に比例した射影）の光学系で設計されている魚眼レンズを用いた全方位カメラで全方位画像を取得する場合について説明する。なお、本発明は、他の光学射影、例えば、立体射影、または等立体射影を用いた場合にも適用可能であり、また、魚眼レンズを使用しない他の全方位カメラ撮像装置（双曲線ミラーや六角錘ミラーで構成した全方位カメラなど）で取得した全方位の時系列画像や多視点の全方位画像に対しても適用可能である。
【００２９】
以下では、全方位カメラと空間情報の関係が、図３のように、全方位カメラの進行軸に沿って、物体が存在することを前提とする。
【００３０】
図３では、全方位カメラを、半球型の光学レンズでモデル化しており、空間中の点Ｐ（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）は、等距離射影の光学射影設計の元で、射影中心Ｃを中心とする画像面状の射影点ｐ（ｘ_ｊ，ｙ_ｊ）に射影される。このとき、Ｘ軸からの位相ρ_ｊ、並びに、仰角φ_ｊという角度パラメータにより特徴付けられる。また、空間中の点Ｐに対して、進行軸に平行な直線上において進行軸からの垂線の足を下ろしたときの点Ｂ、並びに、高さを点Ｐと同じにした点を点Ａとする。このとき射影中心Ｃから点Ｂまでの距離（奥行き）をＲ_ｊ、点Ｂから点Ａまでの距離、すなわち、点ＰのＺ軸方向の高さをｈ_ｊとする。
【００３１】
また、図４に示すように、外界の空間情報は、射影中心を円の中心とした円の内部に射影され、このときの円周がイメージサークル（仰角０度の映像化限界）である。空間中の点Ｐが射影される画像面での画像座標ｐ（ｘ_ｊ，ｙ_ｊ）は、射影中心（Ｃ_ｘ，Ｃ_ｙ）から、距離（径）ｒ_ｊ離れた点であり、射影中心から伸ばした線分がｘ軸と為す角は、図３の位相ρ_ｊと同一のものである。
【００３２】
次に、図２の処理フローに従って、本発明を説明する。本実施形態例は、全方位画像中において設定・抽出した１つ以上の特徴点と、全方位カメラ固有のカメラパラメータと、特徴点の画像座標値から得られる位相パラメータから、空間情報パラメータを計算することにより、外界の空間形状に関する空間情報を獲得する。
【００３３】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘ_ｊ，ｙ_ｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を抽出して設定したりしても構わず、以下の処理には何ら影響しない。
【００３４】
次に、パラメータ計算部３は、図４でのカメラパラメータである射影中心（Ｃ_ｘ，Ｃ_ｙ）から、各々の特徴点まで径を伸ばしたときの位相パラメータρ_ｊを式（１）
【００３５】
【数９】

【００３６】
に従って、各々の特徴点に対して求める。ここで、カメラパラメータとして、焦点距離ｆ、画像座標値の１画素の物理的重み付けを表現する固定値である全方位画像解像度Ｄを設定する。さらに、外界の空間中での各々の特徴点Ｐに対して、式（２）
【００３７】
【数１０】

【００３８】
を使ってｈ_ｊを計算する。これで、特徴点の高さｈ_ｊ、すなわち、外界の空間形状に関する空間情報を獲得し、パラメータ出力部４から出力する。
【００３９】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各画像に設定・抽出した特徴点に関する空間情報ｈ_ｊを獲得することができる。
【００４０】
『実施形態例２』
本実施形態例は、全方位カメラから取得した全方位画像から、全方位カメラの姿勢情報と、外界の空間形状に関する空間情報を獲得する手法である。
【００４１】
図５に、本実施形態例の基本構成図を示す。本実施形態例は、処理対象とする全方位画像を抽出する画像抽出部１、処理対象とする全方位画像中に特徴点を設定・抽出する特徴点設定部２、特徴点設定部２で設定・抽出され選択された特徴点の全方位画像中の画像座標値（表示座標値）を求め、この画像座標値とカメラパラメータとから特徴点のパラメータを計算するとともに、これらの画像座標値と特徴点のパラメータと外部情報入力部１４から入力する外界の空間情報およびカメラの姿勢情報の初期値（仮定した値）とから特徴点の別のパラメータを計算するパラメータ計算部３、先の特徴点のパラメータを用いて第１の変換座標値を計算するとともに、後の特徴点のパラメータを用いて第２の変換座標値を計算する座標計算部１１、第１の変換座標値と第２の変換座標値との間で差分または誤差を求め、許容値以下に最適化されたかどうかを判定する最適化判定部１２、最適化判定部１２で最適化されていないと判定されたときに空間情報とカメラの姿勢情報を更新（補正）するパラメータ更新部１３、並びに、最適化されたと判定されたときの空間情報とカメラの姿勢情報を出力するパラメータ出力部４から構成される。
【００４２】
本発明を、図６の処理フローに沿って説明する。本実施形態例は、画像中において設定・抽出した１つ以上の特徴点と、全方位カメラ固有のカメラパラメータと、特徴点の画像座標値から得られる位相パラメータと仰角パラメータから第１の変換座標値を計算する第一のステップと、第一のステップで設定した特徴点の位相パラメータと、外界の空間形状に関する空間情報の初期値を適当に与え、さらに、全方位カメラの方位情報の初期値を適当に与えて得られた位相パラメータと仰角パラメータから第２の変換座標値を計算する第二のステップと、第一のステップで得た第１の変換座標値と、第二のステップで得た第２の変換座標値との間の差分または誤差を求め、その差分または誤差を低減するように、適当に与えた外界の空間形状に関する空間情報並びに全方位カメラの方位情報を変化させ、この誤差が最小となるときの外界の空間形状に関する空間情報並びに全方位カメラの方位情報を探索する第三のステップにより、カメラの姿勢情報と外界の空間情報とを獲得する。
【００４３】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘ_ｊ，ｙ_ｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を抽出して設定したりしても構わず、以下の処理には何ら影響しない。
【００４４】
次に、パラメータ計算部３において、画像中の座標値（ｘ_ｊ，ｙ_ｊ）から式（１）に従い、パラメータρ_ｊと、式（３）
【００４５】
【数１１】

【００４６】
に従ってパラメータφ_ｊを求める。
【００４７】
次に、座標計算部１１において、式（４）
【００４８】
【数１２】

【００４９】
から、第１の変換座標値（ｕ_ｊ，ｖ_ｊ）を得る。
【００５０】
一方、外部情報入力部１４は、特徴点の高さｈ_ｊの初期値を適当に与え、パラメータ計算部３は、式（５）
【００５１】
【数１３】

【００５２】
により、パラメータφ’_ｊを得る。ただし、Ｒ_ｊ＝１とする。
【００５３】
次に、座標計算部１１は、方位角θ_ｊ＝０と初期化して、式（６）
【００５４】
【数１４】

【００５５】
により、第２の変換座標値（ｕ’_ｊ，ｖ’_ｊ）を求める。
【００５６】
次に、最適化判定部１２は、式（７）
【００５７】
【数１５】

【００５８】
の誤差ΔＡを求める。ここで、許容誤差εを適当に設定しておき、この誤差ΔＡが式（８）
ΔＡ≦ε　…式（８）
を満足するかしないかを判定する。
【００５９】
上記判定において、式（８）を満足しない場合、パラメータ更新部１３は、式（９）
【００６０】
【数１６】

【００６１】
のパラメータ更新を行う。
【００６２】
この誤差を許容誤差以下になるようにパラメータを更新する手法として、例えば、文献［１］「Ｎｕｍｅｒｉｃａｌ　Ｒｅｃｉｐｅｓ　ｉｎ　Ｃ，Ｗｉｌｌｉａｍ　Ｈ．Ｐｒｅｓｓ，Ｓａｕｌ　Ａ．Ｔｅｕｋｏｌｓｋｙ，Ｗｉｌｌｉａｍ　Ｔ．Ｖｅｔｔｅｒｌｉｎｇ，Ｂｒｉａｎ　Ｐ．Ｆｌａｎｎｅｒｙ」（（日本語版）−１０．５　多次元の方向集合（Ｐｏｗｅｌｌ）法−Ｃ言語による数値計算のレシピ、丹慶勝市、奥村晴彦、佐藤俊郎、小林誠（訳）、技術評論社）に掲載されているＰｏｗｅｌｌ法、または、ニューラルネットワーク、遺伝的アルゴリズムなどを応用して実現することができる。
【００６３】
続いて、パラメータが更新されたことにより、上述のステップに戻り、パラメータ計算部３においてパラメータφ’_ｊを式（５）から再度計算し、さらに、方位角θ_ｉが更新されたことにより、座標計算部１１において式（６）を使って第２の変換座標値（ｕ’_ｊ，ｖ’_ｊ）を再度計算する。同様に、最適化判定部１２により、このときの誤差ΔＡを求め、許容誤差以下かどうかの判定を行い、そうでないと、さらに、パラメータ更新部１３により式（９）のパラメータ更新を行い、許容誤差以下であれば、その時点でのパラメータをパラメータ出力部４における出力結果とする。
【００６４】
最終的に、式（８）を満たすパラメータｈ_ｊ、並びに、θ_ｉを獲得する。こうして、外界の空間形状に関する空間情報ｈ_ｊ、並びに、方位角θ_ｉを獲得することができる。
【００６５】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各々の画像に設定・抽出した特徴点の空間情報ｈ_ｊと、各画像を取得したときの方位角θ_ｉを獲得することができる。
【００６６】
『実施形態例３』
本発明は、実施形態例２に対して、図３においてＺ軸周りの回転、すなわち、方位角θ、並びに、その他の回転角を求める手法であり、実施形態例２との差分のみを記載することにする。なお、本実施形態例で獲得するその他の回転角とは、図３において、Ｘ軸周りの回転（回転パラメータχ_ｉ）と、Ｙ軸周りの回転（回転パラメータω_ｉ）である。
【００６７】
本発明を、図７の処理フローに沿って説明する。本実施形態例は、実施形態例２の第二のステップにおいて、外界の空間形状に関する空間情報の初期値を与え、さらに、全方位カメラの方位情報とその他の回転情報の初期値を適当に与えて得られた位相パラメータと仰角パラメータから第２の変換座標値を計算し、実施形態例２の第三のステップにおいて、第一のステップで得た第１の変換座標値と、第二のステップで得た第２の変換座標値との間の差分または誤差を求め、その差分または誤差を低減するように、適当に与えた外界の空間形状に関する空間情報、全方位カメラの方位情報並びにその他の回転情報を変化させ、この差分または誤差が最小となるときの外界の空間形状に関する空間情報、全方位カメラの方位情報並びにその他の回転情報を探索する。
【００６８】
まず、画像抽出部１が、全方位画像のうち、処理対象とする画像を１枚取り出し、特徴点設定部２が、この画像上において、特徴点をＮ個（（ｘ_ｊ，ｙ_ｊ）；ｊ＝１，２，・・・，Ｎ）設定する。このとき、オペレータが手動で特徴点を設定したり、エッジ検出や濃淡勾配の激しい点を画像処理等により特徴点を設定したりしても構わず、以下の処理には何ら影響しない。
【００６９】
次に、パラメータ計算部３において、画像中の座標値（ｘ_ｊ，ｙ_ｊ）から式（１）に従い、パラメータρ_ｊと、式（３）に従ってパラメータφ_ｊを求め、座標計算部１１において、式（４）から、第１の変換座標値（ｕ_ｊ，ｖ_ｊ）を得る。
【００７０】
一方、外部情報入力部１４は、特徴点の高さｈ_ｊの初期値（ただし、Ｒ_ｊ＝１とする）を適当に与え、さらに、その他の回転角を表す回転パラメータの初期値として、χ_ｉ＝ω_ｉ＝０として与え、パラメータ計算部３は、式（１０）
【００７１】
【数１７】

【００７２】
により（Ｘ’_ｊ，Ｙ’_ｊ，Ｚ’_ｊ）を求め、さらに、これらの座標値から、パラメータρ’_ｊとパラメータφ’_ｊを式（１１）
【００７３】
【数１８】

【００７４】
を用いて得る。
【００７５】
次に、座標計算部１１は、方位角θ_ｉ＝０と初期化して、式（１２）
【００７６】
【数１９】

【００７７】
により、第２の変換座標値（ｕ’_ｊ，ｖ’_ｊ）を求める。
【００７８】
次に、最適化判定部１２は、式（７）の誤差ΔＡを求める、ここで、許容誤差εを適当に設定しておき、この誤差ΔＡが式（８）を満足するかしないかを判定する。
【００７９】
上記判定において、式（８）を満足しない場合、パラメータ更新部１３は、式（１３）
【００８０】
【数２０】

【００８１】
のパラメータ更新を行う。この誤差を許容誤差以下になるようにパラメータを更新する手法として、例えば、上述の文献［１］に掲載されているＰｏｗｅｌｌ法、または、ニューラルネットワーク、遺伝的アルゴリズムなどを応用して実現することができる。
【００８２】
続いて、パラメータが更新されたことにより、上述のステップに戻り、パラメータ計算部３においては式（１０）を再度計算し、座標計算部１１においては式（１１）を再度計算し、さらに、方位角θ_ｉが更新されたことにより、式（１２）を使って第２の変換座標値（ｕ’_ｊ，ｖ’_ｊ）を再度計算する。同様に、最適化判定部１２により、このときの誤差ΔＡを求め、許容誤差以下かどうかの判定を行い、そうでないと、パラメータ更新部１３により、さらに式（１３）のパラメータ更新を行い、許容誤差以下であれば、その時点でのパラメータをパラメータ出力部４における出力結果とする。
【００８３】
最終的に、式（８）を満たすパラメータｈ_ｊ、方位角θ_ｉ、並びに回転角χ_ｉと回転角ω_ｉを獲得する。こうして、外界の空間形状に関する空間情報ｈ_ｊ、方位角θ_ｉ，Ｘ軸周りの回転角χ_ｉ，Ｙ軸周りの回転角ω_ｉを獲得することができる。
【００８４】
さらに、このような処理を対象とする全方位画像（フレーム数がＦ枚であれば、ｉ＝１，２，・・・，Ｆとなる）について行い、各々の画像に設定・抽出した特徴点の空間情報ｈ_ｊと、各画像を取得したときの方位角θ_ｉ，Ｘ軸周りの回転角χ_ｉ，Ｙ軸周りの回転角ω_ｉを獲得することができる。
【００８５】
本発明の式（１）（３）（４）および式（１）（１０）（１１）（１２）による座標変換の効果を以下に述べる。
【００８６】
画像座標値（ｘ_ｊ，ｙ_ｊ）から位相ρ_ｊと仰角φ_ｊを求め、（ｕ_ｊ，ｖ_ｊ）に座標変換すると、Ｒ−ｈ曲線が、ｖ軸に対して平行な直線に変換される。ここで、Ｒ−ｈ曲線とは、全方位カメラの進行軸を中心として二分する左右の側面に対して、全方位カメラ視点から側面までの距離をＲ、高さをｈとしたとき、位相ρを−π／２＜ρ＜π／２まで変化させて得られる全方位射影曲線のことである。従って、特徴点として奥行きＲ_ｊおよび高さｈ_ｊがそれぞれ互いに等しい点の集合（廊下の天井と側壁が交わる線上の点など）を設定することにより、ｕｖ平面上の直線を用いて空間情報および姿勢情報を補正することができるようになる。この場合、ｘｙ平面上のＲ−ｈ曲線を用いて空間情報およびカメラの姿勢情報を補正する場合に比べ、はるかに高精度な計測が可能となる。
【００８７】
また、本座標変換では、仰角φ_ｊが小さい特徴点（基底に近い点）ほど、ｖ軸から離れた点に、測定誤差が強調されて変換される。すなわち、同じ操作により特徴点を測定した場合、ｘｙ平面上では分かりづらかった誤差や不一致がｕｖ平面上ではより正確に把握できるようになる。従って、この強調された誤差が最小となるように空間情報およびカメラの姿勢情報を補正すれば、やはり高精度な計測が可能となる。
【００８８】
なお、図１および図５で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図６、および図７で示した処理の過程をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００８９】
【発明の効果】
以上の説明で明らかなように、本発明によれば、全方位カメラの取得画像から、外界の空間情報を獲得する際に、全方位カメラの姿勢情報を自動的に補正するようにしたので、全方位カメラの設置角度が誤差を有していても、計測誤差を低減することができる。また、座標変換を適用することで、計測誤差をより一層低減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例１の基本構成図である。
【図２】実施形態例１の処理フローを示す図である。
【図３】魚眼レンズの等距離射影による光学射影の説明図である。
【図４】全方位画像上の座標値の説明図である。
【図５】本発明の実施形態例２および実施形態例３の基本構成図である。
【図６】実施形態例２の処理フローを示す図である。
【図７】実施形態例３の処理フローを示す図である。
【符号の説明】
１…画像抽出部
２…特徴点設定部
３…パラメータ計算部
４…パラメータ出力部
１１…座標計算部
１２…最適化判定部
１３…パラメータ更新部
１４…外部情報入力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for estimating a self-position or a self-motion related to a viewpoint of an omnidirectional camera from an acquired omnidirectional image using an omnidirectional camera that captures a 360-degree landscape at a time as an image input device.
[0002]
Further, the present invention relates to a technology for measuring, acquiring, or restoring the structure, landscape, or spatial information of the external world shown in the omnidirectional image.
[0003]
In addition, the present invention relates to a sensing technique for detecting a direction, an azimuth, a posture integrated with the omnidirectional camera, or the like for a mobile robot or a vehicle equipped with an omnidirectional camera.
[0004]
[Prior art]
The omnidirectional camera has been developed as an image input device that captures a 360-degree landscape at a time, and has been applied as a visual sensor for machine navigation, automatic driving, and motion control. In particular, it is effective as a means for acquiring a global video scene. In outdoor photography, various buildings can be photographed, and in indoor photography, a wide indoor space can be photographed at once. Most of such omnidirectional cameras are often used with the camera optical axis installed vertically upward.
[0005]
[Problems to be solved by the invention]
However, in the above-mentioned conventional omnidirectional camera, it is not always possible to mount the omnidirectional camera directly above the optical axis along the vertical direction to acquire an omnidirectional image, and strictly speaking, the camera optical axis is minute. It may have a slope. In other words, an omnidirectional camera is an effective means as an image input device that captures images in all directions at once, but the camera optical axis can be oriented parallel to the vertical direction, or the plane perpendicular to the camera optical axis can be parallel to the horizontal plane. Since it is physically difficult to install the camera, if time-series image analysis is performed without considering that the attitude is tilted, the attitude error due to the tilt will cause an analysis error. .
[0006]
In computer vision, which simultaneously restores camera motion and object shape from a time-series omnidirectional image, tracking of feature points in a time-series image, optical flow, or searching for a corresponding point, a two-dimensional image coordinate system is used. Accurate measurement of the trajectory of the point cloud is an important preprocessing. In the case of an omnidirectional image, a projective distortion is severe, and it is difficult to obtain an accurate optical flow by fixed pattern matching. Even if feature points can be tracked by a method that considers robust tracking and projective distortion in noise, in outdoor video, occlusion objects such as trees and traffic lights exist, and in all video scenes where the object is reflected There is no guarantee that feature point tracking, corresponding point search, and optical flow can be accurately observed.
[0007]
SUMMARY OF THE INVENTION In order to solve the above-described problem, an object of the present invention is to estimate a posture of a camera at that time from an omnidirectional image acquired by an omnidirectional camera, and at the same time, acquire spatial information of the outside world. In particular, the omnidirectional images acquired in time series do not require preprocessing such as feature point tracking, corresponding point search, or optical flow, and the camera orientation (Yaw (θ) , Roll (χ), Pitch (ω)) and the spatial information or the spatial shape of the external world as the subject are the main issues.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problem, the present invention is a method for acquiring spatial information of the outside world from an omnidirectional image obtained by capturing an omnidirectional landscape at a time using an omnidirectional camera, and comprising: Setting and extracting one or more feature points in the omnidirectional image, obtaining the display coordinate values of the feature points in the captured omnidirectional image, and calculating the external coordinates from the display coordinate values and the camera parameters of the omnidirectional camera. Calculating a spatial information related to the spatial shape.
[0009]
Alternatively, a method of acquiring spatial information of the outside world from an omnidirectional image obtained by capturing an omnidirectional landscape at a time using an omnidirectional camera, wherein one or more feature points are set and extracted in the captured omnidirectional image And calculating the display coordinate values of the feature points in the captured omnidirectional image, and performing a first coordinate transformation on the display coordinate values using camera parameters of the omnidirectional camera. 1, a step of assuming the position information of the omnidirectional camera and the position of the feature point in the real space, and a step of assuming the position of the feature point in the real space. Calculating a second transformed coordinate value by applying a second coordinate transformation to the first transformed coordinate value and the second transformed coordinate value for each of the one or more feature points. Difference Is a step of obtaining an error, a step of correcting the assumed posture information and the assumed position such that the difference or the error is equal to or less than an allowable value, and a step of converting the assumed position after the correction into a space related to an external space shape. A spatial information acquisition method characterized by having a step of converting into information.
[0010]
Alternatively, in the spatial information acquisition method, the first coordinate transformation includes:
[0011]
(Equation 5)

[0012]
Where the second coordinate transformation is
[0013]
(Equation 6)

[0014]
(Where x _j , Y _j ... Display coordinate values of feature points, C _x , C _y ... Projection center which is a camera parameter, f ... Focal length which is a camera parameter, D ... Omnidirectional image resolution which is a camera parameter, ρ _j ... phase parameter of feature point, φ _j ... elevation angle parameter of feature point, u _j , V _j ... First transformed coordinate value, R _j … Depth on the spatial coordinate value of the feature point, X _j ', Y' _j , Z ' _j … Assumed positions of feature points in space, θ _i , Χ _i , Ω _i ... posture information assumed by the omnidirectional camera, ρ ' _j ... X _j ', Y' _j , Z ' _j Phase parameter, φ ' _j ... X _j ', Y' _j , Z ' _j Elevation angle parameter, u ' _j , V ' _j .. A second transformed coordinate value) as a means for solving the problem.
[0015]
Alternatively, a device for acquiring spatial information of the outside world from an omnidirectional image obtained by capturing an omnidirectional landscape at a time using an omnidirectional camera, and setting and extracting one or more feature points in the captured omnidirectional image Means for calculating display coordinate values of the feature points in the captured omnidirectional image, and means for calculating spatial information on the spatial shape of the external world from the display coordinate values and camera parameters of the omnidirectional camera. A spatial information acquisition apparatus characterized in that the apparatus has a means for solving the problem.
[0016]
Alternatively, a device for acquiring spatial information of the outside world from an omnidirectional image obtained by capturing an omnidirectional landscape at a time using an omnidirectional camera, and setting and extracting one or more feature points in the captured omnidirectional image Means for calculating a display coordinate value of the feature point in the captured omnidirectional image, and means for obtaining a first transformed coordinate value by performing a first coordinate transformation on the displayed coordinate value. Means for assuming posture information of the omnidirectional camera and the position of the feature point in the real space; and performing a second coordinate transformation on the assumed position using the assumed posture information and the display coordinate value. Means for obtaining a second transformed coordinate value, and means for determining a difference or error between the first transformed coordinate value and the second transformed coordinate value for each of the one or more feature points; Difference or Means for correcting the assumed posture information and the assumed position such that the difference is equal to or less than an allowable value, and means for using the assumed position after the correction as spatial information relating to the spatial shape of the external world. The spatial information acquisition device described above is used as a solution.
[0017]
Alternatively, in the spatial information acquisition device, the first coordinate transformation is
[0018]
(Equation 7)

[0019]
Where the second coordinate transformation is
[0020]
(Equation 8)

[0021]
(Where x _j , Y _j ... Display coordinate values of feature points, C _x , C _y ... Projection center which is a camera parameter, f ... Focal length which is a camera parameter, D ... Omnidirectional image resolution which is a camera parameter, ρ _j ... phase parameter of feature point, φ _j ... elevation angle parameter of feature point, u _j , V _j ... First transformed coordinate value, R _j … Depth on the spatial coordinate value of the feature point, X _j ', Y' _j , Z ' _j … Assumed positions of feature points in space, θ _i , Χ _i , Ω _i ... posture information assumed by the omnidirectional camera, ρ ' _j ... X _j ', Y' _j , Z ' _j Phase parameter, φ ' _j ... X _j ', Y' _j , Z ' _j Elevation angle parameter, u ' _j , V ' _j .. (A second transformed coordinate value).
[0022]
Alternatively, the solution in the spatial information acquisition method is a program for causing a computer to execute the process in the spatial information acquisition method described above.
[0023]
Alternatively, a recording medium recording a spatial information acquisition program, characterized in that the process in the spatial information acquisition method described above is a program for causing a computer to execute the program, and the program is recorded on a recording medium readable by the computer. Means of solution.
[0024]
According to the present invention, the above-described configuration requires time-series video analysis using an omnidirectional camera device as an image input device, or optical flow such as feature point tracking between time series and corresponding point search in computer vision. Instead, it is possible to acquire and restore posture information on the camera viewpoint and spatial information on the external space shape from each omnidirectional image.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0026]
"Embodiment 1"
The present embodiment is a method of acquiring spatial information on the spatial shape of the external world from an omnidirectional image acquired from an omnidirectional camera.
[0027]
FIG. 1 shows a basic configuration diagram of this embodiment. The present invention provides an image extracting unit 1 for setting / extracting an omnidirectional image to be processed, a feature point setting unit 2 for setting a feature point in the omnidirectional image to be processed, and setting / extracting by the feature point setting unit 2. The parameter calculation unit 3 calculates the image coordinate value (display coordinate value) of the selected and selected feature point, and calculates the spatial information on the spatial shape of the external world from the image coordinate value and the camera parameters of the omnidirectional camera. It comprises a parameter output unit 4 for outputting spatial information.
[0028]
FIG. 2 is a processing flowchart of the first embodiment according to the present invention. In the present embodiment, a case will be described in which an omnidirectional image is acquired by an omnidirectional camera using a fisheye lens designed with an optical system of equidistant projection (projection proportional to the incident angle from the optical axis). It should be noted that the present invention can be applied to a case where other optical projection, for example, stereoscopic projection or iso-stereoscopic projection is used. The present invention is also applicable to an omnidirectional time-series image acquired by an omnidirectional camera constituted by a mirror) or a multi-view omnidirectional image.
[0029]
In the following, it is assumed that the relationship between the omnidirectional camera and the spatial information is such that an object exists along the traveling axis of the omnidirectional camera as shown in FIG.
[0030]
In FIG. 3, the omnidirectional camera is modeled by a hemispherical optical lens, and a point P (X _j , Y _j , Z _j ) Is an image plane projection point p (x) centered on the projection center C under the optical projection design of equidistant projection. _j , Y _j ). At this time, the phase ρ from the X axis _j , And elevation angle φ _j Is characterized by the following angle parameter: Further, with respect to the point P in the space, a point B when a foot perpendicular to the traveling axis is lowered on a straight line parallel to the traveling axis, and a point A whose height is the same as the point P are referred to as a point A. I do. At this time, the distance (depth) from the projection center C to the point B is R _j , The distance from point B to point A, that is, the height of point P in the Z-axis direction is h _j And
[0031]
As shown in FIG. 4, the spatial information of the external world is projected inside a circle whose center is the projection center, and the circumference at this time is an image circle (imaging limit at an elevation angle of 0 degrees). The image coordinates p (x on the image plane where the point P in the space is projected _j , Y _j ) Is the projection center (C _x , C _y ), The distance (diameter) r _j An angle formed by a line segment extending from the projection center and the x-axis at a distant point is the phase ρ in FIG. _j Is the same as
[0032]
Next, the present invention will be described according to the processing flow of FIG. In this embodiment, the spatial information parameter is calculated from one or more feature points set and extracted in the omnidirectional image, camera parameters unique to the omnidirectional camera, and phase parameters obtained from the image coordinate values of the feature points. By doing so, spatial information about the spatial shape of the external world is obtained.
[0033]
First, the image extraction unit 1 extracts one image to be processed from the omnidirectional images, and the feature point setting unit 2 sets N feature points ((x _j , Y _j ); J = 1, 2,..., N) are set. At this time, the operator may manually set a feature point, or extract and set a feature point with sharp edge gradient or image processing by image processing or the like without affecting the following processing. .
[0034]
Next, the parameter calculation unit 3 calculates the projection center (C _x , C _y ), The phase parameter ρ when the diameter is extended to each feature point _j Equation (1)
[0035]
(Equation 9)

[0036]
Is determined for each feature point. Here, the omnidirectional image resolution D, which is a fixed value expressing the physical weight of one pixel of the image coordinate value, is set as the camera parameters. Further, for each feature point P in the space of the external world, the expression (2)
[0037]
(Equation 10)

[0038]
With h _j Is calculated. This gives the height h of the feature point _j That is, spatial information relating to the spatial shape of the external world is obtained and output from the parameter output unit 4.
[0039]
Further, such processing is performed on omnidirectional images (i = 1, 2,..., F when the number of frames is F) for the feature points set and extracted for each image. Spatial information h _j Can be obtained.
[0040]
"Embodiment 2"
The present embodiment is a method of acquiring, from an omnidirectional image acquired from an omnidirectional camera, attitude information of the omnidirectional camera and spatial information on a spatial shape of the external world.
[0041]
FIG. 5 shows a basic configuration diagram of the present embodiment. In this embodiment, an image extraction unit 1 extracts an omnidirectional image to be processed, a feature point setting unit 2 sets and extracts a feature point in an omnidirectional image to be processed, and a feature point setting unit 2 The image coordinate values (display coordinate values) of the extracted and selected feature points in the omnidirectional image are obtained, and the parameters of the feature points are calculated from the image coordinate values and the camera parameters. A parameter calculation unit 3 that calculates another parameter of a feature point from the point parameter, the spatial information of the external world input from the external information input unit 14 and the initial value (assumed value) of the posture information of the camera, A coordinate calculating unit 11 that calculates a first transformed coordinate value using the parameter and calculates a second transformed coordinate value using a parameter of a later feature point; a first transformed coordinate value and a second transformed coordinate Between values Calculate the minute or the error, and determine whether or not the optimization is performed below the allowable value. When the optimization determining unit 12 determines that the image is not optimized, the spatial information and the posture information of the camera are updated. It comprises a parameter updating unit 13 for (correction), and a parameter output unit 4 for outputting spatial information and camera attitude information when it is determined that the camera is optimized.
[0042]
The present invention will be described with reference to the processing flow of FIG. In the present embodiment, one or more feature points set / extracted in an image, camera parameters unique to an omnidirectional camera, and first transformation coordinates from a phase parameter and an elevation parameter obtained from image coordinate values of the feature points. The first step of calculating the value, the phase parameter of the feature point set in the first step, and appropriately giving the initial value of the spatial information on the spatial shape of the external world, and further, the initial value of the azimuth information of the omnidirectional camera , A second step of calculating a second transformed coordinate value from the phase parameter and the elevation angle parameter obtained by appropriately giving, the first transformed coordinate value obtained in the first step, and a second transformed coordinate value obtained in the second step. A difference or an error between the second transformed coordinate value and the azimuth information of the omnidirectional camera is appropriately converted so as to reduce the difference or the error. Is allowed, the third step this error to explore the spatial information and direction information of the omnidirectional camera about ambient space shape when the minimum, to acquire the spatial information of the posture information of the camera and the outside world.
[0043]
First, the image extraction unit 1 extracts one image to be processed from the omnidirectional images, and the feature point setting unit 2 sets N feature points ((x _j , Y _j ); J = 1, 2,..., N) are set. At this time, the operator may manually set the feature points, or extract and set the feature points by detecting the edges or sharp steep gradients by image processing or the like without affecting the following processing. .
[0044]
Next, in the parameter calculation unit 3, the coordinate values (x _j , Y _j ) According to equation (1), the parameter ρ _j And equation (3)
[0045]
[Equation 11]

[0046]
According to the parameter φ _j Ask for.
[0047]
Next, in the coordinate calculation unit 11, the expression (4)
[0048]
(Equation 12)

[0049]
From the first transformed coordinate value (u _j , V _j Get)
[0050]
On the other hand, the external information input unit 14 outputs the feature point height h. _j Is appropriately given, and the parameter calculation unit 3 calculates the equation (5)
[0051]
(Equation 13)

[0052]
Gives the parameter φ ' _j Get. Where R _j = 1.
[0053]
Next, the coordinate calculation unit 11 calculates the azimuth θ _j = 0, and equation (6)
[0054]
[Equation 14]

[0055]
As a result, the second transformed coordinate value (u ′) _j , V ' _j ).
[0056]
Next, the optimization determining unit 12 calculates the expression (7).
[0057]
[Equation 15]

[0058]
Is obtained. Here, the allowable error ε is set appropriately, and this error ΔA is calculated by the equation (8).
ΔA ≦ ε Equation (8)
Is determined to satisfy or not.
[0059]
In the above determination, when Expression (8) is not satisfied, the parameter updating unit 13 determines whether Expression (9) is satisfied.
[0060]
(Equation 16)

[0061]
Is updated.
[0062]
As a method of updating a parameter so that this error becomes equal to or less than an allowable error, for example, a document [1] “Numerical Recipes in C, William H. Press, Saul A. Teukolsky, William T. Vetterling, Brian P. Francry” (Japanese version) -10.5 Multidimensional Direction Set (Powell) Method-Recipe for Numerical Computation in C Language, published in Tankei Katsuichi, Okumura Haruhiko, Sato Toshiro, Kobayashi Makoto (translation), Technical Review Company It can be realized by applying the Powell method, a neural network, a genetic algorithm, or the like.
[0063]
Subsequently, when the parameter is updated, the process returns to the above-described step, and the parameter φ ′ _j Is calculated again from equation (5), and the azimuth θ _i Is updated, the coordinate conversion unit 11 uses the equation (6) to convert the second transformed coordinate value (u ′). _j , V ' _j ) Is calculated again. Similarly, the optimization determination unit 12 obtains the error ΔA at this time, determines whether or not the error is equal to or smaller than an allowable error. Otherwise, the parameter updating unit 13 updates the parameter of Expression (9), and If the difference is equal to or less than the error, the parameter at that time is set as the output result of the parameter output unit 4.
[0064]
Finally, the parameter h that satisfies equation (8) _j , And θ _i To win. Thus, the spatial information h about the spatial shape of the external world _j , And azimuth θ _i Can be obtained.
[0065]
Further, such processing is performed on an omnidirectional image (i = 1, 2,..., F if the number of frames is F), and the feature points set and extracted for each image Spatial information h _j And the azimuth θ when each image was acquired _i Can be obtained.
[0066]
"Embodiment 3"
The present invention is a method for calculating the rotation around the Z axis in FIG. 3, that is, the azimuth angle θ and other rotation angles with respect to the second embodiment, and describes only the differences from the second embodiment. I will. It should be noted that the other rotation angles obtained in the present embodiment are rotations around the X axis (rotation parameter χ _i ) And rotation around the Y axis (rotation parameter ω _i ).
[0067]
The present invention will be described with reference to the processing flow of FIG. In the present embodiment, in the second step of Embodiment 2, the initial values of the spatial information regarding the spatial shape of the external world are given, and the initial values of the azimuth information of the omnidirectional camera and other rotation information are appropriately given. A second transformed coordinate value is calculated from the phase parameter and the elevation angle parameter obtained in the second step. In the third step of the second embodiment, the first transformed coordinate value obtained in the first step and the second transformed coordinate value are calculated. The difference or error between the second transformed coordinate value obtained in the above is obtained, and the spatial information about the spatial shape of the external world appropriately given, the azimuth information of the omnidirectional camera, and other The rotation information is changed, and spatial information on the spatial shape of the external world when the difference or error is minimized, azimuth information of the omnidirectional camera, and other rotation information are searched.
[0068]
First, the image extraction unit 1 extracts one image to be processed from the omnidirectional images, and the feature point setting unit 2 sets N feature points ((x _j , Y _j ); J = 1, 2,..., N) are set. At this time, the operator may manually set a feature point, or set a feature point by image processing or the like for a point having a sharp edge detection or a sharp gradation, without affecting the following processing at all.
[0069]
Next, in the parameter calculation unit 3, the coordinate values (x _j , Y _j ) According to equation (1), the parameter ρ _j And the parameter φ according to equation (3) _j Is calculated by the coordinate calculation unit 11 from the equation (4). _j , V _j Get)
[0070]
On the other hand, the external information input unit 14 outputs the feature point height h. _j Initial value (however, R _j = 1), and 初期 as an initial value of a rotation parameter representing another rotation angle. _i = Ω _i = 0, and the parameter calculation unit 3 calculates Equation (10)
[0071]
[Equation 17]

[0072]
By (X ' _j , Y ' _j , Z ' _j ), And from these coordinate values, the parameter ρ ′ _j And the parameter φ ' _j To the equation (11)
[0073]
(Equation 18)

[0074]
Obtained using
[0075]
Next, the coordinate calculation unit 11 calculates the azimuth θ _i = 0 and the equation (12)
[0076]
[Equation 19]

[0077]
As a result, the second transformed coordinate value (u ′) _j , V ' _j ).
[0078]
Next, the optimization judging unit 12 calculates the error ΔA of the equation (7). Here, the allowable error ε is set appropriately, and it is determined whether or not the error ΔA satisfies the equation (8). I do.
[0079]
In the above determination, when Expression (8) is not satisfied, the parameter updating unit 13 determines whether Expression (13) is satisfied.
[0080]
(Equation 20)

[0081]
Is updated. As a method of updating the parameter so that the error is equal to or less than the allowable error, for example, the method can be realized by applying the Powell method described in the above-mentioned document [1], a neural network, a genetic algorithm, or the like. it can.
[0082]
Subsequently, since the parameters have been updated, the process returns to the above-described steps, and the parameter calculation unit 3 calculates the expression (10) again, the coordinate calculation unit 11 calculates the expression (11) again, and further calculates the azimuth. Angle θ _i Has been updated, the second transformed coordinate value (u ′) is calculated using Expression (12). _j , V ' _j ) Is calculated again. Similarly, the error ΔA at this time is determined by the optimization determining unit 12 and it is determined whether or not the error is equal to or smaller than an allowable error. Otherwise, the parameter updating unit 13 further updates the parameter of Expression (13), and If the difference is equal to or less than the error, the parameter at that time is set as the output result of the parameter output unit 4.
[0083]
Finally, the parameter h that satisfies equation (8) _j , Azimuth θ _i , And rotation angle χ _i And rotation angle ω _i To win. Thus, the spatial information h about the spatial shape of the external world _j , Azimuth θ _i , Rotation angle about X axisχ _i , Rotation angle ω about Y axis _i Can be obtained.
[0084]
Further, such processing is performed on an omnidirectional image (i = 1, 2,..., F if the number of frames is F), and the feature points set and extracted for each image Spatial information h _j And the azimuth θ when each image was acquired _i , Rotation angle about X axisχ _i , Rotation angle ω about Y axis _i Can be obtained.
[0085]
The effects of the coordinate conversion by the equations (1), (3), (4) and the equations (1), (10), (11), and (12) of the present invention will be described below.
[0086]
Image coordinates (x _j , Y _j ) From the phase ρ _j And elevation angle φ _j And (u _j , V _j ), The Rh curve is converted into a straight line parallel to the v-axis. Here, the Rh curve is a phase ρ when the distance from the omnidirectional camera viewpoint to the side surface is R, and the height is h, with respect to the left and right side surfaces bisected about the traveling axis of the omnidirectional camera. Is changed to -π / 2 <ρ <π / 2 to obtain an omnidirectional projection curve. Therefore, the depth R _j And height h _j By setting a set of points (e.g., points on a line where the ceiling and side walls of the corridor intersect) with each other, spatial information and attitude information can be corrected using a straight line on the uv plane. In this case, much more accurate measurement can be performed as compared with the case where the spatial information and the posture information of the camera are corrected using the Rh curve on the xy plane.
[0087]
In this coordinate conversion, the elevation angle φ _j The smaller the characteristic point (the point closer to the base), the more the measurement error is emphasized and converted to a point farther from the v axis. That is, when characteristic points are measured by the same operation, errors and inconsistencies that are difficult to understand on the xy plane can be more accurately grasped on the uv plane. Therefore, if the spatial information and the attitude information of the camera are corrected so that the emphasized error is minimized, high-precision measurement can be performed.
[0088]
A part or all of the functions of each unit in the apparatus shown in FIGS. 1 and 5 may be configured by a computer program, and the program may be executed using a computer to realize the present invention. It is needless to say that the processing steps shown in FIGS. 2, 6 and 7 can be constituted by a computer program, and the program can be executed by a computer. A program for causing the computer to execute the processing procedure is recorded on a recording medium readable by the computer, for example, FD (flexible disk), MO, ROM, memory card, CD, DVD, removable disk, etc. It can be saved and distributed. Further, it is also possible to provide the above program through a network such as the Internet or e-mail.
[0089]
【The invention's effect】
As is apparent from the above description, according to the present invention, the posture information of the omnidirectional camera is automatically corrected when acquiring the spatial information of the external world from the acquired image of the omnidirectional camera. Even if there is an error in the installation angle of the omnidirectional camera, the measurement error can be reduced. Further, by applying the coordinate transformation, the measurement error can be further reduced.
[Brief description of the drawings]
FIG. 1 is a basic configuration diagram of a first embodiment of the present invention.
FIG. 2 is a diagram showing a processing flow of the first embodiment.
FIG. 3 is an explanatory diagram of optical projection by equidistant projection of a fisheye lens.
FIG. 4 is an explanatory diagram of coordinate values on an omnidirectional image.
FIG. 5 is a basic configuration diagram of Embodiment 2 and Embodiment 3 of the present invention.
FIG. 6 is a diagram showing a processing flow of Embodiment 2;
FIG. 7 is a diagram showing a processing flow of a third embodiment.
[Explanation of symbols]
1. Image extraction unit
2. Feature point setting section
3. Parameter calculation unit
4: Parameter output unit
11 Coordinate calculator
12: Optimization judgment unit
13: Parameter update unit
14. External information input unit

Claims (8)

A method of acquiring spatial information of the outside world from an omnidirectional image taken at once using an omnidirectional camera,
Setting and extracting one or more feature points in the captured omnidirectional image;
Determining a display coordinate value of the feature point in the captured omnidirectional image, and calculating spatial information on a spatial shape of the external world from the display coordinate value and camera parameters of the omnidirectional camera. Spatial information acquisition method. A method of acquiring spatial information of the outside world from an omnidirectional image taken at once using an omnidirectional camera,
Setting and extracting one or more feature points in the captured omnidirectional image;
Calculating a display coordinate value of the feature point in the captured omnidirectional image; and performing a first coordinate transformation on the display coordinate value using a camera parameter of the omnidirectional camera to obtain a first transformed coordinate. The process of finding the value,
Assuming the position information of the omnidirectional camera and the position of the feature point in the real space,
Obtaining a second transformed coordinate value by performing a second coordinate transformation on the assumed position using the assumed posture information and the display coordinate value;
Obtaining a difference or error between the first transformed coordinate value and the second transformed coordinate value for each of the one or more feature points;
Correcting the assumed posture information and the assumed position such that the difference or error is equal to or less than an allowable value, and
Using the assumed position after the correction as spatial information relating to the spatial shape of the external world. The first coordinate transformation is

Represented by
The second coordinate transformation is

(However,
x _j , y _j ... display coordinate values of feature points,
_Cx , _Cy : Projection center which is a camera parameter,
f: focal length which is a camera parameter
D: omnidirectional image resolution which is a camera parameter
ρ _j ... phase parameter of the feature point,
φ _j … the elevation angle parameter of the feature point,
u _j , v _j ... first transformed coordinate values,
R _j ... Depth on the spatial coordinate value of the feature point;
_Xj ', _Y'j , _Z'j ... assumed positions of feature points in space;
θ _i , _{ｉ i} , ω _i ... posture information assumed by the omnidirectional camera,
ρ ′ _j ... phase parameters determined by X _j ′, Y ′ _j , Z ′ _j ,
_{φ 'j ... X j',} Y 'j, Z' elevation parameter determined by _j,
u ′ _j , v ′ _j ... second converted coordinate values)
The spatial information acquisition method according to claim 2, wherein: A device that acquires spatial information of the outside world from an omnidirectional image obtained by photographing an omnidirectional landscape at a time using an omnidirectional camera,
Means for setting and extracting one or more feature points in the captured omnidirectional image;
Means for calculating display coordinate values of the feature points in the captured omnidirectional image, and means for calculating spatial information relating to the spatial shape of the external world from the display coordinate values and camera parameters of the omnidirectional camera. Spatial information acquisition device. A device that acquires spatial information of the outside world from an omnidirectional image obtained by photographing an omnidirectional landscape at a time using an omnidirectional camera,
Means for setting and extracting one or more feature points in the captured omnidirectional image;
Means for obtaining a display coordinate value of the feature point in the captured omnidirectional image; means for obtaining a first transformed coordinate value by performing a first coordinate transformation on the display coordinate value;
Means for assuming the position information of the omnidirectional camera and the position of the feature point in real space,
Means for obtaining a second transformed coordinate value by performing a second coordinate transformation on the assumed position using the assumed posture information and the display coordinate value;
Means for determining a difference or error between the first transformed coordinate value and the second transformed coordinate value for each of the one or more feature points;
Means for correcting the assumed attitude information and the assumed position so that the difference or error is equal to or less than an allowable value,
Means for using the assumed position after the correction as spatial information relating to the spatial shape of the outside world. The first coordinate transformation is

Represented by
The second coordinate transformation is

(However,
x _j , y _j ... display coordinate values of feature points,
_Cx , _Cy : Projection center which is a camera parameter,
f: focal length which is a camera parameter
D: omnidirectional image resolution which is a camera parameter
ρ _j ... phase parameter of the feature point,
φ _j … the elevation angle parameter of the feature point,
u _j , v _j ... first transformed coordinate values,
R _j ... Depth on the spatial coordinate value of the feature point;
_Xj ', _Y'j , _Z'j ... assumed positions of feature points in space;
θ _i , _{ｉ i} , ω _i ... posture information assumed by the omnidirectional camera,
ρ ′ _j ... phase parameters determined by X _j ′, Y ′ _j , Z ′ _j ,
_{φ 'j ... X j',} Y 'j, Z' elevation parameter determined by _j,
u ′ _j , v ′ _j ... second converted coordinate values)
The spatial information acquisition device according to claim 5, wherein: 4. A spatial information acquisition program, wherein the steps in the spatial information acquisition method according to claim 1 are a program for causing a computer to execute the process. A program for causing a computer to execute the steps in the spatial information acquisition method according to any one of claims 1 to 3,
A recording medium recording a spatial information acquisition program, wherein the program is recorded on a recording medium readable by the computer.

Images