JP2004157894A - カメラ姿勢取得方法、装置、プログラム、およびこのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】一枚の全方位画像から、これを撮影したカメラ姿勢を容易に取得可能とする。
【解決手段】全方位画像入力部１０１は、カメラで撮影もしくは撮像した全方位画像をデータとして入力する。物体輪郭抽出部１０２は、全方位画像上に投影された建物等の物体の輪郭を抽出する。垂線輪郭指示部１０３は、抽出した輪郭の中から空間中で垂直な部分を複数箇所指示する。輪郭延長線算出部１０４は、指示した垂線輪郭から垂線輪郭を延長した曲線を算出する。ＦＯＥ算出部１０５は、算出した複数の輪郭延長線の交点をＦＯＥとして算出する。ＦＯＥ変換部１０６は、算出したＦＯＥの位置をロール角とピッチ角に変換する。カメラ姿勢出力部１０７は、算出したロール角とピッチ角を当該全方位画像撮影時もしくは撮像時のカメラ姿勢情報として出力する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータビジョン分野、画像計測並びに測量分野において、画像入力装置（全方位カメラ）等により取得した画像データ（全方位画像）から、画像データ取得時の画像入力装置等の姿勢情報を取得する方法および装置に関する。
【０００２】
【従来の技術】
従来、画像撮影時のカメラの傾きなどの姿勢情報の取得には、ジャイロセンサなどを用いるセンサベースの手法と、複数画像の解析による手法があった。
【０００３】
ジャイロセンサを用いる手法では、出力される角度情報を姿勢情報として直接取得できるという利点があるが、画像処理などに用いる場合には、カメラの取り付け位置とジャイロセンサの取り付け位置の違いから、位置合わせなどの処理が必要となるだけでなく、画像と姿勢情報の同期がとれない問題や、ジャイロのドリフトなどの問題がある。
【０００４】
一方、複数画像の解析による手法では、上記のような位置合わせや同期などの問題がなく、画像毎の姿勢情報を獲得することが可能だが、複数の画像を解析しないと、姿勢情報を取得することはできないという問題がある（非特許文献１参照）。
【０００５】
【非特許文献１】
農宗千典、小沢慎治、「道路形状情報と連続道路画像からの車両位置とカメラ姿勢の同時推定」、電子情報通信学会論文誌（Ｄ−ＩＩ）、電子情報通信学会、１９９４年４月、第Ｊ７７−Ｄ−ＩＩ巻、第４号、ｐ．７６４−７７３
【０００６】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決するためのものであり、例えば都市部などにおいて撮影された全方位画像のカメラ姿勢を、一枚の画像から容易に取得することができる技術を提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、全方位を一度に撮影もしくは撮像する全方位画像において、撮影時もしくは撮像時のカメラ姿勢（ピッチ角、ロール角）を自動的に取得する方法であって、全方位画像に投影された物体の輪郭を抽出する第一のステップと、第一のステップで抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の曲線として複数抽出する第二のステップと、第二のステップで抽出した複数の曲線の交点を算出する第三のステップと、第三のステップで算出した交点と画像中心との位置の差をカメラの姿勢に変換する第四のステップと、を有することを特徴とするカメラ姿勢取得方法を、その解決の手段とする。
【０００８】
あるいは、上記のカメラ姿勢取得方法において、第二のステップに代えて、第一のステップで抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の直線として複数抽出する第五のステップと、第三のステップに代えて、第五のステップで抽出した直線の中から、画像中心を中心とする指定した長さの半径の円を通過する直線のみを抽出する第六のステップと、第六のステップで抽出した複数の直線の交点を算出する第七のステップと、を有することを特徴とするカメラ姿勢取得方法を、その解決の手段とする。
【０００９】
あるいは、全方位を一度に撮影もしくは撮像する全方位画像において、撮影時もしくは撮像時のカメラ姿勢（ピッチ角、ロール角）を自動的に取得する装置であって、全方位画像に投影された物体の輪郭を抽出する第一の手段と、第一の手段で抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の曲線として複数抽出する第二の手段と、第二の手段で複数抽出した曲線の交点を算出する第三の手段と、第三の手段で算出した交点と画像中心との位置の差をカメラの姿勢に変換する第四の手段と、を有することを特徴とするカメラ姿勢取得装置を、その解決の手段とする。
【００１０】
あるいは、上記のカメラ姿勢取得装置において、第二の手段に代えて、第一の手段で抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の直線として複数抽出する第五の手段と、第三の手段に代えて、第五の手段で抽出した直線の中から、画像中心を中心とする指定した長さの半径の円を通過する直線のみを抽出する第六の手段と、第六の手段で抽出した複数の直線の交点を算出する第七の手段と、を有することを特徴とするカメラ姿勢取得装置を、その解決の手段とする。
【００１１】
あるいは、上記のカメラ姿勢取得方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とするカメラ姿勢取得プログラムを、その解決の手段とする。
【００１２】
あるいは、上記のカメラ姿勢取得方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とするカメラ姿勢取得プログラムを記録した記録媒体を、その解決の手段とする。
【００１３】
本発明では、全方位画像中のＦＯＥ（Ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ、画像中の消失点あるいは出現点を指す）の位置から、カメラの姿勢情報を算出することができる特徴を利用し、画像中に投影された建物等の物体の輪郭情報を用いて全方位画像中のＦＯＥ位置を推定し、それからカメラ姿勢を求めることにより、カメラ姿勢を取得することができるようにする。
【００１４】
本発明を利用することにより、全方位画像を撮影もしくは撮像する際のカメラの姿勢を、全方位画像のみから取得することが可能となる。これにより、全方位画像を用いる画像計測においてカメラ姿勢を正確に把握でき、従って誤差の少ない計測結果を得ることが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１６】
〈実施形態例１〉
本発明による第１の実施形態例について説明する。以下では、説明上、全方位カメラは、魚眼レンズをマウントしたものとし、このカメラを車両に対して光軸が垂直上向きになるように搭載して、移動しながら全方位映像を取得するものとする。また、Ｘ−Ｙ軸平面を地面、Ｚ軸を高さ方向、Ｘ軸方向をカメラの進行方向とすると、本実施形態例において算出するカメラ姿勢は、Ｘ軸まわりの回転角φ（ロール角）、Ｙ軸まわりの回転角ρ（ピッチ角）となる。なお、魚眼レンズは等距離投影
ｙ＝ｆθ …（１）
ｙ：対象点の像中心からの投影距離
ｆ：焦点距離
θ：対象点の方向の光軸に対する角度
を用いるものとする。ここでは、一例として魚眼レンズをマウントした全方位カメラを用いた場合について説明するが、他の全方位カメラを用いた場合についても、その全方位カメラの有する投影式をあてはめることで本発明が成立することは自明である。
【００１７】
図１は、本実施形態例のブロック構成図である。本実施形態例は、カメラが撮影もしくは撮像した全方位画像をデータとして入力する全方位画像入力部［１０１］、全方位画像上に投影された建物等の物体の輪郭を抽出する物体輪郭抽出部［１０２］、抽出した輪郭の中から空間中で垂直な部分を複数箇所指示する垂線輪郭指示部［１０３］、指示した垂線輪郭から垂線輪郭を延長した曲線を算出する輪郭延長線算出部［１０４］、算出した複数の輪郭延長線の交点をＦＯＥとして算出するＦＯＥ算出部［１０５］、算出したＦＯＥの位置をロール角とピッチ角に変換するＦＯＥ変換部［１０６］、算出したロール角とピッチ角をカメラ姿勢情報として出力するカメラ姿勢出力部［１０７］から構成されている。
【００１８】
本実施形態例を説明する準備として、図２に全方位画像の座標系を示す。全方位画像上の画素の座標系をＩ−Ｊ、空間中の座標系をＸ−Ｙ−Ｚとする。全方位画像上の点の座標はＩ−Ｊ座標系で（ｉ，ｊ）と示す。ここでは、Ｘ−Ｙ平面は空間中で地面を表し、Ｚ軸方向が高さ、Ｘ軸方向が進行方向を表している。また、Ｉ軸、Ｊ軸はそれぞれＸ軸、Ｙ軸と並行であるものとする。なお、Ｉ−Ｊ座標系とＸ−Ｙ−Ｚ座標系のスケールを変換するための係数を量子化ステップと呼び、Ｄとする。
【００１９】
図３に本実施形態例の処理フローを示す。処理が開始［３０１］すると全方位画像［３０２］を全方位画像入力［３０３］に対して入力する。
【００２０】
次に、処理の初期値として輪郭延長線の数をｍとし、ｍに０を代入する［３０４］。
【００２１】
次に、物体輪郭抽出［３０５］では、全方位画像入力［３０３］で入力した全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。図４に全方位画像に対する輪郭抽出例を示す。全方位画像を画素の輝度の勾配値を利用した公知の方法などで建物等の物体の輪郭を求め、輪郭に当たる画素の値を１、輪郭にあたらない画素の値を０とする。図４では黒い画素の値を１、白い画素の値を０としている。
【００２２】
次に、輪郭垂線上の点を指示［３０６］では、輪郭垂線上の点（ｉ_１，ｊ_１），…，（ｉ_ｎ，ｊ_ｎ）をｎが３以上となるように指示する。輪郭垂線とは物体輪郭抽出［３０５］で抽出した輪郭の中から空間中で垂直な物体の輪郭である。図５に輪郭垂線の指示例を示す。空間中で垂直な建物の輪郭上の点を例えば人手により３点以上プロットすることにより、プロットした点群を輪郭垂線上の点とすることができる。
【００２３】
次に、曲線あてはめ［３０７］では、［３０６］で指示した輪郭垂線上の点（ｉ_１，ｊ_１），…，（ｉ_ｎ，ｊ_ｎ）に対して曲線あてはめ処理を行う。図６に輪郭延長線の算出例を示す。指示した輪郭垂線上の複数の点に対して、曲線あてはめ手法（亀山博史、鈴木寿、有本卓、「スプライン曲線あてはめによる手書きストロークの抽出」、画像の認識・理解（ＭＩＲＵ’９２）シンポジウム論文集、情報処理学会、１９９２年７月、ｐ．Ｉ２０１−Ｉ２０７や、金谷健一、金澤靖、「最適な曲線当てはめとその信頼性評価」、画像の認識・理解（ＭＩＲＵ’９８）シンポジウム論文集Ｉ、情報処理学会、１９９８年７月、ｐ．Ｉ３３１−Ｉ３３６）などで曲線を算出し、輪郭延長線とする。
【００２４】
次に、輪郭延長線Ｌ（ｍ）決定［３０８］では、点（ｉ_１、ｊ_１），…，（ｉ_ｎ，ｊ_ｎ）への曲線あてはめ［３０７］で得られた曲線を輪郭延長線Ｌ（ｍ）として決定する。
【００２５】
次に、［３０９］では他に点を指示できる輪郭垂線があるかどうかを判断し、他に輪郭垂線がある場合には輪郭延長線の数であるｍに１を加算して［３１０］、輪郭垂線上の点を指示［３０６］に戻る。他に輪郭垂線が無い場合には輪郭延長線の交点算出［３１１］に処理が進む。
【００２６】
次に、輪郭延長線の交点算出［３１１］では、輪郭延長線Ｌ（ｍ）決定［３０８］で決定した輪郭延長線Ｌ（１），…，Ｌ（ｍ）の交点を最小自乗法などによって算出する。
【００２７】
図７にＦＯＥ算出例を示す。一般的に、空間中で垂直な線分の高さを無限遠まで延長した直線は、画像上でＦＯＥを中心として放射状に投影されるという性質がある。これを言い換えると、輪郭延長線の交点算出［３１１］において算出した交点はＦＯＥと一致することとなる。ＦＯＥ位置決定［３１２］では、上記の性質を利用して輪郭延長線の交点算出［３１１］で算出した交点をＦＯＥ位置（ｉ_ｆｏｅ，ｊ_ｆｏｅ）として決定する。
【００２８】
次に、カメラ姿勢算出［３１３］では、ＦＯＥ位置決定［３１２］で決定したＦＯＥ位置を、魚眼レンズの投影式（１）と結像面における受光素子１画素の物理的な大きさＤから導出した式（２）（３）によってロール角φ、ピッチ角ρを算出する。
【００２９】
φ＝Ｄ×ｊ_ｆｏｅ／ｆ …（２）
ρ＝Ｄ×ｉ_ｆｏｅ／ｆ …（３）
以上により、カメラ姿勢の取得処理が終了する［３１４］。
【００３０】
〈実施形態例２〉
本発明による第２の実施形態例について説明する。ここでは、第１の実施形態例における輪郭垂線の指示、輪郭延長線算出を行う代わりに、より簡便な方法でＦＯＥを算出する手段について述べる。ただし、本実施形態例は、算出するロール角および、ピッチ角が第一次近似（ｃｏｓ（θ）≒１，ｓｉｎ（θ）≒θ）が成立する範囲内での微少な傾きである場合に成立する。
【００３１】
図８は、本実施形態例のブロック構成図である。本実施形態例は、カメラが撮影もしくは撮像した全方位画像をデータとして入力する全前立画像入力部［８０１］、全方位画像上に投影された建物等の物体の輪郭を抽出する物体輪郭抽出部［８０２］、抽出した輪郭に対して直線検出を行う直線検出部［８０３］、検出した直線の中から誤検出した直線を削除する誤検出削除部［８０４］、誤検出削除後に残った直線の交点をＦＯＥとして算出するＦＯＥ算出部［８０５］、算出したＦＯＥの位置をロール角、ピッチ角に変換するＦＯＥ変換部［８０６］、算出したロール角、ピッチ角をカメラ姿勢情報として出力するカメラ姿勢情報出力部［８０７］から構成されている。
【００３２】
図９に本実施形態例の処理フローを示す。処理が開始［９０１］すると全方位画像［９０２］を全方位画像入力［９０３］に対して入力する。物体輪郭抽出［９０４］では、全方位画像入力［９０３］で入力した全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。
【００３３】
ここで、算出するロール角および、ピッチ角が第一次近似（ｃｏｓ（θ）≒１，ｓｉｎ（θ）≒θ）が成立する範囲内での微少な傾きである場合、空間中で垂直なの輪郭は、ＦＯＥを中心として放射状の直線と重なるという性質がある。このため、抽出した輪郭に対して直線検出を行うことで、空間中で垂直な物体の輪郭を抽出することができる。図１０に直線検出の例を示す。この例は、輪郭抽出画像に対して、Ｈｏｕｇｈ変換を用いた直線検出処理を行った例である。このように、直線検出［９０５］では、物体輪郭抽出［９０４］で輪郭抽出を行った画像に対して、直線検出処理により、Ｍ本の直線Ｌ（１），…，Ｌ（Ｍ）を検出する。
【００３４】
次に、［９０６］では初期設定として、誤検出でないとみなす領域Ｒの指定と処理対象の直線番号であるｍに１を代入する。
【００３５】
次に、直線Ｌ（ｍ）の判定［９０７］では、検出された直線Ｌ（ｍ）が初期設定［９０６］で指定された領域Ｒを通過するかを判定し、通過していない場合には［９０８］において直線Ｌ（ｍ）を誤検出した直線とみなして削除する。図１１に誤検出した直線を削除した例を示す。初期設定において領域Ｒを指定し、その領域Ｒを通過しない直線を誤検出した直線とみなして削除する。
【００３６】
誤検出処理終了判定［９０９］では、処理対象の直線番号ｍが検出した直線数Ｍに一致するかを判定し、ｍがＭに到達していない場合には［９１１］でｍに１を加算して処理を繰り返す。つまり、直線検出［９０５］において検出されたすべての直線に関して直線Ｌ（ｍ）の判定［９０７］が行われるまで処理を繰り返す。ｍがＭに等しい場合には、直線検出［９０５］において検出されたすべての直線に関して直線Ｌ（ｍ）の判定［９０７］が終了したと判定し、直線の交点算出［９１２］へ処理を進める。
【００３７】
直線の交点算出［９１２］では、直線Ｌ（ｍ）の判定［９０７］で削除されず残った直線の交点の算出を行う。直線の交点は、削除されず残ったすべての直線からの距離が最小となるような点の位置を最小自乗法などによって算出し、交点として決定する。
【００３８】
ＦＯＥ位置決定［９１３］では直線の交点算出［９１２］で算出した交点をＦＯＥ位置（ｉ_ｆｏｅ，ｊ_ｆｏｅ）として決定する。
【００３９】
カメラ姿勢算出［９１４］では、ＦＯＥ位置決定［９１３］で決定したＦＯＥ位置を式（２），（３）によってロール角φ、ピッチ角ρを算出する。
【００４０】
以上により、カメラ姿勢取得処理が終了する［９１５］。
【００４１】
以上により、ＦＯＥの算出を直線検出により自動で行うことが可能となり、輪郭垂線を手動などによって指示を行う必要のある第１の実施形態例と比較してより簡便にカメラ姿勢を取得することが可能となる。
【００４２】
なお、図１、図８で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図９で示した処理ステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００４３】
【発明の効果】
以上において説明したとおり、本発明によれば、全方位画像を撮影もしくは撮像した際のカメラ姿勢を、全方位画像のみから容易に取得することが可能となる。これにより、全方位画像を用いた画像計測において、カメラ姿勢を考慮した精度の高い計測結果を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態例のブロック構成を示す図である。
【図２】全方位画像の座標系を示す図である。
【図３】第１の実施形態例の処理フローを示す図である。
【図４】全方位画像の輪郭抽出の例を示す図である。
【図５】輪郭垂線の指示例を示す図である。
【図６】輪郭延長線を算出した例を示す図である。
【図７】ＦＯＥを算出した例を示す図である。
【図８】本発明による第２の実施形態例のブロック構成を示す図である。
【図９】第２の実施形態例の処理フローを示す図である。
【図１０】直線検出の例を示す図である。
【図１１】誤検出した直線を削除した例を示す図である。
【符号の説明】
１０１…全方位画像入力部
１０２…物体輪郭抽出部
１０３…垂線輪郭指示部
１０４…輪郭延長線算出部
１０５…ＦＯＥ算出部
１０６…ＦＯＥ変換部
１０７…カメラ姿勢出力部
８０１…全方位画像入力部
８０２…物体輪郭抽出部
８０３…直線検出部
８０４…誤検出削除部
８０５…ＦＯＥ算出部
８０６…ＦＯＥ変換部
８０７…カメラ姿勢出力部

Claims (6)

1. 全方位を一度に撮影もしくは撮像する全方位画像において、撮影時もしくは撮像時のカメラ姿勢を自動的に取得する方法であって、
   全方位画像に投影された物体の輪郭を抽出する第一のステップと、
   第一のステップで抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の曲線として複数抽出する第二のステップと、
   第二のステップで抽出した複数の曲線の交点を算出する第三のステップと、
   第三のステップで算出した交点と画像中心との位置の差をカメラの姿勢に変換する第四のステップと、を有する
   ことを特徴とするカメラ姿勢取得方法。
2. 請求項１に記載のカメラ姿勢取得方法において、
   第二のステップに代えて、
   第一のステップで抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の直線として複数抽出する第五のステップと、
   第三のステップに代えて、
   第五のステップで抽出した直線の中から、画像中心を中心とする指定した長さの半径の円を通過する直線のみを抽出する第六のステップと、
   第六のステップで抽出した複数の直線の交点を算出する第七のステップと、を有する
   ことを特徴とするカメラ姿勢取得方法。
3. 全方位を一度に撮影もしくは撮像する全方位画像において、撮影時もしくは撮像時のカメラ姿勢を自動的に取得する装置であって、
   全方位画像に投影された物体の輪郭を抽出する第一の手段と、
   第一の手段で抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の曲線として複数抽出する第二の手段と、
   第二の手段で複数抽出した曲線の交点を算出する第三の手段と、
   第三の手段で算出した交点と画像中心との位置の差をカメラの姿勢に変換する第四の手段と、を有する
   ことを特徴とするカメラ姿勢取得装置。
4. 請求項３に記載のカメラ姿勢取得装置において、
   第二の手段に代えて、
   第一の手段で抽出した輪郭の中から、空間中で垂直な輪郭のみを、全方位画像中の直線として複数抽出する第五の手段と、
   第三の手段に代えて、
   第五の手段で抽出した直線の中から、画像中心を中心とする指定した長さの半径の円を通過する直線のみを抽出する第六の手段と、
   第六の手段で抽出した複数の直線の交点を算出する第七の手段と、を有する
   ことを特徴とするカメラ姿勢取得装置。
5. 請求項１または２に記載のカメラ姿勢取得方法におけるステップを、コンピュータに実行させるためのプログラムとした
   ことを特徴とするカメラ姿勢取得プログラム。
6. 請求項１または２に記載のカメラ姿勢取得方法におけるステップを、コンピュータに実行させるためのプログラムとし、
   該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
   ことを特徴とするカメラ姿勢取得プログラムを記録した記録媒体。

Images