JP2004078315A - 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム - Google Patents

Abstract

【課題】センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に精度良く算出することが可能な画像入力装置を提供すること。
【解決手段】本発明の画像入力装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像部１１と、撮像部１１で取得された複数の画像情報のその画像間の対応点を検出する対応検出部２１と、撮像部１１の被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢算出部２６と、姿勢情報と対応点とに基づいて、撮像部１１の移動方向を示す並進成分情報を算出する並進成分算出部２２と、姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正する対応修正部２３と、対応修正部２３で修正された対応点に基づいて、撮像部２１の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢及び並進成分算出部２４とを備えている。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は，画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラムに関し、詳細には、撮像装置を移動させて撮像した際の撮像装置の相対的な位置関係を示す姿勢・並進成分情報や被写体の三次元形状を精度良く算出することが可能な画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラムに関する。
【０００２】
【従来の技術】
近時、電子技術の飛躍的な進歩により、デジタルカメラのコストが安価になったため、デジタルカメラの普及が急速に進んでいる。デジタルカメラは小型で持ち運びが便利であり、また、種々の機器に備え付けることが容易であるため、撮影した画像からデジタルカメラと被写体との位置関係情報を算出し、この位置関係情報を利用するアプリケーションの開発が行われている。
【０００３】
例えば、アプリケーションの例としては、自律移動ロボットの視覚情報の取得や物体認識、車両の自動運転装置、パノラマ画像の作成、三次元形状の計測などが挙げられる。その中でも三次元形状の計測技術の発展は、Ｗｅｂの普及により電子商取引などの広告として商品の三次元情報などが必要になってきていることから期待されている。
【０００４】
デジタルカメラを利用した三次元形状の計測技術として、運動立体視の研究が盛んに行われている。運動立体視はデジタルカメラを移動させながら任意の被写体を撮影し、撮影された画像間の対応付けを行い、被写体の三次元形状を計算するという手順で行われる。
【０００５】
しかるに、デジタルカメラで撮影を行うと画像間の視差が大きくなるため、カメラの相対的な位置関係が未知である運動立体視では画像間の対応点の検出が困難となり、誤対応点を検出してしまうことが問題点として挙げられていた。また、対応点の位置情報だけからカメラの相対的な位置関係を算出することも可能であるが、対応付けの精度に多大な影響を受けやすいため、誤対応点が検出された場合、本来のカメラの相対的な位置関係と全く異なった結果を算出してしまうという問題がある。さらに、三次元形状の計測結果も対応付けの精度に大きな影響を受けるため、誤対応点が検出された場合、本来の被写体と全く異なる三次元形状を計測してしまうという問題がある。
【０００６】
そのため、市販の計測システムでは画像間の対応付けを手入力で行うことが一般的となっており、例えば３Ｄ−ＭＥＤｉＡ社（Ｒ）の『３ＤＭ−Ｍｏｄｅｌｅｒ』（ｈｔｔｐ：／／ｗｗｗ．３ｄｍｅｄｉａ．ｃｏ．ｊｐ／）などが挙げられる。
【０００７】
しかしながら、画像間の手入力作業があると未経験者には扱いにくいものとなり、一般大衆向けの三次元形状計測装置ではないという問題がある。また、誤対応点の検出を防ぐために、画像間の視差が小さくなるように撮影する方法が考えられるが、撮影枚数が必然的に増加するため、撮影者の負担となり実用的ではないという問題がある。
【０００８】
したがって、自動で画像間の対応点を検出し、被写体の三次元形状を精度良く計測する研究が盛んに行われている。この研究の中で、自動で取得した際の対応点の計測誤差に三次元形状の計測結果が大きく左右されないようにする方法として、画像以外に距離、加速度、角速度、及び磁気など画像以外のセンサを併用する研究が行われている。これにより、ユーザの画像間の対応付けの手入力作業を必要とせずに三次元形状を精度良く復元することができる。
【０００９】
例えば、「特開平５−６００４６号公報」では、カメラに角速度センサを取り付け、角速度センサの出力信号よりカメラの姿勢情報を求め、また、角速度センサ出力信号の積分結果よりカメラの相対的な位置関係を求めることにより、前に撮影した被写体の対応点を検出して被写体の追跡を行う技術が開示されている。しかしながら、同公報の技術では、移動量計算時に機械的なセンサ信号を積分する必要があるため、経時的に移動量の誤差成分が蓄積されるという問題がある。
【００１０】
また、「特開平７−１８１０２４号公報」では、撮像手段に角速度センサなどの移動量検出部を設置し、対応点探索結果より被写体の三次元形状復元を行う技術が開示されている。そして、移動量検出部の設置により異なる視点間のカメラの位置情報を求めることにより、高速化及び装置の小型化を可能としている。しかしながら、同公報の技術では、角速度センサからカメラの相対的な位置関係を算出しているので、機械的なセンサ信号を積分する必要があるため経時的に移動量の誤差成分が蓄積されるという問題がある。
【００１１】
また、「特開平８−１５９７６２号公報」では、角速度センサ及び磁気センサからカメラの姿勢情報を検出するとともに、ＧＰＳセンサからカメラの並進成分情報を検出して被写体の対応点精度を向上させる技術が開示されている。しかしながら、同公報の技術では、現在のＧＰＳの精度が低いため、正確なカメラ移動情報の検出することが困難であるという問題がある。
【００１２】
また、「特開平９−８１７９０号公報」では、撮像装置の動きを角速度センサ及び加速度センサにより検出し、異なる視点からの光軸が任意の点で交わるように、光軸方向を補正する手段を設け、三次元復元を高速に行う技術が開示されている。しかしながら、同公報の技術では、センサ情報と被写体とカメラの距離により算出した動きベクトルの推定値と、画像処理により求めた動きベクトルとの比較により被写体の検出を行っているが、被写体とカメラの距離が予め設定されているため、特定の撮影条件下でのみ三次元形状復元が可能であり、また、光軸の向きを変えるための駆動機構が必要なため装置の構造が複雑になるという問題がある。
【００１３】
また、「特開平９−１８７０３８号公報」では、複数の視点位置から物体の一部が重複するように物体を撮影し、レンズ位置信号とカメラ位置信号とに基づき撮像パラメータを求め、該撮像パラメータと各画像データとを用いてシャッターを押すごとに物体の距離分布を求め、さらに、該距離分布より三次元モデルを形成する技術が開示されている。しかしながら、同公報の技術では、カメラの相対的な位置関係は加速度センサまたは振動ジャイロ信号を積分することにより求めているため、センサ信号の積分処理により経時的に移動量の誤差成分が蓄積されるという問題がある。
【００１４】
また、「特開平９−３２２０５５号公報」では、カメラに取り付けた角速度センサ及び加速度センサから撮影時のカメラの相対的な位置関係を算出する技術が開示されている。しかしながら、同公報の技術では、角速度センサ及び加速度センサの情報を画像間の対応付けに利用していないため、画像間の対応付けに誤りがあった場合には対応点の修正を行うことが出来ないという問題がある。
【００１５】
また、本願出願人の「特開平１１−３０６３６３号公報」では、カメラの姿勢情報だけをカメラに取り付けたセンサで検出し、カメラの並進成分情報を少なくとも２枚以上の画像内にある対応点から算出することにより、画像間の対応付けの誤差が三次元形状の計測に及ぼす影響を小さくし、また、「特開平７−１８１０２４号公報」，及び「特開平９−１８７０３８号公報」の問題点として挙げられているセンサ信号の積分処理による経時的な移動量の誤差成分の蓄積に影響されずに、撮像装置の姿勢・並進成分情報の算出を可能としている。
【００１６】
しかしながら、同公報の技術では、画像間の対応付けに誤りがあった場合には対応点の修正を行うことができないという問題がある。また、センサの出力信号の計測誤差を完全に除去できるようなアルゴリズムになっていないため、姿勢・並進成分情報（カメラの相対的な位置関係）を算出する際に使用するセンサ出力信号の計測誤差の影響を受けるという問題がある。
【００１７】
また、本願出願人の「特開平１１−３７７３６号公報」では、「特開平１１−３０６３６３号公報」と同様にセンサの出力信号の積分処理による誤差の蓄積には影響されずに撮像装置の姿勢・並進成分情報を検出し、センサの出力信号から検出された姿勢情報と並進成分情報とから対応点の拘束条件を求めることによって誤対応点を除去する技術が開示されている。しかしながら、同公報の技術では、姿勢・並進成分情報を検出する作業及び誤対応点除去の繰り返し作業においてもセンサの出力信号から検出された姿勢情報を常に使用しているので、センサの出力信号の計測誤差を完全に除去することができないため、撮像装置の姿勢・並進成分情報を高精度に検出することができないという問題がある。
【００１８】
【発明が解決しようとする課題】
本発明は、上記に鑑みてなされたものであり、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報／被写体の三次元形状を自動的に精度良く算出することが可能な画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するために、請求項１にかかる画像入力装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を備えたものである。
【００２０】
上記発明によれば、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、対応検出手段は撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、姿勢検出手段は撮像手段が被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出手段は姿勢情報と対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出し、対応修正手段は姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて対応点を修正し、姿勢・並進成分算出手段は対応修正手段で修正された対応点に基づいて撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００２１】
また、請求項２にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたものである。
【００２２】
上記発明によれば、三次元形状演算手段は、姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する。
【００２３】
また、請求項３にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報に基づいて、前記対応修正手段で修正された対応点の拘束条件を算出し、前記拘束条件の周辺領域を対応点の検出領域として指定する検出領域指定手段と、前記検出領域指定手段で指定された検索領域内で再度、対応点の検出を行う第二検出手段と、前記第二検出手段で検出された対応点が収束したか否かを判断する収束判断手段とを備え、前記姿勢・並進成分算出手段は、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、最終的な前記撮像手段の姿勢・並進成分情報を算出することを特徴とする。
【００２４】
上記発明によれば、検出領域指定手段は、姿勢・並進成分算出手段で算出された姿勢・並進成分情報に基づいて、対応修正手段で修正された対応点の拘束条件を算出し、拘束条件の周辺領域を対応点の検出領域として指定し、第二検出手段は検出領域指定手段で指定された検索領域内で再度、対応点の検出を行い、収束判断手段は第二検出手段で検出された対応点が収束したか否かを判断し、姿勢・並進成分算出手段は、収束判断手段により収束したと判断された場合の第二検出手段で検出された対応点に基づいて、最終的な撮像手段の姿勢・並進成分情報を算出する。
【００２５】
また、請求項４にかかる画像入力装置は、さらに、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする。
【００２６】
上記発明によれば、三次元形状演算手段は、収束判断手段により収束したと判断された場合の第二検出手段で検出された対応点に基づいて、被写体の三次元形状を演算する。
【００２７】
上記課題を解決するために、請求項５にかかる画像入力装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を備えたことを特徴とする。
【００２８】
上記発明によれば、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、対応検出手段は撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、姿勢検出手段は撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出手段は姿勢情報と対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正手段は姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正し、対応点切替手段は対応検出手段で検出した対応点または対応修正手段で修正された対応点のいずれか一方を選択して出力し、姿勢・並進成分算出手段は対応点切替手段から出力される、対応検出手段で検出した対応点または対応修正手段で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００２９】
また、請求項６にかかる画像入力装置は、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする。
【００３０】
上記発明によれば、三次元形状演算手段は姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する。
【００３１】
また、請求項７にかかる画像入力装置によれば、前記対応点切替手段は、使用者の指示に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することを特徴とする。
【００３２】
上記発明によれば、対応点切替手段は、使用者の指示に基づいて、対応検出手段で検出した対応点または対応修正手段で修正された対応点のいずれか一方を出力する。
【００３３】
また、請求項８にかかる画像入力装置によれば、前記対応点切替手段は、前記修正された対応点の修正量に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することを特徴とする。
【００３４】
上記発明によれば、対応点切替手段は、修正された対応点の修正量に基づいて、対応検出手段で検出した対応点または対応修正手段で修正された対応点のいずれか一方を出力する。
【００３５】
上記課題を解決するために、請求項９にかかる画像入力装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、を備えたことを特徴とする。
【００３６】
上記発明によれば、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、対応検出手段は撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、対応点判断手段は撮像手段で取得された画像情報に基づいて、対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に対応点を出力し、姿勢検出手段は撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出手段は姿勢情報と対応点判断手段から入力される対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、対応修正手段は算出した拘束条件に基づいて、対応点を修正すると、対応検出手段で検出した対応点または対応修正手段で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００３７】
また、請求項１０にかかる画像入力装置は、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする。
【００３８】
上記発明によれば、三次元形状演算手段は、姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する。
【００３９】
また、請求項１１にかかる画像入力装置は、前記対応点判断手段は、画像情報の特徴量に基づいて、前記対応検出手段による画像間の対応付けに誤りが多いか否かを判断することを特徴とする。
【００４０】
上記発明によれば、対応点判断手段は、画像情報の特徴量に基づいて、対応検出手段による画像間の対応付けに誤りが多いか否かを判断する。
【００４１】
また、請求項１２にかかる画像入力装置は、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力するセンサ手段と、を有し、前記画像処理装置は、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を有することを特徴とする。
【００４２】
上記発明によれば、撮像装置では、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、センサ手段は被写体を撮像した際の撮像手段の傾きを示すセンサ出力信号を出力し、画像処理装置では、姿勢検出手段はセンサ手段から出力されるセンサ出力信号に基づいて、撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を算出し、並進成分算出手段は、姿勢情報と対応点とに基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正手段は姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正し、姿勢・並進成分算出手段は、対応修正手段で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００４３】
上記課題を解決するために、請求項１３にかかる画像入力装置は、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、センサ手段は前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力し、前記画像処理装置は、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を有することを特徴とする。
【００４４】
上記発明によれば、撮像装置では、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、センサ手段は前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力し、画像処理装置では、対応検出手段は撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、姿勢検出手段はセンサ手段から出力されるセンサ出力信号に基づいて、撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を算出し、並進成分算出手段は姿勢情報と対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正手段は姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて対応点を修正し、対応点切替手段は対応検出手段で検出した対応点または対応修正手段で修正された対応点のいずれか一方を選択して出力し、姿勢・並進成分算出手段は対応点切替手段から出力される、対応検出手段で検出した対応点または対応修正手段で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００４５】
上記課題を解決するために、請求項１４にかかる画像入力装置は、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力するセンサ手段と、を有し、前記画像処理装置は、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、を有することを特徴とする。
【００４６】
上記発明によれば、撮像装置では、撮像手段は少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、センサ手段は被写体を撮像した際の撮像手段の傾きを示すセンサ出力信号を出力し、画像処理装置では、対応検出手段は撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、対応点判断手段は撮像手段で取得された画像情報に基づいて、対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に対応点を出力し、姿勢検出手段はセンサ手段から出力されるセンサ出力信号に基づいて、撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出手段は姿勢情報と対応点判断手段から入力される対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正手段は姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正し、姿勢・並進成分算出手段は対応検出手段で検出した対応点または対応修正手段で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００４７】
上記課題を解決するために、請求項１５にかかる画像入力方法は、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像を取得する撮像工程と、前記撮像工程で取得された複数の画像のその画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を含むことを特徴とする。
【００４８】
上記発明によれば、撮像工程では、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像を取得し、対応検出工程では、撮像工程で取得された複数の画像のその画像間の対応点を検出し、姿勢検出工程では撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出工程では、姿勢情報と対応点とに基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正工程では、姿勢情報と前記並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正し、姿勢・並進成分算出工程では、対応修正工程で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００４９】
上記課題を解決するために、請求項１６にかかる画像入力方法は、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を含むことを特徴とする。
【００５０】
上記発明によれば、撮像工程では、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、対応検出工程では、撮像手段で取得された複数の画像情報のその画像間の対応点を検出し、姿勢検出工程では、撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出工程では、姿勢情報と対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正工程では、姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて対応点を修正し、対応点切替工程では、対応検出工程で検出した対応点または対応修正工程で修正された対応点のいずれか一方を選択して出力し、姿勢・並進成分算出工程では、対応点切替工程で出力される、対応検出工程で検出した対応点または対応修正工程で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００５１】
上記課題を解決するために、請求項１７にかかる画像入力方法は、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、を含むことを特徴とする。
【００５２】
上記発明によれば、撮像工程では、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得し、対応検出工程では、撮像工程で取得された複数の画像情報のその画像間の対応点を検出し、対応点判断工程では、撮像工程で取得された画像情報に基づいて、対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に対応点を出力し、姿勢検出工程では撮像手段の被写体を撮像した際の姿勢を示す姿勢情報を検出し、並進成分算出工程では、姿勢情報と対応点判断工程から入力される対応点に基づいて、撮像手段の移動方向を示す並進成分情報を算出し、対応修正工程では、姿勢情報と並進成分情報とに基づき対応点の拘束条件を算出し、算出した拘束条件に基づいて、対応点を修正し、姿勢・並進成分算出工程では、対応検出工程で検出した対応点または対応修正工程で修正された対応点に基づいて、撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００５３】
上記課題を解決するために、請求項１８にかかるコンピュータが実行するためのプログラムは、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、をコンピュータが実行するためのプログラムであることを特徴とする。
【００５４】
上記発明によれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を実現する。
【００５５】
上記課題を解決するために、請求項１９にかかるコンピュータが実行するためのプログラムは、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、をコンピュータが実行するためのプログラムであることを特徴とする。
【００５６】
上記発明によれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を実現する。
【００５７】
上記課題を解決するために、請求項２０にかかるコンピュータが実行するためのプログラムは、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、をコンピュータで実行するためのプログラムであることを特徴とする。
【００５８】
上記発明によれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、を実現する。
【００５９】
【発明の実施の形態】
以下、図面を参照して、本発明にかかる画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラムを適用した画像入力装置の好適な実施の形態を、（発明の概要）、（実施の形態１）〜（実施の形態６）の順に詳細に説明する。
【００６０】
（発明の概要）
本願出願人の研究により、画像間の対応付けの誤りが検出される場合には、センサ信号を利用して姿勢情報を検出し姿勢・並進成分情報を算出する方が、センサ信号を使用せずに画像間の対応点から姿勢・並進成分情報を算出するよりも精度良く算出することが可能である。他方、画像間の対応付けの誤りがなく検出できる場合には、画像取得時のＡＤ（アナログ−デジタル）変換などによる誤差を考慮しても、現存するセンサの計測精度ではセンサ信号を使用せずに画像間の対応点から姿勢・並進成分情報を算出した方が精度良く算出できることが実験によって確かめられた。
【００６１】
本発明は、上記実験結果に鑑み、センサ信号の計測誤差の影響を除去して姿勢・並進成分情報を高精度に算出するために、画像間の対応付けの誤りが検出される場合であっても、センサ信号を利用して画像間の対応点の誤りを除去して画像間の対応付けの誤りがない状態を実現し、次に、センサ信号を使用せずに画像間の対応点のみから姿勢・並進成分情報を算出する。
【００６２】
（実施の形態１）
実施の形態１にかかる画像入力装置を図１〜図１６を参照して説明する。
【００６３】
［画像入力装置の構成］
図１は、実施の形態１にかかる画像入力装置の外観構成を示す図である。画像入力装置は、図１に示す如く、少なくとも２箇所以上の視点から同一被写体を撮像し、撮像した複数の画像情報等を画像処理装置２０に転送する撮像装置１０と、撮像装置１０から入力される複数の画像情報等に基づいて、撮像装置１０の撮像部の姿勢・並進成分情報等を算出する画像処理装置２０とで構成されている。
【００６４】
撮像装置１０は、移動可能に設けられており、利用者は当該撮像装置１０を移動させて複数の視点で同一被写体を撮像する。同図に示す例は、撮像装置１０を移動させて３つの視点（視点Ａ、視点Ｂ、視点Ｃ）で被写体を撮像する場合を示している。画像処理装置２０は、ＰＣ（パーソナルコンピュータ）やサーバ等で構成される。
【００６５】
図２は、図１の画像入力装置の詳細な構成例を示す図である。撮像装置１０は、撮像部１１と、姿勢検出部１２と、第一記録部１３と、画像及びセンサ情報転送部１４とで構成されている。また、画像処理装置２０は、対応検出部２１と、並進成分算出部２２と、対応修正部２３と、姿勢及び並進成分算出部２４と、三次元形状演算部２５と、姿勢算出部２６と、第二記録部２７とで構成されている。
【００６６】
撮像部１１は、レンズ、ＣＣＤ等の画像センサ、及びサンプル・ホールド回路等により構成されており、被写体を撮像して電気信号に変換して画像情報を取得する。撮像装置１０の姿勢・並進成分情報や被写体の３次元形状を算出する場合には、撮像部１１は、少なくとも２箇所以上の視点で被写体を撮像し、複数の画像情報を取得する。
【００６７】
姿勢検出部１２は、三軸加速度センサ（加速度センサＸ軸、加速度センサＹ軸、加速度センサＺ軸）、三軸磁気センサ（磁気センサＸ軸、磁気センサＹ軸、磁気センサＺ軸）を備えており、撮像部１１の撮影時の三軸加速度センサ及び三軸磁気センサの出力値をセンサ出力信号として出力する。なお、三軸磁気センサの代わりに角速度センサを使用したり、磁気センサと角速度センサを併用するなどの構成にしても良い。また、姿勢検出部１２は、水平センサを使用するなど撮像装置１０の姿勢情報を検出できるものであれば、如何なるセンサを使用することにしても良い。
【００６８】
第一記録部１３は、撮像部１１で取得された画像情報及び姿勢検出部１２で検出されたセンサ出力信号を記録する。第一記録部１３としては、例えば、半導体メモリや磁気テープなどを使用することができる。
【００６９】
画像及びセンサ情報転送部１４は、第一記録部１３に記録されている画像情報を対応検出部２１に転送するとともに、第一記録部１３に記録されているセンサ出力信号を姿勢算出部２６に転送する。
【００７０】
対応検出部２１は、画像及びセンサ情報転送部１４から転送される画像情報に（少なくとも２箇所以上の視点から被写体を撮像した複数の画像情報）基づき、画像間の特徴点の対応付けをした対応点の位置情報を、並進成分算出部２２及び対応修正部２３に出力する。なお、ここでは、対応検出部２１での対応付けの際には、撮像部１１で得られた画像情報を使用することとしたが、撮像部１１で得られた画像情報に限らず、ＰＣやサーバなどに保存されているデータなどを利用しても良い。
【００７１】
姿勢検出部１２は、画像及びセンサ情報転送部１４から転送されるセンサ出力信号に基づいて、撮像部１１の撮影時の姿勢を示す姿勢情報を検出し、検出した姿勢情報を並進成分算出部２２及び対応修正手段２３に出力する。
【００７２】
並進成分算出部２２は、姿勢算出部２６から出力される姿勢情報と対応検出部２１から出力される対応点の位置情報とに基づいて、撮像部１１の移動方向を示す並進成分情報を算出し、算出した並進成分情報を対応修正手段部２３に出力する。
【００７３】
対応修正部２３は、姿勢検出部１２から出力される姿勢情報と、並進成分算出部２２から出力される並進成分情報とに基づいて、対応検出部２１から出力される対応点の位置情報の拘束条件を算出し、算出した拘束条件に基づいて対応点の位置情報を修正し、修正した対応点の位置情報を姿勢・並進成分算出部２４に出力する。
【００７４】
姿勢及び並進成分算出部２４は、対応修正部２３から出力される修正された対応点の位置情報に基づいて、撮像部１１の相対的な位置関係を示す姿勢・並進成分情報を算出する。
【００７５】
三次元形状算出部２５は、対応修正部２３で算出された修正された対応点と、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報に基づいて、被写体の三次元形状を算出する。第二記録部２７は、ＨＤＤ、磁気テープ、ＤＶＤ−ＲＷなどで構成され、画像情報、姿勢情報、並進成分情報、姿勢・並進成分情報、拘束条件、対応点、被写体の三次元形状等を記録する。
【００７６】
［姿勢算出部２６の姿勢情報の検出］
姿勢検出部１２及び姿勢算出部２６による撮像部１１の姿勢情報の検出方法の一例を図３及び図４を参照して説明する。三軸加速度センサと三軸磁気センサを用いて、撮像部の姿勢を検出する方法は、本出願人が出願した「特開平１１−３０６３６３号公報」の段落［００１５］〜［００２５］、［００３６］〜［００４２］に詳細に記載されている。
【００７７】
姿勢算出部２６では、ワールド座標系（ＸＹＺ座標）の向きと、撮影したときの撮像部１１に固有な装置座標系（ｘｙｚ座標）の向きとを比較することによって撮像部１１の姿勢情報を検出する。
【００７８】
ここで、装置座標系（ｘｙｚ座標系）とワールド座標系（ＸＹＺ座標系）を説明する。図３は、装置座標系（ｘｙｚ座標系）を説明するための説明図を示している。装置座標系（ｘｙｚ座標系）を以下のように定義する。
ｘ軸　：画像面右向きを正
ｙ軸　：画像面下向きを正
ｚ軸　：光軸方向；対象に向かう向きを正
原点ｏ：撮像手段１１の光学中心
ｆ　　：カメラの焦点距離
ｐ　　：撮影手段１１の光学中心から対応点までのベクトル成分
【００７９】
図４は、ワールド座標系（ＸＹＺ座標系）を説明するための説明図を示している。ワールド座標系（ＸＹＺ座標系）を以下のように定義する。
Ｙ軸：重力加速度の向きを正
Ｚ軸：磁気の向きを正
Ｘ軸：ＸＹＺの順に右手直交系をなす向き
【００８０】
説明の簡単のために、撮像部１１の移動による生じる運動加速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定する（厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、三軸で地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である）。すなわち、Ｘ軸を東向き、Ｚ軸を北向き正にとる。ワールド座標系に対する装置座標系の向きを、ワールド座標系を基準とした下式（１）の回転行列Ｒで記述する。
【００８１】
【数１】

【００８２】
但し、α、β、γはそれぞれワールド座標系を基準とした、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角であり、この時、撮像部１１を、以下の順に回転させたことに相当する。
【００８３】
ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、
（１）　撮像手段１１を、Ｚ軸回りにγだけ回転する。
（２）　撮像手段１１を、Ｘ軸回りにαだけ回転する。
（３）　撮像手段１１を、Ｙ軸回りにβだけ回転する。
【００８４】
今、重力加速度ベクトルｇと地磁気ベクトルＭを、ワールド座標系においてそれぞれ下式（２）とする。
【００８５】
【数２】

【００８６】
また、三軸加速度センサ、三軸磁気センサにより検出された、装置座標系を基準とした加速度ベクトルａ、地磁気ベクトルｍをそれぞれ下式（３）とする。
【００８７】
【数３】

【００８８】
重力加速度ベクトルｇと加速度ベクトルａ、地磁気ベクトルＭと地磁気ベクトルｍの関係は、回転行列Ｒを用いて下式（４）（５）で記述される。
【００８９】
【数４】

【００９０】
上記式（４）より、Ｘ軸回りの回転角αとＺ軸回りの回転角γを下式（６）、（７）の如く表すことができる。
【００９１】
【数５】

【００９２】
また、Ｚ軸回りの回転角γが既知である場合、上記式（５）により、地磁気ベクトルｍからＸ軸回りの回転角αとＹ軸回りの回転角βを下記式（８）、（９）の如く表すことができる。
【００９３】
【数６】

【００９４】
但し、加速度ベクトルａで求めたＸ軸回りの回転角αを利用する場合は、上記式（８）の計算は不要である。以上の計算により、α、β、γ及び回転行列Ｒを、三軸加速度センサと三軸磁気センサの出力から検出することができる。
【００９５】
［対応検出部２１の画像間の対応点の検出］
対応検出部２１における画像間の対応点検出方法の一例を図５を参照して説明する。ここでは、２箇所の視点から撮影された画像Ａと画像Ｂ間の対応点検出方法を説明する。図５は、２箇所の視点から撮影された画像Ａと画像Ｂ間の対応点検出方法を説明するための説明図である。対応点の検出方法は、本出願人が出願した「特開平１１−３０６３６３号公報」の段落［００４３］〜［００４５］に詳細に記述されている。
【００９６】
図５において、まず、画像Ａ内にある画像情報から特徴量の抽出を行って特徴点を検出する。画像情報から特徴量の抽出及び特徴点を検出する方法は、従来から多数の研究報告があり、例えば、三次元ビジョン「（著者）徐剛、辻三郎（出版社）共立出版」の３章：特徴抽出など多くの文献に記述されている。
【００９７】
次に、画像Ａから抽出した特徴量に基づいて、画像Ａの特徴点に対応する対応点を画像Ｂから検出する。ここでは、対応点検出方法の一例として、相互相関によるブロックマッチングにより対応点を検出する手法を示す。画像Ａにおけるｉ番目の特徴点（ｘ_ｉ０，ｙ_ｉ０）と、画像Ｂにおける点（ｘ_ｉ０＋ｄｘ，ｙ_ｉ０＋ｄｙ）の対応付けを、図５に示すような（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いたブロックマッチングで行う場合の相互相関値Ｓｉは、下式（１０）で算出することができる。ここで、Ｎ、Ｐは相関窓の大きさを表す任意に定めた定数である。
【００９８】
【数７】

【００９９】
上記式（１０）により、各特徴点に対して相互相関値Ｓｉを最大にする対応点を順次検出することによって、画像Ａと画像Ｂ間の対応点を検出する。
【０１００】
［並進成分算出部２２の並進成分情報の算出］
並進成分算出部２２における並進成分情報の算出方法の一例を図６を参照して説明する。図６は、並進成分算出部２２における並進成分算出方法の一例を説明するための説明図である。並進成分算出方法は、本出願人が出願した「特開平１１−３０６３６３号公報」の段落［００２６］〜［００３５］に詳細に記述されている。
【０１０１】
並進成分算出部２２は、姿勢算出部２６で得られる姿勢情報と対応検出部２１で得られる対応点とに基づいて、並進成分情報を算出する。並進成分情報の算出方法の一例として、図６に示すように、視点Ａで撮影された画像Ａと視点Ｂで撮影された画像Ｂの並進成分情報ｂを算出する方法を説明する。
【０１０２】
図６において、画像内にある点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）と（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）は、それぞれ画像Ａと画像Ｂに被写体の特徴点Ｏｂｊｅｃｔ_ｉを投影した点を示す。ｉは被写体の対応点を識別するための番号を表す。画像Ａから画像Ｂまでの姿勢情報の変化を姿勢情報Ｒで表す。また、ｐ_Ａ，ｉは画像Ａ内にある対応点と視点Ａでの光学中心を結ぶベクトル、ｐ_Ｂ，ｉは画像Ｂ内にある対応点と視点Ｂでの光学中心を結ぶベクトルを表す。
【０１０３】
また、ｐ_Ａ，ｉとｐ_Ｂ，ｉは、それぞれ（ｘ，ｙ，ｚ）座標系と（ｘ’，ｙ’，ｚ’）座標系とで異なるため、ｐ_Ｂ，ｉに姿勢情報Ｒを掛けて（Ｒｐ_Ｂ，ｉ）として、（ｘ，ｙ，ｚ）座標系でのｐ_Ｂ，ｉの向きを記述する。ここで、ｐ_Ａ，ｉとＲｐ_Ｂ，ｉとｂのベクトルは、被写体の特徴点Ｏｂｊｅｃｔ_ｊと視点Ａでの光学中心と視点Ｂでの光学中心を結んだ面上に存在する。したがって、ｐ_Ａ，ｉとＲｐ_Ｂ，ｉとｂが作るスカラ３重積（立体の体積を表す）は「０」となるため、下式（１１）が成り立つ。
【０１０４】
【数８】

【０１０５】
求める並進成分情報ｂは、ベクトルの向きを表すため変数が２つとなる。したがって、被写体の特徴点Ｏｂｊｅｃｔ_ｉに対応する対応点を２組以上検出し、対応点の位置情報を上記式（１１）に代入し、連立方程式を解くことによって並進成分情報ｂを算出することができる。対応点が２組以上検出される場合には、相互相関値Ｓｉが高いものだけを使用して算出しても良いし、また、画像ノイズによる誤差を考慮して上記式（１１）のスカラ３重積を最小化する並進成分情報ｂを求めても良いし、また、多数の並進成分情報を求めて並進成分情報群を投票空間に投影して最適な並進成分情報ｂを求めても良い。並進成分情報の算出に関しては、「３次元向きセンサを取り付けたカメラを用いた投票によるカメラの並進運動の推定（（著者）岡谷　貴之、出口　光一郎、（論文誌名）ヒューマンインタフェース　コンピュータビジョンとイメージメディア２００１、９、１３）に詳細に記載されている。
【０１０６】
［対応修正部２３の対応点の修正］
対応修正部２３における対応点の修正方法の一例を図７〜図１１を参照して説明する。まず、対応修正部２３は、姿勢算出部２６から得られる姿勢情報Ｒと並進成分算出部２２から得られる並進成分情報ｂを上記式（１１）に代入して、下式（１２）を導出する。
【０１０７】
【数９】

【０１０８】
画像Ａ内にある特徴点を任意に選択した点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）と、撮像部１１の焦点距離Ｚ_Ａ（光学中心から撮像面と光軸との接点までの距離）を上記式（１２）に代入すると、画像Ｂ内にある対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）を変数とする直線の方程式（拘束条件式）である下式（１３）に変換される（図７参照）。上記式（１１）では、変数は並進成分情報ｂであったが、上記式（１２）では、変数は対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）となっている。Ｚ_Ｂは撮像部１１の焦点距離であるので定数となる。
【０１０９】
【数１０】

【０１１０】
したがって、画像Ａ内にある特徴点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）と対応する画像Ｂ内にある対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）は、上記式（１３）で表される直線上に拘束されるため、対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）が直線上に存在するか否かを判断し、直線上に存在しない場合は対応検出部２１によって誤って検出された画像間の対応点と判断して誤った対応点を除去する。図７は、対応点の除去を説明するための説明図である。同図に示す例では、拘束条件式（１３）の直線上に存在しない画像Ｂ内の対応点ｅが誤って検出された対応点として除去される。
【０１１１】
なお、理論的には、画像間の対応点は拘束条件式（１３）で表される直線上に拘束されるが、市販されている撮像装置を利用する場合には、撮影された画像から対応点の位置の検出する際にＡＤ（アナログ−デジタル）変換や撮像装置内部の光学的な計測誤差などによる若干の誤差が含まれるため、対応点が誤りなく検出された場合でも、直線上に拘束されない場合がある。したがって、対応修正部２３で使用する上記拘束条件式（１３）の拘束条件を緩めて、直線上だけではなく直線周辺の領域にある対応点も誤りではないと判断することにしても良い。図８は、拘束条件を緩めた場合を説明するための説明図である。同図に示す例では、拘束条件を直線上だけではなく直線周辺の領域に拡大した場合を示している。
【０１１２】
また、上記拘束条件式（１３）の拘束条件である直線周辺の領域は、撮像装置の特徴や被写体の形状に応じて変化させても良い。撮像装置の光学的な計測誤差を考慮したときの一例を以下に示す。図９は、撮像装置の光学的な計測誤差を説明するための説明図である。一般的に撮像装置は透視投影によって現実世界の視覚情報をＣＣＤなどの撮像面に投影しているため、レンズによる画像の歪みが生じる。したがって、画像内の光軸中心よりも端に撮影された領域の方が計測誤差は大きくなることが予測される。このため、前記計測誤差を考慮して誤対応点の除去作業に使用する直線周辺の領域は画像の端になるほど広く指定することにしても良い。図１０は、誤対応点の除去作業に使用する直線周辺の領域を画像の端になるほど広く指定した場合を説明するための説明図である。
【０１１３】
また、画像間の対応点が直線周辺の領域内であっても、対応点と拘束条件である直線との距離が離れている場合には、再度対応点の探索を行って直線により近い対応点を取り直しても良い。対応修正部２３によって誤対応点を除去した結果、画像間の対応点が減少し過ぎた場合には、上記拘束条件式（１３）の拘束条件である直線の周辺領域で画像間の対応点の探索を再度行っても良い。
【０１１４】
ここでは、２枚の画像間の対応点の修正方法について説明したが、３枚以上の画像間の拘束条件を用いて画像間の対応付けの誤りを除去しても良い。視点Ａで撮影された画像Ａと視点Ｂで撮影された画像Ｂと視点Ｃで撮影された画像Ｃの３枚がある場合の画像間の対応点の修正方法について説明する。図１１は、３枚の画像がある場合の画像間の対応修正方法を説明するための説明図である。
【０１１５】
図１１（ａ）に示すように、画像Ａ内にある特徴点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）に対応する画像Ｂ内にある対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）及び画像Ｃ内にある対応点（ｘ_Ｃ，ｉ，ｙ_Ｃ，ｉ）は直線上に拘束される。また、図１１（ｂ）に示すように、画像Ｂ内にある対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）により対応する画像Ａ内にある特徴点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）及び画像Ｃ内にある対応点（ｘ_Ｃ，ｉ，ｙ_Ｃ，ｉ）は直線上に拘束される。
【０１１６】
したがって、画像Ｃ内にある対応点（ｘ_Ｃ，ｉ，ｙ_Ｃ，ｉ）は、画像Ａの特徴点（ｘ_Ａ，ｉ，ｙ_Ａ，ｉ）と画像Ｂの対応点（ｘ_Ｂ，ｉ，ｙ_Ｂ，ｉ）の拘束条件から直線と直線の結ぶ交点で拘束される。これより、画像間の対応点の誤りを一段と正確に除去することができる。また、画像間の拘束条件は各画像とも並列の関係にあるので、画像Ｃと画像Ｂから得られる拘束条件を使用して、画像Ａ内にある対応点の誤りを除去することも可能である。
【０１１７】
［姿勢及び並進成分算出部２４の姿勢・並進成分情報の算出］
姿勢及び並進成分算出部２４における姿勢・並進成分情報の算出方法の一例について詳細に説明する。姿勢及び並進成分算出部２４は、姿勢算出部２６から出力される並進成分情報を利用しないで、対応修正部２３から出力される修正された対応点の位置情報のみに基づいて、撮像部１１の姿勢・並進成分情報を算出する。
【０１１８】
姿勢・並進成分情報の算出方法の一例としては、上記式（１２）に画像間の対応点を８点以上代入することによって連立方程式を解き、姿勢・並進成分情報Ｅを算出する方法や非線形方程式の反復演算、因子分解法などを用いることができる。対応修正部２３から得られた特徴点と視点Ａでの光学中心を結ぶベクトルｐ_Ａ，ｉと対応点と視点Ｂでの光学中心を結ぶベクトルｐ_Ｂ，ｉを上記式（１１）に代入して、下式（１４）を導出する。
【０１１９】
【数１１】

【０１２０】
ここで、姿勢・並進成分情報を表すＥは、ｂ×Ｒと同様である。また、上記式（１１）では、変数は並進成分情報ｂであったが、上記式（１４）では姿勢・並進成分情報Ｅとなっている。
【０１２１】
求める姿勢・並進成分情報Ｅは３行３列の行列として記述されるが、並進成分情報のスケールを任意に定めた値として算出することにより、姿勢・並進成分情報Ｅの変数は８つとなる。したがって、対応点修正部２３から得られた対応点を８組以上取得し、対応点の位置情報を上記式（１４）に代入し、連立方程式を解くことによって姿勢・並進成分情報Ｅを算出することができる。対応点が８組以上検出される場合には、対応修正部２３で得られた対応点に対して再度相互相関値Ｓｉを求め、相互相関値Ｓｉが高くなる対応点だけを使用して算出しても良いし、画像ノイズによる誤差を考慮して上記式（１４）のスカラ３重積を最小化する姿勢・並進成分情報Ｅを求めても良い。
【０１２２】
このような対応点の位置情報から姿勢・並進成分情報を検出する方法は、以前から研究されており、例えば三次元ビジョンの６章：カメラの校正［（著者）徐剛、辻　三郎（出版社）共立出版］や画像理解の４章：三次元剛体運動の画像解析［（著者）金谷　健一（出版社）司巧社］など多くの文献に記述されている。
【０１２３】
これにより、センサ出力信号の計測誤差に影響せず、画像間の対応の誤りが除去された対応点から撮像部１１の姿勢・並進成分情報を算出することが可能である。
【０１２４】
なお、一台の画像入力装置における姿勢・並進成分情報を算出する場合だけに限らず、複数台の画像入力装置を使用した場合においても、上記姿勢・並進成分情報の算出方法と同様な方法で画像入力装置間の姿勢・並進成分情報を算出することが可能である。
【０１２５】
［三次元形状演算部２５の被写体の三次元形状の演算］
三次元形状演算部２５における三次元形状演算方法の一例について詳細に説明する。三次元形状演算部２５は、対応修正部２３で算出された修正された対応点と、姿勢・並進成分算出部２４で算出された姿勢・並進成分情報に基づいて、三角測量の原理で被写体の三次元形状を演算する。
【０１２６】
被写体の三次元形状の演算方法としては、被写体の対応点と姿勢・並進成分情報を使用して三角測量の原理により算出する方法以外にも、画像間の対応点情報から検出した被写体の輪郭形状と姿勢・並進成分情報を使用して算出する方法、因子分解法を利用した算出方法や、及び画像間の対応点情報からオプティカルフローを求めて算出する方法等を使用することができる。
【０１２７】
例えば、因子分解法に関しては、「電子情報通信学会論文誌Ｄ−ＩＩ　ｖｏｌ．Ｊ７６−Ｄ−ＩＩ　Ｎｏ８　ｐｐ１４９７〜１５０５：１９９３年８月　『因子分解法による物体形状とカメラ運動の復元』」に詳細に記載されている。
【０１２８】
［全体の処理フロー］
図１２及び図１３を参照して、図２の画像入力装置の姿勢・並進成分情報及び被写体の三次元形状の算出方法を説明する。図１２は、図２の画像入力装置の姿勢・並進成分情報及び被写体の三次元形状の算出方法を説明するためのフローチャートである。図１３は、対応点の検出方法を説明するための説明図である。
【０１２９】
図１２において、まず、撮像部１１は、２箇所の視点で被写体を撮影して２枚の画像情報を取得して第一記録部（メモリ）１３に記録する（ステップＳ１）。姿勢検出部１２は、撮像部１１で被写体が２箇所の視点で撮影されたときの撮像部１１の傾きを表すセンサ出力信号を第一記録部（メモリ）１３に記録する（ステップＳ２）。画像及びセンサ情報転送部１４は、第一記録部（メモリ）１３に記録された画像情報及びセンサ出力信号を対応点検出部２１及び姿勢算出部２６に夫々出力する（ステップＳ３）。
【０１３０】
対応検出部２１は、まず、１枚目の画像情報から特徴点を検出する（ステップＳ４）。具体的には、図１３に示すように、画像情報を構成する各画素を中心位置にして、特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。そして、画像情報を領域分割し、分割した領域内で特徴量抽出ブロックの輝度値分布の差が顕著であるブロックを検出する。最後に、検出したブロックの中心位置にある画像位置情報と輝度値分布情報をメモリに記録する。なお、ここでは、輝度値分布を検出することにしたが、輝度値分布情報の代わりにＲＧＢ値分布情報を使用しても良い。
【０１３１】
つぎに、対応検出部２１は、２枚目の画像情報から各特徴点に対応する対応点を検出する（ステップＳ５）。具体的には、図１３に示すように、１枚目と同様に、２枚目の画像情報について、特徴量抽出ブロックを作成し、ブロック内の輝度値分布を検出する。そして、１枚目の特徴量抽出ブロックの輝度値分布情報と２枚目の特徴量抽出ブロックの輝度値分布情報とのマッチングを行い、各特徴点に対して、最も近い特徴量抽出ブロックの中心位置にある画像位置情報を対応点の位置情報としてメモリに記録する。なお、特徴点の特徴量抽出ブロックの輝度値分布情報に近い特徴量抽出ブロックが存在しない場合には、記録した特徴点の画像位置情報と輝度値分布情報をメモリから消去する。
【０１３２】
そして、対応検出部２１は、ステップＳ５で検出した対応点の正否を判断する（ステップＳ６）。具体的には、各特徴点の画像位置情報から縦横５ピクセル離れた点を中心とした特徴量抽出ブロックを作成する。つぎに、特徴点に対応する対応点の画像位置情報から縦横５ピクセル離れた点を中心とした特徴量抽出ブロックを作成する。１枚目と２枚目の特徴量抽出ブロックを比較して、輝度値分布情報の差が閾値Ｘよりも大きい場合には、対応点は間違って検出されたものとして、特徴点及び対応点情報をメモリから消去する。なお、輝度値分布情報の差の大きさにより対応点の順位付けをしてメモリに記録しても良い。
【０１３３】
姿勢算出部２６は、姿勢検出部１２のセンサ出力信号から撮像部１２の姿勢情報を検出する（ステップＳ７）。具体的には、三軸加速度センサのセンサ出力信号から得られる電圧値の大きさを読み取り、三軸方向の加速度ベクトルの大きさを比較し、重力方向に対する撮像部１１の傾きを検出する。また、三軸磁気センサのセンサ出力信号から得られる電圧値の大きさを読み取り、三軸方向の磁気ベクトルの大きさを比較し、地磁気方向に対する撮像部１１の傾きを検出する。そして、加速度センサから検出される重力方向に対する傾きと、磁気センサから検出される地磁気方向に対する傾きを合成して撮像部１１の姿勢情報を算出する。
【０１３４】
並進成分算出部２２は、ステップＳ４〜ステップＳ６で検出された対応点の位置情報と、ステップ７で検出された姿勢情報とに基づいて、撮像部１１の並進成分情報を算出する（ステップＳ８）。具体的には、まず、上記式（１１）に、姿勢情報と対応点の位置情報を代入して連立方程式を立てる。一般に、三次元空間の中で、剛体の移動を表すベクトルの変数は３個であるが、デジタルカメラを想定した透視投影による撮影であるため、画像座標系にある画像情報からワールド座標系にある被写体のスケールは一義的に決定されない。したがって、並進成分情報はベクトルの向きを表し、変数の数は２個となる。対応点が多数検出される場合には、並進成分情報の変数の数よりも多く連立方程式が成り立つ。そこで、最小二乗法によって多数の連立方程式で誤差がもっとも小さい解を算出し、並進成分情報としてメモリに記録する。
【０１３５】
対応修正部２３は、上記式（１２）にステップＳ７，Ｓ８で得られた姿勢情報と並進成分情報とステップＳ４で検出された特徴点の位置座標を代入し、各特徴点に対する対応点の拘束条件である上記拘束条件式（１３）を算出する（ステップＳ９）。
【０１３６】
対応修正部２３は、ステップ９で算出した対応点の上記拘束条件式（１３）から対応点の除去作業を行う（ステップＳ１０）。具体的には、２枚目の画像情報に各対応点の拘束条件式（１３）を投影する。そして、対応点と上記拘束条件式（１３）である直線との距離を算出する。算出された対応点と直線との距離が任意の閾値Ｘ以上であれば、対応点の取り間違えたと判定し、特徴点と対応点に誤対応点マーク情報を付加する。この誤対応点マーク情報が付加された対応点を除去する。なお、画像間の対応付け結果を表示し、画像間の対応点に誤りが多い場合にはユーザに音声表示や画面表示などで通知することにしても良い。
【０１３７】
ステップＳ１１では、対応修正部２３は、誤対応点マーク情報の付加された特徴点の対応付けを再度行う。具体的には、拘束条件式（１３）の周辺領域を対応点の検出領域として指定する。指定された領域内でステップＳ５、Ｓ６の対応付け作業を再度行い、対応点を検出する。
【０１３８】
姿勢及び並進成分算出部２４は、式（１２）にステップＳ１０、Ｓ１１で得られた対応点を代入し、姿勢・並進成分情報Ｅを算出する（ステップＳ１２）。ここでは、対応点の数に比例して連立方程式の数が多くなるが、ステップＳ８と同様に、最小二乗法により、姿勢・並進成分情報Ｅを算出する。
【０１３９】
三次元形状演算部２５は、対応修正部２３で修正された対応点と姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報を使用して三角測量の原理により対応点の三次元位置座標（三次元形状）を算出する（ステップＳ１３）。
【０１４０】
つづいて、三次元形状演算部２５は、ステップ１２で演算された被写体の三次元形状をメモリに記録する（ステップＳ１４）。
【０１４１】
［撮像装置のハードウエア構成］
図１４は、図２の撮像装置１０の詳細なハードウェア構成例を示す図である。図２の撮像部１１は、固定レンズ１０１、ズームレンズ１０２、絞り機構１０３、シャッタ１０４、フォーカスレンズ１０５、ＣＣＤ１０６、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路１０７、Ａ／Ｄ変換器１０８、ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）１０９、ＩＰＰ（Ｉｍａｇｅ　Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）１１０、画像バッファメモリ１１１、ＭＰＵ１１２、入力指示スイッチ１１３、電源スイッチ１１４、ＭＰＵ１１２で構成される。図２の姿勢検出部１２は、三軸加速度センサ１１５と三軸磁気センサ１１６と、第二Ａ／Ｄ変換器１１７、ＭＰＵ１１２で構成される。図２の画像及びセンサ情報転送部１４は、外部通信機器１１８、ＭＰＵ１１２で構成される。上記ＭＰＵ１１２は、撮像装置１０内の各部の動作を制御する。
【０１４２】
撮像部１１の被写体の撮像動作を説明する。撮像部１１では、入力指示スイッチ１１３により、画像撮影開始が指示されると、被写体の像が、固定レンズ１０１、ズームレンズ１０２、絞り機構１０３、フォーカスレンズ１０５を通して、シャッタ１０４により露光時間が制御され、ＣＣＤ１０６上に結像される。ＣＣＤ１０６では被写体の像が画像信号（電気信号）に変換され、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路１０７でサンプリングされた後、Ａ／Ｄ変換器１０８でデジタル信号に変換されて画像情報としてＩＰＰ１１０に出力される。ＣＣＤ１０６，ＣＤＳ回路１０８，Ａ／Ｄ変換器１０８のタイミング信号は、ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）１０９で生成される。
【０１４３】
この後、画像情報はＩＰＰ（Ｉｍａｇｅ　Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）１１０でアパーチャ補正などの画像処理が行われ、一時的に画像バッファメモリ１１１に保存される。一時的に保存された画像情報は、ＭＰＵ１１２内にある第一記憶部１３に転送されて保存される。
【０１４４】
また、入力指示スイッチ１１３により画像撮影開始が指示されると、三軸加速度センサ１１５及び三軸磁気センサ１１６からのセンサ出力信号の検出が行われ、三軸加速度センサ１１５及び三軸磁気センサ１１６から出力されるセンサ出力信号は、第二Ａ／Ｄ変換器１１７でＡ／Ｄ変換された後、撮影された画像情報に対応させて第一記憶部１３に保存される。
【０１４５】
第一記憶部１３に保存された画像情報及びセンサ出力信号は、外部通信機器１１８を通じて画像処理装置２０に転送される。外部通信機器１１８としては、ＰＣ用の汎用インターフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ１３９４、ネットワークアダプタ、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈなどを用いることができる。
【０１４６】
［画像処理装置のハードウエア構成］
図１５は、図２の画像処理装置２０の詳細なハードウェア構成例を示す図である。同図に示すように、画像処理装置２０は、各種の制御及び処理を行うＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）２０１と、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ　ｄｙｎａｍｉｃ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）２０２と、ＨＤＤ（ｈａｒｄ　ｄｉｓｋ　ｄｒｉｖｅ）２０３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力インターフェース（以下Ｉ／Ｆと略す）２０４と、表示Ｉ／Ｆ２０６を介して接続されるＣＲＴ（ｃａｔｈｏｄｅ　ｒａｙ　ｔｕｂｅ）等のディスプレイ２０９と、ＣＤ−ＲＷ（ｃｏｍｐａｃｔ　ｄｉｓｋ　ｒｅｗｒｉｔａｂｌｅ）ドライブ等の記録装置２０７と、撮像装置１０やプリンタ等の外部機器、インターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ２０８とで構成されている。各部はバスを介して互いに接続されている。
【０１４７】
ＳＤＲＡＭ２０２は、ＣＰＵ２０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムや、その他の制御プログラムなどの固定情報の記録領域として利用される。処理プログラムは、例えば、記録装置２０７を介してＳＤＲＡＭ２０２にロードされ、又はＨＤＤ２０３に一旦保存された後に必要なときにＳＤＲＡＭ２０２にロードされ、又は外部Ｉ／Ｆ２０８に接続された電気通信回線を介してＳＤＲＡＭ２０２にロードされる。処理の対象となる画像情報やセンサ出力信号は、記録装置２０７又は外部Ｉ／Ｆ２０８に接続される撮像装置１０を介して入力される。
【０１４８】
ＣＰＵ２０１は、ＳＤＲＡＭ２０２に格納される処理プログラムを実行することにより、図２の画像処理装置２０の各部の機能を実現する。
【０１４９】
［画像入力装置の他の構成例］
図２で示した画像入力装置は、撮像装置１０と画像処理装置２０とが分離した構成になっているが、撮像装置１０と画像処理装置２０とを一体化させた構成としても良い。図１６は、撮像装置と画像処理装置とを一体化させた画像入力装置の構成を示す図である。
【０１５０】
図１６において、画像入力装置は、撮像部１１、姿勢検出部１２、対応検出部２１、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、第二記録部２７、姿勢算出部２６から構成されている。かかる構成の画像入力装置では、撮像部１１は取り込んだ被写体の画像情報を対応検出部２１に出力する。また、姿勢検出部１２はセンサ出力信号を姿勢算出部２６に出力する。図１６に示す画像入力装置では、撮像装置１０と画像処理装置２０の機能を一体化させることによって、画像及びセンサ情報転送部（図２参照）が不要となる。
【０１５１】
以上説明したように、実施の形態１によれば、少なくとも２箇所以上の視点から撮影された画像情報内にある被写体の特徴点同士の対応を検出する際に生じる誤りを、センサ出力信号から検出された姿勢情報を利用して対応点の拘束条件を求めて誤対応点を除去し、残った対応点だけを利用して撮像部１１の姿勢・並進成分情報を算出することとしたので、センサ出力信号の計測誤差に影響されずに撮像部１１の姿勢・並進成分情報を精度良く算出することが可能となる。
【０１５２】
付言すると、並進成分算出部２２は、並進成分情報を画像間の対応点と姿勢情報とに基づいて算出しているため、上記特開平５−６００４６号公報、特開平７−１８１０２４号公報、特開平９−１８７０３８号公報の問題点である『移動量計算時に機械的なセンサ信号を積分する必要があるため経時的に移動量の誤差成分が蓄積される欠点』を解決することが可能となる。また、姿勢検出部１２のセンサ出力信号を利用せずに、画像間の誤対応点を除去した修正された対応点を使用して撮像部１１の姿勢・並進成分情報を算出しているため、上記特開平１１−３７７３６号公報の問題点である『センサ信号の計測誤差が姿勢・並進成分情報に影響するという欠点』を解決することが可能となる。
【０１５３】
また、本実施の形態１によれば、デジタルカメラなどの撮像装置に加速度センサ、磁気センサ、加速度センサなどの安価な姿勢検出手段を取り付けるだけで、使用者の手作業による画像間の対応点の検出作業が必要なく、自動的に撮像装置の相対的な位置関係（姿勢・並進成分情報）を精度良く算出することができる。
【０１５４】
また、実施の形態１によれば、被写体の対応付けの誤りとセンサ出力信号の計測誤差の影響を受けずに撮像装置の相対的な位置関係を精度良く計測することができるため、撮像装置と被写体との位置関係を正確に把握することが可能となる。これより、実施の形態１の画像入力装置を自律移動ロボットの視覚情報の取得や物体認識、車両の自動運転装置、パノラマ画像の作成などの各種分野に応用することができる。
【０１５５】
また、実施の形態１によれば、撮像装置に加速度センサ、磁気センサ、及び加速度センサ等の安価な姿勢検出手段を取り付けるだけで、ユーザの手作業による画像間の対応点の検出作業が必要なく、自動的に撮像装置で撮影した被写体の三次元形状を精度良く計測することが可能となる。これより、実施の形態１の画像入力装置をｗｅｂ上に掲載する三次元画像のコンテンツを作成する場合等に応用できる。
【０１５６】
（実施の形態２）
実施の形態２にかかる画像入力装置を図１７を参照して説明する。実施の形態２にかかる画像入力装置は、実施の形態１の画像入力装置において、姿勢検出部から出力されるセンサ出力信号の乱れを検出し、センサ出力信号の乱れを軽減してセンサ出力信号の出力誤差を軽減するものである。
【０１５７】
実施の形態２にかかる画像入力装置の外観構成は図１と同様である。図１７は、実施の形態２にかかる画像入力装置の構成例を示す図である。図１７において、図２と同等機能を有する部位には同一符号を付してある。図１７に示す画像入力装置は、図２の画像入力装置（実施の形態１）に、乱れ信号検出部２９と、乱れ信号補正手部３０とを追加したものである。
【０１５８】
図１７において、撮像装置１０は、図２と同様に、撮像部１１、姿勢検出部１２、第一記録部１３、画像及びセンサ情報転送部１４から構成されている。画像及びセンサ情報転送部１４は、センサ出力信号を画像処理装置２０の乱れ信号検出部２９に転送する。
【０１５９】
画像処理装置２０は、対応検出部２１と、姿勢情報検出部２２と、対応修正部２３と、姿勢及び並進成分算出部２４と、三次元形状演算部２５と、第二記録部２７と、姿勢算出部２６と、乱れ信号検出部２９と、乱れ信号補正部３０とで構成されている。図１７に示す画像入力装置のハードウエア構成は、上記図１４及び図１５と同様な構成で実現できる。
【０１６０】
乱れ信号検出部２９は、画像及びセンサ情報転送部１４から転送されるセンサ出力信号に含まれる乱れ信号を検出し、センサ出力信号と検出した乱れ信号を乱れ信号補正部３０に出力する。乱れ信号検出部２９の詳細な構成は、本出願人が出願した特開平１１−３０６３６３号公報の段落［００４７］〜［００５１］に記載されている。
【０１６１】
乱れ信号補正部３０は、乱れ信号検出部２９からセンサ出力信号と乱れ信号とが入力され、乱れ信号に基づいてセンサ出力信号の補正を行う。乱れ信号補正部３０は、センサ出力信号に大きな乱れを検出した場合には、対応修正部２３の実行を中断させることによって、センサ出力信号の乱れにより正確に検出された対応点まで除去されてしまうことを排除する。また、乱れ信号補正部３０は、いずれかのセンサ出力信号に乱れが生じても、他のセンサ出力信号で補間を行うことにより、センサ出力信号を補償することにしても良い。また、乱れ信号補正部３０は、センサ出力信号を補間しても、乱れが検出される場合には対応修正部２３の実行を中断させても良い。乱れ信号補正部３０の詳細な構成は、本出願人が出願している特開平１１−３０６３６３号公報の段落［００５２］〜［００５９］に記載されている。
【０１６２】
なお、乱れ信号検出部２９は、撮像装置１０に設けることにしても良い。乱れ信号検出部２９を撮像装置１０に取り付けることによって、センサ出力信号に大きな乱れが生じ、乱れ信号補正部３０を使用してもセンサ出力信号から姿勢情報を補償することができない場合、または、できないと予測される場合には、撮影時にセンサ出力信号の乱れが生じたことを知らせるために、撮像装置１０に音声出力機能や画像表示機能を設けることにしても良い。
【０１６３】
以上説明したように、実施の形態２によれば、乱れ信号検出部２９でセンサ出力信号の乱れを検出し、乱れ信号補正部３０でセンサ出力信号の乱れを軽減しているので、センサ出力信号の誤差をより低減でき、センサ出力信号の計測誤差に影響されずに撮像部１１の姿勢・並進成分情報をより精度良く算出することが可能となる。
【０１６４】
（実施の形態３）
実施の形態３にかかる画像入力装置を図１８〜図２２を参照して説明する。実施の形態３にかかる画像入力装置の外観構成は図１と同様である。実施の形態３にかかる画像入力装置は、実施の形態１の画像入力装置において、さらに、姿勢・並進成分情報算出部で算出された姿勢・並進成分情報に基づいて、対応点の検出領域を指定して指定された検出領域内で再度、対応点の検出を行って対応点の検出精度を向上させるものである。
【０１６５】
［実施の形態３にかかる画像入力装置の構成］
図１８は、実施の形態３にかかる画像入力装置の構成例を示す図である。図１８において、図２と同等機能を有する部位には同一符号を付してある。
【０１６６】
図１８において、撮像装置１０は、図２（実施の形態１）と同様に、撮像部１１と、姿勢検出部１２と、第一記録部１３と、画像及びセンサ情報転送部１４とで構成されている。
【０１６７】
画像処理装置２０は、対応検出部２１、姿勢算出部２６、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、第二記録部２７、検出領域指定部３１、第二対応検出部３２、収束信号通知部３３、及び収束判断部３５から構成されている。図１８に示す画像入力装置のハードウエア構成は、上記図１４及び図１５と同様な構成で実現できる。
【０１６８】
撮像装置１０、及び画像処理装置２０の対応検出部２１、姿勢算出部２６、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、第二記録部２７の構成は、図２（実施の形態１）と同様であるのでその説明を省略する。
【０１６９】
実施の形態３では、まず、姿勢検出部１２を使用して求めた拘束条件に基づいて、画像間の対応点の修正を行い、つぎに、修正された対応点を使用して、姿勢及び並進成分算出部２４、検出領域指定部３１、及び第二対応検出部３２の処理を繰り返し実行することにより、画像間の対応点と姿勢・並進成分情報を算出する。
【０１７０】
まず、姿勢及び並進成分算出部２４は、対応修正部２３で修正された対応点に基づいて、姿勢・並進成分情報を算出し、検出領域指定部３１に出力する。検出領域指定部３１は、姿勢及び並進成分算出部２４から入力される姿勢・並進成分情報に基づいて、対応点を検出する検出領域を指定する。第二対応検出部３２は、検出領域指定部３１で指定された検出領域内で画像間の対応点を再度検出し、検出した対応点を姿勢及び並進成分算出部２４及び収束判断部３５に出力する。姿勢及び並進成分算出部２４は、第二対応検出部３２で算出された対応点に基づいて、姿勢・並進成分情報を算出し、検出領域指定部３１に出力する。以後、姿勢及び並進成分算出部２４、領域指定部３１、及び第二対応検出部３２の処理が繰り返し実行される。
【０１７１】
収束判断部３５は、第二対応検出部３２で検出される対応点が収束したか否かを判断することにより、姿勢及び並進成分算出部２４、領域指定部３１、及び第二対応検出部３２の処理の繰り返し実行サイクルの続行・終了を判断して判断結果を収束信号通知部３３に出力する。収束判断部３５は、第二対応検出部３２で検出される対応点が収束したと判断した場合には、姿勢及び並進成分算出部２４、領域指定部３１、及び第二対応検出部３２の繰り返し実行サイクルの終了と判断して、その旨の判断結果を収束信号通知部３３に出力する。収束信号通知部３３は、収束判断部３５の判断結果に基づいて、姿勢及び並進成分算出部２４、領域指定部３１、及び第二対応検出部３２までの繰り返し実行サイクルを終了させる収束信号を第二対応検出部３２へ通知する。これにより、繰り返し実行サイクルが終了する。これにより、姿勢及び並進成分算出部２４では、収束した対応点に基づいて最終的な姿勢・並進成分情報を算出することが可能となる。
【０１７２】
［検出領域指定部３１の検出領域の指定方法］
検出領域指定部３１における検出領域指定方法の一例について詳細に説明する。検出領域指定部３１は、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報に基づいて、画像間の対応点の拘束条件式（１３）を求め、拘束条件式（１３）の周辺領域を画像間の対応点の検出領域として指定する。
【０１７３】
［第二対応検出部３２の対応点の検出方法］
第二対応検出部３２における対応点検出方法の一例について詳細に説明する。第二対応検出部３２は、対応点の修正を行った後に対応点の検出を行う。具体的には、第二対応検出部３２は、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報に基づいて対応点の修正を行う。つぎに、第二対応検出部３２は、検出領域指定部３１で指定された検出領域内で画像間の対応点を検出する。
【０１７４】
［収束信号通知部及び収束判断部の対応点の収束判断方法］
収束信号通知部３３及び収束判断部３５における収束判断方法及び収束信号の通知方法の一例について詳細に説明する。収束信号通知部３３は、姿勢及び並進成分算出部２４から第二対応検出部３２までの繰り返しサイクルを終了させるために、対応点の収束信号を第二対応検出部３２に通知する。より具体的には、収束信号は、下記式（１５）に示すように、第二対応検出部３２で検出される対応点と拘束条件である直線との距離の和と繰り返しサイクルの一回前に第二対応検出部３２で検出される対応点と拘束条件である直線との距離の和を算出し、両方の値を差分した結果が閾値ε１よりも小さくなった場合に、第二対応検出部３２に出力される。
【０１７５】
【数１２】

【０１７６】
Ｌ_Ｂ，ｔは、第二対応検出部３２で検出される対応点と拘束条件である直線との距離の和を示す。
Ｌ_{Ｂ，ｔ−１}は、繰り返しサイクルの一回前に第二対応検出部３２で検出される対応点と拘束条件である直線との距離の和を示す。
ε_１は任意に定めた閾値を示す。
【０１７７】
図１９は、繰り返しサイクルを実行した回数と対応点と拘束条件である直線との距離の和の差分値の実験結果を示す図である。実験によって、対応点と拘束条件である直線との距離の和を差分した値は、繰り返しサイクルが進むに連れて図１９に示すように、差分値が減少して一定となる。したがって、収束信号通知部３３は、図１９に示した差分値の減少を表す曲線の微分値α_ｔを算出し、微分値α_ｔが任意に定めた閾値ε_２よりも小さくなったときに第二対応検出部３２へ収束通知信号を出力しても良い。
【０１７８】
なお、センサ出力信号を使用して大まかな対応点の除去作業を行わないと、大まかな対応点の除去作業が行えないため、繰り返しサイクルによる対応点の除去作業を行っても差分値となる対応点の位置情報に誤りが多くなり、図２０に示すように、差分値が収束せずに正確な対応点を検出できない場合があった。
【０１７９】
収束信号通知手段３３は、下記式（１６）が成り立つ場合に、第二対応検出部３２に収束信号を出力する。
【０１８０】
【数１３】

【０１８１】
α_ｔは、差分値の減少を表す曲線の微分値を表す。
ε_２は、任意に定めた閾値を示す。
【０１８２】
上記の例では、対応点と拘束条件である直線との距離の和を比較して収束信号を出力したが、対応点と拘束条件である直線との距離の和を比較する代わりに対応点の数を比較しても良い。対応点の数を比較して収束信号を出力する場合には、第二対応検出部３２の対応点検出作業を実行せず、対応点修正作業だけを実行しても良い。この場合には、収束信号の通知は、下記式（１７）に示すように、第二対応検出部３２で得られた対応点の数と繰り返しサイクルの一回前に第二対応検出部３２で得られた対応点の数との差分値が任意に定めた閾値ε_３よりも小さくなった場合に実行される。すなわち、収束信号通知部３３は、上記式（１７）が成立した場合に、第二対応検出部３２に収束信号を出力する。
【０１８３】
【数１４】

【０１８４】
Ｎ_Ｂ，ｔは、第二対応検出部３２で検出される対応点の数を示す。
Ｎ_{Ｂ，ｔ−１}は、繰り返しサイクルの一回前に第二対応検出部３２で検出される対応点の数を示す。
ε_３は任意に定めた閾値を示す。
【０１８５】
［全体の処理フロー］
図２１及び図２２を参照して、図１８の画像入力装置の姿勢・並進成分情報の算出方法を説明する。図２１及び図２２は、図１８の画像入力装置の姿勢・並進成分情報の算出方法を説明するためのフローチャートである。
【０１８６】
図２１及び図２２において、図１２（実施の形態１）と同様の処理を行うステップは同一のステップ番号を付してある。図２１において、ステップＳ１〜ステップＳ１１までは、実施の形態１と同様の処理を行って画像間の対応点を検出する。
【０１８７】
図２２において、姿勢及び並進成分算出部２４は、ステップＳ１０、Ｓ１１又はステップＳ３５で得られる対応点に基づいて、姿勢・並進成分情報を算出する（ステップＳ３２）。ここで、姿勢及び並進成分算出部２４は、最初は、ステップＳ１０、Ｓ１１（対応修正部２３）で得られる対応点に基づいて、姿勢・並進成分情報を算出する。この後は、姿勢及び並進成分算出部２４は、ステップＳ３５（第二対応検出部３２）で得られる対応点に基づいて、姿勢・並進成分情報を算出する。
【０１８８】
検出領域指定部３２は、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報とステップＳ１０、Ｓ１１又はステップＳ３５で得られる対応点の位置情報を上記拘束条件式（１２）に代入して、画像間の特徴点の拘束条件式（１３）を算出する（ステップＳ３３）。最初は、検出領域指定部３２は、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報とステップＳ１０、Ｓ１１（対応修正部２３）で得られる対応点の位置情報を上記拘束条件式（１２）に代入して、画像間の特徴点の拘束条件式（１３）を算出する。この後は、検出領域指定部３２は、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報とステップＳ３５（第二対応検出部３２）で得られる対応点の位置情報を上記拘束条件式（１２）に代入して、画像間の特徴点の拘束条件式（１３）を算出する。
【０１８９】
そして、検出領域指定部３２は、ステップＳ３３で算出された対応点の拘束条件式（１３）を使用して、画像間の対応点を検出する検出領域を指定する（ステップＳ３４）。具体的には、二枚目の画像に各対応点の拘束条件式（１３）を投影して、上記図８、図１０と同様に拘束条件式の周辺領域を対応点の検出領域として指定する。そして、検出領域指定部３２は、繰り返しサイクルが進むにつれて、指定した対応点の検出領域の広さを段階的に狭める。これより、画像間の対応点の検出精度を段階的に向上させることができる。
【０１９０】
第二対応検出部３２は、ステップＳ３３で得られる画像間の対応点の拘束条件式（１３）に基づいて、対応点の修正作業を行った後で、ステップ３４で指定された検出領域の中で、画像間の対応点の検出作業を行う（ステップＳ３５）。具体的には、修正作業はステップＳ１０と同様に、検出作業はステップＳ４、Ｓ５、Ｓ６と同様に行う。なお、ステップＳ３６で対応点の特徴量として対応点の数を使用する場合には、対応点の検出作業を省略して対応点の修正作業だけを実行することにしても良い。
【０１９１】
収束判断部３５は、ステップＳ３５で検出された対応点と一回前の繰り返しサイクルで検出された対応点との差分量を計算し、対応点の差分量が任意の閾値Ｘ以上であるかを判断する（ステップＳ３６）。具体的には、ステップＳ３５で検出された対応点の特徴量として対応点の数又は拘束条件式（１３）である直線と対応点までの距離の和を算出する。そして、現在の繰り返しサイクルで得られた対応点の特徴量と一回前の繰り返しサイクルで得られた対応点の特徴量との差分を算出する。
【０１９２】
算出された対応点の差分量が、任意の閾値Ｘ以上の場合には（ステップＳ３６の「Ｙｅｓ」）、ステップＳ３２に戻り、繰り返しサイクルを実行する（ステップＳ３２〜ステップＳ３６）。他方、算出された対応点の差分量が、任意の閾値Ｘ未満の場合には（ステップＳ３６の「Ｎｏ」）、第二対応検出部３２は、算出された対応点の差分量が、任意の閾値Ｘよりも小さい旨の判断結果を収束通知部３１に出力する。収束通知部３１は、この判断結果が入力されると、第二対応検出部３２に収束信号を出力して、ステップＳ３７に移行する。これにより、繰り返しサイクルを終了する。そして、ステップＳ３７では、ステップＳ３５で検出された対応点とステップ３２で算出された姿勢・並進成分情報を第二記録部２７に記録する。このように、対応点が収束した場合の対応点と、収束した対応点に基づいて算出した姿勢・並進成分情報が第二記録部２７に記録される。
【０１９３】
以上説明したように、実施の形態３によれば、検出領域指定部３１は、姿勢・並進成分情報算出部２４で算出された姿勢・並進成分情報に基づいて、対応点の検索領域を指定し、第二対応検出部３２は、指定された検索領域内で再度、対応点が収束するまで対応点の検出を行い、姿勢・並進成分情報算出部２４は、収束した対応点に基づいて最終的な姿勢・並進成分情報を算出することとしたので、撮像部１１の姿勢・並進成分情報をより高精度に算出することが可能となる。
【０１９４】
また、実施の形態３の画像入力装置によれば、対応点検出作業を繰り返し実行して、撮像装置の相対的な位置関係を精度良く算出することでき、高精細なパノラマ画像の作成や、画像間の対応点を精度良く検出でき、自律移動ロボットの視覚情報の取得や物体認識などの各種分野で応用することができる。
【０１９５】
（実施の形態４）
実施の形態４にかかる画像入力装置を図２３〜図２５を参照して説明する。実施の形態４にかかる画像入力装置の外観構成は図１と同様である。実施の形態４にかかる画像入力装置は、実施の形態３の画像入力装置において、さらに、三次元形状演算部を設けたものである。
【０１９６】
［実施の形態４にかかる画像入力装置の構成］
図２３は、実施の形態４にかかる画像入力装置の構成例を示す図である。図２３において、図１８と同等機能を有する部位には同一符号を付してある。実施の形態４にかかる画像入力装置は、実施の形態３にかかる画像入力装置に、三次元形状演算部２５を追加した構成となっている。
【０１９７】
図２３において、撮像装置１０は、図１８と同様に、撮像部１１、姿勢検出部１２、第一記録部１３、画像及びセンサ情報転送部１４から構成されている。
【０１９８】
画像処理装置２０は、対応検出部２１、姿勢算出部２６、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、第二記録部２７、検出領域指定部３１、第二対応検出部３２、収束信号通知部３３、収束判断部３５、三次元形状演算部２４から構成されている。図２３に示す画像入力装置のハードウエア構成は、上記図１４及び図１５と同様な構成で実現できる。
【０１９９】
撮像装置１０、及び画像処理装置３０の対応検出部２１、姿勢算出部２６、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、第二記録部２７、検出領域指定部３１、第二対応検出部３２、収束信号通知部３３、収束判断部３５の構成は、図１８（実施の形態３）と同様であるのでその説明を省略する。三次元演算部２５は、実施の形態１の三次元形状演算部２５と同様な構成である。
【０２００】
実施の形態４の画像入力装置では、実施の形態３と同様に、まず、姿勢検出部１２を使用して求めた拘束条件に基づいて、画像間の対応点の修正を行い、つぎに、修正された対応点を使用して、姿勢及び並進成分算出部２４、検出領域指定部３１、及び第二対応検出部３２の処理を繰り返し実行することにより、画像間の対応点を収束させる。そして、三次元演算部２５は、収束された対応点に基づいて被写体の３次元形状を算出する。
【０２０１】
［全体の処理フロー］
図２４及び図２５を参照して、図２３の画像入力装置の被写体の三次元形状の算出方法を説明する。図２４及び図２５は、図２３の画像入力装置の被写体の三次元形状の算出方法を説明するためのフローチャートである。
【０２０２】
図２４及び図２５において、ステップＳ１〜ステップＳ３６までは実施の形態３（図２１及び図２２）と同様の処理を行い、画像間の対応点を検出する。
【０２０３】
図２５において、ステップＳ４１では、三次元形状演算部２５は、ステップＳ３５で検出された対応点（収束した対応点）とステップＳ３２で得られた姿勢・並進成分情報に基づいて被写体の三次元形状を演算する。三次元形状の演算方法は、実施の形態１の図１２のステップＳ１３と同様である。そして、三次元形状演算部２５は、算出した被写体の三次元形状の情報を第二記録部２７に格納する。
【０２０４】
以上説明したように、実施の形態４によれば、検出領域指定部３１は、姿勢・並進成分情報算出部２４で算出された姿勢・並進成分情報に基づいて、対応点の検索領域を指定し、第二対応検出部３２は、指定された検索領域内で再度、対応点が収束するまで対応点の検出を行い、三次元形状演算部２５は、収束した対応点に基づいて被写体の三次元形状を算出することとしたので、被写体の三次元形状をより高精度に算出することが可能となる。
【０２０５】
また、実施の形態４の画像入力装置によれば、対応点検出作業を繰り返し実行して、被写体の三次元形状の計測をより精度良く行うことができ、正確な三次元形状が必要となる電子商取引の広告などのコンテンツを簡単に作成することが可能となる。
【０２０６】
（実施の形態５）
実施の形態５にかかる画像入力装置を図２６及び図２７を参照して説明する。実施の形態５にかかる画像入力装置の外観構成は図１と同様である。実施の形態５にかかる画像入力装置では、実施の形態１の画像入力装置において、対応検出部２１で検出された対応点と、対応修正部２３で修正された対応点の出力を切替える切替手段を設け、対応検出部２１で検出された対応点と対応修正部２３で修正された対応点のいずれかに基づいて撮像部１１の姿勢・並進成分情報／被写体の三次元形状を算出するものである。
【０２０７】
［画像入力装置の構成例］
図２６は、画像入力装置の構成例を示している。図２６に示す画像入力装置において、撮像装置１０の構成は実施の形態１（図１２）と同様な構成であり、撮像部１１、姿勢検出部１２、第一記録部１３、画像及びセンサ情報転送部１４から構成されている。
【０２０８】
画像処理装置２０は、対応検出部２１、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、三次元形状演算部２５、第二記録部２７、姿勢算出部２６、対応点切替部２８、対応点判断部３４から構成されている。図２６に示す画像入力装置のハードウエア構成は、上記図１４及び図１５と同様な構成で実現できる。
【０２０９】
撮像部１１、姿勢検出部１２、対応検出部２１、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、三次元形状演算部２５の構成は、実施の形態１と同様である。
【０２１０】
対応点判断部３４は、対応検出部２１から入力される対応点の位置情報と対応修正部２３から入力される修正された対応点の位置情報のいずれの対応点の位置情報を使用するかの判断結果を対応点切替部２８へ出力する。
【０２１１】
対応点切替部２８は、対応点判断部３４から入力される判断結果に基づいて、対応修正部２３から入力される修正された対応点の位置情報と対応検出部２１から入力される対応点の位置情報のいずれか一方を姿勢及び並進成分算出部２４に出力する。
【０２１２】
姿勢及び並進成分算出部２４は、対応点切替部２８から入力される対応修正部２３で修正された対応点の位置情報または対応検出部２１で検出された対応点の位置情報に基づいて、撮像部１１の姿勢・並進成分情報を算出する。
【０２１３】
三次元形状演算部２５は、対応点切替部２８から入力される対応修正部２３で修正された対応点の位置情報または対応検出部２１で検出された対応点の位置情報の位置情報と、姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報に基づいて被写体の三次元形状を算出する。
【０２１４】
［対応点切替部及び対応点判断部の切替方法］
対応点判断部３４及び対応点切替部２８の対応点の位置情報の切替方法を詳細に説明する。
【０２１５】
対応点判断部３４による対応点の位置情報の切替の判断は▲１▼手動で行う方法と▲２▼自動で行う方法がある。
【０２１６】
▲１▼手動で対応点の切替を行う場合には、対応点判断部３４に切替スイッチを設け、使用者がこの切替スイッチを使用して対応点の切替を行う。この場合には、使用者がいずれの対応点を使用した方が有用であるかの判断材料を提供するために、表示部を設け、画像情報、画像情報から得られる被写体の特徴量、撮影した環境情報（周囲の磁場変化の測定結果（磁気センサは周辺の磁場変化に影響されるため、姿勢情報の検出を誤る可能性があるため）等）を表示することにしても良い。対応点判断部３４は、切替スイッチで使用者が使用指示する対応点を判断結果として対応点切替部２８へ出力する。対応点切替部２８は、対応点判断部３４から入力される判断結果に基づいて、対応修正部２３から入力される修正された対応点の位置情報と対応検出部２１から入力される対応点の位置情報のいずれか一方を姿勢及び並進成分算出部２４に出力する。
【０２１７】
▲２▼自動で対応点の切替を行う場合には、対応修正部部２３によって修正された対応点と対応検出部２１によって検出された対応点を比較して対応点の切替を行う方法を用いることができる。一般に、通常の被写体を撮影する場合、対応検出部２１による対応付けは誤まりである確率よりも、正確に対応付けされる確率の方が高いことが知られている。これにより、センサ出力信号を使用して求めた拘束条件から修正した対応点（対応修正部２３によって修正された対応点）とセンサ出力信号を使用せずに求めた対応点（対応検出部２１によって検出された対応点）とを比較して、撮像部１１の姿勢・並進成分情報／被写体の三次元形状を精度良く算出するために、いずれの対応点を使用するかを決定する。
【０２１８】
対応付けを誤る確率は画像情報の種類に大きく影響される。例えば、風景（自然画）などを撮影した場合には、正確なエッジ情報を検出することが難しいため、対応点の検出に誤りが生じる確率が高くなる。風景などを撮影した実験結果から、対応修正部２３で正確なセンサ出力信号から求めた拘束条件で対応検出手段２１によって検出された対応点を修正した場合、５％〜２０％の確率で対応点が除去されることが判明している。
【０２１９】
他方、工業製品などを撮影した場合には、エッジ情報の検出が容易であるため、対応点検出を誤る確率が低くなる。工業製品などを撮影した実験結果から、対応修正部２３で正確なセンサ出力信号から求めた拘束条件で対応検出手段２１によって検出された対応点を修正した場合、０％〜１０％の確率で対応点が除去されることが判明している。
【０２２０】
したがって、対応点判断部３４は、風景など対応付けを誤る確率の高い画像を撮影した場合には、対応点の修正量が２０％以上の場合にセンサ出力信号が誤っていると判断し、また、工業製品など対応付けを誤る確率の高い画像を撮影した場合には、対応点の修正量が１０％以上の場合にセンサ出力信号が誤っていると判断して、対応検出部２１から入力される対応点の位置情報を使用する旨の判断結果を、対応点切替部２８へ出力する。他方、対応点判断部３４は、この条件を満たさない場合には、センサ出力信号が正しいと判断して、対応修正部２３から入力される修正された対応点の位置情報を使用する旨の判断結果を、対応点切替部２８へ出力する。対応点切替部２８は、対応点判断部３４から入力される判断結果に基づいて、対応修正部２３から入力される修正された対応点の位置情報と対応検出部２１から入力される対応点の位置情報のいずれか一方を姿勢及び並進成分算出部２４に出力する。なお、被写体画像が風景か工業製品かの判断は、周知の画像処理技術で自動で判別しても良く、また、使用者が撮影画像の種類を指示するための手段を設けることにしても良い。
【０２２１】
［全体の処理フロー］
図２７を参照して、図２６の画像入力装置の姿勢・並進成分情報および被写体の三次元形状の算出方法を説明する。図２７は、図２６の画像入力装置の姿勢・並進成分情報および被写体の三次元形状の算出方法を説明するためのフローチャートである。
【０２２２】
図２７において、図１２（実施の形態１）と同様の処理を行うステップは同一のステップ番号を付してある。図２７において、ステップＳ１〜ステップＳ１１までは、実施の形態１と同様の処理を行って画像間の対応点を検出する。
【０２２３】
図２７において、ステップＳ５２では、対応点切替部２８は、対応点判断部３４から入力される判断結果に基づいて、上記ステップＳ５，Ｓ６で得られた対応点の位置情報と上記ステップＳ１０、Ｓ１１で得られた修正された対応点の位置情報のいずれか一方の対応点の位置情報を姿勢及び並進成分算出部２４に出力する。この対応点の出力の切替は、上述したように、手動または自動で行うことができる。
【０２２４】
つづいて、ステップＳ５３では、姿勢及び並進成分算出部２４は、ステップ５２で出力された対応点から姿勢・並進成分情報を算出する。この後、三次元形状演算部２５は、ステップ５２で出力された対応点、及びステップＳ５３において姿勢及び並進成分算出部２４で算出された姿勢・並進成分情報に基づいて、三角測量の原理で被写体の三次元形状を算出し（ステップＳ５４）、算出した被写体の３次元形状を第２記憶部２７に記録する（ステップＳ５５）。
【０２２５】
以上説明したように、実施の形態５によれば、対応点判断部３４及び対応点切替部２８は、撮影部１１の姿勢・並進成分情報及び被写体の三次元形状を精度良く算出するために、対応検出部２１で検出された対応点と、対応修正部２３で修正された対応点の出力を切替えて姿勢及び並進成分算出部２４に出力することとしたので、撮像部１１の姿勢・並進成分情報及び被写体の三次元形状の算出精度をより向上させることができる。
【０２２６】
このように、実施の形態５の画像入力装置によれば、撮像装置の相対的な位置関係及び被写体の三次元形状を精度良く演算することができ、車両の自動運転装置など信頼性が高い情報が必要となるアプリケーション等に応用することが可能となる。
【０２２７】
（実施の形態６）
実施の形態６にかかる画像入力装置を図２８〜図３２を参照して説明する。実施の形態６にかかる画像入力装置の外観構成は図１と同様である。実施の形態６にかかる画像入力装置では、実施の形態１の画像入力装置において、対応検出部２１で検出された画像間の対応点に誤りが含まれている確率が高いか否かを判断し、誤りが含まれている確率が少ないと判断した場合には、対応検出部２１で検出された対応点を使用して、撮像部１１の姿勢・並進成分情報を算出し、他方、誤りが含まれている確率が高いと判断した場合には、対応点を修正して修正した対応点に基づいて、撮像部１１の姿勢・並進成分情報および被写体の三次元形状を算出するものである。
【０２２８】
［画像入力装置の構成例］
図２８は、画像入力装置の構成例を示している。図２８に示す画像入力装置において、撮像装置１０の構成は実施の形態１（図２）と同様な構成であり、撮像部１１、姿勢検出部１２、第一記録部１３、画像及びセンサ情報転送部１４から構成されている。
【０２２９】
画像処理装置２０は、対応検出部２１、対応修正部２３、姿勢及び並進成分算出部２４、三次元形状演算部２５、第二記録部２７、姿勢算出部２６、対応点切替部２８、対応点判断部３４から構成されている。図２８に示す画像入力装置のハードウエア構成は、上記図１４及び図１５と同様な構成で実現できる。
【０２３０】
撮像部１１、姿勢検出部１２、対応検出部２１、並進成分算出部２２、対応修正部２３、姿勢及び並進成分算出部２４、三次元形状演算部２５の構成は、実施の形態１と同様である。
【０２３１】
対応点判断部３４は、画像及びセンサ情報転送部１４から画像情報が入力されるとともに、対応点検出部２１で検出された画像間の対応点の位置情報が入力され、画像情報の特徴量に基づいて、対応検出部２１の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けを誤る確率が少ないと判断した場合には、対応点の位置情報を姿勢・並進成分情報算出部２４に出力し、画像間の対応付けが誤る確率が高いと判断した場合には、並進成分算出部２２に対応点の位置情報を出力する。
【０２３２】
姿勢算出部２６は、画像及びセンサ情報転送部１４から入力されるセンサ出力信号に基づいて撮像部１１の撮影時の姿勢情報を検出し、検出した姿勢情報を並進成分算出部２２に出力する。
【０２３３】
並進成分算出部２２は、姿勢算出部２６から入力される姿勢情報と対応点判定部３４から入力される対応点の位置情報とに基づいて、撮像部１１の並進成分情報を算出し、算出した並進成分情報を対応修正手段部２３に出力する。
【０２３４】
対応修正部２３は、姿勢検出部１２から入力される姿勢情報と、並進成分算出手段２２から入力される並進成分情報とに基づいて、対応点判断部３４から入力される対応点の位置情報の拘束条件を算出し、算出した拘束条件に基づいて対応点の位置情報を修正し、修正した対応点の位置情報を姿勢・並進成分算出部２４に出力する。
【０２３５】
姿勢・並進成分算出部２４は、対応修正部２３から出力される修正された対応点の位置情報に基づいて、撮像部１１の姿勢・並進成分情報を算出する。
【０２３６】
三次元形状算出部２５は、対応修正部２３で算出された修正された対応点と、姿勢・並進成分算出部２４で算出された姿勢・並進成分情報に基づいて、三角測量の原理で被写体の三次元形状を算出し、第二記録部２７に記録する。
【０２３７】
［対応点判断部］
対応点判断部３４は、上述したように、画像情報の特徴量に基づいて、対応検出部２１の画像間の対応付けに誤りが多いか否かを判断し、対応点の位置情報の出力先を姿勢・並進成分情報算出部２４または並進成分算出部２２に切り替える。
【０２３８】
ここで、画像情報の特徴量を基準にして、対応検出部２１の画像間の対応付けに誤りが多いか否かを判断する方法について説明する。画像情報の特徴量としては、▲１▼被写体（画像情報）のテクスチャ変化の特徴や▲２▼対応検出部２１によって検出された画像間の対応点の距離などが挙げられる。
【０２３９】
▲１▼被写体のテクスチャ変化の特徴を基準にする方法について説明する。図２９は、球形の被写体の画像間の対応付けの誤りを説明するための説明図、図３０は、角のある被写体の画像間の対応付けの誤りを説明するための説明図を示している。一般に、被写体の特徴点はテクスチャのエッジ情報を参考に抽出を行うが、球形に近い物体などエッジ情報を検出する場所に角がない場合には、特徴点周辺領域の画像情報の差が小さいため画像間の対応付けに誤りが多い（図２９参照）。他方、角となるエッジ情報が多い場合には、特徴点周辺領域の画像情報の差が大きいため画像間の対応付けに誤りが生じにくい（図３０参照）。
【０２４０】
対応点判断部３４は、画像情報のエッジ情報を検出する部分周辺のテクスチャ情報を調査し、エッジ情報として検出した場所が被写体の角に相当する確率を求め、この確率が高い場合には画像間の対応付けを誤る確率が少ないため、対応点の位置情報を姿勢・並進成分情報算出部２４に出力する。この場合には、姿勢・並進成分情報算出部２４は、対応点判断部３４から入力される対応点の位置情報に基づいて、姿勢・並進成分情報を算出するため、高速に姿勢・並進成分情報を算出することが可能となり、また、並進成分検出部２２及び対応修正部２３の処理が不要となる。他方、対応点判断部３４は、エッジ情報として検出した場所が被写体の角に相当する確率が低い場合には、画像間の対応付けを誤る確率が高いため、並進成分算出部２２に対応点の位置情報を出力する。
【０２４１】
▲２▼画像間の対応点の距離を基準にして判定する場合について説明する。図３１は、画像間の対応点の距離を基準にして判定する場合を説明するための説明図を示しており、同図（ａ）は対応点同士の距離が短い場合、同図（ｂ）は対応点同士の距離が長い場合を示している。
【０２４２】
図３１に示すように、一般に画像間の対応点を探索する場合には、対応点同士の距離が短い方が対応点の検出範囲を狭めて設定することもできるため、画像間の対応付けを誤る確率が少なくなる。対応点判断部３４は、画像間の対応点同士の距離が任意の閾値Ｘよりも短い場合には、画像間の対応付けを誤る確率が少ないため、対応点の位置情報を姿勢・並進成分情報算出部２４に出力する。この場合には、姿勢・並進成分情報算出部２４は、対応点判断部３４から入力される対応点の位置情報に基づいて、姿勢・並進成分情報を算出するため、高速に姿勢・並進成分情報を算出することが可能となり、また、並進成分検出部２２及び対応修正部２３の処理が不要となる。他方、対応点判断部３４は、画像間の対応点同士の距離が任意の閾値Ｘ以上の場合には、画像間の対応付けを誤る確率が高いため、並進成分算出部２２に対応点の位置情報を出力する。
【０２４３】
なお、画像情報の各種の特徴量を組み合わせた判定基準を用いて、対応検出部２１の画像間の対応付けに誤りが多いか否かを判断することにしても良い。
【０２４４】
［全体の処理フロー］
図３２を参照して、図２８の画像入力装置の被写体の三次元形状の算出方法を説明する。図３２は、図２８の画像入力装置の被写体の三次元形状の算出方法を説明するためのフローチャートである。
【０２４５】
図３２において、図１２（実施の形態１）と同様の処理を行うステップは同一のステップ番号を付してある。図３２において、ステップＳ１〜ステップＳ６までは、実施の形態１と同様の処理を行って画像間の対応点を検出する。
【０２４６】
ステップＳ６２では、対応点判断部３４は、上述したように、撮影した二枚の画像のエッジ情報又は対応点間の距離情報などから二枚の画像間の対応付けに誤りが生じやすいか否かを判定する。この判定の結果、対応点判断部３４は、画像間の対応付けを誤る確率が少ないと判断した場合には、対応点の位置情報を姿勢・並進成分情報算出部２４に出力して、ステップＳ６７に移行する一方、画像間の対応付けを誤る確率が大きいと判断した場合には、対応点の位置情報を並進成分算出部２２に対応点の位置情報を出力して、ステップＳ６３に移行する。
【０２４７】
ステップＳ６３〜ステップＳ６６では、図１２のステップＳ７〜Ｓ１１と同様の処理を行う。ここでは、その説明を省略する。
【０２４８】
ステップＳ６７では、姿勢及び並進成分算出部２４は、対応検出部２１で検出された対応点または対応修正部２３で修正された対応点に基づいて、姿勢・並進成分情報を算出する（ステップＳ６８）。この後、三次元形状演算部２５は、対応検出部２１で検出された対応点または対応修正部２３で修正された対応点と、並進成分算出部２４で算出された姿勢・並進成分情報とに基づいて、三角測量の原理で被写体の三次元形状を算出し（ステップＳ６９）、算出した被写体の３次元形状を第二記録部２７に記録する（ステップＳ７０）。
【０２４９】
以上説明したように、実施の形態６によれば、対応判断部３４は、対応検出部２１で検出された画像間の対応点に誤りが含まれている確率が高いか否かを判断し、誤りが含まれている確率が少ないと判断した場合には、対応検出部２１で検出された対応点を使用して、撮像部１１の姿勢・並進成分情報を算出し、他方、誤りが含まれている確率が高いと判断した場合には、対応点を修正して修正した対応点に基づいて、撮像部１１の姿勢・並進成分情報を算出することとしたので、撮像部１１の姿勢・並進成分情報及び被写体の三次元形状の算出精度をより向上させることができ、また、画像間の対応付けを誤る確率が少ないと判断した場合には、センサ出力信号に基づく姿勢情報を使用した対応点の修正作業を省略することとしたので、計算量を軽減することが可能となる。
【０２５０】
このように、実施の形態６の画像入力装置によれば、撮像装置の相対的な位置関係及び被写体の三次元形状を精度良く演算することができ、車両の自動運転装置など信頼性が高い情報が必要となるアプリケーション等に応用することが可能となる。
【０２５１】
なお、本発明は、上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変形可能である。
【０２５２】
例えば、上記した実施の形態１〜実施の形態６において、センサ出力信号に乱れが生じた場合には、音声出力機能や画像表示機能を設けて、使用者に通知することにしても良い。これにより、使用者は、撮像装置の相対的な位置関係または被写体の三次元形状の演算が正確に行われたか否かを撮影直後に知ることが可能となる。
【０２５３】
【発明の効果】
以上説明したように，請求項１にかかる画像入力装置によれば、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を備えたこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動で高精度に算出することが可能となる。
【０２５４】
また、請求項２にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたこととしたので、センサ出力の計測誤差に影響されずに、被写体の三次元形状を高精度に算出することが可能となる。
【０２５５】
また、請求項３にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報に基づいて、前記対応修正手段で修正された対応点の拘束条件を算出し、前記拘束条件の周辺領域を対応点の検出領域として指定する検出領域指定手段と、前記検出領域指定手段で指定された検索領域内で再度、対応点の検出を行う第二検出手段と、前記第二検出手段で検出された対応点が収束したか否かを判断する収束判断手段と、前記姿勢・並進成分算出手段は、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、最終的な前記撮像手段の姿勢・並進成分情報を算出することとしたので、撮像装置の相対的位置関係を示す姿勢・並進成分情報をより高精度に算出することが可能となる。
【０２５６】
また、請求項４にかかる画像入力装置によれば、さらに、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたこととしたので、被写体の三次元形状をより高精度に算出することが可能となる。
【０２５７】
また、請求項５にかかる画像入力装置によれば、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を備えたこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動で高精度に算出することが可能となる。
【０２５８】
また、請求項６にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたこととしたので、センサ出力の計測誤差に影響されずに、被写体の三次元形状を高精度に算出することが可能となる。
【０２５９】
また、請求項７にかかる画像入力装置によれば、前記対応点切替手段は、使用者の指示に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することとしたので、使用者の指示に応じて、対応点の出力を切り替えることが可能となる。
【０２６０】
また、請求項８にかかる画像入力装置によれば、前記対応点切替手段は、前記修正された対応点の修正量に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することとしたので、撮像装置の姿勢・並進成分情報や被写体の三次元形状を高精度に算出するためにより好ましい対応点の出力切替を自動的に行うことが可能となる。
【０２６１】
また、請求項９にかかる画像入力装置によれば、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、を備えたこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動で高精度に算出することができ、また、画像間の対応付けに誤りが少ないと判断した場合には、センサ出力に基づく姿勢情報を使用した対応点の修正作業を省略することとしたので、計算量を軽減することが可能となる。
【０２６２】
また、請求項１０にかかる画像入力装置によれば、前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたこととしたので、センサ出力の計測誤差に影響されずに、被写体の三次元形状を高精度に算出することが可能となる。
【０２６３】
また、請求項１１にかかる画像入力装置によれば、前記対応点判断手段は、画像情報の特徴量に基づいて、前記対応検出手段による画像間の対応付けに誤りが多いか否かを判断することとしたので、簡単な方法で画像間の対応付けに誤りが多いか否かを判断することが可能となる。
【０２６４】
また、請求項１２にかかる画像入力装置によれば、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段の前記被写体を撮像した際の傾きを示すセンサ出力信号を出力するセンサ手段と、を有し、前記画像処理装置は、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を有することとしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２６５】
また、請求項１３にかかる画像入力装置によれば、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段の前記被写体を撮像した際の傾きを示すセンサ出力信号を出力するセンサ手段と、を有し、前記画像処理装置は、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、を有することとしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２６６】
また、請求項１４にかかる画像入力装置によれば、撮像装置と画像処理装置とからなる画像入力装置において、前記撮像装置は、少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、前記撮像手段の前記被写体を撮像した際の傾きを示すセンサ出力信号を出力するセンサ手段と、を有し、前記画像処理装置は、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、を備えたこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することができ、また、画像間の対応付けに誤りが少ないと判断した場合には、センサ出力に基づく姿勢情報を使用した対応点の修正作業を省略することとしたので、計算量を軽減することが可能となる。
【０２６７】
また、請求項１５にかかる画像入力方法によれば、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像を取得する撮像工程と、前記撮像工程で取得された複数の画像のその画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を含むこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２６８】
また、請求項１６にかかる画像入力方法によれば、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を含むこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２６９】
また、請求項１７にかかる画像入力方法によれば、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、を含むこととしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することができ、また、画像間の対応付けに誤りが少ないと判断した場合には、センサ出力に基づく姿勢情報を使用した対応点の修正作業を省略することとしたので、計算量を軽減することが可能となる。
【０２７０】
また、請求項１８にかかるコンピュータが実行するためのプログラムによれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を実現することとしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２７１】
また、請求項１９にかかるコンピュータが実行するためのプログラムによれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、を実現することとしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することが可能となる。
【０２７２】
また、請求項２０にかかるコンピュータが実行するためのプログラムによれば、コンピュータでプログラムを実行することにより、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、を実現することとしたので、センサ出力の計測誤差に影響されずに、撮像装置の相対的な位置関係を示す姿勢・並進成分情報を自動的に高精度に算出することができ、また、画像間の対応付けに誤りが少ないと判断した場合には、センサ出力に基づく姿勢情報を使用した対応点の修正作業を省略することとしたので、計算量を軽減することが可能となる。
【図面の簡単な説明】
【図１】実施の形態１にかかる画像入力装置の外観構成を示す図である。
【図２】図１の画像入力装置と画像処理装置の構成例を示す図である。
【図３】装置座標系（ｘｙｚ座標系）を説明するための説明図である。
【図４】ワールド座標系（ＸＹＺ座標系）を説明するための説明図である。
【図５】２箇所の視点から撮影された画像Ａと画像Ｂ間の対応点検出方法を説明するための説明図である。
【図６】図２の並進成分算出部における並進成分算出方法の一例を説明するための説明図である。
【図７】図２の対応修正部における対応点の修正方法の一例を説明するための説明図である。
【図８】図２の対応修正部における対応点の修正方法の一例を説明するための説明図である。
【図９】図２の対応修正部における対応点の修正方法の一例を説明するための説明図である。
【図１０】図２の対応修正部における対応点の修正方法の一例を説明するための説明図である。
【図１１】図２の対応修正部における対応点の修正方法の一例を説明するための説明図である。
【図１２】図２の画像入力装置の姿勢・並進成分情報及び被写体の三次元形状の算出方法を説明するためのフローチャートである。
【図１３】対応点の検出方法を説明するための説明図である。
【図１４】図２の撮像装置１０の詳細なハードウェア構成図の一例である。
【図１５】図２の画像処理装置２０の詳細なハードウェア構成図の一例である。
【図１６】撮像装置と画像処理装置とを一体化させた画像入力装置の構成を示す図である。
【図１７】実施の形態２にかかる画像入力装置の構成図である。
【図１８】実施の形態３にかかる画像入力装置の構成図である。
【図１９】繰り返しサイクルを実行した回数と対応点と拘束条件である直線との距離の和の差分値の実験結果を示す図である。
【図２０】繰り返しサイクルを実行した回数と対応点と拘束条件である直線との距離の和の差分値の実験結果を示す図である。
【図２１】図１８の画像入力装置の姿勢・並進成分情報の算出方法を説明するためのフローチャートである。
【図２２】図１８の画像入力装置の姿勢・並進成分情報の算出方法を説明するためのフローチャートである。
【図２３】実施の形態４にかかる画像入力装置の構成例を示す図である。
【図２４】図２３の画像入力装置の被写体の三次元形状の演算方法を説明するためのフローチャートである。
【図２５】図２３の画像入力装置の被写体の三次元形状の演算方法を説明するためのフローチャートである。
【図２６】実施の形態５にかかる画像入力装置の構成例を示す図である。
【図２７】図２３の画像入力装置の被写体の三次元形状の演算方法を説明するためのフローチャートである。
【図２８】実施の形態６にかかる画像入力装置の構成例を示す図である。
【図２９】球形の被写体の画像間の対応付けの誤りを説明するための説明図である。
【図３０】角のある被写体の画像間の対応付けの誤りを説明するための説明図である。
【図３１】画像間の対応点の距離を基準にして判定する場合を説明するための説明図である。
【図３２】図２８の画像入力装置の被写体の三次元形状の算出方法を説明するためのフローチャートである。
【符号の説明】
１０　　撮像装置
１１　　撮像部
１２　　姿勢検出部
１３　　第一記録部
１４　　画像及びセンサ情報転送部
２０　　画像処理装置
２１　　対応検出部
２２　　並進成分算出部
２３　　対応修正部
２４　　姿勢及び並進成分算出部
２５　　三次元形状演算部
２６　　姿勢算出部
２７　　第二記録部
３１　　検出領域指定部
３２　　第二対応検出部
３３　　収束信号通知部
３４　　対応点判断部
３５　　収束判断部

Claims (20)

1. 少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
   前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
   前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、
   前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、
   前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
   前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、
   を備えたことを特徴とする画像入力装置。
2. 前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする請求項１に記載の画像入力装置。
3. 前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報に基づいて、前記対応修正手段で修正された対応点の拘束条件を算出し、前記拘束条件の周辺領域を対応点の検出領域として指定する検出領域指定手段と、
   前記検出領域指定手段で指定された検索領域内で再度、対応点の検出を行う第二検出手段と、
   前記第二検出手段で検出された対応点が収束したか否かを判断する収束判断手段と、
   を備え、
   前記姿勢・並進成分算出手段は、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、最終的な前記撮像手段の姿勢・並進成分情報を算出することを特徴とする請求項１に記載の画像入力装置。
4. さらに、前記収束判断手段により収束したと判断された場合の前記第二検出手段で検出された対応点に基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする請求項３に記載の画像入力装置。
5. 少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
   前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
   前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、
   前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、
   前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
   前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、
   前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、
   を備えたことを特徴とする画像入力装置。
6. 前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする請求項５に記載の画像入力装置。
7. 前記対応点切替手段は、使用者の指示に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することを特徴とする請求項５または請求項６に記載の画像入力装置。
8. 前記対応点切替手段は、前記修正された対応点の修正量に基づいて、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を出力することを特徴とする請求項５または請求項６に記載の画像入力装置。
9. 少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
   前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
   前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢・並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、
   前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、
   前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、
   前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
   前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、
   を備えたことを特徴とする画像入力装置。
10. 前記姿勢・並進成分算出手段で算出された姿勢・並進成分情報と、前記対応修正手段で修正された対応点とに基づいて、被写体の三次元形状を演算する三次元形状演算手段を備えたことを特徴とする請求項９に記載の画像入力装置。
11. 前記対応点判断手段は、画像情報の特徴量に基づいて、前記対応検出手段による画像間の対応付けに誤りが多いか否かを判断することを特徴とする請求項９または請求項１０に記載の画像入力装置。
12. 撮像装置と画像処理装置とからなる画像入力装置において、
    前記撮像装置は、
    少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
    前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力するセンサ手段と、
    を有し、
    前記画像処理装置は、
    前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、
    前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
    前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、
    を有することを特徴とする画像入力装置。
13. 撮像装置と画像処理装置とからなる画像入力装置において、
    前記撮像装置は、
    少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
    前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力するセンサ手段と、
    を有し、
    前記画像処理装置は、
    前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
    前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を算出する姿勢検出手段と、
    前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出手段と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
    前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点のいずれか一方を選択して出力する対応点切替手段と、
    前記対応点切替手段から出力される、前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出手段と、
    を有することを特徴とする画像入力装置。
14. 撮像装置と画像処理装置とからなる画像入力装置において、
    前記撮像装置は、
    少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像手段と、
    前記被写体を撮像した際の前記撮像手段の傾きを示すセンサ出力信号を出力するセンサ手段と、
    を有し、
    前記画像処理装置は、
    前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
    前記撮像手段で取得された画像情報に基づいて、前記対応検出手段の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢・並進成分算出手段に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出手段に前記対応点を出力する対応点判断手段と、
    前記センサ手段から出力されるセンサ出力信号に基づいて、前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出手段と、
    前記姿勢情報と前記対応点判断手段から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出手段と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正手段と、
    前記対応検出手段で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出手段と、
    を有することを特徴とする画像入力装置。
15. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像を取得する撮像工程と、
    前記撮像工程で取得された複数の画像のその画像間の対応点を検出する対応検出工程と、
    前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、
    を含むことを特徴とする画像入力方法。
16. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、
    前記撮像手段で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、
    前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、
    前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、
    を含むことを特徴とする画像入力方法。
17. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、
    前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出工程と、
    前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、
    前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応検出工程で検出した対応点または前記対応修正手段で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、
    を含むことを特徴とする画像入力方法。
18. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、
    前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点とに基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、
    をコンピュータが実行するためのプログラム。
19. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、
    前記撮像手段が前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点のいずれか一方を選択して出力する対応点切替工程と、
    前記対応点切替工程で出力される、前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する姿勢・並進成分算出工程と、
    をコンピュータで実行するためのプログラム。
20. 撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して取得された複数の画像情報に基づいて、その画像間の対応点を検出する対応検出工程と、
    撮像手段で少なくとも２箇所以上の視点から同一の被写体を撮像して複数の画像情報を取得する撮像工程と、
    前記撮像工程で取得された複数の画像情報のその画像間の対応点を検出する対応検出手段と、
    前記撮像工程で取得された画像情報に基づいて、前記対応検出工程の画像間の対応付けに誤りが多いか否かを判断し、画像間の対応付けに誤りが少ないと判断した場合には、姿勢及び並進成分算出工程に前記対応点を出力する一方、画像間の対応付けに誤りが多いと判断した場合には、並進成分算出工程に前記対応点を出力する対応点判断工程と、
    前記撮像手段の前記被写体を撮像した際の姿勢を示す姿勢情報を検出する姿勢検出工程と、
    前記姿勢情報と前記対応点判断工程から入力される対応点に基づいて、前記撮像手段の移動方向を示す並進成分情報を算出する前記並進成分算出工程と、
    前記姿勢情報と前記並進成分情報とに基づき前記対応点の拘束条件を算出し、算出した拘束条件に基づいて、前記対応点を修正する対応修正工程と、
    前記対応検出工程で検出した対応点または前記対応修正工程で修正された対応点に基づいて、前記撮像手段の相対的な位置関係を示す姿勢・並進成分情報を算出する前記姿勢・並進成分算出工程と、
    をコンピュータが実行するためのプログラム。

Images