JP2000134537A

JP2000134537A - 画像入力装置及びその方法

Info

Publication number: JP2000134537A
Application number: JP10307034A
Authority: JP
Inventors: Norihiko Murata; 憲彦村田; Takashi Kitaguchi; 貴史北口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-10-28
Filing date: 1998-10-28
Publication date: 2000-05-12

Abstract

(57)【要約】【課題】撮像手段の位置・姿勢の誤差が含まれる場合
でも、精度良く合成画像を作成することが可能な画像入
力装置及びその方法を提供する。【解決手段】任意の距離にある対象平面を任意の視点
・姿勢で多数枚撮影した場合でも、簡単な計算で高精度
に平面の情報を算出することができ、美しい合成画像を
得ることができる。また、順次射影変換画像を作成する
ことにより、検出した画像入力装置の姿勢に多少誤差が
含まれていても継ぎ目のない合成画像を得ることができ
る。更に、射影変換画像を平面算出手段により出力され
た平面に投影することにより、歪みのない合成画像を作
成することができる。特徴点及び対応点の探索範囲が大
幅に縮小されるので、処理時間が大幅に短縮されると共
に、誤った対応点を検出する可能性を少なくして更に精
度良く合成画像を作成することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルスチルカ
メラやデジタルビデオカメラをはじめとする、複数枚の
画像を撮影する画像入力装置及びその画像入力方法に関
するものである。

【０００２】

【従来の技術】従来より普及されている画像入力装置
は、光学系を通過した画像をＣＣＤセンサ等の撮像素子
により光電変換し、さらに光電変換された画像信号をＡ
／Ｄ変換されてメモリカード等の外部記憶装置に保存す
るものであった。このような画像入力装置は、画像をデ
ジタル信号として扱うことができるため、画像の加工・
処理・伝送が手軽に行えるという利点がある。

【０００３】一方、現在看板やパネル等の平面状の文字
や写真を簡便かつ高精度に入力できる装置が求められて
いる。Ａ３程度の大きさの紙面像は複写機やスキャナ等
の装置により簡単に読み込むことができるが、上記画像
入力装置では新聞紙等の大面積の紙面情報やパネル壁に
描かれた情報を読み込むことは不可能である。そこで、
携帯可能な画像入力装置を用いて、これらの大きな被写
体を分割撮影し、得られた複数枚の画像を貼り合わせ
て、高解像度のパノラマ画像を合成するという方法（従
来例１）が現れた。この方法では、互いの画像の一部が
重複するか、またはそれぞれの画像が継ぎ目なく繋がる
ようにして撮影した被写体像を、球面等の投影面に逆投
影して張り合わせることにより、パノラマ画像を合成し
ている。

【０００４】また、従来例２としての特開平７−９５４
６７号公報において、合成する画像間の連続性を良くす
るために、複数の画像入力手段から得られた画像におい
て互いに共通する部分画像を判定し、その部分画像にお
ける対応点対を抽出し、その対応点対の３次元位置から
合成画像を作成してこの合成画像を分割する装置を設け
るという画像処理装置が提案されている。

【０００５】この他、従来例３としての特開平９−３２
２０４０号公報において、被写体を一部が重複するよう
に分割撮影して得られた画像を合成する際に、一連の画
像が遠距離撮影したものか近距離撮影したものかを判別
した結果に基づいて、近距離画像合成と遠距離画像合成
を選択的に切り替えるという画像生成装置が提案されて
いる。詳細には、近距離撮影の場合は画面上における上
下左右の並進と光軸回りの回転角、さらに光軸に沿った
並進による倍率変化に基づき画像を合成し、遠距離撮影
の場合は先に撮影した画像と次に撮影した画像との間の
装置の回転角より画像を合成するというものである。

【０００６】

【発明が解決しようとする課題】しかし、上記従来例１
では、画像入力装置を平行移動させても被写体像が殆ど
変化しないような遠景画像にのみ適用可能であり、近距
離にある被写体像を合成するのには適さない。

【０００７】また、上記従来例２によれば、予め装置に
実装された複数の画像入力手段より得た画像を合成する
ため、使用者の好む撮影条件で被写体を撮影することが
不可能である。また、３次元位置より合成画像を作成す
る技術については全く開示されていない。

【０００８】更に、上記従来例３によれば、近距離撮影
の場合には、装置の光軸回りの回転角（ロール角）しか
考慮されていないため、装置の上下方向の回転角（ピッ
チ角）及び左右方向の回転角（ヨー角）によって画像に
歪みが生じると、画像を継ぎ目なく貼り合わせることは
不可能である。

【０００９】本発明はこれらの問題点を解決するための
ものであり、撮像手段の位置・姿勢の誤差が含まれる場
合でも、精度良く合成画像を作成することが可能な画像
入力装置及びその方法を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は前記問題点を解
決するために、先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢を検出する姿
勢検出手段と、基準画像と重複する部分を持つ画像を参
照画像として、基準画像における複数の特徴点を抽出す
ると共に、参照画像における特徴点と同一の箇所を示す
対応点を検出する対応検出手段と、撮像手段の姿勢、特
徴点及び対応点に基づいて、撮像手段の並進運動を検出
する並進運動検出手段と、撮像手段の姿勢、特徴点、対
応点及び並進運動に基づいて、各特徴点の３次元位置を
算出する３次元位置計測手段と、該３次元位置計測手段
が計測した各特徴点の３次元位置が同一平面上にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、特徴点と対応点の関係、ある
いは撮像手段の姿勢と並進運動と平面の情報に基づい
て、基準画像を参照画像面上に射影変換する射影変換手
段と、撮像手段の姿勢と並進運動、及び投影に使用する
平面の情報に基づいて、各画像を任意の同一平面に投影
して複数の視点から撮像した画像を合成する投影手段と
を有することに特徴がある。

【００１１】また、別の発明において、先に撮像した画
像である基準画像と一部が重複するように複数の視点か
ら対象平面を撮像する撮像手段と、各撮像時の撮像手段
の姿勢及び並進運動を検出する運動検出手段と、基準画
像と重複する部分を持つ画像を参照画像として、基準画
像における複数の特徴点を抽出すると共に、参照画像に
おける特徴点と同一の箇所を示す対応点を検出する対応
検出手段と、撮像手段の姿勢と並進運動、及び特徴点と
対応点に基づいて、各特徴点の３次元位置を算出する３
次元位置計測手段と、該３次元位置計測手段が計測した
各特徴点の３次元位置が同一平面上にあるものとして各
特徴点の３次元位置に適合する平面の情報を算出する平
面算出手段と、特徴点と対応点の関係、あるいは撮像手
段の姿勢と並進運動と平面の情報に基づいて、基準画像
を参照画像面上に射影変換する射影変換手段と、撮像手
段の姿勢と並進運動、及び投影に使用する平面の情報に
基づいて、各画像を任意の同一画像面に投影して複数の
視点から撮像した画像を合成する投影手段とを有するこ
とに特徴がある。

【００１２】よって、上記２つの発明によれば、任意の
距離にある対象平面を任意の視点・姿勢で多数枚撮影し
た場合でも、簡単な計算で高精度に平面の情報を算出す
ることができ、美しい合成画像を得ることができる。ま
た、順次射影変換画像を作成することにより、検出した
画像入力装置の姿勢に多少誤差が含まれていても継ぎ目
のない合成画像を得ることができる。更に、射影変換画
像を平面算出手段により出力された平面に投影すること
により、歪みのない合成画像を作成することができる。

【００１３】更に、姿勢検出手段又は運動検出手段が、
加速度センサ、角速度センサ、磁気センサ、超音波セン
サ、赤外線センサ等のセンサの少なくとも１つを用いて
構成されることにより、画像入力装置の姿勢を単純な計
算で精度良く検出できると共に、美しい合成画像を高速
に作成することができる。

【００１４】また、更なる別の発明として、先に撮像し
た画像である基準画像と一部が重複するように複数の視
点から対象平面を撮像する撮像手段と、各撮像時の前記
撮像手段の姿勢を検出する姿勢検出手段と、参照画像と
重複する部分を持つ画像である複数の特徴点を抽出する
と共に、参照画像における特徴点と同一の箇所を示す対
応点を検出する第１の対応検出手段と、撮像手段の姿
勢、及び特徴点と対応点に基づいて、撮像手段の並進運
動を検出する並進運動検出手段と、撮像手段の姿勢、特
徴点と対応点、及び撮像手段の並進運動に基づいて、各
特徴点の３次元位置を算出する３次元位置計測手段と、
該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、特徴点
と対応点の関係、あるいは撮像手段の姿勢及び並進運動
並びに平面の情報に基づいて、基準画像と参照画像とが
新たに重なる重複部を検出する重複部検出手段と、重複
部における特徴点と対応点を新たに検出する第２の対応
検出手段と、特徴点と対応点の関係、あるいは撮像手段
の姿勢及び並進運動並びに平面の情報に基づいて、基準
画像を参照画像面上に射影変換する射影変換手段と、撮
像手段の姿勢と並進運動、及び投影に使用する平面の情
報に基づいて、各画像を任意の同一画像面に投影して複
数の視点から撮像した画像を合成する投影手段とを有す
ることに特徴がある。よって、特徴点及び対応点の探索
範囲が大幅に縮小されるので、処理時間が大幅に短縮さ
れると共に、誤った対応点を検出する可能性を少なくし
て更に精度良く合成画像を作成することができる。

【００１５】

【発明の実施の形態】先に撮像した画像である基準画像
と一部が重複するように複数の視点から対象平面を撮像
する撮像手段と、各撮像時の前記撮像手段の姿勢を検出
する姿勢検出手段と、基準画像と重複する部分を持つ画
像を参照画像として、基準画像における複数の特徴点を
抽出すると共に、参照画像における特徴点と同一の箇所
を示す対応点を検出する対応検出手段と、撮像手段の姿
勢、特徴点及び対応点に基づいて、撮像手段の並進運動
を検出する並進運動検出手段と、撮像手段の姿勢、特徴
点、対応点及び並進運動に基づいて、各特徴点の３次元
位置を算出する３次元位置計測手段と、該３次元位置計
測手段が計測した各特徴点の３次元位置が同一平面上に
あるものとして各特徴点の３次元位置に適合する平面の
情報を算出する平面算出手段と、特徴点と対応点の関
係、あるいは撮像手段の姿勢と並進運動と平面の情報に
基づいて、基準画像を参照画像面上に射影変換する射影
変換手段と、撮像手段の姿勢と並進運動、及び投影に使
用する平面の情報に基づいて、各画像を任意の同一平面
に投影して複数の視点から撮像した画像を合成する投影
手段とを有する。

【００１６】

【実施例】以下、本発明の実施例について図面に基づい
て説明する。図１は本発明の画像入力装置を用いた撮影
の様子を示す図である。同図からわかるように、画像入
力装置１を用いて、異なる場所、つまり複数の視点１〜
Ｋから同一の対象平面の静止画像を、画像の一部が重複
するように順次撮影する。ここで、視点１で撮影した画
像をＩｍ１、視点２で撮影した画像をＩｍ２などと呼ぶ
ことにする。また、説明を簡単にするため、Ｉｍ１とＩ
ｍ２、Ｉｍ２とＩｍ３のように、隣り合う順序で撮影し
たＩｍｊ（図示せず）とＩｍ（ｊ＋１）（図示せず）と
の間で重複領域を持つと仮定する。

【００１７】図２は、本発明の第１の実施例に係る画像
入力装置の構成を示すブロック図である。同図に示す画
像入力装置１は、主として、撮像手段１１と、撮像手段
１１により得られた画像信号に処理を施す信号処理手段
１２と、信号処理手段１２によって処理された出力が供
給されるメモリ制御手段１３、主制御手段１４及びイン
ターフェース（以下Ｉ／Ｆと略す）１６と、メモリ制御
手段１３の指令により画像信号を蓄積するフレームメモ
リ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表
示手段１７と、Ｉ／Ｆ１６を経由して画像信号をはじめ
とする種々の信号の読み出し／書き込みを行う外部記憶
手段１８とを有する。その他、画像撮影時の画像入力装
置１の姿勢を検出する姿勢検出手段１９と、フレームメ
モリ１５に蓄積された互いに重複する領域を持つ画像間
の特徴点及び対応点を抽出する対応検出手段２０と、姿
勢検出手段１９及び対応検出手段２０からの出力より画
像入力装置１の並進運動を検出する並進運動検出手段２
１と、姿勢検出手段１９、対応検出手段２０及び並進運
動検出手段２１からの出力より各特徴点の３次元位置を
算出する３次元位置計測手段２２と、３次元位置計測手
段２２から出力された各特徴点の３次元位置が適合する
平面の情報を算出する平面算出手段２３と、姿勢検出手
段１９、並進運動検出手段２１及び平面算出手段２３の
出力を基に射影変換を行う射影変換手段２４と、射影変
換手段２４が作成した射影変換画像を記憶する変換画像
記憶手段２５と、姿勢検出手段１９、並進運動検出手段
２１及び平面算出手段２３の出力に基づき、変換画像記
憶手段２５に蓄積された射影変換画像を任意の同一平面
に投影する投影手段２６をも有している。

【００１８】以下、各ブロックの詳細を説明する。撮像
手段１１は、レンズ１１１、絞り１１２、シャッタ１１
３、及び光電変換素子１１４及び前処理手段１１５より
構成されている。光電変換素子１１４には、例えばＣＣ
Ｄ（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）が
使用される。また、前処理手段１１５は、プリアンプや
ＡＧＣ（ａｕｔｏｇａｉｎｃｏｎｔｒｏｌ）等のア
ナログ信号処理やアナログ−デジタル変換器（以下Ａ／
Ｄ変換器と略す）を備えており、光電変換素子１１４よ
り出力されたアナログ映像信号に対して増幅・クランプ
等の前処理を施した後、Ａ／Ｄ変換器により上記アナロ
グ映像信号をデジタル映像信号に変換する。信号処理手
段１２は、デジタル信号処理プロセッサ（以下ＤＳＰプ
ロセッサと略す）等により構成されており、撮像手段１
１より得られたデジタル映像信号に対して色分解、ホワ
イトバランス調整、γ補正等の種々の画像処理を施す。
メモリ制御手段１３は、信号処理手段１２により処理さ
れた画像信号をフレームメモリ１５に格納したり、逆に
フレームメモリ１５に格納された画像信号を読み出す。
フレームメモリ１５は、少なくとも２枚の画像を格納可
能であり、一般的にＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等が
使用される。フレームメモリ１５から読み出された画像
信号の記録は、信号処理手段１２において画像信号に対
して画像圧縮等の信号処理を施した後、Ｉ／Ｆ１６を介
して外部記憶手段１８に保存することによって行われ
る。外部記憶手段１８は、ＩＣメモリカードや光磁気デ
ィスク等が使用できるが、モデムカードやＩＳＤＮカー
ドを利用して、ネットワークを経由して画像信号を直接
遠隔地の記録媒体に送信しても構わない。逆に、外部記
憶手段１８に記録された画像信号の読み出しは、Ｉ／Ｆ
１６を介して信号処理手段１２に画像信号を送信し、信
号処理手段１２において画像伸長を施すことによって行
われる。一方、外部記憶手段１８及びフレームメモリ１
５から読み出された画像信号の表示は、信号処理手段１
２において画像信号に対してデジタル−アナログ変換
（以下Ｄ／Ａ変換と略す）や増幅等の信号処理を施した
後、Ｉ／Ｆ１６を介して表示手段１７に送信することに
よって行われる。表示手段１７は、例えば画像入力装置
１の筐体に設置された液晶表示装置より構成される。

【００１９】次に、姿勢検出手段１９は、基準画像撮影
時と参照画像撮影時における画像入力装置１の姿勢を、
直交する３軸回りの回転角という形式で検出する。ここ
で、基準画像と参照画像を撮影した時の相対的な姿勢が
求まっていればよく、その姿勢は３×３の回転行列で表
される。例えば図３のように、ＸＹＺ座標系に対するｘ
ｙｚ座標系の姿勢を表す回転行列Ｒを、以下のように定
義する。

【００２０】Ｒ＝Ｒ_YＲ_XＲ_Z （１）但し、

【００２１】

【数１】

【００２２】であり、α、β、γはそれぞれＸ軸、Ｙ
軸、Ｚ軸回りの回転角を表す。

【００２３】次に、対応検出手段２０の一例として、互
いに重複した領域を持つ２枚の画像において、相関演算
により対応点を検出する方法について説明する。対応検
出手段２０は、図４のように、特徴点設定手段２０１、
相関演算手段２０２より構成される。図２のフレームメ
モリ１５には、先に撮影した画像（基準画像）と、基準
画像と重複した領域を持つ参照画像が蓄積されている。
そこで、特徴点設定手段２０１は、当該基準画像におい
て、特徴点の位置を決定し、特徴点を中心とする（２Ｎ
＋１）（２Ｐ＋１）の濃淡パターンを抽出して相関窓を
作成する。この特徴点の位置は、角（ｃｏｒｎｅｒ）の
ように画像の濃度パターンが特徴的である箇所を抽出す
ることにより決定される。また、相関演算手段２０２
は、上記基準画像で作成した相関窓の濃淡パターンとほ
ぼ一致する箇所を、上記参照画像において相関演算によ
り検出し、これを対応点と決定する。ここで、相関演算
によるブロックマッチングにより対応点を検出する一例
について説明する。図５のように、（２Ｎ＋１）（２Ｐ
＋１）の相関窓を用いたブロックマッチングで、基準画
像におけるｉ番目の特徴点Ｐ_i（ｘ_i0，ｙ_i0）と、参照
画像における点（ｘ_i0 ＋ｄｘ_i，ｙ_i0＋ｄｙ_i）の相互相
関値Ｓ_iは、次式により計算される。

【００２４】

【数２】

【００２５】ここで、（１１）式における各記号の意味
は以下の通りである。

【００２６】Ｉ_s（ｘ，ｙ）：基準画像の点（ｘ，ｙ）における濃度Ｉ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）における濃度ＭＩ_s（ｘ，ｙ）：基準画像の点（ｘ，ｙ）を中心とす
る（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度ＭＩ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）を中心とす
る（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度Ｋ：定数

【００２７】各特徴点Ｐiに対して、相互相関値Ｓ_iの最
大値が予め定められた閾値以上である点を求めることに
より、参照画像における対応点（ｘ_i0＋ｄｘ_i，ｙ_i0＋
ｄｙ_i ）が求められる。Ｓ_iの最大値が閾値以下ならば、
対応点は存在しないとする。

【００２８】また、並進運動検出手段２１は、撮像手段
１１の光学系の焦点距離ｆ、姿勢検出手段１９により検
出された姿勢情報、及び基準画像における特徴点と参照
画像における対応点の組より、以下のような処理を行う
ことにより画像入力装置１の並進運動成分を求める。ま
ず、基準画像における特徴点及び参照画像における対応
点に対して、ワールド座標系を基準とした視線ベクトル
を算出する。撮像手段１１の光学系は図６のように、

【００２９】ｘ軸：画像面右向きを正ｙ軸：画像面下向きを正ｚ軸：光軸方向；対象に向かう向きを正原点０：撮像手段１１の光学中心ｆ：焦点距離

【００３０】とする中心射影モデルであると仮定する。
以下、このｘｙｚ座標系を撮像座標系と呼ぶ。すると、
画像上の点（ｘ，ｙ）に対する単位視線ベクトルｐは、
以下のように求められる。

【００３１】

【数３】

【００３２】但し（４）式のｐは、撮像座標系を基準と
した視線ベクトルである。例えば図７のように、基準画
像における特徴点（ｘ_s，ｙ_s）と参照画像における対応
点（ｘ_r，ｙ_r）に対しては、以下の単位視線ベクトルが
算出される。

【００３３】

【数４】

【００３４】但し、（５），（６）式において、ｐ_sは
基準画像における撮像座標系を基準とした単位視線ベク
トル、ｐ_rは参照画像における撮像座標系を基準とした
単位視線ベクトルであり、基準とする座標系が異なって
いる。そのため、ｐ_rを基準画像に置ける撮像座標系を
基準とした視線ベクトルに変換する必要があるが、これ
には基準画像撮影時に対する参照画像撮影時の姿勢（す
なわち（１）式の回転行列）を必要とする。しかし、回
転行列Ｒは姿勢検出手段１９により求められるため、こ
れを用いてｐ_rは、基準画像撮影時の座標系を基準とし
た視線ベクトルｐ_r’に変換される。すなわち、

【００３５】ｐ_r’＝Ｒｐ_r （７）

【００３６】である。以上で求められた特徴点及び対応
点の基準画像撮影時の座標系を基準とした視線ベクトル
群より、撮像手段１１の並進運動を算出する。例えば図
７において、視線ベクトルｐ_s、ｐ_r’が対応関係にある
とすると、ｐ_s、ｐ_r’、並進運動を示す単位ベクトルｔ
の３つのベクトルは同一平面上に存在する。これを式で
表すと、以下のスカラ３重積の数式で表される。

【００３７】（ｐ_s×ｔ，ｐ_r’）＝０（８）

【００３８】従って、（８）式を満たすベクトルｔが並
進運動ベクトルであるが、通常画像のノイズ等の影響に
より、（８）式は全ての特徴点の視線ベクトルｐ
_s,i（ｉ＝１，・・・，Ｎ）と、対応点の視線ベクトル
ｐ_r,i'（ｉ＝１，・・・，Ｎ）に対しては成立しない。
そこで、以下のスカラ３重積の絶対値の総和を最小化す
るｔを求めればよい。

【００３９】

【数５】

【００４０】以上の計算より、基準画像撮影時から参照
画像撮影時に至る画像入力装置１の並進運動を求めるこ
とができる。但し、並進運動の絶対値を求めることはで
きないため、並進運動ベクトルｔの大きさを１とする。

【００４１】次に、３次元位置計測手段２２は、特徴点
と対応点に対する視線ベクトルＰ_s, _i、Ｐ_r,i、及び並進
運動検出手段２１より求められた並進運動ベクトルを用
いて、三角測量の原理により各特徴点の３次元位置（Ｘ
_i，Ｙ_i，Ｚ_i）を計算する。

【００４２】また、平面算出手段２３は、対応検出手段
２０が検出した各特徴点が同一平面上にあるものとし
て、３次元位置計測手段２２が算出した各特徴点の３次
元位置（Ｘ_i，Ｙ_i，Ｚ_i）に基づいて、平面の情報を算
出する。具体的には、求める平面のワールド座標系を基
準にした方程式を、

【００４３】ａＸ＋ｂＸ＋ｃＺ＋ｄ＝０（ａ²＋ｂ²＋ｃ²＝１）（１０）

【００４４】とおき、（Ｘ_i，Ｙ_i，Ｚ_i）を用いてより
平面の情報である４つのパラメータ（ａ，ｂ，ｃ，ｄ）
を、例えば最小自乗法により算出する。

【００４５】更に、射影変換手段２４は、対応検出手段
２０より出力された特徴点と対応点との関係、また平面
算出手段２３より出力された平面情報を基に、基準画像
を参照画像に射影変換する。ここで、射影変換とは、図
７のように、ある対象平面を撮影した時に、基準画像に
おける特徴点（ｘ_s，ｙ_s）と参照画像における対応点
（ｘ_r，ｙ_r）の間に、次式の関係が成立することを指
す。

【００４６】

【数６】

【００４７】この（１１）式の係数ｂ₁〜ｂ₈は、その間
の撮像装置１１の姿勢Ｒ、並進運動ベクトルｔ及び平面
の情報により求めることができる。その方法を以下説明
する。今、姿勢を表す回転行列Ｒ及び並進運動ベクトル
ｔの各要素を、それぞれ

【００４８】

【数７】

【００４９】とすると、基準画像において（５）式で表
される点に対応する、（１０）式で表される対象平面上
の点ｐの空間座標Ｐは、次式で表される。

【００５０】

【数８】

【００５１】Ｐは点ｐを基準画像撮影時の装置座標系を
基準にしたベクトルであるが、これを参照画像撮影時の
装置座標系を基準に表した空間座標Ｐ’は以下のように
なる。

【数９】

【００５２】従って、撮像手段１１の光学系が図６のよ
うな中心射影モデルの場合、参照画像における対応点
（ｘ_r，ｙ_r）と空間座標Ｐ’との間に、以下の関係が成
立する。

【００５３】

【数１０】

【００５４】（１５）式と（１６）式を整理すると、以
下のようになる。

【００５５】

【数１１】

【００５６】但し、ａ₁＝ｆ｛Ｒ₁₁ｄ＋ａ（Ｒ₁₁ｔ_x＋Ｒ₂₁ｔ_y＋Ｒ₃₁ｔ_z）｝（１８）ａ₂＝ｆ｛Ｒ₂₁ｄ＋ｂ（Ｒ₁₁ｔ_x＋Ｒ₂₁ｔ_y＋Ｒ₃₁ｔ_z）｝（１９）ａ₃＝ｆ｛Ｒ₃₁ｄ＋ｃ（Ｒ₁₁ｔ_x＋Ｒ₂₁ｔ_y＋Ｒ₃₁ｔ_z）｝（２０）ａ₄＝ｆ｛Ｒ₁₂ｄ＋ａ（Ｒ₁₂ｔ_x＋Ｒ₂₂ｔ_y＋Ｒ₃₂ｔ_z）｝（２１）ａ₅＝ｆ｛Ｒ₂₂ｄ＋ｂ（Ｒ₁₂ｔ_x＋Ｒ₂₂ｔ_y＋Ｒ₃₂ｔ_z）｝（２２）ａ₆＝ｆ｛Ｒ₃₂ｄ＋ｃ（Ｒ₁₂ｔ_x＋Ｒ₂₂ｔ_y＋Ｒ₃₂ｔ_z）｝（２３）ａ₇＝Ｒ₁₃ｄ＋ａ（Ｒ₁₃ｔ_x＋Ｒ₂₃ｔ_y＋Ｒ₃₃ｔ_z）（２４）ａ₈＝Ｒ₂₃ｄ＋ｂ（Ｒ₁₃ｔ_x＋Ｒ₂₃ｔ_y＋Ｒ₃₃ｔ_z）（２５）ａ₉＝Ｒ₃₃ｄ＋ｃ（Ｒ₁₃ｔ_x＋Ｒ₂₃ｔ_y＋Ｒ₃₃ｔ_z）（２６）

【００５７】（１７）式の分母と分子をそれぞれａ₉ｆ
で割ると、（１１）式及び係数ｂ₁〜ｂ₈が得られる。

【００５８】以上の手順で、係数ｂ₁〜ｂ₈が得られれ
ば、基準画像に写った被写体像を参照画像撮影時の見え
方に変換して、図８のように参照画像に貼り付けること
ができる。こうして得られた画像を、射影変換画像と呼
ぶことにする。

【００５９】以上では２視点から撮影した場合の射影変
換画像の作成法を説明したが、反復処理により射影変換
画像を順次作成することができる。以下、Ｉｍ１〜Ｉｍ
（ｊ−１）を、Ｉｍｊに対して射影変換した画像を、Ｐ
Ｉｍｊ（１≦ｊ≦Ｋ、但しＰＩｍ１＝Ｉｍ１とする）と
呼ぶことにする。ＰＩｍｊにおいて、Ｉｍ１〜Ｉｍ（ｊ
−１）に写った被写体像はそれぞれ、Ｉｍｊ撮像時の見
え方に変換されて、Ｉｍｊに貼り付けられている。ＰＩ
ｍｊを作成する反復処理を、以下に示す。

【００６０】ｊ＝２，・・・，Ｋについて、以下の処理
を繰り返す。

【００６１】ＰＩｍ（ｊ−１）を基準画像、Ｉｍｊを
参照画像とする。基準画像において特徴点を抽出し、参照画像において
対応点を検出する。Ｉｍ（ｊ−１）とＩｍｊを撮影した時の画像入力装置
１の姿勢、及び特徴点と対応点を用いて、並進運動ベク
トルを計算する。三角測量の原理に基づき、上記姿勢と上記並進運動ベ
クトルより、各特徴点の３次元位置を計算する。各特徴点の３次元位置を基に、（１０）式における４
つのパラメータ（ａ，ｂ，ｃ，ｄ）を計算する。（１１）式の係数ｂ₁〜ｂ₈を求め、ＰＩｍ（ｊ−１）
をＩｍｊに対して射影変換してＰＩｍｊを作成する。ｊを１つ加算して、に戻る。

【００６２】以上の反復処理によって、最終的にはＩｍ
１〜Ｉｍ（Ｋ−１）をＩｍＫに射影変換した画像ＰＩｍ
Ｋが得られる。

【００６３】投影手段２６は、変換画像記憶手段２５に
保存されたＰＩｍＫを、任意に平面に向かって投影する
ことにより画像を合成する。ここで、平面算出手段２３
が出力した平面に向かってＰＩｍＫを投影すれば歪みの
ない合成画像を得ることができるが、任意の平面に投影
することができるので被写体平面を様々な角度からみた
画像を合成可能である。作成された合成画像は、別途設
けた記憶手段（図示せず）に保存されたり、図２の表示
手段１７に表示される。

【００６４】次に、第１の実施例の画像入力装置の動作
について、図９に示す動作フローにより説明する。ま
ず、撮像手段１１により入力対象平面を撮影し、この画
像を基準画像として記憶すると同時に、撮影時の画像入
力装置１の姿勢を検出する（ステップＳ１０１）。続い
て、基準画像と一部が重複するように視点及び画像入力
装置１の姿勢を変化させて撮像手段１１により入力対象
平面を撮影し、この画像を参照画像として記憶すると同
時に、撮影時の画像入力装置１の姿勢を検出する（ステ
ップＳ１０２）。基準画像において特徴点を抽出すると
共に、参照画像において該特徴点と同じ箇所を示す対応
点を検出する（ステップＳ１０３）。このようにして得
られた特徴点ｐ_sと上述の（７）式を用いて基準画像撮
像時の座標系を基準とした対応点の視線ベクトルＰ_r’
を用いて、（９）式により画像入力装置１の並進運動ベ
クトルｔを求める（ステップＳ１０４）。その並進運動
ベクトルｔと視線ベクトルＰ_s、Ｐ_r’とを用いて、基準
画像撮影時の視点を原点として、三角測量の原理で各特
徴点に対する３次元位置を計算し（ステップＳ１０
５）、この３次元位置に最もよく適合する平面の方程式
を計算する（ステップＳ１０６）。こうして得られた画
像入力装置１の姿勢と並進運動ベクトル、及び平面方程
式を基に、先に説明した方法で基準画像を参照画像に対
して射影変換した画像を作成する（ステップＳ１０
７）。その後、さらに画像を撮影して合成する画像を増
やす場合には（ステップＳ１０８）、以上の処理で作成
した射影変換画像を基準画像に置き換えて（ステップＳ
１０９）、ステップＳ１０２からステップＳ１０７の動
作を繰り返す。そうでない場合には、最後に作成した射
影変換画像を、ある平面に対して投影することにより合
成画像を作成し（ステップＳ１１０）、処理を終了す
る。

【００６５】図１０は本発明の第２の実施例に係る画像
入力装置の構成を示すブロック図であり、図１１は本実
施例の動作を示すフローチャートである。図１０におい
て、画像入力装置１は、撮像手段１１と、撮像手段１１
により得られた画像信号に処理を施す信号処理手段１２
と、信号処理手段１２の出力が供給されるメモリ制御手
段１３、主制御手段１４及びＩ／Ｆ１６と、メモリ制御
手段１３の指令により画像信号を蓄積するフレームメモ
リ１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表
示手段１７と、Ｉ／Ｆ１６を経由して画像信号をはじめ
とする種々の信号の読み出し／書き込みを行う外部記憶
手段１８とを有する。その他、画像撮影時の画像入力装
置１の位置と姿勢を検出する運動検出手段２７と、フレ
ームメモリ１５に蓄積された互いに重複する領域を持つ
画像間の特徴点及び対応点を抽出する対応検出手段２０
と、運動検出手段２７及び対応検出手段２０の出力より
各特徴点の３次元位置を算出する３次元位置計測手段２
２と、３次元位置計測手段２２の出力した特徴点の３次
元位置が適合する平面の情報を算出する平面算出手段２
３と、運動検出手段２７及び平面算出手段２３の出力を
基に射影変換を行う射影変換手段２４と、射影変換手段
２４が作成した射影変換画像を記憶する変換画像記憶手
段２５と、運動検出手段２７及び平面算出手段２３の出
力に基づき、変換画像記憶手段２５に蓄積された射影変
換画像を任意の同一平面に投影する投影手段２６をも有
している。また、撮像手段１１、信号処理手段１２、メ
モリ制御手段１３、主制御手段１４、フレームメモリ１
５、Ｉ／Ｆ１６、表示手段１７、外部記憶手段１８、対
応検出手段２０、３次元位置計測手段２２、平面算出手
段２３、射影変換手段２４、変換画像記憶手段２５及び
投影手段２６の動作は、第１の実施例と同様であるの
で、説明を省略する。ここでは、運動検出手段２７の動
作について説明する。

【００６６】運動検出手段２７は、基準画像撮影時と参
照画像撮影時との間における画像入力装置１の並進運動
ベクトルと姿勢を検出するものであり、例えば加速度セ
ンサ、角速度センサ、磁気センサ、超音波センサ、赤外
線センサ等を、単独または併用して構成することができ
る。加速度センサを使用する場合は、既に説明したよう
に重力加速度の向きを検知することにより画像入力装置
１の傾斜を知ることができるほか、画像入力装置１を視
点間で移動させる過程で生じる加速度成分を積分するこ
とにより並進運動ベクトルを算出することができる。磁
気センサを使用する場合は、既に説明したように地磁気
を３軸方向で検出して画像入力装置１の方位を算出する
ことにより姿勢を検出することができる。また、人工的
に発生させた磁場の強弱や向きより画像入力装置１の位
置と姿勢を同時に検出することも可能である。超音波セ
ンサを使用する場合は、例えば画像入力装置１を使用す
る環境内に超音波を発生する発信部を、また装置側に超
音波センサを設置して、受信した超音波の強弱や位相差
より画像入力装置１の位置と姿勢を検出することができ
る。赤外線センサを使用する場合は、例えば画像入力装
置１を使用する環境内に赤外線スポット光を照射する装
置と、ＰＳＤ（ｐｏｓｉｔｉｏｎｓｅｎｓｉｔｉｖｅ
ｄｅｔｅｃｔｏｒ）やＣＣＤ等の光電変換素子を設置
して、画像入力装置１に照射された赤外線スポット光の
反射光を光電変換素子で検出することにより、三角測量
の原理で画像入力装置１までの距離を算出することがで
きる。この反射光を３点以上で検出することにより、位
置及び姿勢を検出することができる。

【００６７】以上の処理により検出された画像入力装置
１の並進運動ベクトルと、特徴点及び対応点により、３
次元位置計測手段２２において、各特徴点に対する３次
元位置を算出し、その３次元位置を用いて平面算出手段
２３において（１０）式の４つのパラメータ（ａ，ｂ，
ｃ，ｄ）を算出する。これらの情報を用いて順次射影変
換画像を作成し、投影手段２６において先に説明した方
法で射影変換画像ＰＩｍＫを任意の平面に投影し、合成
画像を作成する。

【００６８】次に、第２の実施例の画像入力装置の動作
について、図１１に基づいて説明する。まず、撮像手段
１１により入力対象平面を投影し、この画像を基準画像
として記憶すると同時に、撮影時の画像入力装置１の位
置及び姿勢を検出する（ステップＳ２０１）。続いて、
基準画像と一部が重複するように視点及び画像入力装置
１の姿勢を変化させて撮像手段１１により入力対象平面
を撮影し、この画像を参照画像として記憶すると同時
に、撮影時の画像入力装置１の位置及び姿勢を検出する
（ステップＳ２０２）。基準画像において特徴点を抽出
すると共に、参照画像において該特徴点と同じ箇所を示
す対応点を検出する（ステップＳ２０３）。このように
して得られた特徴点の視線ベクトルｐ_sと（７）式を用
いて基準画像撮像時の座標系を基準とした対応点の視線
ベクトルＰ_r’、及びそれぞれの画像を撮影した時の画
像入力装置１の位置を用いて、三角測量の原理で各特徴
点に対する３次元位置を計算し（ステップＳ２０４）、
この３次元位置に最もよく適合する平面の方程式を計算
する（ステップＳ２０５）。こうして得られた画像入力
装置１の姿勢と並進運動ベクトル、及び平面方程式を基
に、先に説明した方法で基準画像を参照画像に対して射
影変換した画像を作成する（ステップＳ２０６）。その
後、さらに画像を撮影して合成する画像を増やす場合に
は（ステップＳ２０７）、以上の処理で作成した射影変
換画像を基準画像に置き換えて（ステップＳ２０８）、
ステップＳ２０２からステップＳ２０６の動作を繰り返
す。そうでない場合には処理、最後に作成した射影変換
画像を、ある平面に対して投影することにより合成画像
を作成し（ステップＳ２０９）、処理を終了する。

【００６９】次に、本発明の第３の実施例に係る画像入
力装置の構成及び動作を説明する。画像入力装置１の構
成は、第１の実施例と同様である。また、各手段の動作
は、第１の実施例とほぼ同様であり、異なる構成である
姿勢検出手段１９の構成及び動作について説明するもの
とする。

【００７０】姿勢検出手段１９は、画像入力装置１の姿
勢を検出する素子として、加速度センサ、角速度セン
サ、磁気センサ等を単独または併用するという形態を取
り得るが、ここでは姿勢検出手段１９の構成を示す図１
２のように、互いに直交する３軸方向の重力加速度を検
知する３軸加速度センサ１９１、その３軸方向の地磁気
を検出する３軸磁気センサ１９２、センサ信号処理手段
１９３及び姿勢算出手段１９４より構成された場合の動
作を説明する。

【００７１】まず、図１３のような座標系を定義する。ｘ軸：東向きを正ｙ軸：重力加速度の向きを正ｚ軸：磁気の向き（北向き）を正原点０：基準画像を撮影した時の視点位置

【００７２】以下、このｘｙｚ座標系をワールド座標系
と呼ぶ。ここで、磁場は地磁気以外に存在しないと仮定
する。

【００７３】次に、図１２の各ブロックの動作を説明す
る。３軸加速度センサ１９１は重力加速度のｘ軸、ｙ
軸、ｚ軸成分を、３軸磁気センサ１９２は地磁気のｘ
軸、ｙ軸、ｚ軸成分を検出するように設置されている。
これらのセンサ信号はセンサ信号処理手段１９３におい
て、フィルタリングや増幅等の信号処理や、Ａ／Ｄ変換
が行われ、姿勢算出手段１９４に送られる。

【００７４】そして、姿勢算出手段１９４は、処理済み
センサ信号より画像入力装置１の姿勢を算出する。画像
入力装置１の姿勢は、ワールド座標系を基準とした装置
座標系の姿勢であり、（１）式の回転行列で記述する。
今、重力加速度ベクトルと地磁気ベクトルが、ワールド
座標系においてそれぞれ

【００７５】

【数１２】

【００７６】と表され、また３軸加速度センサ、３軸磁
気センサにより検出された、装置座標系を基準とした加
速度ベクトル、地磁気ベクトルをそれぞれ

【００７７】

【数１３】

【００７８】とする。以上のｇとａ、及びＭとｍの関係
は、回転行列Ｒを用いて以下の数式で記述される。

【００７９】Ｒａ＝ｇ（２９）Ｒｍ＝Ｍ（３０）

【００８０】（２９）式より、Ｘ軸回りの回転角αとＺ
軸回りの回転角γが計算される。

【００８１】

【数１４】

【００８２】（３１）式、（３２）式で求めたαとγを
利用して、地磁気ベクトルｍからＹ軸回りの回転角βが
次のようにして計算される。

【００８３】

【数１５】

【００８４】但し、

【００８５】

【数１６】

【００８６】である。以上の計算により、α、β、γ及
び回転行列Ｒを、３軸加速度センサ及び３軸磁気センサ
の検出値より算出し、ワールド座標系に対する画像入力
装置１の姿勢を記述することができる。なお、説明は省
略するが、３軸加速度センサと３軸角速度センサを使用
した場合でも、画像入力装置１の姿勢を算出することが
できる。

【００８７】次に、図１４は本発明の第４の実施例に係
る画像入力装置の構成を示すブロック図であり、図１６
は第４の実施例の動作を示すフローチャートである。上
述の第１及び第２の実施例において、ＰＩｍ（ｊ−１）
を基準画像、Ｉｍｊを参照画像として、特徴点及び対応
点をそれぞれ検出することにより射影変換画像ＰＩｍｊ
を逐次作成すると説明したが、隣合う画像対（Ｉｍ（ｊ
−１）とＩｍｊ）で特徴点及び対応点を先に求めてから
射影変換画像を逐次作成しても構わない。この画像入力
装置１は、例えば図１４のように、撮像手段１１と、撮
像手段１１により得られた画像信号に処理を施す信号処
理手段１２と、信号処理手段１２の出力が供給されるメ
モリ制御手段１３、主制御手段１４及びＩ／Ｆ１６と、
メモリ制御手段１３の指令により画像信号を蓄積するフ
レームメモリ１５と、Ｉ／Ｆ１６を経由して画像信号を
表示する表示手段１７と、Ｉ／Ｆ１６を経由して画像信
号をはじめとする種々の信号の読み出し／書き込みを行
う外部記憶手段１８とを有する。その他、画像撮影時の
画像入力装置１の姿勢を検出する姿勢検出手段１９と、
フレームメモリ１５に蓄積された互いに重複する領域を
持つ画像間の特徴点及び対応点を抽出する第１対応検出
手段２８と、画像入力装置１の並進運動を検出する並進
運動検出手段２１と、各特徴点の３次元位置を算出する
３次元位置計測手段２２と、３次元位置計測手段２２の
出力した特徴点の３次元位置が適合する平面の情報を算
出する平面算出手段２３と、姿勢検出手段１９及び第１
対応検出手段２８の出力を基に算出された並進運動ベク
トル並びに平面の情報を基に、基準画像と参照画像との
重複する領域を検出する重複部検出手段２９が出力した
重複領域において新たに特徴点と対応点を検出する第２
対応検出手段３０と、姿勢検出手段１９の出力及び第２
対応検出手段３０の出力を基に算出された並進運動ベク
トル並びに平面の情報を基に射影変換を行う射影変換手
段２４と、当該射影変換手段２４が作成した射影変換画
像を記憶する変換画像記憶手段２５と、姿勢検出手段１
９、並進運動検出手段２１及び平面算出手段２３の出力
に基づき、変換画像記憶手段２５に蓄積された射影変換
画像を任意の平面に投影する投影手段２６をも有してい
る。撮像手段１１、信号処理手段１２、メモリ制御手段
１３、主制御手段１４、フレームメモリ１５、Ｉ／Ｆ１
６、表示手段１７、外部記憶手段１８、姿勢検出手段１
９、並進運動検出手段２１、３次元位置計測手段２２、
平面算出手段２３、射影変換手段２４、変換画像記憶手
段２５及び投影手段２６の動作は、第１の実施例と同様
であるので、説明を省略する。ここでは、第１対応検出
手段２８、重複部検出手段２９、第２対応検出手段３０
の動作について説明する。

【００８８】はじめに、射影変換画像ＰＩｍ（ｊ−１）
を基準画像、また画像Ｉｍｊを参照画像とすると、第１
対応検出手段２８は、参照画像の１つ前に撮影した画像
Ｉｍ（ｊ−１）において特徴点を抽出し、画像Ｉｍｊに
おいて対応点を検出する。対応点は、例えば（３）式で
示した相互相関値Ｓ_iにより決定される。上記第１対応
検出手段２８の出力は、後段の並進運動検出手段２１、
３次元位置計測手段２２に送られ、それぞれ並進運動ベ
クトル、特徴点の３次元位置が算出される。また、この
３次元位置より平面算出手段２３において、（１０）式
の平面のパラメータ（ａ，ｂ，ｃ，ｄ）が求められる。

【００８９】重複部検出手段２９は、射影変換画像ＰＩ
ｍと画像Ｉｍｊとが新たに重なる領域を検出する。例え
ば図１５のように、ＰＩｍ３を基準画像、Ｉｍ４を参照
画像とした場合、斜め左下斜線で示した領域を検出す
る。重なり領域は、上述の社遺影変換手段２４と同様な
方法であって、画像Ｉｍ（ｊ−１）における特徴点と画
像Ｉｍｊにおける対応点の関係、並進運動ベクトル、及
び平面のパラメータ（ａ，ｂ，ｃ，ｄ）を基に計算した
（１１）式の係数ｂ₁〜ｂ₈を用いて、ＰＩｍ（ｊ−１）
の任意の点をＩｍｊに写像することにより検出される。
すなわち、写像後の画素の位置がＩｍｊ内であれば、そ
の部分は重なり領域と判定される。ここで重なり領域と
判定された領域のうち、参照画像の１つ前に撮影した画
像（Ｉｍ３）と重なる領域においては、既に第１対応検
出手段により特徴点と対応点の検出が行われているの
で、参照画像Ｉｍ４がＩｍ３以外の画像と重なる領域
（図１５中斜め右下斜線で示した領域）を新たな領域と
して検出する。

【００９０】第２対応検出手段３０は、上記新たな重な
り領域において、新たな特徴点と対応点を検出する。こ
こで、重なり領域の検出の際にＰＩｍ（ｊ−１）の特徴
点がＩｍｊにおいて写像される位置が計算済みであるの
で、対応点の探索範囲を非常に狭くすることが可能であ
る。

【００９１】その後は、第１対応検出手段２８が検出し
た特徴点と対応点の組と、第２対応検出手段３０が検出
した特徴点と対応点の組とを用いて、後段の並進運動検
出手段２１、３次元位置計測手段２２、平面算出手段２
３、射影変換手段２４において、（１１）式の係数ｂ₁
〜ｂ₈を再計算することにより、射影変換画像ＰＩｍｊ
が作成される。この処理を反復して射影変換画像ＰＩｍ
Ｋを作成し、投影手段２６において先に説明した方法で
ＰＩｍＫを任意の平面に投影することにより、合成画像
を作成する。

【００９２】次に、第４の実施例の画像入力装置の動作
について、図１６に基づいて説明する。まず、撮像手段
１１により入力対象平面を投影し、この画像を基準画像
として記憶すると同時に、撮影時の画像入力装置１の姿
勢を検出する（ステップＳ３０１）。続いて、基準画像
と一部が重複するように視点を変化させて撮像手段１１
により入力対象平面を撮影し、この画像を参照画像とし
て記憶すると同時に、撮影時の画像入力装置１の姿勢を
検出する（ステップＳ３０２）。参照画像の１つ前に撮
影した画像において第１の特徴点を抽出すると共に、参
照画像において該特徴点と同じ個所を示す対応点を検出
する（ステップＳ３０３）。このようにして得られた特
徴点と対応点を用いて、先に説明した方法で（１１）式
の係数ｂ₁〜ｂ₈を計算し（ステップＳ３０４）、基準画
像と参照画像との新たな重なり領域を検出する（ステッ
プＳ３０５）。ここで新たな重なり領域が存在した場合
（ステップＳ３０６）、重なり領域において第２の特徴
点と対応点を検出し（ステップＳ３０７）、ステップＳ
３０３とステップＳ３０７で検出した第１及び第２の特
徴点と対応点の組を用いて、（１１）式の係数ｂ₁〜ｂ₈
を再計算して（ステップＳ３０８）、射影変換画像を作
成する（ステップＳ３０９）。ステップＳ３０６にて新
たな重なり領域が存在しなかった場合には、ステップＳ
４で算出した係数ｂ₁〜ｂ₈を用いて射影変換画像を作成
する。その後、更に画像を撮影して合成する画像を増や
す場合には（ステップＳ３１０）、以上の処理で作成し
た射影変換画像を基準画像に置き換えて（ステップＳ３
１１）、ステップＳ３０２からステップＳ３０９の動作
を繰り返す。そうでない場合には、最後に作成した射影
変換画像を、ある平面に対して投影することにより合成
画像を作成し（ステップＳ３１２）、処理を終了する。

【００９３】なお、上述の各実施例の説明は、本発明の
一例を説明したにすぎない。例えば、対応検出手段１９
において濃度マッチングにより対応点を検出すると説明
したが、時空間微分法など別の方法で行っても構わな
い。また、画像入力装置１の姿勢・並進運動ベクトルと
平面の情報により射影変換画像を作成すると説明した
が、４組以上の特徴点と対応点の関係から（１１）式の
係数ｂ₁〜ｂ₈を求めて射影変換画像を作成しても構わな
い。

【００９４】本発明は上記各実施例に限定されるもので
はなく、特許請求の範囲内の記載であれば、各種変形や
置換可能であることは言うまでもない。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
先に撮像した画像である基準画像と一部が重複するよう
に複数の視点から対象平面を撮像する撮像手段と、各撮
像時の前記撮像手段の姿勢を検出する姿勢検出手段と、
基準画像と重複する部分を持つ画像を参照画像として、
基準画像における複数の特徴点を抽出すると共に、参照
画像における特徴点と同一の箇所を示す対応点を検出す
る対応検出手段と、撮像手段の姿勢、特徴点及び対応点
に基づいて、撮像手段の並進運動を検出する並進運動検
出手段と、撮像手段の姿勢、特徴点、対応点及び並進運
動に基づいて、各特徴点の３次元位置を算出する３次元
位置計測手段と、該３次元位置計測手段が計測した各特
徴点の３次元位置が同一平面上にあるものとして各特徴
点の３次元位置に適合する平面の情報を算出する平面算
出手段と、特徴点と対応点の関係、あるいは撮像手段の
姿勢と並進運動と平面の情報に基づいて、基準画像を参
照画像面上に射影変換する射影変換手段と、撮像手段の
姿勢と並進運動、及び投影に使用する平面の情報に基づ
いて、各画像を任意の同一平面に投影して複数の視点か
ら撮像した画像を合成する投影手段とを有することに特
徴がある。

【００９６】また、別の発明において、先に撮像した画
像である基準画像と一部が重複するように複数の視点か
ら対象平面を撮像する撮像手段と、各撮像時の撮像手段
の姿勢及び並進運動を検出する運動検出手段と、基準画
像と重複する部分を持つ画像を参照画像として、基準画
像における複数の特徴点を抽出すると共に、参照画像に
おける特徴点と同一の箇所を示す対応点を検出する対応
検出手段と、撮像手段の姿勢と並進運動、及び特徴点と
対応点に基づいて、各特徴点の３次元位置を算出する３
次元位置計測手段と、該３次元位置計測手段が計測した
各特徴点の３次元位置が同一平面上にあるものとして各
特徴点の３次元位置に適合する平面の情報を算出する平
面算出手段と、特徴点と対応点の関係、あるいは撮像手
段の姿勢と並進運動と平面の情報に基づいて、基準画像
を参照画像面上に射影変換する射影変換手段と、撮像手
段の姿勢と並進運動、及び投影に使用する平面の情報に
基づいて、各画像を任意の同一画像面に投影して複数の
視点から撮像した画像を合成する投影手段とを有するこ
とに特徴がある。

【００９７】よって、上記２つの発明によれば、任意の
距離にある対象平面を任意の視点・姿勢で多数枚撮影し
た場合でも、簡単な計算で高精度に平面の情報を算出す
ることができ、美しい合成画像を得ることができる。ま
た、順次射影変換画像を作成することにより、検出した
画像入力装置の姿勢に多少誤差が含まれていても継ぎ目
のない合成画像を得ることができる。更に、射影変換画
像を平面算出手段により出力された平面に投影すること
により、歪みのない合成画像を作成することができる。

【００９８】更に、姿勢検出手段又は運動検出手段が、
加速度センサ、角速度センサ、磁気センサ、超音波セン
サ、赤外線センサ等のセンサの少なくとも１つを用いて
構成されることにより、画像入力装置の姿勢を単純な計
算で精度良く検出できると共に、美しい合成画像を高速
に作成することができる。

【００９９】また、更なる別の発明として、先に撮像し
た画像である基準画像と一部が重複するように複数の視
点から対象平面を撮像する撮像手段と、各撮像時の前記
撮像手段の姿勢を検出する姿勢検出手段と、参照画像と
重複する部分を持つ画像である複数の特徴点を抽出する
と共に、参照画像における特徴点と同一の箇所を示す対
応点を検出する第１の対応検出手段と、撮像手段の姿
勢、及び特徴点と対応点に基づいて、撮像手段の並進運
動を検出する並進運動検出手段と、撮像手段の姿勢、特
徴点と対応点、及び撮像手段の並進運動に基づいて、各
特徴点の３次元位置を算出する３次元位置計測手段と、
該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、特徴点
と対応点の関係、あるいは撮像手段の姿勢及び並進運動
並びに平面の情報に基づいて、基準画像と参照画像とが
新たに重なる重複部を検出する重複部検出手段と、重複
部における特徴点と対応点を新たに検出する第２の対応
検出手段と、特徴点と対応点の関係、あるいは撮像手段
の姿勢及び並進運動並びに平面の情報に基づいて、基準
画像を参照画像面上に射影変換する射影変換手段と、撮
像手段の姿勢と並進運動、及び投影に使用する平面の情
報に基づいて、各画像を任意の同一画像面に投影して複
数の視点から撮像した画像を合成する投影手段とを有す
ることに特徴がある。よって、特徴点及び対応点の探索
範囲が大幅に縮小されるので、処理時間が大幅に短縮さ
れると共に、誤った対応点を検出する可能性を少なくし
て更に精度良く合成画像を作成することができる。

【図面の簡単な説明】

【図１】本発明の画像入力装置を用いた撮影の様子を示
す図である。

【図２】本発明の第１の実施例に係る画像入力装置の構
成を示すブロック図である。

【図３】姿勢検出の原理を示す図である。

【図４】対応検出手段の構成を示す図である。

【図５】基準画像と参照画像の相関演算によるマッチン
グの様子を示す図である。

【図６】装置座標系を示す図である。

【図７】基準画像と参照画像の対象平面に対する視線ベ
クトルを示す図である。

【図８】射影変換画像の作成の様子を示す図である。

【図９】第１の実施例の動作を示すフローチャートであ
る。

【図１０】本発明の第２の実施例に係る画像入力装置の
構成を示すブロック図である。

【図１１】第２の実施例の動作を示すフローチャートで
ある。

【図１２】姿勢検出手段の構成を示すブロック図であ
る。

【図１３】ワールド座標系を示す図である。

【図１４】本発明の第３の実施例に係る画像入力装置の
構成を示すブロック図である。

【図１５】重複部を検出する様子を示す図である。

【図１６】第３の実施例の動作を示すフローチャートで
ある。

【符号の説明】

１１撮像手段１２信号処理手段１３メモリ制御手段１４主制御手段１５フレームメモリ１６インターフェース１７表示手段１８外部記憶手段１９姿勢検出手段２０対応検出手段２１並進運動検出手段２２３次元位置計測手段２３平面算出手段２４射影変換手段２５変換画像記憶手段２６投影手段２７運動検出手段２８第１対応検出手段２９重複部検出手段３０第２対応検出手段

Claims

【特許請求の範囲】

【請求項１】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢を検出する姿勢検出手段
と、基準画像と重複する部分を持つ画像を参照画像として、
基準画像における複数の特徴点を抽出すると共に、参照
画像における特徴点と同一の箇所を示す対応点を検出す
る対応検出手段と、前記撮像手段の姿勢、特徴点及び対応点に基づいて、前
記撮像手段の並進運動を検出する並進運動検出手段と、前記撮像手段の姿勢、特徴点、対応点及び並進運動に基
づいて、各特徴点の３次元位置を算出する３次元位置計
測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢と
並進運動と平面の情報に基づいて、基準画像を参照画像
面上に射影変換する射影変換手段と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一平面に投影し
て複数の視点から撮像した画像を合成する投影手段とを
有することを特徴とする画像入力装置。
【請求項２】前記姿勢検出手段が、加速度センサ、角
速度センサ、磁気センサ、超音波センサ、赤外線センサ
等のセンサの少なくとも１つを用いて構成される請求項
１記載の画像入力装置。
【請求項３】撮像手段を用いて先に撮像した画像であ
る基準画像と一部が重複するように複数の視点から対象
平面を撮像する工程と、各撮像時の前記撮像手段の姿勢を検出する工程と、基準画像と重複する部分を持つ画像を参照画像として、
基準画像における複数の特徴点を抽出すると共に、参照
画像における特徴点と同一の箇所を示す対応点を検出す
る工程と、前記撮像手段の姿勢、特徴点及び対応点に基づいて、前
記撮像手段の並進運動を検出する工程と、前記撮像手段の姿勢、特徴点、対応点及び並進運動に基
づいて、各特徴点の３次元位置を算出する工程と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢と
並進運動と平面の情報に基づいて、基準画像を参照画像
面上に射影変換する工程と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一平面に投影し
て複数の視点から撮像した画像を合成する投工程とを有
することを特徴とする画像入力方法。
【請求項４】前記撮像手段の姿勢を検出する工程にお
いて、加速度、角速度、磁気、超音波、赤外線等の信号
の少なくとも１つの信号を用いて前記撮像手段の姿勢を
検出する請求項３記載の画像入力方法。
【請求項５】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢及び並進運動を検出する
運動検出手段と、基準画像と重複する部分を持つ画像を参照画像として、
基準画像における複数の特徴点を抽出すると共に、参照
画像における特徴点と同一の箇所を示す対応点を検出す
る対応検出手段と、前記撮像手段の姿勢と並進運動、及び特徴点と対応点に
基づいて、各特徴点の３次元位置を算出する３次元位置
計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢と
並進運動と平面の情報に基づいて、基準画像を参照画像
面上に射影変換する射影変換手段と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一画像面に投影
して複数の視点から撮像した画像を合成する投影手段と
を有することを特徴とする画像入力装置。
【請求項６】前記運動検出手段が、加速度センサ、角
速度センサ、磁気センサ、超音波センサ、赤外線センサ
等のセンサの少なくとも１つを用いて構成される請求項
５記載の画像入力装置。
【請求項７】撮像手段を用いて先に撮像した画像であ
る基準画像と一部が重複するように複数の視点から対象
平面を撮像する工程と、各撮像時の前記撮像手段の姿勢及び並進運動を検出する
工程と、基準画像と重複する部分を持つ画像を参照画像として、
基準画像における複数の特徴点を抽出すると共に、参照
画像における特徴点と同一の箇所を示す対応点を検出す
る工程と、前記撮像手段の姿勢と並進運動、及び特徴点と対応点に
基づいて、各特徴点の３次元位置を算出する工程と、計測した各特徴点の３次元位置が同一平面上にあるもの
として各特徴点の３次元位置に適合する平面の情報を算
出する工程と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢及
び並進運動並びに平面の情報に基づいて、基準画像を参
照画像面上に射影変換する工程と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一画像面に投影
して複数の視点から撮像した画像を合成する工程とを有
することを特徴とする画像入力方法。
【請求項８】前記撮像手段の姿勢及び並進運動を検出
する工程において、加速度、角速度、磁気、超音波、赤
外線等の信号の少なくとも１つの信号を用いて前記撮像
手段の姿勢及び並進運動を検出する請求項７記載の画像
入力方法。
【請求項９】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各撮像時の前記撮像手段の姿勢を検出する姿勢検出手段
と、参照画像と重複する部分を持つ画像である複数の特徴点
を抽出すると共に、参照画像における特徴点と同一の箇
所を示す対応点を検出する第１の対応検出手段と、前記撮像手段の姿勢、及び特徴点と対応点に基づいて、
前記撮像手段の並進運動を検出する並進運動検出手段
と、前記撮像手段の姿勢、特徴点と対応点、及び前記撮像手
段の並進運動に基づいて、各特徴点の３次元位置を算出
する３次元位置計測手段と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する平面算出手段と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢及
び並進運動並びに平面の情報に基づいて、基準画像と参
照画像とが新たに重なる重複部を検出する重複部検出手
段と、前記重複部における特徴点と対応点を新たに検出する第
２の対応検出手段と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢及
び並進運動並びに平面の情報に基づいて、基準画像を参
照画像面上に射影変換する射影変換手段と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一画像面に投影
して複数の視点から撮像した画像を合成する投影手段と
を有することを特徴とする画像入力装置。
【請求項１０】前記姿勢検出手段が、加速度センサ、
角速度センサ、磁気センサ、超音波センサ、赤外線セン
サ等のセンサの少なくとも１つを用いて構成される請求
項９記載の画像入力装置。
【請求項１１】撮像手段を用いて先に撮像した画像で
ある基準画像と一部が重複するように複数の視点から対
象平面を撮像する工程と、各撮像時の前記撮像手段の姿勢を検出する工程と、参照画像と重複する部分を持つ画像である複数の特徴点
を抽出すると共に、参照画像における特徴点と同一の箇
所を示す対応点を検出する工程と、前記撮像手段の姿勢、及び特徴点と対応点に基づいて、
前記撮像手段の並進運動を検出する工程と、前記撮像手段の姿勢、特徴点と対応点、及び前記撮像手
段の並進運動に基づいて、各特徴点の３次元位置を算出
する工程と、該３次元位置計測手段が計測した各特徴点の３次元位置
が同一平面上にあるものとして各特徴点の３次元位置に
適合する平面の情報を算出する工程と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢及
び並進運動並びに平面の情報に基づいて、基準画像と参
照画像とが新たに重なる重複部を検出する工程と、前記重複部における特徴点と対応点を新たに検出する工
程と、特徴点と対応点の関係、あるいは前記撮像手段の姿勢及
び並進運動並びに平面の情報に基づいて、基準画像を参
照画像面上に射影変換する工程と、前記撮像手段の姿勢と並進運動、及び投影に使用する平
面の情報に基づいて、各画像を任意の同一画像面に投影
して複数の視点から撮像した画像を合成する工程とを有
することを特徴とする画像入力方法。
【請求項１２】前記撮像手段の姿勢を検出する工程に
おいて、加速度、角速度、磁気、超音波、赤外線等の信
号の少なくとも１つの信号を用いて前記撮像手段の姿勢
を検出する請求項１１記載の画像入力方法。