JP2000228748A

JP2000228748A - 画像入力装置

Info

Publication number: JP2000228748A
Application number: JP11028733A
Authority: JP
Inventors: Norihiko Murata; 憲彦村田; Takashi Kitaguchi; 貴史北口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-02-05
Filing date: 1999-02-05
Publication date: 2000-08-15

Abstract

(57)【要約】【課題】撮像手段の動き方等の撮影条件にかかわら
ず、精度良く合成画像を作成することが可能な画像入力
装置を提供する。【解決手段】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段（１１）と、各被写体像を撮影した時の前記撮像
手段（１１）の並進運動が無視できるとする第１運動モ
ードと、該並進運動が無視できないとする第２運動モー
ドとを切り替える運動切り替え手段（２０）と、該運動
切り替え手段（２０）により第１運動モードに切り替え
られたとき、撮像手段（１１）の並進運動が無視できる
と仮定して得られた複数枚の画像を合成する第１の合成
手段（２１）と、運動切り替え手段（２０）により第２
運動モードに切り替えられたとき、撮像手段（１１）の
並進運動が無視できないと仮定して得られた複数枚の画
像を合成する第２の合成手段（２２）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像入力装置に関
し、特にデジタルスチルカメラやデジタルビデオカメラ
をはじめとする、複数枚の画像を撮影する画像入力装置
に関するものである。

【０００２】

【従来の技術】従来より普及されている画像入力装置
は、光学系を通過した画像をＣＣＤセンサ等の撮像素子
により光電変換し、さらに光電変換された画像信号をＡ
／Ｄ変換してメモリカード等の外部記憶装置に保存する
ものであった。このような画像入力装置は、画像をデジ
タル信号として扱うことができるため、画像の加工・処
理・伝送が手軽に行えるという利点がある。

【０００３】一方、現在看板やパネル等の平面状の文字
や写真を簡便かつ高精度に入力できる装置が求められて
いる。Ａ３程度の大きさの紙面像は複写機やスキャナ等
の装置により簡単に読み込むことができるが、上記画像
入力装置では新聞紙等の大面積の紙面情報やパネル壁に
描かれた情報を読み込むことは不可能である。そこで、
携帯可能な画像入力装置を用いて、これらの大きな被写
体を分割撮影し、得られた複数枚の画像を貼り合わせ
て、高解像度のパノラマ画像を合成するという方法（以
下この方法を従来例１と称す）が現れた。この従来例１
の方法では、互いの画像の一部が重複するか、またはそ
れぞれの画像が継ぎ目なく繋がるようにして撮影した被
写体像を、球面等の投影面に逆投影して張り合わせるこ
とにより、パノラマ画像を合成している。

【０００４】また、特開平７−９５４６７号公報（以下
従来例２と称す）において、合成する画像間の連続性を
良くするために、複数の画像入力手段から得られた画像
において互いに共通する部分画像を判定し、その部分画
像における対応点対を抽出し、その対応点対の３次元位
置から合成画像を作成してこの合成画像を分割する装置
を設けるという画像処理装置が提案されている。

【０００５】この他、特開平９−３２２０４０号公報
（以下従来例３と称す）において、被写体を一部が重複
するように分割撮影して得られた画像を合成する際に、
一連の画像が遠距離撮影したものか近距離撮影したもの
かを判別した結果に基づいて、近距離画像合成と遠距離
画像合成を選択的に切り替えるという画像生成装置が提
案されている。詳細には、近距離撮影の場合は画面上に
おける上下左右の並進と光軸回りの回転角、さらに光軸
に沿った並進による倍率変化に基づき画像を合成し、遠
距離撮影の場合は先に撮影した画像と次に撮影した画像
との間の装置の回転角より画像を合成するというもので
ある。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来例１では、画像入力装置を平行移動させても被写体像
が殆ど変化しないような遠景画像にのみ適用可能であ
り、近距離にある被写体像を合成するのには適さない。

【０００７】また、上記従来例２によれば、予め装置に
実装された複数の画像入力手段より得た画像を合成する
ため、使用者の好む撮影条件で被写体を撮影することが
不可能である。また、３次元位置より合成画像を作成す
る技術については全く開示されていない。

【０００８】更に、上記従来例３によれば、近距離撮影
の場合には、装置の光軸回りの回転角（ロール角）しか
考慮されていないため、装置の上下方向の回転角（ピッ
チ角）及び左右方向の回転角（ヨー角）によって画像に
歪みが生じると、画像を継ぎ目なく貼り合わせることは
不可能である。

【０００９】本発明はこれらの問題点を解決するための
ものであり、撮像手段の動き方等の撮影条件にかかわら
ず、精度良く合成画像を作成することが可能な画像入力
装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は前記問題点を解
決するために、先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各被写体像を撮影した時の前記撮像手段の並
進運動が無視できるとする第１運動モードと、該並進運
動が無視できないとする第２運動モードとを切り替える
運動切り替え手段と、該運動切り替え手段により第１運
動モードに切り替えられたとき、撮像手段の並進運動が
無視できると仮定して得られた複数枚の画像を合成する
第１の合成手段と、運動切り替え手段により第２運動モ
ードに切り替えられたとき、撮像手段の並進運動が無視
できないと仮定して得られた複数枚の画像を合成する第
２の合成手段とを有し、運動切り替え手段による運動モ
ードの設定に応じて第１の合成手段又は第２の合成手段
のいずれかを選択し、選択された第１の合成手段又は第
２の合成手段によって合成画像を作成することに特徴が
ある。よって、撮像条件に応じた最適な画像合成を行う
ことができ、いかなる条件で被写体平面を撮像した場合
でも精度良く合成画像を作成することができる。

【００１１】また、別の発明として、先に撮像した画像
である基準画像と一部が重複するように複数の視点から
対象平面を撮像する撮像手段と、各被写体像を撮影した
時の撮像手段の並進運動が無視できるとする第１運動モ
ードと、該並進運動が無視できないとする第２運動モー
ドとを自動判別する運動判別手段と、該運動判別手段に
より第１運動モードと判別されたとき、撮像手段の並進
運動が無視できると仮定して得られた複数枚の画像を合
成する第１の合成手段と、運動判別手段により第２運動
モードと判別されたとき、撮像手段の並進運動が無視で
きないと仮定して得られた複数枚の画像を合成する第２
の合成手段とを有し、運動判別手段による判別結果に応
じて第１の合成手段又は第２の合成手段のいずれかを選
択し、選択された第１の合成手段又は第２の合成手段に
よって合成画像を作成することに特徴がある。よって、
撮像条件に応じた最適な画像合成を自動的に行うことが
でき、いかなる条件で被写体平面を撮像した場合でも精
度良く合成画像を作成することができる。

【００１２】更に、第１の合成手段は、基準画像と重複
する部分を持つ参照画像として、基準画像における複数
の特徴点を抽出すると共に、参照画像における各特徴点
と同一の箇所を示す対応点を検出する対応検出手段と、
特徴点及び対応点に基づいて基準画像を参照画像上に射
影変換する射影変換手段とを有することにより、撮像手
段の並進運動が無視できる場合に射影変換を用いて撮像
手段の光学系パラメータが未知の場合でも精度良く合成
画像を作成することができる。

【００１３】また、第１の合成手段は、各被写体像を撮
像した時の撮像手段の姿勢を検出する姿勢検出手段と、
撮像した複数枚の画像を任意の同一面に投影する投影手
段とを有することにより、撮像手段の並進運動が無視で
きる場合に撮像手段の姿勢と光学系パラメータを用いて
撮像した被写体像間で対応関係を検出しにくい場合でも
精度良く合成画像を作成することができる。

【００１４】更に、第１の合成手段は、対応検出手段及
び射影変換手段を含んで構成する第１−１の合成手段
と、姿勢検出手段及び投影手段を含んで構成する第１−
２の合成手段とを有し、さらに第１−１の合成手段と第
１−２の合成手段とを切り替える第１の合成切り替え手
段を設けたことにより、焦点距離等の撮像条件に応じて
最適な画像合成を行うことができ、精度良く合成画像を
作成することができる。

【００１５】また、第２の合成手段は、姿勢検出手段
と、対応検出手段と、姿勢検出手段によって検出される
撮像手段の姿勢、対応検出手段によって検出される特徴
点及び対応点に基づいて、撮像手段の並進運動を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動に基づいて、各特徴点の３次元位置を算
出する３次元位置計測手段と、該３次元位置計測手段に
より計測した各特徴点の３次元位置が同一平面にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、撮像手段の姿勢、並進運動及
び平面の情報に基づいて、撮像した複数枚の画像を任意
の同一面に投影する投影手段とを有することにより、歪
みがなく、かつ貼り合わせ精度の良い合成画像を作成す
ることができる。

【００１６】更に、第２の合成手段は、姿勢検出手段
と、対応検出手段と、姿勢検出手段によって検出される
撮像手段の姿勢、対応検出手段によって検出される特徴
点及び対応点に基づいて、撮像手段の並進運動を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動に基づいて、各特徴点の３次元位置を算
出する３次元位置計測手段と、該３次元位置計測手段に
より計測した各特徴点の３次元位置が同一平面にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、特徴点と対応点の関係、ある
いは撮像手段の姿勢と並進運動と平面の情報に基づい
て、基準画像を参照画像面上に射影変換する射影変換手
段と、該射影変換手段における投影に使用する平面の情
報及び平面算出手段による平面の情報に基づいて、撮像
した複数枚の画像を任意の同一面に投影する投影手段と
を有することにより、射影変換を用いて精度良く合成画
像を作成できると共に、被写体平面の位置・姿勢に向か
って射影変換画像を投影することで歪みのない合成画像
を作成することができる。

【００１７】

【発明の実施の形態】先に撮像した画像である基準画像
と一部が重複するように複数の視点から対象平面を撮像
する撮像手段と、各被写体像を撮影した時の前記撮像手
段の並進運動が無視できるとする第１運動モードと、該
並進運動が無視できないとする第２運動モードとを切り
替える運動切り替え手段と、該運動切り替え手段により
第１運動モードに切り替えられたとき、撮像手段の並進
運動が無視できると仮定して得られた複数枚の画像を合
成する第１の合成手段と、運動切り替え手段により第２
運動モードに切り替えられたとき、撮像手段の並進運動
が無視できないと仮定して得られた複数枚の画像を合成
する第２の合成手段とを有する。

【００１８】

【実施例】以下、本発明の実施例について図面に基づい
て説明する。図１は本発明の画像入力装置を用いた撮影
の様子を示す図である。同図からわかるように、画像入
力装置１を用いて、異なる場所、つまり複数の視点１〜
Ｋから同一の対象平面の静止画像を、画像の一部が重複
するように順次撮影する。ここで、視点１で撮影した画
像をＩｍ１、視点２で撮影した画像をＩｍ２などと呼ぶ
ことにする。また、説明を簡単にするため、Ｉｍ１とＩ
ｍ２、Ｉｍ２とＩｍ３のように、隣り合う順序で撮影し
たＩｍｊ（図示せず）とＩｍ（ｊ＋１）（図示せず）
（１≦ｊ≦Ｋ−１）との間で重複領域を持つと仮定す
る。

【００１９】図２は本発明の第１の実施例に係る画像入
力装置の構成を示すブロック図である。同図に示す画像
入力装置１は、主として、撮像手段１１と、撮像手段１
１により得られた画像信号に処理を施す信号処理手段１
２と、信号処理手段１２によって処理された出力が供給
されるメモリ制御手段１３、主制御手段１４及びインタ
ーフェース（以下Ｉ／Ｆと略す）１６と、メモリ制御手
段１３の指令により画像信号を蓄積するフレームメモリ
１５と、Ｉ／Ｆ１６を経由して画像信号を表示する表示
手段１７と、Ｉ／Ｆ１６を経由して画像信号をはじめと
する種々の信号の読み出し／書き込みを行う外部記憶手
段１８とを有する。その他、各被写体像を撮影した時の
撮像手段１１の並進運動が無視できるとする第１運動モ
ードと、該並進運動が無視できないとする第２運動モー
ドとを切り替える運動切り替え手段２０と、撮像手段１
１の並進運動が無視できると仮定して得られた複数枚の
画像を合成する第１の合成手段２１と、撮像手段１１の
並進運動が無視できないと仮定して得られた複数枚の画
像を合成する第２の合成手段２２をも有している。

【００２０】以下、各ブロックの詳細を説明する。撮像
手段１１は、レンズ１１１、絞り１１２、シャッタ１１
３、及び光電変換素子１１４及び前処理手段１１５より
構成されている。光電変換素子１１４には、例えばＣＣ
Ｄ（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）が
使用される。また、前処理手段１１５は、プリアンプや
ＡＧＣ（ａｕｔｏｇａｉｎｃｏｎｔｒｏｌ）等のア
ナログ信号処理やアナログ−デジタル変換器（以下Ａ／
Ｄ変換器と略す）を備えており、光電変換素子１１４よ
り出力されたアナログ映像信号に対して増幅・クランプ
等の前処理を施した後、Ａ／Ｄ変換器により上記アナロ
グ映像信号をデジタル映像信号に変換する。信号処理手
段１２は、デジタル信号処理プロセッサ（以下ＤＳＰプ
ロセッサと略す）等により構成されており、撮像手段１
１より得られたデジタル映像信号に対して色分解、ホワ
イトバランス調整、γ補正等の種々の画像処理を施す。
メモリ制御手段１３は、信号処理手段１２により処理さ
れた画像信号をフレームメモリ１５に格納したり、逆に
フレームメモリ１５に格納された画像信号を読み出す。
フレームメモリ１５は、少なくとも２枚の画像を格納可
能であり、一般的にＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等が
使用される。フレームメモリ１５から読み出された画像
信号の記録は、信号処理手段１２において画像信号に対
して画像圧縮等の信号処理を施した後、Ｉ／Ｆ１６を介
して外部記憶手段１８に保存することによって行われ
る。外部記憶手段１８は、ＩＣメモリカードや光磁気デ
ィスク等が使用できるが、モデムカードやＩＳＤＮカー
ドを利用して、ネットワークを経由して画像信号を直接
遠隔地の記録媒体に送信しても構わない。逆に、外部記
憶装置１８に記録された画像信号の読み出しは、Ｉ／Ｆ
１６を介して信号処理手段１２に画像信号を送信し、信
号処理手段１２において画像伸長を施すことによって行
われる。一方、外部記憶手段１８及びフレームメモリ１
５から読み出された画像信号の表示は、信号処理手段１
２において画像信号に対してデジタル−アナログ変換
（以下Ｄ／Ａ変換と略す）や増幅等の信号処理を施した
後、Ｉ／Ｆ１６を介して表示手段１７に送信することに
よって行われる。表示手段１７は、例えば画像入力装置
１の筐体に設置された液晶表示装置より構成される。

【００２１】次に、運動切り替え手段２０は、前述した
第１運動モードと第２運動モードとを手動で切り替える
ものであり、例えばボタンやスイッチにより構成され
る。ここで第１運動モードとは、被写体平面までの距離
に対して撮像手段１１の平行移動距離が無視できる場合
に選択され、撮像手段１１の運動には回転のみが含まれ
るとみなされる。一方、第２運動モードとは、被写体平
面までの距離に対して撮像手段１１の平行移動距離が無
視できない場合に選択され、撮像手段１１の運動は回転
と並進運動の両方が含まれるとみなされる。

【００２２】第１の合成手段２１は、撮像手段１１の並
進運動が無視できるとみなして、撮像した複数枚の被写
体像を貼り合わせて１枚の合成画像を作成するものであ
り、運動切り替え手段２０が第１運動モードを選択した
場合に起動される。

【００２３】第２の合成手段２２は、撮像手段１１の並
進運動が無視できないとみなして、撮像した複数枚の被
写体像を貼り合わせて１枚の合成画像を作成するもので
あり、運動切り替え手段２０が第２運動モードを選択し
た場合に起動される。

【００２４】図３は本発明の第２の実施例に係る画像入
力装置の構成を示すブロック図である。図２と異なる点
は、図２の運動切り替え手段２０に代えて運動判別手段
２３を具備している点である。その他の構成要素は第１
の実施例と同じであるので説明は省略する。

【００２５】運動判別手段２３は、被写体撮像時におい
て撮像手段１１の並進運動が無視できるか否かを自動判
別するものであり、例えば図４に示すように姿勢検出手
段３１、対応検出手段３２及び輻湊角手段３３より構成
される。ここで、磁場は地磁気以外に存在しないと仮定
し、姿勢検出手段３１が加速度センサと磁気センサによ
り構成される場合の動作を説明する。先ず、図５におい
て、Ｘ軸を東向き、Ｚ軸を磁場の向き（北向き）を正と
するＸＹＺ座標系を定義する。姿勢検出手段３１におい
ては、加速度センサにより撮像手段１１に作用する重力
加速度を、磁気センサにより撮像手段１１に作用する地
磁気等の磁場を検出することにより、ＸＹＺ座標系に対
する撮像手段１１の姿勢が計算される。このＸＹＺ座標
系に対する姿勢を用いて、ＩｍｊとＩｍｊ＋１を撮像し
た時との間の相対的な姿勢が求まっていればよく、その
姿勢は３×３の回転行列で表される。例えば図６のよう
に、ｘｙｚ座標系からｘ’ｙ’ｚ’座標系に座標系を回
転させた場合の回転行列Ｒを、以下のように定義する。

【００２６】Ｒ＝Ｒ_y Ｒ_x Ｒ_z （１）但し、

【００２７】

【数１】

【００２８】であり、α、β、γはそれぞれｘ軸、ｙ
軸、ｚ軸回りの回転角を表す。

【００２９】次に、対応検出手段３２の一例として、互
いに重複した領域を持つ２枚の画像において、相関演算
により対応点を検出する方法について説明する。対応検
出手段３２は、対応検出手段の構成を示す図７のよう
に、特徴点設定手段３２１、相関演算手段３２２より構
成される。図２のフレームメモリ１５には、前述したＫ
枚の画像が格納されており、Ｉｍｊは基準画像、その直
後に撮像されたＩｍｊ＋１（１≦ｊ≦Ｋ−１）は参照画
像として対応検出手段３２に送られる。特徴点設定手段
３２１は、当該基準画像において、特徴点の位置を決定
し、特徴点を中心とする（２Ｎ＋１）（２Ｐ＋１）の濃
淡パターンを抽出して相関窓を作成する。この特徴点の
位置は、角（ｃｏｒｎｅｒ）のように画像の濃度パター
ンが特徴的である箇所を抽出することにより決定され
る。また、相関演算手段２０２は、上記基準画像で作成
した相関窓の濃淡パターンとほぼ一致する箇所を、上記
参照画像において相関演算により検出し、これを対応点
と決定する。ここで、相関演算によるブロックマッチン
グにより対応点を検出する一例について説明する。図８
のように、（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いた
ブロックマッチングで、基準画像におけるｉ番目の特徴
点Ｐ_i（ｘ_i0，ｙ_i0）と、参照画像における点（ｘ_i0＋
ｄｘ_i，ｙ_i0＋ｄｙ_i）の相互相関値Ｓ_iは、次式により
計算される。

【００３０】

【数２】

【００３１】ここで、（３）式における各記号の意味は
以下の通りである。

【００３２】Ｉ_s（ｘ，ｙ）：基準画像の点（ｘ，ｙ）における濃度Ｉ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）における濃度ＭＩ_s（ｘ，ｙ）：基準画像の点（ｘ，ｙ）を中心とす
る（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度ＭＩ_r（ｘ，ｙ）：参照画像の点（ｘ，ｙ）を中心とす
る（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度Ｋ：定数

【００３３】各特徴点Ｐiに対して、相互相関値Ｓ_i の
最大値が予め定められた閾値以上である点を求めること
により、参照画像における対応点（ｘ_i0＋ｄｘ_i ，ｙ_i0
＋ｄｙ_i ）が求められる。Ｓ_i の最大値が閾値以下なら
ば、対応点は存在しないとする。

【００３４】また、輻湊算出手段３３は、姿勢検出手段
３１が出力した撮像手段１１の姿勢情報、対応検出手段
３２が出力した各画像間の対応関係、及び焦点距離など
の撮像手段１１の光学系パラメータより、被写体の各点
に対する輻湊角を算出する。今、図９のように撮像手段
１１の光学系が、

【００３５】ｘ軸：画像面右向きを正ｙ軸：画像面下向きを正ｚ軸：光軸方向；対象に向かう向きを正原点０：撮像手段１１の光学中心ｆ：焦点距離

【００３６】とする中心射影モデルであると仮定する。
以下、このｘｙｚ座標系を撮像座標系と呼ぶ。すると、
画像上の任意の点（ｘ，ｙ）に対する視線の向きを求め
ることができ、これを視線ベクトルと呼ぶ。具体的に
は、画像上の任意の点（ｘ，ｙ）に対する単位視線ベク
トルｐは、以下のように求められる。

【００３７】

【数３】

【００３８】同様に、図１０に示すように、基準画像に
おける特徴点（ｘ_s ，ｙ_s ）と参照画像における対応点
（ｘ_r ，ｙ_r ）に対しては、以下の単位視線ベクトルが
算出される。

【００３９】

【数４】

【００４０】但し、（５），（６）式において、ｐ_s は
基準画像撮影時における撮像座標系を基準とした単位視
線ベクトル、ｐ_r は参照画像撮影時における撮像座標系
を基準とした単位視線ベクトルであり、基準とする座標
系が異なっている。そのため、ｐ_r を基準画像における
撮像座標系を基準とした視線ベクトルに変換する必要が
あるが、これには基準画像撮影時に対する参照画像撮影
時の姿勢（すなわち（１）式の回転行列）を必要とす
る。しかし、回転行列Ｒは図４の姿勢検出手段３１によ
り求められるため、これを用いてｐ_r は、基準画像撮影
時の座標系を基準とした視線ベクトルｐ_r ’に変換され
る。すなわち、

【００４１】ｐ_r ’＝Ｒｐ_r （７）

【００４２】である。以上で求められた特徴点及び対応
点の基準画像撮影時の座標系を基準とした視線ベクトル
ｐ_s 、ｐ_r ’が求められると、次式のように両者の内積
（ｐ_s,ｐ_r ’）より輻湊角θを知ることができる。

【００４３】 θ＝ｃｏｓ^-1（ｐ_s ，ｐ_r ’）（８）

【００４４】そして、輻湊角θの大きさが閾値以下なら
ば、被写体平面までの距離に対して並進運動の大きさが
無視できると判断して、第１運動モードを選択する。ま
た、輻湊角θの大きさが上記閾値以上ならば、被写体平
面までの距離に対して並進運動の大きさが無視できない
と判断して、第２運動モードを選択する。以上の処理に
より、輻湊角θが求められ、第１運動モードと第２運動
モードを自動判別することができる。

【００４５】以上説明した運動判別手段２３の構成は一
例であり、その他の例では加速センサで撮像手段１１の
運動加速度を検出し、その信号を積分することにより撮
像手段１１の並進運動の大きさを、また測距センサを用
いて被写体平面までの距離を求め、両者の比によって第
１運動モードと第２運動モードとを自動判別するなどの
構成がある。

【００４６】図１１は第１の合成手段２１の構成を示す
ブロック図である。同図において、第１の合成手段２１
は、対応検出手段３２及び射影変換手段３４から構成さ
れている。対応検出手段３２の構成及び動作は上述した
ので、ここでは射影変換手段３４の構成及び動作につい
て以下説明する。

【００４７】射影変換手段２４は、対応検出手段３２よ
り出力された特徴点と対応点との関係、または図示して
いない平面算出手段より出力された平面情報を基に、基
準画像を参照画像に射影変換する。ここで、射影変換と
は、図１２の（ａ）のように、ある被写体平面を異なる
位置・姿勢で撮影した場合に、基準画像における特徴点
（ｘ_s ，ｙ_s ）と参照画像における対応点（ｘ_s ，ｙ
_s ）の間に、次式の関係が成立することを示す。

【００４８】

【数５】

【００４９】すなわち、（９）式において８つの未知の
パラメータが存在するので、特徴点と対応点の組が４つ
以上得られれば、最小自乗法等の計算方法により係数ｂ
₁ 〜ｂ₈ を求めることができる。係数ｂ₁ 〜ｂ₈ が得ら
れれば、基準画像に写った被写体像を参照画像撮影時の
見え方に変換して図１２の（ｂ）のように参照画像に貼
り付けることができる。このようにして得られた画像
を、射影変換画像と呼ぶことにする。

【００５０】以上では２視点から撮影した場合の射影変
換画像の作成方法を説明したが、反復処理により射影変
換画像を順次作成して３枚以上の画像を張り合わせるこ
とができる。以下、Ｉｍ１〜Ｉｍｊ−１を、Ｉｍｊに対
して射影変換した画像を、ＰＩｍｊ（１≦ｊ≦Ｋ、但し
ＰＩｍ１＝Ｉｍ１とする）と呼ぶことにする。ＰＩｍｊ
において、Ｉｍ１〜Ｉｍｊ−１に写った被写体像はそれ
ぞれ、Ｉｍｊ撮影時の見え方に変換されて、Ｉｍｊに貼
り付けられている。ＰＩｍｊを作成する反復処理を、以
下に示す。

【００５１】ｊ＝２，・・・，Ｋについて、以下の処理
を繰り返す。ＰＩｍｊ−１を基準画像、Ｉｍｊを参照画像とする。基準画像において特徴点を抽出し、参照画像において
対応点を検出する。で検出した４組以上の特徴点と対応点を用いて、
（９）式の係数ｂ₁ 〜ｂ ₈ を求め、ＰＩｍｊ−１をＩｍ
ｊに対して射影変換してＰＩｍｊを作成する。ｊを１つ加算してに戻る。

【００５２】以上の反復処理によって、最終的にはＩｍ
１〜ＩｍＫ−１をＩｍＫに射影変換した画像ＰｌｍＫが
得られる。すなわちＩｍ１〜ＩｍＫを入り合わせて１枚
の合成画像を作成できる。

【００５３】図１３は第１の合成手段の別の構成を示す
ブロック図である。同図において、第１の合成手段は、
姿勢検出手段３１及び投影手段３５から構成されてい
る。姿勢検出手段３１の構成及び動作は上述したので、
ここでは投影手段３５の構成及び動作について以下説明
する。

【００５４】投影手段３５は、撮像手段１１の光学系パ
ラメータと姿勢検出手段３１の出力した撮像手段１１の
姿勢に基づき、フレームメモリ１５に格納されたＩｍｊ
（１≦ｊ≦Ｋ）を、ある投影面に向かって投影すること
により画像を合成する。ここでは球面に向かって投影す
る場合の動作を説明する。先ず、投影した時の撮像手段
１１の姿勢と、図９で示される撮像手段１１の光学系パ
ラメータを用いることにより、画像上の各点に対する視
線ベクトルを求めることができる。次に、図１４に示す
ように、光学中心ｏを通り、向きが得られた視線ベクト
ルで与えられる半直線ｌと、球面とが交わる位置に、画
像を投影する。この処理をＩｍｊ上の全ての点に対して
行うことにより、合成画像を作成することができる。

【００５５】以上、球面に向かって投影する例を用いて
説明したが、投影面は球面以外に、平面、円筒面など任
意の形状を取ることができる。また、球面に投影した合
成画像を、投影手段３５において別の投影面（平面、円
筒面など）に再投影する、アフィン変換を施すなどによ
り、新たな合成画像を形成しても構わない。

【００５６】図１５は本発明の第３の実施例に係る画像
入力装置の構成を示すブロック図である。同図におい
て、本実施例の画像入力装置１は、主として、第１の合
成手段２１を第１−１の合成手段２１１と第１−２の合
成手段２１２から構成し、更に第１−１の合成手段２１
１と第１−２の合成手段２１２とを切り替える第１の合
成切り替え手段３６を設けたものである。第１−１の合
成手段２１１は、図１１に示すように、対応検出手段３
２及び射影変換手段３４から構成されており、その動作
は前述した通りである。また、第１−２の合成手段２１
２は、図１２に示すように、姿勢検出手段３１及び投影
手段３５から構成されおり、その動作も前述した通りで
ある。

【００５７】第１の合成切り替え手段３６は、ボタンや
スイッチ等により構成され、第１−１の合成手段２１１
又は第１−２の合成手段２１２のいずれかを手動で選択
的に切り替える。例えば、撮像手段１１の姿勢及び光学
系パラメータの信頼性が低いと思われる場合には、第１
の合成切り替え手段３６により第１−１の合成手段２１
１を選択すれとよい。一方、撮像手段１１の画角が広
く、隣り合う画像間で被写体の見え方が大きく変わる場
合など、対応検出手段３２の検出結果の信頼性が低いと
思われる場合には、第１の合成切り替え手段３６により
第１−２の合成手段２１２を選択するとよい。

【００５８】また、第１−１の合成手段２１１と第１−
２の合成手段２１２とを自動的に切り替えるように、第
１の合成切り替え手段３６を構成しても構わない。例え
ば焦点距離ｆの値を読み取って画角を計算し、画角が閾
値以上ならば第１−２の合成手段２１２を選択し、閾値
以下ならば第１−１の合成手段２１１を選択するように
する。

【００５９】図１６は第２の合成手段の構成を示すブロ
ック図である。同図において、第２の合成手段２２は、
姿勢検出手段３１、対応検出手段３２、並進運動検出手
段３７、３次元位置計測手段３８、平面算出手段３９及
び投影手段３５から構成されたものである。姿勢検出手
段３１及び対応検出手段３２の構成及び動作は前述の通
りであり、ここでは並進運動検出手段３７、３次元位置
計測手段３８、平面算出手段３９及び投影手段３５の構
成・動作について以下に説明する。並進運動検出手段３
７は、撮像手段１１の並進運動を算出するものであり、
一例として撮像手段１１の光学系の焦点距離ｆ、姿勢検
出手段３１により検出された撮像手段１１の姿勢、及び
基準画像における特徴点と参照画像における対応点の組
から並進ベクトルを求める手順について説明する。先ず
（５）式〜（７）式により、基準画像における特徴点及
び参照画像における対応点に対して、共通の座標系を基
準とした視線ベクトルｐ_s ，ｐ_r’を算出する。する
と、図１７において、ｐ_s ，ｐ_r’、並進運動を示す単
位ベクトルｔの３つのベクトルは幾何学的に同一平面上
に存在する。これを式で表すと、以下のスカラ３重積の
数式で表される。

【００６０】（ｐ_s ×ｔ，ｐ_r ’）＝０（１０）

【００６１】従って、（１０）式を満たすベクトルｔが
並進運動ベクトルであるが、通常画像のノイズ等の影響
により、（１０）式は全ての特徴点の視線ベクトルｐ
_s,i （ｉ＝１，・・・，Ｎ）と、対応点の視線ベクトル
ｐ_r,i’に対しては成立しない。そこで、以下のスカラ
３重積の絶対値の総和を最小化するｔを求めればよい。

【００６２】

【数６】

【００６３】以上の計算により、基準画像撮影時から参
照画像撮影時に至る撮像手段１１の並進運動を求めるこ
とできる。但し、並進運動の向きのみが求められ、その
絶対値は求められない。この処理を各画像対（Ｉｍ１と
Ｉｍ２、Ｉｍ２とＩｍ３、・・・、ＩｍＫ−１とＩｍ
Ｋ）について行うことにより、Ｉｍｊ−１の光学中心ｏ
_j-1 からＩｍｊの光学中心ｏ_jへの並進運動を求めるこ
とができる。更に、被写体が平面であるという拘束条件
を用いて、各画像対より求めた並進運動ベクトルの大き
さの比を求めることができる。

【００６４】次に、３次元位置計測手段３８は、特徴点
と対応点に対する視線ベクトルＰ_s, _i 、Ｐ_r,i’、及び
並進運動検出手段２１より求められた並進運動ベクトル
を用いて、三角測量の原理により各特徴点の３次元位置
（Ｘ_i ，Ｙ_i ，Ｚ_i ）を計算する。

【００６５】また、平面算出手段３９は、対応検出手段
３２が検出した各特徴点が同一平面上にあるものとし
て、３次元位置計測手段３８が算出した各特徴点の３次
元位置（Ｘ_i ，Ｙ_i ，Ｚ_i ）に基づいて、平面の情報を
算出する。具体的には、求める平面のワールド座標系を
基準にした方程式を、

【００６６】ａＸ＋ｂＸ＋ｃＺ＋ｄ＝０（ａ²＋ｂ²＋ｃ²＝１）（１２）

【００６７】とおき、（Ｘ_i ，Ｙ_i ，Ｚ_i ）を用いてよ
り平面の情報である４つのパラメータ（ａ，ｂ，ｃ，
ｄ）を、例えば最小自乗法により算出する。

【００６８】更に、投影手段３５は、姿勢検出手段３
２、並進運動検出手段３７、及び平面算出手段３８の出
力結果に基づいた投影条件を用いて、フレームメモリ１
５に蓄積された各画像を同一平面に投影することにより
画像を合成する。その動作を図１８に基づいて説明す
る。今、各画像Ｉｍｊ（１≦ｊ≦Ｋ）を撮影した時の姿
勢、光学中心ｏ_j の位置は既知であるので、任意のＩｍ
ｊ上の任意の点に対して視線ベクトルの位置と向きを定
めることができる。そして、この視線ベクトルを延長し
た半直線と平面算出手段３９が算出した平面とが交差す
る点に画素を投影する。この動作を、必要な画素全てに
対して行うことにより、図１８に示すように、投影面上
に新たな合成画像を形成することができる。

【００６９】図１９は第２の合成手段の別の構成を示す
ブロック図である。同図において、第２の合成手段２２
は、姿勢検出手段３１、対応検出手段３２、並進運動検
出手段３７、３次元位置計測手段３８、平面算出手段３
９、射影変換手段３４、及び投影手段３５から構成され
ている。

【００７０】射影変換手段３４は、Ｉｍ１〜ＩｍＫを射
影変換して貼り合わせた射影変換画像ＰＩｍＫを作成す
る。ここで、撮像手段１１の並進運動が無視できない場
合でも被写体が平面ならば射影変換を表す（９）式の関
係が成立することを、以下に説明する。基準画像撮影時
と参照画像撮影時との間の相対的な撮像手段１１の姿勢
がＲ、並進運動ベクトルがｔで表されると仮定し、回転
行列Ｒ及び並進運動ベクトルｔの各要素を、それぞれ

【００７１】

【数７】

【００７２】とすると、基準画像において（５）式で表
される点に対応する、（１２）式で表される対象平面上
の点ｐの空間座標Ｐは、次式で表される。

【００７３】

【数８】

【００７４】Ｐは点ｐを基準画像撮影時の装置座標系を
基準にしたベクトルであるが、これを参照画像撮影時の
装置座標系を基準に表した空間座標Ｐ’は以下のように
なる。

【００７５】

【数９】

【００７６】従って、撮像手段１１の光学系が図９のよ
うな中心射影モデルの場合、参照画像における対応点
（ｘ_r ，ｙ_r ）と空間座標Ｐ’との間に、以下の関係が
成立する。

【００７７】

【数１０】

【００７８】（１６）式と（１７）式を整理すると、以
下のようになる。

【００７９】

【数１１】

【００８０】但し、ａ₁ ＝ｆ｛Ｒ₁₁ｄ＋ａ（Ｒ₁₁ｔ_x ＋Ｒ₂₁ｔ_y ＋Ｒ₃₁ｔ_z ）｝（１９）ａ₂ ＝ｆ｛Ｒ₂₁ｄ＋ｂ（Ｒ₁₁ｔ_x ＋Ｒ₂₁ｔ_y ＋Ｒ₃₁ｔ_z ）｝（２０）ａ₃ ＝ｆ｛Ｒ₃₁ｄ＋ｃ（Ｒ₁₁ｔ_x ＋Ｒ₂₁ｔ_y ＋Ｒ₃₁ｔ_z ）｝（２１）ａ₄ ＝ｆ｛Ｒ₁₂ｄ＋ａ（Ｒ₁₂ｔ_x ＋Ｒ₂₂ｔ_y ＋Ｒ₃₂ｔ_z ）｝（２２）ａ₅ ＝ｆ｛Ｒ₂₂ｄ＋ｂ（Ｒ₁₂ｔ_x ＋Ｒ₂₂ｔ_y ＋Ｒ₃₂ｔ_z ）｝（２３）ａ₆ ＝ｆ｛Ｒ₃₂ｄ＋ｃ（Ｒ₁₂ｔ_x ＋Ｒ₂₂ｔ_y ＋Ｒ₃₂ｔ_z ）｝（２４）ａ₇ ＝Ｒ₁₃ｄ＋ａ（Ｒ₁₃ｔ_x ＋Ｒ₂₃ｔ_y ＋Ｒ₃₃ｔ_z ）（２５）ａ₈ ＝Ｒ₂₃ｄ＋ｂ（Ｒ₁₃ｔ_x ＋Ｒ₂₃ｔ_y ＋Ｒ₃₃ｔ_z ）（２６）ａ₉ ＝Ｒ₃₃ｄ＋ｃ（Ｒ₁₃ｔ_x ＋Ｒ₂₃ｔ_y ＋Ｒ₃₃ｔ_z ）（２７）

【００８１】（１８）式の分母と分子をそれぞれａ₉ ｆ
で割ると、（９）式及び係数ｂ₁ 〜ｂ ₈が得られる。し
たがって、（１９）式〜（２７）式に示すように、基準
画像撮影時と参照画像撮影時との間の相対的な撮像手段
１１の姿勢Ｒ、並進運動ベクトルｔ、及び平面のパラメ
ータ（ａ，ｂ，ｃ，ｄ）を用いて、係数ｂ₁ 〜ｂ₈を計
算することができる。

【００８２】一方、姿勢検出手段３１で得られた撮像手
段１１の姿勢と、対応検出手段３２が検出した各画像間
の対応関係に基づき、既に説明した手順で並進運動検出
手段３７により撮像手段１１の位置関係が求められ、そ
の後３次元位置計測手段３８において特徴点の３次元位
置が、平面算出手段３９において被写体平面の位置・姿
勢が順次求められる。投影手段３５は、得られた射影変
換画像ＰＩｍＫを任意の平面に投影することにより合成
画像を作成するが、図２０に示すように、平面算出手段
３９が出力した平面に向かって投影面とすれば、歪みの
ない合成画像を得ることができる。

【００８３】なお、本発明は上記実施例に限定されるも
のではなく、特許請求の範囲の記載であれば各種変形や
置換可能であることは言うまでもない。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
先に撮像した画像である基準画像と一部が重複するよう
に複数の視点から対象平面を撮像する撮像手段と、各被
写体像を撮影した時の前記撮像手段の並進運動が無視で
きるとする第１運動モードと、該並進運動が無視できな
いとする第２運動モードとを切り替える運動切り替え手
段と、該運動切り替え手段により第１運動モードに切り
替えられたとき、撮像手段の並進運動が無視できると仮
定して得られた複数枚の画像を合成する第１の合成手段
と、運動切り替え手段により第２運動モードに切り替え
られたとき、撮像手段の並進運動が無視できないと仮定
して得られた複数枚の画像を合成する第２の合成手段と
を有し、運動切り替え手段による運動モードの設定に応
じて第１の合成手段又は第２の合成手段のいずれかを選
択し、選択された第１の合成手段又は第２の合成手段に
よって合成画像を作成することに特徴がある。よって、
撮像条件に応じた最適な画像合成を行うことができ、い
かなる条件で被写体平面を撮像した場合でも精度良く合
成画像を作成することができる。

【００８５】また、別の発明として、先に撮像した画像
である基準画像と一部が重複するように複数の視点から
対象平面を撮像する撮像手段と、各被写体像を撮影した
時の撮像手段の並進運動が無視できるとする第１運動モ
ードと、該並進運動が無視できないとする第２運動モー
ドとを自動判別する運動判別手段と、該運動判別手段に
より第１運動モードと判別されたとき、撮像手段の並進
運動が無視できると仮定して得られた複数枚の画像を合
成する第１の合成手段と、運動判別手段により第２運動
モードと判別されたとき、撮像手段の並進運動が無視で
きないと仮定して得られた複数枚の画像を合成する第２
の合成手段とを有し、運動判別手段による判別結果に応
じて第１の合成手段又は第２の合成手段のいずれかを選
択し、選択された第１の合成手段又は第２の合成手段に
よって合成画像を作成することに特徴がある。よって、
撮像条件に応じた最適な画像合成を自動的に行うことが
でき、いかなる条件で被写体平面を撮像した場合でも精
度良く合成画像を作成することができる。

【００８６】更に、第１の合成手段は、基準画像と重複
する部分を持つ参照画像として、基準画像における複数
の特徴点を抽出すると共に、参照画像における各特徴点
と同一の箇所を示す対応点を検出する対応検出手段と、
特徴点及び対応点に基づいて基準画像を参照画像上に射
影変換する射影変換手段とを有することにより、撮像手
段の並進運動が無視できる場合に射影変換を用いて撮像
手段の光学系パラメータが未知の場合でも精度良く合成
画像を作成することができる。

【００８７】また、第１の合成手段は、各被写体像を撮
像した時の撮像手段の姿勢を検出する姿勢検出手段と、
撮像した複数枚の画像を任意の同一面に投影する投影手
段とを有することにより、撮像手段の並進運動が無視で
きる場合に撮像手段の姿勢と光学系パラメータを用いて
撮像した被写体像間で対応関係を検出しにくい場合でも
精度良く合成画像を作成することができる。

【００８８】更に、第１の合成手段は、対応検出手段及
び射影変換手段を含んで構成する第１−１の合成手段
と、姿勢検出手段及び投影手段を含んで構成する第１−
２の合成手段とを有し、さらに第１−１の合成手段と第
１−２の合成手段とを切り替える第１の合成切り替え手
段を設けたことにより、焦点距離等の撮像条件に応じて
最適な画像合成を行うことができ、精度良く合成画像を
作成することができる。

【００８９】また、第２の合成手段は、姿勢検出手段
と、対応検出手段と、姿勢検出手段によって検出される
撮像手段の姿勢、対応検出手段によって検出される特徴
点及び対応点に基づいて、撮像手段の並進運動を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動に基づいて、各特徴点の３次元位置を算
出する３次元位置計測手段と、該３次元位置計測手段に
より計測した各特徴点の３次元位置が同一平面にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、撮像手段の姿勢、並進運動及
び平面の情報に基づいて、撮像した複数枚の画像を任意
の同一面に投影する投影手段とを有することにより、歪
みがなく、かつ貼り合わせ精度の良い合成画像を作成す
ることができる。

【００９０】更に、第２の合成手段は、姿勢検出手段
と、対応検出手段と、姿勢検出手段によって検出される
撮像手段の姿勢、対応検出手段によって検出される特徴
点及び対応点に基づいて、撮像手段の並進運動を検出す
る並進運動検出手段と、撮像手段の姿勢、特徴点、対応
点及び並進運動に基づいて、各特徴点の３次元位置を算
出する３次元位置計測手段と、該３次元位置計測手段に
より計測した各特徴点の３次元位置が同一平面にあるも
のとして各特徴点の３次元位置に適合する平面の情報を
算出する平面算出手段と、特徴点と対応点の関係、ある
いは撮像手段の姿勢と並進運動と平面の情報に基づい
て、基準画像を参照画像面上に射影変換する射影変換手
段と、該射影変換手段における投影に使用する平面の情
報及び平面算出手段による平面の情報に基づいて、撮像
した複数枚の画像を任意の同一面に投影する投影手段と
を有することにより、射影変換を用いて精度良く合成画
像を作成できると共に、被写体平面の位置・姿勢に向か
って射影変換画像を投影することで歪みのない合成画像
を作成することができる。

【図面の簡単な説明】

【図１】本発明の画像入力装置を用いた撮影の様子を示
す図である。

【図２】本発明の第１の実施例に係る画像入力装置の構
成を示すブロック図である。

【図３】本発明の第２の実施例に係る画像入力装置の構
成を示すブロック図である。

【図４】運動判別手段の構成を示すブロック図である。

【図５】ワールド座標系を示す図である。

【図６】姿勢検出の原理を示す図である。

【図７】対応検出手段の構成を示す図である。

【図８】基準画像と参照画像の相関演算によるマッチン
グの様子を示す図である。

【図９】装置座標系を示す図である。

【図１０】基準画像と参照画像の対象平面に対する単位
視線ベクトルを示す図である。

【図１１】第１の合成手段の構成を示すブロック図であ
る。

【図１２】射影変換画像の作成の様子を示す図である。

【図１３】第１の合成手段の別の構成を示すブロック図
である。

【図１４】球面上への投影の様子を示す図である。

【図１５】本発明の第３の実施例に係る画像入力装置の
構成を示すブロック図である。

【図１６】第２の合成手段の構成を示すブロック図であ
る。

【図１７】並進運動を示す単位ベクトルを示す図であ
る。

【図１８】投影面上への合成画像作成の様子を示す図で
ある。

【図１９】第２の合成手段の別の構成を示すブロック図
である。

【図２０】平面上への合成画像作成の様子を示す図であ
る。

【符号の説明】

１１撮像手段１２信号処理手段１３メモリ制御手段１４主制御手段１５フレームメモリ１６インターフェース１７表示手段１８外部記憶手段２０運動切り替え手段２１第１の合成手段２２第２の合成手段２３運動判別手段３１姿勢検出手段３２対応検出手段３３輻湊角算出手段３４射影変換手段３５投影手段３６第１の合成切り替え手段３７並進運動検出手段３８３次元位置計測手段３９平面算出手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 BA06 DA07 EA05 EA12 EA13 EA19 5B057 CA12 CA16 CB12 CB16 CC01 CD01 CE08 CH08 CH12 DA07 DB02 DC05 5C022 AA13 AB62 5C023 AA02 AA03 AA11 AA31 AA37 BA02 BA11 CA01

Claims

【特許請求の範囲】

【請求項１】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各被写体像を撮影した時の前記撮像手段の並進運動が無
視できるとする第１運動モードと、該並進運動が無視で
きないとする第２運動モードとを切り替える運動切り替
え手段と、該運動切り替え手段により前記第１運動モードに切り替
えられたとき、前記撮像手段の並進運動が無視できると
仮定して得られた複数枚の画像を合成する第１の合成手
段と、前記運動切り替え手段により前記第２運動モードに切り
替えられたとき、前記撮像手段の並進運動が無視できな
いと仮定して得られた複数枚の画像を合成する第２の合
成手段とを有し、前記運動切り替え手段による運動モードの設定に応じて
前記第１の合成手段又は前記第２の合成手段のいずれか
を選択し、選択された前記第１の合成手段又は前記第２
の合成手段によって合成画像を作成することを特徴とす
る画像入力装置。
【請求項２】先に撮像した画像である基準画像と一部
が重複するように複数の視点から対象平面を撮像する撮
像手段と、各被写体像を撮影した時の前記撮像手段の並進運動が無
視できるとする第１運動モードと、該並進運動が無視で
きないとする第２運動モードとを自動判別する運動判別
手段と、該運動判別手段により前記第１運動モードと判別された
とき、前記撮像手段の並進運動が無視できると仮定して
得られた複数枚の画像を合成する第１の合成手段と、前記運動判別手段により前記第２運動モードと判別され
たとき、前記撮像手段の並進運動が無視できないと仮定
して得られた複数枚の画像を合成する第２の合成手段と
を有し、前記運動判別手段による判別結果に応じて前記第１の合
成手段又は前記第２の合成手段のいずれかを選択し、選
択された前記第１の合成手段又は前記第２の合成手段に
よって合成画像を作成することを特徴とする画像入力装
置。
【請求項３】前記第１の合成手段は、前記基準画像と
重複する部分を持つ参照画像として、前記基準画像にお
ける複数の特徴点を抽出すると共に、前記参照画像にお
ける前記各特徴点と同一の箇所を示す対応点を検出する
対応検出手段と、前記特徴点及び前記対応点に基づいて
前記基準画像を前記参照画像上に射影変換する射影変換
手段とを有する請求項１又は２に記載の画像入力装置。
【請求項４】前記第１の合成手段は、各被写体像を撮
像した時の前記撮像手段の姿勢を検出する姿勢検出手段
と、撮像した複数枚の画像を任意の同一面に投影する投
影手段とを有する請求項１又は２に記載の画像入力装
置。
【請求項５】前記第１の合成手段は、前記対応検出手
段及び前記射影変換手段を含んで構成する第１−１の合
成手段と、前記姿勢検出手段及び前記投影手段を含んで
構成する第１−２の合成手段とを有し、前記第１−１の
合成手段と前記第１−２の合成手段とを切り替える第１
の合成切り替え手段を設けた請求項１又は２に記載の画
像入力装置。
【請求項６】前記第２の合成手段は、前記姿勢検出手
段と、前記対応検出手段と、前記姿勢検出手段によって
検出される撮像手段の姿勢、前記対応検出手段によって
検出される前記特徴点及び前記対応点に基づいて、前記
撮像手段の並進運動を検出する並進運動検出手段と、前
記撮像手段の姿勢、前記特徴点、前記対応点及び前記並
進運動に基づいて、前記各特徴点の３次元位置を算出す
る３次元位置計測手段と、該３次元位置計測手段により
計測した前記各特徴点の３次元位置が同一平面にあるも
のとして前記各特徴点の３次元位置に適合する平面の情
報を算出する平面算出手段と、前記撮像手段の姿勢、前
記並進運動及び前記平面の情報に基づいて、撮像した複
数枚の画像を任意の同一面に投影する投影手段とを有す
る請求項１又は２記載の画像入力装置。
【請求項７】前記第２の合成手段は、前記姿勢検出手
段と、前記対応検出手段と、前記姿勢検出手段によって
検出される撮像手段の姿勢、前記対応検出手段によって
検出される前記特徴点及び前記対応点に基づいて、前記
撮像手段の並進運動を検出する並進運動検出手段と、前
記撮像手段の姿勢、前記特徴点、前記対応点及び前記並
進運動に基づいて、前記各特徴点の３次元位置を算出す
る３次元位置計測手段と、該３次元位置計測手段により
計測した前記各特徴点の３次元位置が同一平面にあるも
のとして前記各特徴点の３次元位置に適合する平面の情
報を算出する平面算出手段と、前記特徴点と前記対応点
の関係、あるいは前記撮像手段の姿勢と前記並進運動と
前記平面の情報に基づいて、前記基準画像を前記参照画
像面上に射影変換する射影変換手段と、該射影変換手段
における投影に使用する平面の情報及び前記平面算出手
段による前記平面の情報に基づいて、撮像した複数枚の
画像を任意の同一面に投影する投影手段とを有する請求
項１又は２記載の画像入力装置。