JP2004342067A

JP2004342067A - 画像処理方法、画像処理装置、及びコンピュータプログラム

Info

Publication number: JP2004342067A
Application number: JP2003305384A
Authority: JP
Inventors: Xu Gang; 剛徐
Original assignee: 3D Media Co Ltd
Current assignee: Kyoto Robotics Corp
Priority date: 2003-04-22
Filing date: 2003-08-28
Publication date: 2004-12-02

Abstract

【課題】複数の撮像画像を合成して一の合成画像を生成する画像処理方法、画像処理装置、及びコンピュータプログラムの提供。
【解決手段】所定のパターンが形成されたシート上に対象物を載置し、撮像画像が重なる領域を有するように撮像して得られた複数の撮像画像を画像処理装置内に読込む（Ｓ１）。そして、撮像装置の校正を行った上で（Ｓ２）、各撮像画像上の特徴点とパターン上の特徴点の対応付けを行い（Ｓ３）、射影変換行列の各要素の初期値を算出する（Ｓ４）。そして、変換先の位置座標に関する評価関数を設定した後（Ｓ５）、設定した評価関数に基づいて、射影変換行列の各要素の最適化を行い（Ｓ６）、各撮像画像に対して正面画像の生成処理を行って（Ｓ７）、生成した正面画像を用いて合成画像の生成処理を行う（Ｓ９）。
【選択図】図５

Description

本発明は、互いに重なる領域を有する複数の撮像画像から一の画像を合成する画像処理方法、画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムに関する。

近年、デジタルカメラの普及に伴い、複数の撮像画像を貼り合わせて視野が広く、解像度が高い画像を作成する手法が提案されている。例えば、２次元剛体変換、アフィン変換のような幾何変換を２枚の撮像画像間について算出し、算出した幾何変換を利用して２枚の撮像画像を貼り合わせた合成画像を作成する。３枚以上の撮像画像がある場合も同様であり、まず、隣り合う２枚の撮像画像間について幾何変換を求めて画像合成を施し、その後、合成された画像と該画像に貼り合わせるべき撮像画像との間の幾何変換を求めて画像合成を行う。そして、合成された画像と該画像に貼り合わせる撮像画像との間の幾何変換を求めて、順次的に画像合成を行う（例えば、特許文献１参照）。
特開２０００−１５５８３１号公報

しかしながら、撮像対象が一方向に長い場合、前述の剛体変換、アフィン変換を用いた手法では必ずしも精度良く撮像画像を合成することができない。この原因は撮像環境にあり、撮影対象が撮像装置から十分に遠い場合、又は非常に焦点距離が長い望遠レンズで撮像した場合、撮像して得られた画像は平行投影と仮定することができるため、問題を簡略化することができるが、実際には有限の距離から撮像したものであるため一般に透視投影歪を含んだ画像となる。このとき、透視投影歪が厳密に考慮されていない剛体変換、アフィン変換等の幾何変換を用いて画像合成を行っても、良好な合成画像を得ることができない。

そこで、透視投影歪を考慮した手法として平面射影変換が提案されている。平面射影変換により画像変換して画像合成を行う場合も前述と同様に、まず、合成すべき２枚の撮像画像間について平面射影変換を求めて画像合成を行う。次いで、合成された画像と次に貼り合わせるべき撮像画像との間の平面射影変換を求めて、画像合成を行う。そして、合成された画像と該画像に貼り合わせるべき撮像画像との間の平面射影変換を求めて、順次的に画像合成を行う。

しかしながら、平面射影変換を用いた手法では、剛体変換、アフィン変換等の幾何変換で除去されない透視投影歪を除去することができるものの、合成した画像はある視点から広角レンズで撮像したような画像となる。すなわち、最初に合成した画像の歪みは少ないが、当該画像からの距離が大きくなるに従って、画像の歪みが大きくなるという問題点を有していた。

本発明は斯かる事情に鑑みてなされたものであり、撮像対象が有する特徴点の位置情報を予め記憶しておき、前記特徴点の位置情報と該特徴点に対応する撮像画像上の対応点の位置情報との間に成立つ関係を求め、求めた関係に基づいて各撮像画像の歪みを補正した補正画像を生成し、生成した各補正画像を前記特徴点に基づいて合成する構成とすることにより、多数の撮像画像を合成する場合であっても精度良く合成することが可能な画像処理方法、画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムを提供することを目的とする。

第１発明に係る画像処理方法は、互いに重なる領域を有すべく撮像して得られた複数の特徴点を有する撮像対象の撮像画像を画像処理装置に複数取込み、取込んだ撮像画像上の特徴点に基づいて前記撮像画像を互いに重なる領域にて合成する画像処理方法において、前記撮像対象が有する特徴点の位置情報を予め記憶しておき、前記特徴点に対応する各撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づいて各撮像画像の歪みを補正した補正画像を生成し、生成した各補正画像を前記特徴点に基づいて合成することを特徴とする。

第１発明にあっては、撮像対象が有する特徴点と各撮像画像上で前記特徴点に対応する対応点との間の対応付けを行い、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づき各撮像画像から歪みを除去した補正画像を生成し、生成した補正画像を互いに重なる領域にて合成するようにしているため、多数の撮像画像を合成する際に歪みの拡大が防止され、画像合成の精度が向上する。

第２発明に係る画像処理方法は、第１発明に係る画像処理方法において、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係は、射影変換行列で表した関係であることを特徴とする。

第２発明にあっては、撮像対象の特徴点の位置情報と対応点の位置情報との間に成立つ関係として射影変換行列を求めるようにしている。したがって、撮像対象を撮像する際の撮像装置の位置及び姿勢のずれに伴う歪みが撮像画像に生じている場合であっても、各撮像画像上の点を求めた射影変換行列によって変換することによって歪みが除去される。また、歪みを除去して得られた補正画像を利用して画像合成を行うため、多数の画像を合成する場合でも精度が高くなる。

第３発明に係る画像処理装置は、撮像装置により互いに重なる領域を有すべく撮像して得られた複数の特徴点を有する撮像対象の撮像画像を複数取込み、取込んだ撮像画像上の特徴点に基づいて各撮像画像を互いに重なる領域にて合成して一の合成画像を生成する画像処理装置において、前記撮像対象が有する特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する各撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求める手段と、求めた関係に基づいて各撮像画像の歪みを補正した補正画像を生成する手段と、生成した各補正画像を前記特徴点に基づいて合成する合成手段とを備えることを特徴とする。

第３発明にあっては、撮像対象が有する特徴点と各撮像画像上で前記特徴点に対応する対応点との間の対応付けを行い、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づき各撮像画像から歪みを除去した補正画像を生成し、生成した補正画像を互いに重なる領域にて合成するようにしているため、多数の撮像画像を合成する際に歪みの拡大が防止され、画像合成の精度が向上する。

第４発明に係る画像処理装置は、第３発明に係る画像処理装置において、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係は、射影変換行列で表した関係であることを特徴とする。

第４発明にあっては、撮像対象の特徴点の位置情報と対応点の位置情報との間に成立つ関係として射影変換行列を求めるようにしている。したがって、撮像対象を撮像する際の撮像装置の位置及び姿勢のずれに伴う歪みが撮像画像に生じている場合であっても、各撮像画像上の点を求めた射影変換行列によって変換することによって歪みが除去される。また、歪みを除去して得られた補正画像を利用して画像合成を行うため、多数の画像を合成するでも精度が高くなる。

第５発明に係る画像処理装置は、第３発明又は第４発明に係る画像処理装置において、生成すべき補正画像上の点を前記関係に従って変換する手段と、変換した点の色情報を前記撮像画像から取得する手段とを備え、取得した色情報に基づいて補正画像を生成すべくなしてあることを特徴とする。

第５発明にあっては、生成する補正画像上の点の色情報は、補正画像上の点を幾何学的関係に従って変換し、変換した点の色情報を撮像画像から取得するようにしているため、生成すべき補正画像を構成する全ての点の色情報が過不足なく定まる。

第６発明に係る画像処理装置は、第３発明乃至第５発明の何れかに記載の画像処理装置において、前記合成手段は、前記特徴点に対する前記補正画像上の任意の点の相対的な位置情報を前記関係に基づいて求める手段と、異なる補正画像間で共通の位置情報を有する点の色情報を前記補正画像から取得する手段とを備え、取得した色情報に基づいて前記補正画像を合成すべくなしてあることを特徴とする。

第６発明にあっては、異なる補正画像間で共通の位置情報を有する点の色情報を前記補正画像から取得し、取得した色情報に基づいて補正画像を合成するようにしている。したがって、異なる２枚の補正画像が互いに重なる領域で色情報の平均、加重平均等の処理を行うことにより両補正画像が合成される。

第７発明に係る画像処理装置は、第３発明乃至第５発明の何れかに記載の画像処理装置において、前記合成手段は、前記関係に基づいて前記特徴点に対応する前記補正画像上の点を求める手段と、求めた点に基づいて各補正画像間の幾何学的関係を求める手段とを備え、求めた幾何学的関係に基づいて前記補正画像を合成すべくなしてあることを特徴とする。

第７発明にあっては、歪みを除去した補正画像上で前記特徴点に対応する点を求め、求めた各補正画像上の点の間の幾何学的関係を求め、求めた幾何学的関係に基づいて補正画像を合成するようにしている。したがって、歪みが除去された補正画像を用いて画像合成を行うため、例えば、合成すべき２枚の画像間の関係を並進ベクトル及び回転行列により表すことができ、対応点同士が互いに重なり合うような並進ベクトルと回転行列とを見いだすことにより画像合成が可能となる。

第８発明に係る画像処理装置は、第７発明に係る画像処理装置において、前記幾何学的関係は、並進ベクトル及び回転行列で表した関係であることを特徴とする。

第８発明にあっては、歪みを除去した補正画像上で前記特徴点に対応する点同士の幾何学的関係を並進ベクトル及び回転行列で表すようにしているため、対応点同士が互いに重なり合うような並進ベクトル及び回転行列を見いだすことにより画像合成が可能となる。

第９発明に係る画像処理装置は、第３発明乃至第８発明の何れかに記載の画像処理装置において、前記撮像対象は、所定のパターンを形成してある撮像対象面を含むことを特徴とする。

第９発明にあっては、撮像対象に所定のパターンを含めるようにしているため、当該パターンに含まれる形状についての位置情報を記憶させておくことにより、撮像画像に歪みが生じている場合であっても、記憶させておいた位置情報と撮像画像に写されているパターン上の対応点の位置情報とに基づき、容易に撮像画像の歪みを除去することが可能となる。また、歪みを除去して得られた補正画像を用いることにより精度が高い合成画像が容易に得られる。

第１０発明に係る画像処理装置は、第９発明に係る画像処理装置において、前記パターンは格子状の画像であることを特徴とする。

第１０発明にあっては、撮像対象に含めるパターンとして格子状の画像を用いているため、その格子点を撮像対象の特徴点として採用することができ、予めその格子点の位置情報を記憶させておくことで、撮像対象と撮像画像との間の対応付けが容易となり、歪みを除去した補正画像の生成が容易となる。また、歪みを除去して得られた補正画像を用いることにより精度が高い合成画像が容易に得られる。

第１１発明に係る画像処理装置は、第３発明乃至第８発明の何れかに記載の画像処理装置において、前記撮像対象は、複数の標識体を含み、該標識体の位置情報を予め記憶してあることを特徴とする。

第１１発明にあっては、撮像対象に複数の標識体を含んでいるため、予めその標識体の位置情報を記憶させておくことで、撮像対象と撮像画像との間の対応付けが容易となり、歪みを除去した補正画像の生成が容易となる。また、歪みを除去して得られた補正画像を用いることによって精度が高い合成画像が容易に得られる。

第１２発明に係るコンピュータプログラムは、コンピュータに、受付けた互いに重なるべき領域を有する複数の撮像画像を前記領域にて合成して一の合成画像を生成させるステップを有するコンピュータプログラムにおいて、コンピュータに、撮像対象が有する特徴点に対応する各撮像画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、予め記憶された前記特徴点の位置情報と前記対応点の位置情報との間の関係を求めさせるステップと、コンピュータに、求めさせた関係に基づいて各撮像画像の歪みを補正した補正画像を生成させるステップと、コンピュータに、生成させた各補正画像を前記特徴点に基づいて合成させるステップとを有することを特徴とする。

第１２発明にあっては、撮像対象が有する特徴点と各撮像画像上で前記特徴点に対応する対応点との間の対応付けを行い、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づき各撮像画像から歪みを除去した補正画像を生成し、生成した補正画像を互いに重なる領域にて合成するようにしているため、多数の撮像画像を合成する際に歪みの拡大が防止され、画像合成の精度が向上する。

第１発明、第３発明、及び第１２発明による場合は、撮像対象が有する特徴点と各撮像画像上で前記特徴点に対応する対応点との間の対応付けを行い、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づき各撮像画像から歪みを除去した補正画像を生成し、生成した補正画像を互いに重なる領域にて合成するようにしているため、画像合成に係る撮像画像の枚数が多い場合であっても歪みの拡大を防止することができ、精度良く撮像画像を合成することが可能となる。

第２発明及び第４発明による場合は、撮像対象の特徴点の位置情報と対応点の位置情報との間に成立つ関係として射影変換行列を求めるようにしている。したがって、撮像対象を撮像する際の位置及び姿勢のずれに伴う歪みが撮像画像に生じている場合であっても、求めた射影変換行列に基づいてその歪みを除去することが可能であるため、撮像対象を正面から撮像したような正面画像を生成することができ、生成した正面画像を用いて画像合成を行うことにより精度良く撮像画像を合成することが可能となる。

第５発明による場合は、生成する補正画像上の点の色情報は、補正画像上の点を幾何学的関係に従って変換し、変換した点の色情報を撮像画像から取得するようにしているため、生成すべき補正画像を構成する全ての点の色情報を過不足なく定めることができる。

第６発明による場合は、異なる補正画像間で共通の位置情報を有する点の色情報を前記補正画像から取得し、取得した色情報に基づいて補正画像を合成するようにしている。したがって、異なる２枚の補正画像が互いに重なる領域で色情報の平均、加重平均等の処理を行うことにより両補正画像が合成される。

第７発明による場合は、歪みを除去した補正画像上で前記特徴点に対応する点を求め、求めた各補正画像上の点の間の幾何学的関係を求め、求めた幾何学的関係に基づいて補正画像を合成するようにしている。したがって、歪みが除去された補正画像を用いて画像合成を行うため、例えば、合成すべき２枚の画像間の関係を並進ベクトル及び回転行列により表すことができ、対応点同士が互いに重なり合うような並進ベクトルと回転行列とを見いだすことにより画像合成が可能となる。

第８発明による場合は、歪みを除去した補正画像上で前記特徴点に対応する点同士の幾何学的関係を並進ベクトル及び回転行列で表すようにしているため、対応点同士が互いに重なり合うような並進ベクトル及び回転行列を見いだすことにより画像合成が可能となる。

第９発明による場合は、撮像対象に所定のパターンを含めるようにしているため、当該パターンに含まれる形状についての位置情報を記憶させておくことにより、撮像画像に歪みが生じている場合であっても、記憶させておいた位置情報と撮像画像に写されているパターン上の対応点の位置情報とに基づき、容易に撮像画像の歪みを除去することが可能となる。また、歪みを除去して得られた補正画像を用いることにより精度が高い合成画像を容易に生成することができる。

第１０発明による場合は、撮像対象に含めるパターンとして格子状の画像を用いているため、その格子点を撮像対象の特徴点として採用することができ、予めその格子点の位置情報を記憶させておくことで、撮像対象と撮像画像との間の対応付けが容易となり、歪みを除去した補正画像の生成が容易となる。また、歪みを除去して得られた補正画像を用いることにより精度が高い合成画像が容易に生成することができる。

第１１発明による場合は、撮像対象に複数の標識体を含んでいるため、予めその標識体の位置情報を記憶させておくことで、撮像対象と撮像画像との間の対応付けが容易となり、歪みを除去した補正画像の生成が容易となる。また、歪みを除去して得られた補正画像を用いることによって精度が高い合成画像が容易に生成することができる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

実施の形態１．
図１は本実施の形態に係る画像処理システムの構成を示す模式図である。図中Ｔは、本画像処理システムにて画像合成の対象となる対象物であり、この対象物ＴをシートＳに載置した状態で撮像装置２０により分割撮像し、得られた複数の撮像画像を画像処理装置１０に取込み、画像処理装置１０内部で画像処理を行うことによって撮像画像の合成を行う。

対象物Ｔは、例えば、絵画、絵巻物、地図、原稿等のシート状のものであり、撮像装置２０により一度に撮像することが困難な大きさを有するもの、又は高解像度の画像データが必要となるものを対象としている。シートＳは合成樹脂、金属、木材、紙等の材料により任意の平面形状（例えば、長方形）に形成されており、当該シートＳの表面には等間隔のピッチで配した格子線からなる格子状のパターンが形成されている。撮像装置２０はデジタルカメラであり、撮像時にデジタル形式の画像データを生成する。ここで、撮像装置２０が生成する画像データは任意の画素数を持ち、各画素がＲＧＢ値等の色情報を有する画素の集合からなるデータである。画像処理装置１０はパーソナルコンピュータ等で構成され、撮像装置２０が生成した画像データを取込んで画像処理を行い、撮像画像の合成を行う。

前述したように、本実施の形態ではシートＳ上に載置した対象物Ｔを撮像装置２０により撮像する。このとき、撮像して得られた各撮像画像が互いに重なる領域を持つように撮像領域を順次的にずらしながら撮像する。図１に示した例では、まず、対象物Ｔの一端側を撮像装置２０により撮像して撮像領域Ａ１の撮像画像を取得し、次いで、対象物Ｔの中央近傍を撮像して撮像領域Ａ１と重なる領域を有する撮像領域Ａ２の撮像画像を取得し、そして、対象物Ｔの他端側を撮像して撮像領域Ａ２と重なる領域を有する撮像領域Ａ３の撮像画像を取得している。

本実施の形態では、これらの撮像画像を画像処理装置１０に取込んだ後、撮像時の撮像装置２０の位置及び姿勢のずれに伴う撮像画像の歪みを除去することにより、対象物Ｔを正面から撮像したような正面画像を生成し、生成した各正面画像が互いに重なり合う領域にて合成するようにしている。

図２はシートＳ上に形成されたパターンについて説明する模式図である。シートＳの表面には前述したように等間隔のピッチで配した格子線からなる格子状のパターンが描かれている。図２に示した例では、７行１３列の正方格子（縦方向に７個、横方向に１３個とする）によるパターンが描かれており、画像処理装置１０にはこのパターンの幾何学的形状に関する情報が予め記憶されている。前記幾何学的形状に関する情報は、各格子点の位置座標、格子点間の距離の実測値等が含まれる。各格子点の位置座標は、例えば、紙面左下の格子点Ｐ₀₀の位置座標を（０，０）、右下の格子点Ｐ₁₃₀ の位置座標を（１，０）、右上の格子点Ｐ₁₃₇ の位置座標を（１，１）、左上の格子点Ｐ₀₇の位置座標を（０，１）とした相対座標系により表すことができる。また、格子間の距離については、例えば、格子点Ｐ₀₀と格子点Ｐ₁₃₀ との間の距離、及び格子点Ｐ₀₀と格子点Ｐ₀₇との間の距離を予め計測して画像処理装置１０に記憶させておく。

なお、本実施の形態では７行１３列の正方格子をパターンとして用いる構成としたが、格子の配列は必ずしも７行１３列に限定されないことは勿論のことである。各撮像画像につき少なくとも４つ以上の格子点が対象物Ｔとともに撮像される構成であれば画像処理による歪みの除去、及び各撮像画像の合成処理が可能となる。また、パターンとしては、前述の正方格子からなるパターンの他に、三角格子からなるパターン、長方形状の格子からなるパターン、有限の大きさを有する点を規則的に配置したパターン等を用いることも可能である。

図３は画像処理装置１０に読込まれた撮像画像の一例を説明する模式図である。撮像装置２０を用いて適宜の位置及び姿勢から前述のシートＳ及び対象物Ｔを撮像した場合、対象物Ｔに対して真正面から撮像しない限り、撮像して得られた撮像画像２００ａ〜２００ｃは、撮像時の位置及び姿勢に応じて図３（ａ）〜図３（ｃ）に示したような歪み（台形歪み）を生じた画像となる。

本実施の形態では、対象物Ｔとともに撮像したパターンの格子点Ｐ_xy（ｘ＝０〜１３，ｙ＝０〜７）の位置情報に基づいて、まず、撮像画像２００ａ〜２００ｃの歪みを補正し、その後、得られた正面画像（補正画像）を利用して画像合成を行う。すなわち、歪んでいない状態でのパターンの格子点の位置情報が画像処理装置１０に予め記憶されているため、その位置情報と実際に撮像して得られた撮像画像２００ａ〜２００ｃ上の格子点Ｐ_xyの位置情報とに基づいて歪みを補正することができ、正面画像を取得することができる。

図４は画像処理装置１０の内部構成を説明するブロック図である。画像処理装置１０はＣＰＵ１１を備えており、該ＣＰＵ１１にはＲＯＭ１３、ＲＡＭ１４、操作部１５、表示部１６、画像入力部１７、補助記憶部１８、記憶部１９等の各種ハードウェアがバス１２を介して接続されている。ＣＰＵ１１は、ＲＯＭ１３に格納された各種制御プログラムに従って前述のハードウェアを制御するとともに、記憶部１９にインストールされた本発明のコンピュータプログラムをＲＡＭ１４上のロードすることにより、画像入力部１７を通じて入力された撮像画像に対して画像処理を施して正面画像を生成し、得られた正面画像を用いて一の合成画像を生成する。なお、当該画像処理は必ずしもＣＰＵ１１が行う必要はなく、画像処理専用のＡＳＩＣ（Ａpplication Specifide Integrated Circiut）を設けて、ＣＰＵ１１から指示を与えることにより、画像処理専用のＡＳＩＣに画像処理を行わせる形態であってもよい。ＲＡＭ１４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ等を記憶する。

操作部１５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示、選択操作等を受付ける。表示部１６は、ＣＲＴディスプレイ又は液晶ディスプレイ等の表示装置からなり、操作部１５を通じて入力された各種の情報が表示されるとともに、外部から入力された撮像画像、及び画像処理中の画像等が表示される。

画像入力部１７は、撮像装置２０が生成した画像データを入力するための入力装置を備えている。前記入力装置として、ＵＳＢ（Universal Serial Bus）の規格に準拠した接続ポート、可搬型の半導体メモリに記憶された画像データを読取るための読取装置等を採用することができる。撮像装置２０がＵＳＢのインタフェースを持ち、通信ケーブルを介して外部に画像データを送出できるようになっている場合には、前述の接続ポートに通信ケーブルを接続して画像データを通信により受信する。また、撮像装置２０がＵＳＢのインタフェースを持たず、可搬型の半導体メモリにより画像データの受渡しが行われる場合には、前述の読取装置が利用される。なお、この読取装置は画像処理装置１０に内蔵したものであってもよく、外付けにしたものであってもよい。

補助記憶部１８は、本発明のコンピュータプログラムを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体Ｍからコンピュータプログラムを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラムは記憶部１９に記憶される。ＣＰＵ１１が当該コンピュータプログラムを実行する場合、記憶部１９に記憶されたコンピュータプログラムを一旦ＲＡＭ１４上に展開し、ＣＰＵ１１が前記コンピュータプログラムに含まれる命令コードをデコードすることによって一連のプログラムとして解釈し、前記コンピュータプログラムを実行する。

記憶部１９は、ＨＤＤ装置等の記憶装置を備えており、前述のコンピュータプログラム、及び画像入力部１７から入力された画像データを適宜の記憶領域に格納するとともに、シートＳに形成されたパターン上の特徴点Ｐ₀₀〜Ｐ₁₃₇ の位置情報が予め格納されており、当該位置情報に基づき、表示部１６にパターンの画像を再現できるようにしている。

図５は本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。まず、画像処理装置１０は、撮像装置２０により撮像して得られた撮像画像の読込みを行う（ステップＳ１）。撮像画像の読込みは、画像入力部１７を通じて入力された撮像画像をＲＡＭ１４上に読込む形態であってもよく、また、予め記憶部１９に記憶させておいた撮像画像をＲＡＭ１４上に読込む形態であってもよい。

次いで、撮像装置２０の校正を行い（ステップＳ２）、撮像装置２０の内部パラメータに起因する歪みの除去を行う。一般に、撮像装置によって得られる画像には、撮像装置のレンズ系等の影響を受けて円形歪み、樽型歪み等の種々の歪みが発生する。そこで、本実施の形態ではこれらの歪みを除去した上で、撮像した際の位置及び姿勢に伴う撮像画像の歪みの除去を行う。

撮像装置２０の校正には公知の手法を用いることができる。例えば、既知のパターンを撮像し、撮像して得られた画像とパターンとに基づいて撮像装置２０の内部パラメータ（焦点距離、主点の位置座標等）、及び歪み量を規定するパラメータを予め算出する。そして、校正の際には予め求めておいたこれらのパラメータを利用して校正を行う。なお、予め校正を行った撮像装置２０を利用して撮像する場合、本ステップを省略することも可能である。

次いで、画像処理装置１０は撮像画像の特徴点とパターンの特徴点との間の対応付けを受付ける（ステップＳ３）。具体的には、図３に示したような撮像画像２００ａ〜２００ｃ及びシートＳ上のパターンの画像を画像処理装置１０の表示部１６に表示させ、撮像画像２００ａ〜２００ｃとパターンとの間で対応する特徴点を、操作部１５が備えるマウス等によりユーザに選択させる。

次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列の各要素の初期値を求める（ステップＳ４）。射影変換行列の各要素の初期値は、以下のようにして求めることができる。

撮像画像上の特徴点の位置座標（ｕ_i ，ｖ_i ）は、パターン上の特徴点の位置座標（ｘ_i ，ｙ_i ）、及び射影変換行列Ｈを用いて次式のように表すことができる。

ここで、右辺のＨ₁₁，Ｈ₁₂，…，Ｈ₃₃は射影変換行列Ｈの各要素を表している。また、数式（１）においてはスケール因子を考慮していない。ｕ_i 及びｖ_i について展開した場合、数式（２）及び数式（３）のように表すことができる。

更に、射影変換行列Ｈの各要素についてまとめた場合、以下の行列式で表すことができる。

ここで、左辺の２ｎ行×９列の行列をＡで表し、射影変換行列Ｈの各要素Ｈ₁₁，Ｈ₁₂，…，Ｈ₃₃で表されるベクトルをｈで表した場合、数式（４）は、

となる。数式（５）を用いることによって、ベクトルｈを、Ａ^T Ａの最小固有値に対応する固有ベクトルとして求めることができる。

次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列Ｈの各要素Ｈ₁₁，Ｈ₁₂，…，Ｈ₃₃を最適化するために評価関数の設定を行う（ステップＳ５）。ここで、撮像画像上の点の位置座標（ｕ_i ，ｖ_i ）とステップＳ４で求めた射影変換行列による変換先の位置座標との間の距離の二乗和を評価関数として設定し（数式（６））、当該評価関数が最小となるように射影変換行列の各要素Ｈ₁₁，Ｈ₁₂，…，Ｈ₃₃の最適化を行う（ステップＳ６）。

次いで、画像処理装置１０のＣＰＵ１１は、最適化して得られた射影変換行列Ｈを用いて歪みを補正し、正面画像の生成処理を行う（ステップＳ７）。なお、正面画像の生成処理については後に詳述することにする。

次いで、ＣＰＵ１１は、すべての撮像画像について正面画像を生成したか否かを判断する（ステップＳ８）。正面画像を生成していない撮像画像が残っている場合（Ｓ８：ＮＯ）、処理をステップＳ２へ戻し、ステップＳ２からステップＳ７までの処理を実行することによって残りの撮像画像の歪みを補正して、正面画像を生成する。

すべての撮像画像について正面画像を生成した場合（Ｓ８：ＹＥＳ）、生成した正面画像から一の合成画像を生成する（ステップＳ９）。なお、合成画像の生成処理については後に詳述することとする。

図６は正面画像の生成処理を説明する説明図である。前述したフローチャートのステップＳ６で最適化した射影変換行列Ｈが求まるため、この射影変換行列Ｈの逆行列を用いて撮像画像上の各点の位置座標を変換するより、歪みがない正面画像（補正画像）が得られることとなる。しかしながら、撮像画像は元々歪んだものであるから元のパターンと比較した場合、画素が足りない領域及び画素が過剰な領域が存在している。したがって、撮像画像を元に射影変換行列Ｈの逆行列を用いて変換したとき、隙間のない完全な正面画像を得ることができない場合が生じる。

そこで、本実施の形態では、撮像画像２００ａを出発点とするのではなく、元のパターンを出発点とし、パターン上の任意の画素の位置座標（ａ_i ，ｂ_j ）を射影変換行列Ｈにより変換し、撮像画像２００ａにおいて対応する点の位置座標（α_i ，β_j ）を求め、その位置座標（α_i ，β_j ）での点の色情報を取得し、取得した色情報を生成すべき正面画像１００ａ上の点の色情報として記憶する。

図７は正面画像の生成処理ルーチンの処理手順を説明するフローチャートである。まず、画像処理装置１０のＣＰＵ１１は、カウンタｉ，ｊを０に設定し（ステップＳ１１）、復元先の画像（正面画像）上の点の位置座標（ａ_i ，ｂ_j ）を射影変換行列Ｈにより変換する（ステップＳ１２）。変換後の点は撮像画像上の点に移るため、その変換後の点の位置座標（α_i ，β_j ）に対応する色情報を取得する（ステップＳ１３）。そして取得した色情報を復元先の画像の点の位置座標（ａ_i ，ｂ_j ）の色情報として記憶する（ステップＳ１４）。

次いで、ＣＰＵ１１はカウンタｉがＸ以上であるか否かを判断する（ステップＳ１５）。ここで、Ｘは生成すべき正面画像の横方向の総画素数を表す。ｉがＸ以上でないと判断した場合（Ｓ１５：ＮＯ）、カウンタｉを１つだけ増やして（ステップＳ１６）、処理をステップＳ１２へ戻す。

カウンタｉがＸ以上であると判断した場合（Ｓ１５：ＹＥＳ）、カウンタｉの値を０に設定し（ステップＳ１７）、カウンタｊがＹ以上であるか否かを判断する（ステップＳ１８）。ここで、Ｙは生成すべき正面画像の縦方向の総画素数を表す。カウンタｊがＹ以上でないと判断した場合（Ｓ１８：ＮＯ）、カウンタｊを１つだけ増やして（ステップＳ１９）、処理をステップＳ１２へ戻し、カウンタｊがＹ以上であると判断した場合（Ｓ１８：ＹＥＳ）、本ルーチンを終了する。

図８は合成画像の生成処理ルーチンの処理手順を説明するフローチャートである。まず、画像処理装置１０のＣＰＵ１１は、カウンタｎを１に設定する（ステップＳ２１）。そして、前述の正面画像の生成処理ルーチンで生成したｎ番目の正面画像、及びｎ＋１番目の正面画像を読込む（ステップＳ２２，Ｓ２３）。

次いで、ＣＰＵ１１は、ｎ番目及びｎ＋１番目の重なり領域の色情報を平均する（ステップＳ２４）。具体的には、ｎ番目の正面画像の任意の画素に着目し、ｎ＋１番目の正面画像に同一の位置情報を有する画素が存在する場合、両画素の画素値を平均する処理を行う。この処理をｎ番目の正面画像の全ての画素について行うことによって、前記重なり領域において両画像を合成する。なお、本実施の形態では、画素値の平均をとることで画像の合成を行う構成としたが、重なり領域の境界からの平均すべき画素までの距離に応じた加重平均をとる構成であっても良いことは勿論である。

次いで、ＣＰＵ１１は、合成する正面画像があるか否かを判断する（ステップＳ２５）。合成する正面画像がある場合（Ｓ２５：ＹＥＳ）、カウンタｎの値を１つだけ増やし（ステップＳ２６）、処理をステップＳ２３へ戻す。また、合成する正面画像がない場合（Ｓ２５：ＮＯ）、全ての正面画像を合成したとして本ルーチンによる処理を終了する。

なお、本実施の形態では、シートＳ上に載置した対象物Ｔを撮像する構成としたが、対象物Ｔを載置するものは必ずしもシートＳに限定されず、テーブル等の台状のものであっても良く、また、床面、壁面等にパターンを形成して利用する構成であっても良い。

実施の形態２．
実施の形態１では、撮像対象となる対象物ＴをシートＳ上に載置して撮像装置２０により撮像する構成であったが、対象物Ｔが大きい場合、その対象物Ｔを載置できるようなシートＳを用意しなければならず、現実的でないことがある。また、様々な大きさの対象物Ｔについて合成画像を生成する必要がある場合には、それぞれの対象物Ｔに対して適当な大きさの正方格子から格子されるパターンを用意する必要があり、必ずしも利便性が良くない。そこで、本実施の形態では、任意の大きさの対象物Ｔに対応するために、前述のシートＳの代わりに複数のマーカ（標識体）を利用して撮像画像の合成を行う。

図９は本実施の形態に係る画像処理システムの構成を示す模式図である。図中Ｔは、本画像処理システムにて画像合成の対象となる対象物であり、この対象物Ｔの周囲に複数のマーカｍ１〜ｍ１６を付した状態で撮像装置２０により分割撮像し、得られた複数の撮像画像を画像処理装置１０に取込み、画像処理装置１０内部で画像処理を行うことによって撮像画像の合成を行う。

対象物Ｔは、例えば、絵画、絵巻物、地図、原稿等のシート状のものであり、撮像装置２０により一度に撮像することが困難な大きさを有するもの、又は高解像度の画像データが必要となるものを対象としている。マーカｍ１〜ｍ１６は、任意の材料により形成された適宜の大きさの標識体であり、対象物Ｔと同一の平面内に載置される。

撮像装置２０はデジタルカメラであり、撮像時にデジタル形式の画像データを生成する。ここで、撮像装置２０が生成する画像データは任意の画素数を持ち、各画素がＲＧＢ値等の色情報を有する画素の集合からなるデータである。画像処理装置１０はパーソナルコンピュータ等で構成され、撮像装置２０が生成した画像データを取得して画像処理を行い、撮像画像の合成を行う。なお、画像処理装置１０の内部構成は実施の形態１と全く同様であるため、その説明を省略することとする。

本実施の形態では、マーカｍ１〜ｍ１６の位置情報を実測することにより事前に取得し、取得した位置情報を画像処理装置１０に記憶させている。従って、対象物Ｔを撮像する際、マーカｍ１〜ｍ１６を撮像対象に含めて撮像することで、それらのマーカｍ１〜ｍ１６の位置情報は、実施の形態１で説明したパターンの格子点の位置情報の代わりとして利用することが可能となる。したがって、撮像画像を画像処理装置１０に取込んだ後は実施の形態１と同様の処理により画像合成を行うことができる。

本実施の形態では、対象物Ｔの周囲にマーカｍ１〜ｍ１６を配置して撮像する構成としたが、合成して得られた合成画像を利用する際に支障がない場合には、対象物Ｔ上にマーカを配置することも可能である。また、マーカの数は１６個の限定されず、対象物Ｔの大きさ、必要とする合成画像の解像度等を考慮して利用者が任意に設定することが可能である。

実施の形態３．
実施の形態２では、対象物Ｔの周囲に付されているマーカｍ１〜ｍ１６の位置情報と各マーカｍ１〜ｍ１６に対応する撮像画像上の対応点の位置情報とに基づき、両者の間に成立つ幾何学的関係を定めて各撮像画像から正面画像を合成し、マーカｍ１〜ｍ１６に対する各正面画像の相対的な位置を定めることにより重なり領域を求め、求めた重なり領域にて合成することにより、合成画像を生成するようにしていた。しかしながら、異なる２つの撮像画像間に共通のマーカが複数撮像されている場合には、これらのマーカの位置情報に基づいて合成画像を生成することも可能である。

図１０は本実施の形態に係る画像処理システムの構成を示す模式図である。本実施の形態に係る画像処理システムは、デジタルカメラ等の撮像装置２０と、該撮像装置２０により撮像される対象物Ｔと、撮像装置２０が取得した複数の撮像画像を合成する画像処理装置１０とにより構成されている。撮像される対象物Ｔには２つのマーカＭ１，Ｍ２が適宜位置に付されており、マーカＭ１，Ｍ２を付した状態にて撮像装置２０により撮像して撮像画像を取得する。対象物Ｔを撮像する際、撮像装置２０の位置及び姿勢、並びにマーカＭ１，Ｍ２の位置の調整することにより、２枚の撮像画像が互いに重なる領域を持ち、その領域内に双方のマーカＭ１，Ｍ２による像が含まれるようにして撮像する。また、２枚の撮像画像を得るために、１枚目の撮像画像を取得した後、撮像装置２０を移動させて２枚目を撮像するようにしても良く、また、１枚目の撮像画像を取得した後、対象物Ｔを移動させて２枚目を撮像するようにしても良い。得られた２枚の撮像画像は画像処理装置１０内に取込まれ、画像処理装置１０にて画像処理を行うことにより両撮像画像の合成を行う。画像処理装置１０の内部構成については実施の形態１と全く同様であるため、その説明を省略することとする。

なお、本実施の形態では、説明を簡略化するために撮像枚数を２枚としたが、これらの数に限定されないことは勿論のことである。

図１１は画像処理装置１０が行う画像処理の手順を模式的に説明した説明図であり、図１２は処理手順を説明するフローチャートである。まず、画像処理装置１０は、撮像処理装置２０により撮像して得られた２枚の撮像画像の読込みを行う（ステップＳ３１）。撮像画像の読込みは、画像入力部１７を通じて入力された撮像画像をＲＡＭ１４上に読込む形態であっても良く、予め記憶部１９に記憶させておいた撮像画像をＲＡＭ１４上に読込む形態であっても良い。撮像した対象物Ｔには２つのマーカＭ１，Ｍ２が付されているため、ＲＡＭ１４上に読込まれた２枚の撮像画像２０１ａ，２０２ａには、それぞれマーカＭ１による像ｍ１１，ｍ１２と、マーカＭ２による像ｍ２１，ｍ２２とが写されている（図１１（ａ）参照）。

次いで、読込まれた撮像画像２０１ａ，２０２ａから正面画像２０１ｂ，２０２ｂの生成を行う（ステップＳ３２）。撮像画像２０１ａ，２０２ａから正面画像２０１ｂ，２０２ｂを生成する手法としては公知の手法、又は実施の形態１で説明した手法を利用することができる。実施の形態１で説明した手法を用いる場合には、対象物Ｔを載置している載置面と撮像画像との間の幾何学的関係を求める必要があるため、例えば、前述したようなパターンを形成したシートＳを撮像し、前記パターンと撮像画像とを用いて前述した手法により両者の間に成立つ幾何学的関係を予め求めておく。そして、撮像装置２０の位置及び姿勢を保った状態で対象物Ｔを撮像した撮像画像を取得し、前記幾何学的関係を表す射影変換行列によって撮像画像の各画素を変換することにより正面画像２０１ｂ，２０２ｂを生成する。

次いで、画像処理装置１０のＣＰＵ１１は、一方の対応点同士を一致させるような並進ベクトルｔを算出する（ステップＳ３３）。２枚の正面画像２０１ｂ，２０２ｂ間で対応する対応点としては、各正面画像２０１ｂ，２０２ｂに写されているマーカＭ１，Ｍ２の像ｍ１１〜ｍ２２を採用することができる。すなわち、図１１に示した如く像ｍ１１と像ｍ１２とを一方の対応点の組として採用することができ、像ｍ２１と像ｍ２２とを他方の対応点の組として採用することができる。そして、一方の対応点同士を一致させるような並進ベクトルを求めるためには、正面画像２０１ｂ，２０２ｂの各画素を一つの座標系で表し、像ｍ１１の位置座標と像ｍ１２の位置座標とを前記座標系において求めることにより、並進ベクトルｔを算出することができる（図１１（ｂ）参照）。次いで、正面画像２０２ｂの各画素を算出した並進ベクトルｔにより並進移動させる（ステップＳ３４）。

ステップＳ３３にて算出した並進ベクトルｔにより正面画像２０２ｂの各画素を移動させた場合、像ｍ１１の位置座標と像ｍ１２の位置座標とは一致することとなるが、互いに重なる領域にて双方の画素を一致させるためには、一般的には回転の自由度が残ることとなる（図１１（ｃ）参照）。そこで、画像処理装置１０のＣＰＵ１１は、像ｍ１２の位置座標を中心に正面画像２０２ｂの各画素を回転させたとき、他方の対応点同士を一致させるような回転行列を算出する（ステップＳ３５）。具体的には、像ｍ１１及び像ｍ２１を結ぶ線分と、像ｍ１２及び像ｍ２２を結ぶ線分との間のなす角度を算出して前記回転行列を算出する。次いで、正面画像２０２ｂの各画素を算出した回転行列により回転移動させる（ステップＳ３６）。

回転移動させた結果、双方の対応点が一致し、その対応点の周囲の領域にて２枚の正面画像２０１ｂ，２０２ｂは互いに重なり合う領域を持つこととなる。画像処理装置１０は、前記領域にて２枚の正面画像２０１ｂ，２０２ｂを合成し、１枚の合成画像２０３を生成する（ステップＳ３７）。具体的には、双方の正面画像２０１ｂ，２０２ｂにおいて同一の位置座標を有する画素を選択し、選択した画素の色情報（画素値）を平均するこにより合成を行う。また、図１１（ｄ）の破線に示した如き重なり領域の境界からの距離に応じて画素値の加重平均をとることも可能である。

実施の形態４．
実施の形態３では、マーカＭ１，Ｍ２の像を利用して２枚の撮像画像を合成する構成であったが、２つのマーカＭ１，Ｍ２の像を用いた場合にはそれらの対応付けが必ずしも一意には定まらない。例えば、図１１に示した例では、像ｍ１１に対して像ｍ１２、像ｍ２１に対して像ｍ２２を選択した場合に正しい対応付けとなるが、実際には、像ｍ１１に対して像ｍ２２、像ｍ２１に対して像ｍ１２を選択する場合も起こりえる。そのため、本実施の形態では、対応付けが一意に定まるように３つ以上のマーカを利用して画像合成を行う形態について説明する。

図１３は画像処理装置１０が行う画像処理の手順を模式的に説明した説明図であり、図１４は処理手順を説明するフローチャートである。画像処理装置１０は、撮像処理装置２０により対象物Ｔを撮像して得られた２枚の撮像画像を読込み（ステップＳ４１）、読込んだ撮像画像に基づいて正面画像を生成する（ステップＳ４２）。撮像画像の読込みは、画像入力部１７を通じて入力された撮像画像をＲＡＭ１４上に読込む形態であっても良く、予め記憶部１９に記憶させておいた撮像画像をＲＡＭ１４上に読込む形態であっても良い。本実施の形態では、対象物Ｔに４つのマーカを付しており、読込まれた２枚の撮像画像、及び生成した正面画像２１１，２１２には、マーカによる像ｕ１〜ｕ４、及び像ｖ１〜ｖ４が写されている（図１３（ａ）参照）。

次いで、正面画像２１１上の像ｕ１〜ｕ４の位置座標と正面画像２１２上の像ｖ１〜ｖ４の位置座標とに関する評価関数を設定する（ステップＳ４３）。正面画像２１１上の任意の点の位置座標を（ｕ_x ，ｕ_y ）、該位置座標に対応する正面画像２１２上の点の位置座標を（ｖ_x ，ｖ_y ）とした場合、両位置座標の間に成立つ関係は、回転行列Ｒと並進ベクトルｔとを用いて次式のように表すことができる。

そこで、正面画像２１１上の像ｕ１〜ｕ４の位置座標と正面画像２１２上の像ｖ１〜ｖ４の位置座標とに関する評価関数としては、各像ｕ１〜ｕ４，ｖ１〜ｖ４の位置ベクトルを夫々ｕ_i ，ｖ_i （ｉ＝１，２，３，４）とした場合、次式で表す評価関数を設定することができる。

次いで、数式（８）で表した評価関数が最小となるように並進ベクトルｔ及び回転行列Ｒを最適化し（ステップＳ４４）、最適化した並進ベクトルｔ及び回転行列Ｒに従って、正面画像２１２の各画素を移動させる（ステップＳ４５）。正面画像２１２の各画素を移動させた後、正面画像２１１上の像ｕ１〜ｕ４と正面画像２１２上の像ｖ１〜ｖ４とは略一致することとなり、その周囲の領域において両正面画像２１１，２１２は互いに重なり領域を有することとなる。画像処理装置１０は、前記領域にて２枚の正面画像２１１，２１２を合成し、１枚の合成画像２１３を生成する（ステップＳ４６）。具体的には、双方の正面画像２１１，２１２において同一の位置座標を有する画素を選択し、当該画素の色情報（画素値）を平均することにより合成を行う。また、図１３（ｂ）の破線に示した如き重なり領域の境界からの距離に応じて画素値の加重平均をとることも可能である。

本実施の形態に係る画像処理システムの構成を示す模式図である。シート上に形成されたパターンについて説明する模式図である。画像処理装置に読込まれた撮像画像の一例を説明する模式図である。画像処理装置の内部構成を説明するブロック図である。本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。正面画像の生成処理を説明する説明図である。正面画像の生成処理ルーチンの処理手順を説明するフローチャートである。合成画像の生成処理ルーチンの処理手順を説明するフローチャートである。本実施の形態に係る画像処理システムの構成を示す模式図である。本実施の形態に係る画像処理システムの構成を示す模式図である。画像処理装置が行う画像処理の手順を模式的に説明した説明図である。画像処理装置が行う画像処理の処理手順を説明するフローチャートである。画像処理装置が行う画像処理の手順を模式的に説明した説明図である。画像処理装置が行う画像処理の処理手順を説明するフローチャートである。

符号の説明

１０画像処理装置
１１ＣＰＵ
１２バス
１３ＲＯＭ
１４ＲＡＭ
１５操作部
１６表示部
１７画像入力部
１８補助記憶部
１９記憶部
２０撮像装置
Ｓシート
Ｔ対象物

Claims

互いに重なる領域を有すべく撮像して得られた複数の特徴点を有する撮像対象の撮像画像を画像処理装置に複数取込み、取込んだ撮像画像上の特徴点に基づいて前記撮像画像を互いに重なる領域にて合成する画像処理方法において、
前記撮像対象が有する特徴点の位置情報を予め記憶しておき、前記特徴点に対応する各撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求め、求めた関係に基づいて各撮像画像の歪みを補正した補正画像を生成し、生成した各補正画像を前記特徴点に基づいて合成することを特徴とする画像処理方法。
前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係は、射影変換行列で表した関係であることを特徴とする請求項１に記載の画像処理方法。
撮像装置により互いに重なる領域を有すべく撮像して得られた複数の特徴点を有する撮像対象の撮像画像を複数取込み、取込んだ撮像画像上の特徴点に基づいて各撮像画像を互いに重なる領域にて合成して一の合成画像を生成する画像処理装置において、
前記撮像対象が有する特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する各撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係を求める手段と、求めた関係に基づいて各撮像画像の歪みを補正した補正画像を生成する手段と、生成した各補正画像を前記特徴点に基づいて合成する合成手段とを備えることを特徴とする画像処理装置。
前記特徴点の位置情報と前記対応点の位置情報との間に成立つ関係は、射影変換行列で表した関係であることを特徴とする請求項３に記載の画像処理装置。
生成すべき補正画像上の点を前記関係に従って変換する手段と、変換した点の色情報を前記撮像画像から取得する手段とを備え、取得した色情報に基づいて補正画像を生成すべくなしてあることを特徴とする請求項３又は請求項４に記載の画像処理装置。
前記合成手段は、前記特徴点に対する前記補正画像上の任意の点の相対的な位置情報を前記関係に基づいて求める手段と、異なる補正画像間で共通の位置情報を有する点の色情報を前記補正画像から取得する手段とを備え、取得した色情報に基づいて前記補正画像を合成すべくなしてあることを特徴とする請求項３乃至請求項５の何れかに記載の画像処理装置。
前記合成手段は、前記関係に基づいて前記特徴点に対応する前記補正画像上の点を求める手段と、求めた点に基づき各補正画像間の幾何学的関係を求める手段とを備え、求めた幾何学的関係に基づいて前記補正画像を合成すべくなしてあることを特徴とする請求項３乃至請求項５の何れかに記載の画像処理装置。
前記幾何学的関係は、並進ベクトル及び回転行列で表した関係であることを特徴とする請求項７に記載の画像処理装置。
前記撮像対象は、所定のパターンを形成してある撮像対象面を含むことを特徴とする請求項３乃至請求項８の何れかに記載の画像処理装置。
前記パターンは格子状の画像であることを特徴とする請求項９に記載の画像処理装置。
前記撮像対象は、複数の標識体を含み、該標識体の位置情報を予め記憶してあることを特徴とする請求項３乃至請求項８の何れかに記載の画像処理装置。
コンピュータに、受付けた互いに重なるべき領域を有する複数の撮像画像を前記領域にて合成して一の合成画像を生成させるステップを有するコンピュータプログラムにおいて、
コンピュータに、撮像対象が有する特徴点に対応する各撮像画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、予め記憶された前記特徴点の位置情報と前記対応点の位置情報との間の関係を求めさせるステップと、コンピュータに、求めさせた関係に基づいて各撮像画像の歪みを補正した補正画像を生成させるステップと、コンピュータに、生成させた各補正画像を前記特徴点に基づいて合成させるステップとを有することを特徴とするコンピュータプログラム。