JP2005044077A - 複数画像の合成方法 - Google Patents
複数画像の合成方法 Download PDFInfo
- Publication number
- JP2005044077A JP2005044077A JP2003201916A JP2003201916A JP2005044077A JP 2005044077 A JP2005044077 A JP 2005044077A JP 2003201916 A JP2003201916 A JP 2003201916A JP 2003201916 A JP2003201916 A JP 2003201916A JP 2005044077 A JP2005044077 A JP 2005044077A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- synthesizing
- parameter
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】隣接画像フレーム間のオーバーラップ領域が極めて狭い場合、あるいは、対応点となるべき画像特徴点が見つかりにくい場合、マニュアル操作によって精度の良いパノラマ画像を合成する方法を与えること。および、貼り合わせにともなう精度の低い部分を、感度の高い人間の視覚に置き換え（人手操作）、結果として高精度のパノラマ画像を合成することである。
【解決手段】複数の画像のパースペクティブを統一しながら画像を合成する方法において、合成する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を可能にする。
【選択図】 図３
【解決手段】複数の画像のパースペクティブを統一しながら画像を合成する方法において、合成する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を可能にする。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は風景画のパノラマ画像の合成方法及びカメラで撮影された文書画像の合成方法に関する。
【０００２】
【従来の技術】
パノラマ画像は従来風景画像の広角の合成方法に適用されてきたが、その際隣接する画像フレームのオーバーラップ領域は、十分な大きさ（通常、１フレームの３０％程度以上）が必要であった。これは、隣接画像の光軸角度の精度を高くするためには止むを得ない制約であった。しかし、それでも画像の対応点を利用して抽出する光軸角は誤差が大きく、専門家の視察には耐えないことがしばしばあった。
【０００３】
対象物を複数の画像に分けて撮影し、それら画像を貼り合わせて１枚の高解像度画像又は広角画像を合成するする方法で、隣り合う要素画像のオーバーラップ領域を利用して要素画像の相対的な位置を測定するのが一般的である（特許文献１参照）。
【０００４】
図１に示すように、パノラマ画像を合成するためには、隣接する画像フレーム（画像）Ａ，Ｂにおいて、オーバーラップ領域から、共通の画像特徴を抽出する。この例では、星印で示した１，２，３，４が対応点（特徴点）である。多くの場合、重なり領域の幅ＷＸは広くない。この幅を広くすることは、一定の角度をカバーするために撮影回数を増やすことになるため、通常のユーザーは無意識に重なり領域幅を狭くする傾向になる。
【０００５】
更に、隣接画像フレームＡとＢの角度はそれほど大きくない。通常のカメラでは数度から２０度の間である。従って、画像フレームＡの上で計測する対応点３と２の水平方向の幅ＷＡＸと、画像フレームＢの上で計測する対応点３と２の水平方向の幅ＷＢＸの差によって、画像フレームＡとＢの角度θ２（図３参照）を算出するのであるから、ずれ量は、２つの対応する画像中の特徴量の位置のずれであり、この値をもとに、両画像の幾何学的関係を算出する。したがって、ずれのおき差が小さいということは有効数字の変量が十分取れないことになるから、算出される幾何学的関係を表す数値の有効数字の変量も不足し、誤差が大きいことになる。つまり、従来のように、対応点の位置計測によって隣接フレーム角度を計算することは適当でない。
一方、人間の視覚は、直線図形の湾曲や歪みにはきわめて敏感である。角度が１度傾いても容易に検知することができる。貼り合わせ誤差も容易に認知することができる。
しかし、マニュアル操作を可能にしたパノラマ画像の合成方法は存在しなかった。
【０００６】
【特許文献１】
特開平７−８５２４６号公報
【０００７】
【発明が解決しようとする課題】
本発明の第１の目的は、隣接画像フレーム間のオーバーラップ領域が極めて狭い場合、あるいは、対応点となるべき画像特徴点が見つかりにくい場合、操作（マニュアル）によって精度の良いパノラマ画像を合成する方法を与えることである。
第２の目的は、貼り合わせにともなう精度の低い部分を、感度の高い人間の視覚に置き換え（人手操作）、結果として高精度のパノラマ画像を合成することである。
【０００８】
【課題を解決するための手段】
請求項１の発明は、複数の画像の遠近度を統一しながら画像を合成する複数画像の合成方法において、合成する２枚の画像の一方の遠近度を表す投影パラメータを順次変化させる工程と、その変化させたパラメータに対応した画像またはその画像一部を表示する工程と、その表示された画像から、遠近度を調整する工程とを有することを特徴とする複数画像の合成方法である。
【０００９】
請求項１の発明によれば、合成（接続）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、その投影パラメータに対応した画像またはその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成をすることができる。
【００１０】
請求項２の発明は、撮像装置から得られる撮像装置の位置情報、角度情報を用いて、２枚画像の一方の画像の投影パラメータを計算する工程を有する請求項１記載の複数画像の合成方法である。
【００１１】
請求項２の発明によれば、方位センサーから撮像装置の相対的な位置や角度などのデータが得られ、このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
【００１２】
請求項３の発明は、前記投影パラメータにより画像を自動的に変形させる工程と、対応画像を表示する工程と、遠近度を調整する工程とを有する請求項１又は２に記載の複数画像の合成方法である。
【００１３】
請求項３の発明によれば、画像を投影パラメータに従って、自動的に変形させ、画面上に変形された画像とほかの一枚の画像を並べて表示し、操作者は更に微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
【００１４】
請求項４の発明は、前記投影パラメータ数を２個以下とする請求項１乃至３のいずれか１項記載の複数画像の合成方法である。
【００１５】
請求項４の発明によれば、画像合成操作において、まず、倍率に相当するαを設定するが、これが第１のパラメータとなり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータとなるので、操作が簡単になる。
【００１６】
請求項５の発明は、前記投影パラメータを１個の投影点、又は投影倍率として設定する工程と、しかる後に、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至４記載のいずれか１項記載の複数画像の合成方法である。
【００１７】
請求項５の発明によれば、各データを、画像貼り合わせの初期設定に利用できるので、マニュアルの操作は簡単になる。
【００１８】
請求項６の発明は、最初に隣接する画像の共通特徴点を対応させる工程と、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至５記載のいずれか１項記載の複数画像の合成方法である。
【００１９】
請求項６の発明によれば、画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定することで、効率的な画像合成が可能となる。
【００２０】
請求項７の発明は、少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を拡大表示する工程を有する請求項１乃至６記載のいずれか１項記載の複数画像の合成方法である。
【００２１】
請求項７の発明によれば、隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりし、精度を確保する。
【００２２】
請求項８の発明は、少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を適宜選択して拡大表示する工程を有する請求項７項記載の複数画像の合成方法である。
【００２３】
請求項８の発明によれば、重要部分が対象とする画像や処理内容に依存し、これらを適宜選択できる。
【００２４】
請求項９の発明は、選択領域画像を画像処理し、処理結果を判断する工程を有する請求項８記載の複数画像の合成方法である。
【００２５】
請求項９の発明によれば、視察で処理結果を判定するため、視察を補助する機能は重要となる。コントラストを強調したり、対応点を結ぶ線を破線で表示することにより、判断を補助する。
【００２６】
請求項１０の発明は、合成する隣接画像の接続部分を、破線などの図形を利用して、表示する工程を有する請求項１乃至９記載のいずれか１項に記載の複数画像の合成方法である。
【００２７】
請求項１０の発明によれば、対応点を結ぶ線を破線で表示することにより、判断を補助する。
【００２８】
請求項１１の発明は、隣接する画像の対応する画像特徴の幅が広くないとき、両者の境界線を垂直な境界線とみなす工程を有する請求項１乃至１０記載のいずれか１項に記載の複数画像の合成方法である。
【００２９】
請求項１１の発明によれば、オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向は、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる。
【００３０】
【発明の実施の形態】
図１、図２及び図３は本発明のパノラマ画像の合成方法を説明するための概略図であり、図４は、図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図であり、図５は、図３に示されたパノラマ画像の合成方法の概略側面図である。
【００３１】
通常、複数の撮影画像は光軸方向が一致していないため、同一平面状の画像として表現が不可能である。そのため、パースペクティブ（遠近感覚）が異なっている。複数の画像のパースペクティブを統一するとは、１枚の平面上に、同一光軸画像となるように、再投影合成することである。ここでは、接続（合成）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、又はその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成を行う。
図６に示す画像（原画）Ａ及び画像（原画）Ｂは合成しようとする目視のための表示画面であり、図７に示すものは破線を利用して表示した操作途中の画面であり、すべての処理が終了すると、図８に示すような最終合成画面が完成する。
【００３２】
カメラなどの撮像装置に加速度センサーやＧＰＳ装置を装着する場合があり、これらの方位センサーから撮像装置の相対的な位置や角度などのデータが得られる。このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
【００３３】
カメラなどの撮像装置の初期位置と角度が分かると画像の投影パラメータを計算できる。それによって、画像を投影パラメータにしたがって、自動的に変形させ、画面上に変形させた画像と他の１枚の画像を並べて表示し、操作者はさらに微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
【００３４】
画像合成操作において、先ず、倍率に相当するαを設定するが、これが第１のパラメータであり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータである。変化させるパラメータが２個となっているが、パラメータが多いとマニュアル操作が困難となる。
【００３５】
画像合成操作において、変化させる投影パラメータを１個とする画像合成方法である場合。
これは、α＝１、θ＝０の特別な場合の画像合成方法であり、フラットベッドスキャナーのように光軸方向が一定であることが保証されている２つの画像では、パースペクティブ（遠近感覚）の調整は不要である。同一平面内の回転φと平行移動だけでよい。一般に、平行移動は画像処理による対応点探索の方が精度が良い。そのため、平行移動をプログラム処理し、回転だけをマニュアル処理することが望ましい。
【００３６】
画像合成操作において、最初に隣接する画像の共通特徴点を対応させしかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
２つのパラメータの調整順序は任意ではなく、効率的に実行するには、適切な順序を守る必要がある。画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
【００３７】
マニュアル操作で重要なことは、操作性、精度の確保である。ここでは、精度を確保するため、従来から利用されているように、画像の直線部分や、高コントラスト部分を利用する。視察において、隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりする。図７に示されたものはその例である。
【００３８】
重要部分は、対象とする画像や、処理内容に依存する。従って、これを適宜選択する必要がある。図７に示された例で言えば、下部の細長い領域選択は、操作する人が選択する。
【００３９】
視察で処理結果を判定するため、視察を補助する機能は重要となる。一般的には、コントラスト強調したり、あるいは、図７に示された例のように、対応点を結ぶ線を破線で表示して、判断を補助する。
【００４０】
座標変換式中のパラメータθとθ２を等しいとみなして演算し、マニュアル画像の合成方法について、オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向が、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる
【００４１】
マニュアル操作（人手操作）の前提として、複雑な操作を人間に期待するのは無理がある。簡単な操作によって、だれでも容易にパノラマ画像を合成できることが望ましい。
２つの貼り合わせ対象画像（画像シート）をＡ，Ｂとする。この各々の局地座標系をそれぞれ（Ｘ，Ｙ，Ｚ）、（ｘ，ｙ，ｚ）とする。そして、どちらも、画像の中心を原点とする。（図２）
２つの画像が共通に持っている被写体中の２つの点をＰ１，Ｐ２とする。共通の被写体なので、２つの座標系で表すことができる。
画像Ｂの原点を、対応点Ｐ１を原点にもち、Ｐ１Ｐ２方向にｙ座標軸をもつ回転座標系に座標変換すると（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）は
【００４２】
ｘ’＝（ｘ−ｘ１）ｃｏｓθ１−（ｙ−ｙ１）ｓｉｎθ１
ｙ’＝（ｙ−ｙ１）ｓｉｎθ１＋（ｙ−ｙ１）ｃｏｓθ１
ただし、
【００４３】
【数１】
【００４４】
次に（Ｘ’，Ｙ’，Ｚ’）座標系を定義する。これは（ｘ’，ｙ’，ｚ’）と同じ原点を持ち、Ｐ１Ｐ２軸（ｙ’）を中心に画像Ｂを紙面から垂直方向にθ２だけ回転した座標系である。すなわち、
θ２＝座標軸ｘ’と座標軸Ｘ’のなす角度
と定義すると、（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’）座標系変換は、以下のように表せる
Ｘ’＝ｘ’ｃｏｓθ２
Ｙ’＝ｙ’
Ｘ’＝ｘ’ｓｉｎθ２
【００４５】
これを、（Ｘ’，Ｙ’，Ｚ’）座標系内で、（ｘ１，ｙ１）に存在するＺ’軸を中心に角度φだけ回転したものを（Ｘ’’，Ｙ’’，Ｚ’’）座標系とおくと、
Ｘ’’＝Ｘ’ｃｏｓφ−Ｙ’ｓｉｎφ
Ｙ’’＝Ｘ’ｓｉｎφ＋Ｙ’ｃｏｓφ
Ｚ’’＝Ｚ’
ここで、角度φはＡ画像のＸ座標軸をＢ画像の（Ｘ’，Ｙ’）平面に射影した軸（これをＸ’’と表現する）とＸ’のなす角度である。
【００４６】
最後に、（Ｘ’’，Ｙ’’，’Ｚ’）座標系から（Ｘ，Ｙ，’Ｚ）座標系に変換する。これは、画像Ａの中心に原点をもつ座標系であり、ワールド座標系も兼ねているとする。
Ｘ’’軸とＸ軸のなす角度をθ他と表すとすると、この変換式は
Ｘ＝Ｘ’’ｃｏｓθ−Ｚ’’ｓｉｎθ＋Ｘ１
Ｙ＝Ｙ’’＋Ｙ１
Ｚ＝Ｚ’’ｃｏｓθ＋Ｘ’’ｓｉｎθ
ここで、（Ｘ１，Ｙ１）は、画像Ａの座標系から見たＰ１の座標値である。
さらに、投影変換を最後に実施する。
投影変換の中心はＺ軸上にあるから、投影変換後の座標値（ｕ，ｖ，ｗ）は
【００４７】
【数２】
【００４８】
の関係があるから、
【００４９】
【数３】
【００５０】
と置くと、
ｕ＝Ｘ×α（Ｚ）
ｖ＝Ｙ×α（Ｚ）
ｗ＝０
の関係が成り立つ。
図４を参照しながら全体の流れを示すと、
１）対応点Ｐ１，Ｐ２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２）（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）座標変換（自動）
３）（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’） 座標変換（自動）
４）（Ｘ’，Ｙ’，Ｚ’）⇒（Ｘ’’，Ｙ’’，Ｚ’’） 座標変換（自動）
５）（Ｘ’’，Ｙ’’，Ｚ’’）⇒（Ｘ， Ｙ， Ｚ） 座標変換（自動）
６）（Ｘ， Ｙ， Ｚ）⇒（ｕ，ｖ，ｗ） 座標変換（自動）
７）θ２のマニュアル設定。変換画像の目視確認によるパラメータ設定。
上記２）〜６）の変換全体を、行列Ｔ（θ２）で表すと、次式のようになる。
【００５１】
【数４】
【００５２】
処理のプロセスは上記の通りであるが、画質を確保するためにはまず（ｕ，ｖ，ｗ）座標値を決定し、これに対応する（ｘ，ｙ，ｚ）座標値とその輝度を求めるから、（１）式の逆変換を計算する。
【００５３】
【数５】
【００５４】
マニュアル操作のパラメータは、θ２である。このパラメータを徐々に変化させながら貼り合わせ画像を合成し、適当な画面で停止すればよい。以上まとめると、
１） 対応点Ｐ１，Ｐ２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２） 適当なθ２をマニュアル設定する。
３） （２）式によって、貼り合わせ画像を合成
４） 視察による合成画像評価。もし、これで良ければ、処理終了。不満足なら、２）に戻る。
【００５５】
カメラなどの撮影装置から撮影装置の位置情報、角度情報を得られることがある。例えば、カメラに加速度センサーを装着する場合もしくはＧＰＳ装置を装着する場合、複数回撮影した場合それぞれのカメラの相対的な位置情報が得られる。撮影装置の位置情報から対応点Ｐ１、Ｐ２を自動的に算出できるのでステップ１）を省略できる。また、撮影装置の相対的な位置からθの初期値を計算もできるので、θのマニュアル設定は簡単になる
【００５６】
【発明の効果】
請求項１に対応する効果：、合成（接続）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、その投影パラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成をすることができる。
請求項２に対応する効果：方位センサーから撮像装置の相対的な位置や角度などのデータが得られ、このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
請求項３に対応する効果：画像を投影パラメータに従って、自動的に変形させ、画面上に変形された画像とほかの一枚の画像を並べて表示し、操作者は更に微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
請求項４に対応する効果：画像合成操作において、まず、倍率に相当するαを設定するが、これが第１のパラメータとなり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータとなるので、マニュアル操作が簡単になる。
【００５７】
請求項５に対応する効果：各データを、画像貼り合わせの初期設定に利用できるので、マニュアルの操作は簡単になる。
請求項６に対応する効果：画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定することで、効率的な画像合成が可能となる。
請求項７に対応する効果：隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりし、精度を確保する。
請求項８に対応する効果：重要部分が対象とする画像や処理内容に依存し、これらを適宜選択できる。
【００５８】
請求項９に対応する効果：視察で処理結果を判定するため、視察を補助する機能は重要となる。コントラストを強調したり、対応点を結ぶ線を破線で表示することにより、判断を補助する。
請求項１０に対応する効果：対応点を結ぶ線を破線で表示することにより、判断を補助する。
請求項１１に対応する効果：オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向は、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図２】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図３】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図４】図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図である。
【図５】図３に示されたすパノラマ画像の合成方法を説明するための概略側面図である。
【図６】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（合成画像前）
【図７】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（画像の重要部分を拡大表示したり、部分切りだし例）
【図８】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図（合成画像が完成）である。
【符号の説明】
Ａ…画像、Ｂ…画像、１…特徴点、２…特徴点、３…特徴点、４…特徴点。
【発明の属する技術分野】
本発明は風景画のパノラマ画像の合成方法及びカメラで撮影された文書画像の合成方法に関する。
【０００２】
【従来の技術】
パノラマ画像は従来風景画像の広角の合成方法に適用されてきたが、その際隣接する画像フレームのオーバーラップ領域は、十分な大きさ（通常、１フレームの３０％程度以上）が必要であった。これは、隣接画像の光軸角度の精度を高くするためには止むを得ない制約であった。しかし、それでも画像の対応点を利用して抽出する光軸角は誤差が大きく、専門家の視察には耐えないことがしばしばあった。
【０００３】
対象物を複数の画像に分けて撮影し、それら画像を貼り合わせて１枚の高解像度画像又は広角画像を合成するする方法で、隣り合う要素画像のオーバーラップ領域を利用して要素画像の相対的な位置を測定するのが一般的である（特許文献１参照）。
【０００４】
図１に示すように、パノラマ画像を合成するためには、隣接する画像フレーム（画像）Ａ，Ｂにおいて、オーバーラップ領域から、共通の画像特徴を抽出する。この例では、星印で示した１，２，３，４が対応点（特徴点）である。多くの場合、重なり領域の幅ＷＸは広くない。この幅を広くすることは、一定の角度をカバーするために撮影回数を増やすことになるため、通常のユーザーは無意識に重なり領域幅を狭くする傾向になる。
【０００５】
更に、隣接画像フレームＡとＢの角度はそれほど大きくない。通常のカメラでは数度から２０度の間である。従って、画像フレームＡの上で計測する対応点３と２の水平方向の幅ＷＡＸと、画像フレームＢの上で計測する対応点３と２の水平方向の幅ＷＢＸの差によって、画像フレームＡとＢの角度θ２（図３参照）を算出するのであるから、ずれ量は、２つの対応する画像中の特徴量の位置のずれであり、この値をもとに、両画像の幾何学的関係を算出する。したがって、ずれのおき差が小さいということは有効数字の変量が十分取れないことになるから、算出される幾何学的関係を表す数値の有効数字の変量も不足し、誤差が大きいことになる。つまり、従来のように、対応点の位置計測によって隣接フレーム角度を計算することは適当でない。
一方、人間の視覚は、直線図形の湾曲や歪みにはきわめて敏感である。角度が１度傾いても容易に検知することができる。貼り合わせ誤差も容易に認知することができる。
しかし、マニュアル操作を可能にしたパノラマ画像の合成方法は存在しなかった。
【０００６】
【特許文献１】
特開平７−８５２４６号公報
【０００７】
【発明が解決しようとする課題】
本発明の第１の目的は、隣接画像フレーム間のオーバーラップ領域が極めて狭い場合、あるいは、対応点となるべき画像特徴点が見つかりにくい場合、操作（マニュアル）によって精度の良いパノラマ画像を合成する方法を与えることである。
第２の目的は、貼り合わせにともなう精度の低い部分を、感度の高い人間の視覚に置き換え（人手操作）、結果として高精度のパノラマ画像を合成することである。
【０００８】
【課題を解決するための手段】
請求項１の発明は、複数の画像の遠近度を統一しながら画像を合成する複数画像の合成方法において、合成する２枚の画像の一方の遠近度を表す投影パラメータを順次変化させる工程と、その変化させたパラメータに対応した画像またはその画像一部を表示する工程と、その表示された画像から、遠近度を調整する工程とを有することを特徴とする複数画像の合成方法である。
【０００９】
請求項１の発明によれば、合成（接続）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、その投影パラメータに対応した画像またはその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成をすることができる。
【００１０】
請求項２の発明は、撮像装置から得られる撮像装置の位置情報、角度情報を用いて、２枚画像の一方の画像の投影パラメータを計算する工程を有する請求項１記載の複数画像の合成方法である。
【００１１】
請求項２の発明によれば、方位センサーから撮像装置の相対的な位置や角度などのデータが得られ、このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
【００１２】
請求項３の発明は、前記投影パラメータにより画像を自動的に変形させる工程と、対応画像を表示する工程と、遠近度を調整する工程とを有する請求項１又は２に記載の複数画像の合成方法である。
【００１３】
請求項３の発明によれば、画像を投影パラメータに従って、自動的に変形させ、画面上に変形された画像とほかの一枚の画像を並べて表示し、操作者は更に微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
【００１４】
請求項４の発明は、前記投影パラメータ数を２個以下とする請求項１乃至３のいずれか１項記載の複数画像の合成方法である。
【００１５】
請求項４の発明によれば、画像合成操作において、まず、倍率に相当するαを設定するが、これが第１のパラメータとなり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータとなるので、操作が簡単になる。
【００１６】
請求項５の発明は、前記投影パラメータを１個の投影点、又は投影倍率として設定する工程と、しかる後に、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至４記載のいずれか１項記載の複数画像の合成方法である。
【００１７】
請求項５の発明によれば、各データを、画像貼り合わせの初期設定に利用できるので、マニュアルの操作は簡単になる。
【００１８】
請求項６の発明は、最初に隣接する画像の共通特徴点を対応させる工程と、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至５記載のいずれか１項記載の複数画像の合成方法である。
【００１９】
請求項６の発明によれば、画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定することで、効率的な画像合成が可能となる。
【００２０】
請求項７の発明は、少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を拡大表示する工程を有する請求項１乃至６記載のいずれか１項記載の複数画像の合成方法である。
【００２１】
請求項７の発明によれば、隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりし、精度を確保する。
【００２２】
請求項８の発明は、少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を適宜選択して拡大表示する工程を有する請求項７項記載の複数画像の合成方法である。
【００２３】
請求項８の発明によれば、重要部分が対象とする画像や処理内容に依存し、これらを適宜選択できる。
【００２４】
請求項９の発明は、選択領域画像を画像処理し、処理結果を判断する工程を有する請求項８記載の複数画像の合成方法である。
【００２５】
請求項９の発明によれば、視察で処理結果を判定するため、視察を補助する機能は重要となる。コントラストを強調したり、対応点を結ぶ線を破線で表示することにより、判断を補助する。
【００２６】
請求項１０の発明は、合成する隣接画像の接続部分を、破線などの図形を利用して、表示する工程を有する請求項１乃至９記載のいずれか１項に記載の複数画像の合成方法である。
【００２７】
請求項１０の発明によれば、対応点を結ぶ線を破線で表示することにより、判断を補助する。
【００２８】
請求項１１の発明は、隣接する画像の対応する画像特徴の幅が広くないとき、両者の境界線を垂直な境界線とみなす工程を有する請求項１乃至１０記載のいずれか１項に記載の複数画像の合成方法である。
【００２９】
請求項１１の発明によれば、オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向は、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる。
【００３０】
【発明の実施の形態】
図１、図２及び図３は本発明のパノラマ画像の合成方法を説明するための概略図であり、図４は、図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図であり、図５は、図３に示されたパノラマ画像の合成方法の概略側面図である。
【００３１】
通常、複数の撮影画像は光軸方向が一致していないため、同一平面状の画像として表現が不可能である。そのため、パースペクティブ（遠近感覚）が異なっている。複数の画像のパースペクティブを統一するとは、１枚の平面上に、同一光軸画像となるように、再投影合成することである。ここでは、接続（合成）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、そのパラメータに対応した画像、又はその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成を行う。
図６に示す画像（原画）Ａ及び画像（原画）Ｂは合成しようとする目視のための表示画面であり、図７に示すものは破線を利用して表示した操作途中の画面であり、すべての処理が終了すると、図８に示すような最終合成画面が完成する。
【００３２】
カメラなどの撮像装置に加速度センサーやＧＰＳ装置を装着する場合があり、これらの方位センサーから撮像装置の相対的な位置や角度などのデータが得られる。このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
【００３３】
カメラなどの撮像装置の初期位置と角度が分かると画像の投影パラメータを計算できる。それによって、画像を投影パラメータにしたがって、自動的に変形させ、画面上に変形させた画像と他の１枚の画像を並べて表示し、操作者はさらに微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
【００３４】
画像合成操作において、先ず、倍率に相当するαを設定するが、これが第１のパラメータであり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータである。変化させるパラメータが２個となっているが、パラメータが多いとマニュアル操作が困難となる。
【００３５】
画像合成操作において、変化させる投影パラメータを１個とする画像合成方法である場合。
これは、α＝１、θ＝０の特別な場合の画像合成方法であり、フラットベッドスキャナーのように光軸方向が一定であることが保証されている２つの画像では、パースペクティブ（遠近感覚）の調整は不要である。同一平面内の回転φと平行移動だけでよい。一般に、平行移動は画像処理による対応点探索の方が精度が良い。そのため、平行移動をプログラム処理し、回転だけをマニュアル処理することが望ましい。
【００３６】
画像合成操作において、最初に隣接する画像の共通特徴点を対応させしかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
２つのパラメータの調整順序は任意ではなく、効率的に実行するには、適切な順序を守る必要がある。画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定する。
【００３７】
マニュアル操作で重要なことは、操作性、精度の確保である。ここでは、精度を確保するため、従来から利用されているように、画像の直線部分や、高コントラスト部分を利用する。視察において、隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりする。図７に示されたものはその例である。
【００３８】
重要部分は、対象とする画像や、処理内容に依存する。従って、これを適宜選択する必要がある。図７に示された例で言えば、下部の細長い領域選択は、操作する人が選択する。
【００３９】
視察で処理結果を判定するため、視察を補助する機能は重要となる。一般的には、コントラスト強調したり、あるいは、図７に示された例のように、対応点を結ぶ線を破線で表示して、判断を補助する。
【００４０】
座標変換式中のパラメータθとθ２を等しいとみなして演算し、マニュアル画像の合成方法について、オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向が、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる
【００４１】
マニュアル操作（人手操作）の前提として、複雑な操作を人間に期待するのは無理がある。簡単な操作によって、だれでも容易にパノラマ画像を合成できることが望ましい。
２つの貼り合わせ対象画像（画像シート）をＡ，Ｂとする。この各々の局地座標系をそれぞれ（Ｘ，Ｙ，Ｚ）、（ｘ，ｙ，ｚ）とする。そして、どちらも、画像の中心を原点とする。（図２）
２つの画像が共通に持っている被写体中の２つの点をＰ１，Ｐ２とする。共通の被写体なので、２つの座標系で表すことができる。
画像Ｂの原点を、対応点Ｐ１を原点にもち、Ｐ１Ｐ２方向にｙ座標軸をもつ回転座標系に座標変換すると（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）は
【００４２】
ｘ’＝（ｘ−ｘ１）ｃｏｓθ１−（ｙ−ｙ１）ｓｉｎθ１
ｙ’＝（ｙ−ｙ１）ｓｉｎθ１＋（ｙ−ｙ１）ｃｏｓθ１
ただし、
【００４３】
【数１】
次に（Ｘ’，Ｙ’，Ｚ’）座標系を定義する。これは（ｘ’，ｙ’，ｚ’）と同じ原点を持ち、Ｐ１Ｐ２軸（ｙ’）を中心に画像Ｂを紙面から垂直方向にθ２だけ回転した座標系である。すなわち、
θ２＝座標軸ｘ’と座標軸Ｘ’のなす角度
と定義すると、（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’）座標系変換は、以下のように表せる
Ｘ’＝ｘ’ｃｏｓθ２
Ｙ’＝ｙ’
Ｘ’＝ｘ’ｓｉｎθ２
【００４５】
これを、（Ｘ’，Ｙ’，Ｚ’）座標系内で、（ｘ１，ｙ１）に存在するＺ’軸を中心に角度φだけ回転したものを（Ｘ’’，Ｙ’’，Ｚ’’）座標系とおくと、
Ｘ’’＝Ｘ’ｃｏｓφ−Ｙ’ｓｉｎφ
Ｙ’’＝Ｘ’ｓｉｎφ＋Ｙ’ｃｏｓφ
Ｚ’’＝Ｚ’
ここで、角度φはＡ画像のＸ座標軸をＢ画像の（Ｘ’，Ｙ’）平面に射影した軸（これをＸ’’と表現する）とＸ’のなす角度である。
【００４６】
最後に、（Ｘ’’，Ｙ’’，’Ｚ’）座標系から（Ｘ，Ｙ，’Ｚ）座標系に変換する。これは、画像Ａの中心に原点をもつ座標系であり、ワールド座標系も兼ねているとする。
Ｘ’’軸とＸ軸のなす角度をθ他と表すとすると、この変換式は
Ｘ＝Ｘ’’ｃｏｓθ−Ｚ’’ｓｉｎθ＋Ｘ１
Ｙ＝Ｙ’’＋Ｙ１
Ｚ＝Ｚ’’ｃｏｓθ＋Ｘ’’ｓｉｎθ
ここで、（Ｘ１，Ｙ１）は、画像Ａの座標系から見たＰ１の座標値である。
さらに、投影変換を最後に実施する。
投影変換の中心はＺ軸上にあるから、投影変換後の座標値（ｕ，ｖ，ｗ）は
【００４７】
【数２】
の関係があるから、
【００４９】
【数３】
と置くと、
ｕ＝Ｘ×α（Ｚ）
ｖ＝Ｙ×α（Ｚ）
ｗ＝０
の関係が成り立つ。
図４を参照しながら全体の流れを示すと、
１）対応点Ｐ１，Ｐ２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２）（ｘ，ｙ，ｚ）⇒（ｘ’，ｙ’，ｚ’）座標変換（自動）
３）（ｘ’，ｙ’，ｚ’）⇒（Ｘ’，Ｙ’，Ｚ’） 座標変換（自動）
４）（Ｘ’，Ｙ’，Ｚ’）⇒（Ｘ’’，Ｙ’’，Ｚ’’） 座標変換（自動）
５）（Ｘ’’，Ｙ’’，Ｚ’’）⇒（Ｘ， Ｙ， Ｚ） 座標変換（自動）
６）（Ｘ， Ｙ， Ｚ）⇒（ｕ，ｖ，ｗ） 座標変換（自動）
７）θ２のマニュアル設定。変換画像の目視確認によるパラメータ設定。
上記２）〜６）の変換全体を、行列Ｔ（θ２）で表すと、次式のようになる。
【００５１】
【数４】
処理のプロセスは上記の通りであるが、画質を確保するためにはまず（ｕ，ｖ，ｗ）座標値を決定し、これに対応する（ｘ，ｙ，ｚ）座標値とその輝度を求めるから、（１）式の逆変換を計算する。
【００５３】
【数５】
マニュアル操作のパラメータは、θ２である。このパラメータを徐々に変化させながら貼り合わせ画像を合成し、適当な画面で停止すればよい。以上まとめると、
１） 対応点Ｐ１，Ｐ２をマニュアル指定し、プログラムで詳細位置を決定する。同時に、レンズの開口率、あるいは、焦点距離に相当する投影中心の高さ、あるいは、αをマニュアル指定する。（半自動）
２） 適当なθ２をマニュアル設定する。
３） （２）式によって、貼り合わせ画像を合成
４） 視察による合成画像評価。もし、これで良ければ、処理終了。不満足なら、２）に戻る。
【００５５】
カメラなどの撮影装置から撮影装置の位置情報、角度情報を得られることがある。例えば、カメラに加速度センサーを装着する場合もしくはＧＰＳ装置を装着する場合、複数回撮影した場合それぞれのカメラの相対的な位置情報が得られる。撮影装置の位置情報から対応点Ｐ１、Ｐ２を自動的に算出できるのでステップ１）を省略できる。また、撮影装置の相対的な位置からθの初期値を計算もできるので、θのマニュアル設定は簡単になる
【００５６】
【発明の効果】
請求項１に対応する効果：、合成（接続）する２枚の画像の一方の投影パラメータをマニュアルで順次変化させつつ、その投影パラメータに対応した画像、またはその一部を表示し、表示された画像から、操作者が画質確認を行いながら、複数画像の合成をすることができる。
請求項２に対応する効果：方位センサーから撮像装置の相対的な位置や角度などのデータが得られ、このデータを用いて、画像貼り合わせの初期設定に利用できるので、マニュアルの操作はかなり簡単になる。
請求項３に対応する効果：画像を投影パラメータに従って、自動的に変形させ、画面上に変形された画像とほかの一枚の画像を並べて表示し、操作者は更に微調整すれば良いので、マニュアル調整の作業量はかなり軽減する。
請求項４に対応する効果：画像合成操作において、まず、倍率に相当するαを設定するが、これが第１のパラメータとなり、次に徐々に変化させるパラメータとして、角度θ２が第２のパラメータとなるので、マニュアル操作が簡単になる。
【００５７】
請求項５に対応する効果：各データを、画像貼り合わせの初期設定に利用できるので、マニュアルの操作は簡単になる。
請求項６に対応する効果：画像合成操作において、最初に隣接する画像の共通特徴点を対応させるには、汎用の全自動マッチング処理でも良いし、マニュアルで大雑把に位置合わせした後、画像処理によるマッチングを行う。しかる後に、パラメータを１個の投影点、あるいは、投影倍率として設定し、更に、角度パラメータを変化させながら角度パラメータに対応した画像をユーザーに見せながら、適当な角度を視察判定することで、効率的な画像合成が可能となる。
請求項７に対応する効果：隣接画像の差を強調するため、画像の重要部分を拡大表示したり、部分切り出したりし、精度を確保する。
請求項８に対応する効果：重要部分が対象とする画像や処理内容に依存し、これらを適宜選択できる。
【００５８】
請求項９に対応する効果：視察で処理結果を判定するため、視察を補助する機能は重要となる。コントラストを強調したり、対応点を結ぶ線を破線で表示することにより、判断を補助する。
請求項１０に対応する効果：対応点を結ぶ線を破線で表示することにより、判断を補助する。
請求項１１に対応する効果：オーバーラップ領域が狭いときは、２つの隣接する画像平面を傾斜させる方向は、合成前の水平軸と、合成後の水平軸の角度にほぼ等しいことを利用して、演算を簡略化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図２】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図３】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。
【図４】図２及び図３に示されたパノラマ画像の合成方法を立体的に説明するための概略図である。
【図５】図３に示されたすパノラマ画像の合成方法を説明するための概略側面図である。
【図６】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（合成画像前）
【図７】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図である。（画像の重要部分を拡大表示したり、部分切りだし例）
【図８】本発明の実施の形態を示すパノラマ画像の合成方法を説明するための概略図（合成画像が完成）である。
【符号の説明】
Ａ…画像、Ｂ…画像、１…特徴点、２…特徴点、３…特徴点、４…特徴点。
Claims (11)
- 複数の画像の遠近度を統一しながら画像を合成する複数画像の合成方法において、合成する２枚の画像の一方の遠近度を表す投影パラメータを順次変化させる工程と、その変化させたパラメータに対応した画像またはその画像一部を表示する工程と、その表示された画像から、遠近度を調整する工程とを有することを特徴とする複数画像の合成方法。
- 撮像装置から得られる撮像装置の位置情報、角度情報を用いて、２枚画像の一方の画像の投影パラメータを計算する工程を有する請求項１記載の複数画像の合成方法。
- 前記投影パラメータにより画像を自動的に変形させる工程と、対応画像を表示する工程と、遠近度を調整する工程とを有する請求項１又は２に記載の複数画像の合成方法。
- 前記投影パラメータ数を２個以下とする請求項１乃至３のいずれか１項記載の複数画像の合成方法。
- 前記投影パラメータを１個の投影点、又は投影倍率として設定する工程と、しかる後に、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至４記載のいずれか１項記載の複数画像の合成方法。
- 最初に隣接する画像の共通特徴点を対応させる工程と、角度パラメータを変化させながら角度パラメータに対応した画像に基き、適正な角度を判定する工程とを有する請求項１乃至５記載のいずれか１項記載の複数画像の合成方法。
- 少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を拡大表示する工程を有する請求項１乃至６記載のいずれか１項記載の複数画像の合成方法。
- 少なくとも、位置あわせ、投影パラメータ、角度パラメータの操作により、対象画像の部分を適宜選択して拡大表示する工程を有する請求項７記載の複数画像の合成方法。
- 選択領域画像を画像処理し、処理結果を判断する工程を有する請求項８記載の複数画像の合成方法。
- 合成する隣接画像の接続部分を、破線などの図形を利用して、表示する工程を有する請求項１乃至９記載のいずれか１項に記載の複数画像の合成方法。
- 隣接する画像の対応する画像特徴の幅が広くないとき、両画像の境界線を垂直な境界線とみなす工程を有する請求項１乃至１０記載のいずれか１項に記載の複数画像の合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003201916A JP4346366B2 (ja) | 2003-07-25 | 2003-07-25 | 複数画像の合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003201916A JP4346366B2 (ja) | 2003-07-25 | 2003-07-25 | 複数画像の合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005044077A true JP2005044077A (ja) | 2005-02-17 |
| JP4346366B2 JP4346366B2 (ja) | 2009-10-21 |
Family
ID=34261836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003201916A Expired - Fee Related JP4346366B2 (ja) | 2003-07-25 | 2003-07-25 | 複数画像の合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4346366B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7899270B2 (en) | 2006-01-09 | 2011-03-01 | Samsung Electronics Co., Ltd. | Method and apparatus for providing panoramic view with geometric correction |
| JP2017102405A (ja) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | 顕微鏡、画像貼り合わせ方法、プログラム |
| WO2018155198A1 (ja) | 2017-02-22 | 2018-08-30 | ソニー株式会社 | 情報処理装置および方法 |
| WO2024001852A1 (zh) * | 2022-06-27 | 2024-01-04 | 中兴通讯股份有限公司 | 图像处理方法、图像处理装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322040A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 画像生成装置 |
| JP2000090232A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2000182026A (ja) * | 1998-12-14 | 2000-06-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2003
- 2003-07-25 JP JP2003201916A patent/JP4346366B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322040A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 画像生成装置 |
| JP2000090232A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2000182026A (ja) * | 1998-12-14 | 2000-06-30 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7899270B2 (en) | 2006-01-09 | 2011-03-01 | Samsung Electronics Co., Ltd. | Method and apparatus for providing panoramic view with geometric correction |
| JP2017102405A (ja) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | 顕微鏡、画像貼り合わせ方法、プログラム |
| WO2018155198A1 (ja) | 2017-02-22 | 2018-08-30 | ソニー株式会社 | 情報処理装置および方法 |
| US11062466B2 (en) | 2017-02-22 | 2021-07-13 | Sony Corporation | Information processing apparatus and method |
| WO2024001852A1 (zh) * | 2022-06-27 | 2024-01-04 | 中兴通讯股份有限公司 | 图像处理方法、图像处理装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4346366B2 (ja) | 2009-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
| JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
| US6184781B1 (en) | Rear looking vision system | |
| US6754378B2 (en) | Image forming apparatus, image forming method and computer-readable storage medium having an image forming program | |
| US7746377B2 (en) | Three-dimensional image display apparatus and method | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| US20050046702A1 (en) | Image photographing apparatus and image processing method | |
| WO2014002849A1 (ja) | ３次元測定方法、装置及びシステム、並びに画像処理装置 | |
| JPH07225855A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| CN114792309A (zh) | 信息处理装置和信息处理装置的控制方法 | |
| US20030142203A1 (en) | Omnidirectional visual system, image processing method, control program, and readable recording medium | |
| CN111316629B (zh) | 图像处理装置和方法、成像装置和程序 | |
| JP2005215917A (ja) | 施工図作成支援方法およびリプレースモデル作成方法 | |
| US20110121178A1 (en) | Camera with two visual imaging subsystems for determining parallax and for focusing an ir imaging subsystem | |
| US20020012460A1 (en) | Stereo image measuring device | |
| JP7412983B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US10659752B2 (en) | System for the stereoscopic visualization of an object region | |
| JP2007027948A (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
| CN111527517A (zh) | 图像处理装置及其控制方法 | |
| JP4346366B2 (ja) | 複数画像の合成方法 | |
| JP4007524B2 (ja) | 画像合成方法及び装置並びに情報記録媒体 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP2005275789A (ja) | 三次元構造抽出方法 | |
| JP2005174151A (ja) | 三次元画像表示装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090714 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |