JP2000270206A - 広い視野の画像を合成する装置およびその方法 - Google Patents

Abstract

(57)【要約】 ［課題］狭い視野角に限られたディジタルカメラなどに
よる複数の記録画像を用いて、周囲の景色の広い視野の
画像を合成する ［解決手段］ 複数の視線方位（Ｖ１、Ｖ２、．．．）
を向いた時に見る景色の、ディジタル値化された画素か
らなる複数の記録画像から、それらの画素が表わす対象
物体の方位の情報を得る事で、任意の方位を見た時の景
色の画像を継ぎ目無く合成する

Description

【発明の詳細な説明】

【０００１】［発明の属する技術分野］本発明は、ディ
ジタル値化された色情報を保持する画素を単位として構
成される複数の記録画像を用いて、任意の視線方位を観
察した時の景色の画像を合成する手段と方法に関する。

【０００２】［従来の技術］広い視野角の画像を実現す
る手段として従来所謂パノラマ画像技術が広く使われて
いる。これは、鉛直な回転中心軸を視点位置に持つ円筒
面を視点の周囲に想定して、その面上に周囲の景色を投
影した画像を生成し、この円筒面を切り開いて平面に展
開し、あるいはその一部を平面に展開して、表示するも
のである。この方法は、水平方向には３６０度の視野角
を継ぎ目無く表現できるものの、鉛直方向特に天頂と視
点直下に近い部分では、現実に近い表現は困難である。
また、視点を中心とした球面上に投影されるべき画像を
円筒面に投影する為に生ずる画像の歪が、天頂と視点直
下に近い部分に限らず、一般に発生する。

【０００３】［発明が解決しようとする課題］本発明
は、ディジタルカメラなどにより，特定の視点位置から
複数の視線方位の景色の画像を記録して、これらを合成
して任意の方位の景色を歪が無く、また継ぎ目も無い、
自然な画像として合成し表示しようとするものである。

【０００４】［課題を解決するための手段］本発明で
は、ある定められた視点位置から、まず周囲の景色を構
成する対象物体を、任意の複数の視線方位（図１のＶ
１、Ｖ２、Ｖ３、．．．Ｖｉ）で記録した、色データを
保持する画素からなる複数の記録画像（図１のＧ１，Ｇ
２，．．．Ｇｉ）を生成する。この際、合成画像として
表現したい対象物体の部分がいずれかの画像に含まれる
よう、またこれらの画像の端の部分には互いに同じ方位
の対象物体の部分が含まれ、言わば面像の端が互いに重
なり合うように、記録の視線方位を選ぶ。視線方位の選
択に制限はなく、全立体角を覆うまで画像数を増やして
も良い。ここで図１における記録画像Ｇ１、Ｇ
２、．．．は、互いの位置関係が明白に解るように、実
際の結像面にではなく、それを結像の射影中心Ｃに関し
て対象物体空間側に反転対称に移した位置に示してい
る。

【０００５】ここで説明を分かりやすくするため、まず
図１において、２つの画像Ｇ１およびＧ２について説明
する。この場合、対象物体Ｏの互いに異なる二点ｐ０，
ｑ０が画像Ｇ１の中では画素ｐ１，ｑ１として、画像Ｇ
２の中では画素ｐ２，ｑ２として記録されているとす
る。今これらの画素が互いに丁度重なり合うようにＧ１
とＧ２を接合して、大きな視野の一つの画像とする事を
考える。以下では、このｐ１とｐ２との対、ｑ１とｑ２
との対をそれぞれ対応画素セットｐ，ｑと呼ぶ。ここで
もし記録時のカメラの視点座標（結像の射影の中心点）
が同じＣで、画像Ｇ１，Ｇ２を記録した時のカメラのそ
れぞれの結像距離ｆ１，ｆ２が既知であれば、画素ｐ
１、ｑ１、ｐ２，ｑ２の結像面内での位置座標から、画
像Ｇ１を基準として、画像Ｇ２の位置付けを確定でき
る。すなわち画像中心の視線方位Ｖ１，Ｖ２と結像面内
のあらかじめ定められた画素座標の基準となる水平垂直
の二つの基準軸の方位（水平軸をそれぞれＨ１，Ｈ２と
する）の相対的な関係が決定できる。すなわち、Ｇ１，
Ｇ２のすべての画素の相対方位位置が確定され，計算で
きる。この時、画像内でのそれぞれの水平垂直の基準軸
に関して画素の大きさを単位として表される画素座標毎
に、結像の射影中心Ｃからの方位は一対一に対応するの
で、画素の位置は方位あるいは画素座標いずれで表現し
ても等価となる。

【０００６】画像Ｇ２の位置付けを確定できる理由は、
いっぽうのカメラの視線方位Ｖ１と結像面水平軸Ｈ１を
基準（既知）とすると、もう一方のカメラの視線方位Ｖ
２の自由度が２、結像面水平軸Ｈ２の自由度が視線方位
Ｖ２に関して１、合計３であるのに対して、画素ｐ２，
ｑ２の方位がそれぞれｐ１，ｑ１の方位に一致する事の
束縛条件の数が、方位の自由度２に対応して、それぞれ
２、合計４となるからである。ここで、束縛条件の数が
自由度より１だけ過剰であるので、結像距離ｆ２が未知
であってもこれを、結像距離ｆ１に対する相対値とし
て、決定できることになる。

【０００７】ところで、もし対応画素セットの数が二つ
の画像の間で３以上得られると、束縛条件の数は更に増
大する。すなわち未知数の数よりも束縛条件式の数が過
剰となるため常に厳密にすべてが満たされるとは限らな
い。このため実際には、条件式の誤差が最小になるよう
に、例えば最小二乗法によって、未知の変数を定める必
要がある。このような束縛条件の過剰な状況は、仮に二
つの画像の間の対応画素セットの数を２に限定しても、
もし第３の画像Ｇ３があって、Ｇ１とＧ３との間で二つ
の対応画素セットｒ，ｓが設定されて、これからＧ３の
視線方位Ｖ３とその結像面水平軸Ｈ３が確定され画像が
接合された時、更にＧ２とＧ３との間でも、画像接合の
為、対応画素セットｔ、ｕが設定されれば発生する。

【０００８】この事は、これまで考慮しなかった撮影レ
ンズ固有の結像の歪み係数などが未知である場合でも、
もし対象物体の同一点を表わすとして画像の間で対応付
けられる画素の組み合わせが十分に得られれば、これら
の新たな未知数も同時に求められる事を意味する。これ
は、２、３個の画像の間で言えるのみではなく、更に多
数の画像の間であっても未知数を決めるのに必要以上の
独立な条件式の数が得られれば常に出来る事である。

【０００９】なお、接合された画像において、接合以前
の画像の間を分ける境界線は、一般には上述の対応画素
セットに係わらず、両画像の画素が重なり合っている領
域の中であれば、直線あるいは曲線どのようにでも設定
できる。すなわち、接合された画像を、この境界線の右
岸では一方の画像の画素で構成するのであれば、左岸で
は、もう一方の画像の画素で構成することとなる。ただ
し、以下では簡単の為、二つの対応画素セットを結んだ
直線を接合境界とする場合を説明する。

【００１０】この様にして、画像の間で対応画素セット
を設定して画像を接合する事を、多数の画像について行
って行くと、全ての明らかな未知数を決定した後も、過
剰な束縛条件の数はますます増大する。これらの誤差を
最小二乗法などで最小化して、未知数を決定し接合関係
を決めた場合、それぞれの束縛条件には何らかの誤差が
発生している。すなわち、まだ考慮されていない未知の
要因のため、接合で重ね合わせたつもりの対応画素セッ
トの画素が互いにずれて、接合されていることになる。

【００１１】この残された誤差は、各画素の方位位置に
僅かな補正を行って、更に小さくする事が可能である。
例えば、まず二つの対応画素セットｐ，ｑを結ぶ直線を
画像の接合境界線とし、対応する画素ｐ１，ｐ２（又は
ｑ１，ｑ２）の方位位置の平均位置にそれぞれの画素位
置を合わせる。ここでその位置補正量をそれぞれｅｐ
１，ｅｐ２（又はｅｑ１，ｅｑ２）で表す。ただしこれ
らは２次元ベクトル値である。この補正を両対応画素セ
ットに行った後，接合境界線上の一般の画素について、
ｐ１，ｑ１（又はｐ２，ｑ２）からの結像面上での距離
ｗｐ１，ｗｑ１（又はｗｐ２，ｗｑ２）を重みとして
ｐ，ｑでの補正値の加重平均（ｗｐ１ ｘｅｐ１ ＋
ｗｑ１ ｘ ｅｑ１）／（ｗｐ１ ＋ ｗｑ１）（又は
（ｗｐ２ｘ ｅｐ２ ＋ ｗｑ２ ｘ ｅｑ２）／（ｗ
ｐ２ ＋ ｗｑ２））を補正値とする。更にその画素の
補正値を基準として、境界線から垂直方向に（各画像結
像面の中で）遠ざかる画素に対して、境界線からの距離
に応じて漸減する補正値を与える．

【００１２】ところで、このような誤差の補正方法は、
画素の方位位置に適用できるばかりでなく、画素値にも
適用できる。一般に、同じカメラでほぼ同じ方位を撮影
しても、撮影毎にその画像の色調はかなり異なるのが珍
しくない。この場合、上述の方法で画像を接合すると、
接合境界を境にして、かなりの色の食い違いが発生して
具合が悪い。そこで、接合境界線上およびその近傍の画
素の色を、上と同様の方式で補正する。すなわち、［０
０１１］下の段落において、方位位置を画素値に、平均
位置を平均画素値に、位置補正量を画素値補正量に、２
次元ベクトル値を３次元ベクトル値（ＲＧＢ値）に読み
替えて、画素値を補正すれば良い。ただし、これに先立
ってまず画素値を人間の色感覚に合わせた色空間に変換
してから補正を行うのも良い。また、最初の補正量を対
応画素セットだけから算出するのでなく、接合境界に沿
ったすべての画素について、両画像の画素値を比較し、
その画素値の差の２乗の総和が最小となるようにＲＧＢ
値の補正係数を決定し、境界上のすべての画素にそれに
従って補正を行い。その上で、この補正値を基準とし
て、境界線から垂直方向に（各画像結像面の中で）遠ざ
かる画素に対して、境界線からの距離に応じて漸減する
補正値を与えるのも良い。

【００１３】このようにして、すべての画像を接合し、
その接合された画像のすべての画素の補正された方位位
置と補正された画素値が得られれば、あとは次のように
任意の視線方位の画像を合成できる。まず目的とする視
線方位に、その方位に直交し視点から定められた距離に
ある定められた広さの平面を観察窓として設定する。そ
してこの窓の中の一定ピッチ間隔のすべての点毎に、対
応する方位を求め、その方位にある画素の色を、各画像
の中心視線方位と画素座標を用いて求め、その窓の点の
画素値とする。観察窓の位置は、視線方位を変更するの
に応じて移動され、その都度上の方法で画像が生成し直
される．この様にして生成される画像は、すべての画素
が本来の正しい方位に位置付けられているため、画像記
録の際の結像面への射影の影響による歪や、また従来の
パノラマ画像での円筒面への射影のような歪を発生しな
い。

【００１４】上の様にして得られた接合された画像の各
方位毎の画素値は、方位をパラメータとした形式でファ
イルの形で保存し、必要に応じ取り出す事ができる。た
だし、多数の画像を接合した物であるので、その画素数
は大変に大きくなるのが普通である。これは取り扱う上
で問題となり易い。そこで、これまでに得られた情報の
中から、元の各記録画像の中心の視線方位ならびに画素
座標の基準軸方位、接合境界の画素座標、補正前および
補正後の対応画素セットの画素座標、色補正の係数な
ど、上の手続きを再現するのに必要なデータのみを、別
個のデータファイルとして保存する。すなわちこのデー
タファイルと元の各記録画像ファイルをセットとして保
持する。記録画像のファイルは通常ＪＰＥＧファイルと
して高度に情報圧縮されるので、ここに更に加わるのは
小さなデータファイルのみとなり、全体として大変コン
パクトな姿で保持出来る。そして画像を生成する時は、
このデータファイルから接合画像の各画素の補正された
方位と補正された画素値を再生し、これで観察窓に画像
を生成する。

【００１５】勿論一つに接合された画像を、何らかの形
式で情報圧縮すればコンパクトな姿で保持する事はでき
る。ただし、通常は元の記録画像が既に一旦ＪＰＥＧ方
式などで情報圧縮されていることが多く、これを復元し
て接合した画像を更に情報圧縮する事は二重に画像の情
報が失われることになり，画質保持の上で極めて不利で
ある。これに対し、上述の方式は元の記録画像にそれ以
上の情報圧縮を必要としない分利点が大きい。

【００１６】［発明の実施の形態］記録画像生成手段と
しては、半導体撮像素子を用いたディジタルカメラを使
用するのが最も直接的かつ容易である。その画像出力は
既に画素単位にディジタル化された色情報になっている
ので、これをコンピュータに入力し、上述の処理をコン
ピュータプログラムで実行する。実際の処理の過程には
様々な変形が考えられるが、以下にその一例を述べる。
処理は、接合画像のためのデータファイル生成のプログ
ラムと、そのデータファイルと元の記録画像の画像ファ
イルとから、任意の視線方位の画像を生成表示するプロ
グラムとにより行われる。

【００１７】データファイル生成のプログラムでは、ま
ず記録画像を表示装置に表示し、画像の間を比較して、
対象物体の特徴的な同一点が２つ以上の画像に記録され
ているのを目視によって探し、それらの点をポインティ
ングデバイスで指定する事で、それらの画素座標を対応
画素セットとしてテーブルに保持する。もし対象物体の
同一点が３つ以上の画素に対応する時は、２つの画素ず
つ、一部の画素を重複させて、対応画素セットとして保
持する。画像間の相関関数を用いた解析などによってこ
の作業を自動的に行ってもよい。

【００１８】つぎに、ある画像を基準として、これに対
するその他の各画像の中心視線方位Ｖと画素座標基準軸
方位Ｈ、結像距離ｆを未知数とし、すべての対応画素セ
ットでの両画素の方位の二乗誤差の和が最小となるよう
に、最小二乗法によってこれらの未知数を求め、その結
果を保持する。更に得られた各画像の中心視線方位Ｖと
画素座標基準軸方位Ｈ、結像距離ｆを用いて、対応画素
セットでの両画素の方位を求め、これをそれぞれの画像
における画素座標（画素基準軸を基準とし画素の大きさ
を単位長さとした座標）に変換した後、その平均値を算
出してこれを保持する（勿論方位値の形で平均値を保持
しても良い）。この平均値と元の画素座標との差が、残
留する画素位置誤差として既に述べた方法によって、画
像生成時に画素方位の補正のために使用される。さら
に、対応画素セットを結ぶ接合境界に沿って、画素値を
境界線両側の画像の間で比較し、既に述べた方法で最適
なＲＧＢ補正係数を求め、これを保持する。最後にここ
で得られた値は、データファイルとしてまとめて、記録
保持される．

【００１９】画像生成プログラムでは、まずすべての画
像ファイルとデータファイルを読み込み、各画像毎に、
データファイルにあるデータを使って各画素の位置誤差
の補正を画素座標にもとずいて行い、更に画素値も補正
し、修正された画像としてメモリー上に保持する。つぎ
に、操作に従って定められた視線方位に、あらかじめ定
められた視点からの距離に定められた大きさの平面から
なる窓を設定する。窓の中の一定ピッチ毎のすべての点
について、その方位を求め，この方位にある画素を、上
記修正された画像の中から探し（画像の中心視線方位と
画素座標から画素の方位が解る）、その画素値を窓に表
示する。

【００２０】［発明の効果］本発明によると、ディジタ
ルカメラなどによる視野が限られた複数の記録画像を接
合して、広い視野にわたり（全立体角まで可能）継ぎ目
無く視点周囲の景色の画像を表示する事が可能となる。
しかもその画像には原理上歪は発生しない。またその表
示のために必要となるのは、元の画像ファイル以外に
は、小さなデータファイルのみで良い。

【図面の簡単な説明】

【図１】対象物体とその複数の記録画像を生成する際の
視点と方位等の関係を示す図である。

【符号の説明】

Ｏ 対象物体 Ｇ１、Ｇ２、Ｇ３ 複数の画像 Ｖ１、Ｖ２、Ｖ３ 複数の画像の中心視線方位 Ｈ１、Ｈ２、Ｈ３ 複数の画像の画素座標水平基準軸 Ｐ、Ｑ、Ｒ、Ｓ、Ｔ、Ｕ 対象物体上の点 ｐ１、ｑ１ Ｐ、Ｑに対応する画像Ｇ１中の画素 ｐ２、ｑ２ Ｐ、Ｑに対応する画像Ｇ２中の画素 ｒ１、ｓ１ Ｒ、Ｓに対応する画像Ｇ１中の画素 ｒ３、ｓ３ Ｒ、Ｓに対応する画像Ｇ３中の画素 ｔ２、ｕ２ Ｔ、Ｕに対応する画像Ｇ２中の画素 ｔ３、ｕ３ Ｔ、Ｕに対応する画像Ｇ３中の画素

Claims (3)

【特許請求の範囲】
1. 【請求項１】対象物体の各点のディジタル値化された色
   情報からなる画素を構成単位とする画像を生成する画像
   生成手段によって生成された単一視点位置での複数の方
   位における対象物体の複数の記録画像から、対象物体の
   同一点を記録する複数の画素を計算あるいは目視によっ
   て抽出してこれらを対応画素セットとして取得保持し、
   この対応画素セットを複数取得してこれら対応画素セッ
   トを基に、これら記録画像の記録の際の画像中心の視線
   方位ならびにその画像面での画素座標の基準軸の方位に
   関する情報を取得するのを可能とする手段を有し、ある
   いはこれと共に、各該画像を記録した際の撮像レンズの
   結像距離、あるいは該撮像レンズの結像歪みの係数等に
   関する情報を取得するのを可能とする手段を有し、これ
   ら手段によって、共通の視点位置から見た時、同じ対応
   画素セットに属する画素が同じ視線方位において互いに
   重なるように、画像同士が重ね合わされて、全体として
   広い視野を覆う画像を合成する装置およびその方法。
2. 【請求項２】請求項１にかかわる装置および方法におい
   て、上記複数の記録画像から、対象物体の同一部分を記
   録する複数の曲線的あるいは直線的画素集団を計算ある
   いは目視によって抽出して、あるいは画像の終端等の特
   徴を元に抽出して、これらを対応線セットとして取得保
   持し、該対応線セットを境界としてその両岸に当該対応
   線セットが属する記録画像を互いに接合し、この対応線
   上の各対応画素の方位と色とが最も良く当該両記録画像
   の間で合致するよう、該対応線上の画素だけでなくその
   周囲の画素も含めて、総体的な補正を各画素の方位と色
   に加えるのを特徴とする装置およびその方法。
3. 【請求項３】請求項１あるいは請求項２の装置あるいは
   方法において、上記複数の記録画像を保持する手段とは
   別個に、これら記録画像の中心視線方位ならびにその画
   素座標基準軸の方位と、互いに画像を接合する接合境界
   線と、画素位置および色の補正とに関する情報を保持す
   る手段を設け、任意の中心視線方位の画像を合成する際
   に、これら手段から各画素の方位毎に最も適した画素の
   色を決定して用いて、画像を合成するのを特徴とする装
   置およびその方法。