JP2000078467A

JP2000078467A - 画像合成方法

Info

Publication number: JP2000078467A
Application number: JP10262847A
Authority: JP
Inventors: Masatoshi Koide; 昌寿小出; Noriyuki Yamashita; 紀之山下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-18
Filing date: 1998-09-17
Publication date: 2000-03-14

Abstract

(57)【要約】【課題】複数枚の隣り合う部分画を合成するときに、
自動的に合成画像を生成する。【解決手段】入力されたカラー部分画から認識用の白
黒の輝度画像が生成され、その輝度画像に対してＬＰＦ
を施し、１／６４の部分画が生成される。隣り合う左の
部分画ＰＬと右の部分画ＰＲからバリアンス調査、直線
性調査が行われ、第１マーク、第２マークが選定され
る。部分画ＰＬ、ＰＲの回転角、伸縮率が求められ、そ
の回転角、伸縮率に応じて部分画ＰＬ、ＰＲが補正さ
れ、粗重ねが行われる。求められたパン角、チルト角か
ら台形歪み補正が行われる。１／１６の部分画、１／１
の部分画の順に回転角、伸縮率の微調整が行われ、対応
するカラー部分画に全補正が施される。隣り合う部分画
に対して、クロスフェードが施され、合成画像が生成さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数枚の隣り合
う部分画を自動的につなぎ合わせることができる画像合
成方法に関する。

【０００２】

【従来の技術】従来、例えば水平方向に連続して撮影さ
れた複数枚の部分画からパノラマ画像などの１枚の画像
を合成する場合、三脚などで固定されたパンチルタカメ
ラが使用される。このパンチルタカメラを使用して撮影
された複数枚の部分画は、容易にコンピュータで合成画
像を生成することができる。これは、パンチルタカメラ
から水平方向および垂直方向の位置の情報を受け取り、
コンピュータで解析することによって隣り合う部分画の
重複率が分かるので、コンピュータで容易に合成画像を
生成することができる。また、パンチルタカメラを使用
した場合、水平方向および垂直方向の位置並びに隣り合
う部分画の重複率は、ほぼ予め設定した値となるので、
コンピュータで容易に合成画像を生成することができ
る。

【０００３】

【発明が解決しようとする課題】これに対して、パンチ
ルタカメラを使用せずに、ディジタルスチルカメラや、
カメラ一体型ディジタルビデオレコーダの静止画撮影モ
ードを利用して、人間の手によってカメラ本体を移動ま
たは回転させて、複数枚の隣り合う部分画を撮影する手
法がある。

【０００４】しかしながら、この手法では、それぞれの
部分画の水平方向および垂直方向の位置の情報を得るこ
ともできず、隣り合う部分画の重複率も分からない。そ
のため、コンピュータのモニタに表示される隣り合う部
分画を見ながら、補正量を入力しなくてはならない問題
があった。

【０００５】また、パンチルタカメラを使用しても、撮
影された複数枚の部分画に、歪みが多く含まれる場合、
コンピュータのモニタに表示される隣り合う部分画を見
ながら、補正量を入力しなくてはならない問題があっ
た。

【０００６】従って、この発明の目的は、複数枚の隣り
合う部分画を合成するときに、水平方向および垂直方向
の位置の情報並びに隣り合う部分画の重複率が分からな
くても自動的に合成画像を生成することができ、さらに
歪みが多く含まれている部分画であっても自動的に合成
画像を生成することができる画像合成方法を提供するこ
とにある。

【０００７】

【課題を解決するための手段】請求項１に記載の発明
は、少なくとも第１および第２の部分画を合成して１枚
の合成画像を生成する画像合成方法において、第１およ
び第２の部分画を間引いて、間引かれた第１および第２
の間引き部分画を生成するステップと、第１および第２
の間引き部分画の一方を基準としてその他方の位置ずれ
を検出するステップと、検出された位置ずれに基づいて
第１および第２の部分画の位置ずれを調整するステップ
と、調整された位置ずれによって第１および第２の部分
画の一方の位置を補正するステップと、位置補正された
第１および第２の部分画の一方と、位置補正された他方
とを合成するステップとからなることを特徴とする画像
合成方法である。

【０００８】請求項２に記載の発明は、少なくとも第１
および第２の部分画を合成して１枚の合成画像を生成す
る画像合成方法において、供給された第１のカラー部分
画を白黒の輝度画像からなる第１の部分画へ変換するス
テップと、第１の部分画に低域通過フィルタを施して画
素を間引くことによって間引かれた第１の間引き部分画
を生成するステップと、第１の間引き部分画に高域通過
フィルタを施して画像の輪郭を得るステップと、輪郭を
得た第１の間引き部分画に低域通過フィルタを施して画
像の誤差を取り除くステップと、誤差が取り除かれた第
１の間引き部分画と、隣り合う第２の間引き部分画の一
方を基準としてその他方の位置ずれを検出するステップ
と、検出された位置ずれに基づいて第１および第２の間
引き部分画の位置ずれを調整するステップと、調整され
た位置ずれに基づいて、第１および第２の部分画の一方
を基準としてその他方の位置ずれを検出するステップ
と、検出された位置ずれに基づいて第１および第２の部
分画の位置ずれを調整するステップと、第１および第２
の部分画に対応する第１および第２のカラー部分画に対
して補正を施すステップと、補正が施された第１および
第２のカラー部分画を合成するステップとからなること
を特徴とする画像合成方法である。

【０００９】カラー画像の部分画から白黒の輝度画像が
生成され、生成された部分画に対してローパスフィルタ
が施され、その面積が１／２→１／４→１／１６→１／
６４とされる。次に、画像の輪郭を得るために１／６４
の画像に対してハイパスフィルタが施され、細かいノイ
ズを取り除くために、ローパスフィルタが施される。そ
して、隣り合う部分画を重ねることによってパン角、チ
ルト角が求まり、さらに平行移動、回転角、伸縮率の微
調整が行われる。当該部分画に対応するカラー画像の部
分画に対して、求められたパン角、チルト角、回転角、
伸縮率、平行移動、レンズ歪みなどの全補正が施され
る。そして、隣り合う部分画をクロスフェードさせ、合
成画像が生成される。

【００１０】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。まず、この発明の説明を
容易とするために、全体的構成の一例の外観図を図１を
用いて説明する。１で示すディジタルビデオカメラ（Ｄ
ＶＣ）のレンズの前にアクティブミラー部２を装着し、
電源部３を内蔵したコントローラ４がディジタルビデオ
カメラ１およびアクティブミラー部２を制御する。ディ
ジタルビデオカメラ１で記録するフレームとアクティブ
ミラー部２の動きを同期させるために、ディジタルビデ
オカメラ１から出力されるビデオＯＵＴ信号（フレーム
パルス）がコントローラ４へ供給される。コントローラ
４は、オートフォーカスのオン／オフ動作を制御するた
めに、ＡＦＳＷ信号をディジタルビデオカメラ１へ供給
する。また、コントローラ４は、アクティブミラー部２
を制御するために、制御信号をミラーサーボ部５へ供給
する。

【００１１】コントローラ４によって制御され、磁気テ
ープに記録された複数枚の部分画は、再生され、ディジ
タルビデオ（ＤＶ）ケーブルを介してパソコン（パーソ
ナルコンピュータ）６に内蔵されるＤＶキャプチャボー
ド７へ供給される。ＤＶキャプチャボード７へ供給され
た複数枚の部分画は、パソコン６のハードディスクに取
り込まれる。ハードディスクに取り込まれた部分画は、
この発明による専用のソフトウェア処理で合成処理を行
い、１枚の静止画としてプリンタ８によって出力され
る。

【００１２】アクティブミラー部２を駆動させた一例を
図２に示す。この図２は、例えばディジタルビデオカメ
ラ１のレンズブロック１２の設定を望遠にしてアクティ
ブミラー部２を装着した状態を上から見たものである。
アクティブミラー部２のミラー１４が緯度経度とも中心
にあるとき、Ａの位置の被写体が撮影される。ただし、
ミラー１４で１回反射しているため映像は、左右反対に
なるので電気的に処理を行う必要がある。

【００１３】ここで、一方のコイルに電流を流し、ミラ
ー１４を時計方向に５°動かすと光軸は、１０°右へず
れて、Ｂの位置の被写体が撮影される。反時計方向に５
°動かすと光軸は、１０°左へずれて、Ｃの位置の被写
体が撮影される。

【００１４】次に、経度は、センターにしておき、他方
のコイルに電流を流し、ミラー１４が５°上を向くと光
軸は、上へ回転しながらずれて、Ｄの位置の被写体が撮
影される。緯度も経度も５°ずらすとＥの位置の被写体
またはＦの位置の被写体が撮影される。

【００１５】このようにして、ミラー１４の緯度と経度
を制御することによって水平位置と垂直位置をずらしな
がら図３に示すように２５枚の部分画を互いに１部分が
重なるようにして撮影する。こうして部分画の集合とし
ての全体像が得られる。この図３に示す２５枚の部分画
は、コイルに対して電圧を等間隔に与えることによって
得られたものであり、扇形の重複関係となる。これは、
垂直方向の感度が水平方向に依存するためである。

【００１６】図２に示す部分画Ａは、図３に示す中央の
位置の部分画であり、部分画Ｂは、中央の列の右端の部
分画であり、部分画Ｃは、中央の列の左端の部分画であ
る。また、部分画Ｄは、図３に示す上の列の真ん中の部
分画であり、部分画Ｅは、上の列の右端の部分画であ
り、部分画Ｆは、上の列の左端の部分画である。

【００１７】このようにして得られた複数枚の部分画か
らコンピュータのソフトウェアによって１枚の静止画を
生成する、この発明の一実施形態のフローチャートを図
４に示す。ステップＳ１では、入力された１枚のカラー
の部分画に対してレンズの歪み補正が行われ、さらに白
黒の輝度画像が生成される。生成された白黒の輝度画像
は、合成画像を生成する前に、隣り合う部分画をどの位
置で合成するか、またどの程度の補正を施すかを確かめ
る認識用の部分画であり、カラーの部分画とは別の作業
用メモリに記憶される。

【００１８】ステップＳ２では、生成された白黒の輝度
画像にＬＰＦ（ローパスフィルタ）が例えば３回巡回さ
せて施される。具体的には、図５Ａに示す白黒の輝度画
像（１／１の部分画）の面積を１／４（図５Ｂ）の部分
画へ間引き、間引かれた１／４の画像を１／１６（図５
Ｃ）の部分画へ間引く。さらに、図示しないが１／６４
の部分画として取り扱えるように１／１６から１／６４
へ間引く。ステップＳ３では、１／６４の部分画の輪郭
を得るために、ＨＰＦ（ハイパスフィルタ）が施され
る。ステップＳ４では、ＨＰＦを施した１／６４の部分
画を少し滑らかにするために、ＬＰＦが施される。

【００１９】ステップＳ５では、入力された１／６４の
部分画と、その隣り合う部分画とを用いて粗重ね処理が
行われる。この粗重ね処理によって、まず１／６４の部
分画に対して回転角と伸縮率の補正が行われる。ここ
で、例えば重複する左右の部分画に撮影されている特徴
的な２点を重ね合わせると、左の部分画に対して右の部
分画がずれているときがある。回転角は、左右の部分画
に撮影されている特徴的な２点から三角関数を用いて、
例えば左の部分画に対して右の部分画は、どの程度の角
度回転しているかを求めたものである。伸縮率は、左右
の部分画に撮影されている特徴的な２点の長さの比か
ら、例えば左の部分画に対して右の部分画は、どの程度
の伸縮があるかを求めたものである。

【００２０】ステップＳ６では、軸回転で水平方向およ
び垂直方向に撮影レンズの光軸を移動させて撮影した部
分画の場合、２枚の１／６４の部分画の水平方向と垂直
方向のずれから、おおよそのパン角とチルト角が検出さ
れる。このとき、画角は、予め分かっているものとす
る。

【００２１】ステップＳ７では、検出されたパン角とチ
ルト角に基づいて、１／６４の部分画に対して台形歪み
補正が施される。この台形歪みは、撮影される部分画の
位置に対応した光路差によって生じるものである。例え
ば、上述した図２に示す部分画Ｅの場合、左上、左下、
右上および右下とを比較すると、この部分画Ｅの光路
は、右上が一番長く、左下が一番短くなる。また、図２
に示す部分画Ｂの光路は、右上と右下が左上と左下より
長くなる。この部分画Ｂに対して台形歪み補正が施され
ると、図６Ａから図６Ｂに示す部分画が生成される。

【００２２】ステップＳ８では、台形歪み補正の結果に
応じて一度粗重ねをした１／６４の部分画の位置が、そ
の移動分だけ補正される。ステップＳ９では、重複する
部分において、上述の１／６４の部分画の粗重ねで用い
られた第１および第２マークの２点を１／１６の部分画
から検索し、そのずれから回転角と伸縮率が検出され
る。ステップＳ１０では、その検出結果に基づいて、１
／１６の部分画で平行移動の微調整および回転角と伸縮
率の微調整が行われる。

【００２３】ステップＳ１１では、重複する部分におい
て、上述の１／６４の部分画の粗重ねで用いられた第１
および第２マークの２点を１／１の部分画から検索し、
そのずれから回転角と伸縮率が検出される。ステップＳ
１２では、その検出結果に基づいて、１／１の部分画で
平行移動の微調整および回転角と伸縮率の微調整が行わ
れる。ステップＳ１３では、検出されたパン角、チルト
角、回転角、伸縮率、平行移動およびレンズ歪みを考慮
して、当該白黒の輝度画像の部分画に対応するカラーの
部分画に対して全補正が施される。すなわち、カラーの
部分画に対して一度に全補正、すなわち検出されたパン
角、チルト角、回転角、伸縮率、平行移動およびレンズ
歪みの補正が行われる。このように、一度にカラーの部
分画に対して全補正を行うことによって、ｆ特性の劣化
を最小限に抑えることができる。

【００２４】ステップＳ１４では、全ての部分画に対し
て処理が終了したか否かが判断され、全ての部分画に対
して処理が終了したと判断した場合、ステップＳ１５へ
制御が移り、まだ全ての部分画に対して処理が終了して
いないと判断した場合、ステップＳ１６へ制御が移る。
ステップＳ１６では、次の部分画（カラーの部分画）が
取り込まれ、ステップＳ１に制御が移る。ステップＳ１
５では、全補正が施された複数のカラーの部分画の隣り
合う部分画に対してクロスフェードが行われ、合成画像
が生成され、生成された合成画像はメモリに記憶され
る。

【００２５】上述のステップＳ１において、回転や伸縮
などの補正を加えたときに、元の部分画から変形しても
できる限り見えるように枠を付けるようにしてもよい。
そのときの一例のフローチャートを図７に示す。ステッ
プＳ２１では、広角および標準で撮影した場合、部分画
に対してレンズの歪み補正が施される。ステップＳ２２
では、黒枠の付いた原画像がメモリに記憶される。ステ
ップＳ２３では、ダイナミックレンジが１〜２５５まで
全部使えるように、隣り合う部分画に対してコントラス
ト補正が行われる。ステップＳ２４では、カラーの部分
画が白黒の輝度画像へ変換される。ステップＳ２５で
は、認識時点での部分画のｆ特性を合わせるために、動
かさない基準画像に対してＬＰＦが施される。

【００２６】上述したコントラスト補正の一例を図８を
用いて説明する。コントラスト補正とは、例えば合成す
るために重複させる左右の部分画が撮影時の明るさの状
況などによって少し暗くなっていたり、ＬＰＦを通した
ことによってｆ特性が落ちてコントラストが小さくなっ
ているときに、１〜２５５のダイナミックレンジを全部
使って行う補正である。このとき、ｆ特性は、不変であ
る。

【００２７】通常１〜２５５のダイナミックレンジの範
囲を図８Ａに示す。図８Ｂには、通常の１〜２５５のダ
イナミックレンジが点線で示され、左の部分画から検出
された最大値および最小値が実線で示される。図８Ｃに
は、左の部分画から検出された最大値および最小値が点
線で示され、検出された右の部分画の最大値および最小
値が実線で示される。コントラスト補正が行われると、
隣り合う左右の部分画から検出された最大値および最小
値へダイナミックレンジの１〜２５５が割り振られる。
この一例では、最大値および最小値は、左の部分画から
検出される。すなわち、左の部分画から検出された最大
値および最小値で左右の部分画のダイナミックレンジの
１〜２５５が割り振られ、コントラスト補正が行われ
る。このように、左右の部分画のコントラストを同一の
ものとするために、合成する左右の部分画から検出され
た最大値および最小値がコントラスト補正に使用され
る。

【００２８】補正された画素値は、 z8l ＝(254×(y8l−y8min)) ／(y8max−y8min)＋１ z8r ＝(254×(y8r−y8min)) ／(y8max−y8min)＋１から求められる。ただし、z8l 、z8r はコントラスト補
正後の左右の画素値であり、y8l 、y8r はコントラスト
補正前の左右の画素値であり、y8max 、y8min は左右の
部分画から選択された最大値および最小値である。

【００２９】上述したステップＳ２において、高速に広
い範囲を荒っぽく見るために画素を間引くために、ＬＰ
Ｆを施す一例のフローチャートを図９に示す。ステップ
Ｓ３１では、認識用の白黒の輝度画像（部分画）に対し
てＬＰＦが施され、その面積が１／１から１／４へ間引
かれる。ステップＳ３２では、１／４の部分画の隣り合
う部分画から検出された最大値および最小値を用いて、
コントラスト補正が行われる。ステップＳ３３では、１
／４の面積の部分画に対してＬＰＦを施し、部分画の面
積が１／４から１／１６へ間引かれる。ステップＳ３４
では、隣り合う１／１６の部分画から検出された最大値
および最小値を用いて、コントラスト補正が行われる。

【００３０】ステップＳ３５では、１／１６の面積の部
分画に対してＬＰＦを施し、部分画の面積が１／１６か
ら１／６４へ間引かれる。間引かれた１／６４の部分画
の対応する位置に１／１６の部分画の画素を配置させ、
１／１６の部分画の画素数と同等にする。すなわち、１
／６４の部分画の画素数を４倍に拡大した部分画と同等
にする。これは、１／６４の部分画で画素ブロックを
０．５ピクセルずつ動かすということを実現するためで
ある。そして、粗重ねで検出、検索するときの画素ブロ
ックは、１つ飛ばしで画素を拾う。これによって、きれ
いな１／６４の部分画の画素を４倍に拡大した部分画を
得ることができ、粗重ねの正確性が向上する。ステップ
Ｓ３６では、その部分画に対してＬＰＦが施される。ス
テップＳ３７では、隣り合う部分画から検出された最大
値および最小値を使用して、コントラスト補正が行われ
る。

【００３１】図１０は、１／６４の部分画の画素を４倍
にしたものと同等の部分画の一例である。実線と実線の
交点には、１／６４の部分画のときの画素があり、他の
交点、すなわち破線と実線、破線と破線の交点には、１
／６４の部分画を４倍にしたときの画素がある。画素ブ
ロックＡは、１／６４の画面上を１ピクセル毎に動かす
様子であり、画素ブロックＢは、１／６４の画面上を
０．５ピクセル毎に動かす様子である。この一例の場合
の画素ブロックのサイズは、（３×３）ブロックであ
り、交点上に１つ飛ばしに画素がある。

【００３２】上述したステップＳ３およびＳ４におい
て、画像の輪郭を導き出すために、ＨＰＦを施し、また
細かな画像の誤差を排除するために、ＬＰＦを施す一例
のフローチャートを図１１に示す。ステップＳ４１で
は、画像の輪郭を導き出すために、得られた部分画に対
してＨＰＦが施される。ステップＳ４２では、細かな画
像の誤差を排除するために、その部分画に対してＬＰＦ
が施される。ステップＳ４３では、隣り合う部分画から
検出された最大値および最小値を使用して、コントラス
ト補正が行われる。

【００３３】上述したステップＳ５において、回転や伸
縮が施された隣り合う部分画であっても、そのような歪
みを考慮しながら重ね合わせの位置を決めるための、粗
重ねの一例のフローチャートを図１２に示す。最初は、
回転および伸縮があまりないものとして（７×７）ブロ
ックで検索が行われる。また、この一例では、図１３に
示すように左の部分画ＰＬと右の部分画ＰＲとが重複さ
れる。

【００３４】ステップＳ５１では、図１３に示すよう
に、左の部分画ＰＬの右端から水平方向に２０％および
垂直方向に６０％（許容ずれを±２０％とする）の領域
ａと、右の部分画ＰＲの左端から水平方向に２０％およ
び垂直方向に６０％（許容ずれを±２０％とする）の領
域ｂから第１マークが検索される。それでも、第１マー
クがなかった場合は、範囲を縦・横の順に拡げて第１マ
ークを探す。

【００３５】図１４に示すように、最初は、部分画ＰＬ
の領域ａと部分画ＰＲの領域ｂとの間で第１マークを検
索し、第１マークがなかった場合、領域ｃで第１マーク
を検索し、最後に領域ｄで第１マークを検索する。この
ように、部分画ＰＬの右端からいくらかの領域と、部分
画ＰＲの左端からいくらかの領域との両方を探すことに
よって、最有効マークを発見しやすくなる。図１４Ｂの
場合、部分画ＰＲの領域ｂの検索範囲内には、太陽のマ
ークが１個しかないが、部分画ＰＬの領域ａの検索範囲
内には、三角と十字の２個のマークが見つかる。よっ
て、太陽、三角および十字の３個のマークを最有効マー
クとして、検索を行う。

【００３６】ステップＳ５２では、ブロック内の領域が
平坦画像か否かを判断するために、バリアンス調査が行
われる。このバリアンス調査は、Ｖａ＝Σ（ｙｉ×ｙｉ）／Ｋ−（Σｙｉ／Ｋ）×（Σｙ
ｉ／Ｋ）から求められる。ただし、Ｖａはバリアンス、ｙｉは輝
度、Ｋはブロック内のピクセル数である。ここで、Ｖａ
の最小値は、ブロック内の全ての画素値が同じ値のとき
であり、そのときのＶａの値は０となる。また、Ｖａの
最大値は、ブロック内の画素数の半分が２５５で、半分
が１のときであり、そのときのＶａの値は、（２５５−１）×（２５５−１）／４＝１６１２９となる。また、一例として、図１５Ａは平坦な部分画で
あり、図１５Ｂは平坦でない部分画である。

【００３７】ステップＳ５３では、平坦画像でなくても
直線であっては、重なりが一意に定まらないので、ブロ
ック内が直線であるか否かを判断するために、直線性調
査が行われる。この直線性調査は、基準のブロックを自
身の部分画内で前後左右に数ピクセルずつ動かして差分
の自乗和をとる。１ピクセルあたり、その結果が近い値
が２点以上ある時それは直線とする。図１６Ａは直線で
あるブロックであり、図１６Ｂは直線でないブロックで
ある。また、図１７に示すように、ブロックＡをリファ
レンス画像とした場合は、水平方向の直線なので、ブロ
ックＡ’に示すようにブロックを横にずらすと、１ピク
セルあたりの差分の自乗和がほとんど０となる。しか
し、ブロックＢをリファレンス画像とした場合は、どの
ような方向（例えば、ブロックＢ’）に動かしても１ピ
クセルあたりの差分の自乗和は、０とならない。

【００３８】この直線性調査のときに、リファレンス画
像となる画素ブロック内のバリアンスの値と、検索する
ために用いられる画素ブロック（以下、検索ブロックと
称する）内の最大値および最小値によって、１ピクセル
あたりの差分の自乗和が近いか否かを判断するためのし
きい値を変える。コントラストがクッキリしている場合
には、図１８Ａに示すしきい値とし、コントラストが図
１８Ａと比べて少しぼやける場合には、図１８Ｂに示す
しきい値とする。そのしきい値は、 sasawath＝(int)((320／(y8max−y8min)) ×sepva) から求められる。ただし、sasawathは１ピクセルあたり
の差分の自乗和が近いか否かを判断するしきい値、y8ma
x 、y8min は検索ブロック内の最大値および最小値、se
pva はバリアンスの値である。

【００３９】そして、部分コントラスト補正を施すこと
によって、画素ブロックのコントラストの変動の影響を
受けずに直線性の調査を行うことができる。図１９Ａに
示すように、認識用の部分画において濃い部分画と薄い
部分画が入り交じっていた場合、しかも濃い部分画に粗
重ねをするのに適当なマークがなかった場合でも、薄い
部分画の部分に特徴的なマ−ク（図１９Ｂ）があれば活
用したい。この要求を満たすために、検索ブロック内の
コントラストと相手のコントラストがクッキリするよう
に部分コントラスト補正が施される。これは、検索ブロ
ック内と相手の検索領域で輝度の最大値と最小値を検出
し、それらが２５５と１になるように比例補正するもの
である。そうすると、図１９Ｃに示すように、薄い部分
画はクッキリし、お互いのコントラストの比較がしやす
くなる。これらの作業は、上述したバリアンス調査の後
で施すようにし、細かな微量の雑音や誤差の影響がない
ようにする。

【００４０】ステップＳ５４では、バリアンス調査と直
線性調査とから、バリアンスのできるだけ高いものが第
１マークとして選定される。ステップＳ５５では、例え
ば左の部分画ＰＬから第１マークが設定されると、右の
部分画ＰＲから類似する画素ブロックが検出される。こ
のときも、ブロック内の部分コントラスト補正をしなが
ら類似値を比べる。ステップＳ５６では、一例として１
４ヵ所の候補が部分画ＰＲから選定される。

【００４１】ステップＳ５７では、第１マークと同じ要
領で第２マークが選定される。第２マークは、第１マー
クの次にバリアンスが高く、且つ第１マークからある程
度以上垂直距離がとられており、出来るかぎり第１マー
クから離れていること。領域ｄの範囲内に第２マークが
なかった場合、第２マークは、粗重ねで用いられた１４
候補で重ねた範囲の中からも選べるようにする。ステッ
プＳ５８では、図２０に示すように、第１マークと第２
マークの位置関係から１４候補の第１マークに対する第
２マークの周辺を第１マークと第２マークの距離に応じ
た範囲を検索する。このときも、部分コントラスト補正
が行われる。

【００４２】また、第１マークｍ１と対応する位置を重
ね合わせたとき、図２１に示すように例えば第２マーク
ｍ２の対応する位置を検索しようとすると、第１マーク
ｍ１と第２マークｍ２との距離ｌに比例してサーチ範囲
ｄｌを可変させるようにしても良い。このサーチ範囲ｄ
ｌは、ｄｌ＝α×ｌから求められ、αはサーチ範囲の比
例係数であり適宜選択される。

【００４３】ステップＳ５９では、第２マークに似てい
る所を７ヵ所選定し、それぞ回転角と伸縮率が求められ
る。ステップＳ６０では、２ブロックを囲む範囲内で回
転および伸縮の補正が行われる。ステップＳ６１では、
１ピクセルあたりの差分の自乗和が一番小さくなる合成
位置と係数とが選定される。この特定領域での回転およ
び伸縮の補正を部分ＦＩＸという。そして、このとき
も、部分コントラスト補正が行われる。

【００４４】ここで、部分ＦＩＸの一例を図２２を用い
て説明する。第１マークと第２マークで近似箇所を相手
部分画、例えば右の部分画ＰＲ中で探すが、類似箇所が
幾つかある場合がある。そのような時に、第１マークと
第２マークを囲む程度の範囲で部分的に補正して差分を
とる。第１マークと第２マークは、ある程度以上距離を
とるようになっているのである程度の範囲で回転および
伸縮の補正検出を行うことができる。すると、第１マー
クと第２マークの間の画像の差異と回転角や伸縮率の正
誤からどれが正しいかがわかる。

【００４５】そして、この差分が最小のものでもある程
度以上小さくならない場合、図２３に示すように、（３
×３）ブロックにして、上述の（７×７）ブロックと同
じ方法で１ピクセルあたりの差分が一番小さくなる合成
位置と係数を選定する。これは、回転や伸縮により大き
く部分画が歪んでいる場合に有効である。

【００４６】上述したアルゴリズムは、処理の順番が大
事である。１つには、このプログラムの考え方として全
ての補正を一度に補正処理するのではなく、出来るもの
から処理して、出来なければ出来ないという情報を次の
処理に伝送して、別の方法で処理しようというものであ
る。その一例として、第１マークの検索範囲の随時拡
大、第２マークの検索範囲の拡大、検索ブロックのサイ
ズ変更というようなことがある。また、部分コントラス
ト補正をするときには必ず、バリアンス調査の情報を得
て、そのブロックが平坦でないことを確認してから行
う。

【００４７】上述したステップＳ１２において、１／１
の合成画像で微調整補正を短い処理時間で行う方法とし
て、隣り合う部分画を粗重ねし、台形変換または円筒変
換した後、１／１の大きさの画像で、第１マークｍ１と
第２マークｍ２の各サーチブロックを図２４に示すよう
に、適当に大きくして微量な範囲が検索される。このよ
うに、サーチブロックを大きくすることによって、検索
精度が上がる。そして、微量のずれ分を付け加えて回転
角および／または伸縮率の係数が求め直される。

【００４８】また、台形変換または円筒変換したとき
に、第１マークｍ１、第２マークｍ２およびそれぞれの
対応点の座標も、同様に台形変換または円筒変換して追
尾して、回転角および／または伸縮率の係数が求め直さ
れる。

【００４９】上述したステップＳ１５において、合成画
像を生成するために隣り合う部分画に対してクロスフェ
ードを行うとき、図２５Ａの輝度曲線のように重複領域
ｒ内のコントラストが小さく薄暗かった場合、そのまま
合成しようとするとマークが決まらないので、うまく合
成できない。そのようなとき、カラーの部分画の明るさ
とコントラストを補正して、図２５Ｂに示すように、隣
り合う部分画をクッキリさせることによって、合成がで
きるようになる。また、図示しないが重複領域ｒ内のコ
ントラストが小さく明るすぎる場合にもカラーの部分画
の明るさとコントラストを補正して、隣り合う部分画を
クッキリさせることによって、合成できる。

【００５０】そして、合成画像を生成するために隣り合
う部分画に対してクロスフェードを行うとき、重複部分
でバリアンス調査を行う。そして、クロスフェードを行
って隣り合う部分画を重ね合わせるのに最も条件のよい
場所と範囲でクロスフェードが行われる。例えば、図２
６に斜線で示すように、無地でバリアンスの低い部分が
クロスフェード最良部分となる。

【００５１】また、ユーザは合成画像を、台形変換（図
２７Ａ）して出力するか、円筒変換（図２７Ｂ）して出
力するかを適宜選択することができる。そして、隣り合
う部分画を台形変換して合成するとき、図２８Ａに示す
ように、ポスターを真正面にするか、図２８Ｂに示すよ
うに、人を真正面にするか等、台形変換の係数（パン角
・チルト角）を変えることによって実現できる。このと
き、用いられる台形変換の係数は、視差（光路差）の範
囲を超えないように設定される。

【００５２】このように、自動合成とは、まず隣り合う
部分画の重ね合わせの目印（マーク）を自動的に見つけ
出し、自動的に粗重ねし、次にパン角、チルト角、回転
角、伸縮率、平行移動、各々の値を自動的に求め、自動
的に補正して合成し、一枚の画像を作る作業である。

【００５３】上述した一実施形態では、隣り合う部分画
を合成するため、多くのメモリが必要となる。そこで、
カラーの部分画から白黒の輝度画像（部分画）が生成さ
れてから、隣り合うカラーの部分画が合成されるまでの
処理中に画像（部分画）を一時蓄えておく画像認識用の
メモリを共用する。これによって、作業に用いられるメ
モリ領域を小さくすることができる。例えば、コントラ
スト補正や合成前変換に用いられるメモリは、同じメモ
リをその都度書き換えて使用する。

【００５４】

【発明の効果】この発明に依れば、複数枚の隣り合う部
分画を合成するときに、水平方向および垂直方向の位置
の情報並びに隣り合う部分画の重複率が分からなくても
自動的に合成画像を生成することができ、さらに歪みが
多く含まれている部分画であっても自動的に合成画像を
生成することができる。

【００５５】この発明に依れば、パノラマ画像がより高
精度に処理時間が短くコンピュータの負担を軽減してユ
ーザの視覚的選択制をもって隣り合う部分画を合成する
ことができる。

【図面の簡単な説明】

【図１】この発明が適用されるシステムの一例を示すブ
ロック図である。

【図２】アクティブミラーを用いて複数枚の部分画の撮
影を説明するための略線図である。

【図３】２５枚の部分画を撮影したときの説明に用いる
略線図である。

【図４】この発明の画像合成処理の一実施形態を示すフ
ローチャートである。

【図５】この発明に適用される間引きの説明に用いられ
る略線図である。

【図６】この発明に適用される台形歪みの説明に用いら
れる略線図である。

【図７】この発明に適用される枠付け処理の一例のフロ
ーチャートである。

【図８】この発明に適用されるコントラスト補正を説明
するための略線図である。

【図９】この発明に適用される間引き処理の一例のフロ
ーチャートである。

【図１０】この発明に適用されるブロックサーチを説明
するための略線図である。

【図１１】この発明に適用されるＨＰＦおよびＬＰＦの
一例のフローチャートである。

【図１２】この発明に適用される粗重ね処理の一例のフ
ローチャートである。

【図１３】この発明に適用される粗重ねを説明するため
の略線図である。

【図１４】この発明に適用される粗重ねを説明するため
の略線図である。

【図１５】この発明に適用されるバリアンス調査の説明
に用いる略線図である。

【図１６】この発明に適用される直線性調査の説明に用
いる略線図である。

【図１７】この発明に適用される直線性調査の説明に用
いる略線図である。

【図１８】この発明に適用されるコントラスト補正の説
明に用いる略線図である。

【図１９】この発明に適用される部分コントラスト補正
の説明に用いる略線図である。

【図２０】この発明に適用される検索の説明に用いる略
線図である。

【図２１】この発明に適用される部分画の合成の説明に
用いる略線図である。

【図２２】この発明に適用される部分ＦＩＸの説明に用
いる略線図である。

【図２３】この発明に適用されるブロックサイズの変更
の説明に用いる略線図である。

【図２４】この発明に適用される部分画の合成の説明に
用いる略線図である。

【図２５】この発明に適用される部分画の合成の説明に
用いる略線図である。

【図２６】この発明に適用される部分画の合成の説明に
用いる略線図である。

【図２７】この発明に適用される台形変換および円筒変
換の説明に用いる略線図である。

【図２８】この発明に適用される台形変換の説明に用い
る略線図である。

【符号の説明】

ＰＬ・・・左の部分画、ＰＲ・・・右の部分画

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/91 ＪＦターム(参考） 5B057 AA20 BA02 CA01 CB01 CD07 CD08 CE06 CE10 CE11 CE16 CE17 DA07 DB06 DC08 DC16 5C022 AA13 AB22 AB30 AB62 AB68 AC27 AC42 AC51 AC69 AC74 AC79 AC80 CA02 5C023 AA11 AA38 BA02 BA13 CA02 CA09 DA04 EA10 5C053 FA07 FA14 GA20 GB01 GB08 GB40 JA16 KA12 KA13 LA01 LA03 LA06 LA11

Claims

【特許請求の範囲】

【請求項１】少なくとも第１および第２の部分画を合
成して１枚の合成画像を生成する画像合成方法におい
て、第１および第２の部分画を間引いて、間引かれた第１お
よび第２の間引き部分画を生成するステップと、上記第１および第２の間引き部分画の一方を基準として
その他方の位置ずれを検出するステップと、上記検出された位置ずれに基づいて上記第１および第２
の部分画の位置ずれを調整するステップと、上記調整された位置ずれによって上記第１および第２の
部分画の一方の位置を補正するステップと、上記位置補正された上記第１および第２の部分画の一方
と、上記位置補正された他方とを合成するステップとか
らなることを特徴とする画像合成方法。
【請求項２】少なくとも第１および第２の部分画を合
成して１枚の合成画像を生成する画像合成方法におい
て、供給された第１のカラー部分画を白黒の輝度画像からな
る第１の部分画へ変換するステップと、上記第１の部分画に低域通過フィルタを施して画素を間
引くことによって間引かれた第１の間引き部分画を生成
するステップと、上記第１の間引き部分画に高域通過フィルタを施して画
像の輪郭を得るステップと、輪郭を得た上記第１の間引き部分画に低域通過フィルタ
を施して画像の誤差を取り除くステップと、誤差が取り除かれた上記第１の間引き部分画と、隣り合
う第２の間引き部分画の一方を基準としてその他方の位
置ずれを検出するステップと、上記検出された位置ずれに基づいて上記第１および第２
の間引き部分画の位置ずれを調整するステップと、上記調整された位置ずれに基づいて、上記第１および第
２の部分画の一方を基準としてその他方の位置ずれを検
出するステップと、上記検出された位置ずれに基づいて上記第１および第２
の部分画の位置ずれを調整するステップと、上記第１および第２の部分画に対応する上記第１および
第２のカラー部分画に対して補正を施すステップと、上記補正が施された上記第１および第２のカラー部分画
を合成するステップとからなることを特徴とする画像合
成方法。
【請求項３】請求項１または請求項２において、上記位置ずれは、重ね合わせようとする２枚の画像の一方の画像を基準と
して、他方の画像の回転角と、重ね合わせようとする２枚の画像の一方の画像を基準と
して、他方の画像の伸縮率と、重ね合わせようとする２枚の画像の一方の画像を基準と
して、他方の画像の水平方向および／または垂直方向の
ずれとからなることを特徴とする画像合成方法。
【請求項４】請求項１または請求項２において、上記位置ずれは、重ね合わせようとする２枚の画像から第１および第２マ
ークを検索し、検索された上記第１および第２マークに
基づいて検出するようにしたことを特徴とする画像合成
方法。
【請求項５】請求項４において、上記第１および第２マークは、平坦でなく、且つ直線でない画像を選定するようにした
ことを特徴とする画像合成方法。
【請求項６】請求項４において、上記第１および第２の間引き部分画の画素数を４倍にし
た部分画を用いて上記第１および第２マークを０．５画
素毎に動かして検索するようにしたことを特徴とする画
像合成方法。
【請求項７】請求項４において、上記第１マークから所定の距離となる第２マークを選定
するようにしたことを特徴とする画像合成方法。
【請求項８】請求項４において、所定の領域の最大値および最小値を使用してコントラス
ト補正を行うようにしたことを特徴とする画像合成方
法。
【請求項９】請求項４において、上記第１および第２マークを含む範囲で、重ね合わせよ
うとする２枚の画像の一方の画像を基準として、他方の
画像の回転角を求め、上記第１および第２マークを含む範囲で、重ね合わせよ
うとする２枚の画像の一方の画像を基準として、他方の
画像の伸縮率を求め、求められた上記回転角と上記伸縮率との補正を行うよう
にしたことを特徴とする画像合成方法。
【請求項１０】請求項４において、上記位置ずれが検出されなかった場合、上記第１および第２マークの画素数を、第１の画素数か
ら上記第１の画素数より少ない第２の画素数へ変更し
て、上記位置ずれを検出するようにしたことを特徴とす
る画像合成方法。
【請求項１１】請求項４において、上記第１マークが検索されなかった場合、上記第１マー
クの検索範囲を拡大し、上記第１マークを求め、上記第２マークが検索されなかった場合、上記第２マー
クの検索範囲を拡大し、上記第２マークを求め、求められた上記第１および第２マークから上記位置ずれ
が検出されなかった場合、上記第１および第２マークの
画素数を、第１の画素数から上記第１の画素数より少な
い第２の画素数へ変更して、上記位置ずれを検出するよ
うにしたことを特徴とする画像合成方法。
【請求項１２】請求項４において、上記第１および第２マークの距離に比例して上記第２マ
ークの検索する範囲を可変するようにしたことを特徴と
する画像合成方法。
【請求項１３】請求項１または２において、上記第１および第２の部分画を平坦となる位置と範囲で
合成するようにしたことを特徴とする画像合成方法。
【請求項１４】請求項１または２において、上記第１および第２の部分画を処理するために記憶させ
る画像認識用のメモリを共用するようにしたことを特徴
とする画像合成方法。
【請求項１５】請求項１または２において、上記第１および第２のカラー部分画を合成するときに、
台形変換して合成するか、円筒変換して合成するかを適
宜選択するようにしたことを特徴とする画像合成方法。
【請求項１６】請求項１５において、上記台形変換して上記第１および第２のカラー部分画を
合成するときに、上記台形変換の係数を変更することに
より、上記第１および第２のカラー部分画の絵柄の向き
を変更するようにしたことを特徴とする画像合成方法。
【請求項１７】請求項４において、上記第１および第２のカラー部分画を、台形変換または
円筒変換して合成するときに、上記第１および第２マー
ク並びにそれぞれの対応点に対しても台形変換または円
筒変換を行うようにしたことを特徴とする画像合成方
法。
【請求項１８】請求項４において、上記第１および第２マークの検索範囲を拡大して、上記
第１および第２マークの検索範囲を平行移動させ検索
し、上記重ね合わせようとする２枚の画像の一方を基準
として回転角および／または伸縮率を求めるようにした
ことを特徴とする画像合成方法。
【請求項１９】請求項２において、上記第１および第２のカラー部分画を合成するときに、
明るすぎたり薄暗かったりしてコントラストが小さい場
合、明るさとコントラストを補正するようにしたことを
特徴とする画像合成方法。