JP2007328582A - 画像合成装置およびその方法 - Google Patents

Abstract

【課題】所定方向に連続して撮像された複数画像を接合して合成する場合、従来の補正手法では、画像間の接合境界のずれ量の大小に関係なく、一様の範囲に補正を行うため、接合境界付近に不自然な変化が施されてしまうという課題を有していた。
【解決手段】第１の画像と第２の画像を入力する画像入力手段と、前記の第１の画像と第２の画像との接合境界のずれを検出する検出手段と、前記検出手段で検出した所定方向のずれ量に応じて、他の方向の補正範囲を決定する補正制御手段と、前記補正範囲に従って、第１の画像と第２の画像との接合面のずれを補正する補正手段とを備える。
【選択図】図１

Description

本発明は複数の画像を合成する場合、接合境界付近の補正を行い、合成する画像合成装置に関するものである。

近年、デジタルカメラは大変普及してきており、単なる写真撮影だけではなく、新たな利用法の需要も増えてきた。風景を部分的毎に何枚も撮影し、後でそれを合成して、デジカメが本来持っている解像度以上の解像度を持つパノラマ写真を作成するといった利用法も、その１つである。前記の写真合成の際、合成部分の不連続性を改善するために、様々な手法が試みられてきた。

従来の画像合成処理としては、接合境界付近の画像のずれを補正し、繋ぎ目の不連続を緩和するものがある。図１４は、従来の画像合成処理を行う機能ブロック図を抽象化した図である。

図１４において、入力部１で入力された複数の入力画像に対して、ずれ検出部２で複数の画像の接合面の画像間のずれを検出する。ここで画像間のずれとは、例えばパノラマ写真を撮影するときに生じてしまう、複数画像間を接合した際に同じ位置であるべき画素同士の、相対位置のずれ、または、輝度や色差等の色情報のずれである。

図１４に戻りパラメータ設定部３は、接合境界付近の一定の範囲を補正範囲と設定する。補正処理部４では、前記の補正範囲に従って、接合境界付近を補正する。

この補正処理部４で行われるずれ補正として、特許文献１に記載の補正処理を説明する。

図１５は特許文献１記載の補正処理を模擬した図である。このずれ補正処理では、接合境界の画素の縦方向ずれを横方向に伝播し、ずれを緩和するものである。補正する画素をＡ１、Ｂ１とし、それぞれのずれ量ＳＡ、ＳＢとする。また横方向の伝播距離をＬ、つまりＡ２、Ｂ２までとする。補正をする際Ａ１、Ｂ１はそれぞれのずれ量分を移動させ、Ａ２、Ｂ２までの中間の画素の移動量を徐々に減少させ、最後にＡ２およびＢ２の移動量は零となる。ここで、Ａ１、Ｂ１から距離ｌ離れた中間点ａ、ｂの移動量ｓａ、ｓｂは、

と

である。
特開平６−４６６０号公報

しかしながら、従来のずれ補正処理では、ずれ量ＳＡとＳＢは異なっているが、補正範囲はＬで固定されている。このため、Ａ２付近では補正後の変化が見られないが、Ｂ２付近では補正後の画像が大きく歪んでしまう。つまり、画像間のずれ量の大小に考慮せず、固定の範囲で補正するものであったため、接合境界付近に緩やかな変化の箇所もあれば、急激な変化を施された箇所もある。このため、ずれが本質的に解決されたわけではないので、不自然な接合境界が認知されてしまう。

本発明は、前記従来の課題を解決するもので、接合画像境界のずれ量に応じて、補正範囲を変化させると、補正後の画像の歪みが解決できるより自然な合成画像を生成する画像合成装置を提供することを目的とする。

本発明は、第１の画像と第２の画像を入力する画像入力手段と、第１の画像と第２の画像との接合境界のずれを検出する検出手段と、検出手段で検出したずれ量に応じて、接合境界方向と異なる方向の補正範囲を決定する補正制御手段と、補正範囲に従って、第１の画像と第２の画像との接合面のずれを補正する補正手段とを備える。

本発明によれば、複数の画像を接合する際に、違和感のない接合境界の自然な画像を生成することができる。又、接合境界付近のずれ量があらかじめ与える構成とした場合は、ずれ検出を行うことなく、演算コストを削減することができるという格別の効果を実現することができる。

さらに、接合境界付近の第１画像と第２画像の一方のみを補正することとした場合は、処理時間の短縮、システムのメモリの使用量の削減することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像合成装置の構成図である。図１において、図１４と同じ構成要素については同じ符号を用い、説明を省略する。

図１において、画像合成装置は、相互に固定された複数のカメラからの画像を入力する画像入力部１と、画像間のずれを検出するずれ検出部２と、ずれ検出部２により得られたずれ量に基づき、接合境界と異なる方向の補正範囲を決定する補正制御部５と、補正部４とを有する。ここで、補正制御部５は、接合境界方向が垂直方向であり、異なる方向が水平方向であるときには水平方向の補正範囲を決定する。

図２は本発明の実施の形態１にかかる画像合成装置のフローチャートである。

まず、入力部１は与えられた第１の画像と第２の画像とを読み取る（ステップ２１）。

次にずれ検出部２は、前記読み込んだ画像の接合境界付近の画像間の差異を計算し、ずれを検出する（ステップ２２）。ずれ検出の方法については後述する。

そして、補正制御部５では前記検出したずれ量に応じて、接合境界と異なる方向（水平方向）の補正範囲を決定する（ステップ２３）。決定された補正範囲に基づき、補正処理部４はずれを水平方向に向かって遠くへ伝播させることによって補正を行う（ステップ２４）。

ずれ検出部２は、まず第１画像と第２の画像の接合を行ってからずれを検出する。

ここで接合とは、第１の画像と第２の画像とを接合境界で合成し、１枚の画像にすることをいう。接合は様々な方法があるが、ここでは、一般的に使用されているマッチング方法の例を図３（ａ）に示す。図３（ａ）では、第１の画像と第２の画像の共通部分を任意で与えられたマッチング範囲内で重ねながら移動させ、各画像の重なる部分において、都度相関のコストを求め、コストが最大となる領域を探索する。相関を求めるコスト関数を以下に示す。

ただし、ｋ、ｌは重なる領域の範囲で、ｘ、ｙは前記の領域内の座標、ｐ（ｘ，ｙ）、ｑ（ｘ，ｙ）は座標（ｘ，ｙ）における第１の画像および第２画像の画素値、Ｍｐ（ｋ，ｌ）、Ｍｑ（ｋ，ｌ）はそれぞれの画像の重なる部分の画素の平均値である。

探索の結果、相関が最も強い領域の中心点を対応点とする。一般的に、接合境界は前記の対応点を通る直線で、第１の画像と第２の画像の接合方向との垂直方向によって決定される。図３（ｂ）は、探索された位置（相関が最大となる位置）と接合境界との関係を示した図である。

その後、図３（ｃ）に示すように、第１の画像と第２の画像との対応点を合わせて、それぞれの画像において接合境界をはさんで反対側にある領域の画像データを除いて、第１の画像と第２の画像とを接合する。

続いてずれ量の算出を行う。ずれ量の算出では、まず、図４の例のように、第１の画像と第２の画像の接合境界付近において、例えば垂直方向２０画素×水平方向１０画素のブロック単位で画素の輝度値、色差値、あるいは、ＲＧＢの各値の平均値を計算し、接合境界の左右で最も近いブロックを探索し、対応ブロックを見つける。例えば第１の画像の１ブロックに対して、第２の画像の定められた範囲で、第１の画像のブロックと同じサイズのブロックを動かし、第１の画像のブロックと最も近いブロックを探索する。

次に、ずれ量を接合境界の左右の対応ブロックの中心点の接合境界方向の距離として算出する。また、対応点の中間部分のずれ量は線形的に求められる。尚、図４では対応点を２点しか描いていないが、対応点を多くすると、計算の精度が高くなる。

補正制御部ではずれ量に応じて、補正範囲を計算する。図５は角度が９０度の場合の例である。なお、図中の黒点は補正前の画素、白点は補正後の画素とする。この場合ずれ量をｈ１、ｈ２、ｈ３とする。従来例では、補正範囲は一定に対して、本発明ではずれ量に応じて、補正制御部により補正範囲をｖ１、ｖ２、ｖ３と算出される。

図６において、ずれ量がｈの場合の補正範囲ｖの算出方法の例である。

但し、αは係数で、

である。補正範囲内にある画素は補正係数ｒにより補正される。

また、図６の例では、補正係数ｒは、前記の補正範囲ｖ、位置ｋおよび係数αを用いて線形的に、

としていたが、必ずしも線形ではなくても良い。

かかる構成によれば、補正制御部はずれ量により補正範囲を可変にすることにより、接合境界付近に急な変化がされずに、違和感なく、自然に画像を合成することができる。

なお、本実施の形態において、定められた角度として９０度を設定したが、必ずしも９０度ではなくても良い。例えば、接合境界が垂直方向に対して所定の角度傾いている場合に、補正方向は第１の画像と第２の画像との接続方向に平行になるように制御し、以降の処理は角度が９０度の場合と同様の処理を行うこととしてもよい。

なお、本実施の形態において、ずれ検出部２では、ずれ情報が与えられた場合は検出を行わずにこの与えられたずれ情報を受け取ることもできる。

なお、ずれ量は近似的にブロック単位で算出するとしたが、画素単位に算出するとしてもよい。

なお、入力するカメラの台数が３以上の場合は、まず、第１の画像と第２の画像を合成する。次に前記の合成された画像と第３の画像を合成する。このように繰り返して行うことにより、３枚以上の複数の画像であっても連続的に合成することができる。

なお、接合方向を横方向（水平方向）として縦方向（垂直方向）の補正範囲を制御することで、本画像合成装置は複数の画像を横方向だけでなく、縦方向にも接合することもできる。

（実施の形態２）
次に本発明の実施の形態２として、接合された画像を補正する際、接合境界の両側の画像を補正する方法を示す。構成は実施の形態１と同様であり省略する。異なる点は補正制御手段５である。

実施の形態１では、接合境界の片側だけを補正するように片側補正制御を行うが、一般的に、画像を見るとき、画像の中心部がよく注目されているため接合境界が目立ちやすい。このように接合境界が合成した画像の中央になる場合、本実施の形態では図７に示すように、接合境界付近の第１の画像と第２の画像とも補正をするように両側補正制御を行う。

図７では、第１の画像と第２の画像の補正レベルを均等にする場合、実施の形態１と比べ、補正レベルが半分となっている。また、第１の画像と第２の画像の両側にずれを広い範囲に伝播することによって、接合境界がより目立たなくなる効果がある。

なお、両側補正を行う場合、接合する第１の画像と第２の画像の特徴により、補正レベルを均等に分配しない制御もできる。例えば、人間の目は低周波数成分には敏感で、高周波数成分には鈍感であることが知られている。この特徴を利用して、フィルタ処理によって画像の周波数成分の特徴を抽出し、高周波数成分を多く含む画像では補正レベルを多く、低周波数成分を多く含む画像では補正レベルを少なくすることで、補正した画像の接合境界が目立たず、画質が向上する効果がある。また、人間の視覚は画像の周波数成分だけでなく、画像の輝度にも同様の特徴がある。輝度の低い画像では、補正レベルを多く、輝度の高い画像では、補正レベルを少なくすることによって前記同様の効果が得られる。さらに、これらを組み合わせることで前記の効果がより発揮することができる。

（実施の形態３）
次に本発明の実施の形態３として、入力される画像の数に応じて補正制御を行う方法を示す。構成は実施の形態１と同様であり省略する。

図８では、複数の画像を合成する場合、前記の実施の形態２で述べたようにパノラマ画像の中央部分が重要であるため、中央の画像は補正せず、左右の画像だけに片側補正を行うことにより、画質を落とさずに合成できる効果がある。

また、図９に示すように、画像１と、画像３とを補正せずに、画像２の左端及び右端に片側補正を行うことで、メモリの使用量および演算量の軽減ができ、性能の低いシステムでも高速に画像合成することができる。

なお、複数の入力画像の特徴の違いが少ない場合、図１０、図１１、図１２のように同様の補正制御することで、合成した画像のバランスがよく取れ、演算量の削減の効果がある。

なお、複数の入力画像が図１３のような２次元配置の場合、まず一方向に合成してからもう一方向に合成することで、高解像度のパノラマを合成することができる。図１３では、まず画像１と画像２と画像３とを第１の組として横方向に合成する。同様に画像４と画像５と画像６とを第２の組として合成する。次に第１の組と第２の組とを縦方向に合成する。しかし、この時に、合成画像の境界にひずみが発生する可能性がある。この問題を解決するために、画像４と画像５と画像６とを合成するときの補正方法を、画像１と画像２と画像３とを合成する時の補正方法と同じように制御する必要がある。

尚、上記説明の各実施の形態では、複数のカメラからの画像を入力するとしたが、１台のカメラを用いて複数の画像を入力することとしても良い。

（その他変形例）
なお、本発明を上記実施の形態及び変形例に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び変形例を組み合わせることとしても良い。

本発明にかかる画像合成装置およびその方法は、接合境界付近を補正することで違和感なく、自然な合成画像を生成できるという特徴を有し、複数の画像合成、パノラマ画像生成等の用途にも適用できる。

本発明の実施の形態１における画像合成装置のブロック図 本発明の実施の形態１における画像合成装置のフローチャート （ａ）同実施の形態のマッチング方法を示す図（ｂ）同実施の形態の接合境界を決定する方法を示す図（ｃ）同実施の形態の接合方法を示す図 同実施の形態のずれ量の計算方法を示す図 同実施の形態の片側補正を示す図 同実施の形態の補正範囲決定方法を示す図 本発明の実施の形態２における両側補正を示す図 本発明の実施の形態３における左右画像のみ補正を示す図 同実施の形態における中央画像のみ補正を示す図 同実施の形態における同様補正の例を示す図 同実施の形態における同様補正の例を示す図 同実施の形態における同様補正の例を示す図 同実施の形態における２次元合成の例を示す図 従来の画像合成装置のブロック図 従来の画像合成装置のずれ補正方法を示す図

符号の説明

１ 画像入力部
２ ずれ検出部
３ パラメータ設定部
４ 補正処理部
５ 補正制御部

Claims (6)

1. 第１の画像と第２の画像を入力する画像入力手段と、
   前記第１の画像と前記第２の画像との接合境界のずれを検出する検出手段と、
   前記検出手段で検出したずれ量に応じて、接合境界方向と異なる方向の補正範囲を決定する補正制御手段と、
   前記補正範囲に従って、第１の画像と第２の画像との接合面のずれを補正する補正手段とを備えた画像合成装置。
2. 前記接合境界は、前記第１の画像と前記第２の画像とで対応する点を通過する所定方向に決定され、前記補正範囲は前記所定方向に対して鉛直の角度をなす方向の大きさとして決定されること、を特徴とする請求項１記載の画像合成装置。
3. 前記補正手段は、接合境界付近の第１の画像のみ補正、または第２の画像のみ補正、または両者の補正を行うことを特徴とする請求項１記載の画像合成装置。
4. 第１の画像と第２の画像を入力する画像入力ステップと、
   前記の第１の画像と第２の画像との接合境界のずれを検出する検出ステップと、
   前記検出ステップで検出したずれ量、または与えられたずれ量に応じて、接合境界とある定められた角度との交わる方向の補正範囲を決定する補正制御ステップと、
   前記補正範囲に従って、第１の画像と第２の画像との接合面のずれを補正する補正ステップとを備えた画像合成方法。
5. 所定の方向に連続して撮像された第１の画像と第２の画像とを入力するステップと、
   前記第１の画像と前記第２の画像との最も相関が高い位置を探索するステップと、
   探索された位置において、前記第１の画像と前記第２の画像の接合境界を決定するステップと
   接合境界において前記第１の画像と前記第２の画像とが対応する点をブロック毎に抽出するステップと、
   前記対応する点の前記第１の画像上の位置と、前記対応する点の前記第２の画像上の位置との前記所定方向の距離であるずれ量を算出するステップと、
   算出されたずれ量に基づいて、前記所定の方向とは異なる方向の補正範囲を決定するステップと、
   決定された補正範囲に基づいて、前記第１の画像を補正するステップと、
   補正された前記第１の画像と前記第２の画像とを接合境界において接合するステップと、
   を含む画像合成方法。
6. コンピュータに、
   所定の方向に連続して撮像された第１の画像と第２の画像とを入力するステップと、
   前記第１の画像と前記第２の画像との最も相関が高い位置を探索するステップと、
   探索された位置において、前記第１の画像と前記第２の画像の接合境界を決定するステップと
   接合境界において前記第１の画像と前記第２の画像とが対応する点をブロック毎に抽出するステップと、
   前記対応する点の前記第１の画像上の位置と、前記対応する点の前記第２の画像上の位置との前記所定方向の距離であるずれ量を算出するステップと、
   算出されたずれ量に基づいて、前記所定の方向とは異なる方向の補正範囲を決定するステップと、
   決定された補正範囲に基づいて、前記第１の画像を補正するステップと、
   補正された前記第１の画像と前記第２の画像とを接合境界において接合するステップと、
   を実行させるためのプログラム。