JP2019092156A - 重なり合う視界を有する第１の画像と第２の画像とを合成するための方法、デバイス、およびカメラ - Google Patents

Abstract

【課題】重なり合う視界を有する第１の画像と第２の画像とを合成するための方法を提供すること。【解決手段】第１および第２の画像は合成領域において合成される。合成領域の幅は、第１の画像をキャプチャするときに使用された第１のセットのカメラパラメータと、第２の画像をキャプチャするときに使用された第２のセットのカメラパラメータとの間の類似性に基づいて、その類似性の増大に伴って幅が減少するように選択される。【選択図】図４ｂ

Description

本発明は、画像の合成の分野に関するものである。具体的には、重なり合う視界を有する第１の画像と第２の画像とを合成するための方法、デバイス、およびカメラに関するものである。

今日では、個々の画像を組み合わされた視界に対応する視界を有するパノラマ画像を生成するために、重なり合う視界を有するいくつかの画像をキャプチャし、それらの画像を繋ぎ合わせることが一般的となっている。たとえば、複数の画像を同時にキャプチャし、それらの画像を互いに繋ぎ合わせてパノラマ画像を提示するために、マルチセンサカメラが用いられてもよい。

画像ステッチングは一般に、重なり合う視界を有する複数の画像を結合するプロセスである。ステッチングプロセスは、いくつかのプロセス段階に分割されてもよい。最初に、画像は、変換されて整合する視点を有するように位置合わせされる。たとえば、２枚の画像が繋ぎ合わされる場合、それらの画像のうちの一方は、それらの画像のうちのもう一方の視点と整合するように変換されてもよい。次いでこの位置合わせ段階に合成段階が続き、この合成段階においては、複数の画像の画像データが、たとえば画像データの直線結合を形成することによって、画像の重なり合いとして結合される。合成の目的は、ユーザが繋ぎ合わされた画像を単一の画像として体感するように、画像同士の間の遷移をより平滑にすることである。

ステッチングプロセスの合成段階は一般に、画像同士の間に大きな重なり合いが合成される場合には特に、計算量の多いものとなる。したがって、改善の余地が存在する。

上記に鑑みると、本発明の目的はしたがって、重なり合う視界を有する第１の画像と第２の画像とを合成する計算効率のよい方式を提供することである。

本発明の第１の態様によれば、上記の目的は、重なり合う視界を有する第１の画像と第２の画像とを合成するための方法であって、
第１の画像および第１の画像をキャプチャするときに使用された第１のセットのカメラパラメータと、第２の画像および第２の画像をキャプチャするときに用いられた第２のセットのカメラパラメータとを受信することであって、
第１の画像と第２の画像は、第１の画像と第２の画像との重なり合い領域においては重なり合い、第１の画像および第２の画像の各々の非重なり合い領域においては重なり合わない視界を有し、
重なり合い領域は、第１の画像の非重なり合い領域には隣接するが、第２の画像の非重なり合い領域には隣接しない第１の部分と、第２の画像の非重なり合い領域には隣接するが、第１の画像の非重なり合い領域には隣接しない第２の部分とを有することと、
第１の部分と第２の部分との間の境界からの距離よりも近い、重なり合い領域内のピクセルとして合成領域を選択することであって、その距離は、類似性の増大に伴ってその距離が減少するように、第１のセットのカメラパラメータと第２のセットのカメラパラメータとの間の類似性に基づいて選択されることと、
第１の画像と第２の画像とを合成領域において合成することと、を含む方法によって達成される。

提案する方法は、２つの重なり合う画像が大いに異なるときには、平滑な遷移を達成するために、重なり合いの大部分においてもしくは全体において、画像を合成することが必要となるのに対し、２つの画像が類似している場合には、画像は重なり合いのうちのより小さな部分において合成されるか、もしくはいかなる部分においても全く合成されないが平滑な遷移は達成され得るという実現を利用したものである。重なり合いのうちの画像が合成される部分のサイズを類似性に基づいて変更することにより、画像はこのようにして、重なり合いのうちの、平滑な遷移を与えることが要求される部分においてのみ合成される。このように、合成は最小限に保たれ、計算資源が保存される。たとえば、重なり合い領域のうちのより小さな部分における合成でも画像間の平滑な遷移をもたらすのに十分であるときは、重なり合い領域の全体における合成に処理電力は費やされない。

さらに、画像間の類似性を測定する計算効率のよい方式は、画像をキャプチャするときに使用されたカメラパラメータを比較することであることが認識されている。たとえば、ウィンドウが第１の画像の視界にはあるが、第２の画像にはなく、画像内の光の量の差が引き起こされると仮定する。画像間のそのような差は、ゲインおよびシャッタースピードの値などのカメラパラメータから発見され得る。たとえば、第１の画像をキャプチャするイメージセンサは、第２の画像をキャプチャするイメージセンサとは異なる光量レベルを感知し、それによってカメラパラメータを別々に選択することになる。画像データ自体を評価する代わりに、カメラパラメータの類似性に基づいて画像間の類似性を判断することにより、さらなる計算資源が保存され得る。たとえば、カメラパラメータを比較することは、１つまたは少数の差を計算することなど、少数の所与の数値を比較することしか伴わないのに対し、画像データに基づいて類似性を評価することは、強度データの平均値またはヒストグラムを評価することなど、より複雑な計算につながる。

第１の画像と第２の画像とを合成することは一般に、第１の画像の画像データと第２の画像の画像データとを結合することを意味する。

第１の画像と第２の画像が重なり合う視界を有することは、シーンの同じ部分を描写するピクセルが第１および第２の画像内に存在する、すなわちそれらのピクセルが重なり合い領域内に存在することを意味する。

第１のセットのカメラパラメータと第２のセットのカメラパラメータとの間の類似性は、第１のセットのカメラパラメータの値と、対応する第２のセットのカメラパラメータの値との間の類似性を意味する。類似性は、たとえば、それらの値の間の差を計算することによって測定されてもよい。

一般に、カメラ内における画像処理の間、様々なタイプのメタデータを画像に提供することが知られている。しかしながら、それらの画像は通常、処理の最初に、すなわちイメージセンサを去るときに既に存在するメタデータを提供されない。本発明の目的のために、カメラパラメータをメタデータとして提供すると効率的となり得ることが判明している。より正確に言えば、第１のセットのカメラパラメータは第１の画像に関連付けられるメタデータとして受信されてもよく、第２のセットのカメラパラメータは第２の画像に関連付けられるメタデータとして受信されてもよい。このように、画像に関連付けられるカメラパラメータが画像と共に容易に入手可能となり、別々に受信される必要はない。

第１および第２のセットのカメラパラメータはそれぞれ、１つ以上のカメラパラメータを含んでもよい。シャッタースピード、ゲイン、およびホワイトバランスのうちの１つなど、１つのカメラパラメータでも本発明の目的には十分となり得るが、複数のカメラパラメータが使用される場合には結果がさらに改善されることが判明している。

１つ以上のカメラパラメータは、第１および第２の画像における輝度レベルに関するものであってもよい。人間の目は画像内の輝度レベルに対して特に敏感であるので、そのようなカメラパラメータを画像の類似性の尺度として使用することが有利となる。輝度レベルが同等である場合、画像は人間である観測者によって、同等であると知覚されることになる。一例として、第１および第２のセットのカメラパラメータは、シャッタースピードおよびゲインの少なくとも一方を含んでもよい。このようにして、シャッタースピードまたはゲインは、単独で用いられても、組合せで用いられてもよい。周知のように、シャッタースピードは画像内の露光を制御するものであり、したがって画像の輝度レベルだけでなく、動きのぼやけにも影響を与える。さらに、ゲインは、画像内の光のレベルを調節するものであるが、画像内のノイズにも影響を与える。したがって、シャッタースピードとゲインの両方が、画像内の輝度レベルに関連付けられる。

１つ以上のカメラパラメータはさらに、画像内におけるカラーバランスに関連付けられてもよい。具体的に言えば、第１および第２のセットのカメラパラメータはホワイトバランスを含んでもよい。カメラパラメータのホワイトバランスは単独で使用されてもよいが、好ましくは、画像の光量レベルに関連するカメラパラメータを補足するものとして使用される。

重なり合い領域においては、第１の画像の非重なり合い領域には隣接するが、第２の画像の非重なり合い領域には隣接しない、重なり合い領域のうちの第１の部分と、第２の画像の非重なり合い領域には隣接するが、第１の画像の非重なり合い領域には隣接しない、重なり合い領域のうちの第２の部分との間に境界が画定される。境界はこのようにして、重なり合い領域を第１の部分と第２の部分とに分割する。上記で説明したように、合成は、境界の周りの領域、いわゆる合成領域でのみ遂行される。境界の周りの領域は、重なり合い領域内にある、境界からの距離よりも近いピクセルとして定義されてもよい。

境界は異なる形状を取り得る。たとえば、境界は直線であってもよい。直線はしたがって、重なり合い領域を２つの部分に分割してもよい。この結果、重なり合い領域を２つの部分に分割する簡潔で、それでいて効率的な方式が得られる。しかしながら、境界がそれに代わって曲線状の形状を有する実施形態もまた予想され得る。

いくつかの実施形態では、境界は事前定義され、そのため、重なり合い領域において所与の位置を有する。たとえば、境界は、重なり合い領域の中央に位置するように事前定義されてもよい。したがって、重なり合い領域の第１の部分と第２の部分は同じサイズを有してもよい。このように、合成は重なり合い領域の中央で遂行されるが、このことは合理的であり、多くの用途に対して良好な結果をもたらす。

しかしながら、合成領域のサイズを動的に調節することが可能であるだけでなく、重なり合い領域内における合成領域の位置を動的に調節することが可能であることが好まれる状況もあり得る。このことを達成するために、本方法はさらに、重なり合い領域における境界の位置を選択することを含んでもよい。

このことが関心の対象となる状況の一例はデジタルズームに関するものであり、具体的に言えば、第１および第２の画像の一部分が、組み合わされると、デジタルにズームインされるときである。より詳細には、本方法はさらに、
第１および第２の画像のうちのデジタルにズームインされる部分にズームウィンドウが対応していることを示すデータを受信することを含み、
合成領域を選択するステップはさらに、第１および第２の画像に対するズームウィンドウのサイズおよび位置の少なくとも一方に基づいて、重なり合い領域における境界の位置を選択することを含む。

このように、たとえば、ズームインされる関心の対象となるアイテムがおそらくは存在する、結合された画像の中央またはズームウィンドウの中央に合成領域を有することを回避してもよい。

したがって、境界の位置は、ズームウィンドウが第１および第２の画像に対してどれほど大きいか、すなわちズームのレベル、ならびに、ズームウィンドウが第１および第２の画像に対してどのように位置決めされるか、たとえば、ズームウィンドウが第１の画像または第２の画像の大部分をカバーするか否かに基づいて選択されてもよい。したがって、第１および第２の画像に対するズームウィンドウの相対的な重なり合いに応じて境界の位置を選択することが可能となる。より具体的に言えば、本方法はさらに、
ズームウィンドウと第１の画像の非重なり合い部分との第１の一致面積と、ズームウィンドウと第２の画像の非重なり合い部分との第２の一致面積とを計算することを含んでもよく、
境界の位置は、第１の一致面積が第２の一致面積よりも大きい場合には、重なり合い領域の第１の部分が重なり合い領域の第２の部分よりも大きく、第１の一致面積が第２の一致面積よりも小さい場合には、重なり合い領域の第１の部分が重なり合い領域の第２の部分よりも小さくなるように選択される。

この装置構成を用いると、合成領域は、ズームウィンドウ内に有する部分がより小さい画像の非重なり合い領域に向かってシフトされる。このことは、ズームウィンドウが第１および第２の画像の重なり合い領域の全体にわたってパンされる用途において有利となり得る。ズームウィンドウが、たとえば、第１の画像の非重なり合い部分から第２の画像の非重なり合い部分に向かう方向に重なり合い領域の全体にわたってパンするとき、境界は反対方向に平滑に移動し、それによって平滑な遷移をズームウィンドウのパンに与える。たとえば、重なり合い領域における境界の位置は、重なり合い領域の第１の部分の面積と重なり合い領域の第２の部分の面積との関係が、第１の一致面積と第２の一致面積との間の関係に等しくなるように選択されてもよい。

上記によれば、境界からの距離として表現される合成領域のサイズは、カメラパラメータの類似性に基づいて選択される。これが第１の画像および第２の画像の一部分へのズームインとさらに組み合わされる場合、組み合わされるときには、合成領域のさらなる調節が遂行されなければならない可能性がある。ズームはまた合成領域のズームインを引き起こすことになるので、合成領域のサイズは好ましくは、ズームレベルの増大に伴って低減される。より詳細には、距離はさらに、第１および第２の画像に対するズームウィンドウのサイズおよび位置の少なくとも一方に基づいて選択されてもよい。

本方法は、
パノラマ画像のうちの、第１の画像の非重なり合い部分に対応する部分、および合成領域の外側の重なり合い領域の第１の部分に対応する部分においては第１の画像からの画像データを使用し、
パノラマ画像のうちの、第２の画像の非重なり合い部分に対応する部分、および合成領域の外側の重なり合い領域の第２の部分に対応する部分においては第２の画像からの画像データを使用し、
パノラマ画像のうちの合成領域に対応する部分においては合成画像データを使用することによって、第１および第２の画像からパノラマ画像を生成することをさらに含んでもよい。

このように、合成された画像データが合成領域においてのみ使用されるパノラマ画像が生成される。

第１の画像および第２の画像は、異なるイメージセンサを使用することによって同時にキャプチャされてもよい。したがって、提案する方法は有利には、マルチセンサカメラにおいて使用されてもよい。

本発明の第２の態様によれば、上記の目的は、重なり合う視界を有する第１の画像と第２の画像とを合成するためのデバイスであって、
第１の画像および第１の画像をキャプチャするときに使用された第１のセットのカメラパラメータと、第２の画像および第２の画像をキャプチャするときに用いられた第２のセットのカメラパラメータとを受信するように構成された受信機であって、
第１の画像と第２の画像は、第１の画像と第２の画像との重なり合い領域においては重なり合い、第１の画像および第２の画像の各々の非重なり合い領域においては重なり合わない視界を有し、
重なり合い領域は、第１の画像の非重なり合い領域には隣接するが、第２の画像の非重なり合い領域には隣接しない第１の部分と、第２の画像の非重なり合い領域には隣接するが、第１の画像の非重なり合い領域には隣接しない第２の部分とを有する受信機と、
第１の部分と第２の部分との間の境界からの距離よりも近い、重なり合い領域内のピクセルとして合成領域を選択するように構成された選択構成要素であって、その距離は、類似性の増大に伴ってその距離が減少するように、第１のセットのパラメータと第２のセットのカメラとの間の類似性に基づいて選択される選択構成要素と、
第１の画像と前記第２の画像とを合成領域において合成するように構成された合成構成要素と、を備えるデバイスによって達成される。

第３の態様によれば、上記の目的は、第２の態様のデバイスを含んだカメラによって達成され、そのカメラは、第１のセットのカメラパラメータを使用して第１の画像をキャプチャし、第２のセットのカメラパラメータを使用して第２の画像をキャプチャするように装置されたものである。

第４の態様によれば、上記の目的は、コンピュータコード命令を記憶し（非一時的）コンピュータ可読媒体を備えたコンピュータプログラム製品によって達成され、そのコンピュータコード命令は、処理能力を有するデバイスによって実行されると、第１の態様の方法を遂行するように適合されたものである。

第２の態様、第３および第４の態様は概して、第１の態様と同じ特徴および利点を有し得る。本発明は、特に明記しない限り、各特徴の考えられるすべての組合せに関するものであることにさらに留意されたい。

本発明の上記のならびに他の目的、特徴および利点が、添付の図面を参照しながら、本発明の実施形態の以下の例示的かつ非限定的な詳細な説明によって、より良く理解されよう。同じ参照符号が同様の要素に対して使用されることになる。

実施形態が実装され得るシステムを示している。 実施形態による合成デバイスの内部構成要素を示している。 実施形態による、重なり合う視界を有する第１の画像と第２の画像とを合成するための方法の流れ図である。 実施形態による、重なり合う視界を有する第１の画像および第２の画像を示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像を示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像を示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像を示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像、ならびにズームウィンドウを示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像、ならびにズームウィンドウを示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像、ならびにズームウィンドウを示している。 実施形態による、重なり合う視界を有する第１の画像および第２の画像、ならびにズームウィンドウを示している。

本発明について、これから、本発明の実施形態を示す添付の図面を参照して以下により詳細に説明することにする。本明細書で開示するシステムおよびデバイスについては、動作中の状態として説明することにする。

図１は、実施形態が実装され得るシステム１００を示している。システム１００は、１つ以上のイメージセンサ１０２とステッチングモジュール１０４とを備える。次に、ステッチングモジュール１０４は、位置合わせデバイス１０６と合成デバイス１０８とを備える。システム１００はカメラに含められてもよい。代替的に、１つ以上のイメージセンサ１０２がカメラに含められてもよく、ステッチングモジュール１０４は、ネットワークを介してカメラと通信するクライアントデバイス内など、カメラから離れて配置されてもよい。各実施形態はまた、１つ以上のイメージセンサがワイヤによって制御ユニットに接続されるモジューラカメラシステムにおいて使用されてもよい。そのようなシステムでは、ステッチングモジュールは制御ユニットに含められてもよい。

１つ以上のイメージセンサ１０２は、本明細書では第１のイメージセンサ１０２ａおよび第２のイメージセンサ１０２ｂとして示されており、第１の画像１１０ａおよび第２の画像１１０ｂをキャプチャするように装置されている。たとえば、第１のイメージセンサ１０２ａおよび第２のイメージセンサ１０２ｂは、それぞれ第１の画像１１０ａと第２の画像１１０ｂを同時にキャプチャするように装置されてもよい。代替的に、第１の画像１１０ａおよび第２の画像１１０ｂは、１つ以上のイメージセンサ１０２によって逐次的にキャプチャされてもよい。第１の画像１１０ａおよび第２の画像１１０ｂは、重なり合うが同一ではない視界を有している。

１つ以上のイメージセンサ１０２は、第１の画像１１０ａおよび第２の画像１１０ｂをキャプチャするときにカメラパラメータを使用する。カメラパラメータには、たとえば、シャッタースピード、ゲイン、ホワイトバランスが含まれてよい。使用されるカメラパラメータは通常、カメラが、たとえば自動露光アルゴリズムを適用することによって、自動的に設定される。

１つ以上のイメージセンサ１０２は、第１の画像１１０ａおよび第２の画像１１０ｂをステッチングモジュール１０４に転送するように構成されている。代替的に、１つ以上のイメージセンサ１０２は、第１の画像１１０ａと関連付けられる第１のセットのカメラパラメータ１１２ａ、および第２の画像１１０ｂと関連付けられる第２のセットのカメラパラメータ１１２ｂを転送するように構成される。第１のセット１１２ａのカメラパラメータおよび第２のセット１１２ｂのカメラパラメータは、それぞれ第１の画像１１０ａおよび第２の画像１１０ｂをキャプチャするときに１つ以上のイメージセンサ１０２によって使用されるカメラパラメータのうちの１つ以上を含んでいる。一例として、第１および第２のセットのカメラパラメータ１１２ａ、１１２ｂはそれぞれ、シャッタースピード、ゲイン、およびホワイトバランスのうちの１つ以上を含んでもよい。好ましくは、第１および第２のセットのカメラパラメータ１１２ａ、１１２ｂはそれぞれ、少なくともシャッタースピードとゲインとを含む。

第１および第２のセットのカメラパラメータ１１２ａ、１１２ｂは、第１の画像１１０ａおよび第２の画像１１０ｂとは別に転送されてもよい。しかしながら、例示的な実施形態によれば、第１および第２のセットのカメラパラメータ１１２ａ、１１２ｂは、メタデータの形式で、それぞれ第１および第２の画像１１０ａ、１１０ｂと共に転送されてもよい。

位置合わせデバイス１０６は、第１の画像１１０ａと第２の画像１１０ｂとを位置合わせさせるように装置されている。この位置合わせは、とりわけ、バレル補正を実行すること、画像を回転させること、および、たとえば球形または円柱形への第１の画像１１０ａおよび第２の画像１１０ｂの投影を実行することを含んでもよい。後者は、第１および第２のイメージセンサ１０２ａ、１０２ｂが同じ位置に取り付けられていない、すなわち、シーンが異なる視点から描写されるという事実を補償するためになされるものである。これは、投影を実行し、それによってフレームが同じ視点からキャプチャされているという印象を観覧者に与えることによって補正されてもよい。適用する特定の位置合わせは通常、イメージセンサ１０２の初期較正の後にイメージセンサ１０２によってキャプチャされた各画像に対して同じである。このようにして、位置合わせは、カメラのイメージセンサ１０２の較正からのパラメータを基にしてなされてもよい。位置合わせ後の第１および第２の画像がそれぞれ、アイテム１１４ａおよび１１４ｂとして示されている。

位置合わせ後、第１および第２の画像１１４ａ、１１４ｂ、ならびに第１および第２のセットのカメラパラメータ１１２ａ、１１２ｂは、第１の画像１１４ａと第２の画像１１４ｂとを合成するように装置された合成デバイス１０８に転送される。最後に、合成デバイス１０８は、第１の画像１１４ａと第２の画像１１４ｂとの結合であるパノラマ画像１１６を出力してもよい。

合成デバイス１０８は図２により詳細に示されている。合成デバイス１０８は、受信機２０２と、選択構成要素２０４と、合成構成要素２０６とを含んでいる。

一般に、合成デバイス１０８は、構成要素２０２、２０４、２０６を、より具体的にはそれらの機能性を実装するように構成された回路を備えてもよい。

ハードウェア実装では、構成要素２０２、２０４、２０６の各々は、専用のものであり、かつ構成要素の機能を提供するように特定的に設計された回路に対応してもよい。この回路は、１つ以上の特定用途向け集積回路など、１つ以上の集積回路の形態をなしてもよい。一例として、合成構成要素２０６はこのようにして、使用中に第１の画像１１４ａと第２の画像１１４ｂとを合成する回路を備えてもよい。

ソフトウェア実装では、回路はそれに代わって、不揮発性メモリなどの（非一時的）コンピュータ可読媒体上に記憶されたコンピュータコード命令と関連付いて、本明細書で開示される任意の方法を合成デバイス１０８に遂行させる、１つ以上のマイクロプロセッサなどの１つ以上のプロセッサの形態をなしてもよい。その場合、構成要素２０２、２０４、２０６はこのようにして、プロセッサによって実行されると構成要素の機能を合成デバイス１０８に遂行させる、コンピュータ可読媒体上に記憶されたコンピュータコード命令の一部分にそれぞれ対応してもよい。

ハードウェア実装とソフトウェア実装との組合せを有することもまた可能であり、すなわち、構成要素２０２、２０４、２０６のうちのいくつかの構成要素の機能はハードウェアに、その他はソフトウェアに実装されることを理解されたい。

回路（ハードウェアおよび／またはソフトウェア）の面から合成デバイス１０８の実装に関して上記で述べたことは、必要な変更を加えて位置合わせデバイス１０８にも当てはまる。

合成デバイスの動作について、これから、図３の流れ図、ならびに図２、４ａ〜４ｂ、５ａ〜５ｂ、６ａ〜６ｂ、および７ａ〜７ｂを参照して説明することにする。

ステップＳ０２において、受信機２０２は、第１の画像１１４ａと、第２の画像１１４ｂと、第１のセットのカメラパラメータ１１２ａと、第２のセットのカメラパラメータ１１２ｂとを受信する。第１のセットのカメラパラメータ１１２ａは第１の画像１１４ａのメタデータとして提供されてもよく、第２のセットのカメラパラメータ１１２ｂは第２の画像１１４ｂのメタデータとして提供されてもよい。上記で説明したように、受信機２０２によって受信された第１の画像および第２の画像１１４ａ、１１４ｂは互いに位置合わせされる。

図４ａは、第１の画像１１４ａおよび第２の画像１１４ｂを示している。第１の画像１１４ａと第２の画像１１４ｂは、重なり合う視界を有している。具体的に言えば、第１の画像１１４ａと第２の画像１１４ｂは、重なり合い領域４０２において重なり合い、第１の画像１１４ａの非重なり合い領域４０４ａにおいて、また第２の画像１１４ｂの非重なり合い領域４０４ｂにおいては重なり合わない視界を有する。重なり合い領域４０２は、第１の画像１１４ａの非重なり合い領域４０４ａには隣接するが、第２の画像１１４ｂの非重なり合い領域４０４ｂには隣接しない第１の部分４０２ａと、第２の画像１１４ｂの非重なり合い部分４０４ｂには隣接するが、第１の画像１１４ａの非重なり合い領域４０４ａには隣接しない第２の部分４０２ｂと、をさらに有している。第１および第２の部分４０２ａ、４０２ｂもまた、互いに隣接している。具体的に言えば、第１の部分４０２ａと第２の部分４０２ｂとの間に規定された境界４０６が存在する。図４ａに示すように、境界４０６は直線であってもよいが、他の実施形態では、曲線などの他の形状を有してもよい。さらに、図４ａに示すように、境界４０６は、重なり合い領域４０２を等面積の２つの部分に分割してもよく、すなわち、第１および第２の部分４０２ａ、４０２ｂは同じ大きさを有してもよい。

図５ａは、第１および第２の画像１１４ａ、１１４ｂが水平方向に位置合わせされない別の実施形態を示している。しかしながら、その実施形態においても、画像が重なり合う重なり合い領域５０２が存在し、第１および第２の画像１１４ａ、１１４ｂの各々は、第１および第２の画像１１４ａ、１１４ｂの他方と重なり合わない非重なり合い領域５０４ａを有している。ここでも、重なり合い領域５０２は、第１の画像１１４ａの非重なり合い領域４０４ａには隣接するが、第２の画像１１４ｂの非重なり合い領域には隣接しない第１の部分５０２ａと、第２の画像１１４ｂの非重なり合い領域５０４ｂには隣接するが、第１の画像１１４ａの非重なり合い領域には隣接しない第２の部分５０２ｂと、を有している。重なり合い領域５０２の境界５０６は、ここでは直線の形態をなしており、重なり合い領域５０２を第１の部分５０２ａと第２の部分５０２ｂとに分割している。

ステップＳ０４では、選択構成要素２０４が進行して、図４ｂおよび５ｂにさらに示すように、合成領域４０８、５０８を選択する。合成領域４０８、５０８は、重なり合い領域４０２、５０２のサブセットである。より具体的に言えば、選択構成要素２０４は、重なり合い領域４０２、５０２内にある、境界４０６、５０６からの距離ｄよりも近いピクセルを含むように合成領域４０８、５０８を選択する。合成領域４０８、５０８はこのようにして、境界４０６、５０６に沿って延び、距離ｄの２倍に対応する幅を有している。選択構成要素２０４は、第１のセットのカメラパラメータ１１２ａと第２のセットのカメラパラメータ１１２ｂとの間の類似性に基づいて合成領域４０８、５０８のサイズ、すなわち面積を設定する。カメラパラメータ１１２ａとカメラパラメータ１１２ｂの間の類似性が高くなるほど、合成領域４０８、５０８のサイズは小さくなる。合成領域４０８、５０８のサイズを設定するために、選択構成要素２０４は、たとえば、距離ｄが類似性の増大と共に減少するように、境界４０６、５０６からの距離ｄを設定することによって、合成領域４０８、５０８の幅を設定してもよい。

選択構成要素２０４は、第１のセットおよび第２のセットのカメラパラメータ１１２ａ、１１２ｂの対応するパラメータを比較することによって、第１のセットのカメラパラメータ１１２ａと第２のセットのカメラパラメータ１１２ｂとの間の類似性を評価してもよい。たとえば、選択構成要素２０４は、第１のセットおよび第２のセット１１２ａ、１１２ｂの対応するパラメータの間の差を計算してもよい。１つのカメラパラメータのみが使用される場合、そのように計算された差は類似性の尺度として使用されてもよい。複数のカメラパラメータが使用される場合、計算された差は、たとえば、差の絶対値の加重和、二乗差の加重和を計算することによって、または、差を組合せて単一の値にするのに適した任意の他の関数を差に適用することによって、単一の値へと組み合わされてもよい。選択構成要素２０４は次いで、たとえば、その目的で選択構成要素２０４によって記憶された既定の関数または表を使用することによって、そのように計算された類似性の尺度を合成領域４０８の幅（または距離ｄ）の適切な値にマッピングしてもよい。たとえば、その既定の関数は、類似性の尺度が第１のしきい値未満である（距離ｄの２倍が重なり合い領域４０２の幅に等しい）ときには、合成領域４０８が重なり合い領域４０２の全体をカバーし、類似性の尺度が第２のしきい値を超えるときには、合成領域４０８が空となり（距離ｄがゼロとなり）、類似性の尺度が大きくなると、距離ｄがこれらの２つの極値の間で（直線などの）単調減少関数に従って変動するように、類似性の尺度を距離ｄにマッピングしてもよい。

図４ａ〜４ｂおよび図５ａ〜５ｂの例では、境界４０６、５０６は、重なり合い領域４０２、５０２を等しいサイズの２つの部分４０２ａ、４０２ｂ、５０２ａ、５０２ｂに分割するように、既定されたものであり、重なり合い領域４０２、５０２の中央に配置されると想定されている。しかしながら、いくつかの実施形態では、合成領域４０８、５０８を選択するとき、選択構成要素２０４はまた、重なり合い領域における境界４０６、５０６の位置を選択してもよい。

図６ａ〜６ｂおよび図７ａ〜７ｂは、そのような実施形態の例を示しており、ここで、選択構成要素２０４は、第１および第２の画像１１４ａ、１１４ｂに対するズームウィンドウ６１０、７１０のサイズおよび位置の少なくとも一方に基づいて、重なり合い領域４０２、５０２における境界４０６、５０６の位置を選択する。

選択構成要素２０４は、第１の画像１１４ａおよび第２の画像１１４ｂのうちのズームインされるべき部分に対応するズームウィンドウ６１０、７１０を示すデータを受信してもよい。受信したデータから、選択構成要素２０４は、ズームウィンドウ６１０、７１０のサイズおよび位置の少なくとも一方を第１および第２の画像１１４ａ、１１４ｂに、すなわち、第１および第２の画像１１４ａ、１１４ｂの結合された視界に関連させてもよい。たとえば、選択構成要素２０４は、ズームウィンドウ６１０、７１０が第１の画像１１４ａの非重なり合い部分４０４ａ、５０４ａと一致する、すなわち重なり合う面積である第１の一致面積と、ズームウィンドウ６１０が第２の画像１１４ｂの非重なり合い部分４０４ｂ、５０４ｂと一致する、すなわち重なり合う面積である第２の一致面積とを計算してもよい。境界４０６、５０６の位置は次いで、ズームウィンドウ６１０、７１０のサイズおよび形状の少なくとも一方との関係を基にして選択されてもよい。より具体的に言えば、境界４０６の位置は、第１の一致面積が図６ａおよび７ａに示すように第２の一致面積よりも大きい場合、重なり合い領域４０２の第１の部分４０２ａが重なり合い領域４０２の第２の部分４０２ｂよりも大きくなるように選択されてもよく、また図６ｂおよび７ｂに示すようにその逆も同様である。特に、境界４０６、５０６の位置は、重なり合い領域４０２、５０２の第１の部分４０２a、５０２ａの面積と第２の部分４０２ｂ、５０２ｂとの関係が、第１の一致面積と第２の一致面積との間の関係に等しくなるように選択されてもよい。したがって、ズームウィンドウ６１０が図６ａに示すように、たとえば、図６ｂに示すズームウィンドウの位置へと右に移動するとき、第２の一致面積は第１の一致面積に対して増加し、それによって、第２の部分４０２ｂは第１の部分４０２ａに対して増加することになり、すなわち、境界４０６は、たとえば、図６ｂに示す境界４０６の位置へと左に移動する。さらに、ズームウィンドウ７１０が図７ａに示すように、たとえば図７ｂに示すズームウィンドウの位置へと対角線上を下向きに移動するとき、第２の一致面積は第１の一致面積に対して増加し、それによって、第２の部分５０２ｂは第１の部分５０２ａに対して増加することになり、すなわち、境界５０６は、たとえば、図７ｂに示す境界５０６の位置へと対角線上を上向きに移動する。

上記で議論したように、合成領域４０８、５０８のサイズはこのようにして、類似性に基づいて選択される。追加的に、重なり合い領域４０２における合成領域４０８、５０８の位置は、たとえば、ズームウィンドウのサイズおよび／または位置に基づいて選択されてもよい。ズーミングに関する実施形態では、合成領域４０８、５０８のサイズはさらに、第１および第２の画像１１４ａ、１１４ｂに対するズームウィンドウ６１０、７１０のサイズおよび位置の少なくとも一方に基づいて選択または調節されてもよい。たとえば、ズームはまた、合成領域４０８、５０８のズームインを引き起こすことになるため、合成領域４０８、５０８のサイズは好ましくは、ズームレベルの増大に伴って、すなわち、第１および第２の画像１１４ａ、１１４ｂの結合された視界のサイズに対してズームウィンドウのサイズが減少するように低減される。

さらに、ズームウィンドウ６１０、７１０の第１の画像との重なり合いが第２の画像との重なり合いよりも大きい（またはその逆）、すなわち図６ａおよび７ａのような場合、２つの画像が異なるカメラパラメータを有するにもかかわらず、合成領域４０８、５０８のサイズを低減することが合理的となり得る。極端な場合、ズームウィンドウが非重なり合い部分４０４ａ、４０４ｂのいずれとも重なり合わない場合、合成領域は空となるように（ｄがゼロに等しい）に設定されてもよく、また画像の一方（ズームウィンドウと重なり合う非重なり合い部分４０４ａ、４０４ｂを有する画像）のみの画像データが、その場合にパノラマ画像を作成するために使用されてもよい。

ステップＳ０６では、合成構成要素２０６が進行して、合成領域４０８、５０８においてのみ第１の画像１１４ａと第２の画像１１４ｂとを合成する。合成するとは一般に、第１および第２の画像１１４ａ、１１４ｂの対応するピクセルに画像データの線形結合を形成することなどによって、第１の画像１１４ａと第２の画像１１４ｂの画像データが結合されることを意味する。たとえば、第１の画像１１４ａと第２の画像１１４ｂが、当該技術分野で知られているような、いわゆるアルファブレンディングを使用して、合成領域４０８、５０８において合成されてもよい。

既に説明したように、合成は通常、パノラマ画像１１６を生成するために、第１の画像１１４ａと第２の画像１１４ｂとをステッチングするプロセスの一部である。パノラマ画像１１６は、第１の画像１１４ａと第２の画像１１４ｂの結合された視界に対応している。パノラマ画像１１６はそれゆえに、非重なり合い部分４０４ａ、４０４ｂ、５０４ａ、５０４ｂ、重なり合い部分４０２、５０２、および合成領域４０８、５０８に対応する部分を有している。パノラマ画像１１６を生成するとき、合成構成要素２０６は、パノラマ１１６のうちの合成領域４０８、５０８に対応する部分においては、合成された画像データを使用する。パノラマ画像１１６の他のすべての部分では、第１の画像１１４ａまたは第２の画像１１４ｂのいずれかからの画像データが使用される。より具体的に言えば、合成構成要素２０６は、パノラマ画像のうちの第１の画像１１４ａの非重なり合い部分４０４ａ、５０４ａに対応する部分、およびパノラマ画像１１６のうちの、合成領域４０８、５０８の外側の重なり合い領域の第１の部分４０２ａ、５０２ａに対応する部分においては、第１の画像１１４ａからの画像データを使用することによって、パノラマ画像１１６を生成してもよい。同様に、合成構成要素２０６は、パノラマ画像１１６のうちの第２の画像１１４ｂの非重なり合い部分４０４ｂ、５０４ｂに対応する部分、およびパノラマ画像１１６のうちの、合成領域４０８、５０８の外側の重なり合い領域の第２の部分４０２ｂ、５０２ｂに対応する部分においては、第２の画像１１４ｂからの画像データを使用してもよい。

当業者には、上述した実施形態を多数の方式で改良し、上記の実施形態に示すような本発明の利点を依然として利用し得ることが理解されよう。たとえば、上記の開示は、重なり合う視界を有する２つの画像を合成することに関するものであるが、同じ方法論が、重なり合う視界を有する３つ以上の画像を合成するために用いられてもよい。このようにして、本発明は、図示の実施形態に限定されるべきではないが、添付の特許請求の範囲によってのみ規定されるべきである。追加的に、当業者には理解されるように、図示の実施形態は組み合わされてもよい。

１００ システム
１０２ イメージセンサを
１０４ ステッチングモジュール
１０６ 位置合わせデバイス
１０８ 合成デバイス
１１０ａ 第１の画像
１１０ｂ 第２の画像
１１２ａ 第１のセットのカメラパラメータ
１１２ｂ 第２のセットのカメラパラメータ
１１４ａ 第１の画像
１１４ｂ 第２の画像
１１６ パノラマ画像
２０２ 受信機
２０４ 選択構成要素
２０６ 合成構成要素
４０２ 重なり合い領域
４０４ａ 非重なり合い領域
４０４ｂ 非重なり合い領域
４０６ 境界
４０８ 合成領域
５０２ 重なり合い領域
５０４ａ 非重なり合い領域
５０４ｂ 非重なり合い領域
５０６ 境界
５０８ 合成領域
６１０ ズームウィンドウ
７１０ ズームウィンドウ

Claims (15)

1. 重なり合う視界を有する第１の画像（１１４ａ）と第２の画像（１１４ｂ）とを合成するための方法であって、
   前記第１の画像（１１４ａ）および前記第１の画像をキャプチャするときに使用された第１のセットのカメラパラメータ（１１２ａ）と、前記第２の画像（１１４ｂ）および前記第２の画像をキャプチャするときに用いられた第２のセットのカメラパラメータ（１１２ｂ）とを受信すること（Ｓ０２）であって、
   前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）は互いに位置合わせされ、
   前記第１の画像（１１４ａ）と第２の画像（１１４ｂ）は、前記第１の画像と前記第２の画像との重なり合い領域（４０２、５０２）においては重なり合い、前記第１の画像および前記第２の画像の各々の非重なり合い領域（４０４ａ、４０４ｂ、５０４ａ、５０４ｂ）においては重なり合わない視界を有し、
   前記重なり合い領域（４０２、５０２）は、境界（４０６、５０６）が第１の部分（４０２ａ、５０２ａ）と第２の部分（４０４ｂ、５０５ｂ）との間に規定されるように互いに隣接する第１の部分（４０２ａ、５０２ａ）と第２の部分（４０４ｂ、５０５ｂ）とを有し、前記第１の部分（４０２ａ、５０２ｂ）はさらに前記第１の画像（１１４ａ）の前記非重なり合い領域（４０４ａ、５０４ａ）には隣接するが、前記第２の画像（１１４ｂ）の前記非重なり合い領域（４０４ｂ、５０４ｂ）には隣接せず、前記第２の部分（４０４ｂ）はさらに前記第２の画像（１１４ｂ）の前記非重なり合い領域（４０４ｂ、５０４ｂ）には隣接するが、前記第１の画像（１１４ａ）の前記非重なり合い領域（４０４ａ、５０４ａ）には隣接しない、受信すること（Ｓ０２）と、
   前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）とを合成領域（４０８）において合成すること（Ｓ０６）と、
   前記第１の部分（４０２ａ、５０２ａ）と前記第２の部分（４０２ｂ、５０２ｂ）との間の前記境界（４０６、５０６）からの距離よりも近い、前記重なり合い領域（４０２、５０２）内のピクセルとして前記合成領域（４０６、５０６）を選択すること（Ｓ０４）であって、前記距離は、類似性の増大に伴って前記距離が減少するように、前記第１のセットのカメラパラメータ（１１２ａ）と前記第２のセットのカメラパラメータ（１１２ｂ）との間の類似性に基づいて選択される、選択すること（Ｓ０４）と、を含む方法。
2. 前記第１のセットのカメラパラメータ（１１２ａ）は前記第１の画像（１１４ａ）に関連付けられるメタデータとして受信され、前記第２のセットのカメラパラメータ（１１２ｂ）は前記第２の画像（１１４ｂ）に関連付けられるメタデータとして受信される、請求項１に記載の方法。
3. 前記第１および前記第２のセットのカメラパラメータ（１１２ａ、１１２ｂ）はシャッタースピードおよびゲインの少なくとも一方を含む、請求項１または２に記載の方法。
4. 前記第１および前記第２のセットのカメラパラメータ（１１２ａ、１１２ｂ）はホワイトバランスを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記境界（４０６、５０６）は直線である、請求項１から４のいずれか一項に記載の方法。
6. 前記重なり合い領域（４０２）の前記第１の部分（４０２ａ、５０２ａ）と前記第２の部分（４０２ｂ、５０２ｂ）は同じサイズを有する、請求項１から５のいずれか一項に記載の方法。
7. 前記第１および第２の画像（１１４ａ、１１４ｂ）のうちのデジタルにズームインされる部分にズームウィンドウ（６１０、７１０）が対応していることを示すデータを受信することをさらに含み、
   合成領域（４０８、５０８）を選択する前記ステップはさらに、前記第１および前記第２の画像（１１４ａ、１１４ｂ）に対する前記ズームウィンドウ（６１０、７１０）のサイズおよび位置の少なくとも一方に基づいて、前記重なり合い領域（４０２、５０２）における前記境界（４０６、５０６）の位置を選択することをさらに含む、請求項１から５のいずれか一項に記載の方法。
8. 前記ズームウィンドウ（６１０、７１０）と前記第１の画像（１１４ａ）の前記非重なり合い部分（４０４ａ、５０４ａ）との第１の一致面積と、前記ズームウィンドウ（６１０、７１０）と前記第２の画像（１１４ｂ）の前記非重なり合い部分（４０４ｂ、５０４ｂ）との第２の一致面積とを計算することであって、
   前記境界（４０６、５０６）の前記位置は、前記第１の一致面積が前記第２の一致面積よりも大きい場合には、前記重なり合い領域（４０２、５０２）の前記第１の部分（４０２ａ、５０２ａ）が前記重なり合い領域（４０２、５０２）の前記第２の部分（４０２ｂ、５０２ｂ）よりも大きく、前記第１の一致面積が前記第２の一致面積よりも小さい場合には、前記重なり合い領域の前記第１の部分（４０４ａ、５０４ａ）が前記重なり合い領域の前記第２の部分（４０４ｂ、５０４ｂ）よりも小さくなるように選択されることをさらに含む、請求項７に記載の方法。
9. 前記重なり合い領域（４０２）における前記境界（４０６、５０６）の前記位置は、前記重なり合い領域の前記第１の部分（４０２ａ、５０２ａ）の面積と前記重なり合い領域の前記第２の部分（４０２ｂ、５０２ｂ）の面積との関係が、前記第１の一致面積と前記第２の一致面積との間の関係に等しくなるように選択される、請求項８に記載の方法。
10. 前記距離はさらに、前記第１および前記第２の画像（１１４ａ、１１４ｂ）に対する前記ズームウィンドウ（６１０、７１０）の前記サイズおよび位置の少なくとも一方に基づいて選択される、請求項７から９のいずれか一項に記載の方法。
11. パノラマ画像（１１６）のうちの、前記第１の画像の前記非重なり合い部分（４０４ａ、５０４ａ）に対応する部分、および前記合成領域（４０８、５０８）の外側の前記重なり合い領域（４０２、５０２）の前記第１の部分（４０２ａ、５０２ａ）に対応する部分においては前記第１の画像（１１４ａ）からの画像データを使用し、
    前記パノラマ画像（１１６）のうちの、前記第２の画像の前記非重なり合い部分（４０４ｂ、５０４ｂ）に対応する部分、および前記合成領域（４０８、５０８）の外側の前記重なり合い領域（４０２、５０２）の前記第２の部分（４０２ｂ、５０２ｂ）に対応する部分においては前記第２の画像（１１４ｂ）からの画像データを使用し、
    前記パノラマ画像のうちの前記合成領域（４０８、５０８）に対応する部分においては合成画像データを使用することによって、前記第１および前記第２の画像（１１４ａ、１１４ｂ）からパノラマ画像（１１６）を生成することをさらに含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）は、異なるイメージセンサ（１０２ａ、１０２ｂ）を使用することによって同時にキャプチャされる、請求項１から１１のいずれか一項に記載の方法。
13. 重なり合う視界を有する第１の画像（１１４ａ）と第２の画像（１１４ｂ）とを合成するためのデバイスであって、
    第１の画像（１１４ａ）および前記第１の画像をキャプチャするときに使用された第１のセットのカメラパラメータ（１１２ａ）と、第２の画像（１１４ｂ）および前記第２の画像をキャプチャするときに用いられた第２のセットのカメラパラメータ（１１２ｂ）とを受信するように構成された受信機（２０２）であって、
    前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）は互いに位置合わせされ、
    前記第１の画像（１１４ａ）および第２の画像（１１４ｂ）は、前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）との重なり合い領域（４０２、５０２）においては重なり合い、前記第１および前記第２の画像（１１４ａ、１１４ｂ）の各々の非重なり合い領域（４０４ａ、４０４ｂ、５０４ａ、５０４ｂ）においては重なり合わない視界を有し、
    前記重なり合い領域（４０２、５０２）は、境界（４０６、５０６）が第１の部分（４０２ａ、５０２ａ）と第２の部分（４０４ｂ、５０５ｂ）との間に規定されるように互いに隣接する第１の部分（４０２ａ）と第２の部分（４０４ｂ、５０５ｂ）とを有し、前記第１の部分（４０２ａ、５０２ｂ）はさらに前記第１の画像（１１４ａ）の前記非重なり合い領域（４０４ａ、５０４ａ）には隣接するが、前記第２の画像（１１４ｂ）の前記非重なり合い領域（４０４ｂ、５０４ｂ）には隣接せず、前記第２の部分（４０２ｂ）はさらに前記第２の画像（１１４ｂ）の前記非重なり合い領域（４０４ｂ、５０４ｂ）には隣接するが、前記第１の画像（１１４ａ）の前記非重なり合い領域（４０４ａ、５０４ａ）には隣接しない受信機と、
    合成領域（４０８、５０８）において前記第１の画像（１１４ａ）と前記第２の画像（１１４ｂ）とを合成するように構成された合成構成要素（２０６）と、
    前記第１の部分（４０４ａ、５０４ａ）と前記第２の部分（４０４ｂ、５０４ｂ）との間の境界（４０６、５０６）からの距離よりも近い、前記重なり合い領域（４０２）内のピクセルとして前記合成領域（４０８、５０８）を選択するように構成された選択構成要素（２０４）であって、前記距離は、類似性の増大に伴って前記距離が減少するように、前記第１のセットのカメラパラメータ（１１２ａ）と前記第２のセットのカメラパラメータ（１１２ｂ）との間の類似性に基づいて選択される選択構成要素と、を備えるデバイス。
14. 前記カメラは、前記第１のセットのカメラパラメータ（１１２ａ）を使用して前記第１の画像（１１４ａ）をキャプチャし、前記第２のセットのカメラパラメータ（１１２ｂ）を使用して前記第２の画像（１１４ｂ）をキャプチャするように装置される、請求項１３に記載のデバイスを含んだカメラ。
15. コンピュータコード命令を記憶されたコンピュータ可読媒体を備えたコンピュータプログラム製品であって、前記コンピュータコード命令は、処理能力を有するデバイスによって実行されると、請求項１から１２のいずれか一項に記載の方法を遂行するように適合されているコンピュータプログラム製品。

Images