JP2011504682A - 画像シーケンスのサイズ変更 - Google Patents

Abstract

ビデオシーケンスの画像のアスペクト比を変更するために、例えば隣接ピクセル間の差分を取ることによって、各ピクセルにおける又は各ピクセルの周囲における画像エネルギーの測定値が提供される。次に、例えば映像の幅が変更される場合には垂直に、或るエッジから別のエッジへ画像の両端にわたって伸びる連続的なピクセルの最小エネルギー経路が識別される。或る画像における経路のロケーションに関する情報は、例えば経路のエネルギー測定値をバイアスすることによって、次の画像における経路の識別で使用される。次に、連続的なピクセルの最小エネルギー経路を除去又は複製することによって、各画像のアスペクト比が変更される。

Description

本発明は、画像のコンテンツに依存した方法による、関連した画像の順序シーケンスのサイズ変更に関する。本発明の一用途は、フィルムマテリアル又はビデオマテリアルのアスペクト比変換である。

画像シーケンスを構成する画像のセットの全体的な形状を変更することが必要な場合がしばしばある。一例は、１６：９のアスペクト比（幅対高さ比）で当初制作されたビデオマテリアルを、４：３のアスペクト比を有するディスプレイデバイス上に示すことを可能にするためにこのビデオマテリアルを変更することである。このような処理において、画像に描かれた物体の比率を変更することは、通例、望ましくない。既知の方法は、画像の一部からマテリアルを除去（クロッピング）すること、及び画像のエッジの近くの物体のみが歪められるように画像エリア全体にわたって変化する空間スケーリングを適用することを含む。

より複雑な技法は、空間比率を保存しなければならない描かれた物体を識別し、画像の他の部分のみをスケーリングして、画像の全体的な形状において必要とされる変更を達成するように、画像コンテンツを解析するシステムを含む。

単一画像をサイズ変更するための特に興味のある技法は、非特許文献１に説明されている。この技法では、累積高空間周波数エネルギーの最小測定値を有する隣接ピクセルのセットを経由する、画像の対向するエッジを接続する経路が、「シーム（seam）」として識別される。このシームを構成するピクセルは、次に、画像から除去され、したがって、シームに直交する方向で１ピクセルピッチ分だけ画像のサイズが削減される。このプロセスは、第２のシームを識別するために、処理される画像に対して繰り返され、この第２のシームも除去され、このプロセスは、所望のサイズ削減が得られるまで続く。

最小の高空間周波数エネルギーの測定値を使用してシーム位置を識別することにより、描かれた物体間の空間を表す可能性がより高い比較的詳細でないエリアのピクセルが除去され、したがって、描かれた物体の形状歪が最小になる。

この論文は、垂直方向及び水平方向にどれくらい異なるサイズ削減度を適用できるのか並びに画像サイズの拡大に対処するためにこの技法をどのように拡張できるのかも説明している。

しかしながら、或る時系列又は視点列でキャプチャされた同じシーンのビュー等、関連した画像のシーケンスにこれらの技法を適用すると、不快なアーティファクトがもたらされる。

２００７年８月のＳＩＧＧＲＡＰＨ会議のプロシーディングスに掲載されたAvidan及びShamirによる論文「Seam Carving for Content-Aware Image Resizing」

本発明は、一態様において画像シーケンスの一部を成す第１の画像のサイズを変更する方法及び装置であって、低空間周波数エネルギー領域が第１の画像から除去され又は第１の画像において増大され、除去又は増大される第１の画像における領域の選択は、シーケンスの第２の画像における低空間周波数エネルギー領域の位置に向けてバイアスされる。

有利には、除去又は増大される第１の画像における領域の選択は、シーケンスの第２の画像における低空間周波数エネルギー領域の動き補償された位置に向けてバイアスされ、動き補償は、第１の画像と第２の画像との間の動作を補償する。

画像サイズの削減のため、低空間周波数エネルギーピクセルは削除され、残りのピクセルは、ピクセル位置の規則的なシーケンスを復元するために、それらピクセルの各値を変更することなく、互いにより接近して移動される。

画像サイズの拡大のため、低空間周波数エネルギーピクセルは複製され、該複製されたピクセルは、ピクセル位置の規則的なシーケンスを復元するために、それらピクセルの各値を変更することなく、元のピクセルがさらに離れて移動されるように該低空間周波数エネルギーピクセルに隣接して挿入される。

本発明の第二の態様において、１つ又は複数の低空間周波数エネルギー領域のロケーションに依存したピクセルシフト値のセットは、各サイズ変更された出力画像を生成するのに必要な入力ピクセルの変換が、各ピクセルシフト値によって規定されるように、シーケンスにおける１つ又は複数の画像のピクセルについて導出され、各画像は、各ピクセルシフト値をそれら画像のピクセルに適用することによってサイズが変更される。

いずれの態様においても、シーケンスにおける画像の個数は、低空間周波数エネルギー領域の識別に先立ち、新しい画像の補間によって増加される。

有利には、追加の画像は、動き補償された補間によって生成される。

いずれの態様においても、低空間周波数エネルギー領域は、サイズが変更される画像のダウンサンプリングされたバージョンを解析することによって識別される。

好適には、該ダウンサンプリングは異方性である。

有利には、ダウンサンプリングのピッチは、画像サイズ削減の方向に直交した方向がより長い。

いずれの態様においても、低空間周波数エネルギー領域は、サイズが変更される画像の空間ローパスフィルタリングされたバージョンを解析することによって識別される。

好適には、該空間ローパスフィルタは異方性である。

有利には、異方性空間フィルタのカットオフ周波数は、画像サイズ削減の方向に直交した方向がより低い。

第二の態様において、該ピクセルシフト値は、削減されたサイズの画像を形成するのに使用されることに先立ち空間フィルタリングされる。

好適には、該空間フィルタリングは異方性である。

有利には、該異方性空間フィルタリングのカットオフ周波数は、画像サイズ削減の方向に直交した方向がより低い。

第二の態様の特定の実施形態において、該ピクセルシフト値は、削減されたサイズの画像を形成するのに使用されることに先立ち時間フィルタリングされる。

有利には、時間フィルタは、動き補償される。

本発明は、第三の態様において、ピクセルベースの画像のシーケンスを処理して画像のアスペクト比を変更する方法であって、各ピクセルにおける又は各ピクセルの周囲における画像エネルギーの測定値を提供し、各画像について、該画像の両端に伸びる連続的なピクセルの低エネルギー経路を識別し、或る画像における経路のロケーションに関する情報は、シーケンスの次の画像における経路の識別で使用され、連続的なピクセルの低エネルギー経路を識別するステップは、経路に沿って測定されたエネルギーの合計が最小である経路を識別することを含み、経路に沿って測定されたエネルギーの合計が最小である経路を識別するステップは、経路に沿って測定された累積エネルギーを最小にするように経路の次のピクセルを選択する繰り返しステップを含み、画像の両端にわたって共通の方向に伸びる複数の経路が、ランク順に識別され、或る画像における経路のロケーションに関する情報は、シーケンスの次の画像において同じランク順を有する経路の識別で使用される方法を構成する。

画像シーケンスの幅を削減する従来技術の方法のフローチャートである。 エネルギーバイアス対ピクセル位置のグラフである。 本発明の一実施形態による画像シーケンスの幅を削減する方法のフローチャートである。 本発明の一実施形態による画像シーケンスの幅を削減する方法のブロック図である。 入力ピクセル座標対等価な出力ピクセル座標のグラフである。

次に、図面を参照して本発明の実施例を説明することにする。

本発明のさまざまな実施形態を解説するために、最初に、１つ又は複数のシームを見つけるための画像シーケンスの第１の画像の解析を説明することが助けになる。

映像を水平に縮小することが必要であると仮定する。シームカービングが繰り返し適用されて、映像は一時に１ピクセル幅ずつ縮小される。このプロセスの各通過は、次のように動作する。エネルギー関数又はアクティビティ関数が、映像の各ピクセルについて計算される。通常、これは、現ピクセルのルミナンス値とそのピクセルの４つの隣り合ったピクセルのそれぞれとの間の絶対差の合計である。次に、映像の上端から下端にわたって最小エネルギーのシームが見つけられる。シームは、１ライン当たり１ピクセルの接続されたピクセルのセットであり、接続判定基準は、通常、垂直又は対角に隣接していることである。

シームのエネルギーは、そのシームにおけるピクセルのエネルギー値の合計である。最小エネルギーのシームは、再帰的技法を使用して見つけることができる。この再帰的技法では、最小エネルギーのシームが、下端の行上の各ピクセルに至って見つけられるまで、映像の連続した行上の各ピクセルに至る最良の部分的シームが計算される。シームに沿って映像の上端へバックトラッキングすることによって、すべての下端行の結果の中から最小値が選ばれる。

最小エネルギーのシームが見つけられると、そのシームのすべてのピクセルが、（或る配列で）映像から単純に除去され、映像の残りの部分がその隙間にシフトされ、新しい映像は、以前よりも１ピクセル狭くなる。これが、映像からシームをカービングするプロセスである。

図１は、画像の幅の削減の第１のステップとして実質的に垂直なシームを見つけるためのこのようなシステムを示す。序論で解説したように、システムは、隣接ピクセルのセットの累積高空間周波数エネルギーの値を求めることに基づいている。ｘ及びｙが、それぞれ水平のピクセルピッチの単位及び垂直のピクセルピッチの単位であるとして、直交座標（ｘ，ｙ）に位置するピクセルのルミナンスがＹ_{（ｘ，ｙ）}である場合、そのピクセルの高空間周波数エネルギーの測定値は、隣接ピクセルに対するルミナンス差分の大きさの合計である。すなわち、
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ−１，ｙ＋１）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ，ｙ＋１）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ＋１，ｙ＋１）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ−１，ｙ）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ＋１，ｙ）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ−１，ｙ−１）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ，ｙ−１）}｜＋
｜Ｙ_{（ｘ，ｙ）}−Ｙ_{（ｘ＋１，ｙ−１）}｜
である。

これは、直交サンプリング格子の最も単純な測定値であり、（ｘ，ｙ）におけるピクセルの高空間周波数エネルギーの測定値を与えるピクセル値の他の組み合わせを使用することもできる。例えば、空間ハイパスフィルタの整流出力を使用することができる。

図１を参照して、ステップ（１）において、画像の上端ラインの各ピクセルの高空間周波数エネルギーの値が求められる。上端ラインの上にはピクセルがないので、隣接ピクセルによって完全に囲まれたピクセルの高空間周波数エネルギーと直接等価な値を与えるには、エネルギーレベルを、（上記測定値が使用される場合には６／９の係数によって）適切に重み付けする必要があることに留意されたい。

ステップ（２）において、画像の次（すなわち上端から２番目）のラインのピクセルのそれぞれの高空間周波数エネルギーの値が求められる。ステップ（３）において、上端のラインから２番目のラインの各ピクセルについて、３つのエネルギーの合計が形成される。

ａ）当該ピクセルと当該ピクセルの真上の隣接ピクセルとのエネルギー合計。
ｂ）当該ピクセルと当該ピクセルの左上の隣接ピクセルとのエネルギー合計。
ｃ）当該ピクセルと当該ピクセルの右上の隣接ピクセルとのエネルギー合計。

これら３つのエネルギーの合計のうちの最小値が、２番目のラインの各ピクセルについてそれぞれ記憶される。合計に寄与する空間的に低い側のピクセルの位置を基準とした、合計に寄与する空間的に高い側のピクセルの位置も記憶される。垂直のケース（ａ）；左からの対角のケース（ｂ）；又は右からの対角のケース（ｃ）の３つの可能な相対位置がある。

ステップ（４）において、画像のすべてのラインが処理されたか否かを判断する検査が行われる。これには該当しないので、次に、画像の上端から３番目のラインが同様の方法で処理され、３番目のラインのピクセルエネルギー値が、適切な１番目のラインのエネルギー合計及び２番目のラインのエネルギー合計と合計される。このように、画像の上端のラインからの最小累積エネルギー経路が求められる。

このプロセスは、画像の下端のラインが処理されるまで続き、ステップ（４）は、次に、処理をステップ（５）に向ける。ステップ（５）において、最も低い累積エネルギーを有する下端のラインのピクセルが求められ、エネルギー値がそのピクセルの累積エネルギーに寄与したピクセルのセットが識別され、それらピクセルのロケーションのセットがシームとして記憶される。このシームは、画像の上端エッジ上の点から画像の下端エッジ上の点への１ピクセル幅の経路をトレースする。このシームは、垂直セグメント及び／又は対角セグメントを含むことができ、画像の高エネルギー領域間を通る。

ステップ（６）において、このシームのピクセルが、画像から除去され、したがって、その幅が削減される。ステップ（７）において、削減された画像幅が、必要とされる幅と比較され、さらなる削減が必要とされる場合、処理はステップ（１）に戻り、部分的に削減された画像が、次に、第２のシームを識別するために、上述したものと同じ方法で処理される。この第２のシームも除去される。このプロセスは、必要とされる幅削減が達成されるまで繰り返され、ステップ（７）によって、このプロセスは終了する。

本発明の第１の実施形態では、画像シーケンスの画像は、各画像からのシームの連続した除去によって幅が削減される。後続画像におけるシーム位置間の不一致に起因したアーティファクトは、ピクセルエネルギー値に再帰的バイアスを適用することによって回避される。バイアス値は、先行画像におけるシームの位置に依存する。バイアス値は、現画像におけるシームロケーションを求めるのに使用されるピクセルエネルギー値から引かれ、その結果、シーケンスの先行画像におけるシームと位置が合致するピクセルは、累積エネルギー測定値に対する当該ピクセルのエネルギー寄与が削減される。シームを求めるプロセスは、画像を通る低エネルギー経路を捜し求めるので、エネルギー寄与がバイアス分だけ削減されたピクセルは、新しく求められるシームに含まれる可能性がより高くなる。

この再帰は、好ましくは、動き補償された再帰であり、その結果、バイアスは、先行映像における対応するシームがすでに移動していると予想された場所にシームを配置することに有利に働く。

前に解説したように、シームは、順に識別され、次のシームを求めることに先立ち各シームのピクセルが除去される。（特定の画像について）シームを求めるシーケンスによって、各シームのランク順位が与えられる。シームの位置を求める際に使用されるバイアス値は、前の画像における同じランクのシームの位置から導出される。

適したバイアス関数が図２に示されている。図２は、先行画像におけるシームの位置に近いピクセルから引かれるバイアス値を示す。図２を参照して、前の画像における関連のあるシーム（すなわち、識別されているシームと同じランクのシーム）は、処理されているラインをピクセル座標Ｓにおいて横切る。座標範囲Ｓ−４〜Ｓ＋４の現画像のピクセルは、各累積エネルギー合計に対する当該ピクセルのエネルギー値寄与から、１と２０との間のエネルギー値が引かれる。最も高いバイアスは、座標値Ｓに最も近いピクセルに適用される。

本発明による再帰的エネルギーバイアスを利用する幅削減プロセスが図３に示されている。図１のステップと類似したステップは、同等の参照番号の前に３が置かれている。図１のシステムとは異なるステップを、図３を参照して次に説明することにする。

ステップ（３１）において上端ラインのピクセルエネルギー値を求め、ステップ（３３）において次のラインのピクセルエネルギー値を求めた後、各ピクセルエネルギー値からは、各エネルギーバイアス値が引かれる。このバイアス値は、シーケンスの前の画像の同じラインにおける同じランク（すなわち、発見順序）のシームの位置を基準とした相対的な、処理されているピクセルの位置から求められる。前の画像の同じラインにおける相当するシームの位置に最も近いピクセルから、より高いバイアス値が引かれる。

バイアス値を見つけるには、各シームが発見された時に各シームのロケーション及びランクを記憶することが必要である。これは、ステップ（３９）に示されている。

このプロセスを改良するために、他のファクタがバイアス値に寄与することができる。例えば、対象となるエリアが求められた場合、シームが、対象となるエリアを通過するのを防止するために、このエリア内のピクセルに追加のバイアスを与えることができる。また、画像に描かれた直線状の特徴からのピクセルの除去は、主観的に不快である可能性がある。このような特徴を検出することができ、このような直線状の特徴の近くのピクセル又はこのような直線状の特徴の一部を成すピクセルにバイアスを適用することができる。

バイアス値を引く代わりに、バイアスに依存した乗算型重み（multiplicative weighting）又は非線形重みを、シーム位置が求められる累積エネルギー合計に寄与するピクセルエネルギー値に適用することもできる。

シームを見つけるための前述したプロセスは、各画像のすべてのピクセルの処理を必要とする。しかしながら、空間的にダウンサンプリングされた画像上でシーム位置を求めることも可能である。すなわち、空間的にダウンサンプリングされた画像では、より少ないピクセルを使用して、各画像のコンテンツが表される。これは、処理する必要があるピクセルが少なくなるという利点を有するが、もちろん、通例は、画像をダウンサンプリングするのに追加の処理が必要となる。画像サイズ削減の必要とされる方向に直交した方向にダウンサンプリングを適用することは特に役立つ。処理されるピクセルは少なくなるが、シームロケーションの（サイズ削減の方向における）位置解像度は削減されない。このような異方性ダウンサンプリングが使用される場合、ダウンサンプリングで生じる高空間周波数エネルギーの損失を補償するために、ピクセルエネルギーを求める関数を変更することも有益である。例えば、幅削減が必要とされ、より厳しいダウンサンプリングが垂直方向に適用される場合、ピクセルエネルギー値を求める際に、より大きな重みを垂直のピクセル値差分に与えることができる。

シーム位置が、ダウンサンプリングされた画像において計算される場合、フル解像度画像における対応するシーム位置を求めるのに、適したサブピクセル補間が必要な場合がある。

前の画像からのシーム位置の使用は、後続画像が無関係である場合には明らかに不適切である。この状況は、既知の「ショットチェンジ検出」の方法の任意のものによって検出することができ、無関係の先行画像からのシーム情報は、シーム位置を求めるのには使用されない。

２つ以上の先行画像が現画像のシーム位置に寄与するように、シーム位置の時間フィルタリングを使用して、後続画像間のシーム位置の一致性を改善することができる。ピクセルによって描かれる物体の動作が解析されるように、動き補償も使用することができ、シームが、移動エリアで見つけられた場合、後続画像におけるそのシームの位置を、その画像エリアについて測定された速度及び動作方向（動きベクトル）から推論することができる。

或る画像から次の画像への求められたシーム位置の一致性は、隣接した入力画像間に１つ又は複数の追加の画像を補間し、その結果として時間的にアップコンバートされたシーケンスに対してシームロケーションプロセスを実行することによって改善することができる。動き補償された補間を使用して、追加の中間画像を作成することができる。

シームロケーションのプロセスは、画像拡大に使用することができる。シームピクセルを除去するのではなく、各画像のサイズが１シームごとに１ピクセル分だけ増加するように、シームピクセルを複製することができる。シームロケーションのプロセスは、必要とされる拡大度を達成するために十分なシームが特定されるまで、画像削減について説明したものと同様の方法で反復することができる。

本発明の一代替的な実施形態では、画像をサイズ変更するプロセスは、シームピクセルの直接的な除去又は複製ではなく、ピクセルシフトプロセスによって達成される。ピクセルシフトプロセスの制御は、前述した実施形態のものと同じ方法で計算されたシーム位置から導出される。シームカービングは、このとき、入力ピクセルロケーションと出力ピクセルロケーションとをリンクするマップ関数（実際上は、レンダリングエンジンの命令のセット）を生成するプロセスとみなすことができる。次に、このマップ関数をフィルタリング、スケーリング、又はミキシングによって操作して、シームカービングプロセスをより円滑にすることができ、また、シームカービング解析を、ダウンサンプリングされた映像に対して実行し計算を保存することを可能にすることもできる。

この代替的な実施形態のブロック図が図４に示されている。

図４を参照して、画像シーケンスを規定するピクセル値（４０）のストリームが、デジタルビデオエフェクト（ＤＶＥ）プロセッサ（４１）に入力される。このＤＶＥプロセッサの出力（４２）は、削減されたサイズの画像シーケンスを含む。ＤＶＥプロセッサは、デジタルビデオエフェクトの既知の技法を使用して、ピクセルシフト制御信号（４３）により規定される各入力ピクセルから出力ピクセルを作成する。この既知の技法には、可変空間補間及び間引きが含まれる。ピクセルシフト制御信号（４３）は、画像の異なるピクセル間及びシーケンスの後続画像間で変化し得る。各出力画像の各出力ピクセルの値は、ピクセルシフト制御信号（４３）によって、各入力画像のシフトされた入力ピクセルに関して規定され、出力ピクセル（４２）は、入力ピクセル（４０）よりも少なくなる。

シームを見つけるプロセス（４４）は、入力ピクセル値ストリーム（４０）からシーケンスの各画像のシーム位置を求める。オプションとして、第１の実施形態について上述したように、シームを見つけるプロセスを簡単化するために入力ピクセルをダウンコンバートブロック（４５）において空間ダウンサンプリングすることができる。シームを見つけるプロセス（４４）は、前述したものと同様に動作するが、シームが一旦識別されてもシームピクセルが除去されないので、すでに特定されたシーム（低ランクシーム）からのピクセルが、その後の（高ランクの）シームを特定するのに使用されるエネルギー合計に寄与することを防止する手段を提供しなければならない点は除かれる。

シームを見つけるプロセス（４４）の出力（４６）は、シーケンスの各画像について、各出力ピクセル位置を入力ピクセル位置にリンクするテーブルである。このテーブルは、関連のある画像において見つけられたすべてのシーム（必要とされる幅削減に応じて見つけられるシームの個数）を考慮に入れ且つ水平ピクセルシフト値を計算することによって導出される。水平ピクセルシフト値は、ピクセルに適用されると、画像からシームピクセルを除去することと同じ効果を有する。このテーブルの一代替的なフォーマットは、各出力ピクセルに、対応する入力ピクセルへの距離及び方向を示すベクトルが割り当てられるベクトル場である。幅削減の場合、これらのベクトルのすべての垂直成分は０である。

シームを見つけるプロセス（４４）からの出力（４６）の空間解像度は、出力ピクセル解像度よりも低い場合がある。これは、入力画像が、オプションのダウンサンプリングブロック（４５）においてダウンサンプリングされた場合に非常に可能性が高い。ダウンサンプリングされた場合、シフト値（４６）のテーブルは、アップコンバートプロセス（４７）においてアップサンプリングされる。アップコンバートプロセス（４７）は、既知の空間補間の方法の任意のものを使用して、あらゆる出力ピクセルロケーションのシフト値を得る。

前述したように、後続画像のサイズ変更が一致していないときに、不快なアーティファクトが引き起こされる。これらのアーティファクトは、平滑化プロセス（４８）においてシフト値をフィルタリングすることにより削減することができる。この処理は、空間ローパスフィルタリング及び／又は時間ローパスフィルタリングとすることができる。図４のシステムの特定の利点は、シームを見つけるプロセスにおける低解像度を、平滑化プロセス（４８）が補償できるということである。これによって、同等の出力品質で処理リソースの削減が可能になる。

追加の任意の拡大係数又は縮小係数を、ピクセルシフトテーブル値（４６）を処理することによって得ることができ、次に、これを、図５を参照して解説することにする。この図は、ピクセルシフトテーブル値の一例示のセットを、入力ピクセル座標ｉ対対応する出力ピクセル座標ｘのグラフ（５０）の形態で示す。Ｘ_Ｃ個の出力ピクセルのセットは、Ｉ個の入力ピクセルのサブセットをシフトすることによって得られる。シームに対応するそれらの入力ピクセルは、この図では、Ｓ１〜Ｓ１１のラベルが付けられ、これらのピクセルは、対応する出力ピクセルを有しない。このグラフ（５０）から分かるように、規則的間隔の出力ピクセルのセットを提供するために、適したシフト値が、寄与するピクセルに適用される。

（シームには、便宜のため、座標原点から昇順に番号が付けられていることに留意されたい。これらのシーム番号は、上述したシームランクに対応するものではない。前に解説したように、シームランクは、シーム識別シーケンスに関係するものであり、シームの座標には無関係である。）

グラフ（５０）によって表されるピクセルシフト値のセットは、画像を拡大するために画像に適用できる代替的なシフト値のセットを作成するのに使用することができる。このような画像拡大シフト値のセットは、グラフ（５１）によって示されている。グラフ（５１）では、Ｉ個の入力ピクセルのフルセットからＸ_Ｅ個の出力ピクセルのセットを作成するために、シームピクセルのそれぞれが複製されている。

グラフ（５０）では、１シーム当たり１ピクセルが除去されており、グラフ（５１）では、１シーム当たり１ピクセルが追加されている。例えば、３つの隣接した入力ピクセルＰ、Ｑ、及びＲは、シームピクセルＱ（シームＳ６のピクセルの１つ）を含む。グラフ（５０）のシフト値によって生成された削減サイズ画像では、ピクセルＱは廃棄され、ピクセルＰ及びＲは移動されて互いに隣り合う。グラフ（５１）のシフト値によって生成された拡大画像では、ピクセルＱは複製されて、ピクセルＱ_１及びＱ_２が形成され、これらの複製されたピクセルは、ピクセルＰとＲとの間に補間される。

グラフ（５０）及び（５１）が、関数
ｉ＝Ｃ（ｘ）及び
ｉ＝Ｅ（ｘ）
によってそれぞれ表される場合、これらの関数は、ｘ方向において直線ｉ＝ｘに関して相互に反射し合うものであることが分かる。

等価な逆関数（すなわち、入力ピクセル座標の点から出力ピクセル座標を表す関数）
ｘ＝Ｃ^−１（ｉ）及び
ｘ＝Ｅ^−１（ｉ）
をそれぞれ定義する場合、
Ｅ^−１（ｉ）−ｘ＝ｘ−Ｃ^−１（ｉ）
を示すことによってこの鏡面対称を表すことができる。ここで、上記式の左辺は、図５の直線（５２）の長さを表し、上記式の右辺は、直線（５３）の長さを表す。

グラフ（５１）によって提供されるものよりも大きな画像拡大係数は、
ｘ−Ｃ^−１（ｉ）＞Ｅ^−１（ｉ）−ｘ
である関数Ｅ（ｘ）によって達成することができる。

より一般的には、ピクセルシフト値の必要とされる変換は、式
α×［ｘ−Ｃ^−１（ｉ）］＝（１−α）×［Ｅ^−１（ｉ）−ｘ］
を充足すべきである。ここで、αは、拡大度を決定するパラメータである。

１未満のαの正の値は、１シーム当たり１ピクセル未満のサイズ増加を与える。

αの負の値は、画像サイズ削減を与えるピクセルシフト関数を定義する。この場合、シフト値Ｅ（ｘ）のグラフは、図５の直線ｉ＝ｘの左に位置する。

特定されたシームの個数から独立した任意の画像拡大又は画像削減のためのピクセルシフト値を得るために、１シーム当たり１ピクセルのサイズ削減ケースＣ（ｘ）についてのピクセルシフト値に、上記式に対応する適した変換を適用することができる。

シームロケーションプロセスからのピクセルシフトデータの変換は、整数シフト値を生じさせる必要はない。（非整数の）必要とされる入力ピクセル座標のいずれかの側に位置するピクセルの値が、出力ピクセル値を計算するのに使用されるＤＶＥプロセス（４１）では、サブピクセル補間を使用することができる。

シームロケーションプロセスからのピクセルシフトデータの変換は、画像内の位置に応じて変化する可能性がある。例えば、空間歪は、画像エッジ領域に限定することができる。これが行われる場合、十分な且つ等しい拡大又は削減が各画像のあらゆるラインに適用されることを確保することが必要となる。

説明してきたプロセスは、画像の高さの変更に等しく適用可能である。この場合、画像の左エッジ上の点と右エッジ上の点との間の低い累積高空間周波数エネルギー経路に対応する実質的に水平なシームが識別される。

高さ及び幅の変更は、水平シーム及び垂直シームの双方を識別することによって組み合わせることができる。水平シーム及び垂直シームを見つけるプロセスは、次のように段階的に行うことができる。すなわち、一方の方向において必要とされるシームの総数の或る割合を見つけることができ、次に、他方の方向において必要とされるシームの或る割合を見つけることができ、各方向における必要とされる個数のシームが見つけられるまで、この解析方向を交互にすることを続けることができるように、段階的に行うことができる。水平シーム位置及び垂直シーム位置の双方が判明した場合、画像は、一方向で拡大することができ、別方向で削減することができる。

非長方形の画像を処理することができる。この場合、シームが、１ピクセル当たりの累積高空間周波数エネルギーに従って識別されてランク付けされるように、各シームを構成するピクセル数に従って累積エネルギー測定値を重み付けすることが必要である。

画像拡大又は画像削減の他の方向は、累積エネルギーがシームロケーションプロセスにおいて合計される許容された方向を変更することによって得ることができる。例えば、対角方向におけるサイズ変更が必要とされる場合、ピクセルエネルギー合計の選択は、次のものとすることができる。

ａ）当該ピクセルと当該ピクセルの真上の隣接ピクセルとのエネルギー合計。
ｂ）当該ピクセルと当該ピクセルの左上の隣接ピクセルとのエネルギー合計。
ｃ）当該ピクセルと当該ピクセルの左に水平に隣接したピクセルとのエネルギー合計。

「動き補償」という用語は、この明細書では、シーケンスにおける画像の位置が時間を表すことが非常に一般的であるという了解のもとで使用されている。一方、シーケンスにおける位置がカメラ位置等の他の或る次元を表す類似の処理を適用することもできる。したがって、動き補償と言うとき、この言葉は、シーケンスにおける画像の位置を規定する非時間パラメータによる、描かれた物体の画像間の位置シフトの補償を含むように解釈されるべきである。

上述したプロセスでは、すべてのシームが等しい効果を有する。すなわち、シームは、すべて、映像の高さ又は幅に同じ変更を引き起こす。一代替的な手法は、当初の解析フェーズにおいて各シームにより映像から除去されたエネルギー量に注目するものである。このエネルギー値は、この場合、実際に除去される映像マテリアルの幅を決定する。最初の数シームは、映像の最も平坦な最も低いエネルギーエリアを通って「カービング」し、したがって、これらのエリアからより多くの映像マテリアルが除去される。例えば、各シームに関連付けられたエネルギー値を非線形関数で処理して、そのシームのロケーションにおいて映像に適用される幅変更値を得ることができる。低エネルギー値のシームは、大きな幅の変更に対応し、高エネルギー値のシームは、より小さな幅の変更に対応する。処理されたすべてのシームの幅変更のセットを合計することによって得られる全幅変更が、必要とされる幅変更に等しくなるように、その幅変更のセットをスケーリングすることができる。

前述した最初の幅変更プロセスにおいて、幅変更は、各シームにつき１ピクセルの整数個のピクセルに対応し、シームロケーションのプロセスは、所望のサイズ変更が一旦達成されると停止する。しかしながら、各シームの効果が、そのシームの全エネルギーに依存する場合、選ばれた任意の個数のシームを見つけることができ、結果の映像シフト値を、必要とされる映像サイズ変更を得るようにスケーリングすることができる。

必要とされる処理の量を制限するために一定数のシームを見つけることもできるし、シーム数を、映像幅（幅変更の場合）当たりのピクセル数又は映像の高さ（高さ変更の場合）当たりのピクセル数と同数とすることもできる。

前に解説したように、シームを見つけるプロセスでは、最小エネルギーシームが、反復プロセスで見つけられて除去される。除去される最初のシームは低エネルギーを有し、より低いエネルギーピクセルは除去されていることから、その後、エネルギーは増加する。シームが一旦除去されると、エネルギーは映像全体を通じて再計算されるので、この増加は、常に、厳密に単調であるとは限らない。問題は、シームカービングプロセスの終了に向けて、いくつかのシームが除去される一方、ほぼ同様のエネルギーの他のシームは残るということである。これは、シーケンスの後続映像間で一致しない結果をもたらし、その結果として、シーケンスが観察されるとき、動きジャダが生じる。この問題の解決法は、出力映像から実際に除去される映像マテリアルの幅をシームエネルギーに反比例するようにし、次に、所望のサイズ変更をもたらすように、結果のピクセルシフト値をスケーリングすることである。
これは、数学的には、次のように表すことができる。

ここで、
ｗ_ｉは、シームｉの経路に沿って除去されるマテリアルの幅であり、
Ｅ_ｉは、シームｉのエネルギーであり、
Ａは定数であり、
Ｎは、ピクセルピッチ単位による映像の幅である。

定数Ａは、除去されるマテリアルの所望の全幅を確保するように選ぶことができる。例えば、映像の幅をＮからＭへ削減したい場合、Ａは、

によって与えられる。

０に等しくなることができないエネルギー関数を使用することが重要であることに留意されたい。

実際には、単一のシームによって除去された映像マテリアルの最大幅を制限することが望ましい。これは、エネルギー関数に定数を追加することによって達成することができる。

あいにく、この関数は、定数Ａの閉形式の解を許容していない。所望の振る舞いを近似したものは、以下の関数を使用して得ることができる。

新しい定数Ｂの値は経験的に求めることができ、このとき、Ａは、

によって与えられる。

この関数のさらなる精緻化は、或る定数を引き、０にクリッピングすることである。その結果、或る最大値を超えるエネルギー値を有するシームは、幅の削減をもたらさない。

Ａは、このとき、

によって与えられる。

Ｅ_ｍａｘ以上のエネルギー値によって生じる幅削減値は０であるので、この関数の使用に伴う利点は、エネルギーがＥ_ｍａｘに達するとシームカービングプロセスを停止できるということである。

上記で論述した逆関数及びその精緻化したものに代わるものは、エネルギーの減少線形関数

を使用することである。Ｅ_ｍａｘが固定されている場合、ｗ_ｍａｘは、

によって与えられる。

上記例は、１６：９の４：３への変換に基づいたものであるが、本発明概念は、他方の方向での変換及び他の比率間の変換にも等しく適用される。

ビデオシーケンスのシームカービングに対して行った改良によって、より大きな柔軟性が可能になる。水平方向及び垂直方向の双方に独立してシームカービングを実行することができ、その結果のマップを組み合わせることができる。シームカービングを使用して、いずれかの次元又は双方の次元で映像を拡大又は縮小することができる。例えば、図Ａ１２は、水平及び垂直の双方のシームカービングの結果を示す。この時の目的は、１６：９のアスペクト比を保持するが、対象となる物体が、その元のサイズ及び形状を保持するより小さな映像を生成することである。この例では、平滑シームカービング手法は使用されず、したがって、最初の映像は、映像から除去される「ハード（hard）」な水平シーム及び垂直シームを示す。

Claims (28)

1. 画像シーケンスの一部を成す第１の画像のサイズを変更する方法であって、低空間周波数エネルギー領域が前記第１の画像から除去され又は前記第１の画像において増大され、除去又は増大される前記第１の画像における前記領域の選択は、前記シーケンスの第２の画像における低空間周波数エネルギー領域の位置に向けてバイアスされる、方法。
2. 除去又は増大される前記第１の画像における前記領域の前記選択は、前記シーケンスの第２の画像における低空間周波数エネルギー領域の動き補償された位置に向けてバイアスされ、前記動き補償は、前記第１の画像と前記第２の画像との間の動作を補償する、請求項１に記載の方法。
3. 低空間周波数エネルギーピクセルは削除され、残りのピクセルは、ピクセル位置の規則的なシーケンスを復元するために、それらピクセルの各値を変更することなく、互いにより接近して移動される、請求項１又は請求項２に記載の画像サイズ削減の方法。
4. 低空間周波数エネルギーピクセルは複製され、該複製されたピクセルは、ピクセル位置の規則的なシーケンスを復元するために、それらピクセルの各値を変更することなく、元のピクセルがさらに離れて移動されるように前記低空間周波数エネルギーピクセルに隣接して挿入される、請求項１又は請求項２に記載の画像サイズ増大の方法。
5. １つ又は複数の低空間周波数エネルギー領域の前記ロケーションに依存したピクセルシフト値のセットは、各サイズ変更された出力画像を生成するのに必要な入力ピクセルの変換が、前記各ピクセルシフト値によって規定されるように、前記シーケンスにおける１つ又は複数の画像の前記ピクセルについて導出され、前記各画像は、前記各ピクセルシフト値をそれら画像のピクセルに適用することによってサイズが変更される、請求項１又は請求項２に記載の方法。
6. 前記ピクセルシフト値は、シフトされる前記各ピクセルの前記画像内の位置に応じて変換される、請求項５に記載の方法。
7. 前記シーケンスにおける画像の個数は、低空間周波数エネルギー領域の識別に先立ち、新しい画像の補間によって増加される、請求項１〜６のいずれか一項に記載の方法。
8. 前記追加の画像は、動き補償された補間によって生成される、請求項７に記載の方法。
9. 低空間周波数エネルギー領域は、サイズが変更される画像のダウンサンプリングされたバージョンを解析することによって識別される、請求項１〜８のいずれか一項に記載の方法。
10. 前記ダウンサンプリングは異方性である、請求項９に記載の方法。
11. 前記ダウンサンプリングのピッチは、前記画像サイズ削減の方向に直交した方向がより長い、請求項１０に記載の方法。
12. 低空間周波数エネルギー領域は、サイズが変更される画像の空間ローパスフィルタリングされたバージョンを解析することによって識別される、請求項１〜１１のいずれか一項記載の方法。
13. 前記空間ローパスフィルタは異方性である、請求項１２に記載の方法。
14. 前記異方性空間フィルタの前記カットオフ周波数は、画像サイズ削減の方向に直交した方向がより低い、請求項１３に記載の方法。
15. 前記ピクセルシフト値は、削減されたサイズの画像を形成するのに使用されることに先立ち空間フィルタリングされる、請求項５に記載の方法。
16. 前記空間フィルタリングは異方性である、請求項１５に記載の方法。
17. 前記異方性空間フィルタリングの前記カットオフ周波数は、画像サイズ削減の方向に直交した方向がより低い、請求項１６に記載の方法。
18. 前記ピクセルシフト値は、削減されたサイズの画像を形成するのに使用されることに先立ち時間フィルタリングされる、請求項５に記載の方法。
19. 前記時間フィルタは、動き補償される、請求項１８に記載の方法。
20. 画像のサイズを変更する方法であって、前記画像を表すピクセルのセットは、該ピクセルのセットのサブセットを含む、前記画像の対向するエッジ上の点の間の低空間周波数エネルギー経路を見つけるために処理され、前記ピクセルのサブセットの全空間周波数エネルギーは、その値が求められ、前記経路上に位置する前記画像の部分に適用される１次元の拡大又は縮小の大きさを求めるのに使用される、方法。
21. 前記全空間周波数エネルギー値は、前記画像のピクセル表現に適用されるピクセルシフト値のセットを導出するのに使用される、請求項２０に記載の方法。
22. 前記全空間周波数エネルギー値は、前記ピクセルシフト値のセットを導出するのに使用される前に非線形関数によって変更される、請求項２１に記載の方法。
23. ピクセルベースの画像のシーケンスを処理して前記画像のアスペクト比を変更する方法であって、
    各ピクセルにおける又は各ピクセルの周囲における画像エネルギーの測定値を提供するステップと、
    各画像について、該画像の一方のエッジから該画像の異なるエッジへ該画像の両端に伸びる連続的なピクセルの低エネルギー経路を識別するステップであって、或る画像における経路のロケーションに関する情報は、前記シーケンスの次の画像における経路の識別で使用される、識別するステップと、
    前記連続的なピクセルの低エネルギー経路を除去又は複製することによって各画像の前記アスペクト比を変更するステップと、
    を含む、方法。
24. 各画像について連続的なピクセルの低エネルギー経路を識別する前記ステップは、経路に沿って測定されたエネルギーの合計が最小である経路を識別することを含む、請求項２３に記載の方法。
25. 経路に沿って測定されたエネルギーの合計が最小である経路を識別する前記ステップは、前記経路に沿って測定された累積エネルギーを最小にするように前記経路の次のピクセルを選択する繰り返しステップを含む、請求項２３に記載の方法。
26. 前記画像の両端にわたって共通の方向に伸びる複数の経路が、ランク順に識別され、或る画像における経路のロケーションに関する情報は、前記シーケンスの次の画像において同じランク順を有する経路の識別で使用される、請求項２３に記載の方法。
27. 請求項１〜２６のいずれか一項に記載の方法を実行するように構成及び適合される装置。
28. 請求項１〜２６のいずれか一項に記載の方法を実施するための命令を含むコンピュータソフトウェア製品。

Images