JP2012507923A - 補間強化シーム操作に基づく画像サイズ変更方法及びシステム - Google Patents

Abstract

コンテンツ認識シーム操作を用いた画像のサイズ変更の方法及びシステムは、コンテキスト的に需要でない情報を規定する低エネルギーシームを規定するステップ（１０２）と、一次元多様性に基づいてこれらの情報を補間に使用するステップ（１０４）を含む。この補間は、画像に結合させられて平滑かつ連続的な特徴を呈するコンテンツ認識サイズ変更画像をもたらすことができる新しいシーム及び／又は再生成された画素を生成することができる。

Description

本発明は、全体として画像サイズ変更に関し、より詳細には、シーム操作を使用した画像サイズ変更方法及びそのシステムに関する。

画像サイズ変更の従来の方法は、その内容に関係なく画像の拡大縮小することを伴うものであった。このような方法を用いて画像のサイズを減少させることは、画像内の物体をしばしば認識不能にしてしまう。結果として、技術は、画像の重要でない特徴を無視しつつ、サイズ変更において画像のコンテキスト的（contextually）に重要な特徴を維持するように開発されてきた。

このような技術の１つは、サイズ変更操作において、シーム操作（seam operation）を用いて画像内のコンテキスト的に重要でない特徴を認識する。非特許文献１には、シーム操作が記載されており、この操作において、低エネルギーシーム（low-energy seams）が規定されて除去され、画像サイズが縮小されている。非特許文献１において、シームは、画像の最上部から最下部に垂直に伸長するか、又は画像の左側部から右側部に水平に伸張する８連結曲線（8-connected curve）として規定されている。画素に関するエネルギーマップは予め計算されており、エネルギーは、明度・彩度勾配（gradient intensity）として規定されるか又は他のエネルギー評価基準として規定される。水平方向及び／又は垂直方向で最も低いエネルギー曲線がダイナミックプログラミング（dynamic programming）によって判定される。重要な画像コンテンツは当該画像の低エネルギーセクション内には表示される可能性が低いので、画像のサイズを小さくするために、最も低いエネルギー曲線が除去される。画像のサイズの拡大は、シーム挿入によって同様に行うことができる。

非特許文献１において説明されているシーム操作は、コンテンツ認識を実現し、画像がサイズ変更される際に重要な物体又は背景を維持することができる。さらに、シームが画像の高さ及び／又は幅に亘って伸長している故に、サイズ変更操作において画像サイズは一様に変更される。

しかし、公知のシーム操作がコンテンツ認識性を維持する場合、シームが画像サイズ変更に対して大量に除去されるか又は追加されるほど、不連続性又は急激な変化がもたらされる。必然的に、画像が徐々に縮小するとさらに高いエネルギーシームが除去され、コンテンツの細部が失われる。同様に、画像が拡大される場合、追加されたシームは、周囲の画像特徴と効果的に関連しているコンテンツの細部を適切に含まない。

Avidan, Shai and Shamir, Ariel著, Seam Carving for Content-Axare Image Resizing, SIGGRAPH’07 Session Image Slicing & Stretching, 2007.

本発明の様々な実施形態による方法、装置及びシステムは、補間法を含む方法及びシステムを提供して連続性及び平滑さを画像のサイズ変更において維持することを保証することによって、従来技術の欠点を解決することに少なくとも部分的に関連している。

本発明の１つの実施形態において、画像のサイズ変更の方法は、画像内で低エネルギーシームを規定するステップと、低エネルギーシームに隣接するシームを判定するステップと、隣接するシームを新しいシーム内に補間するステップと、当該新しいシームを画像に結合させて画像のサイズを変更するステップとを含む。

本発明の代替実施形態において、画像をサイズ変更するシステムは、画像内で低エネルギーシームを規定して当該低エネルギーシームに隣接するシームを判定する低エネルギーシーム検出モジュールと、隣接するシームを新しいシーム内に補間する補間器と、当該新しいシームを画像に結合させて画像をサイズ変更する再生成器とを含む。

本発明の教示は、添付の図面とともに以下の詳細な説明を検討することによって容易に理解することができる。

本発明の実施形態に従い低エネルギーシームに隣接するシームの補間を行って画像をサイズ変更する方法のハイレベルフロー図である。 本発明の実施形態に従った一次元多様性に基づいた水平方向シームに対するシーム操作及びシーム補間を示す画素エネルギーマップ図である。 本発明の実施形態に従った水平方向シーム帯に対するシーム操作及びシーム補間を示す画素エネルギーマップ図である。 本発明の実施形態に従い低エネルギーシーム内の画素を囲む周辺画素内の画素に隣接する画素を補間することによって画像をサイズ変更する方法のハイレベルフロー図である。 本発明の実施形態に従った画像をサイズ変更するシステムのハイレベルブロック図である。

添付の図面は、本発明の概念を例示するためのものであり、本発明を説明するにあたって唯一可能な構成では必ずしも無いことが理解されるべきである。理解を容易にするために、同一の参照符号は、可能な限り図面間で共通な同一の要素を示す。

本発明の実施形態は、本発明の様々な実施形態に従った補間強化シーム操作を用いることによって画像のサイズを変更する方法及びシステムを有利に提供する。本発明は、画像サイズ変更システムに関して主に説明されるが、本発明の特定の実施例は、本発明の範囲を限定するものとして扱われるべきではない。本発明の概念は、他のタイプのデータ表示にも有利に適用され得ることが当業者によって理解されかつ本発明の教示によって認識されるだろう。例えば、本発明の概念は、ビデオファイル内に含まれる画像にも実施することができる。

図面に示されている様々な要素の機能は、専用のハードウェアの使用によって、及び適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用によってもたらすことができる。機能がプロセッサによってもたらされる場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個別のプロセッサによってもたらすことができ、これらのいくつかを共有することができる。さらに、「プロセッサ」又は「コントローラ」の語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に言及すると解釈されるべきではなく、限定するものではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、及び不揮発性記憶装置を非明示的に含むことができる。さらに、本発明の原理、特徴及び実施例、並びにこれらの特定の例を列挙する本明細書内の全ての記述は、これらの構造的及び機能的均等物を含むことが意図されている。さらに、これらの均等物は、現在知られている均等物及び将来開発される均等物（すなわち、開発され、構造に関わらず同一の機能を発揮する全ての要素）の両方を含むことが意図されている。

従って、例えば、本明細書において示されているブロック図が本発明を具体化している例示のシステムコンポーネント及び／又は回路の概念を示していることが、当業者に理解されるだろう。同様に、全てのフローチャート、フロー図、状態遷移図、擬似コード等が、コンピュータ可読媒体内に実質的に表されてコンピュータ又はプロセッサによって実行することができる（コンピュータ又はプロセッサが明示的に示されていなくても）様々な処理を示すことが理解されるだろう。

様々な視点を通して同様の参照符号が同様又は同一の要素を特定する図面を、図１及び図２から詳細に参照すると、本発明の実施形態に従った補間強化シーム操作を使用した画像のサイズ変更の例示の方法１００が示されている。本発明の特徴は、本明細書において各々が画素に対応する四角形の列によって示されている画像に関して説明されている。しかし、他の画像部分サイズ及び画像部分構成も本発明の様々な実施形態において使用することができることが留意されるべきである。従って、本明細書における「画素」の語の使用は、他の適切な画像部分サイズ及び画像部分構成を包含する。

本発明の１つの実施形態において、方法１００は、画像のサイズを縮小するために実施することができる。方法１００は、ステップ１０２で開始し、ステップ１０２において、上述のように画像内の低エネルギーシームが規定される。すなわち、シームが、画像の最上部から最下部に垂直に伸長するか又は画像の左側部から右側部に水平に伸長する８連結曲線として規定される。本発明によれば、画素エネルギーマップが予め計算され、エネルギーは明度・彩度勾配として規定されるか、又は他のエネルギー評価基準として規定される。低エネルギーシームは、サイズ変更される画像のシームの中で最も低いエネルギーを有するシームを含むことができる。例えば、１つの実施形態において、低エネルギーシームは、画像において最も低い水平方向一次元多様性を有することができ、８連結特性を充足する。従来のシーム操作サイズ変更法において、低エネルギーシームは、単に除去されて、その下にある画素が１画素分持ち上げられていたので、急減な変化及び不連続性がもたらされていた。本発明による画像のサイズ変更において連続性及び平滑差を保証するために、隣り合うシーム及び画素を本発明の１又は複数の態様によって補間することができる。例えば、その後、方法はステップ１０４に進むことができる。

ステップ１０４において、低エネルギーシームに隣接するシームが判定される。例えば、水平シームに関して、ステップ１０２において判定された低エネルギーシームを、方程式（１）に従ってデジタル化された曲線として規定することができる。方程式（１）以下の通りである。

ここで、Ｓ_Hは水平シーム、ｔはシーム上の点のセット、（ｘ_i，ｙ_i）は点ｔ_iの座標、ｗは画像の幅であり単位は画素である。方程式（１）に示されているように、低エネルギーシームは、ｗ画素からなっている。低エネルギーシームの例は、薄く影付けされた部分として図２の破線部２０２内に示されている。低エネルギーシームに隣接するシームは、方程式（２）に示されている以下の関係によって判定することができる。方程式（２）は以下の通りである。

ここで、Ｓ_Hnは隣接水平シーム、ｔ_nは隣接シーム上の画素のセット、（ｘ_ni，ｙ_ni）は、点ｔ_niの座標、（ｘ_i，ｙ_i）は低エネルギーシーム上の画素の座標、ｗは画像の幅であり単位は画素である。従って、２つの隣接するシームが方程式（２）の関係を充足し、一方の隣接シームは、低エネルギーシーム画素と同一の列内で低エネルギーシーム画素の直上にある画素のセットであり、他方の隣接シームは、低エネルギーシーム画素と同一の列内で低エネルギーシーム画素の直下にある画素の第２のセットである。図２に示されているように、シーム２０４及び２０６は、隣接する水平シームに対応している。

同様に、低エネルギー垂直シームに隣接している垂直シームは、ステップ１０４にて判定することができる。例えば、垂直シームに関して、ステップ１０２において判定された低エネルギーシームを、方程式（３）に従ってデジタル化された曲線として規定することができる。方程式（３）は以下の通りである。

ここで、Ｓ_Vは垂直シーム、ｒはシーム上の点のセット、（ｘ_i，ｙ_i）は点ｒ_iの座標、ｈは画像の高さであり単位は画素である。垂直低エネルギーシームに隣接するシームは方程式（４）に従って判定することができる。方程式（４）は以下の通りである。

ここで、Ｓ_Vnは隣接シーム、ｒ_nは隣接シーム上の画素のセット、（ｘ_nj，ｙ_nj）は点ｒ_njの座標、（ｘ_j，ｙ_j）は低エネルギーシーム上の画素の座標、ｈは画像の高さであり、単位は画素である。水平シームの例と同様に、２つシームは方程式（４）を充足し、一方の隣接シームは、低エネルギーシーム画素と同一の行内で低エネルギーシーム画素の直右にある画素のセットであり、他方の隣接シームは、低エネルギーシーム画素と同一の行内で低エネルギーシーム画素の直左にある画素の第２のセットである。方法１００は、その後ステップ１０６に進む。

ステップ１０６において、隣接シームが補間されて新しいシームを形成することができる。補間が一様な格子において排他的になされる公知の補間法と異なり、本発明の１又は複数の実施形態による補間法は、二次元画像平面内の一次元多様性に基づいている。このようにして、補間はシーム曲線によって規定された格子に基づくことができる。例えば、隣接水平シームに関して、隣接シームが補間されて方程式（５）に従って新しいシームを形成することができる。方程式５は以下の通りである。

ここで、Ｐは補間に関与する画素の数、λ_kは水平低エネルギーシームに隣接する画素ｔ_nkの各々に対する重み付け係数、ｔ_i′は新しいシームに対応する画素のセットである。重み付け係数λ_kは、方程式（６）に従って、隣接画素のエネルギーｅ_k及びｔ_i′に対応する低エネルギーシーム上の画素ｔ_iへの距離ｄ_kの関数として規定することができる。方程式（６）は以下の通りである。

ここで、ｆ（）はｅ_jの単調増加関数であり、かつｄ_kの単調増加関数である。本発明の実施形態によれば、関数ｆ（）の単純な例は、方程式（７）によって特徴付けることができる。方程式（７）は以下の通りである。

同様に、垂直シームに関して、隣接シームが補間されて方程式（８）に従って新しいシームを形成することができる。方程式（８）は以下の通りである。

ここで、Ｐは補間に関与する画素の数、λ_kは、上述のように、垂直低エネルギーシームに隣接する画素ｒ_nkの各々に対する重み係数、ｒ_i′は新しいシームに対応する画素のセットである。

隣接シームの補間によって形成される新しいシームの例は、シーム２０８として図２に示されており、シーム２０８はシーム２０４及び２０６内の隣接する６つの画素の重み付けされた平均である。方法１００は、その後ステップ１０８に進むことができる。

ステップ１０８において、補間によって形成された新しいシームが画像に結合させられる。画像のサイズが縮小される本発明の実施形態によれば、低エネルギーシームを新しいシームに置換することができる。方法１００は、その後ステップ１１０に進むことができる。

ステップ１１０において、隣接シームの中で最も低いエネルギーを有する隣接シームが除去される。例えば、最も低いエネルギーを有する隣接水平シームの除去は、画像高さをｈ−１に減少させることができる。同様に、最も低いエネルギーを有する隣接垂直シームの除去は、画像幅をｗ−１（単位は画素）に減少させることができる。２つの隣接シームのエネルギーは、予め演算されているエネルギーマップから計算可能である。低エネルギーシームを単純に除去するのと異なり、本発明の上述の実施形態によって結合された新しいシームの故に、連続的で平滑な画像が維持される。方法は、その後ステップ１１２に進むことができる。

ステップ１１２において、画像が所望のサイズであるかが判定される。画像が所望のサイズである場合、その後方法１００は終了することができる。しかし、画像が所望のサイズではないなら場合、方法はステップ１１４に進むことができる。

ステップ１１４において、新しいシームのエネルギーが更なる処理のために計算されて、画像を所望のサイズに再構成することができる。すなわち、その後、ステップ１０２−１１２を再度行うことができる。

本明細書に記載の本発明の実施形態に従ったプロポーショナルな（proportional）態様にて画像をサイズ変更するために、水平及び垂直方向サイズ変更を行うことができる。例えば、本発明の１つの実施形態において、所望のサイズに至るまで、方法１００が水平及び垂直シーム間で行うことができ、かつ本発明の補間操作を行うことができる。

方法１００が画像のサイズの縮小に関して説明されてきたが、方法１００は、本発明の代替実施形態に従って画像のサイズを増大するためにも使用することができる。例えば、画像のサイズを増大させる本発明の実施形態において、ステップ１０２−１０６を上述のように行うことができる。方法１００は、その後ステップ１０８に進む。

ステップ１０８において、補間から形成された新しいシームが画像に結合させられる。この実施形態において、新しいシームは、低エネルギーシームに隣接した位置に追加されて水平方向サイズ変更が行われる場合には画像高さをｈ＋１に増加させることができ、垂直方向サイズ変更が行われる場合には画像幅をｗ＋１に増加させることができる。その後、ステップ１１０をスキップすることができ、ステップ１１２及びステップ１１４を上述のように実行することができる。

図１を参照しつつ図３を参照すると、本発明の代替実施形態において、低エネルギーシームがシーム帯を含むことができる。すなわち、シーム幅が１画素であり、かつ異なったシームの区画分けが個別的に行われている場合、シーム操作が拡張演算を含むことができる。例えば、シームの規定は、全体最適化法ダイナミックプログラミングスキームに基づいた大量演算を使用して見出すことができる。画像のサイズ変更に使用される計算を減らすために、低エネルギーシーム及び／又は隣接シームは、１画素より大きい幅に対応することができる。シーム帯の例は、２つの薄い影付き部として図３の破線部３０２内に示されている。

上述のように、低エネルギーシームは、水平方向又は垂直方向において、画像内で最も低いエネルギーを有する一次元多様性であることができる。画像の連続性の故に、１画素の幅を有するシーム周りの隣接領域は、低いエネルギーを有する高い可能性を有する。従って、本発明の１つの実施形態によれば、本発明に従い、かつ本明細書内に説明されている補間方法を使用することによって画像の連続性及び平滑さを維持しつつ、シーム帯が除去されるか又は追加されてサイズ変更処理を促進することができる。

図３を参照しつつ再度図１を参照して、本明細書において、シーム帯を用いた画像縮小処理が説明される。ステップ１０２において、低エネルギーシームが規定される。この実施例において、低エネルギーシームは水平シーム帯に関してはＮ＋１の幅、垂直シーム帯に関してはＭ＋１の幅（単位は画素）を有するシーム帯を含む。シーム帯の幅は、サイズ変更される画像の所望の品質に従って判定される。シーム帯の中央シームは、サイズ変更される画像のシームの中で最も低いエネルギーを有するシームに対応することができる。例えば、中央シームは、上述のように、水平シームに関しては方程式（１）によって規定することができ、垂直シームに関しては方程式（３）によって規定することができる。水平シーム帯は、中央シームに加えて、方程式（９）を充足する画素によって規定することができる。方程式（９）は、以下の通りである。

ここで、中央シームは方程式（１）によって規定され、ｔ_Bは中央シーム及びシーム帯上の画素のセットであり、（ｘ_Bi，ｙ_Bi）は点ｔ_Biの座標であり、（ｘ_i，ｙ_i）は中央シーム上の画素の座標であり、ｗは画像の幅であって単位は画素であり、シーム帯の幅はＮ＋１であって単位は画素である。同様に、垂直シーム帯も、中央シームに加えて、方程式（１０）を充足する画素によって規定することができる。方程式（１０）は、以下の通りである。

ここで、中央シームは方程式（３）によって規定され、ｒ_Bは中央シーム及びシーム帯上の画素のセットであり、（ｘ_Bj，ｙ_Bj）は点ｒ_Bjの座標であり、（ｘ_j，ｙ_j）は中央シーム上の画素の座標であり、ｈは画像の高さであって単位は画素であり、シーム帯の幅はＭ＋１であって単位は画素である。

従って、水平シーム帯に関して、シーム帯は、同一の列においてシーム帯の中央シームの各々の画素のＮ／２画素上にかつ同一の列においてシーム帯の中央シームの各々の画素のＮ／２画素下に輪郭を形成することができる。同様に、垂直シーム帯に関して、シーム帯は、同一の行においてシーム帯の中央シームの各々の画素のＭ／２画素右にかつ同一の行においてシーム帯の中央シームの各々の画素のＭ／２画素左に輪郭が形成される。上述のように、図３のシーム帯３０２は、水平シーム帯の１つの例である。図３のシーム帯３０２に関して、Ｎは２である。

ステップ１０４において、低エネルギーシームに隣接するシームが判定される。水平シーム帯に対して、低エネルギーシームに隣接するシームは、方程式（１１）によって規定することができる。方程式（１１）は、以下の通りである。

ここで、Ｂ_Hnは隣接シームであり、ｔ_Bnは隣接シーム上の画素のセットであり、（ｘ_Bni，ｙ_Bni）は点ｔ_Bniの座標であり、（ｘ_i，ｙ_i）は低エネルギーシームの中央シーム上の画素の座標であり、ｗは画像の幅であって単位は画素であり、低エネルギーシームの幅はＮ＋１である。２つの隣接シームは方程式（１１）の関係を充足し、一方の隣接シームは、低エネルギーシーム画素と同一の列において低エネルギーシームの直上の画素のセットであり、第２の隣接シームは、低エネルギーシーム画素と同一の列において低エネルギーシームの直下の画素のセットである。図３に示しているように、シーム３０４及び３０６は、隣接シームに対応する。

垂直シーム帯に関して、垂直低エネルギーシームに隣接しているシームは、方程式（１２）に従って判定される。方程式（１２）は以下の通りである。

ここで、ここで、Ｂ_Vnは隣接シームであり、ｒ_Bnは隣接シーム上の画素のセットであり、（ｘ_Bnj，ｙ_Bnj）は点ｒ_Bnjの座標であり、（ｘ_j，ｙ_j）は低エネルギーシーム上の画素の座標であり、ｈは画像の高さであって単位は画素であり、低エネルギーシームの幅はＭ＋１である。水平シームの例と同様に、２つの隣接シームは方程式（１２）の関係を充足し、一方の隣接シームは、低エネルギーシーム画素と同一の行において低エネルギーシームの直右の画素のセットであり、第２の隣接シームは、低エネルギーシーム画素と同一の行において低エネルギーシームの直左の画素のセットである。

ステップ１０６において、隣接シームが補間されて新しいシームが形成される。例えば、方程式５、６及び８が用いられて新しいシームを形成することができ、ｔ_nkはｔ_Bnkで置換されかつｒ_nkはｒ_Bnkによって置換される。例えば、方程式５、６及び／又は８の適用の結果、方程式６は、１画素のシーム幅を有するシームを形成可能である。図３内のシーム３０８は、シーム３０４及び３０６の補間によって形成される新しいシームの一例である。

ステップ１０８において、補間によって形成された新しいシームが画像に結合される。画像のサイズが縮小させられる本発明の実施形態によれば、新しいシームは低エネルギーシームと置き換わることが可能である。ここで、低エネルギーシームは１画素よりも大きい幅を有するシーム帯である。従って、シーム帯を新しいシームに置換することは、画像のサイズを、水平シーム操作に関してはｈ−２画素に縮小し、垂直シーム操作に関してはｗ−２に縮小する。

任意的に、ステップ１１０において、隣接シームの中で最も低いエネルギーを有する隣接シームが除去される。従って、ステップ１１０が実行される場合、画像サイズは、水平シーム操作に関してはｈ−３画素に縮小し、垂直シーム操作に関してはｗ−３画素に縮小する。

ステップ１１２及び１１４は、上述のように実行される。この方法は、所望の画像サイズに達するまで繰り返すことができる。

さらに、記載されている本発明の方法が使用されて、シーム帯を含む低エネルギーシームを用いて画像のサイズを増大させることができる。例えば、ステップ１０２−１０６を上述のように実行することができる。その後、方法はステップ１０８に進むことができる。

ステップ１０８において、補間によって形成された新しいシームが画像に結合させられる。例えば、１画素幅の新しい水平シームが足し合わされて、幅Ｎ＋１の水平シーム帯を形成することができる。同様に、１画素幅の新しい垂直シームが足し合わされて、垂直シーム帯幅Ｍ＋１のシーム帯を形成することができる。図３を参照すると、新しい水平シーム３０８が足し合わされて３の幅になり、水平シーム３１０を形成することができ、水平シーム３１０は、３つの平行かつ同等なシーム３１０−１、３０８及び３１０−２を含む。さらに、画像サイズを増加させるために、シーム３１０の幅は、隣接シーム３０４と３０８との間に新しいシーム３０８と同等な複数の平行シームを加えることによって増大させることができる。従って、水平サイズ変更が実行された場合、新しいシームの幅はＮ＋ａに調整されて、画像高さがｈ＋（ａ−１）に増大させられる。同様に、垂直サイズ変更が実行された場合、新しいシームの幅がＭ＋ｂに調整されて、画像幅がｗ＋（ｂ−１）に増大させられる。

その後、ステップ１１０がスキップされて、ステップ１１２及び１１４を上述のように実行することができる。

本発明の代替実施形態によれば、補間は、画像のサイズ変更のためにシーム操作が使用された後に実行することができる。

図４を参照すると、本発明の実施形態に従った画像のサイズ変更の例示の方法のハイレベルフロー図が示されている。この方法は、ステップ４０２で開始し、ステップ４０２において、画像内の低エネルギーシームが上述のように規定される。低エネルギーシームは、１画素幅であることができ、及び／又はシーム帯であることができる。その後、方法はステップ４０４に進む。

ステップ４０４において、低エネルギーシーム内の各々の画素を囲む周辺画素が判定される。例えば、本発明の１つの特定の実施形態において、周辺画素は、シーム内の画素を中心とする３×３の正方形によって規定することができる。さらに、周辺画素内の画素を表すバイナリマップを生成することができる。例えば、１つのバイナリマップを水平シームに関して生成することができ、１つのバイナリマップを垂直シームに関して生成することができる。その後、方法はステップ４０６に進む。

ステップ４０６において、画像をサイズ変更することができる。例えば、画像サイズが減少させられる場合、その後、低エネルギーシームを除去することができる。画像サイズが増大させられる場合、その後、低エネルギーシームの複製を低エネルギーシームの隣に追加することができる。例えば、低エネルギーシームが水平シームである場合、その後、複製画素を低エネルギーシーム内の画素と同一の列において低エネルギーシーム内の画素の直上又は直下に追加することができる。低エネルギーシームが垂直シームである場合、その後、複製画素を低エネルギーシーム内の画素と同一の行において低エネルギーシーム内の画素の直右また直左に追加することができる。さらに、２以上の複製が画像に追加されて、画像サイズを増加させることができる。その後、方法はステップ４０８に進む。

ステップ４０８において、周辺画素各々の画素の各々が、それぞれの隣接する画素を補間することによって再生成される。例えば、上述のように、バイナリマップが生成されて、低エネルギーシーム内の画素の各々を囲む周辺画素内の画素を表すことができる。隣接画素は「１」と設定することができ、非隣接画素は「０」と設定することができる。従って、隣接画素の各々に関して、隣接画素は、１つの実施形態によれば、方程式（１３）及び（１４）に従って、サイズ変更された画像Ｉ（ｌ，ｍ）に再生成することができる。方程式（１３）及び（１４）は、以下の通りである。

ここで、ＭＡＰ_v（ｌ，ｍ）及びＭＡＰ_h（ｌ，ｍ）は、垂直及び水平バイナリマップを各々表す。再生成された画素は、内容認識（content-aware）サイズ変更画像内の対応する画素と置換されて、平滑で連続的な画像が形成される。方法はステップ４１０に進む。

ステップ４１０において、画像が所望のサイズであるかが判定される。画像が所望のサイズである場合、その後、方法を終了することができる。しかし、画像が所望のサイズでない場合、方法はステップ４１２に進むことができる。

ステップ４１２において、再生成された画素のエネルギーを、所望のサイズに画像を構成するための更なる処理のために計算することができる。すなわち、従って、ステップ４０２−４１０を再度行うことができる。

上述のように、本発明の様々な実施形態において、プロポーショナルな態様にて画像をサイズ変更するために、水平方向及び垂直方向両方のサイズ変更を行うことができる。例えば、１つの適切な構成は、水平シームと垂直シームとの間の本発明の上述の方法、方法４００、の機能、及び所望のサイズに達するまでの補間操作の機能を変更することである。

図１及び図４を参照しつつ図５を参照すると、本発明の実施形態に従って画像をサイズ変更するシステム５００が示されている。図５のシステム５００は、低エネルギーシーム検出モジュール５０２、エネルギーマップ生成器５０４、補間器５０６、及び画像再生成器５０８を一例として含んでいる。本発明の様々な実施形態において、システム５００は、ソフトウェアを実行する１又は複数のプロセッサにおいて使用することができる。例えば、本発明の１つの実施形態において、システム要素の各々は、対応するメモリをともなう１又は複数のプロセッサにおいて実行されるソフトウェアコンポーネントとすることができる。

本発明の実施形態によれば、画像を含む入力５０２を、低エネルギーシーム検出モジュール５０４に提供することができる。低エネルギーシーム検出モジュール５０４は、ステップ１０２及び４０２に関して上述されたように、画像の低エネルギーシームを判定可能である。低エネルギーシームの規定を補助するために、低エネルギーシーム検出モジュール５０４は、エネルギーマップ生成器５０６を使用して、画像の１又は複数のエネルギーマップを生成可能である。さらに、低エネルギーシーム検出モジュール５０４は、ステップ１０４に関して上述されたように、低エネルギーシームに隣接するシームを判定可能であり、及び／又はステップ４０４に関して上述されたように、低エネルギーシームを囲む周辺画素を判定可能である。その後、低エネルギーシーム、隣接シーム及び／又は低エネルギーシームを囲む周辺画素内の画素のエネルギー値及び画素明度情報は、補間器５０８に提供することができる。さらに、低エネルギーシーム検出モジュール５０４は、画像再生成器５１０に、画像のどこに低エネルギーシームが位置しているかの指示、並びに画像内の隣接シームの位置及び／又は画像内の周辺画素の位置の指示を、それらの対応するエネルギー値とともに提供可能である。

低エネルギーシーム検出モジュール５０４からのエネルギー値及び画素明度情報の受信の後、補間器５０８は、ステップ１０６に関して上述されたように、隣接シームを補間して新しいシームを形成可能である。さらに、補間器５０８は、ステップ４０８に関して上述されたように、低エネルギーシーム内の画素を囲む周辺画素内の画素に隣接する画素を補間可能である。画素明度情報及び画素距離が低エネルギーシーム検出モジュール５０４から受信可能であることに留意すべきである。代替的に、画素明度情報及び画素距離は、例えば、低エネルギーシーム検出モジュール５０４から受信することができる入力５０２の画像から補間器５０８によって判定することができる。補間に続いて、新しいシーム及び／又は低エネルギーシーム内の画素を囲む周辺画素の画素明度情報を、画像再生成器５１０に提供することができる。

画像再生成器５１０は、画像５０２を受信可能である。上述のように、画像再生成器５１０も、低エネルギーシーム、隣接シーム及び／又は低エネルギーシームを囲む周辺画素の位置を、それらの対応するエネルギー値とともに、低エネルギーシーム検出モジュール５０４から受信可能である。さらに、上述のように、新しいシームの画素明度情報及び／又は低エネルギーシーム内の画素を囲む周辺画素の画素明度情報を、補間器５０８から受信することができる。低エネルギーシーム検出モジュール５０４及び補間器５０８から受信されたデータを使用して、画像再生成器は、ステップ１０８及び１１０に関して上述されたように、新しいシームを画像に追加し、任意的に最も低いエネルギーを有する隣接シームを除去する。さらに、画像再生成器５１０は、ステップ４０６及び４０８に関して上述したように、画像サイズを変更しかつ低エネルギーシーム内の画素を囲む周辺画素内の画素を再生成可能である。

その後、画像再生成器５１０は、サイズ変更され及び／又は再生成された画像が所望のサイズであるかを判定することができる。画像が適切なサイズである場合、その後、サイズ変更され及び／又は再生成された画像は、画像再生成器５１０によって、例えばライン５１２に沿って出力される。そうでない場合、画像再生成器５１０は、サイズ変更され及び／又は再生成された画像を低エネルギー検出モジュール５０６及び／又は補間器５０８に送信することができ、低エネルギーシーム検出モジュール５０６及び補間器５０８を動作させて、方法１００及び／又は４００に関して上述したように、画像が適切なサイズになるまで、上記のように本発明の実施形態の方法を再度行わせることができる。本発明の方法が再度行われた場合、低エネルギーシーム検出モジュール５０４は、ステップ１１４及び／又は４１２に関して上述されたように、エネルギーマップ生成器５０６を使用して新しいシーム及び／又は再生成された画素のエネルギーを計算可能である。

補間強化シーム操作等（例示であって限定するものではない）に基づいた画像サイズ変更の方法及びシステムの実施形態が説明されてきたが、変形例及び変更例は上述の教示に照らして、当業者によって想到され得ることに留意する。従って、変更は、添付の特許請求の範囲によって画定されている本発明の範囲及び精神内にある開示された本発明の特定の実施例において行われ得ることが理解される。上述の内容は本発明の様々な実施例に関するものであるが、本発明の他の及び更なる実施例が本発明の基本的な範囲から逸脱することなく考え出され得る。

Claims (20)

1. 画像のサイズを変更する方法（１００）であって、
   前記画像内の低エネルギーシームを規定するステップ（１０２）と、
   前記低エネルギーシームに隣接するシームを判定するステップ（１０４）と、
   前記隣接するシームを新しいシーム内に補間するステップ（１０６）と、
   前記画像のサイズを変更するために前記新しいシーム及び前記画像を結合するステップ（１０８）と
   を含むことを特徴とする方法。
2. 前記結合するステップ（１０８）は、前記低エネルギーシームを前記新しいシームに置換するステップを含むことを特徴とする請求項１に記載の方法。
3. 他の全ての隣接するシームのエネルギー値よりも低いエネルギー値を有する隣接するシームを除去して前記画像のサイズを縮小するステップ（１１０）をさらに含むことを特徴とする請求項２に記載の方法。
4. 前記結合するステップ（１０８）は、前記画像のサイズを増大させることを特徴とする請求項１に記載の方法。
5. 前記低エネルギーシームは、シーム帯を含むことを特徴とする請求項１に記載の方法。
6. 前記結合するステップ（１０８）は、前記低エネルギーシームを前記新しいシームで置換するステップを含むことを特徴とする請求項５に記載の方法
7. 他の全ての隣接するシームのエネルギー値よりも低いエネルギー値を有する隣接するシームを除去して前記画像のサイズを縮小するステップ（１１０）をさらに含むことを特徴とする請求項６に記載の方法。
8. 前記結合するステップ（１０８）は、前記画像サイズを減少させることを特徴とする請求項１に記載の方法。
9. 画像のサイズを変更する方法（４００）であって、
   前記画像内で低エネルギーシームを規定するステップ（４０２）と、
   前記低エネルギーシーム内の画素の各々を囲む周辺画素を判定するステップ（４０４）と、
   前記画像のサイズを変更するステップ（４０６）と、
   再生成されるべき画素に隣接する画素を補間することによって周辺画素の各々の中にある少なくとも１つの画素を再生成するステップ（４０８）と、
   を含むことを特徴とする方法。
10. 前記サイズを変更するステップ（４０６）は、前記低エネルギーシームを除去して前記画像のサイズを縮小するステップを含むことを特徴とする請求項９に記載の方法。
11. 前記サイズを変更するステップ（４０６）は、前記低エネルギーシームに隣接する位置に前記低エネルギーシームの複製を追加することによって前記画像のサイズを増大させるステップを含むことを特徴とする請求項９に記載の方法。
12. 前記判定するステップ（４０４）は、水平シームのバイナリマップ及び垂直シームのバイナリマップを生成するステップを含むことを特徴とする請求項９に記載の方法。
13. 前記低エネルギーシームは、シーム帯であることを特徴とする請求項９に記載の方法。
14. 画像のサイズを変更するシステム（５００）であって、
    前記画像内の低エネルギーシームを規定して前記低エネルギーシームに隣接するシームを判定する低エネルギーシーム検出モジュール（５０４）と、
    前記隣接するシームを新しいシーム内に補間する補間器（５０８）と、
    前記新しいシームを前記画像に結合して前記画像のサイズを変更する画像再生成器（５１０）と、
    を含むことを特徴とするシステム。
15. 前記画像再生成器（５１０）は、さらに、前記新しいシームを前記画像に結合する際に前記低エネルギーシームを前記新しいシームに置換することを特徴とする請求項１４に記載のシステム。
16. 前記画像再生成器（５１０）は、さらに、他の全ての隣接するシームのエネルギー値よりも低いエネルギー値を有する隣接するシームを除去して前記画像のサイズを縮小することを特徴とする請求項１５に記載のシステム。
17. 前記画像再生成器（５１０）は、さらに、前記新しいシームを前記画像に追加することによって前記画像のサイズを増大させることを特徴とする請求項１４に記載のシステム。
18. 前記低エネルギーシームがシーム帯を含んでいることを特徴とする請求項１４に記載のシステム。
19. 前記画像再生成器（５１０）は、さらに、前記低エネルギーシームを前記新しいシームで置換することを特徴とする請求項１８に記載のシステム。
20. 前記画像再生成器（５１０）は、さらに、他の全ての隣接するシームのエネルギー値よりも低いエネルギー値を有する隣接するシームを除去して前記画像のサイズを縮小することを特徴とする請求項１８に記載のシステム。

Images