JP2012513719A - 画像スケーリング曲線の生成 - Google Patents

Abstract

本発明は、画像をスケーリングする曲線を生成する方法に関し、局所的な特徴は、受信された画像において検出される。次いで、検出された局所的な特徴は、第一の方向で累積される。最終的なスケーリング曲線は、検出された局所的な特徴から導出され、次いで画像は、導出された画像をスケーリングする曲線を使用することで第二の方向においてリスケーリングが行われる。第二の方向は、第一の方向と実質的に直交する。

Description

本発明は、画像又は画像系列のアスペクト比を修正する画像スケーリング曲線を生成する方法に関する。より詳細には、本方法は、画像における局所的な特徴を検出することに依存する。さらに、本発明は、本方法のステップを実現するための命令を含む対応する装置及びコンピュータプログラムに関する。

ディスプレイ技術の分野における近年の発展では、ディスプレイサイズにおける多様性が見られる。ディスプレイは、低解像度のハンドヘルド装置から高精細のワイドスクリーンTVに変化する。コンピュータ及び通信インフラは、画像及びビデオをこの拡大を続ける潜在的なディスプレイのセットにサポートするように進化している。ビジュアルコンテンツは、ビデオ機能及びホームネットワーク機器と、携帯電話及びハンドヘルドパーソナルコンピュータ（PC）、パーソナルデジタルアシスタント（PDA）のような装置で情報を共有、表現及び交換するために益々重要になっている。異なる装置向けに異なるディメンジョン及びアスペクト比で表示されるために同じコンテンツが必要とされる。スケーリング及びクロッピングの標準的な画像処理方法は、十分ではないことが分かっている。アスペクト比は、画像の幅の画像の高さに対する比率であると理解される。

ビデオファイルを生成又は変換するためにコンピュータを使用することにより、結果として得られるビデオが歪むことがしばしば見られる。これは、経験不足のユーザにより関連するソフトウェアの不適切な動作により通常引き起こされ、TVシステムが正方形でない画素のアスペクト比を使用することを理解するような、コンピュータとビデオに関するかなりの知識を必要とする。

さらに、オーディオビデオインタフェース（AVI）コンテナのような旧式のコンピュータのビデオファイルフォーマットには、アスペクト比の情報を記憶する適切な手段がない。この問題の典型的な例は、たとえばデジタルリビングネットワークアライアンス（DLNA）を介してTVで再生されるコンピュータファイルに変換されるワイドスクリーンのデジタルバーサティルディスク（DVD）である。しばしば、アナモルフィックなワイドスクリーンフォーマットで記憶される。コンピュータファイルへの変換の間に注意が払われない場合、結果として得られる動画は、図１と図２とを比較することで分かるように、再生の間に歪まされることになる。図１は、正しいアスペクト比におけるワイドスクリーンの動画像を例示するものであり、図２は、コンピュータで誤って処理された同じ画像を示す。この図では、登場人物と物体は明らかに歪んでいる。

ワイドスクリーンTVの普及につれて、本来意図された以外のディスプレイにビデオを効率的に表示する効果的な解決策が必要とされている。慣習的に、TVは、「ブラックバー検出“black bar detection”」と呼ばれる方法を実現して、アスペクト比を自動的に調節する。ビデオは、ブラックバーが消失するように垂直にスケーリングされる。これは、特に、現代のワイドスクリーンのフラットTVで行われる。

Brian Schoner等による米国特許第7339627号は、画像を囲んでいるブラックバーに基づいてアスペクト比の修正を行う方法を開示している。市場におけるTVに適用されてる一方で、この方法は、（インターネット番組からダウンロードされた多数のビデオのような）ソースビデオが誤って符号化されている場合、又は16:9のワイドスクリーンTVでさえブラックバーと表示される必要がある、2.35:1動画のアスペクト比における動画について、機能しなくなるという問題を有する。

Philips社のTVでは、「パノラマストレッチ“Panoramic Stretch”」の技術が使用され、画像の境界は、より広いスクリーンを取るように伸張される。本方法が基づいている仮定、すなわち最も本質的な情報は中央のビューにあるという仮定は良好であることがあるが、係る異方性の伸張は最適な解決策ではない場合がある。様々なディスプレイについて効果的なサイズ調整を可能にする良好な方法が望まれる。

アスペクト比の修正は、視聴に適した画像にするのに十分ではない場合がある。イメージ・リターゲティング（Image Retargeting）を起動することもできる。リターゲティングは、考慮において、シーンにおけるコンテンツ、重要なオブジェクトを採取する間、画像をスケーリングする。従って、コンテンツを認識したサイズ調整と呼ばれることがある。所定の実現におけるイメージ・リターゲティングは、はじめに画像のクロッピングを行い、次いでスケーリングを行うことからなる。ビデオ・リターゲティング（Video Retargeting）の問題は、イメージ・ターゲティングよりも困難なものである。動き及びカメラの動きのため、ビデオの重要なアスペクトの決定が困難である。さらに、重要なアスペクトが動的に変化するときに、時間性合成を維持することが要求される。幸いなことに、保存するために重要なものは、非常に良好にモデル化することができる低レベルの視覚的な特徴に高く依存するものであるが、幾つかの場合には、基本的なストーリの高水準の態様に依存することさえある。

コンテンツを認識したアスペクト比の修正又はリターゲティングの提案される従来の方法は、時間整合を通常欠いており、計算的に複雑であり、又は幾つかの場合には許容できない歪みを導入する。

従って、本発明の目的は、画像又はビデオ処理について改善された解決策を提案することで、上述された課題及び問題を克服することにある。

本発明の第一の態様によれば、画像スケーリング曲線を生成する方法が提供される。当該方法は、画像を受信し、受信された画像おける局所的な特徴を検出し、第一の方向において局所的な特徴を累積し、累積された局所的な特徴から画像スケーリング曲線を導出することを含む。導出された画像スケーリング曲線は、第一の方向に実質的に直交する第二の方向における画像のリスケーリング（rescaling）に適している。

従って、本発明は、画像スケーリング曲線を生成する非常に効率的な方法を提供する。さらに、提案される方法は、メタデータに依存するものではない。提案される方法は、ピクチャ（又はビデオ）のアスペクト比又は方向の情報に依存しない。これは、本方法は、画像自身から、重要な物体、領域及び／又は画素を自動的に決定する。本発明は、超ワイドスクリーンTV（21:9）を導入する近年の計画のため、特に興味深い。急進のパノラマストレッチは、旧式のコンテンツをアップスケールするのにもはや十分ではない。他方で、現在の更に進展した文献からの方法は、TV視聴について深刻な欠陥に苦しみ、余りに高価なことがある。

本発明の第二の態様によれば、装置のコンピュータ手段にロードされ、実行されたとき、本発明の第一の態様に係る方法を実現する命令を含むコンピュータプログラムが提供される。

本発明の第三の態様によれば、画像スケーリング曲線を生成する装置が提供される。本装置は、画像を取得する受信機、受信された画像の局所的な特徴を検出する特徴検出器、第一の方向で局所的な特徴を累積するアキュムレータ、局所的な特徴から画像スケーリング曲線を導出する曲線生成器を備える。導出されたスケーリング曲線は、第一の方向とは実質的に直交する第二の方向における画像のリスケーリングに適している。

本発明の他の態様は、独立の請求項に従属する請求項で記載される。

本発明の他の特徴及び利点は、添付図面を参照して、限定するものではない例示的な実施の形態の以下の記載から明らかとなるであろう。
正しいアスペクト比で示されるワイドスクリーンの動画の静止画像を示す図である。 図１と同じ画像であるが、誤って処理された画像を示す図である。 ３つの異なる局所的な拡大曲線を示す図である。 ８つの垂直方向のセクション及び４つの水平方向のセクションに分割される画像を示す図である。 非線形の位置変換曲線の使用を例示する図である。 図５の非線形の位置変換曲線により得られるスケーリングされた画像を示す図である。 アスペクト比の修正を実行可能な本発明の実施の形態に係る装置を例示する簡略化されたブロック図である。 本発明の実施の形態に係る方法を使用することで得られた異なる倍率曲線を示すグラフである。 本発明の実施の形態に係る方法を使用することで得られた異なる倍率曲線を示すグラフである。 本発明の実施の形態に係る方法を使用することで得られた異なる倍率曲線を示すグラフである。 本発明の実施の形態に係る方法を使用することで得られた異なる倍率曲線を示すグラフである。 本発明に係るアスペクト比を変更する第一の実施の形態を例示するフローチャートである。 本発明に係るアスペクト比を変更する第二の実施の形態を例示するフローチャートである。 本発明に係るアスペクト比を変更する第二の実施の形態を例示する別のフローチャートである。

本発明の１実施の形態は、最初のスケーリング曲線のセットを有するという考えに基づいており、次いで、これらの曲線についてコスト値が計算される。個々の曲線の加重平均となるように、実際の画像のスケーリングで使用されるべき新たなスケーリング曲線が計算され、この場合、重みは、上述されたコストに反比例する。従って、ビデオ系列自身を見ることで、システムは、利用可能である場合に間違っている任意のメタデータに依存しない。

図３は、例示的なスケーリング曲線、より詳細には局所的な拡大を示す倍率曲線を示す。これらの曲線は、一定の倍率の乗数をもつ１つの線形スケーリング曲線、負の乗数をもつ１つの線形スケーリング曲線、及びパノラマストレッチングで使用される、いわゆる「バスタブ」曲線である。バスタブ曲線の形状は、画像の中央で１のスケーリングが使用され、倍率は、画像のエッジに向かって増加する。画像の中央で１のスケーリングは、画像の中央での物体は、歪まないままであることを意味する。通常、倍率は、０．５と２．０との間である。

図４，図５及び図６は、非線形のスケーリング曲線、より詳細には位置変換（又はマッピング）の曲線の使用による非線形の画像スケーリング曲線を例示する。位置変換曲線は、倍率曲線の積分（Integral）となる。図４は、等しい幅をもつ８つの垂直方向のセクションと、等しい幅をもつ４つの水平方向のセクションに分割される画像４０１を示す。また、画像の一方のコーナから反対のコーナへのライン４０３が示されている。

図６に示される非線形のスケーリングされた画像６０１に到達するため、非線形の位置変換曲線５０１は、図５に示されるように使用される。図５は、倍率曲線の積分となる、画像スケーリング曲線すなわち位置変換曲線を明らかに示す。水平／垂直方向の倍率曲線は、水平／垂直方向の位置変換曲線となるため、水平／垂直方向の位置にわたり積分される必要がある。この図では、画像のエッジに近くなると、垂直方向のセクションは狭くなり、中央に近くなると、水平方向のセクションは変化しないままとなることが更に分かる。この種類の曲線を使用することで、この画像の最も重要な情報が画像の中央の近くに位置されることが想定される。図６では、傾き角の直線４０３は、水平方向における非線形スケーリングのため、曲線６０３として表示される。

しかし、最も関連する情報は、画像の中央近くに常に位置されるものではないことに留意されたい。この目的のため、本発明は、異なるスケーリング曲線を使用することができる新たな解決策を提案する。

図７は、本発明に係る、画像又はビデオアスペクト比の変更を行うために構成され、TVのような電子装置を例示する。TVは、特にTVブロードキャスト７０１Ａ、インターネット７０１Ｂ、DLNA７０１Ｃ及びUSB（Universal Serial Bus）７０１Ｄといった、様々な入力ソースを有する。これらの入力ソースは、MPEG-2，MPEG-4又は他のフォーマットのような圧縮されたフォーマットでビデオを転送する。デコーダ７０３は、加工されていない画像データIMD-1、ピクチャのストリームをフレーム当たり１つのピクチャで生成する。この画像データは、スケーラ７０５に供給され、このスケーラは、ディスプレイ７０７に表示する適切な解像度についてピクチャの大きさを変更する。ブロック７０３、７０５及び７０７は、非常に簡略化された形式で従来の液晶ディスプレイ（LCD）を示す。

本発明の実施の形態によれば、特徴検出器７０９、アキュムレータ７１０、コスト計算器７１１、曲線生成器７１３及びメモリ７１５といったユニットが更に提供される。デコーダ７０３からのデコードされた画像データは、スケーラ７０５に供給されるだけでなく、特徴検出器７０９にも並列に供給され、この検出器は、画像における、局所的な特徴とも呼ばれる特徴を検出する。特徴は、対応する画像のセグメントが拡大又は縮小された場合に、画像において知覚された歪みを反映する。この例では、特徴検出器７０９は、「コンピュータビジョンライブラリ」として当業者に知られるものを利用する。コンピュータビジョンライブラリは、リアルタイムのコンピュータビジョンで主に意図される、メモリ７１５に記憶されるプログラミング機能のライブラリである。これらの機能は、たとえば人の顔、特に目や唇のような所定の特徴を検出することができる。車輪及び時計のような円形の構造を比較的容易に検出することもできる。物体の正確な定義は、特徴検出器７０９のために使用される特定のコンピュータビジョンライブラリに依存する。コンピュータビジョンライブラリに依存する代わりに、画像におけるエッジを検出するような、よりシンプルな方法を同様に使用することができる。

局所的な特徴に関する情報は、アキュムレータ７１０に供給することができ、このアキュムレータは、後に更に詳細に説明されるように、（水平方向又は垂直方向といった）１つの方向で検出された局所的な特徴を累積する。アキュムレータ７１０から、累積された局所的な特徴は、コスト計算機７１１に供給される。コスト計算機は、メモリ７１５に記憶される異なるスケーリング曲線のコストを計算する。この例では、メモリ７１５は、パノラマストレッチの、標準的な曲線、すなわち「バスタブ」曲線を含む最初の水平及び／垂直方向のスケーリング曲線のセットを含むが、標準的な曲線が上手く機能しない場合に適切な曲線を含む場合がある。これは、大部分の物体がスクリーンのサイドパネル近くにあるときに主に生じる。記憶される最初のスケーリング曲線の数は、少なくとも２つであるが、画像における画素の数よりも少ない。大部分の応用では、３〜１０の最初のスケーリング曲線の使用で十分である。

現在の画像の特徴又は局所的な特徴が与えられると、これらの最初の曲線のそれぞれの「コスト」が計算される。スケーリング曲線のコストは、コストが更に増加すると、局所的なスケーリングファクタが本質的な物体の位置で特に１のスケーリング（スケーリングファクタ１）とは異なるように、画像における顔、動く物体等のような本質的な物体の位置に依存する。言い換えれば、スケーリングファクタが１とは異なる位置における特徴の数の多さは、高いコスト値につながる。コスト値の計算について、スケーリングファクタが１である位置における特徴を無視することができる。

曲線生成器７１３は、重みが上述されたコストに反比例する個々の曲線の加重平均として実際の画像のスケーリングし直し（リスケーリング）において使用される、スケーリング曲線、すなわち位置変換曲線を計算する。これは、予め定義されたスケーリング曲線のコストが増加するにつれて、重み付けが減少されることを意味する。全ての候補となる曲線（水平方向及び垂直方向のスケーリング曲線の両者）は、所望のアスペクト比の変化を個々に引き起こす。重みの総和が１に等しい場合、結果として得られる曲線は、所望のアスペクト比の変化につながる。入力ビデオ系列が良好な時間安定度（シーン変化なし）を有する場合、重みは徐々に変化し、出力の目標とされるビデオが時間的に安定にされる。入力ビデオの低い時間的な安定の場合（シーン変化）、出力は、前のシーンから残存している影響なしに、更新されたコストに即座に反応する。結果的に、提案される画像のスケーリングし直し方法の高く評価される安定度は、新たなショットへの迅速な適合を示さない。さらに、多かれ少なかれ野心的に最初の曲線を選択することで（すなわち曲線は標準的な曲線とは異なる）、アスペクト比の変更のアーチファクトが少量になることが保証される。

表１から表４は、画像スケーリングにおいて使用される正しい拡大曲線を計算する具体的な例を示す。これらの表において、それぞれの列は、画像における特定の水平方向の位置を表す。簡単さのため、これらの例における予め定義されたスケーリング曲線は、２つの異なる倍率値、すなわち１及び２を使用する。これらの倍率値は、局所的な倍率値又はより一般には局所的なスケーリング曲線と呼ばれる。従って、予め定義されたスケーリング曲線は、互いに接触され他と考えることができる幾つかの局所的なスケーリング曲線からなると考えることができる。予め定義されたスケーリング曲線のセットは、それぞれの例において３つのスケーリング曲線を含む。これらの表において示される品質の数字は、コスト値に反比例し、このコスト値は、上述された画像における局所的な特徴を考慮することで、予め定義されたセットにおけるそれぞれの曲線について計算される。最後のスケーリング曲線について、それぞれの位置Yについて、１つの方向、すなわち水平又は垂直方向において結果として得られる倍率は、以下の式を使用することで計算することができる。

表１，表２，表３及び表４について結果として得られる最終的な倍率曲線は、図８，図９，図１０及び図１１においてそれぞれ示される。図８，図９，図１０及び図１１において示される曲線は、倍率における突然の変化を示し、従って、許容されない歪みを回避するため、これらの曲線は、たとえばフィルタリングするか、滑らかな曲線から開始することで、平滑化される必要がある。

図１２は、本発明の実施の形態に係る、画像のリスケーリングを行う第一の実施の形態を説明するフローチャートである。ステップ１２０１で、はじめに画像が受信される。次いで、ステップ１２０３で、デコーダ７０３は、所定のアスペクト比を有する画像をデコードする。特徴検出器７０９は、ステップ１２０４で、画像の局所的な特徴を検出する。このため、コンピュータビジョンライブラリが起動される。ひとたび局所的な特徴が検出されると、ステップ１２０５で、２次元の特徴マップが作成される。特徴マップを使用することで、ステップ１２０６で、局所的な特徴は、２次元の特徴マップの第二の方向（この例では水平方向）における１次元の投影を取得するため、垂直方向のような第一の方向において累積される。１方向への投影は、投影が１つの画素ラインよりも広い列（又は行）にわたり行われる状況をカバーする。言い換えれば、投影は、受信された画像における個々の画素の局所的な特徴、累積方向に直交するグループオブピクセルにわたる局所的な特徴の組み合わせを投影する。局所的な特徴の組み合わせは、たとえば中央値又は加重平均を使用することを可能にする。

ステップ１２０７で、最初のスケーリング曲線のセットが取得される。これらの曲線は、メモリ７１５に記憶される。次いで、ステップ１２０９で、画像における局所的な特徴を考慮することで、先に説明されたように、異なる最初の曲線についてコストが計算される。ステップ１２１１で、計算されたコストに基づいて、新たなスケーリング曲線が計算される。最後に、ステップ１２１３で、新たなスケーリング曲線を適用することで、スケーラ７０５により、画像は第二の方向（この例では水平方向）で大きさが調整される。ここで、画像は、ユーザに表示される用意がされる。第二の方向は、第一の方向に実質的に直交する。先の例では、スケーリングは１つの方向においてのみ適用れたが、水平及び垂直の両方向においてスケーリングを同様に適用することができる。スケーリングがこれらの両方向において行われる場合、図７に示されるスケーリング装置は、２つの個別のスケーラをカスケードで有し、すなわち、１つのスケーラがそれぞれの方向に対応する。

必然的に、ビデオ系列の全てのシーン又はピクチャがコンピュータにより認識することができるオブジェクトを有するとは限らない。これは、アスペクト比がその大部分を通して通常は一定のままであるので、全体のビデオ系列ではない場合には、問題ではない。また、これは、性能の理由のため、本方法は、全てのビデオフレームすなわち画像をモニタすることに依存しないが、それぞれｘ番目のフレームをサンプリングすることができることを意味する。

図１３のフローチャートは、本発明に係る第二の実施の形態を例示する。ステップ１３０１，１３０３，１３０４，１３０５及び１３０６は、ステップ１２０１，１２０３，１２０４，１２０５及び１２０６のそれぞれに対応する。ステップ１３０６において、第二の方向における１次元の投影が得られる。この投影において、ピークは、特徴の位置を示す。次に、ステップ１３０９において形成された投影が反転され、局所的な拡大係数のプロファイルが取得される。特徴について、１に近い拡大率（すなわち余分の拡大がない）が望まれるので、反転が行われる。局所的な拡大のプロファイルは、ステップ１３１１で平滑化される。

局所的な拡大率のプロファイルを目標とされる画像に整合させるため、ステップ１３１３で、局所的な拡大率のプロファイルの最小及び最大の倍率値を制限する一方で、プロファイルの積分が所望の出力サイズに整合するようにプロファイルを適合することで、このプロファイルが制約される。本発明の方法は、画像の拡大及び縮小の両者について使用することができる。最小のスケーリングファクタは、画像が拡大される場合に１である。他方で、最大のスケーリングファクタは、画像が縮小される場合には１である。次に、ステップ１３１５では、局所的な拡大率のプロファイルは、最後のスケーリング曲線を取得するために合成される。最後に、ステップ１３１７で、最終的なスケーリング曲線を適用することで、第二の方向で画像のリスケーリングが行われる。さらに、第二の方向は、第一の方向実質的に直交する。

実現の詳細に依存して、入力画素が出力に送出されるべきスケーリング曲線で終わることも可能である。しかし、入力画素よりも多くの出力画素が存在する場合、幾つかの出力画素が割り当てられていない。この問題は、簡単な補間により解決することができる。

図１３のフローチャートは、図１４と共に考慮されるときに良好に理解することができる。左上のコーナでは、画像がリスケーリングされる必要がある受信された画像が示されている。ひとたび、特徴が検出されると、２次元の特徴マップが画像において示されるように取得され、ぼやけた画像は、特徴マップを示す。次いで、局所的な拡大率の特徴マップの水平方向の投影から取得される。言い換えれば、局所的な特徴は、水平方向の投影を取得するために垂直方向で累積される。このプロファイルでは、受信された画像において、家及び灯台が存在する位置でピークが存在することが分かる。次いで、プロファイルが反転、平滑化及び拘束される。次いで、反転されたプロファイルは、最終的なスケーリング曲線を得るため、左から右に積分される。結果として得られる曲線の傾斜が４５°である場合、この曲線は画像の出力への画像の入力の変換を与えるので、これは１の拡大に対応する。最終的に、出力画像（図１４における右上コーナ）は、取得された最終的なスケーリング曲線を受信された画像に適用することで取得される。

先に使用され、特許請求の範囲で使用される用語「累積」は、投影及びコストの計算の実際の実現を制限するものではない。明らかに、特徴の投影について実行されるステップにおける計算の線形性及びスケーリング曲線のコストは、幾つかの実現のオプションを可能にする。例示として、最初のスケーリング曲線の計算では、これは、最初に、特徴が累積され、後に、局所的な倍率曲線と乗算され、又は代替的に、最初に、特徴が局所的な倍率曲線と乗算され、後に累積されることを意味する。これらは、動作の線形性及び累積の方向における局所的な倍率の恒常性のため、数学的に同じである。

上記のほかに、累積はある方向における特徴の簡単な総和又は平均に限定されるものではないことが想像され、これらの測度の代わりに、中央値、最大値又は重み付け総和が使用されることが想像される。言い換えれば、たとえばある方向の最大値が投影される最大の（特徴）投影といった他の種類の投影を使用することができる。さらに、サブサンプリングスキームを想像することができるか、画像の部分を同時に廃棄することができる。たとえば、サブタイトルエリア又はロゴは、累積において廃棄される場合がある。

本発明は、特にDLNA、Internet TV、USB等のようなコンピュータから生じるビデオを再生するために設計されるとき、TV、モニタ、プロジェクタのようなディスプレイプロダクトで適用することができる。本発明が非常に利益がある別の応用は、Internet上の“Use Generated Content”の領域、すなわちYouTubeのようなウェブサイトの領域である。係るサービスの普及のため、ウェブサイトは、誤ったアスペクト比でアップロードされたビデオである、多数の不完全に生成されたコンテンツに対処する必要がある。本発明で記載される方法を実現することは、ウェブサイトは、アルゴリズムをアップロードされたビデオに適用し、更に処理する前に、誤ったアスペクト比による歪みを訂正する。

また、本発明は、画像のリスケーリングを行う装置のコンピュータ手段にロードされ、実行されたときに、上述された方法のステップの何れかを実現することができるコンピュータプログラムに関する。コンピュータプログラムは、他のハードウェアと共に供給される適切な媒体で記憶／配信されるか、他のハードウェアの一部として供給される適切な媒体で記憶／配信される場合があるが、Internet或いは他の有線又は無線電気通信システムを介するような他の形式で配信される場合がある。

また、本発明は、本発明の実施の形態に従って方法ステップの何れかを実行するために構成される集積回路に関する。

本発明は、図面及び上述された記載において詳細に例示及び記載されたが、係る例示及び記載は、例示的なものであって限定されるものではなく、本発明は、開示される実施の形態に制限されるものではない。開示される実施の形態に対する他の変形例は、図面、開示及び特許請求の範囲の研鑽から、特許請求される発明を実施することにおいて当業者により理解及び実施することができる。たとえば、フローチャートに示される全てのステップが実行される必要はない。より詳細には、オブジェクトが画像スケーリング曲線をシンプルに得ることである場合、実際の画像のスケーリングは、必要ではない。

請求項では、単語「備える“comprising”」は、他のエレメント又はステップを排除するものではなく、不定冠詞“a”又は“an”は複数を排除するものではない。１つのプロセッサ又は他のユニットは、請求項で引用される幾つかのアイテムの機能を満たす場合がある。異なる特徴が相互に異なる従属の請求項で引用される事実は、これらの特徴の組み合わせを使用することができないことを示すものではない。請求項における参照符号は、本発明の範囲を制限するものとして解釈されるべきではない。

Claims (17)

1. 画像をスケーリングする曲線を生成する方法であって、
   画像を受信するステップと、
   受信された画像における局所的な特徴を検出するステップと、
   第一の方向において前記局所的な特徴を累積するステップと、
   累積された局所的な特徴から画像をスケーリングする曲線を導出するステップとを含み、
   導出された画像をスケーリングする曲線は、前記第一の方向に実質的に直交する第二の方向において画像のリスケーリングに適する、
   ことを特徴とする方法。
2. 前記導出された画像をスケーリングする曲線を使用することで、前記第二の方向において画像のリスケーリングを行うステップを更に含む、
   請求項１記載の方法。
3. 前記局所的な特徴を検出するステップは、２次元の特徴マップを作成するステップを含む、
   請求項１又は２記載の方法。
4. 前記第一の方向において累積された局所的な特徴が増加するとき、前記画像をスケーリングする曲線の局所的な倍率は１に近づく、
   請求項１乃至３の何れか記載の方法。
5. 前記局所的な特徴を累積するステップは、前記２次元の特徴マップの前記第二の方向において１次元の投影を形成するステップを含み、
   前記投影は、受信された画像における個々の画素の局所的な特徴を投影するか、前記累積する方向に直交するグループオブピクセルにわたる局所的な特徴の組み合わせを投影する、
   請求項３記載の方法。
6. 前記画像をスケーリングする曲線を導出するステップは、
   前記形成された投影を反転して、局所的な拡大係数のプロファイルを取得するステップと、
   取得された局所的な拡大係数のプロファイルを平滑化するステップと、
   前記局所的な拡大率のプロファイルの最小及び最大の倍率の値を制限する一方で、前記取得された局所的な拡大係数のプロファイルの積分が所望の出力サイズに整合するように、前記取得された局所的な拡大係数のプロファイルを適合することで、前記取得された局所的な拡大係数のプロファイルを前記所望の出力サイズに規制するステップと、
   前記局所的な拡大率のプロファイルを積分して前記画像をスケーリングする曲線を取得するステップと、
   を含む請求項５記載の方法。
7. 前記画像をスケーリングする曲線を導出するステップは、
   前記受信された画像から出力されるべき画素にマッピングする最初の画像をスケーリングする曲線のセットを提供するステップと、
   提供された最初の画像をスケーリングする曲線の少なくとも幾つかについてコスト値を計算するステップと、前記コスト値は、前記提供された最初の画像をスケーリングする曲線の局所的な倍率と、前記提供された最初の画像をスケーリングする曲線が適用された前記第一の方向における累積された局所的な特徴とに基づいており、
   計算されたコスト値から前記画像をスケーリングする曲線を導出するステップと、
   を含む請求項５記載の方法。
8. 前記提供される最初の画像をスケーリングする曲線は、連結され且つ平滑化された局所的な画像をスケーリングする曲線から構成される、
   請求項７記載の方法。
9. 前記画像をスケーリングする曲線は、前記提供された最初の画像をスケーリングする曲線の加重平均として得られ、前記重み付けは、提供される最初の画像をスケーリングする曲線のコストの増加につれて減少する、
   請求項７又は８記載の方法。
10. 前記局所的な特徴は、対応する画像のセグメントが拡大又は縮小された場合に、画像における知覚された歪みを反映する、
    請求項１乃至９の何れか記載の方法。
11. 画像の系列が受信され、
    当該方法は、受信された画像の系列のうちの少なくとも幾つかの画像に適用される、
    請求項１乃至１０の何れか記載の方法。
12. 当該方法の検出、累積及び導出ステップは、受信された画像の系列のｘ番目の画像にのみ適用される、
    請求項１１記載の方法。
13. 前記画像は、水平方向及び垂直方向の少なくとも１つの方向で大きさが調整される、
    請求項１乃至１２の何れか記載の方法。
14. コンピュータにロードされて実行されたときに、コンピュータに、請求項１乃至１３の何れか記載の方法を実行させるための命令を含むコンピュータプログラム。
15. 画像をスケーリングする曲線を生成する装置であって、
    画像を取得する受信機と、
    受信された画像の局所的な特徴を検出する特徴検出器と、
    第一の方向で局所的な特徴を累積するアキュムレータと、
    前記局所的な特徴から画像をスケーリングする曲線を導出する曲線生成器とを備え、
    導出された画像をスケーリングする曲線は、前記第一の方向に実質的に直交する第二の方向における画像のリスケーリングに適する、
    異を特徴とする装置。
16. 最初の画像をスケーリングする曲線のセットを提供するメモリと、提供された画像をスケーリングする曲線の少なくとも幾つかについてコスト値を計算するコスト計算器とを更に備える、
    請求項１５記載の装置。
17. 導出された画像をスケーリングする曲線を使用することで、第二の方向において画像のリスケーリングを行うスケーラを更に備える、
    請求項１５又は１６記載の装置。