JP2010033565A - ビデオ画像のレイアウトエリアの検出方法及び該方法を用いた縮小画像の生成方法 - Google Patents

Abstract

【課題】従来技術の問題のすべてまたは一部を解消するソリューションを提供することである。
【解決手段】本発明は、ソース画像中の、ロゴ及び／またはスコアなどの少なくとも１つのレイアウトを含むレイアウトエリアと呼ばれる少なくとも１つのエリアの自動検出方法に関する。本発明では、ソース画像のレイアウトエリアを、その画像画素の顕著性を用いて検出する。検出はソース画像顕著性マップの特定のエリアで行う。通常は、画像の隅に対応するエリア、または画像の上部及び下部の帯状領域に対応するエリアで行う。これらのエリアでは、顕著性値が最大で互いに少なくともｐ点だけ離れた２つの点を探す。この２つの点はレイアウトエリアの始めと終わりに対応する。この２つの点を囲むウィンドウがレイアウトエリアに対応する。
【選択図】図１

Description

本発明は、ビデオ画像中のロゴ及び／またはスコア等のレイアウトエリアの検出と、ソース画像からの縮小画像の生成とに関する。

ビデオ画像中のレイアウトエリアの検出方法が知られている。第１の方法は非特許文献１に記載されている。この方法は、画像シーケンス中で変化しない画像エリアを検出するものである。レイアウトを含む画像エリアを除き、画像の内容は時間的に変化するという仮説に基づく。レイアウト検出に用いるアルゴリズムは、画像ごとの違いに基づき、画像間の違いがゼロであるか、またはゼロに近い画素はレイアウトの一部を構成すると考える。この方法の第１の問題は、この方法は動きがほとんど、またはまったく無いシーンには適さないことである。第２の問題は、実施するためには、連続する複数の画像を分析しなければならないことである。

知られている第２の方法は非特許文献２に記載されている。この文献では、レイアウト検出は輪郭の検出に基づき、連続する複数の画像を前処理する必要がある。

最後に、知られている第３の方法は、処理する画像中の視覚的コンテンツを所定のレイアウトベースと比較するものである。画像エリアの視覚的コンテンツを、ベースに含まれる各レイアウトの視覚的コンテンツと比較する。視覚的コンテンツが、テストされるエリアの視覚的コンテンツと同じとき、レイアウトが検出される。この方法では、ベースに含まれるレイアウトのみを検出でき、検出するロゴを予め知っていないとならない。

K. Meisinger, T. Troeger, M. Zellerand A. Kaup著「Automatic logo removal using statistical based logo detection andfrequency selective inpainting」（Proc. European Signal Processing Conference,September ２００５） A. Reis dos Santos and H. Yong Kim著「Real-time opaqueand semi-transparent TV logos detection」（Proc. ５th International Informationand Telecommunication Technologies Symposium, ２００６）

本発明の目的は、上記の問題のすべてまたは一部を解消するソリューションを提供することである。

本発明では、ソース画像中のレイアウトの検出を、前記ソース画像の顕著性マップにより行う。顕著性マップは視覚的注意モデルにより生成される。

この目的のため、本発明は、ソース画像中の、ロゴ及び／またはスコアなどの少なくとも１つのレイアウトを含むレイアウトエリアと呼ばれる少なくとも１つのエリアの自動検出方法を提案するものである。該方法は、前記ソース画像の顕著性マップであって前記ソース画像の各画素に顕著性値を有する顕著性点を関連付ける顕著性マップを、視覚的注意モデルを用いて生成する段階と、前記顕著性マップから、前記ソース画像中の前記少なくとも１つのレイアウトエリアを決定する段階とを含むことを特徴とする。

このように、検出は単一のソース画像により行われ、検出するレイアウトに関する事前の知識を必要としない。

本発明の特徴によると、ソース画像中のレイアウトエリアを決定する段階は、ａ）検索エリアと呼ぶ前記顕著性マップの少なくとも１つの所定のエリア内を検索して、前記顕著性マップの最大顕著性値と同じ、またはほぼ同じ顕著性値を有し、少なくともｐ点だけ離れた２つの点を探し、顕著性が最大である２つの点の各々に対して、顕著性が最大となる点を囲む最大顕著性エリアを画成する段階と、ｂ）２つの最大顕著性エリアを囲む、２つの最大顕著性エリアを含む各検索エリアの囲みウィンドウというウィンドウであって前記ソースビデオ画像中のレイアウトエリアに対応する顕著性マップ中に画成された囲みウィンドウを画成する段階とを含む。

第１の実施形態によると、レイアウトは一般的にソース画像の隅のエリアに配置されるので、検索エリアは、ソース画像の隅のソース画像エリアに対応する顕著性マップ中の所定サイズの少なくとも１つのエリアを含む。

好ましくは、ｍを２ないし４として、前記少なくとも１つの検索エリアは、前記顕著性マップの所定サイズのｍ個のエリアを含み、各エリアは前記ソース画像の隅に配置されたソース画像エリアに対応する。

第２の実施形態によると、上記方法の段階ａ）は、ｎを２以上とし、ｑをｎ＋１より大きいとして、前記顕著性マップのｎ個の所定の検索エリアを検索して、前記顕著性マップの最大顕著性に等しい、またはほぼ等しい顕著性値を有し、互いに少なくともｐ点の距離にあるｑ個の点を探し、そのｑ個の最大顕著性点の各々の前記最大顕著性点を囲むエリアである最大顕著性エリアを画成する段階と、前記ｑ個の最大顕著性エリアから、少なくとも１つの所定の基準を満たす２つの最大顕著性エリアを選択する段階とを含む。

ｎが２の場合、２つの検索エリアは、ソース画像の上部及び下部の所定幅の２つの帯状領域に対応する顕著性マップのエリアであり、これら２つの検索エリアにおいて少なくとも３つの最大顕著性点を検索する。

この第２の実施形態では、選択される前記２つの最大顕著性エリアは次の基準のうち少なくとも１つを満たす、
−前記２つの最大顕著性エリアを含む最小四角形の高さが最大高さより小さい、
−前記２つの最大顕著性エリアを含む最小四角形の面積が最大面積より小さい、及び
−前記顕著性マップの中心と前記２つの最大顕著性エリアの各々との間の距離が最小距離より大きい。

さらに、最大顕著性点に対して画成された最大顕著性エリアは、有利にも、前記最大顕著性点を中心とする所定半径の円である。

本発明は、ソース画像から縮小サイズ画を得を生成できる、ソース画像の処理方法にも関する。該方法は、上記の自動レイアウト検出方法によりレイアウトエリアの自動検出する段階と、前記レイアウトエリアの自動検出のために生成された前記顕著性マップと前記検出されたレイアウトエリアとに基づき前記ソース画像から縮小サイズ画像を生成する段階とを含む。

一実施形態では、縮小サイズ画像を生成するために用いられる前記顕著性マップにおいて、前記自動レイアウトエリア検出方法により決定された前記囲みウィンドウに含まれる点をゼロに設定する。このように、ソース画像レイアウトエリアは、視聴者の関心領域ではなく、縮小画像の決定に影響しない。

前記の実施形態と組み合わせできる他の実施形態では、上記のレイアウトエリア自動検出方法により決定した囲みウィンドウに含まれる点に対応する画素を含まないように、縮小サイズ画像を生成する。

添付した図面を参照して本発明の好ましい実施形態の詳細な説明を読めば、本発明をよく理解でき、その目的、詳細、特徴、利点などが明らかとなるであろう。
本発明の第１の実施形態による検出方法を示す図である。 本発明の第２の実施形態による検出方法を示す図である。 第２の実施形態のステップＳ′３で用いる、ステップＳ′２で画成された３つの最大顕著性エリアのうち２つのみを保持する基準を示す図である。 知られている方法によるソース画像から縮小画像の生成を示す図である。 図４Ａと比較される、本発明の方法による、同一ソース画像から縮小画像の生成を示す図である。

本発明では、ソース画像のレイアウトエリアを、その画像の顕著性マップ（saliency
map）から決定する。顕著性マップの同一領域に２つの最大顕著性エリア（maximum salience areas）を検出し、第１の最大顕著性エリアがレイアウトの始まりに対応し、第２の最大顕著性エリアがレイアウトの終わりに対応するとき、レイアウトが検出される。

以下の説明では、レイアウトとはソース画像（source image）に付加または埋め込まれた任意の情報を指し、例えばロゴ（logo）、時間または時刻に関する情報、スポーツイベントに関する画像の場合のスコアなどである。

図１は、本発明の第１の実施形態によるステップを示す図である。処理するソース画像はサッカーの試合から取った画像である。この画像にはサッカー選手とその近くにサッカーボールが写っている。画像の左上には試合のスコアが表示され、右上にはこのサッカーの試合を再送しているテレビチャンネルを識別するＡＦ１というロゴが表示されている。

ステップＳ１において、視覚的注意モデル（visual attention model）を用いてソース画像の顕著性マップ（saliency
map）を生成する。顕著性マップの生成は欧州特許第１，６８５，２８８号に記載されている。この顕著性マップは、ソース画像の各画素に、画像画素の知覚的関心（perceptual
interest of the image pixel）の関数である顕著性値を関連づけるものである。画像画素の知覚的関心が高いほど、顕著性値は高くなる。例えば、顕著性値は規格化され、０ないし２５５である。顕著性マップにおいて、顕著性は、ソース画像の画素と同じ空間座標を有し、その画素の顕著性値に比例するグレーレベルを有する点で表される。顕著性マップ上の最も明るい点は、ソース画像の最も顕著な点を表している。これらの点は、画像中のコントラストが強いエリアに対応している。図１に示した例では、最も明るい点は、プレーヤ、ボール、試合スコア、及びロゴを表す画像エリアにあることが分かる。

次のステップＳ２において、顕著性マップの所定の少なくとも１つの（検索エリアと呼ぶ）エリアにおいて、顕著性マップの最大顕著性値と等しいまたはほぼ等しい顕著性値を有し、少なくとも「ｐ」だけ離れた２つの点を探す。この２つの点は、以下の説明では最大顕著性点と呼ぶ。複数の検索エリアで検索をするとき、各エリアにおいて２つの最大顕著性点を検索する。規格化された値が０と２５５の間の顕著性マップでは、少なくとも「ｐ」個の点だけ離れた、顕著性値が２５５、または２５５でなくても２５５に近い、好ましくは２５０ないし２５５である２つの点を検索する。これらの２つの点は、両方が同じレイアウトエリアの始めまたは終わりに対応しないようにするため、少なくとも「ｐ」個の点だけ離れていなければならない。数「ｐ」はソース画像の大きさに応じて変化し得る。例えば、３６０×２４０画素の画像や３５２×２８８画素の画像の場合、２５である。

この実施形態では、検索エリアは、有利にも、レイアウトがある確率が高いソース画像の隅のエリアに対応する、顕著性マップの所定の大きさのエリアである。図１の例では、検索エリアは、ソース画像の左右の隅にある２つの四角形エリアに対応する、顕著性マップのエリアである。有利にも、ソース画像の４つの隅に対応する、顕著性マップのエリアで検索を行う。

各検索エリアでは、例えば左から右へ、上から下へ、そのエリアをスキャンすることにより検索を行う。最初に検索エリアをスキャンして、このエリアの最大顕著性値を確認する。この値は２５５であるか、または２５５に近く、レイアウトエリアの始めまたは終わりに対応していなければならない。この値は２５０より大きい方が好ましい。かかる値がなければ、この検索エリアではレイアウトエリアは検出されず、必要に応じて次の検索エリアを検討する。２５５に近い顕著性値が見つかると、２回目のスキャンを行い、最大顕著性値を有する検索エリアの点を検索する。かかる点を検出するたびに、その点を選択し、選択した点の周りの点を抑制（inhibit）する。例えば、選択した点を中心とする（「ｐ」個の点と等しい）半径Rの円に属する点を抑制（inhibit）する。抑制された点を無視してスキャンを続け、最大顕著性値を有する顕著性マップの他の点を同様に選択する。このスキャンにより２つの点が選択されないとき、最大顕著性値をデクリメント（decrement）して、２つの最大顕著性点が選択されるまでスキャンを行う。デクリメントした最大顕著性値が２５０より小さくなると、スキャンを中止する。２つの点が選択されていなければ、次の検索エリアを検討する。

選択された２つの点の各点の周りに、最大顕著性エリアを画成する。有利にも、選択された点に対して、このエリアは前に画成された抑制エリア（inhibited area）、すなわち選択された点を中心とする半径Rの円に対応する。画成された最大顕著性エリアの外にある点の顕著性値をゼロに設定する。

各検索エリアに対して、２つまでの最大顕著性エリアを求める。図１の例では、ソース画像の上側の両隅にある検索エリアで、最大顕著性エリアを検出した。

次のステップＳ３において、２つの最大県庁性エリアを含む各検索エリアに、２つの最大顕著性エリアを囲むウィンドウを画成する。ｘとｙが顕著性マップの水平及び垂直の軸を示すとすると、このウィンドウは、ｘ軸に平行な２辺を有し、ｙ軸に平行な２辺を有し、選択した２つのエリアを囲む最小の四角形であることが好ましい。本発明では、顕著性マップ中の対応する点がこの囲みウィンドウ（bounding window）に入るソース画像の画素は、ソース画像中のレイアウトエリアに属すると考える。
図２は、本発明の第２の実施形態によるステップを示す図である。処理するソース画像は南フランスの地理的マップである。画像の左下隅に放送しているテレビチャンネルのＡＦ１というロゴがある。ステップＳ′１において、第１の実施形態のステップＳ１で説明したように、視覚的注意モデルを用いて画像の顕著性マップを生成する。図２の例では、顕著性マップの最も顕著な点は、ロゴ、画像に含まれるテキスト、及び地理的マップの色が異なるゾーン間の境界に対応するエリアである。

次のステップＳ′２において、顕著性マップの所定の２つの検索エリアにおいて、３つの最大顕著性エリアを検索する。図２に示した例では、所定の幅を有する、顕著性マップの上部と下部にある２つの帯状領域（band）で検索を行う。第１の実施形態のステップＳ２に示したように、この検索は、例えば、左から右へ、上から下へ、顕著性マップの２つの帯状領域をスキャンすることにより行う。１回目に２つの帯状領域帯状をスキャンして、２つの帯状領域の最大顕著性値を求める。この値は２５５であるか、２５５でなければ２５５に近く、例えば２５０と２５５の間である。かかる値がなければ、レイアウトエリアは検出されない。２５５に近い顕著性値があれば、２つの帯状領域をまたスキャンして、顕著性値が最大となる点を検索する。かかる点を検出するたびに、その点を選択し、選択した点の周りの点を抑制（inhibit）する。例えば、選択した点を中心とする半径Ｒの円に含まれる点を抑制（inhibit）する。２つの帯状領域のスキャンを、抑制した点を無視して継続し、顕著性値が最大となる他の２つの点があればそれを選択する。このスキャンにより３つの点が選択されないとき、最大顕著性値をデクリメント（decrement）して、３つの顕著性が最大となる点（three
maximum salience points）が選択されるまで他のスキャンを行う。

選択された３つの点の各点の周りに、最大顕著性エリアを画成する。有利にも、選択された点に対して、このエリアは前に画成された抑制エリア（inhibited area）、すなわち選択された点を中心とする半径Rの円に対応する。画成された最大顕著性エリアの外にある点の顕著性値をゼロに設定する。

図２の例では、最大顕著性エリアのうち１つが顕著性マップの上側の帯状領域にあり、他の２つが下側の帯状領域にある。

次のステップＳ′３において、３つの最大顕著性エリアのうち１つを削除する。このステップは、レイアウトの始めと終わりに当たる２つの最大顕著性エリアを保存するためである。３つめのエリアは一般的には見かけ上のものである。このステップでは、３つの最大顕著性点を、顕著性が最大のものから最小のものまで分類する。顕著性が大きい２つの点により構成される第１のペアをテストして、このペアが所定の基準を満たすか確認する。このペアが上記の基準を満たせば、この２つの点に対応する最大顕著性エリアを保存し、顕著性が最も低い点に対応する最大顕著性エリアを削除する。このペアが上記の基準を満たさなければ、３つの点のうち顕著性が最大のものと最小のものよりなる第２のペアをテストし、次に必要があれば、３つの点のうち顕著性が低い２つの点よりなる第３のペアをテストする。

３つの最大顕著性エリアのうちの１つを削除する基準を図３に示す。この図は、３つの最大顕著性点Ｐ１、Ｐ２、Ｐ３が特定された顕著性マップを示している。これら３つの点に係わる半径Ｒの最大顕著性エリアをＺ１、Ｚ２、Ｚ３とする。点Ｐ１、Ｐ２は顕著性マップの上部の帯状領域Ｂ１にあり、点Ｐ３は顕著性マップの下部の帯状領域Ｂ２にある。帯状領域Ｂ１、Ｂ２は検索エリアを表す。この図では、Ｒ１はｘ軸に平行な２辺とｙ軸に平行な２辺を有して領域Ｚ１とＺ２を含む最小の四角形を指す。Ｒ２はｘ軸に平行な２辺とｙ軸に平行な２辺を有して領域Ｚ１とＺ３を含む最小の四角形を指す。

Ｒ３はｘ軸に平行な２辺とｙ軸に平行な２辺を有して領域Ｚ２とＺ３を含む最小の四角形を指す。最後に、Ｃはソース画像の中心に対応する顕著性マップの中心を指す。

第１の基準を満たす点のペアは、そのペアの点の最大顕著性エリアを含む（bounding）四角形の高さが所定の最大高さより小さいものである。この基準により、２つの最大顕著性エリアが上部または下部の同じ顕著性マップ帯状領域のものであることを裏付ける。この基準は、レイアウトの始めと終わりを表す最大顕著性エリアにより常に満たされる。

第２の基準を満たす点のペアは、そのペアの点の最大顕著性エリアを含む（bounding）四角形の面積が所定の最大面積より小さいものである。この基準により、考慮中の２つの点が垂直または水平に顕著に並んでいることを裏付けられる。

第３の基準を満たす点のペアは、このペアの各点について、その点と顕著性マップの中心Ｃとの間の距離が最小距離より大きいものである。

本発明では、これらの３つの（点の）ペアが第１の基準を満たすか確認する。この第１の基準を満たさないペアは削除する。１つのペアがこの第１の基準を満たせば、そのペアを選択する。２つ以上のペアが満たした場合、削除されていないペアをテストして、第２の基準を満たすか調べる。１つのペアがこの第２の基準を満たせば、そのペアを選択する。この第１と第２の基準を満たさないペアは削除する。最後に、複数のペアが残った場合、削除されていないペアをチェックして、第３の基準を満たすか調べる。１つのペアがこの第３の基準を満たせば、そのペアを選択する。第１の基準のみ、または第１と第２の基準のみを用いることも可能である。３つの最大顕著性エリアのうち２つのみを選択するのに３つの基準では足りない場合、他の基準を設けることもできる。

次のステップＳ４において、選択した２つの最大顕著性エリアを囲むウィンドウを、顕著性マップ中に決定する。このウィンドウは、ｘ軸に平行な２辺とｙ軸に平行な２辺とを有し、選択したエリアを囲む最小の四角形を指す。本発明では、顕著性マップ中の対応する点がこの囲みウィンドウ（bounding window）に入るソース画像の画素は、ソース画像中のレイアウトエリアに属すると考える。

この実施形態の変形では、ｑを３より大きい整数とすると、ステップＳ′２において、ｑ個の最大顕著性点を見つけ、ｑ個の最大顕著性エリアを画成する。この最大顕著性エリアの数を所定の基準をすべてのエリアまたはエリアペアに適用することにより２に制限する。

同様に、検索エリアの数ｎを増やし、最大顕著性エリアの数ｑを少なくとも「ｎ＋１」としてもよい。

上記の２つの実施形態に適用可能な改善として、自動レイアウトエリア検出方法は、囲みウィンドウ（bounding window）を決定する（ステップＳ４またはＳ′３）前に顕著性マップを二値化する二値化ステップを含んでいてもよい。このステップ中、３つの最大顕著性エリア中の点の顕著性値（第１の実施形態）、または各検索エリアの最大顕著性エリアの顕著性値（第２の実施形態）を２５５（または最大顕著性値）に設定し、他の点の顕著性値をゼロに設定する。この二値化ステップは、囲みウィンドウ（bounding
window）決定ステップを容易にするためである。

上記の２つの実施形態に適用可能な他の改善として、自動レイアウトエリア検出方法は、ステップＳ４またはＳ′３で画成された最大顕著性エリアの時間的な一貫性をチェックするステップを含んでいてもよい。このステップは、最大顕著性エリアの各点に対して、その点が先行する画像のかかるエリアに属するか確認することを含む。このステップはカウンタを用いて実施できる。例えば、各検索エリア点に対してカウンタを設ける。その点が画像の最大顕著性エリアに属すると判断されるたびに、カウンタをインクリメント（increment）する。このように、考慮中の点が現在の画像の最大顕著性エリアに属し、先行する画像の最大顕著性エリアにも属するとき、この点を最大顕著性エリアの一部であるとする。このステップは、現在の画像に画成された最大顕著性エリアの選択を補強することを目的とする。

本発明は、ソース画像から、縮小サイズの画面に表示する所定の縮小サイズの画像を生成する画像処理方法にも関する。自動再フレーミング方法も説明する。かかる方法は、従来、ソース画像の顕著性マップを生成するステップと、その顕著性マップを用いてソース画像から縮小サイズ画像を生成するステップとを含む。生成する縮小サイズ画像は、視聴者が最も高い知覚的関心を有するサブ画像すなわちソース画像の一部である。より具体的には、縮小サイズ画像の生成ステップは、ソース画像中にフレーミングウィンドウ（framing window）を画成するステップを含む。このフレーミングウィンドウはソース画像より小さく、画像の顕著性が最も高い点または最も多くの顕著性点を含むものである。このように、生成する縮小サイズ画像は、フレーミングウィンドウに含まれる画像である。この従来の方法では、レイアウトエリアは、視聴者が関心をもつものではないが、画像の顕著な部分としてフレーミング（framing）に影響するため、フレーミングウィンドウのサイズと位置を決定する問題を提起する。

本発明では、自動再フレーミング方法は、上記の自動レイアウト検出方法によりソース画像中のレイアウトエリアを検出するステップを有する。これらのレイアウトエリアは、縮小サイズ生成ステップにおいて考慮される。自動再フレーミング方法の顕著性マップ生成ステップは、有利にも、自動レイアウトエリア検出方法の顕著性マップ生成ステップである。

自動再フレーミング方法の第１の実施形態では、レイアウトエリア検出方法により決定される囲みウィンドウ（bounding window）に含まれる点の顕著性値をゼロに設定する。顕著性マップにおいて、ソース画像のレイアウトエリアにより生成される顕著性エリアを取り消しまたは削除する。こうしてその顕著性マップを「掃除」する。フレーミングウィンドウのサイズと位置を「掃除」した顕著性マップを用いて計算するフレーミングウィンドウの自動決定は、ソース画像のレイアウトエリアの顕著性により汚れない。

自動再フレーミング方法の第２の実施形態により、レイアウトエリア検出方法により決定された囲みウィンドウ（bounding window）は禁止エリア（prohibited areas）であると考えられる。この実施形態では、禁止エリアに属する点に対応する点を含まないようにフレーミングウィンドウを決定する。よって縮小サイズ画像は、本発明の自動検出方法により検出されるどのレイアウトエリアも含まない。

第３の実施形態は、これらの２つの実施形態を結合したものであり、フレーミングウィンドウの位置とサイズを決定するのに用いられる顕著性マップを掃除するだけでなく、これに加えて、レイアウトエリアに属する画素に対する画素を含まないように自動フレーミングウィンドウを決定するものである。

図４Ｂは、本発明（第３の実施形態）の方法により決定された自動再フレーミングウィンドウを示し、サッカーの試合からのシーンを示す画像の場合に、標準的な方法により決定される自動再フレーミングウィンドウを示す図４Ａと比較すべきものである。具体的に、処理後のソース画像は、下部及び中央部にサッカー場にいる選手を示し、上部にスタンドにいる観客を示している。試合時間とスコアは画像の左上に表示され、ロゴが画像の右上に表示されている。この画像に標準的な自動再フレーミング方法を適用した場合（図４Ａ）、選手とレイアウトエリア（試合時間、スコア、及びロゴ）の両方を含むフレーミングウィンドウ（図中の白い四角）が得られる。本発明の方法を適用すると、ウィンドウからレイアウトエリアが排除される。ウィンドウの位置と大きさは選手のみを含むように決められる。

様々な具体的実施形態に関して本発明を説明したが、本発明は、これらに限定されず、本発明の範囲内にはいる均等な手段及びその組み合わせを含むものである。

Claims (11)

1. ロゴ及び／またはスコアなどの少なくとも１つのレイアウトを含む、ソース画像中のレイアウトエリアと呼ぶ少なくとも１つのエリアの自動検出方法であって、
   前記ソース画像の顕著性マップであって前記ソース画像の各画素に顕著性値を有する顕著性点を関連付ける顕著性マップを、視覚的注意モデルを用いて生成する段階と、
   前記顕著性マップから、前記ソース画像中の前記少なくとも１つのレイアウトエリアを決定する段階とを含むことを特徴とする方法。
2. ソース画像中のレイアウトエリアを決定する段階は、
   ａ）検索エリアとして知られる前記顕著性マップの少なくとも１つの所定のエリア内を検索して、前記顕著性マップの最大顕著性値と同じ、またはほぼ同じ顕著性値を有し、少なくともｐ点だけ離れた２つの点を探し、顕著性が最大である２つの点の各々に対して、前記最大顕著性点を含む最大顕著性エリアを画成する段階と、
   ｂ）２つの最大顕著性エリアを囲む、２つの最大顕著性エリアを含む各検索エリアの囲みウィンドウと呼ばれるウィンドウであって前記ソースビデオ画像中のレイアウトエリアに対応する顕著性マップ中に画成された囲みウィンドウを画成する段階とを含む、
   請求項１に記載の方法。
3. 前記少なくとも１つの検索エリアは、前記ソース画像の隅に配置されたソース画像エリアに対応する所定サイズの少なくとも１つの顕著性マップエリアを有する、
   請求項２に記載の方法。
4. ｍを２ないし４として、前記少なくとも１つの検索エリアは、前記顕著性マップの所定サイズのｍ個のエリアを含み、各エリアは前記ソース画像の隅に配置されたソース画像エリアに対応する、
   請求項３に記載の方法。
5. 段階ａは、
   ｎを２以上とし、ｑをｎ＋１より大きいとして、前記顕著性マップのｎ個の所定の検索エリアを検索して、前記顕著性マップの最大顕著性に等しい、またはほぼ等しい顕著性値を有し、互いに少なくともｐ点の距離にあるｑ個の点を探し、そのｑ個の最大顕著性点の各々の前記最大顕著性点を囲むエリアである最大顕著性エリアを画成する段階と、
   前記ｑ個の最大顕著性エリアから、少なくとも１つの所定の基準を満たす２つの最大顕著性エリアを選択する段階とを含む、
   請求項２に記載の方法。
6. ｎは２でありｑは３であり、前記２つの検索エリアは、前記ソース画像の上部と下部にある所定幅の２つの帯状領域に対応する、前記顕著性マップ中のエリアである、
   請求項５に記載の方法。
7. 選択される前記２つの最大顕著性エリアは次の基準、すなわち
   −前記２つの最大顕著性エリアを含む最小四角形の高さが最大高さより小さい、
   −前記２つの最大顕著性エリアを含む最小四角形の面積が最大面積より小さい、
   −前記顕著性マップの中心と前記２つの最大顕著性エリアの各々との間の距離が最小距離より大きい、
   のうち少なくとも１つを満たす、
   請求項５または６に記載の方法。
8. 最大顕著性点に対して画成された最大顕著性エリアは、前記最大顕著性点を中心とする所定半径の円である、
   請求項１ないし７いずれか一項に記載の方法。
9. ソース画像から縮小サイズ画像を生成できる前記ソース画像の処理方法であって、
   請求項１ないし８いずれか一項に記載の方法によりレイアウトエリアを自動検出する段階と、
   前記レイアウトエリアの自動検出のために生成された前記顕著性マップと前記検出されたレイアウトエリアとに基づき前記ソース画像から縮小サイズ画像を生成する段階とを含む、
   方法。
10. 縮小サイズ画像を生成するために用いられる前記顕著性マップにおいて、前記自動レイアウトエリア検出方法により決定された前記囲みウィンドウに含まれる点をゼロに設定する、
    請求項９に記載の方法。
11. 前記自動レイアウトエリア検出方法を用いて決定された前記囲みウィンドウ内に含まれる点に対応する画素を排除するように、前記縮小サイズ画像を生成する、
    請求項９または１０に記載の方法。

Images