JP2006092555A - 領域検出方法および領域検出プログラム - Google Patents

Abstract

【課題】 画像における関心を有される領域を検出する。
【解決手段】 画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算し、複数の該サブブロックの各々に関連付けられる情報値を決定し、関心を有される領域を形成するために該サブブロックをグルーピングする。該テクスチャ値は少なくとも一のカラー・バンドでサブブロック毎に計算される。
【選択図】 図１

Description

本発明はデジタル画像処理に係り、詳細には、自然画像及び合成画像における関心を有される領域を検出することに関する。即ち、本発明は、画像における関心を有される領域を検出する方法、および、画像における関心を有される領域を検出することをシステムに実行させるプログラムに関する。

ユビキタスなデジタル・カメラ、カメラ付き携帯電話およびＰＤＡ（パーソナル・デジタル・アシスタント）によって、膨大な量のデジタル画像及び写真が作成されている。該方法における重要な課題は、画像及び写真の集合を管理し視覚化するための方法の具体化である。写真の場合、会合や旅行などのイベントによる少量の集合が特に一般的である。他の課題は、画像を凝縮する方法を提供することが有用である場合に、小型表示装置やモバイル・デバイス上で凝縮された画像を見ることである。

「関心を有されるビデオ領域の抽出（“EXTRACTING VIDEO REGIONS OF INTEREST”)」と題された米国特許出願第１０／８１５，３８９号および「高凝縮ビジュアル・サマリーの生成（“GENERATING A HIGHLY CONDENSED VISUAL SUMMARY”）」と題された米国特許出願第１０／８１５，３５４号において、上位ランクのビデオ・セグメントのキー・フレーム内で「関心を有される領域（ＲＯＩ）」から生成されたストーリー・ボードを用いてビデオを示すステンドグラス・ビジュアライゼーション（Ｓｔａｉｎｅｄ−Ｇｌａｓｓ Ｖｉｓｕａｌｉｚａｔｉｏｎ：ステンドグラス状の視覚化）を用いてビデオを要約し凝縮する方法が開示されている。該方法によれば、ＲＯＩはレイアウトされ、ヴォロノイ（Ｖｏｒｏｎｏｉ）技術を用いて該ＲＯＩを拡張することによって間隙が埋められる。これによって不規則な境界が生成され、結果的に、ビデオはステンドグラスのように見える。このようにして、視覚化方法と共にモーション解析に基づいたビデオ・セグメント内でＲＯＩを検出するためのアルゴリズムがもたらされた。

ステンドグラス・ビジュアライゼーションは、写真および画像に適用可能であり、所与のセットの画像からコラージュを作成する。写真のコラージュは、多くの方法において使用可能である。例えば、財布サイズのコラージュの形態で、ＰＤＡ（パーソナル・デジタル・アシスタント）や携帯電話に、家族を表示することもできるし、より大きなパーティのコラージュをウェブ・ページに載せて友人と共有することもできる。休暇で撮った景色の写真のポスター・サイズのコラージュをプリントし額に入れてもよい。

遺伝的セグメンテーション方法に関する特許文献１、マルチメディア・プレゼンテーションの自動生成に関する特許文献２、および、遺伝的セグメンテーション・アルゴリズムに関する非特許文献１は、本願発明に関連する。
米国特許第６，８１９，７９５ Ｂ１号明細書 米国特許出願公開第２００４／００５４５４２号明細書 チウ（Ｃｈｉｕ）ら、「画像データ・ストリームおよびビデオの遺伝的セグメンテーション・アルゴリズム（"A Genetic Segmentation Algorithm for Image Data Streams and Video"）」、遺伝および進化計算学会（ＧＥＣＣＯ）予稿集(Proceedings of the Genetic and Evolutionary Computation Conference)、ネバダ州、ラスベガス、２０００年７月８日

ビデオ内でＲＯＩを検出するための初期のアルゴリズムは、モーション解析に基づいているので、静止画像に対しては不適当である。したがって、画像および写真の集合が管理され、視覚化され、大小の表示装置に提示され得るように、画像および写真におけるＲＯＩを検出する方法が要求される。

一実施の形態において、本発明は、画像および写真における関心を有される領域（ＲＯＩ）を情報駆動型アプローチにもとづいて検出するアルゴリズムを含む。該アルゴリズムにおいて、画像のサブブロックは情報コンテンツもしくは圧縮度について、離散コサイン変換にもとづいて解析される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、顔の検出）とは異なり、本発明の方法は、一般に、任意の画像および写真に適用可能である。アルゴリズムの中心荷重の変形例は特定の写真アプリケーションによい結果をもたらすことができる。本発明は、ステンドグラス・コラージュおよびパン・アンド・スキャン（Ｐａｎ−ａｎｄ−Ｓｃａｎ）・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。

本発明の第１の態様は、画像における関心を有される領域を検出する方法であって、（ａ）画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算し、該テクスチャ値は少なくとも一のカラー・バンドでサブブロック毎に計算され、（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定し、（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングする。

本発明の第２の態様は、第１の態様の領域検出方法であって、（ｃ）が、（ｄ）サブブロック毎に前記情報値を二値化する、ことを含む。

本発明の第３の態様は、第２の態様の領域検出方法であって、（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む。

本発明の第４の態様は、第１の態様の領域検出方法であって、（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む。

本発明の第５の態様は、第４の態様の領域検出方法であって、グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗じられた場合、前記サブブロックの交差領域より大きい。

本発明の第６の態様は、第４の態様の領域検出方法であって、グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない。

本発明の第７の態様は、第４の態様の領域検出方法であって、前記情報値が二値化された値であり、前記所定の範囲が情報値１を有するサブブロックを含む。

本発明の第８の態様は、第４の態様の領域検出方法であって、（ｃ）が、サブブロックの最大グループである主グループを決定する、ことを含む。

本発明の第９の態様は、第４の態様の領域検出方法であって、関心を有される領域としてサブブロックの一以上のグループをユーザが選択する。

本発明の第１０の態様は、第４の態様の領域検出方法であって、（ｃ）が、前記画像の中心部分に重み付けを行う、ことを含む。

本発明の第１１の態様は、第１の態様の領域検出方法であって、（ａ）が、画像の複数のサブブロックについて離散コサイン変換を計算する、ことを含む。

本発明の第１２の態様は、第１の態様の領域検出方法であって、（ａ）が、画像の複数のサブブロックについてウェーブレット分解を計算する、ことを含む。

本発明の第１３の態様は、第１の態様の領域検出方法であって、（ａ）が、画像の複数のサブブロックについてハール分解を計算する、ことを含む。

本発明の第１４の態様は、一以上のプロセッサによって処理されることにより、画像における関心を有される領域を検出することをシステムに実行させるプログラムであって、（ａ）画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算するステップであって、該テクスチャ値は少なくとも一のカラー・バンドでサブブロック毎に計算される、ステップと、（ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定するステップと、（ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングするステップと、を含む。

本発明の第１５の態様は、第１４の態様の領域検出プログラムであって、（ｃ）が、（ｄ）サブブロック毎に前記情報値を二値化する、ことを含む。

本発明の第１６の態様は、第１５の態様の領域検出プログラムであって、（ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む。

本発明の第１７の態様は、第１４の態様の領域検出プログラムであって、（ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む。

本発明の第１８の態様は、第１７の態様の領域検出プログラムであって、グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗じられた場合、前記サブブロックの交差領域より大きい。

本発明の第１９の態様は、第１７の態様の領域検出プログラムであって、グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない。

本発明の第２０の態様は、第１７の態様の領域検出プログラムであって、前記情報値が二値化された値であり、前記所定の範囲が情報値１を有するサブブロックを含む。

本発明の第２１の態様は、第１７の態様の領域検出プログラムであって、（ｃ）が、サブブロックの最大グループである主グループを決定する、ことを含む。

本発明の第２２の態様は、第１７の態様の領域検出プログラムであって、関心を有される領域としてサブブロックの一以上のグループをユーザが選択する。

本発明の第２３の態様は、第１７の態様の領域検出プログラムであって、（ｃ）が、前記画像の中心部分に重み付けを行う、ことを含む。

本発明の第２４の態様は、第１４の態様の領域検出プログラムであって、（ａ）が、画像の複数のサブブロックについて離散コサイン変換を計算する、ことを含む。

本発明の第２５の態様は、第１４の態様の領域検出プログラムであって、（ａ）が、画像の複数のサブブロックについてウェーブレット分解を計算する、ことを含む。

本発明の第２６の態様は、第１４の態様の領域検出プログラムであって、（ａ）が、画像の複数のサブブロックについてハール分解を計算する、ことを含む。

本発明は、画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算し、複数の前記サブブロックの各々に関連付けられる情報値を決定し、関心を有される領域を形成するために前記サブブロックをグルーピングする、ようにしているので、画像における関心を有される領域を検出することができる。

本発明の好ましい実施の形態を図面に基づいて詳細に説明する。

一実施の形態において、本発明は、画像および写真における関心を有される領域（ＲＯＩ）を情報駆動型アプローチにもとづいて検出するアルゴリズムを含む。該アルゴリズムにおいて、画像のサブブロックは情報コンテンツもしくは圧縮度について、離散コサイン変換にもとづいて解析される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、顔の検出）とは異なり、本発明の方法は、一般に、任意の画像および写真に適用可能である。アルゴリズムの中心荷重の変形例は特定の写真アプリケーションによい結果をもたらすことができる。本発明は、ステンドグラス・コラージュおよびパン・アンド・スキャン（Ｐａｎ−ａｎｄ−Ｓｃａｎ）・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。

本発明は、例えば、パーソナル・コンピュータ、ＰＤＡなどのコンピュータ・システムにおいて実施されることができる。該コンピュータ・システムは、例えば、写真および画像等のデータやユーザの指示情報を入力する入力部、プロセッサによる実行の際の作業領域を形成すると共にプログラムや処理対象としてのデータを格納する記憶部、処理内容や関心を有される領域を示す処理結果を表示画面上に表示する表示部（表示装置）、およびデータを通信網などに出力する出力部などを含む。プロセッサは、プログラム（ソフトウェア）を読み出し実行することにより、処理対象のデータ等に対し当該プログラムの手順に対応した処理を当該コンピュータ・システムに実行させる。プロセッサは、複数であってもよい。

図１は、本発明の一実施の形態による画像および写真における関心を有される領域を検出する方法１００を示す図である。方法１００は、スタート・ステップ１０５から開始される。次に、ステップ１１０において、画像内のサブブロックが決定される。画像内のサブブロックが決定された後、ステップ１２０において、サブブロックは、ＲＯＩへグルーピングされる。これらのステップは、以下に詳細に説明される。方法１００の動作は、ステップ１２５で終了する。

「画像におけるサブブロックの決定」
一実施の形態において、画像のサブブロックを決定することは、上位の情報コンテンツを有するサブブロックを決定することを含む。図２は、本発明の一実施の形態による上位の情報コンテンツを有するサブブロックを検出する方法２００を示すフローチャートである。方法２００はスタート・ステップ２０５で開始される。次に、ステップ２１０において、画像はサブブロックへ分割される。サブブロックの実際のサイズは、システムの処理能力と、結果について望まれる詳細と、に応じて変化し得る。他の実施の形態において、画像のオリジナル・サイズはサブブロックを取り出すことができる所望のサイズに応じて拡大縮小され得る。例えば、画像は１２８×１２８画素に拡大縮小されてもよく、該画像は１６×１６画素の６４個のサブブロックに分割されることができる。

サブブロックが決定された後、ステップ２２０において、テクスチャ値が決定されてもよい。テクスチャ値は、画像のサブブロックに対するスペクトル特性と関連付けられてもよいし、サブブロックの各々に対するカラー・バンドの少なくとも一つにおいて計算されてもよい。一実施の形態において、テクスチャ値を計算することは、各サブブロック内のカラー・バンド上で２次元的な離散コサイン変換（ＤＣＴ）を計算することを含んでいてもよい。一実施の形態において、ＤＣＴはＲＧＢ空間(レッド・バンド、グリーン・バンド、およびブルー・バンド）の全３色のバンドにおいて実行される。カラー情報は、通常、オブジェクトをより顕著に見せるように支援するので、全３色のカラー・バンド上でＤＣＴを実行することは、単一輝度バンド上で単一ＤＣＴを実行するより良い。例えば、図３Ａの画像３００は、さんご礁に囲まれた青い魚３１０を示す。魚が写真の焦点であることは明確だが、輝度のＤＣＴを用いても、魚は画像内の他の要素に比べてあまり際立たない。画像の三のカラー・バンドでＤＣＴを使用すると、図３Ｂの画像空間３５０内の関心を有される領域３６０の焦点として魚は選択される。

２次元的ＤＣＴは、式（１）によって、定義付けられる。

ここで、
ｕ＝０，１，２，．．．，Ｍ−１、
ｖ＝０，１，２，．．．，Ｎ−１、
であり、
ｆ［ｍ，ｎ］は、画素［ｍ，ｎ］におけるカラー・バンド毎のカラー値である。

カラー・バンド毎に２次元的ＤＣＴが決定された後、ステップ２３０において、ブロック毎に情報コンテンツ値が決定される。一実施の形態において、三のカラー・バンドのＤＣＴブロックが、
Ｂ＝｛（ｒ_u,v，ｇ_u,v，ｂ_u,v）｝
である場合、情報コンテンツ値σ（Ｂ）は、ＲＧＢ値のユークリッド距離に対するＬ²ノルム（−ｎｏｒｍ） から（０，０）におけるＤＣ値を減じた値として定義付けられる。

ここで、合計は、（ｕ，ｖ）≠（０，０）の全てにわたる。画像内のブロック毎に情報コンテンツ値が決定された後、方法２００の動作はステップ２３５で終了する。

「サブブロックのグルーピング」
サブブロックが決定され、情報コンテンツ値と関連付けられた後、サブブロックは、関心を有される領域（ＲＯＩ）にグルーピングされ得る。サブブロックをグルーピングする方法は、図４において方法４００として示される。方法４００は、スタート・ステップ４０５によって開始される。次に、ステップ４１０において、情報コンテンツ値は、サブブロック毎に二値化される。情報コンテンツ値は、０または１いずれかの値に二値化される。一実施の形態において、一の標準偏差より上の値を有するサブブロックは、１にセットされ、残りのサブブロックは、０にセットされる。図５は、サブブロックへ分割され二値化された後の図３Ａの画像３１０を示す。１に二値化されたブロックはブラックであり、残りのブロックはホワイトである。図示されているように、１に二値化されたブロックは、ブロック５１１、５１２、５２１、および５２２を含む。

二値化された後、ステップ４２０においてサブブロックはグルーピングされる。グルーピングは、所定範囲の情報コンテンツ値を有する隣接し合うサブブロックの「グループ」の形成を含む。一つの実施の形態において、グルーピングされる各ブロックに関するブロックの面積×所定のしきい値は、ブロックの交差部の面積より小さくてはならないし、連結されたブロックの濃度は、複数のブロックの平均濃度より高くてはならない。一つの実施の形態において、二値化されたサブブロックに関する範囲の値は１である。隣接するブロックは、辺や角を共有するブロックである。この処理は、グルーピングが作成されなくなるまで続けられる。図５において、本方法は、画像５００内に二つのグルーピングを生成した。このグループは、太線５１３で囲まれた大きなグループと太線５２３で囲まれた小さなグループを含む。性能改善のため、グルーピングに関しては、膨張浸食の標準のモーフォロジー操作が使用されることもある。しかしながら、本発明のグルーピング・システムはこれらの操作を必要としない。

サブブロックがグルーピングされた後、ステップ４３０において、主グループが決定される。一実施の形態において、主グループは、最大境界ボックス面積を有する画像内のグループである。次に、主グループの画像のＲＯＩが考慮される。実際の二値化されたグループに対応する画像の一部を選択するよりも、境界ボックスをＲＯＩとして選択することによって、より簡単な計算がもたらされる。最大の境界ボックスに対応する画像に大きく焦点を合わせた場合とは異なって、通常、小さな境界ボックスはランダム・ディテールを含む。主グループが選択された後、ステップ４３５において、方法４００の動作が終了する。

一実施の形態において、画像内に一つ以上の「関心が有される」ＲＯＩが発生する可能性がある。例えば、図６の第１列の第３の画像において、図７の対応するサブブロック及びグルーピングの図に示されているように、人と動物とが別個のＲＯＩに属する。人と動物との画像とは異なり、図３Ａの魚のいる画像は、図５に示されるように、残りの下部に非主（Ｎｏｎ−Ｄｏｍｉｎａｎｔ）ＲＯＩを含む。図５における非主ＲＯＩは、特に「関心を有される」ものに対応していない。非主ＲＯＩを含むアプリケーションに関して、非主ＲＯＩを選択すべきか否かを解決する一つの方法は、ユーザ介入によるものである。本実施の形態において、ユーザに複数のＲＯＩが提示され、関心を有されないＲＯＩをユーザが取除く場合もある。すなわち、ステンドグラス・コラージュの場合は、まず、全てのＲＯＩが提示され、ユーザが適当でないＲＯＩを手動的に選択し取り除いてもよい。他の実現において、最小境界ボックス・サイズ等のしきい値に一致するＲＯＩがユーザ選択または除去のために提示され得る。

「写真用中心荷重アルゴリズム」
写真に関しては、ＲＯＩが画像の中心周辺にある場合が多い。プロの写真家や芸術家によって撮られる写真などに例外もあるが、一般用デジタル・カメラ(consumer digital cameras)の一般的なユーザは、通常は、写真の端ではなく、中心に被写体や人を置く。これを考慮に入れ、本発明のＲＯＩアルゴリズムは、画像の中心近くをより重くして、ブロックに重み付けを行うことができる。一つの実施の形態において、バンプ関数またはガウシアン関数が、重み付けを達成するために使用され得る。

一つの実施の形態において、画像の中心において重み付けを約５０％増大させ、画像の端部でゼロ近くまでなるように傾斜するガウシアン関数が使用されてもよい。ＲＯＩを決定する本実施の形態を画像セットに適用した結果のＲＯＩは、重み付けされていないアルゴリズムを特徴とする実施の形態を適用した場合のＲＯＩより、大きくなる場合もある。例えば、図８ＡのＲＯＩ８１０は、人をより示すので、図６の対応するＲＯＩ６１０より良い。図８Ｂは、図７において検出された二つのＲＯＩ７２０及び７３０の代わりに一つのＲＯＩ８２０を有する。これは、アプリケーションが写真に対して単一のＲＯＩを示す場合は利点となり、複数のＲＯＩを示す場合は欠点となる。「高凝縮ビジュアル・サマリーの生成（“GENERATING A HIGHLY CONDENSED VISUAL SUMMARY”）」と題された米国特許出願第１０／８１５，３５４号に開示されているように、ステンドグラス・コラージュ・タイプのアプリケーションに関しては、ＲＯＩの周囲部分がＲＯＩ間の間隙を埋め込んだ結果として示されるので、小さなＲＯＩを有することはあまり重要な問題ではない。

本発明の実施の形態による中心荷重の変形例を使用すべきか否かの決定は、アプリケーション・ドメインに左右される。例えば、ＰＤＡ及び携帯電話上では、小さいＲＯＩを有する重み付けされない変形例によって、限定されたスクリーン空間をより効果的に使用することができる。

「ウェーブレットなどのスペクトル分解」
テクスチャ値を求めるために上述のようにＤＣＴ分解を使用することに加えて、本発明の他の実施の形態において、本発明の範囲を逸脱することがなければ、ウェーブレットおよびハール（Ｈａａｒ）分解などの他のスペクトル分解を使用することができる。例えば、ウェーブレットは、計算時間が長い割には、わずかに良好な画像の表示を提供できるにすぎない。また、ウェーブレットは、より複雑なアルゴリズムを必要とする。例えば、（ＪＰＥＧフォーマットにおけるＤＣＴのように）ウェーブレット・エンコーディングを使用するＪＰＥＧ２０００標準に関しては、上位の情報コンテンツのサブブロックを検出するためにウェーブレット分解を使用することも実行可能な方法である。

「画像のステンドグラス画像タイプ表示」
本発明のＲＯＩアルゴリズムは、米国特許出願第１０／８１５，３５４に開示されるようにステンドグラス・タイプの視覚化に使用され得る。基本的なアイディアは、画像セット内でＲＯＩを検出し、隙間のないレイアウトに凝縮することである。ステンドグラス効果は、領域間の空間を埋めるヴォロノイ（Ｖｏｒｏｎｏｉ）・ベースのアルゴリズムから現れる非矩形領域の境界から発揮される。ＰＤＡ（パーソナル・デジタル・アシスタント）および携帯電話の小型表示装置に関しては、画像の凝縮の結果として、隙間なく詰められた領域の人々、オブジェクト、および図形がより大きく示され、見やすくなる。より大きな表示装置やプリントされたポスターに関しては、ステンドグラス・コラージュは、写真を表示するために美的に好ましい方法を提供する。例えば、図６によるＲＯＩを用いるステンドグラス・コラージュを図９に示す。

「画像のパン・アンド・スキャン」
本発明のＲＯＩアルゴリズムは、特許文献２に記載のパン・アンド・スキャン・アプリケーションに適用されてもよい。パン・アンド・スキャン技術は、アニメーションを自動的に生成することによって写真を提供する方法である。アニメーションは、画像内のＲＯＩに交差する計算された経路を横切ることを含む。特許文献２に記載された方法は、周波数座標に沿ってパンするように、関心を有される方向を決定するために、領域のユーザ・ラベリングと２次元フーリエ変換を使用することとを含む。他の方法は、顔検出モジュールによって生成されるＲＯＩを採ることと、顔を通る経路を構成することと、を含む。

本発明のＲＯＩアルゴリズムを適用するためにいくつかの実施の形態が提示されている。例えば、二つのＲＯＩが人と動物とに対応する図７のように、複数の個別のＲＯＩ又は「ブロブ」が識別される場合である。この実施の形態において、これらの領域はパン・アンド・スキャン・システムへ提供され、該領域を開示されている顔検出モジュールの出力と置き換える。

他の実施の形態では、アルゴリズムが単一の大きな「ブロブ」を検出するシナリオを含む。これは、複数のものが密接して写真に撮影されている場合に発生する（例えば、図６の第１列の４番目の写真）。また、写真の中心に単一ブロブを生成する傾向がある、中心荷重の変形例の実施の形態の場合に発生する可能性も高い（図８Ｂ）。この場合、パン・アンド・スキャン・ウィンドウは、写真全体から、ＲＯＩの境界ボックスへ移動することができる（この技術は、特許文献２に開示されている）。

他の実施の形態では、水平線または地平線を有する景色の写真を含む。これは、本発明のＲＯＩアルゴリズムによって検出され得る。ＲＯＩが写真の幅全体にわたる場合に、あるいは、ＲＯＩが低濃度しか有さない場合に水平線を含む傾向がある。例えば、図６の第２列の２番目の写真の中心荷重された値を用いて、その地平線に対応するＲＯＩを生成する（図１０を参照）。次に、パン・アンド・スキャンの経路が構成される。単純な方法は、図１０に示されるように、線形回帰を用いて黒のブロックの中心を通るラインに適合させることである。

一実施の形態において、本発明は、画像および写真における関心を有される領域（ＲＯＩ）を情報駆動型アプローチにもとづいて検出するアルゴリズムを含む。該アルゴリズムにおいて、画像のサブブロックは情報コンテンツもしくは圧縮度について、離散コサイン変換にもとづいて解析される。圧縮度の低いサブブロックは、一種のモーフォロジー（形態的）技術を用いて、ＲＯＩヘグルーピングされる。かなり用途が特定されるタイプのＲＯＩに対して適用される他のアルゴリズム（例えば、顔の検出）とは異なり、本発明の方法は、一般に、任意の画像および写真に適用可能である。アルゴリズムの中心荷重の変形例は特定の写真アプリケーションによい結果をもたらすことができる。本発明は、ステンドグラス・コラージュおよびパン・アンド・スキャン（Ｐａｎ−ａｎｄ−Ｓｃａｎ）・プレゼンテーションを含むいくつかの他の画像アプリケーションと共に使用され得る。

本発明の他の特徴、態様、および目的は、図面および請求項を検討することによって得られる。本発明の他の実施の形態が開発されてもよく、該実施の形態が本発明および請求の範囲の精神および範囲を逸脱しないことが理解されよう。

上述された本発明の好ましい実施の形態についての説明は、例示および説明のみを目的としてなされているのであって、本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更および変形が可能であることは当業者に明確である。実施の形態は、本発明の原則とその実践的な応用を最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、請求の範囲およびそれらと同等のものによって規定されることを意図する。

具体的に設計された集積回路あるいは他の電子技術からなる実施の形態に加えて、本発明の種々の実施の形態は、コンピュータ技術における当業者に明確であるように、本発明の開示の教示によってプログラムされた従来の汎用または専用のデジタル・コンピュータまたはマイクロプロセッサを用いて好適に実現されてもよい。また、当業者に容易に理解されるように、本発明は、汎用または特定用途の集積回路の作成によって、および／または従来のコンポーネント回路の適切なネットワークを相互接続することによって、実現されてもよい。

本発明の種々の実施の形態は、本明細書中に提示された任意の機能を実行するために、コンピュータをプログラムするために使用され得るインストラクションを記憶した記憶媒体であるコンピュータ・プログラム・プロダクトを含む。この記憶媒体は、任意のタイプのディスクを含むことができるが、本発明はこれに限定されるものではない。ディスクの種類には、フロッピー（登録商標）・ディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロ・ドライブおよび磁気光学ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ・メモリ・デバイス、磁気的または光学的カード、ナノシステム（分子メモリＩＣを含む）、またはインストラクションおよび／またはデータの記憶に適する任意のタイプの複数の媒体またはデバイスを含むことができる。種々の実施の形態は、一つ以上のパブリック・ネットワークおよび／またはプライベート・ネットワークを介して転送され得るコンピュータ・プログラム・プロダクトを含み、ここで、転送は、本明細書中に提供される特徴のいずれかを実行するコンピュータ・デバイスをプログラムするために使用され得るインストラクションを含む。

コンピュータ可読媒体のいずれか一つに記憶された状態で、本発明は、汎用／専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の結果を活用して、コンピュータまたはマイクロプロセッサがヒューマン・ユーザまたは他のメカニズムとインタラクションするのをイネーブルとするためのソフトウェアを含む。このようなソフトウェアは、デバイス・ドライバ、オペレーティング・システム、実行環境および／またはコンテナ、およびアプリケーションを含んでいてもよいが、本発明はこれに限定されるものではない。

本発明の教示を実現するためのソフトウェア・モジュールは、汎用／専用コンピュータまたはマイクロプロセッサのプログラミング（ソフトウェア）に含まれ、画像内の関心を有される領域を決定することを含むが、本発明はこれに限定されるものではない。

なお、特許明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。本著作権所有者は、特許庁の特許ファイルや記録データとして特許文献や特許開示のいずれかがファクシミリ複写されたとしても、これに異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。

本発明の一実施の形態による写真および画像における関心を有される領域を決定する方法を示すフローチャートである。 本発明の一実施の形態による画像内でサブブロックを決定する方法を示すフローチャートである。 本発明の一実施の形態による複数のカラー・バンドを有する画像を示す図である。 本発明の一実施の形態による画像における関心を有される領域を示す図である。 本発明の一実施の形態による関心を有される領域にサブブロックをグルーピングする方法を示すフローチャートである。 本発明の一実施の形態による画像の二値化されたブロックを示す図である。 本発明の一実施の形態による一連の画像および該画像の対応する関心を有される主領域を示す図である。 本発明の一実施の形態による二値化されたブロックと画像の対応する関心を有される領域を示す図である。 本発明の一実施の形態による関心を有される領域を示す図である。 本発明の一実施の形態による関心を有される領域を示す図である。 本発明の一実施の形態による写真のコラージュを示す図である。 本発明の一実施の形態による関心を有される領域を示す図である。

符号の説明

３００ 画像
３５０ 画像空間
５００ 画像
５１１、５１２、５２１、５２２ ブロック
６１０、７２０、７３０、８１０、８２０ ＲＯＩ

Claims (26)

1. 画像における関心を有される領域を検出する方法であって、
   （ａ）画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算し、該テクスチャ値は少なくとも一のカラー・バンドでサブブロック毎に計算され、
   （ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定し、
   （ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングする、
   領域検出方法。
2. （ｃ）が、（ｄ）サブブロック毎に前記情報値を二値化する、
   ことを含む、請求項１に記載の領域検出方法。
3. （ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む、請求項２に記載の領域検出方法。
4. （ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む、請求項１に記載の領域検出方法。
5. グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗じられた場合、前記サブブロックの交差領域より大きい、請求項４に記載の領域検出方法。
6. グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない、請求項４に記載の領域検出方法。
7. 前記情報値が二値化された値であり、
   前記所定の範囲が情報値１を有するサブブロックを含む、
   請求項４に記載の領域検出方法。
8. （ｃ）が、サブブロックの最大グループである主グループを決定する、ことを含む、請求項４に記載の領域検出方法。
9. 関心を有される領域としてサブブロックの一以上のグループをユーザが選択する、請求項４に記載の領域検出方法。
10. （ｃ）が、前記画像の中心部分に重み付けを行う、ことを含む、請求項４に記載の領域検出方法。
11. （ａ）が、画像の複数のサブブロックについて離散コサイン変換を計算する、ことを含む、請求項１に記載の領域検出方法。
12. （ａ）が、画像の複数のサブブロックについてウェーブレット分解を計算する、ことを含む、請求項１に記載の領域検出方法。
13. （ａ）が、画像の複数のサブブロックについてハール分解を計算する、ことを含む、請求項１に記載の領域検出方法。
14. 一以上のプロセッサによって処理されることにより、画像における関心を有される領域を検出することをシステムに実行させるプログラムであって、
    （ａ）画像の複数のサブブロックのスペクトル特性に関連付けられたテクスチャ値を計算するステップであって、該テクスチャ値は少なくとも一のカラー・バンドでサブブロック毎に計算される、ステップと、
    （ｂ）複数の前記サブブロックの各々に関連付けられる情報値を決定するステップと、
    （ｃ）関心を有される領域を形成するために前記サブブロックをグルーピングするステップと、
    を含む、領域検出プログラム。
15. （ｃ）が、（ｄ）サブブロック毎に前記情報値を二値化する、
    ことを含む、請求項１４に記載の領域検出プログラム。
16. （ｄ）が、標準偏差より大きい情報値を有するサブブロックに値１を割り当てる、ことを含む、請求項１５に記載の領域検出プログラム。
17. （ｃ）が、所定の範囲にある情報値を有する隣接するサブブロックをグルーピングする、ことを含む、請求項１４に記載の領域検出プログラム。
18. グルーピングされた隣接する前記サブブロックの領域は、所定の閾値を乗じられた場合、前記サブブロックの交差領域より大きい、請求項１７に記載の領域検出プログラム。
19. グルーピングされた隣接する前記サブブロックの濃度は、複数の前記サブブロックの平均濃度を越えない、請求項１７に記載の領域検出プログラム。
20. 前記情報値が二値化された値であり、
    前記所定の範囲が情報値１を有するサブブロックを含む、
    請求項１７に記載の領域検出プログラム。
21. （ｃ）が、サブブロックの最大グループである主グループを決定する、ことを含む、請求項１７に記載の領域検出プログラム。
22. 関心を有される領域としてサブブロックの一以上のグループをユーザが選択する、請求項１７に記載の領域検出プログラム。
23. （ｃ）が、前記画像の中心部分に重み付けを行う、ことを含む、請求項１７に記載の領域検出プログラム。
24. （ａ）が、画像の複数のサブブロックについて離散コサイン変換を計算する、ことを含む、請求項１４に記載の領域検出プログラム。
25. （ａ）が、画像の複数のサブブロックについてウェーブレット分解を計算する、ことを含む、請求項１４に記載の領域検出プログラム。
26. （ａ）が、画像の複数のサブブロックについてハール分解を計算する、ことを含む、請求項１４に記載の領域検出プログラム。