JP2007518171A6 - 画像の配向を検出するための方法及び装置 - Google Patents

Abstract

本発明は画像のセットの中の画像の配向を検出するための方法及び装置に関する。本発明によれば、本発明の方法は画像のセットの中から基準画像を選択するステップ、前記基準画像の配向の関数として前記画像の配向を検出するステップを含む。基準画像はアプリオリにその配向が知られている画像である。

Description

本発明は画像のセットの中の画像の配向を検出するための装置及びプロセスに関する。

本発明はより一般的に言えばテキストも含みうる画像の配向の自動的な検出に関する。

スキャナのように、デジタルカメラはコンピュータスクリーンのようなスクリーン上にしばしば映し出される写真を生成する。これらの画像は、正確に、すなわち正しい配向において映し出されるか、又は、ユーザが自分の頭を左に又は右にまわしたり低めたりしなければこれらの画像を見ることができない向きで映し出されてしまう。

特に、デジタルカメラのようなセンシング装置はいろいろな向きで画像をキャプチャすることができ、とりわけユーザが写真のうちのいくつかをポートレートモードで撮り、他の写真をランドスケープモードで撮ることはまれなことではない。こうして撮られた写真は次いでコンピュータに転送され、全て同じ向きで映し出される。それゆえ、いくつかの写真は正確に映し出されるだろうが、他の写真は正しく見るために９０度、１８０度又は２７０度回転を要することになる。

ある種のセンシング装置、とりわけある種のデジタルカメラは配向センサを有し、これらの配向センサは目標の回転を検出し、画像とともにセンサから得られた回転キュー（rotation cue）を伝送する。これによってビューイング装置は回転キューのおかげで自動的に画像の回転を実施することができ、この結果、画像が正しい向きであらわれる。

他の装置は画像のローレベル又はハイレベル特性を抽出するための方法を使用する。これは、色、テクスチャに関して及び意味論的内容に関して画像のコンテンツを分析することを可能にする。

しかし、このような装置は全ての画像タイプに対してロバストではない。

本発明はとりわけセンシング装置からいかなる配向キュー（orientation cue）も受け取らずかつ他の画像の配向に基づくビューイング装置における画像の自動的な回転に関する。

従って、本発明は、画像のセットの中の画像の配向を検出するための方法において、この方法は次のステップを含み、すなわち、
画像のセットの中から基準画像を選択するステップ、
前記基準画像の配向の関数として前記画像の配向を検出するステップ
を含む、画像のセットの中の画像の配向を検出するための方法に関する。

ユーザが同一のシーンを示す複数の画像を撮り、いくつかの画像がポートレートモードで撮られ、他の画像がランドスケープモードで撮られるということはしばしば起こる。これらの画像の中からの基準画像の検出は、同一のシーン又は類似のコンテンツシーンを表示する他の画像の配向を検出することを可能にするだろう。これは特に風景の中の人物を表示する画像に関してしばしば起こり、ユーザはいくつかの画像においては風景を撮影しようと望み、他の画像においてはクローズアップショットを撮ることによって人物を際立たせようとするのである。

本発明は添付された図面を参照しつつ有利な完全に限定なしの実施例及び実装様式によってより良く理解され説明される。

図１ａ及び１ｂはサブイメージへの分解の例を表し、
図２はブロックへのサブイメージの分解を表す。

図１ａ及び１ｂに示されているように、その配向が求められるターゲット画像ならびに基準画像の中にサブイメージが位置決めされている。

図１ａ及び１ｂによれば、サブイメージはその中にこのサブイメージが位置決めされている画像よりも小さいサイズを持つ。サブイメージが画像と同一であることも可能である。

２つのサブイメージはこれらのサブイメージがその中に位置決めされている画像に関して同じ相対的サイズを有する。２つのサブイメージは同一の幅／高さ比を有する。

１つ又は両方のサブイメージがこれらのサブイメージがその中に存在するそれぞれの画像よりも小さい場合には、サブイメージは、基準画像のサブイメージと配向を検出したいと望むターゲット画像のサブイメージとの間で最小距離を得るように位置決めされる。この目的のために、サブイメージの複数の位置がテストされ、最良の位置が確保される。

別の実施例では、サブイメージは基準画像の場合でもターゲット画像の場合でも画像の中心に位置決めされる。

別の実施例では、サブイメージは画像のクラスに依存する一定のルールに従って位置決めされる。これは、画像がタイプに従って予めクラス分けされており、このタイプは例えばシーンのタイプ（街、風景、室内シーン、人物等々）であることを前提とする。ルールを次のように定義することが可能である。すなわち、風景及び室内シーンの場合には、サブイメージは画像の中心に配置され、街のシーンの場合には、サブイメージは画像の下部に配置される。

さらに別の実施例では、サブイメージは、画像の中のオブジェクトの存在及び位置に依存する一定のルールに従って配置される。これは、画像の中のオブジェクトを前もって検出することを含んでいる。オブジェクトは顔を含むこともありうる。この場合、ルールは場合によってはオブジェクトにサブイメージをセンタリングすることである。

サブイメージが基準画像及びターゲット画像の中に位置決めされている場合、視覚的距離の４つの測定が実施される。これらの４つの測定は次のように実施される。すなわち、
ターゲット画像のサブイメージと基準画像のサブイメージとの間で実施され、
ターゲット画像のサブイメージと９０度回転された基準画像のサブイメージとの間で実施され、
ターゲット画像のサブイメージと１８０度回転された基準画像のサブイメージとの間で実施され、
ターゲット画像のサブイメージと２７０度回転された基準画像のサブイメージとの間で実施される。

これを行うためには、基準画像の及びターゲット画像のサブイメージがＡ*Ｂ個のブロックに分割され、ここでＡは垂直方向の個数、Ｂは水平方向の個数である。図２はブロックへの分割の例を説明しており、Ａ及びＢは２に等しい。

この分割は処理される画像の非定常性に応ずることを目指している（画像の異なるゾーンは非常に異なるコンテンツを表している）。ブロックの個数が多くなればなるほど、ますますこの効果が考慮されることになる。

しかし、個数Ａ*Ｂは、十分な情報を含むために画像の解像度に依存する閾値を越えるべきではない。

ターゲット画像と基準画像との間の距離Ｄの４つの測定は次のように計算される：

距離Ｄ_ｉは図２に示されているように画像の４つのブロック間の４つの距離Ｄ０、Ｄ１、Ｄ２、Ｄ３を表す。

重み付けファクタｗ_ｉは各ブロックごとに適用される。重み付けは、これらのブロックの重要性に従うこれらのブロックの分類に又は距離の計算に関する信頼性の尺度に依存しうる。

各距離Ｄ_ｉは次式によってＭ個の特定距離ｄ_ｍから計算される：

ｍは距離の計算のために使用される記述子（descriptor）の数を表す。記述子は例えば色、テクスチャである。

距離ｄ_ｍの計算は当業者には周知のプロセスを使用して実行される。カラーヒストグラム差、輪郭ヒストグラム差（contour histogram differences）、サブバンドエネルギの差、方向性フィルタ（directional filter）の応答の差をこれらの差を測定するために生じさせることが可能である。

重み付けファクタｖ_ｍはｍ個の距離の計算の信頼性を考慮に入れるために各距離ｄ_ｍに対して適用される。

基準画像はアプリオリにその配向が知られている画像である。これらの画像の配向は様々な方法によって得られうるものであり、とりわけこれらの画像内の例えばオブジェクト又は顔を検出することによって得られるが、ユーザによって手動でこれらをインデクシングすることも可能である。画像の配向を検出することを可能にする本発明により提案される方法とは異なる方法を使用することも可能であり、これらの方法は基準画像の配向を検出するために使用されうる。このような方法は例えば２０００年１１月７日にEastman Kodak社の名において提出された”determining orientation of images containing blue sky”というタイトルのヨーロッパ特許出願１１０７１８２に記述されている。

複数の基準画像が方法に利用可能である場合には、基準画像の選択が所与の画像と方法に利用可能なこれらの基準画像との間のＪ個の距離Ｅ_ｊの計算を行うことによって実施される。

各距離Ｅ_ｊは次式によってL個の特定距離ｅ_ｌから計算される：

重み付けファクタｑ_ｌは計算される各距離ｅ_ｌに適用される。

計算される各距離ｅ_ｌは、距離ｄ_ｍに関して先に示されたように周知のプロセスに従って計算される。

ターゲット画像との距離が最小である基準画像がこの場合選択される。

その後、前述したように、距離Ｄ_ｉの測定が計算され、Ｄが計算される。

それゆえ、Ｄはターゲット画像と基準画像との間で４つの位置において（０度、９０度、１８０度又は２７０度回転されて）計算される。

最小距離は、正しい向きで映し出されるためにターゲット画像に対して行わなければならない回転を指示する。例えば、もし最小距離がターゲット画像と２７０度回転された基準画像との間の距離であるならば、ターゲット画像は正しい向きで映し出されるように２７０度回転されなければならない。

サブイメージへの分解の例を表す。 ブロックへのサブイメージの分解を表す。

符号の説明

Ｄ０ 基準画像のブロック０とターゲット画像のブロック０との間の距離
Ｄ１ 基準画像のブロック１とターゲット画像のブロック１との間の距離
Ｄ２ 基準画像のブロック２とターゲット画像のブロック２との間の距離
Ｄ３ 基準画像のブロック３とターゲット画像のブロック３との間の距離

Claims (9)

1. 画像のセットの中の画像の配向を検出するための方法において、
   該方法は次のステップを含む、すなわち、
   画像のセットの中から基準画像を選択するステップ、
   前記基準画像の配向の関数として前記画像の配向を検出するステップ
   を含む、画像のセットの中の画像の配向を検出するための方法。
2. 基準画像と前記画像との間の視覚的距離（Ｄ）を計算するステップを含むことを特徴とする、請求項１記載の方法。
3. 前記画像と基準画像との間の、
   前記画像と９０度回転された基準画像との間の、
   前記画像と１８０度回転された基準画像との間の、
   前記画像と２７０度回転された基準画像との間の
   視覚的距離（Ｄ）を計算するステップを含むことを特徴とする、請求項２記載の方法。
4. 基準画像内のサブイメージ及び前記画像内のサブイメージを決定し、前記画像と基準画像との間の視覚的距離（Ｄ）の計算はそれぞれのサブイメージにおいて実施されるステップを含むことを特徴とする、請求項３記載の方法。
5. 前記サブイメージは各々が位置決めされている画像に関して同一の相対的サイズを有することを特徴とする、請求項４記載の方法。
6. 前記サブイメージが位置決めされている画像に関して前記サブイメージはセンタリングされることを特徴とする、請求項４記載の方法。
7. 前記サブイメージ間の視覚的距離が最小であるように前記サブイメージは位置決めされることを特徴とする、請求項４記載の方法。
8. 前記基準画像とターゲット画像との間の距離の関数として前記基準画像を選択するステップをさらに含むことを特徴とする、請求項１〜７のうちの１項記載の方法。
9. 画像のセットの中の画像の配向を検出するための装置において、
   該装置は次の手段を含む、すなわち、
   画像のセットの中から基準画像を選択するための手段、
   前記基準画像の配向の関数として前記画像の配向を検出するための手段を含む、画像のセットの中の画像の配向を検出するための装置。

Images