JP2008526054A - 画像の関心領域に向かって方向付けされる自動ナビゲーションの方法 - Google Patents

Abstract

本発明は、デジタル画像形成の技術分野にある。より具体的には、本発明は、デジタル画像(8)とこの画像(8)の関心領域(14, 15)との間で、自動的なナビゲーションを行う方法に関する。本発明の方法は、運動検出手(4)を含む携帯端末(1)のディスプレイスクリーン(2)上の初期画像の表示に基づいて、手動コントロール無しに、単に伝達すること、例えば、関心領域(14, 15)の方向の携帯端末(1)を傾倒することにより、初期画像の関心領域(14)又は(15)に向かう自動ナビゲーションを可能にする。本発明の方法は、ポータブル又は携帯端末、例えば、携帯電話又はフォンカムと共に用いられる。

Description

本発明は、デジタル画像形成の技術分野にある。より具体的には、本発明は、ディスプレイ・スクリーンを備えた携帯端末又はポータブル端末に基づいて、デジタル画像とこの画像の1つ又は2つ以上の関心領域との間で、携帯端末の物理的移動(displacement)に直接的に進行することにより自動的なナビゲーションを行う方法に関する。「ナビゲーション」という用語は、初期デジタル画像の表示から、この初期画像の関心領域の表示へ移ることを意味する。

ビデオカメラ又はデジタルカメラによって捕捉されたデジタル画像は、次いで、ポータブル端末のディスプレイ・スクリーン上でしばしば見られる。ポータブル端末又は携帯端末は、ますます広く行き渡りつつある電話・視覚通信手段である。携帯端末、例えばデジタルカメラ；捕捉手段を備えた又は備えていない携帯電話機；パーソナル・アシスタント又は個人情報端末PDA(パーソナル・デジタル・アシスタント)；又は携帯マルチメディア・リーダ-ビューア(例えばiPodフォト)は、操作しやすい幾何学的形状を有しており、また、使用者の手で保持することができる。スクリーン、例えば携帯電話機のスクリーン上に画像が表示されるときには、スクリーンのサイズは、画像の画素全てを良好な状態で表示するには必ずしも十分でない。さらに端末使用者は、特定の画像領域に接近できることの必要性を感じることがある。なぜならば使用者はその領域の関心の対象を見るからである。一般に「関心領域(region of interest)」と呼ばれる特定の関心ゾーンをよりよく見るために、使用者は、表示された初期画像内の関心領域を選択操作することができる。関心領域は、ナビゲーション直前に、又はナビゲーションと同時に、又は予めナビゲーションとは独立して、自動的に選択することができる。この選択は、関心領域をフルスクリーン表示して、初期画像内に選択されたゾーンの拡大を達成することを可能にする。

国際公開第2004/066615号パンフレットには、小型スクリーンを有するポータブル端末又は携帯端末、例えば携帯電話機が開示されている。携帯電話機は、電話機に付与された運動を検出する手段、例えば光学センサ又は加速度計を有する。これは初期画像に基づいてナビゲーションを可能にし、例えば、空間的に電話機をそれぞれ平進又は回転させることにより、そのスクリーンよりも高い解像度で表示される画像の平面内の移動、又は表示された初期画像の旋回を可能にし、或いは、電話機のスクリーン平面に対して垂直の方向で電話機を動かすことにより、この初期画像上でズームインすることを可能にする。このことは、画像内のナビゲートを有利に行うことにより種々の画像領域を表示し、そして必要に応じて拡大することを可能にする一方で、電話機のキーボードの手動コントロールキーの使用が限定されるのを可能にする。しかし国際公開第2004/066615号パンフレットには、初期画像の関心領域を表示するために表示された初期画像に基づいて全自動ナビゲート(クリックを伴わない、又はクリックなし)することを目的として、関心領域に向いたナビゲーションを最適化して携帯端末のコントロールキーに対する所要クリック回数を減らす手段は開示されていない。

本発明の目的は、携帯端末スクリーン上に表示された初期画像に基づいて、ロバスト(robust)に、そして使用者にとって使い勝手のよいように、しかもクリックなしで、初期画像内で選択された関心ゾーン又は関心領域に向かってナビゲートすることである。例えば、フルスクリーン表示された初期画像から、この初期画像に属する関心領域に向かってズームするために、クリック、又はキーボード又はライトペンとの相互作用は必要でない。携帯端末に特定の運動を付与又は伝達するだけで、初期画像は徐々に、そして自動的に、初期画像の関心領域を表す別の画像に変換される。有利には、関心領域は、携帯端末上にフルスクリーンで自動表示される。関心領域は、例えば携帯端末の使用者によって必ずしも選択されるわけではない。この場合には、関心領域は、メタデータに基づいて、ナビゲート作業の前に抽出される。メタデータは、画像と一緒にコードされ、そして例えばヘッダー又は添付ファイル内に組み込まれる。

本発明の目的はまた、携帯端末の運動によって付与される移動の計算を支援してこの計算を容易にすること、及び1つ又は2つ以上の関心領域に向かう収束、すなわちズーミングを最適化することである。具体的には、使用者が望むナビゲートの目的位置である1つ又は2つ以上の関心領域に関する知識は、特に、使用されるデータが光学センサに由来する場合、端末運動の判断(estimation)中に使用される検索スペースを有利に方向付けする。関心領域上に収束するべく追従するための「3D」(三次元)経路を知っていることが、表示されるべき中間画像の特性、並びに、適用されるべき変換パラメータの特性の最適化を可能にする。

本発明の目的は、ディスプレイ・スクリーンを備えた携帯端末に基づいて、画像内ナビゲーションを容易にし、そして最適化することである。より具体的には、本発明の目的は、携帯端末と、運動検出手段と、ディスプレイ手段とを含んで成る装置を使用して、初期画像の関心領域に向かって自動的にナビゲートする方法であって、該方法は下記工程：
a) 該ディスプレイ手段上に該初期画像を表示する工程；
b) 該初期画像の少なくとも1つの画素ゾーンを自動的に決定する工程、該画素ゾーンは、該初期画像の関心領域を表す、
c) 該運動検出手段を使用して、該携帯端末の移動によって付与される時空的変化を自動的に測定する工程、
d) 工程b)で決定された該関心領域に対して特異的な画素のデータと、工程c)で測定された該時空的変化とを自動的にリンクして、運動情報を自動的に判断する工程；
e) 該運動情報に基づいて、そして初期画像の関心領域に対して特異的な画素のデータを使用して、該規定された関心領域に向かって、連続的な中間画像表示とともに自動的にナビゲートする工程；
f) 該関心領域の画像を、該ディスプレイ手段上にフルスクリーンで自動的に表示する
工程
を含んで成る。

本発明による方法は、従って、携帯端末のディスプレイ手段上に関心領域の画像を自動表示するのを可能にする。

本発明の目的は、初期画像を表示する前に特定されているか、初期画像のヘッダー内にフォーマットされて保存又は記憶されているか、又は時空的変化検出手段によって解釈することができるファイルとして独立して記憶されている、関心領域を自動的に決定することである。

本発明はまた、画像ナビゲーション要求の前に、そして画像ナビゲーション要求の結果として、アクティブ化されるべき関心領域の決定を可能にする。
関心領域の決定は、本発明によれば、ナビゲーション・工程中に絞り込むこともできる。

本発明の目的はまた、関心領域の決定が、時空的変化検出手段によって得られた方向によって検出されたゾーンに方向付けされることである。

本発明の目的はまた、初期画像が、ディスプレイ手段上に連続的に示すことができる多くの関心領域を有する方法を提供する。

種々の図面を参照しながら下記説明を読めば、他の特徴及び利点が明らかになる。
以下に本発明の主な態様を、図面を参照しながら説明する。異なる図面のそれぞれにおける同じ要素には、同じ符号を付ける。

図1は、携帯端末1、例えば携帯電話機を示す。携帯端末1はデジタルカメラ、デジタルカメラスコープ、フォンカム、デジタル・リーダ-ビューア、デジタル個人情報端末PDA(パーソナル・デジタル・アシスタント)、又はPCタブレットであってもよい。携帯端末1は有利には、ディスプレイ・スクリーン2とキーボード3とを含む。携帯端末はまた、運動検出手段4を含む。有利な態様の場合、運動検出手段4は1つ又は2つ以上の光学センサに由来するデータを使用する。有利には、光学センサは、スクリーン2とは反対側の裏面に位置している。

好ましい態様の場合、ナビゲーション方法は具体的には4つの別個の工程を含む。これらの工程は、連続的又は同時に適用され、そして閉じたナビゲーション・ループ内で作業する。このことは、ナビゲーション方法の4つの工程のうちの最後の工程は、これらの工程のうちの最初の工程を再び作動させ、そしてこのことは、使用者が所与の画像においてナビゲーション方法を停止しようとするまで続く。これら4つの工程の実施、又は同時の作動又は連続的な作動は、反復と呼ばれ、この反復は、中間画像が生成されるのを可能にする(下記参照)。こうして、ナビゲーション方法は一般に、いくつかの反復(いくつかの中間画像の生成)から成る。ナビゲーション方法の第1工程は、例えば取得段階である。取得段階は、データセンサによって、携帯端末1の運動分析に必要な情報が取得されるのを可能にする。これは例えば、携帯端末1に搭載された1つ又は2つ以上の光学センサによって、特定の取得頻度で捕捉されたばかりの一対の画像である。画像ナビゲーション方法の第2工程は、例えば関心領域決定段階である。第2工程の目的は、関心領域に関する、すなわち、例えば語義又は文脈の点から見て使用者が関心を持ち得る初期画像8のゾーンに関する一組の画素データを自動的に供給することである。この関心領域決定段階は、有利には、ナビゲーション段階開始時に自動的に適用される関心領域決定方法に基づいていてよいが、しかし、可能な場合には、既に予め抽出されフォーマットされたメタデータを使用しようと試みることもできる。これらのメタデータは、初期画像8の関心領域が規定され使用されるのを可能にする、所要情報すべてを供給する。留意すべき重要なことは、好ましい態様において、このような関心領域決定が、ナビゲーション方法の開始時に一度だけ実施されることである。

前記態様の変更形の場合、関心領域決定工程は、閉じたナビゲーション・ループから排除することもできる。この工程が効果的に用いられる最初の反復中を除いて、この工程の役割は、その後の反復中には、予め抽出された関心領域情報を供給することに限られる。

本発明の有利な態様は、検出された関心領域が絞り込まれるのを可能にする。この場合、関心領域検出段階は、ナビゲーション方法のそれぞれの反復時に作動される。

ナビゲーション方法の第3工程は、有向ナビゲーションの運動の判断である。運動の判断は、運動検出手段4を利用する。この運動判断工程は、最初の2つの工程、すなわち、関心領域取得工程及び関心領域決定工程に由来するデータを使用する。これらの第1及び第2の工程は、このように、運動判断工程を実行するのに不可欠な必要条件工程である。第3工程の作業は、第2工程に依存する。このようなわけで、我々は条件付き運動判断について述べる。運動検出手段4は例えば、ある特定の取得頻度で1つ又は2つ以上の任意のセンサによって捕捉されたばかりの一対の画像を回収し、そして、画像対の取得時に、この時空情報に基づいて、端末1に加えられた運動を判断する。運動測定は、運動振幅及び方向、そして、運動のタイプ、例えばズーム、平進、回転、又はパースペクティブの変化の特徴付けを提供する。判断される運動のフィールドは、局所的又は広域的であってよい。このことは、高密度フィールド判断器又はパラメーター・モデルを使用して達成することもでき、そして例えば他の「二次的な」運動(携帯端末1の移動測定分析を妨げる状況における、使用者の揺すり動作及び他の運動物体)を支配する運動が、ロバスト判断器を使用して区別化されることを可能にすることもできる。運動検出手段4は、1つ又は2つ以上の光学センサ、1つ又は2つ以上の加速度計、又は、端末1内に全て組み込まれた光学センサと加速度計との組み合わせによって供給されたデータを受信する。運動は、時間的フィルタリング法を用いて、以前の運動の測定に従って計算することもできる。この場合、運動検出手段4は、連続的に又は並行して作用する、別個のものであってもなくてもよい2つのモジュールから成る。これらのモジュールのうちの第1モジュールは、センサに由来するデータを使用して、携帯端末1に加えられた運動を判断し、そして、第2モジュールは、第1モジュールによって供給された運動情報を使用して、これを時間的にフィルタリングする。このフィルタリングは例えば、2つの瞬間の間の大きな移動ギャップを必要な場合に方向付けすることを目的として行われる。運動検出手段4は、携帯端末1に伝達された運動の方向を計算する。

当該ナビゲーション方法の第4工程、すなわち最終工程は、表示工程である。表示工程は、運動判断工程において検出された運動情報を使用し、そして関心領域決定工程中に供給された関心領域の特性を使用することもできる。この表示工程は、運動データ及び関心領域データ、並びに、ディスプレイ・スクリーン2及び元の画像8の特性すべてを考慮に入れることにより、使用者がナビゲート目的位置として所望する領域に現時点で表示されている画像領域に従って、この元の画像8を最良に適合させるか又は変換する。運動判断工程とは異なり、関心領域の使用はこの工程に必要というわけではないが、しかし推奨される。使用者によって加えられた刺激に最良に対応する画像部分は、フルスクリーン表示される。この最終工程の実施は、捕捉段階を再びアクティブ化し、捕捉段階は、画像ナビゲーション方法の後続の工程に必要なデータを供給する。捕捉は、運動判断工程の終了時から再びアクティブ化することもできる。上記本発明の方法の方向付けを考慮に入れることにより、いくつかの方法、又はいくつかの処理装置を同時に作用させることもできる。種々の「中間」画像の連続的な表示は、初期画像8に沿って、そして初期画像8内でナビゲート又は移動しているような感覚を与える。

携帯端末は、これらがポータブルであることにより使用者によって容易に操作することができるように計画された具体的な「デザイン」又は形状ファクターを有している。米国特許出願公開第2004/066615号明細書に開示されているような、周知のナビゲーション方法は、携帯端末に平行移動を付与することにより、画像内部の運動又はズームを可能にする。この技術原理は本発明の方法において繰り返される。換言すれば、米国特許出願公開第2004/066615号明細書に記載されているように、初期画像8の表示に基づいて、それぞれ軸5、6又は7に沿って平行移動又はズーミング運動を行うと、前記画像8に関連するナビゲーションが可能になることにより、別の画像を表示することができる。他の表示は例えば、初期画像内に存在する領域と、初期画像内に存在しなかった別の領域とを含む。好ましくは、軸5、6又は7は3つの次元における直交座標を画定する。図1において、軸5、6又は7は従って2×2直交型である。従来技術において、表示された初期画像8から1つの部分だけを、すなわち画像8の関心領域だけを選択するために、スクリーン2上に表示することができるカーソル2は、キーボード3のキーとの組み合わせで使用される。キーは、初期画像8の部分の選択ウィンドウが画定されるのを可能にする。初期画像8の選択部分を次いで例えばズームして、すなわちスクリーン上に拡大表示する。後者の操作は従来技術において知られてはいるが、しかし、携帯端末使用者が手動選択によって、キーボード3のキーのうちの少なくとも1つを用いて関心ゾーン又は関心領域を画定し、次いで例えばコントロールキーのクリックによって、選択された関心領域を確認することを必要とするという欠点を持っている。

本発明の第1の目的は、使用者が初期画像8の関心領域を表示しようと望んだときに、携帯端末1のキーボード3で実施されるべき手動操作又はクリックの回数をゼロに低減することにより、従来技術において実施される手動操作をなくすることである。

本発明の第2の目的は、ナビゲーションを方向付けすること、特に、運動判断工程、及び、変換画像を表示する目的で生成された運動情報を使用する工程の性能を改善することである。

本発明の第3の目的は、高速で、直観的に、そして使用者が取り扱いやすいように作業することにより、初期画像8内で選択された関心領域をフルスクリーン表示するのに要する時間をできる限り低減することである。

本発明はこのように、具体的には、画像内のナビゲートのための手動操作を排除することにより、従来技術の欠点をなくすことを目標にしている。連続的な平進操作は、表示された初期画像に基づいたナビゲーションを可能にする。例えば軸5又は6の方向において携帯端末を平行移動させると、初期画像に対する移動(ナビゲーション)が可能になり、これにより、初期画像表示中にスクリーン上に見えなかった画素ゾーンを含む別の画像が表示される。このことは、ディスプレイ解像度が、表示されるべき画像の解像度よりも低い場合にあてはまる。例えば、携帯端末を軸7の方向で平行移動させることにより、ズーミングを行うことができる。軸7は、軸5及び6によって形成された平面に対して垂直である。従来技術の欠点は、或る携帯端末の計算能力が低いこと、光学センサ品質が悪いこと、そしてリアルタイム・データの計算が必要であることが、複雑でない運動を用いることを判断器に強いることである。複雑でない運動のこれらの判断器は、複雑な運動フィールド、例えばいくつかの平行移動とズーミング運動との組み合わせ、観察されているフィールド内に位置するいくつかの物体又は存在物の特定の運動、強い振幅を有する運動、又はパースペクティブの変化が、精密に測定されるのを可能にしない。

例えば数学モデルの運動ベクトル又はパラメータを無向検索スペースに基づいて判断すると、この判断は、あまりロバストでないおそれがある。ロバスト性の欠如は、一方では、ナビゲーション・工程中に予期せぬ間違った平進又はズーミングを引き起こす誤った運動測定を意味することがあり、また他方では、関心領域上に容易且つ迅速に収束することがかなり難しくなることを意味することがある。従って使用者によって携帯端末1に加えられた運動と、ナビゲーション中に画像に与えられた変換との間に、完全な一致はない。本発明による方法は、困難な且つ／又は不正確なナビゲーションを招くこれらの欠点を排除することを目的とする。

図2に示されているように、本発明は、関心領域、例えば初期画像8の関心領域10及び11の決定又は事前選択の結果を用いて、2つの瞬間の間の運動判断段階(運動測定、及びこれらの測定の任意の時間的フィルタリング)、並びに表示段階(表示を目的とした、初期画像8の適合及び／又は変換)を方向付けし、ひいてはこれを改善することを目的とする。この運動情報は、例えば数学モデルの運動ベクトル又はパラメータであってよい。初期画像8の関心領域10及び11に関する知識に基づいて方向を加えることは、例えば初期画像と関心領域画像との間に生成された中間画像の正しい表示を可能にする。

本発明の好ましい態様の場合、1つ又は2つ以上の関心領域の決定は、ナビゲーション方法を開始する。すなわち、関心領域は、捕捉システムによる最初のデータ取得の前でさえも、又はこれと同時でも決定される。関心領域10及び11を決定するために、我々は例えば、種々の顔並びに照明及び捕捉条件を表す画像ベースに応じた顔の重要な特徴の予備統計学習に基づいて、画像内に存在する明色の検出法、又はより有利には顔検出法を用いる。関心領域は、画像の色特性又は構造特性(テクスチャ、空間強度勾配)に基づいて、又はコンテクスト基準(日付け及び場所の情報、インデックス付きのデータの関連付け及び利用)に応じて決定することもできる。このタイプの顔検出法は、従来技術において知られている。関心領域は、携帯端末1上で直接にバッチ(バックグラウンド)モードにおいて決定することができるが、しかしナビゲーション方法とは独立して、又はリアルタイムで、すなわちナビゲーション・工程直前に決定することもできる。この第1の態様の場合、本発明による方法は、初期画像8の表示に基づいて、初期画像8の少なくとも1つの関心領域10及び11を自動的に決定する。

関心領域の検出器の別の好ましい態様は、関心領域10及び12の予め計算された特徴付けメタデータの直接的で容易な回収を可能にする。関心領域は有利には、例えばJPEG法のEXIFファイル(交換可能な画像ファイル)のヘッダー内に記憶されるか、又は関連領域決定法によって解釈することができる他のフォーマット・タイプによって記憶される。この態様の利点は、計算能力がより大きい遠隔計算ユニットに向かって関心領域の決定をシフトすることである。関心領域の決定はこうして、より強力なアルゴリズム・ツールから、計算能力がより高いことにより恩恵を受けることができ、そのロバスト性及び精度もより高い。画像ナビゲーション方法の応答時間又はアクティブ化時間も大幅に改善される。なぜならば、メタデータ抽出工程が、関心領域の実際の決定よりも明らかに著しく高速であるからである。JPEG 2000の特徴を用いて、関心領域だけを解凍することができる。図2において、決定された関心領域10及び11は、正方形又は長方形の形状を有している。しかし、決定された関心領域の画素ゾーンは、円形又は楕円形、又は、前記ゾーン内に位置する、検索された対象14及び15を包含することを可能にする任意の形状によって境界を形成することもできる。

別の態様の場合、関連領域の決定は、ナビゲーション・工程開始時に運動検出手段4によって得られた初期方向によって検出された、1つの画像ゾーンに方向付けすることができる。より正確に述べるならば、ナビゲーション方法の最初の反復を実施することができ、この反復は、使用者が画像内でナビゲートしようとする方向が知られることを可能にする。その後、すなわち次の反復中に、関心領域決定工程を再び試行することにより、最初の反復中に最初に決定された関心領域のそれぞれを絞込み又は改善することができる。この改善は、ナビゲーション方向に関する知識によって可能にされ、画像の正確な領域に対するより効率的な収束及び作用を可能にする。また異なる態様において、第2の反復中にだけ関心領域決定法を開始することも可能である。第1の反復は、画像ナビゲーション方向を規定するように、ひいては関心領域の探索範囲となる、初期画像8のゾーンを決定するように作用する。

上記関心領域を決定する種々のモードの組み合わせも可能である。

関心領域決定段階に続く運動判断工程は、この段階と同時に実施することもできる。このことは例えば、初期画像8がフルスクリーン表示されている状態から、関心領域の画像がやはりフルスクリーン表示されている状態に向かって、直観的に、高速で、そしてシンプルにナビゲーションを行うことを可能にする。元の画像8の関心領域を特定する特性を一緒に用いることにより、運動情報の改善された信頼性、及びより高速の計算が可能になる。例えば、携帯端末1に単純な運動を付与すること、例えば軸5及び6によって形成された平面内で、符号V1で示す方向に関心領域10に向かって短時間の平行移動を行うことにより、ナビゲーションを実施することができる。別の態様によれば、携帯端末1に伝達される運動は、軸5及び6によって形成された平面に対して垂直な軸内で前方に向かって行われる短時間のズーミング運動と組み合わせて、符号V2で示す方向に関心領域11に向かって短時間の平行移動を行うことであってもよい。携帯端末1に付与される運動は、関心領域の方向に携帯端末1を傾倒させる短時間の運動であってもよい。この運動は、その振幅が運動判断器によって検出可能であるように十分に低くなければならないという意味で、「短時間」と称される。換言すれば、運動測定中に使用される2つの連続的な画像内に存在する内容は、振幅及び方向において正しい運動判断を可能にするのに十分に相関される。V1及びV2は、関心領域に達するための移動を特徴付けするベクトルである。V1及びV2は、運動方向、運動振幅、及び運動のタイプに関する情報に基づいて計算される。運動のタイプは、例えばズーミング、平進、回転、又はパースペクティブの変化である。計算された移動ベクトルV1及びV2は、対応する関心領域10及び11に向いた自動的で迅速なナビゲーションを可能にする。本発明による方法は、関心領域を事前に知ることができる(自動決定する)ので、移動ベクトルV1及びV2の判断をよりロバストにする。

ナビゲーションを行う際の目的位置である1つ又は2つの領域を知っていることは、運動判断性能に対する直接的な作用を可能にする。有利には、具体的な態様の場合、例えば、運動の種々の振幅及び方向を表す検索スペースを低減することが可能である。例えば、単一の関心領域10が決定されること、及び単一の関心領域10が初期画像8の左上に位置することを想定することができる。この場合、使用者によって加えられ得る運動に対する検索を制限又は支援することは、初期画像8から関心領域10の中心に向かって行われるナビゲーションを許可する人々にとって特に興味深い。運動検出手段4がデータ及び方向に関して最適な方向を検出するようにカバーしなければならないスペース又は全ての方向は、こうして低減される。このことは、検索時間(ひいては計算時間)が短くなるのを可能にし、或いは、検索精度が或る特定の方向において増大するのを可能にする(より精密なサンプリング)。

方向付けされた運動の判断の別の態様の場合、関心領域の方向(初期画像内の位置)は、検索スペースのサイズ又はサンプリングに対して作用することはないが、しかし、他の運動の利益に対して或る特定の運動に重み付けペナルティを科すか又はこれを優遇する傾向がある。例えば、関心領域10が画像8の左上側に位置する前記例の場合、異なる重みを運動に加えることにより、検索スペース全体をカバーすること、すなわち、例えば下方及び右側への潜在的な運動を考慮に入れることも可能である。右下への潜在的な運動には低い重み付け(又は低い確率)が割り当てられるのに対して、左上への生じ得る運動には、より高い重み付けが割り当てられる。これを言い換えるならば、画像8の関心領域の位置に関する知識が、前記ゾーンに向いたナビゲーションを可能にする好都合な方向をもたらすという事実になる。どの態様が用いられるとしても、予測できない挙動が生じた場合に使用者を過度に制限しないように、或る特定の運動を全体的には禁じないことが、より柔軟であると思われる。この場合、関心領域の方向に基づく重み付けを含む運動判断が、より好適である。行われた運動測定を時間的フィルタリングする、より後の段階が、予測不能な挙動に対する適合を可能にすることもできる。

好ましい態様の場合、本発明による方法は時間的フィルタリング段階を含む。時間的フィルタリング段階は、運動検出器4の第1モジュールによって計算された運動情報に適用される。時間的フィルタリングは、限定された事前運動情報セットを使用することにある。画像8を横切ってナビゲーション中に予め(前の反復中に)計算されたこの事前運動情報は、現在の運動を検出又は有効化するための支援手段として使用される。この事前運動情報セットは、一般に履歴と呼ばれるのに対して、現在の運動測定は一般に刷新と呼ばれる。携帯端末1に加えられた運動を測定する時に、時間的フィルタリングを直接的に実行することができる。時間的フィルタリングを後で用いることにより、事前運動測定に従って、最後の運動測定を平滑化又は単に有効化/無効化することもできる。時間的フィルタリングを測定中に直接的に用いる場合、運動の方向及び振幅を、予め計算されたものと相関すると、運動判断中に好ましくなる。時間的なフィルタリングが後で、すなわち運動測定後に実施される場合、履歴を用いて、現在の測定値が事前運動情報と一致するならば、現在の測定値を有効化し、又はそれとは逆の場合(不一致)の場合にはこれを無効化することができる。好ましい方法は、履歴に従って、最後の測定値を平滑化又は補間することにより、局所的に不正確な運動測定によって生じ得るエラーを最小化することにある。好ましい態様の場合、時間的フィルタリングは有利には、関心領域に関する情報から恩恵を受ける。関心領域方向は、運動判断中、時間的フィルタリング中、又はこれら2つの工程のそれぞれにおいて適用することができる。おそらくナビゲーションの目的位置となるであろうゾーンを知っていることにより、運動測定の特に許容可能な平滑化が可能になる。例えば、履歴及び関心領域方向に従って最後の運動測定を平滑化する効果は、よりきれいな、より規則的なナビゲーション経路が形成されるのを可能にする。

従来技術と比較した本発明の利点は、特に、自動的なナビゲーションだけではなく、所望の関心領域に向かうより流動的でより規則的なナビゲーションをも可能にする。初期画像8に基づくナビゲーションは、一方では、運動検出手段4によって計算された方向情報に従って、そして他方では、抽出された関心領域及びディスプレイ・スクリーン2の特徴に従って、表示されるべき画像の領域をシフト又は改変することにより、そしてナビゲーション方法の反復毎に、自動的に実施される。表示工程は、例えば前に表示された画像部分をシフトすることにより、現在の反復において計算された変異ベクトルに対応する平進ファクター(左上)によって、そして初期画像8内でズームすることによって、表示されるべき画像ゾーンを選択し、そしてこのことは常に運動測定に適している。各反復において得られる中間画像は、本発明による方法のナビゲーション・工程中に、初期画像8から出発して、関心領域10及び11に達するためにたどる経路を表す。

関心領域に向かう自動ナビゲーションから生じる最後の画像は、フルスクリーン表示された関心領域を表す。本発明の好ましい態様の場合、使用者は、携帯端末1内に組み込まれたバイブレータ又はブザーのアクティブ化によって、関心領域に達したことを知らされる。本発明の好ましい態様の場合、使用者は、自動ナビゲーションによって付与された移動を次第に減衰させることにより、関心領域に達したことを知らされる。変換された画像12及び13は、関心領域10及び11を表す。関心領域10及び11の領域は、例えば初期画像8の部分である人々の顔14及び15の画像12及び13を表す。

携帯端末1の使用者が画像8の顔15をフルスクリーン2で表示しようと望む場合、この画像8の関心領域に対して特異的なメタデータを含むことができるファイルを有する初期画像8の表示に基づいて、使用者は例えば携帯端末を顔15に向かって傾倒させる。換言すれば、使用者は携帯端末をベクトルV1によって表される方向に傾倒させる。この場合、顔15を表示するために端末を傾倒させることは、例えば、ズーミング運動と平行移動との組み合わせを付与することを意味する。平進軸は、軸5及び6によって形成された平面内部にあり、ズーミング運動は軸7に従って形成される。別の態様の場合、顔15を表示するために、軸5及び6によって形成された平面内で、符号V1で示された方向に端末が単純に平行移動される。携帯端末1に伝達される運動は、軸5、6及び7によって画定された三次元スペース内で行われる運動である。

一般的な用法と適合可能な態様の場合、ナビゲーション方法は、関心領域の1つに達した時に必ずしも終わるとは限らない。実際に使用者は、初期画像8が再びフルスクリーン表示される状態に戻りたいと思うことがあり、或いは、関心領域決定段階中に見いだされた別の関心領域に向かって進みたいと思うこともある。この態様の場合、ナビゲーションは、使用者が決めたときにだけ停止する。

別の態様の場合、本発明は第2の端末(図示せず)で実施することができる。第2の端末はディスプレイ・スクリーンを含み、携帯端末1に、ワイヤ・リンクに、又は有利にはワイヤレス・リンクで接続することができる。例えば、ワイヤレス・リンクはBluetooth（登録商標）タイプのリンクである。運動検出手段は携帯端末1内に配置され、第2の携帯端末内には配置されない。

本発明による方法は、多くの関心領域10及び11を含む初期画像8と適合することができる。こうして、運動検出装置によって生成された測定値に従って、種々の関心領域上に収束することが可能である。関心領域は、関心領域の画像の詳細を、フルスクリーン表示されるのに十分なレベルで維持し、そして携帯端末の表示能力と適合できるように決定される。

本発明を、その有利な態様を参照しながら詳細に説明してきた。しかし、上記態様は、特許請求の範囲内から生じる上記態様と同等の変更形を妨げるものではないことは明らかである。

図1は、本発明による方法を実施するために使用される携帯端末を示す図である。 図2は、本発明に従って変換されるように意図された初期画像を示す図である。 図3は、初期画像の表面に基づいて自動変換された画像を示す図である。

Claims (13)

1. 携帯端末(1)と、時空運動検出手段(4)と、ディスプレイ手段(2)とを含んで成る装置を使用し、下記工程を含んで成る、初期画像(8)の関心領域(10)(11)に向かって自動的にナビゲートする方法：
   a) 該ディスプレイ手段(2)上に該初期画像(8)を表示する工程；
   b) 該初期画像の少なくとも1つの画素ゾーンを自動的に決定する工程、該画素ゾーンは、該初期画像(8)の関心領域(10),(11)を表す；
   c) 該運動検出手段(4)を使用して、該携帯端末(1)の移動によって付与される時空的変化を自動的に測定する工程；
   d) 工程b)で決定された該関心領域に対して特異的な画素のデータと、工程c)で測定された該時空的変化とを自動的にリンクして、運動情報を自動的に判断する工程；
   e) 該運動情報に基づいて、そして初期画像(8)の関心領域に対して特異的な画素のデータを使用して、該規定された関心領域(10),(11)に向かって、連続的な中間画像表示とともに自動的にナビゲートする工程；
   f) 該関心領域(12),(13)の画像を、該ディスプレイ手段(2)上にフルスクリーンで自動的に表示する工程。
2. 該初期画像(8)の該関心領域(10),(11)の自動的な決定が、該ディスプレイ手段(2)上に前記初期画像(8)を表示する前に実施される請求項1に記載の方法。
3. 該初期画像(8)が、該ディスプレイ手段(2)上に連続的に表示することができる多くの関心領域(10),(11)を有する請求項1又は2に記載の方法。
4. 該ナビゲーションの開始時の該携帯端末(1)の運動が、傾倒である請求項1に記載の方法。
5. 該ナビゲーションの開始時の該携帯端末(1)の運動が、該画像(8)の平面内の平行移動、又は前記平面に対して垂直方向の平行移動である請求項1に記載の方法。
6. 該携帯端末(1)の運動が、該画像(8)の平面内の平行移動と、前記平面に対する傾倒との組み合わせである請求項1に記載の方法。
7. 該ディスプレイ手段が、該携帯端末(1)のディスプレイ・スクリーン(2)である請求項1に記載の方法。
8. 該ディスプレイ手段が、ディスプレイ・スクリーンを備え、該携帯端末(1)に接続することができる第2の端末を含む請求項1及び2に記載の方法。
9. 該携帯端末(1)が、ディスプレイ・スクリーン(2)と運動検出手段(4)とを含む携帯電話機である請求項1に記載の方法。
10. 該携帯端末(1)が、ディスプレイ・スクリーン(2)と運動検出手段(4)とを含むカメラである請求項1に記載の方法。
11. 該ディスプレイ手段が、ディスプレイ・スクリーン(2)と運動検出手段(4)とを含む携帯デジタル・リーダである請求項1に記載の方法。
12. 該運動検出手段が、少なくとも1つの光学センサを含む請求項9から11までの記載のいずれか1項に記載の方法。
13. 該運動検出手段が、少なくとも1つの加速度計を含む請求項9から11までの記載のいずれか1項に記載の方法。

Images