JP2011510364A - 表示を動的に変更するシステム及び方法 - Google Patents

Abstract

電子装置のディスプレイ上でのコンテンツの表示を管理する技術は、ディスプレイまでのユーザの距離に基づくものである。距離は、ユーザの顔を検出し、顔の特徴の間の関係に基づいて距離パラメータを規定するために、ビデオデータを解析することにより推定される。表示されるコンテンツは、当該情報に基づいて、例えば表示されるコンテンツのサイズ、表示されるコンテンツのレイアウト又は表示されるコンテンツを構成する可視要素の数を変更することにより、表示されるコンテンツの閲覧を容易にするように調整される。

Description

本発明は、一般にディスプレイ上に可視コンテンツを表示することに関し、特に、ユーザの位置とディスプレイとの距離に基づいて表示されたコンテンツを制御するシステム及び方法に関する。

多くの電子装置は、ユーザに対してコンテンツを表示するためのディスプレイを含む。例えばコンテンツには、テキスト、デジタル画像（例えば、写真及びグラフィックス）、アイコン及びメニュー等が含まれる。ディスプレイを含む電子装置の１つの例は、移動電話である。近年、移動電話は電話をかけることに加えて複数の機能を実行できる相対的に強力な演算装置となっている。例えば多くの移動電話は、音楽プレーヤ及びカメラとして機能させることができる。更に、多くの移動電話では、ユーザは、種々の機能に加えて特にメッセージ（例えば、テキストメッセージ及び電子メールメッセージ）を作成したり、受信メッセージを読んだり、インターネットにアクセスしたりすることができる。

移動電話の表示コンテンツのサイズは静的である場合が多い。例えば、一般にテキストは所定のフォントサイズを使用して表示され、画像はディスプレイの所定部分を使用して表示される。このため、ユーザは表示コンテンツが鮮明に見えるように、ディスプレイの快適な閲覧範囲内に位置する必要がある。移動電話の中には、ユーザがある程度の詳細を閲覧し易くし且つ／又は表示するために表示コンテンツの縮尺を変更することを可能にするものもある。しかし、これらの変更は装置とユーザの間の対話を必要とする。

電子装置のディスプレイ上の可視コンテンツの表示を向上するために、本発明は、ディスプレイまでのユーザの距離に基づいて表示されるコンテンツのサイズを管理し且つ／又は表示されるコンテンツを管理する改善された技術を説明する。ディスプレイまでのユーザの距離は、撮像装置を使用して判定される。撮像装置からの画像データは、ユーザの顔を検出するために解析される。顔の特徴のサイズ及び／又は顔の特徴間の関係は、ディスプレイとユーザとの間の距離を近似するために使用される。この情報に基づいて、表示コンテンツのサイズが調整され、且つ／又は表示されるコンテンツが選択される。これにより、電子装置から所望の距離のところに自身を位置付けたことで、デフォルト表示パラメータに基づいてコンテンツの閲覧が可能である距離よりも離れたとしても、ユーザは依然として表示コンテンツを快適に見ることができる。例えば、通常は表示コンテンツを鮮明に見ることができるように腕の長さの半分のところで移動電話を保持する必要があるユーザであっても、腕の長さ又はそれ以上のところで移動電話を保持しつつインターネットをブラウズすることができる。

本発明の１つの態様によると、電子装置のディスプレイ上に表示される可視コンテンツを制御する方法は、電子装置のユーザの顔の特徴を検出し、検出した顔の特徴に基づいてディスプレイからのユーザの距離を示すパラメータを規定するために、ビデオ信号を解析する工程と、表示されるコンテンツを示された距離においてユーザが容易に閲覧できるようにするために、パラメータに基づいて、表示されるコンテンツを調整する工程とを含む。

方法の一実施形態によると、パラメータは、検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出される。

方法の一実施形態によると、調整により、表示されるコンテンツの可視要素のサイズが変更される。

方法の一実施形態によると、サイズは、可視コンテンツを変倍することにより変更される。

方法の一実施形態によると、コンテンツはテキストを含み、テキストのサイズはテキストのポイントサイズを変更すること及びテキストのフォントを変更することのうち少なくとも一方を行うことにより変更される。

方法の一実施形態によると、調整により、表示されるコンテンツの可視要素のレイアウトが変更される。

方法の一実施形態によると、解析する工程は、ディスプレイに対するユーザの視野角を判定する工程を含み、調整する工程は、視野角に基づいてディスプレイ全体にわたって、表示されるコンテンツのサイズを不均一に変更する工程を含む。

方法の一実施形態によると、解析する工程は、電子装置に対するユーザの相対的な向きを判定する工程を含み、調整する工程は、ユーザと電子装置とが異なる向きを有していた場合に、表示されるコンテンツの向きを回転させる工程を含む。

本発明の別の態様によると、電子装置のディスプレイ上に表示される可視コンテンツを制御する第２の方法は、電子装置のユーザの顔の特徴を検出し、検出した顔の特徴に基づいてディスプレイからのユーザの距離を示すパラメータを規定するために、ビデオ信号を解析する工程と、示された距離が所定の閾値より短い場合に可視コンテンツの複数の項目を表示する工程と、示された距離が所定の閾値より大きくなるように増加されたことを検出する工程と、検出後、ディスプレイの複数の表示された項目のうちの少なくとも１つの項目を除去し且つ項目の残りの１つのサイズを増加させる工程とを含む。

第２の方法の一実施形態によると、パラメータは、検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出される。

第２の方法の一実施形態によると、可視コンテンツの複数の項目は、指定された場所に到達するようにユーザに指示を提供するナビゲーションアプリケーションと関連付けられる。

第２の方法の一実施形態によると、可視コンテンツの複数の項目は、表示中に再生されるオーディオファイルと関連付けられる。

第２の方法の一実施形態によると、サイズが増加される項目は、オーディオファイルと関連付けられるアートワークである。

本発明の別の態様によると、電子装置は、電子装置のユーザの表示が含まれるビデオ信号を生成する撮像装置と、ユーザに対して可視コンテンツを表示するディスプレイと、電子装置のユーザの顔の特徴を検出するためにビデオ信号を解析し、検出した顔の特徴に基づいてディスプレイからのユーザの距離を示すパラメータを規定し、表示されるコンテンツを示された距離においてユーザが容易に閲覧できるようにするために、パラメータに基づいて、表示されるコンテンツを調整するコントローラとを含む。

電子装置の一実施形態によると、パラメータは、検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出される。

電子装置の一実施形態によると、調整は、表示されるコンテンツの可視要素のサイズの変更である。

電子装置の一実施形態によると、サイズは、可視コンテンツを変倍することにより変更される。

電子装置の一実施形態によると、コンテンツはテキストを含み、テキストのサイズはテキストのポイントサイズを変更すること及びテキストのフォントを変更することのうちの少なくとも一方を行うことにより変更される。

電子装置の一実施形態によると、調整により、表示されるコンテンツの可視要素のレイアウトが変更される。

電子装置の一実施形態によると、コントローラは、ディスプレイに対するユーザの視野角を判定し、表示されるコンテンツに対する調整は、視野角に基づいてディスプレイ全体にわたって、表示されるコンテンツのサイズを不均一に変更することを含む。

電子装置の一実施形態によると、コントローラは、電子装置に対するユーザの相対的な向きを判定し、表示されるコンテンツに対する調整は、ユーザと電子装置とが異なる向きを有していた場合に、表示されるコンテンツの向きを回転させることを含む。

一実施形態によると、電子装置は、ネットワークを介して通話を確立する通話回路網を更に含む。

これらの特徴及び更なる特徴は、以下の説明及び添付の図面を参照することにより明らかとなるだろう。説明及び図面において、本発明の特定の実施形態は、本発明の原理が採用されうる方法の一部を示すものとして詳細に開示されているが、本発明はそれに従って範囲が限定されるものではないことは理解されよう。本発明は、添付の請求の範囲の範囲内である全ての変更、変形及び等価物を含む。

一実施形態に関して説明及び／又は図示される特徴は、１つ以上の他の実施形態と同一の方法又は同様の方法で使用されてもよく、並びに／あるいは他の実施形態の特徴と組み合わせて又はその代わりに使用されてもよい。

図１は、移動電話のディスプレイからのユーザの距離に基づいて表示コンテンツを調整する例示的な電子装置である移動電話を示す概略図である。 図２は、図１の移動電話を示す概略ブロック図である。 図３は、ディスプレイからのユーザの距離を判定するために処理されたユーザの顔の画像を示す概略図である。 図４は、表示テキストのサイズがディスプレイからのユーザの距離に基づいて調整されている別の例示的な電子装置であるラップトップコンピュータを示す概略図である。 図５は、表示テキストのサイズがディスプレイからのユーザの距離に基づいて調整されている別の例示的な電子装置であるラップトップコンピュータを示す概略図である。 図６は、表示コンテンツのサイズ及び種類がディスプレイからのユーザの距離に基づいて調整されているデスクトップミュージックスタンドに取り付けられる図１の移動電話を示す概略図である。 図７は、表示コンテンツのサイズ及び種類がディスプレイからのユーザの距離に基づいて調整されているデスクトップミュージックスタンドに取り付けられる図１の移動電話を示す概略図である。 図８は、図１の移動電話が動作してもよい通信システムを示す概略図である。

次に、図面を参照して実施形態を説明する。図中、同様の図中符号は同様の要素を示すために使用される。図面は必ずしも縮尺通りではないことは理解されよう。

本明細書では、主に移動電話に関して実施形態を説明する。しかし、説明する技術は、移動電話以外の動作環境においても実行可能であることは理解されよう。従って、本明細書で使用される電子装置という用語は、任意の種類の適切な電子機器と関連しているものとする。一例として、携帯無線通信装置（移動無線端末とも呼ばれる）、ページャ、通信機、電子オーガナイザ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、メディアプレーヤ（例えば、ＭＰ３プレーヤ及び／又はビデオプレーヤ）、ゲーム機、アクセサリ及びコンピュータが挙げられる。また、ディスプレイは、ディスプレイを駆動するビデオ信号を生成する装置とは別個の装置の一部であってもよい。例えば、ビデオ信号を生成する装置はゲーム機であってもよく、ディスプレイはテレビの一部であってもよい。

最初に図１及び図２について説明する。図１及び図２には、電子装置１０が示されている。電子装置１０は、ユーザと電子装置１０との間の距離に依存してディスプレイ１４上に表示されるコンテンツのサイズ及び／又は種類を調整するように構成された表示管理機能１２を備える。表示管理機能１２の追加の詳細及び動作については、以下に更に詳細に説明する。表示管理機能１２は、電子装置１０内に常駐され且つ電子装置１０により実行される実行可能コードとして具体化されてもよい。一実施形態において、表示管理機能１２は、コンピュータ又は機械可読媒体に格納されたプログラムであってもよい。表示管理機能１２は、スタンドアロンソフトウェアアプリケーションであってもよく、あるいは電子装置１０に関連する追加のタスクを実行するソフトウェアアプリケーションの一部として形成されてもよい。

電子装置１０は、撮像装置１６を含む。図示される実施形態の撮像装置１６は、ユーザがディスプレイ１４を閲覧する間にユーザに向けられるカメラである。この種のカメラは、テレビ電話通話（テレビ電話とも呼ばれる）を容易にするために一部の移動電話において利用可能である。撮像装置１６は、撮像装置１６の視野にある物体の表示を含むビデオ信号を生成する。ビデオ信号は、顔検出アルゴリズムを使用して顔の特徴を識別するために表示管理機能１２により解析される。顔の識別は、ユーザがディスプレイ１４を閲覧していることを示す。

識別された段階の特徴は、ユーザとディスプレイ１４との間の距離を判定するために解析される。図示する実施形態において、撮像装置１６は、ディスプレイ１４の近傍に配置されており、ユーザとディスプレイ１４又は撮像装置１６との間の距離の差は殆どない。他の実施形態において、これらの距離の間にはより実質的な差があってもよい。この場合、距離の差は、ユーザとディスプレイ１４との間の距離を判定するための任意の計算に含まれることとなる。

更に図３に示すように、ユーザとディスプレイ１４との間の距離の判定の一部として任意の適切な顔検出及び／又は顔認識技術が使用される。例えば顔検出は、撮像装置１６の出力が特徴に変換され且つ画像が顔、あるいは胴体又は手等の他の体の部分を含むかが分類器によって決定される２値パターン分類を用いて実行される。

顔１８を識別する１つの例示的な技術は、撮像装置１６により生成されるビデオストリームの画像データを解析し、鼻柱２２に関して対称に配置される一対の眼２０の存在を検出することである。図３は、それらの特徴の存在により検出されたユーザの顔１８を概略的に示す。一実施形態において、三角形２４は、眼２０の場所及び鼻２２の先端を結び付けることにより形成される。撮像装置１６に対する周知の焦点距離を使用することにより、三角形２４のサイズは、ユーザが配置されるディスプレイ１４からの距離を示すこととなる。例えば、相対的に大きな三角形２４は、ユーザがディスプレイ１４に近接していることを示し、小さな三角形２４は、ユーザがディスプレイ１４から遠く離れていることを示す。一実施形態において、推定距離が計算されてもよい。別の実施形態において、三角形２４のサイズは閾値と比較されてもよい。三角形２４のサイズが閾値より大きい場合、表示管理機能１２は近接ユーザにコンテンツを提示してもよく、三角形２４のサイズが閾値より小さい場合は、表示管理機能１２は遠隔ユーザにコンテンツを提示してもよい。ユーザのディスプレイまでの距離についての許容範囲に基づいて複数の対応するコンテンツ表示技術を提供するために、複数の閾値が使用されてもよい。この方法において、ユーザのディスプレイまでの距離に基づく表示の変更は、距離が閾値を超えるか又は閾値以下に短くなるにつれて段階的に行われてもよい。

ユーザによって顔の特徴の間隔には固有のばらつきがあるが、非常に多くの割合のユーザに対して適切であるように慎重に選択された閾値に基づいてディスプレイまでのユーザの距離が推定される。例示的な一実施形態において、閾値は、ディスプレイから約１８インチ（例えば、約４５ｃｍ）〜ディスプレイから約２４インチ（例えば、約６０ｃｍ）のユーザの距離に対応するように選択される。一実施形態において、距離の解析は、電子装置１０を最も頻繁に使用するユーザに対して校正されてもよい。

あるいは、閾値との比較の代わりに、ユーザとディスプレイとの間の推定距離を示す値が生成されてもよい。その後、コンテンツの表示がその値に基づいて調整されてもよい。この方法において、ディスプレイまでのユーザの距離に基づく表示の変更は、段階的に又はより平滑に徐々に行われてもよい。

ユーザとディスプレイ１４との間の距離を判定するにあたっては、識別された顔に基づく他の技術が採用されてもよいことは理解されよう。例えば、顔の特徴のサイズ（例えば、眼２０のサイズ又は顔全体のサイズ）が使用されてもよく、顔の特徴の間の距離（例えば、眼２０の間の距離）が使用されてもよく、あるいは眼２０及び鼻柱２２以外の顔の特徴を結び付けることにより作成される形状が使用されてもよい。ユーザ及びユーザとディスプレイ１４との間の距離を検出するために、シルエット検出が使用されてもよい。

顔が検出されない場合、ディスプレイ１４を閲覧している任意のユーザがディスプレイ１４から相対的に離れた距離にいると仮定される。部分的な顔の特徴が検出される場合（例えば、ユーザが振り向くか又は撮像装置１６の視野の光軸に対してある角度で顔を向ける場合）、デフォルト値に基づいて又は部分的な顔の特徴（例えば、単一の眼及び鼻）を解析することにより距離が仮定される。更に、複数の顔が検出される場合、ディスプレイ１４までの１つの顔の距離が、判定される距離として使用されてもよい。例えば最近接する顔のディスプレイ１４までの距離が使用されてもよい。

撮像装置１６からのビデオ信号は、ユーザとディスプレイ１４との間の距離を推定するための他の方法で使用されてもよい。例えば、視線追跡又は顔認識（例えば、ユーザの一致を確認する）が使用されてもよい。採用可能な例示的な顔認識技術は、固有顔、ｆｉｓｈｅｒｆａｃｅ、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合及び３次元顔認識を含む。

顔検出及び／又は顔認識の代わりに又はそれに加えて、他の物体又はユーザの手等の体の部分が使用可能である。例えば顔が撮像装置１６の視野に入ることがない位置に電子装置１０がある場合、手が使用されてもよい。例えば電子装置１０がナビゲーション支援装置（例えば、ＧＰＳナビゲータ）として乗り物において使用される場合、ユーザは、表示コンテンツの所望の縮尺又は表示情報（例えば、地図又はテキストを使用するナビゲーション合図）の所望の量に対応する距離において撮像装置１６の前方で手を振ってもよい。

一実施形態において、顔検出及び距離判定は、アプリケーションの開始及びユーザが電子装置に対して開始した他の動作の後に実行される。顔検出及び距離判定は、表示管理機能が距離判定を行うまで又は顔が画像フィールドに存在しないという判定が行われるまで、所定期間の間継続する。距離判定に対する周期的な更新が行われてよい。例えば、顔検出及び距離判定が毎分又は１分おきに行われ、距離判定を訂正するようにしてもよい。

距離判定が行われると、表示管理機能１２は、ユーザがコンテンツを鮮明に見ることができる距離に対して適切な方法でディスプレイ上に表示されるコンテンツのサイズを制御する。一実施形態において、種々の距離に対するコンテンツサイズ情報を含むデータベース（例えば、ルックアップテーブル）が構成されていてもよい。サイズ情報は、距離毎にその距離に適切なフォント及び／又はポイントサイズ、その距離に適切な縮尺値又は倍率値、その距離に適切なレイアウト及び／又は視覚物体間隔データ、並びにその距離に適切なアイコンサイズ等を含む。コンテンツをサイズ変更することに加えて、あるいはコンテンツをサイズ変更する代わりに、表示管理機能は、距離判定に基づいて表示されるコンテンツを制御してもよい。例えばユーザがディスプレイに近接するという判定の下で音楽を再生している間、アルバムカバーアートはアーティスト情報、曲情報及び再生データと共に表示されてもよい。しかし、距離判定が、ユーザがディスプレイから相対的に離れていることを示す場合、アルバムカバーアートのみが表示されてもよい。

組み合わされた距離及びサイズ変更情報を使用することにより、表示管理機能１２はコンテンツの表示を制御してもよい。ディスプレイ上のコンテンツのレイアウトは、任意の適切な技術を使用して動的に制御されてもよい。例示的な技術として、表示テキストのフォント及び／又はポイントサイズの変更、拡張マークアップ言語／拡張ハイパーテキストマークアップ言語（ＸＭＬ／ｘｈｔｍｌ）に基づくレイアウトの変更、スケーラブルベクターグラフィックス（ＳＶＧ）に基づくレイアウトの変更等が挙げられる。

判定されたディスプレイ１４からのユーザの距離に基づいて表示コンテンツのサイズ及び／又はコンテンツ自体を変更する構成は、画面をナビゲートするための他のユーザインタフェースの特徴と共に使用されてもよい。例えば、コンテンツが距離判定に基づいて異なるサイズで表示され且つ／又は変更される場合でも、スクロールバー、タブ及び他の従来の機能は依然としてユーザにとって利用可能であってもよい。

ディスプレイ１４のコンテンツ及び／又は可視レイアウトがユーザとディスプレイとの間の距離に依存して管理される方法は多く存在する。コンテンツの表示を管理するいくつかの方法は、装置の種類、ディスプレイのサイズ及び／又は装置の動作モード（例えば、実行しているアプリケーション及び／又はユーザが実行しているタスク）に基づいていてもよい。ユーザとディスプレイとの間の距離に基づいてコンテンツを制御するいくつかの例示的な方法を以下に説明する。図示し且つ説明するコンテンツ管理技術は、網羅的なリストではなく、任意の動作状況（例えば、図示する例示的なコンピュータ及び移動電話の状況だけではない）において適用可能であることは理解されよう。

図４及び図５は、例示的な電子装置１０をディスプレイ１４及び撮像装置１６を含むラップトップコンピュータの形態で示したものである。撮像装置１６は、電子装置１０に組み込まれていてもよく、あるいは電子装置１０に動作可能に接続されていてもよい。図４及び図５の実施形態において、例えば撮像装置１６は「ウェブ」カメラであってもよい。

本実施形態において、ユーザとディスプレイ１４との間の距離は、上記で詳細に説明したように判定される。この判定に基づいて、ディスプレイ１４上に表示されるテキストは、判定された距離に従ってサイズ変更される。例えば図４に示すように、ユーザの位置がディスプレイ１４に相対的に近接していると特定された場合、テキストはディスプレイ１４上において相対的に小さく表現され、図５に示すように、ユーザの位置がディスプレイ１４から相対的に遠く離れていると特定された場合、テキストはディスプレイ上に相対的に大きく表現される。一実施形態において、テキストはディスプレイまでのユーザの距離に基づいて動的に変倍されるか又はポイントサイズが変更される。別の実施形態において、フォントはディスプレイまでのユーザの距離に基づいて選択される。

テキストサイズを動的に変更すること及び／又はフォントを変更することに加えて、テキスト及び／又は画像のレイアウトに対する他の変更が行われてもよい。一実施形態において、表示コンテンツの可視要素間の間隔が変更されてもよい。別の実施形態において、テキストが提示される列数が変更されてもよい。別の実施形態において、テキスト及び／又はグラフィックスの透明度が変更されてもよい（例えば、ユーザが相対的に遠くにいる場合、可読性及び／又は視覚鮮明度を向上するために透明度が低減されてもよい）。別の実施形態において、グラフィックスに関連するぼけの量が変更されてもよい。

更に、ディスプレイの可視レイアウトが、ユーザとディスプレイ１４との間の距離に依存して変更されてもよい。例えば可視要素は、距離に基づいて再配置されてもよい。また、ユーザが「遠くにいる」場合、可視要素は除去されてもよく且つ残りの可視要素はサイズが増加されてもよい。一方、ユーザが「至近距離にいる」場合、相対的に更に多くの可視要素が表示されてもよい。別の実施形態において、前景及び／又は背景は、判定された距離に依存して調整されてもよい。例えばユーザが近接している場合に並行しているか又は互いに交互に配置されているウィンドウは、ユーザが遠くにいる場合には、重ね合わされて配置され且つ／又は階層的に配置される。

更に、図６及び図７は、図１及び図２の移動電話が電気コネクタ２８を介してデスクトップミュージックスタンド２６に取り付けられた例示的な一実施形態を示したものである。デスクトップミュージックスタンド２６は、電子装置１０を使用して再生される音楽ファイル又は他のオーディオコンテンツに対応する音を出力する１つ以上のスピーカ３０を含む。図示する実施形態において、電子装置１０はオーディオファイルを能動的に再生する。オーディオファイルは、関連するタイトル（図６において「ＳｏｎｇＴｉｔｌｅ」で示される）を有しており且つ関連するアーティスト（図６において「ＡｒｔｉｓｔＮａｍｅ」で示される）が記録され又は含まれていてもよい。オーディオファイルは、カバーアート３２等の関連する画像を更に有していてもよい。カバーアート３２は、曲が最初に発売された時のアルバム又はＣＤと関連付けられるアートワーク（例えば、例示又はシミュレートされた内容及び／又は写真の内容）である。

ユーザとディスプレイ１４との間の距離は、先に詳細に説明したように判定される。この判定に基づいて、ディスプレイ１４上に表示されるコンテンツが選択されてもよい。例えば閲覧者がディスプレイ１４に相対的に近接している場合、例えばディスプレイ１４から２フィート又は３フィートの距離より近接している場合、表示管理機能１２はオーディオファイルと関連付けられる複数の可視項目を表示するように電子装置１０を制御する。図６の例示される実施形態において、表示コンテンツは、アーティスト名（例えば、「ＡｒｔｉｓｔＮａｍｅ」）、曲のタイトル（例えば、「ＳｏｎｇＴｉｔｌｅ」）、カバーアート３２及びオーディオファイルの残りの再生時間の形式での再生情報を含む。本実施形態において、カバーアート３２は、ディスプレイ全体ではなくディスプレイ１４領域の一部を使用するようにサイズ変更される。他の可視項目がそれらの項目の代わりに又はそれらの項目に加えて表示されてもよいことは理解されよう。

ユーザがディスプレイ１４から相対的に遠くにいると判定された場合に、表示コンテンツは変更される。例えば図７に例示する実施形態のように、テキストを使用する可視要素はディスプレイから除去され、カバーアート３２は、ユーザがディスプレイ１４により近接した場合よりもディスプレイ１４の多くの部分を使用するように拡大される。

例示する実施形態は、表示コンテンツがユーザと電子装置１０のディスプレイ１４との間の距離に基づいて変更される方法のうちのほんの一部であることは理解されよう。別の実施形態において、表示される写真の一部分及び表示部分のサイズは、ディスプレイ１４からのユーザの距離に基づいている。例えばユーザがディスプレイ１４に相対的に近接している場合、写真全体が表示され、ユーザがディスプレイ１４から相対的に遠く離れている場合、表示管理機能１２は写真の一部分が「ズームイン」される。この写真の拡大部分は、写真の同一部分が拡大されずに表示された場合と比較してディスプレイ１４のより大きな部分を使用するように表示される。残りの写真の部分は、ディスプレイ上から削除されるが、表示される写真の部分を変更するためにスクロールバー又は別のナビゲーション方法を使用することにより閲覧されうる。拡大されて表示される部分は、中央部分等の写真の所定部分であってもよい。あるいは、光のバランス、色パターン、写真と関連付けられる画像データを解析することにより検出される顔の特徴等の写真の特徴に基づく部分であってもよい。

ユーザがディスプレイ１４から相対的に遠く離れていた場合に、表示されるコンテンツを拡大する技術は、地図、インターネットページ、連絡先リスト及びメッセージ等の写真以外のコンテンツに適用されてもよい。更に、コンテンツの拡大は、コンテンツが表示される方法に対応する他の変更と組み合わされてもよい。

ディスプレイ１４までのユーザの距離に基づいてコンテンツの表示を管理する別の技術は、グラフィカルユーザインタフェース（ＧＵＩ）の縮尺及び／又はレイアウトを変更することである。変更は、ユーザが関与する動作に基づいて適用されてもよい。例えばアクティブウィンドウがディスプレイの全て又はほぼ全てを専有するように最大化されておらず且つユーザが相対的に遠く離れていると判定された場合、アクティブウィンドウは閲覧を向上するために自動的に最大化されてもよい。更にメニューバー、システムトレイ及びＧＵＩの他の非アクティブ構成要素は、アクティブ領域の構成要素に、より多くの空間を提供することで閲覧性を向上させるために除去されてもよい。この種の変更は、例えばユーザがディスプレイ１４からある距離のところに位置し且つインターネットをブラウズするか又は映画を観る場合に有用である。

一実施形態において、電子装置１０は、地図を表示するためにパーソナルナビゲータとして使用されてもよい。１つの動作モードにおいて、ユーザが指定した目的地までの指示が提供され、電子装置１０が移動するのに伴って地図が動的に更新される。電子装置１０は、専用ナビゲーション装置（全地球測位システム（ＧＰＳ）装置とも呼ばれる）であってもよく、あるいは適切に装備された移動電話、パーソナルデジタルアシスタンス又はコンピュータ等のナビゲーション機能を有する別の装置であってもよい。この種類のナビゲーションモードで機能する場合、コンテンツの表示はディスプレイ１４までのユーザの距離に基づいて管理される。例えば、ユーザがディスプレイ１４に相対的に近接している場合、ナビゲーション画面のレイアウトは、二次的な道路及び／又は指定された目的地までの計算されたルートの一部ではない道路、宿、燃料、食料及び他の地点情報のアイコン、並びにテキスト及び／又はアイコンによる指示合図等の相対的に高いレベルの詳細内容を含む。ユーザがディスプレイ１４から相対的に遠く離れている場合、ナビゲーション画面のレイアウトは、指定された目的地までのルートの一部である道路のみ、最小限の画面上の指示合図及び距離を閲覧するためのディスプレイ１４に散乱する他のアイコン等の相対的に低いレベルの詳細内容を含む。

一実施形態において、顔検出及び距離判定は、ディスプレイ１４の中央に対するユーザの顔のオフセットを判定することを含む。ユーザがディスプレイ１４のすぐ前にいる場合、ディスプレイ１４に対する撮像装置１６の相対位置に依存して、ユーザの検出された顔は、撮像装置１６により出力されるビデオストリームの中央領域に現れる。この状況において、表示コンテンツは、上述したようにユーザとディスプレイ１４との間の距離に基づいて表示される。しかし、ユーザの検出された顔がビデオストリームの中央部分からオフセットされているか又はある角度でディスプレイ１４を閲覧していると計算される場合、表示コンテンツは、ディスプレイ１４に対して計算された視野角に基づいて調整される。一実施形態において、ユーザがディスプレイ１４に対してある角度で向いている場合、表示コンテンツは、ディスプレイ１４全体にわたって、不均一にサイズ変更されるように「スキュー」される。例えばユーザが右側からディスプレイ１４を閲覧していると判定された場合、ディスプレイ１４の左側のコンテンツはディスプレイ１４の右側のコンテンツよりも大きなサイズで表示される。同様に、ユーザが左側からディスプレイ１４を閲覧していると判定された場合、ディスプレイ１４の右側のコンテンツはディスプレイ１４の左側のコンテンツより大きなサイズで表示される。更に、ユーザが上からディスプレイ１４を閲覧していると判定された場合、ディスプレイ１４の下部のコンテンツはディスプレイ１４の上部のコンテンツより大きなサイズで表示される。同様に、ユーザが下からディスプレイ１４を閲覧していると判定された場合、ディスプレイ１４の上部のコンテンツはディスプレイ１４の下部のコンテンツより大きなサイズで表示される。

このように、コンテンツの角度及び／又は傾きは、擬似３次元空間において操作され、これにより、ユーザが種々の方向からコンテンツを読み取ること又は閲覧することが容易になる。コンテンツの見え方を最適化するために、グラフィックスに対する調整は、周知の視野角パラメータ（例えば、ディスプレイが鮮明に閲覧される中央からの最大角度及び閲覧品質が劣化し始める角度より小さい角度）等の表示品質を考慮してもよい。更に、ユーザがその角度から閲覧不可能であるディスプレイの部分は、淡色表示されてもよく又は表示されなくてもよい。

一実施形態において、電子装置１０の向きに対するユーザの向きが判定されてもよい。例えば、図１の電子装置１０は垂直の向きで示され、ディスプレイ１４の前方に位置付けられた垂直方向を向くユーザの眼は互いに横方向にオフセットされていてもよい。しかし、ユーザが電子装置１０を水平になるように回転する場合、あるいはユーザが電子装置１０に対して自身の位置を変更する場合、眼は互いに垂直にオフセットされて検出される。そのように判定されると、ディスプレイ上に表示されるコンテンツは、電子装置１４及びユーザの相対的な向きに一致するように回転される。

表示管理機能１２が表示コンテンツを変更する方法は、電子装置１０のデフォルト設定に基づいていてもよい。あるいは、表示管理機能１２がディスプレイ１４までのユーザの距離の関数として表示コンテンツを変更する方法及びその時期を設定することにユーザが関与してもよい。一実施形態において、顔認識が使用される場合、ユーザの同一性が確認されるように構成してもよく、表示コンテンツは、可視レイアウト及び／又はフォントサイズに対するユーザの基本設定に基づいて調整されてもよい。

上述したように、図１及び図２に例示される電子装置１０は移動電話である。次に、移動電話として実現される場合の電子装置１０の特徴について説明する。電子装置１０は、「ストレート」型筺体を有するものとして示されるが、「フリップ型」（例えば、「折りたたみ型」筺体）又はスライド型（例えば、「スライダ型」筺体）等の他の型の筺体が利用されてもよいことは理解されよう。

ディスプレイ１４は、動作状態、時間、電話番号、連絡先情報、種々のメニュー等の情報をユーザに表示し、ユーザが電子装置１０の種々の特徴を利用できるように構成されている。更にディスプレイ１４は、電子装置１０により受信され且つ／又は電子装置１０のメモリ３４（図２）から検索されるコンテンツを視覚的に表示するために使用されてもよい。ディスプレイ１４は、写真、モバイルテレビコンテンツ及びゲームに関連するビデオ等の画像、ビデオ及び他のグラフィックスをユーザに提示するために使用されてもよい。

キーパッド３６は、種々のユーザ入力動作を提供する。例えばキーパッド３６は、電話番号、電話リスト、連絡先情報、メモ、テキスト等の英数字情報の入力を可能にする英数字キーを含む。更にキーパッド３６は、発呼又は着呼するための「通話送出」キー及び終話又は通話を「切る」ための「終話」キー等の特殊機能キーを含む。特殊機能キーは、ディスプレイ１４上に表示されたメニュー内をナビゲートし易くするためのメニューナビゲーション及び選択キーを更に含む。例えば、ポインティングデバイス及び／又はナビゲーションキーはユーザからの指示入力を受け付けるために存在してもよい。キー又はキー状の機能は、ディスプレイ１４と関連付けられるタッチスクリーンとして更に具体化されてもよい。また、ディスプレイ１４及びキーパッド３６は、ソフトキー機能を実現するために互いに組み合わされて使用されてもよい。

電子装置１０は通話回路網を含み、これにより電子装置１０は、通話を確立し且つ／又は一般に別の移動電話又は固定電話である着呼側／発呼側装置と信号をやり取りすることができる。しかし、着呼側／発呼側装置は別の電話である必要はなく、インターネットウェブサーバ、コンテンツ提供サーバ等の他の装置であってもよい。通話は、任意の適切な形態をとってもよい。例えば、通話は携帯回線交換網を介して確立される従来の通話であってもよく、あるいはセルラネットワークのパケット交換機能を介して又はＷｉＦｉ（例えば、ＩＥＥＥ８０２．１１規格に基づくネットワーク）、ＷｉＭａｘ（例えば、ＩＥＥＥ８０２，１６規格に基づくネットワーク）等の別のパケット交換網を介して確立されるＶｏＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ ＩＰ（インターネットプロトコル））通話であってもよい。別の例として、セルラネットワーク又は別のネットワークを介して確立されるテレビ電話が含まれる。

電子装置１０は、テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ、画像ファイル、ビデオファイル、オーディオファイル、着信音、ストリーミングオーディオ、ストリーミングビデオ及びデータフィード（ポッドキャスト及びＲＳＳ（Ｒｅａｌｌｙ Ｓｉｍｐｌｅ Ｓｙｎｄｉｃａｔｉｏｎ）データフィードを含む）等のデータを送信、受信及び／又は処理するように構成されている。尚、一般にテキストメッセージは、シンプルメッセージサービスを意味する「ＳＭＳ」と呼ばれることがある。ＳＭＳは、テキストメッセージをやり取りするための一般的な規格である。同様に、一般にマルチメディアメッセージは、マルチメディアメッセージサービスを意味する「ＭＭＳ」と呼ばれることがある。ＭＭＳは、マルチメディアメッセージをやり取りするための一般的な規格である。データを処理する工程は、メモリ３４にデータを格納する工程、データとのユーザ対話を可能にするためにアプリケーションを実行する工程、データと関連付けられるビデオ及び／又は画像コンテンツを表示する工程、並びにデータと関連付けられるオーディオサウンドを出力する工程等を含んでいてもよい。

図２は、電子装置１０を示す機能ブロック図である。簡潔にするために、電子装置１０の多くの特徴についての詳細な説明は省略する。電子装置１０は、電子装置１０の機能及び動作の全体の制御を実行するように構成される主制御回路３８を含む。制御回路２０は、中央処理装置（ＣＰＵ）、マイクロコントローラ又はマイクロプロセッサ等の処理装置４０を含む。処理装置４０は、電子装置１０の動作を実行するために主制御回路３８内のメモリ（不図示）及び／又はメモリ３４等の別個のメモリに格納されたコードを実行する。メモリ３４は、例えばバッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）又は他の適切な装置のうちの１つ以上であってもよい。一般的な構成において、メモリ３４は、長期間のデータ記憶のための不揮発性メモリ（例えば、フラッシュメモリ）及び主制御回路３８に対するシステムメモリとして機能する揮発性メモリ（例えば、ＲＡＭ）を含む。メモリ３４は、データバスを介して主制御回路３８とデータをやり取りする。メモリ３４と主制御回路３８との間に付属する制御線及びアドレスバスが更に存在してもよい。

他のアプリケーションに加えて、処理装置４０は表示管理機能１２を実現するコードを実行する。表示管理機能１２が一実施形態に従って処理装置４０により実行されるが、そのような機能は専用のハードウェア又はファームウェア、あるいはハードウェア、ファームウェア及び／又はソフトウェアの組合せを介しても実行可能である。

更に図１及び図２に示すように、電子装置１０は無線回路４４に結合されるアンテナ４２を含む。無線回路４４は、アンテナ４２を介して信号を送信するための高周波送信機及び受信するための高周波受信機を含む。例示されるアンテナ４２及び無線回路４４は、１つ以上の無線アクセストランシーバであってもよいことは理解されよう。無線回路４４は、移動通信システムにおいて動作するように構成されていてもよく、データ及び／又は音声映像コンテンツを送受信するために使用されてもよい。移動無線ネットワーク及び／又は放送網と対話する受信機の種類には、汎ヨーロッパデジタル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷｉＦｉ、ＷｉＭａｘ、デジタルビデオ放送−ハンドヘルド（ＤＶＢ−Ｈ）、統合デジタル放送（ＩＳＤＢ）等、並びにそれらの規格の拡張バージョンが含まれるがそれらに限定されるものではない。

電子装置１０は、無線回路４４により送信され且つ無線回路４４にて受信されるオーディオ信号を処理する音響信号処理回路４６を更に含む。ユーザが従来のように電子装置１０を介して聞くことを可能にするスピーカ４８及び話すことを可能にするマイク５０は、音響信号処理回路４６に結合される。無線回路４４及び音響信号処理回路４６は、動作全体を実行する主制御回路３８に結合される。オーディオデータは、ユーザに向けて再生するために主制御回路３８から音響信号処理回路４６に渡される。オーディオデータは、例えばメモリ３４に格納され且つ主制御回路３８により検索されるオーディオファイルのオーディオデータ、あるいは移動無線サービスからのストリーミングオーディオデータの形式等の受信オーディオデータを含んでいてもよい。音響信号処理回路４６は、任意の適切なバッファ、復号器及び増幅器等を含んでいてもよい。

ディスプレイ１４は、ビデオデータを、ディスプレイ１４を駆動するために使用されるビデオ信号に変換するビデオ処理回路５２を介して主制御回路３８に結合される。ビデオ処理回路５２は、任意の適切なバッファ、復号器及びビデオデータプロセッサ等を含んでいてもよい。ビデオデータは、主制御回路３８により生成されても、メモリ３４に格納されるビデオファイルから検索されても、あるいは無線回路４４により受信される入力ビデオデータストリームから導出されても、あるいは任意の他の適切な方法により取得されてもよい。

電子装置１０は、１つ以上のＩ／Ｏインタフェース５４を更に含む。Ｉ／Ｏインタフェース５４は、一般的な移動電話Ｉ／Ｏインタフェースの形態であってもよく、１つ以上の電気コネクタを含んでいてもよい。通常のように、Ｉ／Ｏインタフェース５４は、電子装置１０をバッテリ充電器に結合して電子装置１０内の電源ユニット（ＰＳＵ）５６のバッテリを充電するために使用されてもよい。更に又はあるいは、Ｉ／Ｏインタフェース５４は、電子装置１０に対する有線インタフェースを有するヘッドセットアセンブリ（例えば、パーソナルハンズフリー（ＰＨＦ）装置）が電子装置１０に接続されるために使用されてもよい。また、Ｉ／Ｏインタフェース５４は、データをやり取りするためのデータケーブルを介して電子装置１０をパーソナルコンピュータ又は他の装置に接続するために使用されてもよい。電子装置１０は、車両電源アダプタ又はＡＣ電源アダプタに接続される場合にＩ／Ｏインタフェース５４を介して動作電力を受け取る。ＰＳＵ５６は、外部電源がない場合に電子装置１０を動作させるために電力を供給する。

電子装置１０は、主制御回路３８及びメモリ３４等の電子装置１０の種々の構成要素をクロック制御するためのシステムクロック５８を更に含む。

電子装置１０は、撮像装置１６に加えて、デジタルピクチャ及び／又は動画を撮るためのカメラ６０を含む。通常、カメラ６０の視野は一般に撮像装置１６の視野とは逆方向を有する。カメラ６０により取り込まれたピクチャ及び／又は動画に対応する画像ファイル及び／又はビデオファイルは、メモリ３４を使用して格納される。

電子装置１０は、全地球測位システム（ＧＰＳ）受信機又はＧａｌｉｌｅｏ衛星システム受信機等の位置データ受信機６２を更に含む。位置データ受信機６２は、電子装置１０の場所を判定することに利用してもよく、且つ／あるいはナビゲーション及び／又はマッピングアプリケーションに場所情報を提供してもよい。

電子装置１０は、アクセサリ、他の移動無線端末、コンピュータ又は他の装置との通信を確立するために赤外線トランシーバ及び／又はＲＦインタフェース（例えば、Ｂｌｕｅｔｏｏｔｈインタフェース）等のローカル無線インタフェース６４を更に含む。例えば、ローカル無線インタフェース６４は、ヘッドセットアセンブリが対応する無線インタフェースを有する一実施形態において、電子装置１０をヘッドセットアセンブリ（例えば、ＰＨＦ装置）に動作可能に結合する。

更に図８に示すように、電子装置１０は、通信システム６６の一部として動作するように構成されていてもよい。通信システム６６は、電子装置１０による発呼及び電子装置１０に対する着呼を管理し、電子装置１０にデータを送信し且つ任意の他のサポート機能を実行するサーバ７０（又は複数のサーバ）を有する通信ネットワーク６８を含んでいてもよい。サーバ７０は、伝送媒体を介して電子装置１０と通信する。伝送媒体は、例えば通信タワー（例えば、セルタワー）、別の移動電話、無線アクセスポイント、衛星等を含む任意の適切な装置又はアセンブリであってもよい。ネットワーク内には、無線送信経路が含まれていてもよい。通信ネットワーク６８は、複数の移動電話１０及び他の種類のエンドユーザ装置の通信動作をサポートしてもよい。理解されるように、サーバ７０は、サーバ機能を実行するために使用される一般的なコンピュータシステムとして構成されていてもよく、サーバ７０の機能を具体化する論理命令を含むソフトウェアを実行するように構成されたプロセッサ及びそのようなソフトウェアを格納するためのメモリが含まれる。

特定の実施形態を図示し且つ説明したが、本明細書を読み且つ理解することにより、他の当業者が添付の特許請求の範囲により規定される範囲内の等価物及び変形を着想することは自明である。

Claims (22)

1. 電子装置（１０）のディスプレイ（１４）上に表示される可視コンテンツを制御する方法であって、
   前記電子装置のユーザの顔の特徴を検出し、該検出した顔の特徴に基づいて前記ディスプレイと前記ユーザとの距離を示すパラメータを規定するために、ビデオ信号を解析する工程と、
   前記表示される可視コンテンツを前記示された距離において前記ユーザが容易に閲覧できるようにするために、前記パラメータに基づいて、前記表示されるコンテンツを調整する工程と
   を有することを特徴とする方法。
2. 前記パラメータは、前記検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出されることを特徴とする請求項１に記載の方法。
3. 前記調整により、前記表示される可視コンテンツの可視要素のサイズが変更されることを特徴とする請求項１又は２に記載の方法。
4. 前記サイズは、前記可視コンテンツを変倍することにより変更されることを特徴とする請求項３に記載の方法。
5. 前記可視コンテンツはテキストを含み、前記テキストのサイズは、前記テキストのポイントサイズの変更及び前記テキストのフォントの変更のうちの少なくとも一方を行うことにより変更されることを特徴とする請求項３に記載の方法。
6. 前記調整により、前記表示される可視コンテンツの可視要素のレイアウトが変更されることを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記解析する工程は、前記ディスプレイに対する前記ユーザの視野角を判定する工程を含み、前記調整する工程は、前記視野角に基づいて前記ディスプレイ全体にわたって、前記表示される可視コンテンツのサイズを不均一に変更する工程を含むことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 前記解析する工程は、前記電子装置に対する前記ユーザの相対的な向きを判定する工程を含み、前記調整する工程は、前記ユーザと前記電子装置とが異なる向きを有していた場合に、前記表示される可視コンテンツの向きを回転させる工程を含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 電子装置（１０）のディスプレイ（１４）上に表示される可視コンテンツを制御する方法であって、
   前記電子装置のユーザの顔の特徴を検出し、該検出した顔の特徴に基づいて前記ディスプレイからの前記ユーザの距離を示すパラメータを規定するために、ビデオ信号を解析する工程と、
   前記示された距離が所定の閾値より短い場合に、可視コンテンツの複数の項目を表示する工程と、
   前記示された距離が増加し前記所定の閾値より大きくなったことを検出する工程と、
   検出後、前記ディスプレイの前記複数の表示される項目のうちの少なくとも１つの項目を除去し、前記項目の残りの１つのサイズを増加させる工程と
   を有することを特徴とする方法。
10. 前記パラメータは、前記検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出されることを特徴とする請求項９に記載の方法。
11. 前記可視コンテンツの複数の項目は、指定された場所に到達するように前記ユーザに指示を提供するナビゲーションアプリケーションと関連付けられることを特徴とする請求項９又は１０に記載の方法。
12. 前記可視コンテンツの複数の項目は、前記表示中に再生されるオーディオファイルと関連付けられることを特徴とする請求項９又は１０に記載の方法。
13. サイズが増加される前記項目は、前記オーディオファイルと関連付けられるアートワーク（３２）であることを特徴とする請求項１２に記載の方法。
14. 電子装置（１０）であって、
    前記電子装置のユーザの表示が含まれるビデオ信号を生成する撮像装置（１６）と、
    前記ユーザに対して可視コンテンツを表示するディスプレイ（１４）と、
    前記電子装置の前記ユーザの顔の特徴を検出するために前記ビデオ信号を解析し、前記検出した顔の特徴に基づいて前記ディスプレイからの前記ユーザの距離を示すパラメータを規定し、かつ、前記表示される可視コンテンツを前記示された距離において前記ユーザが容易に閲覧できるようにするために、前記パラメータに基づいて、前記表示される可視コンテンツを調整するコントローラ（３８）と
    を備えることを特徴とする電子装置（１０）。
15. 前記パラメータは、前記検出した顔の特徴のうちの少なくとも２つの特徴の間の関係から導出されることを特徴とする請求項１４に記載の電子装置。
16. 前記調整は、前記表示される可視コンテンツの可視要素のサイズの変更であることを特徴とする請求項１４又は１５に記載の電子装置。
17. 前記サイズは、前記可視コンテンツを変倍することにより変更されることを特徴とする請求項１６に記載の電子装置。
18. 前記可視コンテンツはテキストを含み、前記テキストのサイズは、前記テキストのポイントサイズの変更及び前記テキストのフォントの変更のうちの少なくとも一方を行うことにより変更されることを特徴とする請求項１６に記載の電子装置。
19. 前記調整は、前記表示される可視コンテンツの可視要素のレイアウトの変更であることを特徴とする請求項１４乃至１８のいずれか１項に記載の電子装置。
20. 前記コントローラは、前記ディスプレイに対する前記ユーザの視野角を判定し、前記表示される可視コンテンツに対する前記調整は、前記視野角に基づいて前記ディスプレイ全体にわたって、前記表示される可視コンテンツのサイズを不均一に変更することを含むことを特徴とする請求項１４乃至１９のいずれか１項に記載の電子装置。
21. 前記コントローラは、前記電子装置に対する前記ユーザの相対的な向きを判定し、前記表示される可視コンテンツに対する前記調整は、前記ユーザと前記電子装置とが異なる向きを有していた場合に、前記表示される可視コンテンツの向きを回転させることを含むことを特徴とする請求項１４乃至２０のいずれか１項に記載の電子装置。
22. ネットワーク（６８）を介して通話を確立する通話回路網（４４）を更に備えることを特徴とする請求項１４乃至２１のいずれか１項に記載の電子装置。

Images