JP2011123501A - 表示装置、表示制御方法および表示制御プログラム - Google Patents

表示装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
JP2011123501A
JP2011123501A JP2010292193A JP2010292193A JP2011123501A JP 2011123501 A JP2011123501 A JP 2011123501A JP 2010292193 A JP2010292193 A JP 2010292193A JP 2010292193 A JP2010292193 A JP 2010292193A JP 2011123501 A JP2011123501 A JP 2011123501A
Authority
JP
Japan
Prior art keywords
face
operator
display
image
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010292193A
Other languages
English (en)
Other versions
JP5236721B2 (ja
Inventor
Kenta Omori
健太 大森
Takashi Kawakami
高 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Ericsson Mobile Communications Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications Japan Inc filed Critical Sony Ericsson Mobile Communications Japan Inc
Priority to JP2010292193A priority Critical patent/JP5236721B2/ja
Publication of JP2011123501A publication Critical patent/JP2011123501A/ja
Application granted granted Critical
Publication of JP5236721B2 publication Critical patent/JP5236721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

【課題】操作者の姿勢の如何によらず、表示情報の変倍操作を簡便かつ直感的に行えるようにする。
【解決手段】表示画面110を見ている状態の操作者10の顔を撮像部104で撮像する。その撮影画像に対する操作者の顔像の比率を検出することにより表示画面から操作者の顔までの距離(顔距離)を検出する。検出された距離の変化に応じて表示画面上での前記情報を変倍する。その際、顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させる。
【選択図】図8

Description

本発明は、表示装置、特に表示画面を備えた移動体端末およびその表示制御方法に関する。
携帯電話端末のような、表示画面を備えた移動体端末には表示画面上に提示する文字などのサイズを変更する機能をもつものがある。これにより操作者の視力が弱い場合にも判読可能な大きさで情報を提示することができる。
特許文献1には、携帯端末において操作キーの操作に応じて表示画面上のテキストの大きさを変更するとともに、テキストの表示形式に応じてテキストの表示内容の調整を行う技術が開示されている。
特許文献2には、携帯型の電子機器において、表示部近傍に内蔵された3軸加速度センサにより表示部の移動方向および移動量を検出し、その移動量に応じた表示倍率で表示画面上の表示情報を拡大または縮小する技術が開示されている。
特許文献3には、撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている。
特開2006−14223号公報 特開2008−65837号公報 特開2005−284487号公報
特許文献1に開示されたような文字サイズの変更は、操作者が特定の操作キーを操作する必要があり、只でさえ複雑な移動体端末の操作方法がさらに複雑化する、という問題がある。
また、表示する内容によって拡大縮小率を変更したい場合の他、例えば地図などでは同じ表示内容であっても拡大して細部を詳細に見たり、小さく縮小して全体を広く見たい場合がありうる。そのような場合、拡大縮小の操作をその都度行うのは煩雑である。
特許文献2に開示された技術によれば、機器をもつ手を上下方向に動かすだけで表示情報の変倍を行えるので、操作者による手動操作の煩雑さが軽減されることが期待される。しかし、この技術では3軸加速度センサの一つの軸(Z軸)方向の加速度を検出することにより機器自体の移動を検出するものであるので、操作者と機器との間の相対的な位置関係が考慮されないという問題がある。例えば、操作者が機器を動かさずに顔を近づけたり遠ざけたりしたような場合には、表示の変倍率は変化しない。また、操作者の姿勢の如何により、例えば寝ころんだ状態で機器を把持して操作する場合には、機器のローカルな軸方向と鉛直軸方向との対応が変化するため、同じ操作者動作では誤動作するおそれがある。
本発明はこのような背景においてなされたものであり、操作者の姿勢の如何によらず、表示情報の変倍操作を簡便かつ直感的に行えるようにするものである。
本発明による表示装置は、表示画面に情報を表示する表示手段と、表示画面を見ている状態の操作者の顔を撮像する撮像手段と、前記撮像手段による撮影画像に対する操作者の顔像の比率を検出することにより、表示画面から操作者の顔までの距離を検出する距離検出手段と、検出された距離の変化に応じて表示画面上での前記情報を変倍する制御手段とを備える。前記制御手段は、前記顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させる。したがって、その変倍操作にはキー操作やメニュー操作等の煩雑な操作が不要となる。
本発明による表示制御方法は、表示画面に情報を表示するステップと、表示画面を見ている状態の操作者の顔を撮像するステップと、撮影画像に対する操作者の顔像の比率を検出するステップと、前記撮影画像に対する操作者の顔像の比率を検出することにより、表示画面から操作者の顔までの距離を検出するステップと、検出された距離の変化に応じて表示画面上での前記情報を変倍するステップとを備え、前記変倍するステップでは、前記顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させるようにしたものである。
本発明はまた、同ステップをコンピュータに実行させる表示制御プログラムとしても把握することができる。
本発明によれば、操作者が表示装置に対する自身の顔の相対的な位置の変更することにより、操作者の姿勢の如何によらず、簡便かつ直感的に表示の変倍操作を行うことが可能になる。したがって、表示内容の全体の一覧と細部の詳細表示との間に自在に移行することができる。これにより、ユーザインタフェースの操作性の向上を図ることができる。
本発明の一実施の形態に係る移動体端末の概略構成を示した図である。 図1に示した移動体端末の概略ハードウェア構成を示した図である。 本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。 本発明の実施の形態における顔距離検出部の構成例を示したブロック図である。 本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係の第1の例を示した図である。 本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係の第2の例を示した図である。 本発明の実施の形態における撮影画像とその撮影画像内に含まれる操作者顔像の関係の第3の例を示した図である。 図5の場合の移動体端末の表示画面上での表示情報の変倍率をハンズフリーで変化させる表示例を示した図である。 図6の場合の移動体端末の表示画面上での表示情報の変倍率をハンズフリーで変化させる表示例を示した図である。 図7の場合の移動体端末の表示画面上での表示情報の変倍率をハンズフリーで変化させる表示例を示した図である。 本発明の実施の形態における顔距離に対する表示情報の変倍率の関係の2例を示すグラフである。 本発明の実施の形態における顔距離に対する表示情報の変倍率の他の関係の2例を示すグラフである。 本発明の実施の形態において表示内容の移動についてハンズフリーで操作を行う表示例を示した図である。 図13に続く表示例を示した図である。 図14に続く表示例を示した図である。
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
図1は、本発明の一実施の形態に係る移動体端末100の概略構成を示している。この移動体端末100は例えば携帯電話端末を想定しており、単に端末ともいう。
移動体端末100は、テキストやイメージ等、任意の表示情報を表示画面110に表示する。かつ、この表示画面110を見ている操作者(すなわちユーザ)10の顔の画像(顔像)を撮像部104により得る。撮像部104は本発明における、表示画面を見ている状態の操作者を撮像するデジタルカメラのような装置に相当する。撮像部104は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別に、テレビ電話などのためにレンズが固定的に操作者に向けられた他の撮像部であってもよい。ただし、後述するような表示画面に平行な方向への操作者の顔の移動を有効に検出するためにはある程度広角の撮像が行えるものが好ましい。
また、図1には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。
図2は、図1に示した移動体端末100の概略ハードウェア構成を示している。
移動体端末100は、CPU101、記憶部102、表示部103、撮像部104、操作部105、および固有機能部106を備える。
CPU101は、本発明の制御手段を構成する部位であり、端末装置のシステムプログラムや本発明の表示制御プログラムを含む各種プログラムを実行することにより移動体端末100全体の制御を司るとともに、各種の処理を行う。
記憶部102は、CPU101の実行するプログラムおよび必要なデータを格納する手段であり、ROM、RAM、フラッシュメモリ、HDD等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する表示情報、撮像部104により得られた撮影画像情報も記憶部102に格納される。
表示部103は、図1に示した表示画面110に任意の表示情報を表示する手段であり、LCD、有機EL等の表示デバイスを含む。
撮像部104は、図1で説明したとおり、操作者10の顔を撮像することができる撮像手段である。
操作部105は、図1で説明したとおり、操作者の入力操作を受ける手段である。
固有機能部106は、個々の移動体端末が備えた固有の機能を達成する部位である。例えば、音楽再生部、画像再生部、動画再生部、GPS機能部、非接触IC機能部、等の1つまたは複数である。
なお、通常の携帯電話端末が有するような無線通信部、振動発生部、LED発光部、電源部、等は図示省略してある。
図3は、本実施の形態における移動体端末100の主要な機能を示した機能ブロック図である。
制御部300により、顔距離検出部310、顔位置検出部315、表示情報変更部320、画像表示指示部330が構成される。
顔距離検出部310は、移動体端末(表示画面)から操作者の顔までの距離(顔距離)を検出し、操作者顔距離情報371として記憶部102内の顔距離情報保存部370内に保存する。
記憶部102内には、最終的に表示部103を用いて操作者に提示される文字や画像を含む表示情報361を保存する表示情報保存部360も含まれる。
顔位置検出部315は、移動体端末(表示画面)に対する操作者の顔の相対的な位置を表す顔位置情報381を検出し、顔位置情報保存部380内に保存する。
表示情報変更部320は、操作者顔距離情報371に基づいて表示情報361を変更する。
画像表示指示部330は、表示情報変更部320により変更された表示情報361を表示するよう表示部103に指示する。
表示部103は、画像表示指示部330から指示された画像を表示する。
顔距離検出部310の顔距離を検出する原理や手法は特に限定するものではないが、その一例を図4により説明する。
図4は、顔距離検出部310の構成例を示したブロック図である。
この顔距離検出部310は、撮像部104と制御部300aにより構成される。撮像部104により得られた撮影画像341は、記憶部102内の撮影画像保存部340内に保存される。撮影画像341は好ましくは操作者顔像341aを含む。
制御部300aは、顔矩形検出部311と顔距離抽出部312と顔位置抽出部313を構成する。
顔矩形検出部311は、撮像部104により得られた撮影画像341中の操作者の顔の部分に対応する矩形(例えば両目または両目および鼻を含む矩形等)を検出し、顔矩形情報351を得る部位である。顔矩形情報351は記憶部102内の顔矩形情報保存部350内に保存される。顔矩形情報351は顔矩形の所定の点(例えば左上点)の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。
顔矩形の検出手法としては、上述した特許文献3に開示されているような公知の技術を利用することができる。例えば、あらかじめ顔の情報を多数学習し、顔検索用辞書データとして構築しておく。次に入力された撮影画像341を拡大縮小しながら顔検索用辞書に格納された情報と比較し、類似部分を判定することを繰り返して顔矩形を検出する。この方法を用いることで、撮影画像341から、両目、鼻、口などの顔要素を抽出し、それらの位置、ひいては顔の領域、表情等を顔矩形情報として高速に検出することが可能である。顔要素には眼鏡のフレームを含んでもよい。顔矩形情報には、後述するように撮像部104に対する操作者の顔の位置や距離およびそれらの変化が反映される。
顔距離抽出部312は、撮影画像341に対する顔像341aの相対的なサイズ(比率)から、表示画面110に対する操作者の顔の距離を検出する部位である。ここに「相対的」とは、静止した端末に対して顔を動かすのも、静止した顔に対して端末を動かすのも等価であるということを意味する。
顔位置抽出部313は、撮影画像341に対する顔像341aの位置から、表示画面110に対する操作者の顔の相対的な位置を検出する部位である。
このように操作者の顔画像を用いて顔距離を検出する方法によれば、撮影画像に対する顔画像のサイズだけでなく、その位置も検出することができる。
図5〜図7は、撮影画像341とその撮影画像内に含まれる操作者顔像341aの関係について示している。それらの関係によって、撮影画像341に基づいて操作者の顔が携帯端末に対する顔距離および顔位置を認識可能であることを説明する。各図(a)は、上方から見下ろした携帯端末と操作者の位置関係を示し、各図(b)では同図(a)の状況で撮影画像保存部340により保存される撮影画像341を示している。撮影画像341から、上述のように既知の方法により、顔矩形情報を検出する。
以下では、図5〜図7を参照して、撮影画像341と操作者顔像341aに対応する顔矩形との位置関係による操作者の顔距離および顔位置を求める方法を説明する。
まず図5(a)に示すように、操作者10(の顔)が表示画面110の真正面に位置している場合を想定する。この場合、図4(b)のように撮影画像341に含まれる操作者顔像341aはその撮影画像341の中央に位置している。
なお、表示画面110と撮像部104との位置がずれている場合、表示画面110の真正面に顔が位置しても、撮像部104による撮影画像内の顔像は中央からずれる可能性がある。その場合、撮影画像に対する顔像の位置のずれ量を補正することができる。
一方、図5(a)に示す状態から操作者10が表示画面110に向かって相対的に左側に移動した場合、撮影画像341に含まれる操作者顔像341aは図5(b)に示す状態から、その撮影画像内の左側寄りに位置するようになる。この場合、実際の撮影画像では、撮影画像内の右側寄りに操作者顔像314aが位置するが、図では操作者顔像314aを便宜上図5(a)の操作者10の顔が位置する側に合わせて示している。撮影画像341に対する顔像314aの相対位置を求める際には、撮影画像341の左右反転画像を用いるか、または、撮影画像341で求めた顔像314aの位置を左右反転する。
このように、撮影画像341に含まれる操作者顔像341aの位置を検出することにより、操作者10が撮像部104または表示画面110に対して、ひいては移動体端末100に対してどの方向に位置するかを判断することができる。
次に、図6(a)のように操作者10が撮像部104に近づいた場合は、図6(b)に示すように撮影画像341に含まれる操作者顔像のサイズ(顔サイズ)(より具体的には例えば撮影画像341上での操作者両目間距離等)は、撮影画像341に対して大きなものとなる。実際上、顔検出手段を用いて撮影画像341に対する顔サイズの相対的な大きさを検出すれば、操作者10の撮像部104に対する距離を判断することができる。換言すれば、顔サイズの変化に基づいて当該距離の変化を検出することができる。ここでは、顔サイズの指標としての、両目間の距離としては、実質的に顔矩形の幅を利用することもできる。また、その代わりに、他にも鼻や口、眉といった顔を構成する要素を用いてそれらの間の距離や、撮影画像341に含まれる顔全体の大きさを使って顔サイズ情報を得て、この顔サイズ情報に基づいて同様に距離を判断することも可能である。
さらに、図7(a)のように操作者10が撮像部104から離れた場合には、図7(b)に示すように撮像画像341に含まれる操作者顔像における操作者両目間距離は撮像画像341に対して相対的に小さなものとなる。
このように、顔検出部を用いて撮像情報に含まれる操作者両目間距離の相対的な大きさを検出すれば、操作者10の撮像部(ひいては表示画面)に対する距離(顔距離)を判断することができる。
図8〜図10は、それぞれ、図5〜図7の場合の移動体端末100の表示画面上での表示情報の変倍率をハンズフリーで変化させる表示例を示している。ここに「ハンズフリー」とは操作者10によるキー操作やメニュー操作等を必要としないという意味であり、完全に両手が自由になるという意味ではない。(通常、少なくとも一方の手は移動体端末100を把持することが必要である。)すなわち、図8〜図10の各図(a)が操作者10と移動体端末100との相互の位置関係を示し、各図(b)がそれぞれの場合の同一の表示内容の表示例を示している。この例の表示内容はテキスト(すなわち文字列)を例としている。これらの図からわかるように、操作者10の顔距離が標準的な中距離である図8(a)の場合に比べて図9(a)に示すように、より移動体端末100に接近して近距離となったとき、テキスト(すなわち文字サイズ)は図8(b)の場合に比べて図9(b)に示すように拡大して表示されている。また、操作者10の顔が図8(a)の場合に比べて図10(a)に示すように、操作者10が移動体端末100から離れて遠距離となったとき、テキストは図8(b)の場合に比べて図10(b)に示すように縮小して表示されている。
このように操作者10は移動体端末100に対して相対的に顔を近づければ表示内容(表示画像)が拡大して表示され、相対的に顔を遠ざければ表示内容が縮小して表示される。
図11(a)に、顔距離Dに対する変倍率Mの関係をグラフとして示す。顔距離Dは中間的な基準距離Drを中心として所定の近距離Daと遠距離Dbの間で変化する。顔距離Dが基準距離Drから近距離Daまで変化すると、変倍率Mは1倍からMa(>1)倍まで連続的に変化する。顔距離Dが基準距離Drから遠距離Dbまで変化すると、変倍率Mは1倍からMb(<1)倍まで連続的に変化する。「連続的」でなく段階的であってもよい。
このように、本実施の形態では顔距離の基準値に対する測定値の差(または比)に応じて表示画像の変倍率が決定されるようにしたが、上記近距離から遠距離までの顔距離の可変範囲Da〜Dbは自ずから制限される。例えば、中距離から画面を視認できる位置Daまで最大限、顔を画面に近づけて変倍率Ma1まで表示画像を拡大させたあと、さらに拡大をさせたい場合にはもう顔を近づけることが困難となる。このような場合、特定の顔変化(例えば片目または両目を閉じる)を利用し、このような顔変化が検出されている状態では顔距離が変化しても表示内容の現在の変倍率を維持するようにすることができる。例えば、図11(b)に示すように、顔距離Daで変倍率がMa1になったあと、さらに拡大をさせたい場合に上記特定の顔変化の状態で顔を基準距離Drまで戻し、そこから顔変化をなくして再度顔を近づけるようにすれば、より大きな変倍率Ma2を得ることができる。
縮小側についても同様な動作が可能である。すなわち、顔を画面から距離Dbまで遠ざけて変倍率Mb1まで表示画像を縮小させたあと、さらに縮小をさせたい場合に上記特定の顔変化の状態で顔を基準距離Drまで戻し、そこから顔変化をなくして再度顔を遠ざけるようにすれば、より小さな変倍率Mb2を得ることができる。
上記特定の顔変化は目を閉じることに限るものではなく、撮影された顔像から認識できる任意の顔変化を利用することができる。例えば、口を開けることであってもよい。
可変範囲を拡大する別の方法としては、図12(a)に示すように、顔距離が予め定めた基準距離Dr(図12(a)のようにある範囲の不感帯があってよい)にあるとき、変倍率変化速度Vを0とする(すなわち変倍率を現状の値に維持する)。顔距離Dが基準距離Drより小さい間は変倍率変化速度を正の所定値Vaとし、拡大を継続する。逆に、顔距離Dが基準距離Drより大きい間は変倍率変化速度を負の所定値Vbとし、縮小を継続する。この場合、操作者10は通常、基準距離Dr付近に顔を置き、表示内容を拡大させたい場合、顔を移動体端末100に近づける。これにより表示内容が変倍率変化速度Vaで連続的にまたは段階的に拡大されていく。所望の倍率まで拡大された状態で顔距離を基準距離Dr付近に戻すと、拡大が停止し、そのときの変倍率が維持される。逆に、表示内容を縮小させたい場合、顔を移動体端末100から遠ざける。これにより変倍率変化速度Vbで表示内容が連続的にまたは段階的に縮小されていく。所望の倍率まで縮小された状態で顔距離を元に戻すと、縮小が停止し、そのときの変倍率が維持される。
上記基準距離Drおよびその不感帯範囲は予め定められた固定値であってもよいが、操作者10が任意に設定できるようにしてもよい。また、図12(b)に示すように、変倍率変化速度は顔距離の変化にかかわらず一定としてもよいし、顔距離の基準値からの差の絶対値に応じて変化速度を変える(絶対値が大きいほど変化速度を大きくする)ようにしてもよい。
以上は表示内容の拡大/縮小の操作について説明したが、さらに表示内容の移動についてもハンズフリーで操作を行うことが可能である。このような例を図13〜図15により説明する。図13〜図15の各図(a)は操作者10と移動体端末100との相互の位置関係を示しており、各図(b)はそれぞれの場合の表示情報(ここでは地図)の表示例を示している。
図13(a)の顔距離の状態で同図(b)に示すような変倍率で地図が表示されている場合、図14(a)のように顔を移動体端末100から遠ざけて顔距離を大きくすると、地図の変倍率が小さくなり縮小表示される。その結果、広範囲のエリアが見られる。
この状態から、図15(a)に示すように、操作者10が移動体端末100に向かって顔を近づけながら、右方向に移動させた場合、顔距離が検出されるとともに、上述した顔位置検出部315(図3)により顔位置も検出される。この顔位置の移動により表示内容も移動する。図の例では、移動体端末100に向かって顔を右側に動かすことにより表示画面上で地図が左方向に移動した例を示している。また、顔距離が小さくなったことにより、同時に地図が拡大表示されている。このような動作は、操作者10が表示画面の見たい側の端部方向へ顔を移動させることにより、その端部側に隠れている表示情報が画面中央側へ移動するものである。操作者10は図14(b)の画面で右方にある駅の情報をより詳しく閲覧するために図15(a)のように顔を移動体端末100に近づけつつ右方に移動表示させる。その結果、表示装置103には図15(b)に示すように、駅の情報が大きく表示されることになる。
図15の例とは逆に顔を左側へ動かすことにより表示画面上で地図が右方向に移動する。左右方向だけでなく、上下方向についても同様の動作が可能である。
顔像の位置および大きさを併せて判断し、変倍率を変更しつつ地図を移動表示させることで、移動体端末100の小さな表示画面でも大きな範囲の情報を快適に閲覧することができる。すなわち、詳細な表示と一覧性を持った表示とをハンズフリーで直感的に切り替えながら利用することができる。
顔の移動についても可変範囲に制限がある。この制限に対する対応としては、特に図示しないが、上記変倍の場合と同様に二通りの対応がありうる。その第1は、顔の移動量に応じて表示内容を移動させる場合に、特定の顔変化の状態が検出されているとき、顔が移動しても、その移動を表示内容の移動に反映させないようにするものである。
第2は、基準位置(典型的には端末の正面中央)に対する顔位置のずれが存在する間、その方向に応じて定まる所定の方向に表示内容の移動を継続して行うものである。すなわち、表示内容の見たい側の隠れた部分の方向へ顔を中央から移動表示させ、表示内容が所望量だけ移動した時点で顔を中央に戻す、という動作である。
なお、表示情報の移動は無限に続くものではなく、表示情報の端部(例えばページの端部)が表示画面上に現れた後は移動の指示によらず、移動は停止する。
上記では顔が端末に近づいたとき表示内容を拡大し、遠ざかったとき縮小するものとした。しかし、これとは逆に、顔が端末から遠ざかったとき表示内容を拡大し、近づいたとき縮小するようにしてもよい。これは老眼の操作者を補佐することが可能となる。
以上のとおり本実施の形態によれば、視力の弱い操作者でも容易に端末の表示内容の変倍操作を行うことができる。近眼の操作者が目を近づける、あるいは老眼の操作者が目を遠ざけた際に表示情報を拡大することにより、画面に表示される情報が見えにくい場合にも利用してもらうことが可能である。
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
例えば、上記の種々の動作は、複数の表示モードを設けて、操作者がいずれかの表示モードを選択的に設定できるようにしてもよい。
顔距離検出部は撮像部を用いるものを例として挙げたが、赤外線や超音波を用いた他の距離検出部を代用することも考えられる。
さらに、上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、PDA、ゲーム機、小型PCなどの、表示画面を有する任意の移動体端末であってよい。また、本発明の移動体端末は好適には携帯型の移動体端末であるが、必ずしも携帯型に限るものでもない。一般に使用されるPCや、公共空間に設置されている券売機や案内板といった端末にカメラ等を使用した顔距離検出部を設置することで、本発明を実現することが可能である。
顔距離および顔位置の両方を検出する例を示したが、表示内容の変倍のみを行い移動を行わない場合には、顔位置の検出手段は不要である。
上記の例では長方形の表示画面を縦長にした状態でその上部に撮像部のレンズが位置する場合を例として説明した。しかし、表示画面を横長にした状態でレンズがその側部に位置する状態で使用することも可能である。その場合には、上記と同様、表示画面の中心と撮像部のずれ量で、顔位置を補正するようにしてもよい。
上述した顔距離に基づく表示倍率の変更操作(および顔位置に基づく移動操作)を適用するか否かは、アプリケーション毎に固定的にまたはユーザの設定により定めるようにしてもよい。
上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラムおよびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体(フレキシブルディスク、ハードディスク、磁気テープ等)、光ディスク(MOやPD等の光磁気ディスク、CD、DVD等)、半導体ストレージ、紙テープなどを挙げることができる。
10…操作者、100…移動体端末、102…記憶部、103…表示部、104…撮像部、105…操作部、106…固有機能部、110…表示画面、300…制御部、310…顔距離検出部、311…顔矩形検出部、312…顔距離抽出部、313…顔位置抽出部、315…顔位置検出部、320…表示情報変更部、330…画像表示指示部、340…撮影画像保存部、341…撮影画像、341a…操作者顔像、350…顔矩形情報保存部、351…顔矩形情報、360…表示情報保存部、361…表示情報、370…顔距離情報保存部、371…操作者顔距離情報、380…顔位置情報保存部、381…顔位置情報

Claims (7)

  1. 表示画面に情報を表示する表示手段と、
    表示画面を見ている状態の操作者の顔を撮像する撮像手段と、
    前記撮像手段による撮影画像に対する操作者の顔像の比率を検出することにより、表示画面から操作者の顔までの距離を検出する距離検出手段と、
    検出された距離の変化に応じて表示画面上での前記情報を変倍する制御手段とを備え、
    前記制御手段は、前記顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させる
    表示装置。
  2. 操作者が選択できる第1および第2の表示モードを設け、第1の表示モードでは前記検出サイズが前記基準サイズより小さいとき変倍率を大きくし、第2の表示モードでは前記検出サイズが前記基準サイズより大きいとき変倍率を小さくする請求項1に記載の表示装置。
  3. 前記制御手段は、前記表示画面に平行な方向における操作者の顔の位置の変化に応じて前記情報を、当該顔の移動方向に対応づけられた所定の方向に移動表示させる請求項1または2に記載の表示装置。
  4. 前記制御手段は、前記顔像の基準位置に対する検出位置の差に応じて前記情報の移動表示の移動量を決定する請求項3に記載の表示装置。
  5. 前記制御手段は、前記顔像の基準位置に対する検出位置の差の符号に応じて前記情報を連続的に移動表示させ、差が0となったとき移動を停止させる請求項3に記載の表示装置。
  6. 表示画面に情報を表示するステップと、
    表示画面を見ている状態の操作者の顔を撮像するステップと、
    撮影画像に対する操作者の顔像の比率を検出するステップと、
    前記撮影画像に対する操作者の顔像の比率を検出することにより、表示画面から操作者の顔までの距離を検出するステップと、
    検出された距離の変化に応じて表示画面上での前記情報を変倍するステップとを備え、
    前記変倍するステップでは、前記顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させる
    表示制御方法。
  7. 表示画面に情報を表示するステップと、
    表示画面を見ている状態の操作者の顔を撮像するステップと、
    撮影画像に対する操作者の顔像の比率を検出するステップと、
    前記撮影画像に対する操作者の顔像の比率を検出することにより、表示画面から操作者の顔までの距離を検出するステップと、
    検出された距離の変化に応じて表示画面上での前記情報を変倍するとともに、その際、前記顔像の基準サイズに対する検出サイズの差の符号に応じて前記画像の連続的なまたは段階的な拡大または縮小を継続し、差が0となったとき変倍率の変化を停止させるステップと
    をコンピュータに実行させる表示制御プログラム。
JP2010292193A 2010-12-28 2010-12-28 表示装置、表示制御方法および表示制御プログラム Active JP5236721B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010292193A JP5236721B2 (ja) 2010-12-28 2010-12-28 表示装置、表示制御方法および表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010292193A JP5236721B2 (ja) 2010-12-28 2010-12-28 表示装置、表示制御方法および表示制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009015137A Division JP2010176170A (ja) 2009-01-27 2009-01-27 表示装置、表示制御方法および表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2011123501A true JP2011123501A (ja) 2011-06-23
JP5236721B2 JP5236721B2 (ja) 2013-07-17

Family

ID=44287376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010292193A Active JP5236721B2 (ja) 2010-12-28 2010-12-28 表示装置、表示制御方法および表示制御プログラム

Country Status (1)

Country Link
JP (1) JP5236721B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2600236A2 (en) 2011-12-01 2013-06-05 Sony Mobile Communications Japan, Inc. Terminal Device, Image Display Method, and Storage Medium
WO2014070494A1 (en) * 2012-11-01 2014-05-08 Motorola Mobility Llc Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
JP2014137143A (ja) * 2013-01-15 2014-07-28 Corona Corp リモコン装置
JP2014529094A (ja) * 2011-08-02 2014-10-30 マイクロソフト コーポレーション 表示装置閲覧モード間の変更
KR101889463B1 (ko) * 2017-08-03 2018-08-17 연세대학교 산학협력단 사용자 단말의 화면 표시 제어 방법 및 이를 이용한 사용자 단말
JP2020060794A (ja) * 2011-09-26 2020-04-16 アップル インコーポレイテッドApple Inc. ラップアラウンドディスプレイを備える電子装置
CN112217950A (zh) * 2019-07-12 2021-01-12 富士施乐株式会社 图像显示装置、图像形成装置、存储介质及图像显示方法
JP2021009238A (ja) * 2019-07-02 2021-01-28 コニカミノルタ株式会社 表示装置、画像形成装置及び表示制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744143A (ja) * 1993-07-27 1995-02-14 Canon Inc 情報処理装置
JP2005025170A (ja) * 2003-06-09 2005-01-27 Casio Comput Co Ltd 電子機器、表示制御方法及びプログラム
JP2007036802A (ja) * 2005-07-28 2007-02-08 Fujitsu Ltd 情報処理装置、情報処理方法および情報処理プログラム
JP2007052304A (ja) * 2005-08-19 2007-03-01 Mitsubishi Electric Corp 映像表示システム
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
JP2007220010A (ja) * 2006-02-20 2007-08-30 Canon Inc 電子機器
JP2008085421A (ja) * 2006-09-26 2008-04-10 Asahi Kasei Corp テレビ電話機、通話方法、プログラム、声質変換・画像編集サービス提供システム、および、サーバ
JP2008146164A (ja) * 2006-12-06 2008-06-26 Toshiba Corp 小型端末装置
JP2008294815A (ja) * 2007-05-25 2008-12-04 Oki Electric Ind Co Ltd 情報端末装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744143A (ja) * 1993-07-27 1995-02-14 Canon Inc 情報処理装置
JP2005025170A (ja) * 2003-06-09 2005-01-27 Casio Comput Co Ltd 電子機器、表示制御方法及びプログラム
JP2007036802A (ja) * 2005-07-28 2007-02-08 Fujitsu Ltd 情報処理装置、情報処理方法および情報処理プログラム
JP2007052304A (ja) * 2005-08-19 2007-03-01 Mitsubishi Electric Corp 映像表示システム
JP2007220010A (ja) * 2006-02-20 2007-08-30 Canon Inc 電子機器
JP2008085421A (ja) * 2006-09-26 2008-04-10 Asahi Kasei Corp テレビ電話機、通話方法、プログラム、声質変換・画像編集サービス提供システム、および、サーバ
JP2008146164A (ja) * 2006-12-06 2008-06-26 Toshiba Corp 小型端末装置
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
JP2008294815A (ja) * 2007-05-25 2008-12-04 Oki Electric Ind Co Ltd 情報端末装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529094A (ja) * 2011-08-02 2014-10-30 マイクロソフト コーポレーション 表示装置閲覧モード間の変更
US11940844B2 (en) 2011-09-26 2024-03-26 Apple Inc. Electronic device with wrap around display
US11487330B2 (en) 2011-09-26 2022-11-01 Apple Inc. Electronic device with wrap around display
JP2020060794A (ja) * 2011-09-26 2020-04-16 アップル インコーポレイテッドApple Inc. ラップアラウンドディスプレイを備える電子装置
US9785343B2 (en) 2011-12-01 2017-10-10 Sony Mobile Communications Inc. Terminal device, image display method, and storage medium
EP2600236A2 (en) 2011-12-01 2013-06-05 Sony Mobile Communications Japan, Inc. Terminal Device, Image Display Method, and Storage Medium
CN105051808A (zh) * 2012-11-01 2015-11-11 摩托罗拉移动有限责任公司 基于距离和用户远视配置电子装置的显示分辨率的系统和方法
US9245497B2 (en) 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US9626741B2 (en) 2012-11-01 2017-04-18 Google Technology Holdings LLC Systems and methods for configuring the display magnification of an electronic device based on distance and user presbyopia
WO2014070494A1 (en) * 2012-11-01 2014-05-08 Motorola Mobility Llc Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
JP2014137143A (ja) * 2013-01-15 2014-07-28 Corona Corp リモコン装置
WO2019027184A1 (ko) * 2017-08-03 2019-02-07 연세대학교 산학협력단 단말 사용 패턴 정보 수집 관리 방법 및 시스템
US11571121B2 (en) 2017-08-03 2023-02-07 Industry-Academic Cooperation Foundation, Yonsei University Terminal use pattern information collection management method and system
KR101889463B1 (ko) * 2017-08-03 2018-08-17 연세대학교 산학협력단 사용자 단말의 화면 표시 제어 방법 및 이를 이용한 사용자 단말
JP2021009238A (ja) * 2019-07-02 2021-01-28 コニカミノルタ株式会社 表示装置、画像形成装置及び表示制御方法
CN112217950A (zh) * 2019-07-12 2021-01-12 富士施乐株式会社 图像显示装置、图像形成装置、存储介质及图像显示方法
JP2021015203A (ja) * 2019-07-12 2021-02-12 富士ゼロックス株式会社 画像表示装置、画像形成装置及びプログラム

Also Published As

Publication number Publication date
JP5236721B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
EP2214079B1 (en) Display apparatus, display control method, and display control program
JP5236721B2 (ja) 表示装置、表示制御方法および表示制御プログラム
US11538501B2 (en) Method for generating video, and electronic device and readable storage medium thereof
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
CN106341522B (zh) 移动终端及其控制方法
CN109683716B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
EP2180676B1 (en) Mobile communication terminal and screen scrolling method thereof
KR101701859B1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
KR101677633B1 (ko) 사진 편집 방법 및 이를 이용하는 이동 단말기
JP4591798B2 (ja) 端末装置及びプログラム
JP2012502580A (ja) 可変サイズの表示領域に画像を表示するための表示装置及び方法
KR101351487B1 (ko) 휴대 단말기 및 그 제어방법
JP2007095030A (ja) 携帯用端末機のグラフィック信号表示装置及び方法
KR20140125218A (ko) 전자 펜을 이용한 기능 제어 방법 및 그 방법을 처리하는 전자 장치
EP2597878A2 (en) Stereoscopic camera and control method thereof
WO2006028276A1 (ja) 映像機器
US8970483B2 (en) Method and apparatus for determining input
CN110992268A (zh) 背景设置方法、装置、终端及存储介质
KR20130006154A (ko) 화면 방향 결정 방법 및 이를 이용하는 이동 단말기
KR20130059123A (ko) 이동 단말기 및 그것의 제어 방법
KR101646141B1 (ko) 콘텐츠 제어 장치 및 그 방법
KR101786513B1 (ko) 이동 단말기의 화면 조작 방법
KR101324809B1 (ko) 휴대용 단말기 및 그 제어방법
KR101813036B1 (ko) 휴대 단말기 및 그 제어 방법
JP2006186658A (ja) 画像表示装置及び携帯電話機

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5236721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250