JP2010092153A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2010092153A
JP2010092153A JP2008259621A JP2008259621A JP2010092153A JP 2010092153 A JP2010092153 A JP 2010092153A JP 2008259621 A JP2008259621 A JP 2008259621A JP 2008259621 A JP2008259621 A JP 2008259621A JP 2010092153 A JP2010092153 A JP 2010092153A
Authority
JP
Japan
Prior art keywords
area
covering
covered
information processing
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008259621A
Other languages
English (en)
Other versions
JP4650549B2 (ja
Inventor
Eiko Sakurada
瑛子 櫻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008259621A priority Critical patent/JP4650549B2/ja
Priority to US12/564,953 priority patent/US9710096B2/en
Priority to CN200910179417.8A priority patent/CN101714058B/zh
Publication of JP2010092153A publication Critical patent/JP2010092153A/ja
Application granted granted Critical
Publication of JP4650549B2 publication Critical patent/JP4650549B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】操作体によって被覆された画面上の被覆領域に表示された対象物を迅速かつ簡潔に被覆領域から除去することが可能な情報処理装置、情報処理方法及びプログラムを提供すること。
【解決手段】画像データに基づいて画面上に画像を表示する表示部110と、操作体と表示部の表面との接触又は近接を検出する接近検出部161と、画面が操作体の接触又は近接によって被覆されている被覆時間を計測する被覆時間計測部165と、被覆時間が所定時間より長いとき、操作体によって被覆された画面上の被覆領域に表示された対象物を、被覆領域から除去する対象物表示制御部166とを有することを特徴とする。
【選択図】図1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
パーソナルコンピュータ等のコンピュータ装置において、ユーザの操作性を向上させるため、GUI(graphical user interface)が用いられている。GUIは、コンピュータグラフィックスとポインティングデバイスを用いて、ユーザに対して直感的な操作を提供できる。
例えば、コンピュータ装置の画面上に、ウィンドウ(対象物)、アイコン、ボタン等の図(graphical image)が表示される。ユーザは、ウィンドウ、アイコン、ボタン等の図をマウスなどのポインティングデバイスで選択する。これらの図が選択されることで、コンピュータ装置はユーザが希望する動作を実行する。
デスクトップ上に、複数のウィンドウが重なり合いながら配置されて表示されている場合、デスクトップ上にウィンドウが全く配置されていないエリアを確保するためには、従来の操作方法では、以下の方法があった。(1)マウスやポインタ等のポインティングデバイスによって、1つ1つのウィンドウをデスクトップ上で移動したり、縮小したりする。(2)ショートカットキーによって、全てのウィンドウを一度に最小化する。
例えば、デスクトップ上にアイコンが配置され、アイコンの上に複数のウィンドウが重なり合いながら配置されて表示されている場合、アイコンを選択するためには、ウィンドウを1つずつ移動したり縮小したりするか、全ウィンドウを最小化する必要があった。しかし、上記(1)の方法の場合、マウスなどで1つずつウィンドウを移動又は縮小するという操作をする必要があるため、手間がかかるという問題があった。また、上記(2)の方法の場合、全ウィンドウが同時に最小化されてしまい、例えば必要なウィンドウを残して他のウィンドウを最小化するといった操作をすることができない。そのため、必要な情報を即座に参照することができなくなるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作体によって被覆された画面上の被覆領域に表示された対象物を迅速かつ簡潔に被覆領域から除去することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像データに基づいて画面上に画像を表示する表示部と、操作体と表示部の表面との接触又は近接を検出する接近検出部と、画面が操作体の接触又は近接によって被覆されている被覆時間を計測する被覆時間計測部と、被覆時間が所定時間より長いとき、操作体によって被覆された画面上の被覆領域に表示された対象物を、被覆領域から除去する対象物表示制御部とを有する情報処理装置が提供される。
上記被覆領域の被覆面積を算出する被覆面積算出部を更に有し、対象物表示制御部は、被覆面積が所定値より広いとき、被覆領域に表示された対象物を、被覆領域から除去してもよい。
上記被覆領域と対象物とが重なり合った領域の重畳面積を算出する重畳面積算出部を更に有し、対象物表示制御部は、重畳面積が所定値より広いとき、被覆領域に表示された対象物を、被覆領域から除去してもよい。
上記対象物表示制御部は、被覆領域に表示された対象物を被覆領域以外の領域に移動して表示してもよい。
上記対象物表示制御部は、対象物が複数あるとき、複数の対象物を画面上の被覆領域以外の領域に整列して表示してもよい。
上記被覆領域に表示された対象物が被覆領域から除去された後、被覆領域に新規対象物を表示する新規対象物表示制御部を更に有してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像データに基づいて画面上に画像を表示するステップと、操作体と表示部の表面との接触又は近接を検出するステップと、画面が操作体の接触又は近接によって被覆されている被覆時間を計測するステップと、被覆時間が所定時間より長いとき、操作体によって被覆された画面上の被覆領域に表示された対象物を、被覆領域から除去するステップとを有する情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画像データに基づいて画面上に画像を表示する手段、操作体と表示部の表面との接触又は近接を検出する手段、画面が操作体の接触又は近接によって被覆されている被覆時間を計測する手段、被覆時間が所定時間より長いとき、操作体によって被覆された画面上の被覆領域に表示された対象物を、被覆領域から除去する手段としてコンピュータを機能させるためのプログラムが提供される。
本発明によれば、操作体によって被覆された画面上の被覆領域に表示された対象物を迅速かつ簡潔に被覆領域から除去することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は、以下の順序で行う。
1.一実施形態の構成
2.本実施形態の第1の実施例の動作
3.本実施形態の第2の実施例の動作
<1.一実施形態の構成>
まず、本発明の一実施形態に係る情報処理装置100について説明する。図1は、本実施形態に係る情報処理装置100を示すブロック図である。
本実施形態の情報処理装置100は、例えば、制御部102と、メモリ104と、ストレージ106と、入力I/F107と、画像信号処理部114と、ディスプレイパネル108と、表示制御部112と、音声出力I/F116と、受光処理部122などを有する。なお、本実施形態では、情報処理装置100にディスプレイパネル108が一体的に設けられる場合について説明するが、本発明は、情報処理装置100と、ディスプレイパネル108とが別体の装置として設けられる場合にも適用することができる。
情報処理装置100は、例えば、パーソナルコンピュータ、オーディオプレイヤー、メディアプレイヤー、PDA(personal digital assistant)、携帯電話、デジタルカメラなどである。
制御部102は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などが組み合わされて構成されるマイクロコンピュータなどを有する。制御部102は、プログラムによって演算処理装置及び制御装置として機能し、情報処理装置100における上記各構成要素などを制御する。
メモリ104は、例えば、RAM、ROM、キャッシュメモリなどの記憶部で構成されており、制御部102のCPUの処理に関するデータ、CPUの動作プログラムなどを一時的に記憶する機能を有する。
ストレージ106は、例えば、ハードディスク、光ディスク、フラッシュメモリなどであり、データを長期に亘って格納するための記憶部である。ストレージ106は、例えば、音楽データやビデオ、写真などの映像データを記憶する。ストレージ106は、音楽データや映像データを、制御部102におけるデータ受信制御処理、蓄積制御処理を経て記録する。
入力I/F107は、例えば、USB端子、IEEE 1394端子等であり、外部装置と接続可能なインターフェースである。各種データは、入力I/F107を介して、情報処理装置100に各種情報や指令が入力される。
ディスプレイパネル108は、例えば表示部110と、受光センサー120などからなり、受光センサー120がユーザの指、手、スタイラスなどの操作体を検知することで、ユーザの操作を受け付ける。本実施形態のディスプレイパネル108は、タッチパネルと異なり、画面上の接触は不要であり、画面への近接を検知することで、ユーザの操作を受け付ける。そして、ディスプレイパネル108は、ユーザの動作に応じて、画面に表示された項目を選択したり、画面のスクロール、拡大又は縮小表示など表示を変化させたりする。
表示部110は、例えば、液晶ディスプレイであり、表示制御部112によって制御される。表示部110は、各種メニュー画面や、画像データによる画像を表示する。受光センサー120は、外部から表示部110の表示面に入射する光を受光し、受光した光を電気信号に変換する。受光センサー120は、生成した電気信号を受光処理部122に送る。
画像信号処理部114は、受光処理部122で生成された画像信号に対して信号処理をする。また、画像信号処理部114は、画像信号について、表示部110の画素数に変換する解像度変換、輝度補正、色補正、ガンマ補正など各種所要の信号処理を実行する。
音声出力I/F116は、例えばフォーンプラグなどの端子であり、ヘッドフォン、スピーカ等の外部装置と接続される。音声出力I/F116は、再生された音声データを外部装置に出力する。
図2は、本実施形態に係るディスプレイパネル108の画素部分を示す説明図である。ディスプレイパネル108には、複数の画素セット130が例えばマトリクス状に配置される。そして、画素セット130には、発光素子である赤色表示画素110R、緑色表示画素110G、青色表示画素110Bと、受光センサー120が設けられる。1つの画素セット130内では、表示画素110R、110G、110Bと受光センサー120が隣接して配置される。なお、画素の配列は図2に示す例に限定されず、他の配列であってもよい。
本実施形態のディスプレイパネル108により、ユーザの指、手、スタイラスなどの操作体が表示面に近接したとき、情報処理装置100は操作体を検出することができる。
表示制御部112は、入力された画像信号を利用して表示部110を駆動する。表示制御部112は、画像信号処理部114から受けた画像信号の表示処理をする。また、表示制御部112は、表示データの合成処理をして、表示部110でユーザが視聴可能となるデータを生成する。表示制御部112で生成されたデータは、表示部110に出力される。
受光処理部122は、受光センサー120から電気信号を受けて、アナログデジタル変換処理などを行い、画素毎の画像信号を生成する。これにより、画像信号処理部114で画像信号処理が可能となり、制御部102における画像信号に基づいた各演算を行うことができる。
次に、本実施形態に係る情報処理装置100の制御部102について説明する。制御部102は、近接検出部161、被覆面積算出部162、画面上情報取得部163、重畳面積算出部164、被覆時間計測部165、ウィンドウ移動配置部166、アプリケーションソフト起動部167などを有する。
近接検出部161は、接近検出部の一例であり、受光処理部122が生成した画像信号に基づいて画素毎に輝度値を算出し、輝度値を接近値として算出する。近接検出部161が算出した接近値は、操作体とディスプレイパネル108の表面との間の接触又は近接に関する値である。近接検出部161は、接近値に基づいて操作体とディスプレイパネル108の表面との間の接触又は近接を検出する。
被覆面積算出部162は、操作体によって被覆された画面上の被覆領域の被覆面積を算出する。
画面上情報取得部163は、画面(デスクトップ)上に存在しているウィンドウ(対象物)、アイコン、ボタン等の図の種類、数、位置などの情報を取得する。なお、対象物とは、ユーザによる画面の被覆によって移動される図をいい、後述する例ではウィンドウである。
重畳面積算出部164は、被覆領域と対象物とが重なり合った領域の重畳面積を算出する。
被覆時間計測部165は、ディスプレイパネル108の画面が操作体の接触又は近接によって被覆されている被覆時間を計測する。
ウィンドウ移動配置部166は、対象物表示制御部の一例であり、上記被覆時間が所定時間より長いとき、操作体によって被覆された画面上の被覆領域に表示されたウィンドウ(対象物)174を、被覆領域から除去する。そして、例えば、ウィンドウ移動配置部166は、被覆領域に表示された対象物を被覆領域以外の領域に移動して表示する。このとき、対象物が複数存在すれば、複数の対象物を画面上の被覆領域以外の領域に整列して表示してもよい。
また、ウィンドウ移動配置部166は、被覆面積が所定値より広いとき、被覆領域に表示された対象物を、被覆領域から除去してもよい。更に、ウィンドウ移動配置部166は、重畳面積が所定値より広いとき、被覆領域に表示された対象物を、被覆領域から除去してもよい。
アプリケーションソフト起動部167は、新規対象物表示制御部の一例であり、被覆領域に表示された対象物が被覆領域から除去された後、被覆領域に新規対象物を表示する。例えば、アプリケーションソフト起動部167は、所定のアプリケーションソフトを起動して、対象物が被覆領域から除去された後の被覆領域に、所定のウィンドウ、又は操作パネル(音楽プレイヤーコントロールなど)を表示する。
<2.本実施形態の第1の実施例の動作>
次に、本実施形態に係る情報処理装置100の第1の実施例の動作について説明する。
図3は、本実施形態に係る情報処理装置100の第1の実施例の動作を示すフローチャートである。図4〜図7は、ディスプレイパネル108のデスクトップ170に表示された画像とユーザによる操作を示す説明図である。
以下では、情報処理装置100が、画像データに基づいてディスプレイパネル108のデスクトップ170上に画像やメニュー画面などの各種表示をし、ウィンドウ、アイコン、ボタン等の図を表示している場合について説明する。図4に示す例では、ディスプレイパネル108のデスクトップ170に複数のアイコン172と、複数のウィンドウ174−1,174−2,174−3,174−4が表示されている例を示す。アイコン172やウィンドウ174は、互いに重なり合いながら配置されて表示されている。
そして、ユーザによって、図5に示すように、指や手10、スタイラス等の操作体がディスプレイパネル108の画面に近接され、被覆される(ステップS101)。このとき、受光センサー120が検出した光に基づいて、受光処理部122は受光処理をする。次に、制御部102は、受光処理部122で生成された画像信号の各画素の輝度値を算出する。そして、ユーザが画面を手10で被覆している状況では、被覆された領域は、被覆されていない領域に比べて、例えば輝度値が強い領域となる。なお、ユーザの手10を影として認識する場合は、輝度が低下した領域を検出する。これにより、被覆領域を検出できる。
次に、被覆面積算出部162が、例えば輝度値に基づいて、ユーザの手10によって被覆されたデスクトップ170上の被覆面積を算出する(ステップS102)。そして、ウィンドウ移動配置部166は、被覆面積が所定面積より広いか否かを判断する(ステップS103)。被覆面積が所定面積に満たない場合は、情報処理装置100は、ユーザによるデスクトップ170の被覆を待機する状態になる。
一方、被覆面積が所定面積より広い場合、ウィンドウ174と、ユーザの手10による被覆部分との重畳領域の面積、座標を算出する(ステップS104)。
また、被覆面積が所定面積より広い場合、被覆時間計測部165が、被覆開始から被覆終了までの時間を計測する。そして、ウィンドウ移動配置部166は、被覆時間が所定時間より長いか否かを判断する(ステップS105)。被覆時間が所定時間に満たない場合は、情報処理装置100は、ユーザによるデスクトップ170の被覆を待機する状態になる。
一方、被覆時間が所定時間より長いと判断された場合、ウィンドウ移動配置部166は、図6及び図7に示すように、ユーザの手10によって被覆されたデスクトップ170上の被覆領域Aに表示されたウィンドウ174を、被覆領域Aから除去する。そして、例えば、ウィンドウ移動配置部166は、被覆領域Aに表示されたウィンドウ174を被覆領域A以外の領域Bに移動して表示する(ステップS106)。これにより、被覆領域Aにはウィンドウ174が配置されていないため、デスクトップ170上に配置された複数のアイコン172をユーザが選択しやすい状態になる。
被覆面積が所定面積より狭い場合や、被覆時間が所定時間より短い場合に、ウィンドウ176が移動しないようにすることで、ユーザの手や指がデスクトップ170に近接したときの他の操作と区別することができる。他の操作には、例えば、アイコン、ハイパーリンク等の選択、ウィンドウ、アイコン、スクロールバー等の移動などの操作がある。
ウィンドウ174が領域Bに移動したとき、図7に示すように、複数のウィンドウ176−1,176−2,176−3,176−4をデスクトップ170上の被覆領域A以外の領域Bに整列して表示してもよい。なお、ウィンドウ176−1,176−2,176−3,176−4は、それぞれウィンドウ174−1,174−2,174−3,174−4に対応する。ウィンドウ176−1,176−2,176−3,176−4は、ウィンドウ174−1,174−2,174−3,174−4が変形した後の状態である。
整列表示方法は、例えば、まず、領域Bのうちウィンドウが表示できる面積を算出し、その面積をウィンドウの数によって等分する。そして、移動後のウィンドウの位置や大きさを決定する。
なお、被覆領域Aは、ユーザの手10がデスクトップに近接されて検出された手10の形状を有する領域でもよいし、図6及び図7に示すように、検出された領域を含む例えば長方形の領域でもよい。デスクトップ170上の被覆領域A以外の領域Bは、デスクトップ170の全体から被覆領域Aを除いた部分の領域である。
その後、所定時間経過後、ウィンドウ176−1,176−2,176−3,176−4を、図4に示すように、もとの位置かつもとの形状のウィンドウ174−1,174−2,174−3,174−4に移動する(ステップS107)。なお、ステップS107は必須ではなく、図7に示す状態のデスクトップ170のウィンドウ176の配置関係を維持してもよい。
<3.本実施形態の第2の実施例の動作>
次に、本実施形態に係る情報処理装置100の第2の実施例の動作について説明する。
図8は、本実施形態に係る情報処理装置100の第2の実施例の動作を示すフローチャートである。図9〜図11は、ディスプレイパネル108のデスクトップ170に表示された画像とユーザによる操作を示す説明図である。
以下では、第1の実施例と同様に、情報処理装置100が、画像データに基づいてディスプレイパネル108のデスクトップ170上に画像やメニュー画面などの各種表示をし、ウィンドウ、アイコン、ボタン等の図を表示している場合について説明する。例えば、まず、図4に示すように、ディスプレイパネル108のデスクトップ170に複数のアイコン172と、複数のウィンドウ174−1,174−2,174−3,174−4が表示されている。アイコン172やウィンドウ174は、互いに重なり合いながら配置されて表示されている。
そして、ユーザによって、図9に示すように、指や手10、スタイラス等の操作体がディスプレイパネル108の画面に近接され、被覆される(ステップS201)。このとき、受光センサー120が検出した光に基づいて、受光処理部122は受光処理をする。次に、制御部102は、受光処理部122で生成された画像信号の各画素の輝度値を算出する。そして、ユーザが画面を手10で被覆している状況では、被覆された領域は、被覆されていない領域に比べて、例えば輝度値が強い領域となる。これにより、被覆領域を検出できる。
第2の実施例では、手10がデスクトップ170のある領域から他の領域に移動する場合について説明する。図9及び図10では、手10が移動している様子を手10−1→手10−2→手10−3で示した。
次に、被覆面積算出部162が、例えば輝度値に基づいて、ユーザの手10によって被覆されたデスクトップ170上の被覆面積を算出する(ステップS202)。そして、ウィンドウ移動配置部166は、被覆面積が所定面積より広いか否かを判断する(ステップS203)。被覆面積が所定面積に満たない場合は、情報処理装置100は、ユーザによるデスクトップ170の被覆を待機する状態になる。
一方、被覆面積が所定面積より広い場合、ウィンドウ174と、ユーザの手10による被覆部分との重畳領域の面積、座標を算出する(ステップS204)。そして、ウィンドウ移動配置部166は、重畳面積が所定面積より広いか否かを判断する(ステップS205)。重畳面積が所定面積に満たない場合は、情報処理装置100は、ユーザによるデスクトップ170の被覆を待機する状態になる。
また、被覆面積が所定面積より広く、重畳面積が所定面積より広い場合、被覆時間計測部165が、被覆開始から被覆終了までの時間を計測する。このとき、被覆とは、ユーザの手10等がデスクトップに近接しながら移動している場合も含む。即ち、被覆時間計測部165は、ユーザの手10等がデスクトップ170に近接して被覆が開始してから、ユーザの手10等がデスクトップ170から離隔して被覆が終了するまでの時間を計測する。そして、ウィンドウ移動配置部166は、被覆時間が所定時間より長いか否かを判断する(ステップS206)。被覆時間が所定時間に満たない場合は、情報処理装置100は、ユーザによるデスクトップ170の被覆を待機する状態になる。
一方、被覆時間が所定時間より長いと判断された場合、ウィンドウ移動配置部166は、被覆開始から手10等の離隔までに生じた被覆部分(被覆領域A)を検出する(ステップS207)。次に、ウィンドウ移動配置部166は、図10に示すように、ユーザの手10によって被覆されたデスクトップ170上の被覆領域Aに表示されたウィンドウ174を、被覆領域Aから除去する。そして、例えば、ウィンドウ移動配置部166は、被覆領域Aに表示されたウィンドウ174を被覆領域A以外の領域Bに移動して表示する(ステップS208)。
被覆面積や重畳面積が所定面積より狭い場合や、被覆時間が所定時間より短い場合に、ウィンドウ176が移動しないようにすることで、ユーザの手や指がデスクトップ170に近接したときの他の操作と区別することができる。他の操作には、例えば、アイコン、ハイパーリンク等の選択、ウィンドウ、アイコン、スクロールバー等の移動などの操作がある。
ウィンドウ174が領域Bに移動したとき、第1の実施例と異なり、図10に示すように、複数のウィンドウ276−1,276−2,276−3,276−4をデスクトップ170上の被覆領域A以外の領域Bに整列せずに表示してもよい。なお、ウィンドウ276−1,276−2,276−3,276−4は、それぞれウィンドウ174−1,174−2,174−3,174−4に対応する。ウィンドウ176−1,176−2,176−3,176−4は、ウィンドウ174−1,174−2,174−3,174−4が移動した後の状態である。
なお、被覆領域Aは、ユーザの手10がデスクトップに近接されて検出された手10の形状を有する領域でもよいし、図10に示すように、検出された領域を含む例えば長方形の領域でもよい。デスクトップ170上の被覆領域A以外の領域Bは、デスクトップ170の全体から被覆領域Aを除いた部分の領域である。
そして、アプリケーションソフト起動部167が、特定のアプリケーションソフトを起動する(ステップS209)。そのとき、図11に示すように、ウィンドウ174が被覆領域Aから除去された後の被覆領域Aに、所定の操作パネル180(音楽プレイヤーコントロールなど)を表示する。アプリケーションソフト起動部167が起動する特定のアプリケーションソフトは、上述したユーザによる画面の被覆動作に対応付けされて指定されたものである。
上記の通り、本実施形態によれば、操作体(ユーザの手10等)によって被覆された画面上の被覆領域に表示された対象物(ウィンドウ)を迅速かつ簡潔に被覆領域から除去することができる。
例えばユーザの手10を画面の一部で覆うと、ユーザが覆った画面に起動しているウィンドウを、ユーザが覆った部分以外の画面の場所に移動することができ、ウィンドウが除去された操作領域(操作エリア)を形成できる。操作領域では、起動しているウィンドウ以外の操作が可能である。また、本実施形態の方法では、覆った面積に応じて、操作エリアの面積を変化させることができる。また、ユーザの手10を画面にかざすという簡単な操作方法で、操作エリアの指定と、複数の対象物(例えばウィンドウ)の移動という動作を同時に実現できる。
本実施形態の操作方法は、従来のウィンドウの移動又は縮小操作に比べて、容易にウィンドウを他の座標に移動することができる。また、従来に比べて、デスクトップ上において、操作エリアを迅速に確保できる。また、従来の全ウィンドウを一度に最小化する動作に比べて、一部のウィンドウのみを移動するという操作が可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、被覆領域にあったウィンドウが被覆領域以外の領域に移動する場合について説明したが、本発明はかかる例に限定されない。例えば、被覆領域にあったウィンドウが最小化してデスクトップから隠れるとしてもよい。
また、上記実施形態では、移動後のウィンドウが整列される例として図6及び図7のウィンドウ176を示したが、本発明はかかる例に限定されない。ウィンドウの数や領域の広さや形状によって、他のウィンドウ176の形状、配置を取り得る。
また、上記実施形態では、デスクトップ170上のウィンドウが対象物の一例である場合について説明したが、本発明はかかる例に限定されない。例えば、あるアプリケーションソフト(例えばゲームソフトや画像編集ソフト等)において、任意の対象物(図や絵)が、ユーザの手10等の操作体によって被覆されたとき、除去又は移動されるとしてもよい。
また、上記実施形態では、接近検出部の一例として、近接検出部161が輝度値を接近値として算出する場合について説明したが、本発明はかかる例に限定されない。例えば、接近検出部は、例えば、静電容量方式のタッチパネルであり、静電容量検出部と接近値算出部からなるとしてもよい。静電容量検出部は、ユーザの指(操作体)と表示部の表面との間の静電容量を検出する。接近値算出部は、検出した静電容量の変化を接近値として算出する。例えば、静電容量の変化に応じて、指と表示部の表面とが接触しているか否か、又はどの程度離隔しているかを算出できる。そして、算出した接近値をもとに、上述した実施形態と同様に、制御部102の近接検出部161が、接近値に基づいて操作体の接触また近接を検出する。
また、接近検出部は、感圧式のタッチパネルでもよく、検出した圧力に応じて、接近値を算出してもよい。そして、圧力の程度に応じて、操作体の接触また近接を検出する。
本発明の一実施形態に係る情報処理装置100を示すブロック図である。 同実施形態に係るディスプレイパネルの画素部分を示す説明図である。 同実施形態に係る情報処理装置の第1の実施例の動作を示すフローチャートである。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 同実施形態に係る情報処理装置の第2の実施例の動作を示すフローチャートである。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。 ディスプレイパネルのデスクトップに表示された画像とユーザによる操作を示す説明図である。
符号の説明
10 手
100 情報処理装置
102 制御部
104 メモリ
106 ストレージ
107 入力I/F
108 ディスプレイパネル
110 表示部
112 表示制御部
114 画像信号処理部
116 音声出力I/F
120 受光センサー
122 受光処理部
130 画素セット
161 近接検出部
162 被覆面積算出部
163 画面上情報取得部
164 重畳面積算出部
165 被覆時間計測部
166 ウィンドウ移動配置部
167 アプリケーションソフト起動部
170 デスクトップ
172 アイコン
174、174−1、174−2、174−3、174−4、176−1、176−2、176−3、176−4、276−1、276−2、276−3、276−4 ウィンドウ

Claims (8)

  1. 画像データに基づいて画面上に画像を表示する表示部と、
    操作体と前記表示部の表面との接触又は近接を検出する接近検出部と、
    前記画面が前記操作体の接触又は近接によって被覆されている被覆時間を計測する被覆時間計測部と、
    前記被覆時間が所定時間より長いとき、前記操作体によって被覆された前記画面上の被覆領域に表示された対象物を、前記被覆領域から除去する対象物表示制御部と、
    を有する、情報処理装置。
  2. 前記被覆領域の被覆面積を算出する被覆面積算出部を更に有し、
    前記対象物表示制御部は、前記被覆面積が所定値より広いとき、前記被覆領域に表示された対象物を、前記被覆領域から除去する、請求項1に記載の情報処理装置。
  3. 前記被覆領域と前記対象物とが重なり合った領域の重畳面積を算出する重畳面積算出部を更に有し、
    前記対象物表示制御部は、前記重畳面積が所定値より広いとき、前記被覆領域に表示された対象物を、前記被覆領域から除去する、請求項1に記載の情報処理装置。
  4. 前記対象物表示制御部は、前記被覆領域に表示された対象物を前記被覆領域以外の領域に移動して表示する、請求項1〜3のいずれかに記載の情報処理装置。
  5. 前記対象物表示制御部は、前記対象物が複数あるとき、前記複数の対象物を前記画面上の前記被覆領域以外の領域に整列して表示する、請求項4に記載の情報処理装置。
  6. 前記被覆領域に表示された対象物が前記被覆領域から除去された後、前記被覆領域に新規対象物を表示する新規対象物表示制御部を更に有する、請求項1〜5のいずれかに記載の情報処理装置。
  7. 画像データに基づいて画面上に画像を表示するステップと、
    操作体と前記表示部の表面との接触又は近接を検出するステップと、
    前記画面が前記操作体の接触又は近接によって被覆されている被覆時間を計測するステップと、
    前記被覆時間が所定時間より長いとき、前記操作体によって被覆された前記画面上の被覆領域に表示された対象物を、前記被覆領域から除去するステップと、
    を有する、情報処理方法。
  8. 画像データに基づいて画面上に画像を表示する手段、
    操作体と前記表示部の表面との接触又は近接を検出する手段、
    前記画面が前記操作体の接触又は近接によって被覆されている被覆時間を計測する手段、
    前記被覆時間が所定時間より長いとき、前記操作体によって被覆された前記画面上の被覆領域に表示された対象物を、前記被覆領域から除去する手段、
    としてコンピュータを機能させるためのプログラム。
JP2008259621A 2008-10-06 2008-10-06 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP4650549B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008259621A JP4650549B2 (ja) 2008-10-06 2008-10-06 情報処理装置、情報処理方法及びプログラム
US12/564,953 US9710096B2 (en) 2008-10-06 2009-09-23 Information processing apparatus and method, and program for removing displayed objects based on a covered region of a screen
CN200910179417.8A CN101714058B (zh) 2008-10-06 2009-10-09 信息处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008259621A JP4650549B2 (ja) 2008-10-06 2008-10-06 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010092153A true JP2010092153A (ja) 2010-04-22
JP4650549B2 JP4650549B2 (ja) 2011-03-16

Family

ID=42076793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008259621A Expired - Fee Related JP4650549B2 (ja) 2008-10-06 2008-10-06 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9710096B2 (ja)
JP (1) JP4650549B2 (ja)
CN (1) CN101714058B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013077338A1 (ja) * 2011-11-21 2015-04-27 株式会社ニコン 表示装置、表示制御プログラム
JP2016045931A (ja) * 2014-08-21 2016-04-04 京セラドキュメントソリューションズ株式会社 画像処理装置
JP2017117239A (ja) * 2015-12-24 2017-06-29 ブラザー工業株式会社 プログラムおよび情報処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266314B2 (en) * 2009-12-16 2012-09-11 International Business Machines Corporation Automated audio or video subset network load reduction
CN102419689B (zh) * 2011-10-27 2016-09-28 康佳集团股份有限公司 一种基于触摸屏的手势滑动传送文件方法和系统
JP2015095219A (ja) * 2013-11-14 2015-05-18 ソニー株式会社 情報処理装置、情報処理方法および記憶媒体
CN105308670B (zh) * 2014-01-22 2017-12-29 堺显示器制品株式会社 显示装置
US20180088786A1 (en) * 2016-09-23 2018-03-29 Microsoft Technology Licensing, Llc Capacitive touch mapping
CN114764300B (zh) * 2020-12-30 2024-05-03 华为技术有限公司 一种窗口页面的交互方法、装置、电子设备以及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03288891A (ja) * 1990-04-05 1991-12-19 Fujitsu Ltd マルチウインドウシステムのウインドウ表示制御方式
JPH09190171A (ja) * 1996-01-11 1997-07-22 Canon Inc ウィンドウ階層表示方法及びそのシステム
WO2007107368A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
AU4595501A (en) * 2000-03-22 2001-10-03 Sony Electronics Inc. Data entry user interface
EP1191430A1 (en) * 2000-09-22 2002-03-27 Hewlett-Packard Company, A Delaware Corporation Graphical user interface for devices having small tactile displays
US8127248B2 (en) * 2003-06-20 2012-02-28 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
JP4208791B2 (ja) * 2004-08-11 2009-01-14 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP4524795B2 (ja) * 2004-11-25 2010-08-18 富士ゼロックス株式会社 情報処理装置
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US20080141149A1 (en) * 2006-12-07 2008-06-12 Microsoft Corporation Finger-based user interface for handheld devices
US7692629B2 (en) * 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
EP2135155B1 (en) * 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
KR101464751B1 (ko) * 2007-05-25 2014-11-24 세이코 엡슨 가부시키가이샤 표시 장치 및 표시 장치의 검출 방법
US8009146B2 (en) * 2007-06-28 2011-08-30 Nokia Corporation Method, apparatus and computer program product for facilitating data entry via a touchscreen
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03288891A (ja) * 1990-04-05 1991-12-19 Fujitsu Ltd マルチウインドウシステムのウインドウ表示制御方式
JPH09190171A (ja) * 1996-01-11 1997-07-22 Canon Inc ウィンドウ階層表示方法及びそのシステム
WO2007107368A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013077338A1 (ja) * 2011-11-21 2015-04-27 株式会社ニコン 表示装置、表示制御プログラム
CN110275607A (zh) * 2011-11-21 2019-09-24 株式会社尼康 显示装置及显示控制程序
US10477191B2 (en) 2011-11-21 2019-11-12 Nikon Corporation Display device, and display control program
JP2016045931A (ja) * 2014-08-21 2016-04-04 京セラドキュメントソリューションズ株式会社 画像処理装置
JP2017117239A (ja) * 2015-12-24 2017-06-29 ブラザー工業株式会社 プログラムおよび情報処理装置

Also Published As

Publication number Publication date
CN101714058B (zh) 2015-01-21
CN101714058A (zh) 2010-05-26
US20100088633A1 (en) 2010-04-08
JP4650549B2 (ja) 2011-03-16
US9710096B2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP4650549B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9250790B2 (en) Information processing device, method of processing information, and computer program storage device
JP4609557B2 (ja) 情報処理装置及び情報処理方法
US20160117096A1 (en) Display control device, display control method, and computer program
US8723988B2 (en) Using a touch sensitive display to control magnification and capture of digital images by an electronic device
US10628010B2 (en) Quick review of captured image data
JP5900161B2 (ja) 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP5994328B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20080129759A1 (en) Method for processing image for mobile communication terminal
JP4900361B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9519365B2 (en) Display control apparatus and control method for the same
US9569099B2 (en) Method and apparatus for displaying keypad in terminal having touch screen
US20150212724A1 (en) Manipulation input device, manipulation input method, manipulation input program, and electronic apparatus
US9535604B2 (en) Display device, method for controlling display, and recording medium
US20130326422A1 (en) Method and apparatus for providing graphical user interface
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
EP2930601A1 (en) Electronic device and menu display method
JP2013161247A (ja) 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体
JP2011243157A (ja) 電子機器、ボタンサイズ制御方法、及びプログラム
JP2013250679A (ja) 情報入出力装置
JP6672561B2 (ja) タッチパネル式携帯端末、その表示制御方法及びコンピュータプログラム
WO2015174110A1 (ja) 情報処理装置、情報処理方法およびプログラム
TWI493433B (zh) 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
JP7180473B2 (ja) 表示制御装置、表示制御方法、プログラムおよび表示制御システム
JP6233471B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees