JP2016009214A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2016009214A
JP2016009214A JP2014127676A JP2014127676A JP2016009214A JP 2016009214 A JP2016009214 A JP 2016009214A JP 2014127676 A JP2014127676 A JP 2014127676A JP 2014127676 A JP2014127676 A JP 2014127676A JP 2016009214 A JP2016009214 A JP 2016009214A
Authority
JP
Japan
Prior art keywords
display
user
information processing
processing apparatus
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014127676A
Other languages
English (en)
Inventor
遼 深澤
Ryo Fukazawa
遼 深澤
邦在 鳥居
Kuniari Torii
邦在 鳥居
克也 兵頭
Katsuya Hyodo
克也 兵頭
佐藤 直之
Naoyuki Sato
直之 佐藤
昭彦 泉
Akihiko Izumi
昭彦 泉
浩一 川崎
Koichi Kawasaki
浩一 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014127676A priority Critical patent/JP2016009214A/ja
Priority to PCT/JP2015/064090 priority patent/WO2015194291A1/ja
Publication of JP2016009214A publication Critical patent/JP2016009214A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】表示領域に対するユーザの位置を推定することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。【解決手段】表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得する取得部と、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する推定部と、を備える、情報処理装置。【選択図】図2

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年では、アプリケーションの実行環境を提供するOS(Operating System)のユーザインタフェース(UI:User Interface)として、複数のウィンドウを同時に提示する、マルチウィンドウシステムが普及してきている。
また、近年では、アプリケーションの実行環境として使用されるデバイスは、所謂、PC(Personal Computer)に限られない。当該デバイスの具体的な一例として、スマートフォンやタブレットのようなモバイル端末、ウェアラブル端末、壁面などに情報を投影するプロジェクター、テーブルトップディスプレイ等が挙げられ、その大きさや使用形態は多岐にわたる。
特開2013−41350号公報
一方で、デバイスの多様化に伴い、当該デバイスの大きさや使用態様によっては、ユーザは、必ずしも、当該デバイスが情報を表示する表示領域(例えば、ディスプレイ)や、当該表示領域に表示された情報に対して、常に正対するように当該デバイスを使用するとは限られなくなっている。特に、プロジェクターや、テーブルトップディスプレイ等のように、表示領域がユーザよりも比較的大きなデバイスでは、ユーザは、表示領域全体を作業領域として利用することが困難な場合もある。
そのため、デバイスの表示領域とユーザとの間の位置関係にあわせて、情報を表示させる位置や向き(換言すると、レイアウト)等を制御するために、当該表示領域に対するユーザの位置を推定する仕組みが求められている。
そこで、本開示では、表示領域に対するユーザの位置を推定することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得する取得部と、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する推定部と、を備える、情報処理装置が提供される。
また、本開示によれば、表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、プロセッサが、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、表示領域に対するユーザの位置を推定することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態に係る情報処理装置が表示部に対するユーザの位置を推定する方法について説明するための説明図である。 同実施形態に係る情報処理装置が表示部に対するユーザの位置を推定する方法について説明するための説明図である。 同実施形態に係る情報処理装置が表示部に対するユーザの位置を推定する方法について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置の処理の流れの一例を示したフローチャートである。 実施例1に係る情報処理装置の概要について説明するための説明図である。 実施例1に係る情報処理装置の概要について説明するための説明図である。 実施例1に係る情報処理装置が、表示部に対するユーザの位置及び方向を推定する方法について説明するための説明図である。 実施例2に係る情報処理システムの概要について説明するための説明図である。 実施例2に係る情報処理システムの動作の一例について説明するための説明図である。 実施例2に係る情報処理システムの動作の他の一例について説明するための説明図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.機能構成
3.処理
4.実施例
4.1.実施例1:テーブルトップディスプレイへの適用
4.2.実施例2:複数のデバイスを連携させる場合
5.ハードウェア構成
6.まとめ
<1.概要>
まず、図1を参照して、本開示の実施形態に係る情報処理装置の概要について説明する。図1は、本実施形態に係る情報処理装置10の概要について説明するための説明図である。なお、図1に示す例では、互いに直交するx方向及びy方向で形成されるxy平面を水平面とし、当該xy平面に垂直な方向(即ち、鉛直方向)をz方向としている。
本実施形態に係る情報処理装置10は、例えば、アプリケーションの実行環境として使用されるデバイスに相当する。また、情報処理装置10は、所謂マルチウィンドウシステムのように、実行中のアプリケーションに対応したウィンドウまたはダイアログや、情報を報知するためのノーティフィケーション等の表示オブジェクトを複数同時に提示可能に構成されている。即ち、情報処理装置10は、例えば、図1に示すように、情報を表示するための表示部15を備え、当該表示部15に複数の表示オブジェクトv11〜v13を表示可能に構成されている。
一方で、アプリケーションの実行環境として使用される情報処理装置10の大きさや使用形態は多様化してきている。そのため、情報処理装置10の大きさや使用態様によっては、ユーザは、必ずしも、情報処理装置10の表示部15や、当該表示部15に表示された情報に対して常に正対するように、当該情報処理装置10を使用するとは限らない。
例えば、図1は、ユーザ(即ち、図1中のユーザUa及びUb)よりも比較的大きな表示部15を備えた情報処理装置10(例えば、大型ディスプレイ)を、壁面に設置した場合の一例を示している。即ち、図1に示す例では、表示部15がz方向(鉛直方向)に立ち上がるように(例えば、表示部15が地面に対して垂直となるように)、情報処理装置10が設置されている。なお、図1に示す例では、表示部15がxz平面に沿って延伸するように、情報処理装置10が設置されているものとして説明する。
図1に示すように、表示部15がユーザよりも比較的大きい場合(例えば、表示部15の広さが、ユーザが移動せずに手が届く範囲よりも広い場合)には、当該ユーザは、当該表示部15の一部を作業領域として使用する場合も少なくない。また、図1に示すような例では、ユーザが、作業中に、表示部15全体を視野に入れることが困難な場合もある。
そのため、本実施形態に情報処理装置10では、表示部15に対するユーザの位置を推定し、推定したユーザの位置に応じて、表示部15に表示される表示オブジェクトの表示位置を制御する。具体的な一例として、情報処理装置10は、新たに表示オブジェクトを表示させる場合に、表示部15に対するユーザの位置の推定結果に応じて、表示オブジェクトがユーザの近傍に表示されるように、表示部15中における当該表示オブジェクトの表示位置を制御する。
ところで、表示部15に対するユーザの位置を推定する方法として、距離センサ、近接センサ、または、人感センサ等の各種センサを用いてユーザの位置を検出する方法や、カメラ等により撮像された画像を解析することでユーザの位置を特定する方法が挙げられる。しかしながら、これらの方法は、ユーザの位置を推定するために、各種センサやカメラ等のような専用のデバイスを設ける必要があり、当該方法を適用可能な装置が、これらのデバイスを備えた装置に限定される。
また、図1に示すように、比較的大きな表示部15を備えた情報処理装置10では、表示部15の大きさに比例して、ユーザの位置の推定対象となる範囲も広くなる。そのため、各種センサやカメラ等のデバイスを利用する場合には、当該デバイスとして、より性能の高いものが要求される可能性があり、必要とされるデバイスの数量も増加する可能性があるため、コスト増加の要因ともなり得る。
そこで、本実施形態に係る情報処理装置10では、ユーザの位置を推定するための専用のデバイスを使用せずに、表示部15に対するユーザの位置を推定する仕組みを提供する。具体的には、情報処理装置10は、表示部15中に表示された表示オブジェクトの位置や、当該表示オブジェクト(もしくは、対応するアプリケーション)の状態に基づき、当該表示部15に対するユーザの位置を推定する。
例えば、図2は、本実施形態に係る情報処理装置10が、表示部15に対するユーザの位置を推定する方法について説明するための説明図である。図2に示す例は、図1に示すように、大型ディスプレイとして構成された情報処理装置10を壁面に設置する場合に、当該情報処理装置10が、表示部15中の表示オブジェクトv11に基づき、当該表示部15に対するユーザの位置を推定する場合について示している。なお、本説明において、「表示部15中の表示オブジェクトv11」という記載は、表示部15の表示領域(例えば、表示パネル)に表示された表示オブジェクトを示しているものとする。
図2に示すように、本実施形態に係る情報処理装置10は、表示部15中の表示オブジェクトv11に対してユーザUaが正対して作業をしているものと仮定して、当該表示部15に対するユーザUaの位置を推定する。具体的な一例として、情報処理装置10は、xz平面に沿って延伸する表示部15中の表示オブジェクトv11の位置(x,z)を特定し、当該位置(x,z)を基点としたy方向にユーザUaが位置するものと推定する。なお、本説明において、「表示部15中の位置」という記載は、表示部15の表示領域(例えば、表示パネル)に表示された画面内の論理的な位置(例えば、座標)を示しているものとする。
なお、このとき情報処理装置10は、表示部15中に表示された表示オブジェクト(もしくは、対応するアプリケーションやコンテンツ)の状態に応じて、ユーザの位置の推定に用いる表示オブジェクトを特定する。例えば、図3は、本実施形態に係る情報処理装置10が、表示部15に対するユーザの位置を推定する方法について説明するための説明図であり、ユーザの位置の推定に用いる表示オブジェクトを特定する方法の一例を示している。なお、図3は、図1及び図2に示す情報処理装置10を、y方向の手前側(表示部15と対向する側、即ち、表示部15の前方)から見た場合の概略的な構成を示している。
図3は、情報処理装置10の表示部15に、アプリケーション(Application)1〜3に対応した表示オブジェクトv11〜v13が表示されている場合の一例を示している。また、図3に示す例では、表示オブジェクトv11及びv13がアクティブ(Active)状態であり、表示オブジェクトv12がインアクティブ(Inactive)状態の場合を示している。
ここで、アクティブ状態とは、例えば、表示オブジェクトに対応付けられたアプリケーションやコンテンツが動作中の状態や、当該表示オブジェクトが入力を受け付けている状態、または、当該表示オブジェクトが処理対象となっている状態等に相当する。換言すると、アクティブ状態は、対応する表示オブジェクトが動的な状態や、活性化している状態に相当する。
これに対して、インアクティブ状態とは、表示オブジェクトに対応付けられたアプリケーションやコンテンツが停止中の状態、当該表示オブジェクトが入力を受け付けていない状態、または、当該表示オブジェクトが処理対象となっていない状態等に相当する。換言すると、インアクティブ状態は、対応する表示オブジェクトが静的な状態や、非活性化している状態に相当する。
図3に示す例では、情報処理装置10は、表示部15に表示された表示オブジェクトv11〜v13のうち、アクティブ状態の表示オブジェクトv11及びv13が、ユーザによる操作の対象と仮定する。即ち、情報処理装置10は、アクティブ状態の表示オブジェクトv11及びv13を、ユーザの位置の推定に用いる。
例えば、図4は、本実施形態に係る情報処理装置10が、表示部15に対するユーザの位置を推定する方法について説明するための説明図であり、図3に示す例における情報処理装置10によるユーザの位置の推定結果の一例を示している。
即ち、図3に示す例の場合には、情報処理装置10は、アクティブ状態の表示オブジェクトv11及びv13に対して、ユーザが正対して作業をしているものと仮定する。そのため、情報処理装置10は、図4に示すように、アクティブ状態の表示オブジェクトv11及びv13それぞれの表示部15中の位置(x,z)を基点として、当該各基点それぞれのy方向にユーザ(即ち、ユーザUa及びUb)が存在するものと推定する。
なお、表示部15に対するユーザの位置の推定時に、表示部15とユーザとの間のy方向の距離については、情報処理装置10の利用形態やサイズ等に応じて適宜設定できるようにしてもよい。例えば、情報処理装置10は、表示部15に対してユーザは所定の距離だけ離れているものと仮定し、当該y方向の距離として所定値を適用して、表示部15に対するユーザの位置を推定してもよい。また、他の一例として、情報処理装置10は、表示オブジェクトのサイズが大きい程、ユーザが、当該表示オブジェクトをできるだけ視野に入れるために表示部15から離れているものと仮定して、所定のロジックに基づき当該y方向の距離を算出してもよい。
以上のように、本実施形態に係る情報処理装置10は、表示部15に表示された表示オブジェクトの位置に基づき、当該表示部15に対するユーザの位置を推定する。このような構成により、本実施形態に係る情報処理装置10は、表示部15に対するユーザの位置を推定するために、各種センサやカメラ等のような専用のデバイスを設ける必要がなくなる。即ち、本実施形態に係る情報処理装置10は、表示部15中に表示オブジェクトを表示可能であれば、ハードウェア構成に制限されずに表示部15に対するユーザの位置を推定することが可能となる。そこで、以降では、本実施形態に係る情報処理装置10について、さらに詳しく説明する。
<2.機能構成>
まず、図5を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明する。図5は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。
図5に示すように、情報処理装置10は、制御部11と、操作部13と、表示部15と、記憶部17とを含む。また、制御部11は、入力解析部111と、処理実行部113と、位置推定部115と、表示制御部117とを含む。
操作部13は、ユーザが情報処理装置10を操作するための入力デバイスである。操作部13は、例えば、ボタン、タッチパネル、マウス等により構成され得る。
また、表示部15は、情報処理装置10がユーザに対して情報を提示するための出力デバイスであり、表示パネル等の所定の表示領域に情報を表示させることで、当該情報をユーザに提示する。図5に示した表示部15は、図1に示した表示部15に対応している。
なお、表示領域に情報を表示することで当該情報をユーザに提示できれば、表示部15の構成やサイズ、使用形態等は特に限定されない。例えば、表示部15は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ等により構成され得る。また、表示部15は、壁面などを投影面として、当該投影面に情報を投影することで、当該情報をユーザに提示する、所謂、プロジェクターにより構成されていてもよい。また、表示部15は、情報を表示するための表示領域(例えば、表示パネル)が水平方向に延伸するように設けられた、所謂テーブルトップディスプレイにより構成されていてもよい。なお、表示部15を、テーブルトップディスプレイとして構成する例については、実施例として別途後述する。
記憶部17は、静止画像や動画像等の画像情報や文字情報等のデータ(例えば、各種コンテンツのデータ)を記録するための記録媒体である。また、記憶部17は、情報処理装置10が実行するアプリケーションのデータを記憶してもよい。
また、記憶部17は、制御部11等の情報処理装置10内の各構成が、処理を実行するために一時的に生成した制御データを保持するための領域(一時的な領域)として使用されてもよい。当該制御データの具体的な一例として、表示部15に表示された表示オブジェクトの、当該表示部15中における位置を示す位置情報等が挙げられる。また、当該制御データの他の一例として、後述する位置推定部115が推定した、表示部15に対するユーザの位置を示す位置情報が挙げられる。
入力解析部111は、操作部13がユーザの操作を受けて出力する制御情報を取得し、取得した制御情報を解析することで、当該ユーザの操作内容(換言すると、ユーザ入力)を認識する。また、入力解析部111は、後述する表示制御部117から、表示部15に表示された表示オブジェクトの当該表示部15中における位置情報や、当該表示オブジェクトに関連付けられたアプリケーションの情報等(以降では、総じて「表示制御情報」と呼ぶ場合がある)を取得する。
入力解析部111は、取得した表示制御情報と、認識したユーザの操作内容とを照合し、操作により指定された表示オブジェクト(即ち、操作対象)と、当該操作内容に応じて指定された処理の内容(以降では、単に「処理内容」と呼ぶ場合がある)とを特定する。なお、操作内容の具体的な一例としては、クリックやタップ等のように操作対象を選択する操作や、所謂ドラッグのように操作対象を移動させる操作等が挙げられる。
具体的な一例として、ユーザが、表示オブジェクトv11をドラッグする操作を行った場合には、入力解析部111は、ユーザにより、表示オブジェクトv11を移動させるための操作が行われたものと認識する。
また、他の一例として、ユーザが、表示オブジェクトv11をダブルクリックする操作を行った場合には、入力解析部111は、ユーザにより、表示オブジェクトv11に関連付けられた処理を実行するための操作が行われたものと認識する。なお、表示オブジェクトv11に関連付けられた処理の具体的な一例としては、当該表示オブジェクトに関連付けられたアプリケーションの実行が挙げられる。また、他の一例として、当該表示オブジェクトが、フォルダやディレクトリを示している場合には、当該フォルダやディレクトリの展開(即ち、フォルダやディレクトリの内容の提示)が挙げられる。
以上のようにして、入力解析部111は、特定した操作対象及び処理内容を示す制御情報を、後述する表示制御部117に通知する。また、特定した操作内容が操作対象に関連付けられたアプリケーションの実行を示している場合には、入力解析部111は、当該アプリケーションの実行を後述する処理実行部113に指示する。
処理実行部113は、アプリケーション等の各種処理を実行するための構成である。処理実行部113は、入力解析部111からの指示に基づき、対応するアプリケーションを記憶部17から抽出し、抽出したアプリケーションを実行する。そして、処理実行部113は、当該アプリケーションの実行結果を表示制御部117に出力する。
位置推定部115は、表示制御部117から、表示部15に表示された表示オブジェクトの当該表示部15中における位置情報や、当該表示オブジェク(もしくは、対応するアプリケーションやコンテンツ)の状態を示す制御情報を取得する。そして、位置推定部115は、取得した制御情報に基づき、表示部15に表示オブジェクトが表示されているか否かを確認する。
表示部15に表示オブジェクトが表示されている場合には、位置推定部115は、取得した当該制御情報に基づき表示部15に対するユーザの位置を推定する。このとき、位置推定部115は、例えば、図2に基づき前述したように、表示部15中に表示された表示オブジェクトに対してユーザが正対して作業をしているものと仮定して、当該表示部15に対するユーザの位置を推定してもよい。この場合には、例えば、位置推定部115は、取得した制御情報に基づき表示部15中における表示オブジェクトの位置を特定し、特定した位置を基点とした表示部15の表示方向(例えば、表示パネルの法線方向)にユーザが位置するものと推定してもよい。
また、位置推定部115は、例えば、表示部15に表示された表示オブジェクトのうち、アクティブ状態の表示オブジェクトに基づき、表示部15に対するユーザの位置を推定してもよい。
なお、表示部15に表示オブジェクトが表示されていない場合には、位置推定部115は、表示部15に対するユーザの位置を推定に係る処理を実行しなくてもよいことは言うまでもない。また、表示部15中にアクティブ状態の表示オブジェクトが存在しない場合についても同様に、位置推定部115は、表示部15に対するユーザの位置の推定に係る処理を実行しなくてもよい。
また、表示部15に表示オブジェクトが表示されていない場合や、アクティブ状態の表示オブジェクトが存在しない場合には、位置推定部115は、表示部15の近傍にユーザが存在しないものと推定してもよい。このような構成を利用することで、例えば、表示制御部117は、表示部15の近傍にユーザがいないものと推定された場合に、休止状態に遷移することで表示部15への情報の表示を一時的に停止することも可能となる。
なお、位置推定部115が、表示オブジェクトがアクティブ状態であると認識する基準については、情報処理装置10を適用するシステムに応じて適宜変更してもよい。
具体的な一例として、位置推定部115は、対象となる表示オブジェクトがフォーカスされている場合(例えば、選択されている場合)に、当該表示オブジェクトがアクティブ状態であると認識してもよい。
また、他の一例として、位置推定部115は、文字情報の入力フィールド等を含むウィンドウなどの表示オブジェクトがユーザ入力を受け付けている場合に、当該表示オブジェクトがアクティブ状態であると認識してもよい。
また、位置推定部115は、表示オブジェクトに関連付けられたコンテンツの実行状況に応じて、当該表示オブジェクトがアクティブ状態か否かを認識してもよい。具体的な一例として、位置推定部115は、ウィンドウ等の表示オブジェクト中で動画等のコンテンツが再生されている場合には、当該表示オブジェクトがアクティブ状態であると認識してもよい。
また、他の一例として、位置推定部115は、表示オブジェクトに対するユーザ操作の状況に応じて、当該表示オブジェクトがアクティブか否かを認識してもよい。具体的な一例として、位置推定部115は、操作対象となっている表示オブジェクトを、アクティブ状態と認識してもよい。
また、位置推定部115は、表示オブジェクトが操作を受けた後に経過した時間に応じて、アクティブ状態か否かを認識してもよい。具体的な一例として、位置推定部115は、表示オブジェクトに対する操作が完了し、当該表示オブジェクトが操作対象となっていない状態に遷移した場合においても、所定時間経過するまでは当該表示オブジェクトがアクティブ状態であるものと認識してもよい。このような構成により、位置推定部115は、表示オブジェクトが一時的にインアクティブ状態となった場合においても、当該表示オブジェクトの近傍にユーザが位置しているものと推定することが可能となる。
また、位置推定部115は、上記に示した方法のうちいずれかを選択してもよいし、上記に示した方法のうちいずれか複数または全てを適用してもよい。具体的な一例として、位置推定部115は、フォーカスされている表示オブジェクト、及び、操作対象となっている表示オブジェクトの双方をアクティブ状態の表示オブジェクトと認識してもよい。また、上記はあくまで一例であり、必ずしも上記方法に限定するものではなく、位置推定部115が、表示オブジェクトがアクティブ状態であると認識する基準については、使用環境や運用形態に応じて適宜設定すればよい。
以上のようにして、位置推定部115は、表示部15に対するユーザの位置を推定し、当該ユーザの位置の推定結果を表示制御部117に出力する。なお、位置推定部115は、表示部15に対するユーザの位置の推定結果を、記憶部17に保持させてもよい。この場合には、表示制御部117は、記憶部17に保持された当該推定結果を、当該記憶部17から読み出してもよい。
なお、位置推定部115が、表示制御部117からの表示オブジェクトの位置や状態を示す情報の取得、表示部15に対するユーザの位置の推定、及び当該推定結果の出力に係る各処理を実行するタイミングは、特に限定されない。なお、以降では、表示制御部117からの表示オブジェクトの位置や状態を示す情報の取得、表示部15に対するユーザの位置の推定、及び当該推定結果の出力に係る各処理を総じて、「ユーザの位置推定に係る一連の処理」と記載する場合がある。
例えば、位置推定部115は、上述したユーザの位置推定に係る一連の処理をリアルタイムで実行してもよい。この場合には、位置推定部115は、表示制御部117から表示オブジェクトの位置や状態を示す情報を逐次取得して表示部15に対するユーザの位置をリアルタイムで推定し、当該実行結果を表示制御部117に逐次出力すればよい。
また、他の一例として、位置推定部115は、あらかじめ決められたタイミングごとに、上述したユーザの位置推定に係る一連の処理を実行してもよい。
また、位置推定部115は、あらかじめ決められたイベントに連動して、上述したユーザの位置推定に係る一連の処理を実行してもよい。具体的な一例として、位置推定部115は、情報処理装置10がユーザの操作を受け付けた場合(例えば、入力解析部111が操作部13から制御情報を取得した場合)に、ユーザの位置推定に係る一連の処理を実行してもよい。また、他の一例として、位置推定部115は、所定のアプリケーションが実行された場合や、スリープ状態から復帰した場合等のように、所定の処理が実行された場合に、上述したユーザの位置推定に係る一連の処理を実行してもよい。
また、表示制御部117からの表示オブジェクトの位置や状態を示す情報の取得、表示部15に対するユーザの位置の推定、及び当該推定結果の出力に係る各処理は、必ずしも同期している必要はない。具体的な一例として、位置推定部115は、表示制御部117からの表示オブジェクトの位置や状態を示す情報の取得、及び表示部15に対するユーザの位置の推定に係る処理と、当該推定結果の出力に係る処理とを異なるタイミングで実行してもよい。
表示制御部117は、表示部15への表示オブジェクトの表示を制御するための構成である。
具体的には、表示制御部117は、入力解析部111からユーザ入力に基づき特定された操作対象(表示オブジェクト)及び処理内容を示す制御情報を取得する。そして、表示制御部117は、取得した制御情報が示す操作対象及び処理内容に応じて、表示制御の対象となる表示オブジェクトを特定し、特定した表示オブジェクトの表示及び非表示、表示位置や向き、及び表示態様(例えば、色やサイズ)等を制御する。
また、表示制御部117は、処理実行部113からアプリケーションの実行結果を取得し、当該アプリケーションに対応付けられた表示オブジェクト(例えば、ウィンドウ)に表示結果を提示してもよい。このとき、表示制御部117は、当該アプリケーションに対応する表示オブジェクトが表示部15に表示されていない場合には、新たに表示オブジェクトを生成し、当該表示オブジェクトに当該アプリケーションを対応付けてもよい。
また、表示制御部117は、各表示オブジェクトの表示制御の結果や、当該表示オブジェクトに関連付けられたアプリケーション(もしくは、コンテンツ)の実行結果に基づき、当該表示オブジェクトの各種状態を管理する。なお、本説明において「表示オブジェクトの状態」とは、例えば、前述した位置推定部115が、当該表示オブジェクトがアクティブか否かを認識するための状態(情報)に相当する。具体的な一例として、表示オブジェクトが選択されているか否か、表示オブジェクトに対応付けられたアプリケーションやコンテンツが実行中か否か、表示オブジェクトがユーザ入力を受け付けているか等が挙げられる。
なお、表示制御部117は、表示オブジェクトの表示を制御するための情報や、当該表示オブジェクトの状態を管理するための情報を、記憶部17に保持させてもよい。
また、表示制御部117は、表示部15に表示された表示オブジェクトの当該表示部15中における位置情報や、当該表示オブジェクの状態を示す制御情報を、位置推定部115に出力する。もちろん、位置推定部115は、当該位置情報や当該制御情報を、表示制御部117から直接取得してもよいし、記憶部17を介して間接的に取得してもよいことは言うまでもない。
また、表示制御部117は、位置推定部115から、表示部15に対するユーザの位置の推定結果を取得する。なお、このとき表示制御部117は、記憶部17を介して、位置推定部115から当該推定結果を取得してもよい。
そして、表示制御部117は、表示部15に対するユーザの位置の推定結果に基づき、当該表示部15への表示オブジェクトの表示を制御する。具体的な一例として、表示制御部117は、新たに表示オブジェクトを表示させる場合に、表示部15に対するユーザの位置の推定結果に応じて、表示オブジェクトがユーザの近傍に表示されるように、当該表示オブジェクトの表示位置を制御してもよい。
また、他の一例として、表示制御部117は、表示部15に対するユーザの位置の推定結果に基づき、表示部15に表示された表示オブジェクトの表示位置が、ユーザの位置の近傍となるように、当該表示オブジェクトの表示位置を補正してもよい。具体的な一例として、表示制御部117は、表示部15に表示された表示オブジェクトに基づき推定された当該表示部15に対するユーザの位置に基づき、当該表示オブジェクトとは異なる他の表示オブジェクトの表示位置を補正してもよい。このとき、表示制御部117は、アクティブ状態の表示オブジェクトに基づき表示部15に対するユーザの位置を推定し、当該推定結果に基づき、非アクティブ状態の表示オブジェクトの表示位置を補正してもよい。
なお、上記では、情報処理装置10が、表示部15に対するユーザの位置の推定結果に基づき、表示オブジェクトの表示位置を制御する例について説明したが、当該推定結果に基づく制御の対象は、必ずしも表示部15に表示された表示オブジェクトには限定されない。例えば、情報処理装置10は、スピーカ等の音響出力デバイスや、マイク等の集音デバイスを制御の対象としてもよい。具体的な一例として、表示部15に対するユーザの位置の推定結果に基づき、指向性を有する音響出力デバイスがユーザの方向に向くように、当該音響出力デバイスの向きを制御してもよい。これは、集音デバイスを制御対象とした場合についても同様である。もちろん、ユーザの位置に応じて制御を要するデバイスであれば、表示部15に対するユーザの位置の推定結果に基づく制御の対象となり得ることは言うまでもない。
以上、図5を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明した。
<3.処理>
次に、図6を参照して、本実施形態に係る情報処理装置10の処理の流れの一例について、特に、ユーザの位置推定に係る一連の処理の流れに着目して説明する。図6は、本実施形態に係る情報処理装置10の処理の流れの一例を示したフローチャートであり、ユーザの位置推定に係る一連の処理の流れを示している。
(ステップS101)
まず、位置推定部115は、表示制御部117から、表示部15に表示された表示オブジェクトの当該表示部15中における位置情報や、当該表示オブジェクト(もしくは、対応するアプリケーションやコンテンツ)の状態を示す制御情報を取得する。そして、位置推定部115は、取得した制御情報に基づき、表示部15に表示オブジェクトが表示されているか否かを確認する。
(ステップS103)
表示部15に表示オブジェクトが表示されている場合には(ステップS101、YES)、位置推定部115は、取得した制御情報に基づき当該表示オブジェクトの状態を確認する。具体的な一例として、位置推定部115は、表示部15に表示された各表示オブジェクトがアクティブ状態か否かを確認する。
(ステップS105)
そして、表示部15に表示された各表示オブジェクトのうち、アクティブ状態の表示オブジェクトの表示部15中における位置に基づき、当該表示部15に対するユーザの位置を推定する。
このとき、位置推定部115は、例えば、アクティブ状態の表示オブジェクトに対してユーザが正対して作業をしているものと仮定して、当該表示部15に対するユーザの位置を推定してもよい。この場合には、例えば図2に示すように、位置推定部115は、取得した制御情報に基づき表示部15中における表示オブジェクトの位置を特定し、特定した位置を基点とした表示部15の表示方向(例えば、表示パネルの法線方向)にユーザが位置するもの推定してもよい。
以上のようにして、位置推定部115は、表示部15に対するユーザの位置を推定し、当該ユーザの位置の推定結果を表示制御部117に出力する。これにより、表示制御部117は、当該推定結果に基づき、表示部15への表示オブジェクトの表示を制御することが可能となる。
具体的な一例として、表示制御部117は、新たに表示オブジェクトを表示させる場合に、表示部15に対するユーザの位置の推定結果に応じて、表示オブジェクトがユーザの近傍に表示されるように、当該表示オブジェクトの表示位置を制御してもよい。
また、他の一例として、表示制御部117は、表示部15に対するユーザの位置の推定結果に基づき、表示部15に表示された表示オブジェクトの表示位置が、ユーザの位置の近傍となるように、当該表示オブジェクトの表示位置を補正してもよい。
なお、表示部15に表示オブジェクトが表示されていない場合には(ステップS101、NO)、位置推定部115は、表示部15に対するユーザの位置を推定に係る処理を実行しなくてもよいことは言うまでもない。また、表示部15中にアクティブ状態の表示オブジェクトが存在しない場合についても同様に、位置推定部115は、表示部15に対するユーザの位置の推定に係る処理を実行しなくてもよい。
なお、情報処理装置10が、図6に示した、ユーザの位置推定に係る一連の処理を実行するタイミングは特に限定されない。例えば、情報処理装置10は、上述したユーザの位置推定に係る一連の処理をリアルタイムで実行してもよい。また、他の一例として、情報処理装置10は、あらかじめ決められたタイミングごとに、上述したユーザの位置推定に係る一連の処理を実行してもよい。また、情報処理装置10は、あらかじめ決められたイベント(例えば、ユーザ操作を受け付けた場合や、所定の処理を実行した場合)に連動して、上述したユーザの位置推定に係る一連の処理を実行してもよい。
以上、図6を参照して、本実施形態に係る情報処理装置10の処理の流れの一例について、特に、ユーザの位置推定に係る一連の処理の流れに着目して説明した。
<4.実施例>
次に、本実施形態に係る情報処理装置10の実施例について説明する。
[4.1.実施例1:テーブルトップディスプレイへの適用]
前述した実施形態では、図1に示すように、大型ディスプレイとして構成された情報処理装置10を壁面に設置する場合を例に説明したが、情報処理装置10の態様(使用形態)は必ずしも図1に示す例には限定されない。そこで、情報処理装置10の他の一態様として、当該情報処理装置10を、所謂テーブルトップディスプレイとして構成した場合について、以下に、図7を参照して、実施例1として説明する。図7は、実施例1に係る情報処理装置10の概要について説明するための説明図である。なお、図7に示す例では、互いに直交するx方向及びy方向で形成されるxy平面を水平面とし、当該xy平面に垂直な方向(即ち、鉛直方向)をz方向としている。
図7に示すように、実施例1に係る情報処理装置10は、表示部15がxy平面(水平面)に沿って配置されるように構成されている。図7に示すように、表示部15がxy平面(水平面)に沿って配置されるように情報処理装置10を構成した場合には、ユーザは、xy平面上のいずれの方向からも表示部15を参照可能となる場合がある。そのため、当該情報処理装置10は、表示部15中に表示される表示オブジェクトの向きを、xy平面に沿って変更可能に構成されている(即ち、表示オブジェクトをxy平面上で回転可能に構成されている)場合が少なくない。
例えば、図8は、実施例1に係る情報処理装置10の概要について説明するための説明図であり、図7に示す情報処理装置10を、z方向の上側(表示部15と対向する側、即ち、表示部15の上方)から見た場合の概略的な構成を示している。なお、以降の説明では、図8において、図面の下側をy方向の+側、図面の上側をy方向の−側とし、図面の右側をx方向の+側、図面の左側をx方向の−側とする。
図8は、情報処理装置10の表示部15に、アプリケーション1〜アプリケーション3に対応した表示オブジェクトv11〜v13が表示されている場合の一例を示している。また、図3に示す例では、表示オブジェクトv11及びv13がアクティブ(Active)状態であり、表示オブジェクトv12がインアクティブ(Inactive)状態の場合を示している。
また、図8に示す例では、表示オブジェクトv11は、y方向の+側から表示部15を参照した場合に、天地方向が正しくなるように表示されている。また、表示オブジェクトv12は、x方向の−側から表示部15を参照した場合に、天地方向が正しくなるように表示されている。また、表示オブジェクトv13は、y方向の−側から表示部15を参照した場合に、天地方向が正しくなるように表示されている。
このような構成のもと、実施例1に係る情報処理装置10は、表示部15に表示された表示オブジェクトの天地方向が正しく見える方向にユーザが存在しているものと仮定して、当該表示部15に対するユーザの位置及び方向を推定する。
例えば、図9は、実施例1に係る情報処理装置10が、表示部15に対するユーザの位置及び方向を推定する方法について説明するための説明図であり、図8に示す例における情報処理装置10によるユーザの位置の推定結果の一例を示している。
即ち、図8に示す例の場合には、情報処理装置10は、アクティブ状態の表示オブジェクトv11及びv13それぞれの天地方向が正しく見える方向にユーザが存在しているものと仮定する。
具体的には、情報処理装置10は、図9に示すように、アクティブ状態の表示オブジェクトv11の表示部15中の位置(x,y)を基点として、当該表示オブジェクトv11の天地方向が正しく見える方向、即ち、+y方向にユーザUcが存在するものと推定する。また、このとき、情報処理装置10は、表示オブジェクトv11の天地方向が、当該ユーザUcに対して情報を提示する場合に、天地方向が正しくなる方向と推定する。
同様に、情報処理装置10は、アクティブ状態の表示オブジェクトv13の表示部15中の位置(x,y)を基点として、当該表示オブジェクトv13の天地方向が正しく見える方向、即ち、−y方向にユーザUdが存在するものと推定する。また、このとき、情報処理装置10は、表示オブジェクトv13の天地方向が、当該ユーザUdに対して情報を提示する場合に、天地方向が正しくなる方向と推定する。
以上のようにして、実施例1に係る情報処理装置10は、表示部15に対するユーザの位置及び方向を推定する。そして、情報処理装置10は、表示部15に対するユーザの位置及び方向を推定結果に基づき、表示部15への表示オブジェクトの表示を制御する。
具体的な一例として、情報処理装置10は、新たに表示オブジェクトを表示させる場合に、表示部15に対するユーザの位置の推定結果に応じて、表示オブジェクトがユーザの近傍に表示されるように、表示部15中における当該表示オブジェクトの表示位置を制御する。また、このとき情報処理装置10は、表示部15に対するユーザの方向の推定結果に応じて、当該ユーザに対して、表示オブジェクトの天地方向が正しくなるように、表示部15に対する当該表示オブジェクトの向き(即ち、xy平面に沿った向き)を制御する。
また、他の一例として、情報処理装置10は、表示部15に対するユーザの位置の推定結果に基づき、表示部15に表示された表示オブジェクトの表示位置が、ユーザの位置の近傍となるように、当該表示オブジェクトの表示位置を補正してもよい。また、このとき情報処理装置10は、表示部15に対するユーザの方向の推定結果に応じて、表示部15に対する当該表示オブジェクトの向きを補正してもよい。
なお、情報処理装置10は、表示部15に表示された表示オブジェクトの向きのみを使用して、表示部15に対してユーザが存在する方向を推定してもよいことは言うまでもない。
以上、説明したように、実施例1に係る情報処理装置10は、表示部15に表示された表示オブジェクトの位置及び向きの少なくともいずれかに基づき、表示部15に対するユーザの位置及び向きを推定する。このような構成により、情報処理装置10を所謂テーブルトップディスプレイとして構成した場合においても、当該情報処理装置10は、表示部15に対するユーザの位置及び向きを推定するために、各種センサやカメラ等の専用のデバイスを設ける必要がなくなる。即ち、実施例1に係る情報処理装置10においても、表示部15中に表示オブジェクトを表示可能であれば、ハードウェア構成に制限されずに表示部15に対するユーザの位置を推定することが可能となる。
なお、表示部15に対するユーザの位置や向きを、総じて、表示部15に対するユーザの「相対位置」と記載する場合がある。即ち、「表示部15に対するユーザの相対位置」と記載した場合には、「表示部15に対するユーザの位置」と「表示部15に対するユーザの向き」とのいずれか、もしくは、双方を含み得るものとする。
[4.2.実施例2:複数のデバイスを連携させる場合]
前述の実施形態及び実施例では、一の情報処理装置10の表示部15中における表示オブジェクトの位置及び向きの少なくともいずれかを示す位置情報に基づき、当該表示部15に対するユーザの相対位置を推定する例について説明した。実施例2では、それぞれが表示部を備えた複数の情報処理装置を連携させる場合の例について説明する。
まず、図10を参照して、実施例2に係る情報処理システムの概要について説明する。図10は、実施例2に係る情報処理システムの概要について説明するための説明図であり、複数の情報処理装置10a及び10bが連携することで、情報処理システムを構成する場合の一例を示している。なお、図10において、参照符号15aは、情報処理装置10aの表示部15を示しており、参照符号15bは、情報処理装置10bの表示部15を示している。なお、表示部15a及び15bを特に区別しない場合には、単に「表示部15」と記載する場合がある。
また、図10に示す例では、情報処理装置10aは、所謂テーブルトップディスプレイとして構成されており、表示部15aが、xy平面(水平面)に沿って配置されるように構成されている。また、情報処理装置10bは、所謂タブレット等の携帯型端末として構成されている。なお、説明を簡単にするために、以降の説明では、表示部15bが、表示部15aと同様に、xy平面(水平面)に沿って配置されるように、情報処理装置10bが配置されているものとして説明する。
例えば、図11は、実施例2に係る情報処理システムの動作の一例について説明するための説明図である。図11は、図10に示す情報処理装置10a及び10bを、z方向の上側(表示部15a及び15bと対向する側、即ち、表示部15a及び15bの上方)から見た場合の概略的な構成を示している。また、図11は、情報処理装置10aが、表示部15bに表示された表示オブジェクトv31に基づき推定された、当該表示部15bに対するユーザUcの相対位置に基づき、表示部15aに対するユーザUcの位置を推定する場合の一例を示している。
この場合には、例えば、情報処理装置10bが、表示部15bに表示された表示オブジェクトv31の位置及び向きに基づき、当該表示部15bに対するユーザUcの相対位置(例えば、位置及び向き)を推定する。そして、情報処理装置10bは、表示部15bに対するユーザUcの相対位置の推定結果を情報処理装置10aに通知する。
情報処理装置10aは、自身と情報処理装置10bとの間の相対的な位置関係を、例えば、センサ等を利用することで直接的または間接的に検出する。そして、情報処理装置10aは、自身と情報処理装置10bとの間の相対的な位置関係の検出結果に基づき、表示部15aと表示部15bとの間の相対的な位置関係を認識する。
また、情報処理装置10aは、情報処理装置10bから、表示部15bに対するユーザUcの相対位置の推定結果を取得する。
そして、情報処理装置10aは、表示部15aと表示部15bとの間の相対的な位置関係の認識結果と、取得した表示部15bに対するユーザUcの相対位置の推定結果とを照合することで、表示部15aに対する当該ユーザUcの相対位置を推定する。
なお、情報処理装置10aは、表示部15aに対するユーザUcの相対位置の推定結果に基づき、例えば、図11に示すように、ユーザUcの近傍に表示オブジェクトv41を表示させてもよい。
以上説明したように、情報処理装置10aは、表示部15bに表示された表示オブジェクトv31に基づき推定された、当該表示部15bに対するユーザUcの相対位置の推定結果に基づき、表示部15aに対する当該ユーザUcの相対位置を推定してもよい。このような構成により、情報処理装置10aは、例えば、表示部15aに表示オブジェクトが表示されていない状況下でも、表示部15bに対するユーザUcの相対位置の推定結果に基づき、表示部15aに対するユーザUcの相対位置を推定することが可能となる。
なお、上記に示した構成を応用することで、例えば、情報処理装置10aは、表示部15aに対するユーザUcの相対位置の推定結果を、表示部15bに対するユーザUcの相対位置の推定結果に基づき補正することも可能となる。
例えば、図12は、実施例2に係る情報処理システムの動作の他の一例について説明するための説明図である。図12は、情報処理装置10aが、表示部15bに対するユーザUcの相対位置の推定結果に基づき、表示部15aに対するユーザUcの相対位置の推定結果を補正する場合の例を示している。なお、図12は、図11と同様に、図10に示す情報処理装置10a及び10bを、z方向の上側(表示部15a及び15bと対向する側、即ち、表示部15a及び15bの上方)から見た場合の概略的な構成を示している。
図12に示す例では、情報処理装置10aは、表示部15aに表示された表示オブジェクトv21の位置及び向きに基づき、当該表示部15aに対するユーザUcの相対位置(例えば、位置及び向き)を推定している。図12における参照符号Uc1は、情報処理装置10aが、表示オブジェクトv21の位置及び向きに基づき推定した、表示部15aに対するユーザUcの相対位置を示している。
また、情報処理装置10aは、自身と情報処理装置10bとの間の相対的な位置関係を、直接的または間接的に検出する。なお、情報処理装置10a及び10bの間の相対的な位置関係の検出方法は、図11に基づき前述した方法と同様である。
また、情報処理装置10aは、図11に示す例と同様に、情報処理装置10bから、表示部15bに対するユーザUcの相対位置の推定結果を取得する。
情報処理装置10aは、表示部15aと表示部15bとの間の相対的な位置関係の認識結果と、取得した表示部15bに対するユーザUcの相対位置の推定結果とを照合することで、表示部15aに対する当該ユーザUcの相対位置を推定する。参照符号Uc2は、情報処理装置10aが、表示部15aと表示部15bとの間の相対的な位置関係の認識結果と、取得した表示部15bに対するユーザUcの相対位置の推定結果との照合に基づき推定した、表示部15aに対するユーザUcの相対位置を示している。
そして、情報処理装置10aは、表示オブジェクトv21に基づき推定された表示部15aに対するユーザUcの相対位置Uc1を、表示部15bに対するユーザUcの相対位置に基づき推定された表示部15aに対するユーザUcの相対位置Uc2に基づき補正する。例えば、参照符号Uc3は、相対位置Uc1を、相対位置Uc2に基づき補正することで推定された、表示部15aに対するユーザUcの相対位置の一例を示している。
以上説明したように、情報処理装置10aは、表示部15bに対するユーザUcの相対位置の推定結果に基づき、表示部15aに対するユーザUcの相対位置の推定結果を補正してもよい。このような構成により、情報処理装置10aは、表示部15aに対するユーザUcの相対位置を、より精度よく推定することが可能となる。
なお、上記に示す例では、表示部15bが、表示部15aと同様に、xy平面(水平面)に沿って配置されるように、情報処理装置10bが配置されている例について説明した。一方で、例えば、情報処理装置10bを、所謂ラップトップ型のPCのように、表示部15bが、xy平面に対してz方向に立ち上がるように設置されたデバイスを適用してもよい。この場合には、情報処理装置10bは、図1及び図2に示す例と同様に、表示部15b中に表示された表示オブジェクトv31に対して、ユーザUcが正対して作業をしているものと仮定して、当該表示部15bに対するユーザUcの位置を推定すればよい。
また、情報処理装置10bをタブレット端末のように所謂携帯型のデバイス等により構成した場合には、当該情報処理装置10bの保持の仕方によって、当該情報処理装置10bの向きが動的に切り替わる場合もある。このような場合には、情報処理装置10bは、加速度センサ等の各種センサにより自身の向きを認識し、認識した向きに応じて表示部15に対するユーザの位置の推定方法を切り替えてもよい。
なお、上記に示す例では、情報処理装置10a及び10bそれぞれが、自身に設けられた表示部15に対するユーザUcの相対位置を推定する例について説明した。一方で、情報処理装置10a及び10bのうちの一方が、表示部15a及び表示部15bそれぞれに対するユーザUcの相対位置に係る処理を実行してもよい。具体的な一例として、情報処理装置10aが、情報処理装置10bから、表示部15b中における表示オブジェクトv31の位置及び向きを示す情報を取得し、取得した情報に基づき、表示部15bに対するユーザUcの位置を推定してもよい。
また、情報処理装置10a及び10bの間の相対的な位置関係を検出する方法は、必ずしも、センサ等のデバイスに基づく方法には限定されない。具体的な一例として、撮像部により、情報処理装置10a及び10bを撮像することで、撮像された画像に基づき、情報処理装置10a及び10bの間の相対的な位置関係を検出する構成としてもよい。また、ユーザが、情報処理装置10a及び10bの間の相対的な位置関係を示す情報を入力する構成としてもよい。
また、情報処理装置10a及び10bの間の相対的な位置関係を検出する主体は特に限定されない。具体的な一例として、情報処理装置10a及び10bのいずれかが、情報処理装置10a及び10bの間の相対的な位置関係を検出してもよい。また、他の一例として、情報処理装置10a及び10b以外の外部装置が、情報処理装置10a及び10bの間の相対的な位置関係を検出してもよい。
<5.ハードウェア構成>
次に、図13を参照して、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図13は、本開示の実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
図13に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、表示デバイス909と、バス915とを含む。また、情報処理装置10は、スピーカ911と、通信デバイス913とを含んでもよい。
プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部11の各構成は、プロセッサ901により実現され得る。
メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部17は、メモリ903及びストレージ905の少なくともいずれか、もしくは、双方の組み合わせにより構成され得る。
操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した操作部13は、操作デバイス907により実現され得る。
表示デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、表示デバイス909は、画面を表示することにより、ユーザに対して所定の情報を提示することができる。なお、前述した表示部15は、表示デバイス909により実現され得る。
スピーカ911は、音響信号や音声信号を出力するための出力デバイスの一例である。
通信デバイス913は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス913は、有線または無線用の通信インタフェースである。通信デバイス913を、無線通信インタフェースとして構成するバイには、当該通信デバイス913は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス913は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。
バス915は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、表示デバイス909、スピーカ911、及び通信デバイス913を相互に接続する。バス915は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
<6.まとめ>
以上、説明したように、本実施形態に係る情報処理装置10は、表示部15に表示された表示オブジェクトの位置及び向きのうち少なくともいずれかを示す位置情報に基づき、当該表示部15に対するユーザの相対位置を推定する。このような構成により、本実施形態に係る情報処理装置10は、表示部15に対するユーザの位置を推定するために、各種センサやカメラ等のような専用のデバイスを設ける必要がなくなる。即ち、本実施形態に係る情報処理装置10は、表示部15中に表示オブジェクトを表示可能であれば、ハードウェア構成に制限されずに表示部15に対するユーザの位置を推定することが可能となる。
なお、上記では、表示部15に表示された表示オブジェクトを操作する主体がユーザの場合を例に説明したが、必ずしも、表示オブジェクトの位置や向きを変更する(即ち、表示オブジェクトを操作する)主体はユーザには限定されない。例えば、情報処理装置10が、表示部15に表示された表示オブジェクトの表示部15中の位置や向きを制御し、当該制御結果に基づき表示部15に対するユーザの相対位置を推定してもよい。
例えば、情報処理装置10を、電子公告に適用した場合が挙げられる。具体的な一例として、情報処理装置10が、表示部15中に表示オブジェクトを表示させた、もしくは、当該表示オブジェクトの表示位置を制御することで、当該表示オブジェクトの表示を制御したものとする。このとき、情報処理装置10は、表示部15への当該表示オブジェクトの表示制御により、ユーザもしくは当該ユーザの視線が誘導されたものと仮定して、当該表示部15に対する当該ユーザの相対位置を推定してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得する取得部と、
前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する推定部と、
を備える、情報処理装置。
(2)
前記推定部は、前記表示領域に表示された表示オブジェクトのうち、アクティブ状態の前記表示オブジェクトの前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する、前記(1)に記載の情報処理装置。
(3)
前記推定部は、前記表示領域に表示された表示オブジェクトのうち、フォーカスされた表示オブジェクトを、前記アクティブ状態の表示オブジェクトとして認識する、前記(2)に記載の情報処理装置。
(4)
前記推定部は、前記表示領域に表示された表示オブジェクトのうち、ユーザ入力を受け付けている表示オブジェクトを、前記アクティブ状態の表示オブジェクトとして認識する、前記(2)に記載の情報処理装置。
(5)
前記推定部は、前記表示領域に表示された表示オブジェクトに関連付けられたコンテンツの実行状態に応じて、当該表示オブジェクトが前記アクティブ状態か否かを認識する、前記(2)に記載の情報処理装置。
(6)
前記推定部は、前記表示領域に表示された表示オブジェクトがユーザ入力を受け付けてから経過した時間に応じて、当該表示オブジェクトが前記アクティブ状態か否かを認識する、前記(2)に記載の情報処理装置。
(7)
推定された前記ユーザの相対位置に応じて、前記表示領域への表示オブジェクトの表示を制御する制御部を備える、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、推定された前記ユーザの相対位置に応じて、前記表示領域に表示された表示オブジェクトの位置を制御する、前記(7)に記載の情報処理装置。
(9)
前記推定部は、前記表示領域中における第1の表示オブジェクトの位置及び方向のうち少なくともいずれかに応じて、当該表示領域に対するユーザの相対位置を推定し、
前記制御部は、推定された前記ユーザの相対位置に応じて、前記第1の表示オブジェクトとは異なる第2の表示オブジェクトの、当該表示領域への表示を制御する、前記(7)または(8)に記載の情報処理装置。
(10)
前記制御部は、推定された前記ユーザの相対位置に基づき、前記表示領域中に表示された前記表示オブジェクトの位置及び向きのうち少なくともいずれかを補正する、前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記取得部は、複数の表示領域のうち、少なくともいずれかの表示領域に表示された表示オブジェクトの前記位置情報を取得し、
前記推定部は、当該位置情報に基づき、前記複数の表示領域のうち、少なくともいずれかの表示領域に対するユーザの前記相対位置を推定する、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記推定部は、第1の表示領域に表示された表示オブジェクトの前記位置情報に基づき、前記第1の表示領域とは異なる第2の表示領域に対する前記ユーザの相対位置を推定する、前記(11)に記載の情報処理装置。
(13)
前記推定部は、第1の表示領域に表示された表示オブジェクトの前記位置情報に基づく当該第1の表示領域に対する前記ユーザの相対位置の推定結果を、前記第1の表示領域とは異なる第2の表示領域に表示された表示オブジェクトの前記位置情報に基づき補正する、前記(11)に記載の情報処理装置。
(14)
前記推定部は、所定のタイミングごとに、前記表示領域に対するユーザの相対位置を推定する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記推定部は、あらかじめ決められた処理の実行に応じて、前記表示領域に対するユーザの相対位置を推定する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(16)
前記推定部は、前記表示領域に表示された表示オブジェクトがユーザ入力を受け付けた場合に、前記表示領域に対するユーザの相対位置を推定する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(17)
前記表示領域を含む表示部を備える、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記表示部の前記表示領域が、水平方向に延伸するように設けられた、前記(17)に記載の情報処理装置。
(19)
表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、
プロセッサが、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、
を含む、情報処理方法。
(20)
コンピュータに、
表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、
前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、
を実行させる、プログラム。
10 情報処理装置
11 制御部
111 入力解析部
113 処理実行部
115 位置推定部
117 表示制御部
13 操作部
15 表示部
17 記憶部

Claims (20)

  1. 表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得する取得部と、
    前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する推定部と、
    を備える、情報処理装置。
  2. 前記推定部は、前記表示領域に表示された表示オブジェクトのうち、アクティブ状態の前記表示オブジェクトの前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定する、請求項1に記載の情報処理装置。
  3. 前記推定部は、前記表示領域に表示された表示オブジェクトのうち、フォーカスされた表示オブジェクトを、前記アクティブ状態の表示オブジェクトとして認識する、請求項2に記載の情報処理装置。
  4. 前記推定部は、前記表示領域に表示された表示オブジェクトのうち、ユーザ入力を受け付けている表示オブジェクトを、前記アクティブ状態の表示オブジェクトとして認識する、請求項2に記載の情報処理装置。
  5. 前記推定部は、前記表示領域に表示された表示オブジェクトに関連付けられたコンテンツの実行状態に応じて、当該表示オブジェクトが前記アクティブ状態か否かを認識する、請求項2に記載の情報処理装置。
  6. 前記推定部は、前記表示領域に表示された表示オブジェクトがユーザ入力を受け付けてから経過した時間に応じて、当該表示オブジェクトが前記アクティブ状態か否かを認識する、請求項2に記載の情報処理装置。
  7. 推定された前記ユーザの相対位置に応じて、前記表示領域への表示オブジェクトの表示を制御する制御部を備える、請求項1に記載の情報処理装置。
  8. 前記制御部は、推定された前記ユーザの相対位置に応じて、前記表示領域に表示された表示オブジェクトの位置を制御する、請求項7に記載の情報処理装置。
  9. 前記推定部は、前記表示領域中における第1の表示オブジェクトの位置及び方向のうち少なくともいずれかに応じて、当該表示領域に対するユーザの相対位置を推定し、
    前記制御部は、推定された前記ユーザの相対位置に応じて、前記第1の表示オブジェクトとは異なる第2の表示オブジェクトの、当該表示領域への表示を制御する、請求項7に記載の情報処理装置。
  10. 前記制御部は、推定された前記ユーザの相対位置に基づき、前記表示領域中に表示された前記表示オブジェクトの位置及び向きのうち少なくともいずれかを補正する、請求項7に記載の情報処理装置。
  11. 前記取得部は、複数の表示領域のうち、少なくともいずれかの表示領域に表示された表示オブジェクトの前記位置情報を取得し、
    前記推定部は、当該位置情報に基づき、前記複数の表示領域のうち、少なくともいずれかの表示領域に対するユーザの前記相対位置を推定する、請求項1に記載の情報処理装置。
  12. 前記推定部は、第1の表示領域に表示された表示オブジェクトの前記位置情報に基づき、前記第1の表示領域とは異なる第2の表示領域に対する前記ユーザの相対位置を推定する、請求項11に記載の情報処理装置。
  13. 前記推定部は、第1の表示領域に表示された表示オブジェクトの前記位置情報に基づく当該第1の表示領域に対する前記ユーザの相対位置の推定結果を、前記第1の表示領域とは異なる第2の表示領域に表示された表示オブジェクトの前記位置情報に基づき補正する、請求項11に記載の情報処理装置。
  14. 前記推定部は、所定のタイミングごとに、前記表示領域に対するユーザの相対位置を推定する、請求項1に記載の情報処理装置。
  15. 前記推定部は、あらかじめ決められた処理の実行に応じて、前記表示領域に対するユーザの相対位置を推定する、請求項1に記載の情報処理装置。
  16. 前記推定部は、前記表示領域に表示された表示オブジェクトがユーザ入力を受け付けた場合に、前記表示領域に対するユーザの相対位置を推定する、請求項1に記載の情報処理装置。
  17. 前記表示領域を含む表示部を備える、請求項1に記載の情報処理装置。
  18. 前記表示部の前記表示領域が、水平方向に延伸するように設けられた、請求項17に記載の情報処理装置。
  19. 表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、
    プロセッサが、前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、
    を含む、情報処理方法。
  20. コンピュータに、
    表示領域に表示された表示オブジェクトの、前記表示領域中における位置及び方向のうち少なくともいずれかを示す位置情報を取得することと、
    前記位置情報に基づき、前記表示領域に対するユーザの相対位置を推定することと、
    を実行させる、プログラム。
JP2014127676A 2014-06-20 2014-06-20 情報処理装置、情報処理方法、及びプログラム Pending JP2016009214A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014127676A JP2016009214A (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法、及びプログラム
PCT/JP2015/064090 WO2015194291A1 (ja) 2014-06-20 2015-05-15 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014127676A JP2016009214A (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016009214A true JP2016009214A (ja) 2016-01-18

Family

ID=54935285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014127676A Pending JP2016009214A (ja) 2014-06-20 2014-06-20 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2016009214A (ja)
WO (1) WO2015194291A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230056A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020112867A (ja) * 2019-01-08 2020-07-27 清水建設株式会社 情報表示システム及び情報表示方法
US11373650B2 (en) 2017-10-17 2022-06-28 Sony Corporation Information processing device and information processing method
WO2024128255A1 (ja) * 2022-12-14 2024-06-20 株式会社Zozo テキスタイル

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104965A (ja) * 1993-10-06 1995-04-21 Oki Electric Ind Co Ltd メッセージ通知方法
JPH10150599A (ja) * 1996-11-20 1998-06-02 Canon Inc カメラ制御システム
JP2001117693A (ja) * 1999-10-21 2001-04-27 Canon Inc 表示装置及びその表示制御方法並びに記憶媒体
US8312385B2 (en) * 2009-09-30 2012-11-13 Palo Alto Research Center Incorporated System and method for providing context-sensitive sidebar window display on an electronic desktop
JP5533044B2 (ja) * 2010-03-05 2014-06-25 日本電気株式会社 表示装置及び表示方法及び表示プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230056A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110741330A (zh) * 2017-06-12 2020-01-31 索尼公司 信息处理装置、信息处理方法和程序
US11029909B2 (en) 2017-06-12 2021-06-08 Sony Corporation Information processor, information processing method, and program
CN110741330B (zh) * 2017-06-12 2022-02-15 索尼公司 信息处理装置、信息处理方法和程序
US11347462B2 (en) 2017-06-12 2022-05-31 Sony Group Corporation Information processor, information processing method, and program
US11373650B2 (en) 2017-10-17 2022-06-28 Sony Corporation Information processing device and information processing method
JP2020112867A (ja) * 2019-01-08 2020-07-27 清水建設株式会社 情報表示システム及び情報表示方法
JP7244279B2 (ja) 2019-01-08 2023-03-22 清水建設株式会社 情報表示システム及び情報表示方法
US11954241B2 (en) 2019-01-08 2024-04-09 Shimizu Corporation Information display system and information display method
WO2024128255A1 (ja) * 2022-12-14 2024-06-20 株式会社Zozo テキスタイル

Also Published As

Publication number Publication date
WO2015194291A1 (ja) 2015-12-23

Similar Documents

Publication Publication Date Title
US10082886B2 (en) Automatic configuration of an input device based on contextual usage
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
JP6235166B2 (ja) コンテキストベースのタッチ処理のためのシステムおよび方法
WO2017033513A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10732808B2 (en) Information processing device, information processing method, and program
JP6321208B2 (ja) ホストによって増強されるタッチ処理のためのシステムおよび方法
KR102348947B1 (ko) 전자장치의 화면 표시 제어 방법 및 장치
KR102318610B1 (ko) 모바일 디바이스 및 모바일 디바이스의 디스플레이 방법
WO2015194291A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10474324B2 (en) Uninterruptable overlay on a display
EP2703983A2 (en) Method of controlling touch function and an electronic device thereof
AU2018271107A1 (en) Tactile feedback for user interfaces
EP2811391A1 (en) Method for transforming an object based on motion, gestures or breath input and electronic device thereof
US20180188944A1 (en) Display apparatus and controlling method thereof
US9665260B2 (en) Method and apparatus for controlling screen of mobile device
KR102327139B1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
US20140168106A1 (en) Apparatus and method for processing handwriting input
CN104866073B (zh) 信息处理方法及其系统、包括该信息处理系统的电子设备
KR102305314B1 (ko) 사용자 단말 장치 및 그의 제어 방법
KR101464739B1 (ko) 가상 콘트롤 출력 지원 기반의 터치스크린 장치 및 상기 터치스크린 장치의 가상 콘트롤 출력 지원 방법