JP2023068212A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2023068212A JP2023068212A JP2020063556A JP2020063556A JP2023068212A JP 2023068212 A JP2023068212 A JP 2023068212A JP 2020063556 A JP2020063556 A JP 2020063556A JP 2020063556 A JP2020063556 A JP 2020063556A JP 2023068212 A JP2023068212 A JP 2023068212A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- area
- terminal
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Abstract
【課題】簡易且つ安全にオブジェクトの利用を促すこと。【解決手段】情報処理システム1は、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部51と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する記憶部71と、ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部92と、端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部93と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部94と、特定部94によって特定された識別情報を端末に出力する出力部95と、を備える。【選択図】図2
Description
本発明は、情報処理システムに関する。
近年、IoT(Internet of Things)デバイス等の通信可能なオブジェクトを、ユーザが携帯する端末によって制御する技術が注目されている(例えば、特許文献1参照)。
上述したようなオブジェクトの利用において、パスワードの入力等、デバイスの利用に係る認証処理が要求される場合がある。このような認証処理は、ユーザにとって手間となる。一方、ユーザの利便性を優先して、例えば認証処理を省略すると、オブジェクトの利用に係るセキュリティ(安全性)が確保され難い。
本発明は上記実情に鑑みてなされたものであり、簡易且つ安全にオブジェクトの利用を促すことができる情報処理システムに関する。
本発明の一態様に係る情報処理システムは、現実空間のオブジェクトを3次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する第1記憶部と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する第2記憶部と、ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部と、端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部と、特定部によって特定された識別情報を端末に出力する出力部と、を備える。
本発明の一態様に係る情報処理システムでは、ユーザが把持、又は、装着する端末の位置及び視認方向に対応する空間構造データに基づいて、現実空間においてユーザが視認する視認領域が推定される。そして、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報が特定されて端末に出力される。このように、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報がユーザに対して出力されることにより、ユーザの目の届く範囲のオブジェクトに限定してユーザの端末との通信が促される。このことで、例えば、遠隔からのオブジェクトの利用等が抑制され、オブジェクトの利用に関するセキュリティ(安全性)を担保することができる。特に、ユーザの視認領域が、現実空間のオブジェクトの位置及び形状が考慮された空間構造データに基づいて推定されることにより、ユーザの視認領域を高精度に特定することができている。このことで、例えば、ユーザがいる部屋とは別室にあるオブジェクト等、ユーザの視認方向には含まれるがユーザの視認領域には含まれないオブジェクトの利用が抑制され、オブジェクトの利用に関する安全性をより一層担保することができる。また、オブジェクトの利用に係る識別情報が出力されることにより、ユーザが当該オブジェクトを利用することができるため、ユーザが、端末との通信の対象であるオブジェクトを検索する必要がない。このことにより、オブジェクトの利用に係る手間を軽減することができる。以上のように、情報処理システムによれば、簡易且つ安全にオブジェクトの利用を促すことができる。
本発明によれば、簡易且つ安全にオブジェクトの利用を促すことができる。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
図1及び図2に示される情報処理システム1は、ユーザが携帯する通信端末10(ユーザが把持又は装着する端末)と、現実空間のオブジェクトのうち通信可能なオブジェクトとを接続するためのシステムである。本実施形態では、オブジェクトは、例えば、IoT家電機器等、通信端末10によって制御可能なデバイスである。以下、本実施形態では、通信端末10によって制御可能なデバイス(以下、単に「デバイス」という)を現実空間のオブジェクトの一例として説明する。しかしながら、現実空間のオブジェクトは、デバイスに限られず、通信可能なオブジェクトであればよい。
情報処理システム1では、ユーザの視認領域に含まれるデバイスの接続情報が通信端末10に出力されることによって通信端末10とデバイスとが接続される。情報処理システム1は、通信端末10と、位置測位サーバ30と、空間構造サーバ50と、デバイスサーバ70と、特定サーバ90と、を備えている。なお、図1及び図2に示される通信端末10の数は1台であるが、通信端末10の数は複数であってもよい。
情報処理システム1では、通信端末10が撮像した撮像画像が位置測位サーバ30に送信される。図1に示される例では、通信端末10において撮像された撮像画像として、一般住宅における部屋Roの画像(撮像画像)P1が示されている。画像P1は、部屋Roの入口付近から部屋の正面の方向が撮像された画像である。位置測位サーバ30は、通信端末10において撮像された撮像画像に基づいてグローバル位置情報を取得する。そして、位置測位サーバ30は、グローバル位置情報を、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報(絶対的な位置情報)である。グローバル位置情報には、例えば、位置、方向及び傾きの情報が含まれている。グローバル位置情報は、あらかじめ生成されて位置測位サーバ30に記憶されている。グローバル位置情報の詳細については後述する。
空間構造サーバ50は、グローバル位置情報に対応する空間構造データを取得し、グローバル位置情報に対応する空間構造データを特定サーバ90に送信する。空間構造データは、現実空間のオブジェクトを3次元の仮想空間に表したデータである(詳細は後述)。空間構造データは、あらかじめ生成されて空間構造サーバ50に記憶されている。
図1に示される例では、画像P1に表示された部屋Roの各オブジェクトが現実空間のオブジェクトである。そして、グローバル位置情報には、部屋Roの入口付近の位置、及び部屋Roの入口付近から部屋Roの正面の壁に至る方向の情報が含まれている。したがって、グローバル位置情報に対応する空間構造データには、3次元の仮想空間に表された部屋Roのオブジェクトの形状が表されている。具体的には、空間構造データには、現実空間の部屋Roの入り口付近から部屋Roの正面に至る領域と同じ位置に配置された壁、窓、天井、テレビ台、テレビT1、照明T2、及びエアコンT3のそれぞれのオブジェクトの形状が少なくとも表されている。
デバイスサーバ70は、グローバル位置情報に対応するデバイス情報(通信可能オブジェクト情報)及びユーザインタフェースを取得し、グローバル位置情報に対応するデバイス情報、及びユーザインタフェースを特定サーバ90に送信する。デバイス情報は、デバイスの位置及び接続情報を含んだ情報である(詳細は後述)。ユーザインタフェースは、デバイスを制御するために用いられ、例えば、通信端末10の画面に表示されるデバイスの操作画面である。デバイス情報及びユーザインタフェースは、あらかじめ生成されてデバイスサーバ70に記憶されている。
図1に示される例では、部屋Roにある各オブジェクトのうちテレビT1が通信端末10によって制御可能なデバイスである。したがって、グローバル位置情報に対応するデバイス情報は、部屋Ro(現実空間)におけるテレビT1の位置及び接続情報を含んでいる。なお、テレビT1の所有者によって、テレビT1のデバイス情報は、公開状態に設定されている。公開状態に設定されているとは、第三者によるデバイスの利用が可能となるようにデバイスが設定されている状態を意味する。また、公開状態に設定されていないとは、第三者によるデバイスの利用が不可能となるようにデバイスが設定されている状態を意味する。
特定サーバ90は、空間構造サーバ50から空間構造データを取得する。また、特定サーバ90は、デバイスサーバ70からデバイス情報及びユーザインタフェースを取得する。さらに、特定サーバ90は、グローバル位置情報に基づいて、ユーザの位置を推定(取得)し、撮像画像に基づいて、ユーザの視認方向を推定(取得)する。なお、以下では、ユーザの位置とは、ユーザが把持又は装着する通信端末10の位置である。また、ユーザの視認方向とは、現実空間においてユーザが視認する方向であって、通信端末10の視認方向(具体的には、通信端末10のカメラが撮像する方向)である。そして、特定サーバ90は、ユーザの位置及び視認方向と、空間構造データとに基づいて、現実空間のうちユーザが視認する視認領域を推定する。そして、特定サーバ90は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスの接続情報、及び当該デバイスのユーザインタフェースを特定し、当該デバイスの接続情報及びインタフェースを通信端末10に出力する。
図1及び図3に示される例では、ユーザは、部屋Roの正面の方向を視認している。このため、ユーザから部屋Roの正面に向かう方向がユーザの視認方向となる。その結果、部屋Roの正面に設けられたテレビT1がユーザの視認領域に含まれるデバイスとして特定される。なお、視認方向及び視認領域の推定方法等の詳細については後述する。そして、テレビT1の接続情報及びユーザインタフェースU(図4参照)が、通信端末10に出力される。
一例として、テレビT1の接続情報及びユーザインタフェースUが通信端末10によって受信されると、テレビT1と通信端末10とが接続され、図4に示されるように、通信端末10の画面上にはテレビT1のユーザインタフェースU(操作画面)が表示される。そして、ユーザがユーザインタフェースUを操作することによって、ユーザが制御を行いたいデバイスであるテレビT1が制御される。なお、通信端末10の画面上には、例えば画像P1等、テレビT1のユーザインタフェースU以外の画像が表示されてもよい。以上の処理により、情報処理システム1では、デバイスと通信端末10とが接続され、通信端末10によってデバイスの制御が可能となる。
ここで、図2を参照して、通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90の機能的な構成要素について説明する。
通信端末10は、例えば、無線通信を行うよう構成された端末である。通信端末10は、例えば、スマートフォン、タブレット型端末、PC、ゴーグル型のウェアラブル機器等である。通信端末10では、例えばアプリケーションが実行されると、実装されたカメラによる撮像が実施される。そして、通信端末10は、撮像された撮像画像を位置測位サーバ30に送信する。また、通信端末10は、デバイスのユーザインタフェース等、種々の情報を通信端末10の画面上に表示する。撮像画像は、例えば、デバイスとの接続のためのアプリケーションの実行が開始されたタイミングで、通信端末10のカメラによる撮像によって取得される。取得された撮像画像は、位置測位サーバ30によるグローバル位置情報の推定、ユーザの視認方向の推定等に用いられる。通信端末10は、記憶部11と、送信部12と、出力部13と、を有している。
記憶部11は、撮像画像、位置測位サーバ30から取得したグローバル位置情報、空間構造サーバ50から取得した空間構造データ、特定サーバ90から取得したデバイスの接続情報及びユーザインタフェース等、種々の情報を記憶している。送信部12は、撮像された撮像画像を位置測位サーバ30に送信する。出力部13は、記憶部11が記憶しているユーザインタフェースをデバイスの画面上に表示する。
位置測位サーバ30は、機能的な構成要素として、記憶部31と、測位部32と、を有している。記憶部31は、マップデータ300を記憶している。マップデータ300では、予め取得された撮像画像に含まれる特徴点の特徴量(例えば、輝度方向ベクトル)と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ300は、例えば、3Dポイントクラウドである。マップデータ300は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ(図示省略)等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度(強度)が大きい(又は小さい)点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。
記憶部31は、マップデータ300の特徴点のグローバル位置情報として3次元の位置情報を記憶している。記憶部31は、特徴点の3次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部31は、マップデータ300についてグローバル位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。
測位部32は、通信端末10において撮像された撮像画像と、記憶部31に記憶されているマップデータ300とに基づいて、通信端末10における撮像時の通信端末10のグローバル位置情報(3次元の位置情報)を推定する。具体的には、測位部32は、マップデータ300の特徴点と、通信端末10において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ300の領域を特定する。そして、測位部32は、特定した領域に係るマップデータ300の特徴点に関連付けられたグローバル位置情報に基づいて、撮像画像の撮像位置(すなわち、撮像時における通信端末10のグローバル位置情報)を推定する。測位部32は、測位結果を空間構造サーバ、デバイスサーバ70、及び特定サーバ90に送信する。
なお、測位結果には、グローバル位置情報に加えて撮像画像から推定される方向(ロール、ピッチ、ヨーの3次元座標中の方向)に関する情報が含まれていてもよい。また、測位部32は、通信端末10において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、通信端末10からの指示を受けたタイミングで撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。
空間構造サーバ50は、通信端末10から送信されたグローバル位置情報に基づいて、グローバル位置情報に対応する空間構造データを特定する。そして、空間構造サーバ50は、特定した空間構造データを特定サーバ90に送信する。空間構造サーバ50は、記憶部(第1記憶部)51と、特定部52と、を有している。
記憶部51は、グローバル位置情報と空間構造データとが対応付けられたデータ500を記憶している。特定部52は、通信端末10から送信されたグローバル位置情報と、記憶部51に記憶されているデータ500とに基づいて、通信端末10のグローバル位置情報に対応する空間構造データを特定する。そして、特定部52は、特定した空間構造データを特定サーバ90に送信する。
デバイスサーバ70は、通信端末10から送信されたグローバル位置情報に基づいて、グローバル位置情報に対応するデバイス情報及びユーザインタフェースを特定する。そして、デバイスサーバ70は、特定したデバイス情報及びユーザインタフェースを特定サーバ90に送信する。デバイスサーバ70は、記憶部(第2記憶部)71と、特定部72と、を有している。
記憶部71は、グローバル位置情報と、デバイス情報と、ユーザインタフェースとが対応付けられたデータ700を記憶している。特定部72は、通信端末10から送信されたグローバル位置情報と、記憶部71に記憶されているデータ700とに基づいて、グローバル位置情報に対応するデバイスにおけるデバイス情報を特定する。ここでいうデバイス情報とは、現実空間のデバイスの位置及び接続情報を含んだ情報である。接続情報は、デバイス(通信可能なオブジェクト)の利用に係る識別情報に含まれる情報であって、本実施形態では、デバイスとの接続に必要な情報である。また、特定部72は、グローバル位置情報に対応するデバイスにおけるユーザインタフェースを特定する。そして、特定部72は、特定したデバイス情報及びユーザインタフェースを特定サーバ90に送信する。
特定サーバ90は、ユーザの位置情報及びユーザの視認方向を取得し、ユーザの位置情報及びユーザの視認方向と、空間構造サーバから送信された空間構造データとに基づいて、ユーザの視認領域を推定する。そして、特定サーバ90は、ユーザの視認領域に含まれるデバイスの接続情報及びユーザインタフェースを特定する。そして、特定サーバ90は、デバイスの接続情報及びユーザインタフェースを出力する。
特定サーバ90は、記憶部91と、端末情報取得部92と、推定部93と、特定部94と、出力部95と、を備えている。
記憶部91は、情報処理システム1で実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部91は、通信端末10が有するカメラによって撮像された撮像画像、位置測位サーバ30から取得したグローバル位置情報、空間構造サーバから取得した空間構造データ、並びにデバイスサーバ70から取得したデバイス情報及びユーザインタフェースを記憶している。
端末情報取得部92は、ユーザに関する情報を取得する。具体的には、端末情報取得部92は、ユーザに関する情報として、ユーザが把持又は装着する通信端末10の位置及び視認方向を少なくとも含む端末情報を取得する。
本実施形態では、端末情報取得部92は、位置測位サーバ30から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を推定する。また、本実施形態では、端末情報取得部92は、通信端末10のカメラが撮像(以下、「通信端末10が撮像」という)した撮像画像を取得し、当該撮像画像に基づいて、ユーザの視認方向を推定する。
以下、ユーザの視認方向の推定方法について、図3に示される例を用いて説明する。図3に示される通信端末10は、ゴーグル型のウェアラブル機器であって、ユーザに装着されている。ユーザは、現実空間において部屋Roの正面付近を視認している。端末情報取得部92は、ユーザの位置から撮像画像の領域に至る方向を視認方向として推定する。視認方向とは、通信端末10から得られる情報に基づいて、ユーザが視認していると推測される方向のことを意味する。図3に示される例では、端末情報取得部92は、ユーザの位置から画像P1の領域(部屋Roの正面付近の領域)に至る方向を、視認方向として推定する。つまり、本実施形態では、ユーザの視認方向は、点状の狭い領域ではなく、撮像画像の領域全体をユーザが捉えているものと仮定して推定される。
推定部93は、空間構造サーバ50の記憶部91から、ユーザの位置及び視認方向に対応する空間構造データを取得する。ここで、空間構造データについて詳細に説明する。空間構造データは、現実空間のオブジェクトを3次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表すデータである。例えば、現実空間においてある屋外の場所に複数の建物(複数のオブジェクト)が存在するとする。その場合、当該屋外の場所(現実空間)に対応する仮想空間の構造データには、地面のオブジェクト、及び当該屋外の場所と同じ位置に配置され且つ当該屋外の場所の複数の建物と同じ形状である複数の建物のオブジェクトが表されている。また、例えば、現実空間のある屋内の場所に椅子が存在するとする。その場合、当該室内の場所(現実空間)に対応する仮想空間の構造データには、当該室内の場所と同じ位置に配置され且つ当該室内の壁、床、天井、及び椅子のそれぞれと同じ形状の壁のオブジェクト、床のオブジェクト、天井のオブジェクト、及び椅子のオブジェクトが表されている。つまり、空間構造データにおけるオブジェクトは、現実空間におけるオブジェクトとリンクしている。なお、空間構造データは、静的なオブジェクト(基本的に動かないオブジェクト)のみの形状を表すデータであってもよい。また、空間構造データのオブジェクトには、現実空間におけるオブジェクトとリンクしていないオブジェクトが含まれていてもよい。
推定部93は、ユーザの位置及び視認方向を少なくとも含む端末情報と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する。具体的には、推定部93は、視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいてユーザの視認領域を推定する。
ここで、衝突領域に基づいたユーザの視認領域の推定方法について説明する。衝突領域とは、空間構造データに表された3次元の仮想空間において、現実空間のユーザ(すなわち、通信端末10)の位置に対応する位置にユーザ(通信端末10)が存在すると仮定した場合に、空間構造データと、ユーザの視認方向とが衝突する3次元の領域である。具体的には、衝突領域とは、当該仮想空間において、ユーザ(通信端末10)の位置から空間構造データのオブジェクトに向かって直線を引いた際に、当該直線と最初に交差する仮想空間のオブジェクトの領域を意味する。言い換えれば、衝突領域とは、当該仮想空間において、ユーザ(通信端末10)の位置から仮想空間の一のオブジェクトまで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差する領域を意味する。
ユーザの視認領域とは、現実空間のうちユーザが実際に視認していると推定される領域である。本実施形態では、ユーザ(通信端末10)の位置から衝突領域に至るまでの領域が、ユーザの視認領域として推定される。言い換えれば、本実施形態では、ユーザの視認領域とは、ユーザ(通信端末10)の位置から空間構造データのオブジェクトに向かって仮想空間の一のオブジェクトまで直線を引いた場合に、ユーザの位置から、当該直線が他のオブジェクトによって遮られずに当該一のオブジェクトと交差するまでの領域を意味する。
ここで、衝突領域及びユーザの視認領域の推定方法について、図5に示される具体例を用いて説明する。図5は、空間構造データに表された3次元の仮想空間D1と、通信端末10との位置関係を仮想的に表した平面図である。空間構造データには、仮想空間上の位置において複数のオブジェクトX1、オブジェクトX2、及びオブジェクトX3の形状が表されている。各オブジェクトX1~X3は、現実空間の各オブジェクトが3次元の仮想空間D1に表されたオブジェクトである。
通信端末10は、各オブジェクトX1~X3に対応する現実空間における各オブジェクトを撮像しており、通信端末10と現実空間における各オブジェクトとの位置関係は、図5と同様となっている。通信端末10の撮像対象範囲5Aは、例えば、通信端末10のカメラの光学中心を頂点として各オブジェクトに向かって錐体状に広がっている。そして、現実空間における各オブジェクトのうち、オブジェクトX1に対応するオブジェクト、及びオブジェクトX2に対応するオブジェクトは、通信端末10によって制御可能なデバイスである。そして、オブジェクトX3に対応するオブジェクトは、屋内に設けられた壁である。
推定部93は、端末情報取得部92によって取得されたユーザの位置、視認方向、及び通信端末10の画角等の内部パラメータに基づいて、現実空間の通信端末10の位置と仮想空間D1の位置とを対応付ける。そして、推定部93は、視認方向に向かって、仮想空間D1の当該位置に通信端末10が位置していると仮定して、以下のように衝突領域を推定する。すなわち、推定部93は、仮想空間D1において、空間構造データと、視認方向とが衝突する衝突領域を推定する。具体的には、推定部93は、視認方向における原点から直線を引いた際に、仮想空間D1のオブジェクトX1のうち当該直線と最初に交差する領域、及びオブジェクトX3のうち当該直線と最初に交差する領域を、衝突領域として推定する。具体的には、推定部93は、オブジェクトX1における通信端末10側の面、及びオブジェクトX3における通信端末10側の面と、撮像画像の領域とが重なる領域である衝突領域R1を推定する。そして、推定部93は、ユーザ(通信端末10)の位置から衝突領域R1に至るまでの領域をユーザの視認領域Vとして推定する。
例えば、衝突領域R1は、当該仮想空間において、ユーザ(通信端末10)の位置からオブジェクトX1及びオブジェクトX3まで直線を引いた場合に、当該直線が他のオブジェクトによって遮られずにオブジェクトX1及びオブジェクトX3と交差する領域である。そして、視認領域Vは、ユーザ(通信端末10)の位置からオブジェクトX1及びオブジェクトX3まで直線を引いた場合に、通信端末10から当該直線が他のオブジェクトによって遮られずにオブジェクトX1及びオブジェクトX3と交差するまでの領域である。その結果、ユーザの視認領域には、通信端末10によって制御可能なデバイスであるオブジェクトX1が含まれる。なお、ユーザの視認領域に含まれるデバイスとは、ユーザ(通信端末10)と向かい合う面の全部又は一部においてユーザの視認領域と重複するデバイスを意味する。つまり、オブジェクトX1は、通信端末10と向かい合う面の全部においてユーザの視認領域と重複しているため、ユーザの視認領域に含まれる。なお、ユーザの視認領域に含まれるデバイスは、通信端末10と向かい合う一部においてユーザの視認領域と重複しているデバイスであってもよい。
一方、図5に示される領域R2は、オブジェクトX2における通信端末10側の表面の領域であって、撮像対象範囲5Aに含まれているが、衝突領域とはならない。また、オブジェクトX2は、ユーザの視認領域に含まれない。これは、ユーザの位置からオブジェクトX2まで直線を引いた場合に、当該直線が他のオブジェクトX1によって遮られるためである。以上のように、推定部93は、衝突領域及びユーザの視認領域を推定する。
特定部94は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスの接続情報を特定する。接続情報は、ユーザの視認領域に含まれ且つ通信可能なオブジェクトの識別情報であって、通信端末10とデバイスとの接続に必要な情報である。
ここで、ユーザの視認領域に含まれるデバイスの接続情報の特定にユーザの視認領域及びデバイス情報の両方が用いられる理由について説明する。デバイス情報は、グローバル位置情報に対応するデバイスに関する情報である。したがって、グローバル位置情報に対応するデバイス(言い換えれば、デバイス情報の情報元となるデバイス)をユーザが利用したいデバイスであると特定するように処理を実施することも考えられる。しかしながら、デバイス情報のみによってユーザが利用したいデバイスの接続情報を特定する場合、ユーザの視認方向には含まれるがユーザの視認領域には含まれないデバイスとの接続を促してしまうおそれがある。
具体的には、例えば、ユーザが集合住宅の第1部屋にいるとする。そして、第1部屋の隣の第2部屋には、デバイスZが設けられている。その場合、デバイスサーバ70によって、ユーザの位置及び視認方向(グローバル位置情報)に基づいて、デバイスZのデバイス情報が特定される。そして、仮に、特定サーバ90によって、デバイス情報のみに基づいて、デバイスZの接続情報が特定された場合、第2部屋の住人であってデバイスZの所有者が意図しない接続が、通信端末10とデバイスZとの間で実施されるおそれがある。これに対し、情報処理システム1では、ユーザの視認方向に含まれるデバイスのうちユーザの視認領域に含まれるデバイスの接続情報を特定する。したがって、情報処理システム1では、第1部屋にいるユーザの視認方向にはあるがユーザの視認領域にはないデバイスZは、通信端末10の接続対象とはならない。これにより、デバイスZの所有者が意図しない接続が防止される。
また、特定部94は、ユーザの視認領域と、デバイス情報とに基づいて、ユーザの視認領域に含まれるデバイスのユーザインタフェースを特定する。ユーザインタフェースは、ユーザの視認方向に含まれるデバイスのユーザインタフェースであって、例えば、デバイス機能を制御するためのスイッチ等が配置された操作画面である。
図5に示される例では、ユーザの視認領域に含まれるデバイスは、オブジェクトX1である。したがって、特定部94は、オブジェクトX1の接続情報及びユーザインタフェースを特定する。
出力部95は、特定部94によって特定された接続情報(識別情報)及びユーザインタフェースを出力する。出力された接続情報及びユーザインタフェースは、通信端末10によって取得される。接続情報が通信端末10によって取得されると、通信端末10とデバイスとの通信が可能に通信端末10とデバイスとが接続される。そして、通信端末10の表示画面上にユーザインタフェースが表示され(図4参照)、ユーザによってユーザインタフェースが操作されることによって、デバイスの制御が実施される。なお、通信端末10とデバイスとの接続は、通信端末10において自動的に実施されてもよいし、例えば、ユーザが当該接続を通信端末10に選択入力することによって実施されてもよい。
なお、ユーザインタフェースは、通信端末10に予め記憶されていてもよい。この場合、特定サーバ90から通信端末10にデバイスの接続情報が受信されると、当該接続情報に紐づいたユーザインタフェースが通信端末10の画面上に表示(出力)される。
次に、本実施形態に係る情報処理システム1が行う処理、具体的には、通信端末10とデバイスとの接続に係る処理について、図6を参照して説明する。図6は、情報処理システム1が行う処理を示すフローチャートである。
図6に示されるように、情報処理システム1では、特定サーバ90において、ユーザの位置、及びユーザが視認する視認方向が推定(取得)される(ステップS1)。具体的には、特定サーバ90は、位置測位サーバ30から撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報に基づいてユーザの位置を取得する。また、特定サーバ90は、通信端末10が撮像した撮像画像を取得し、ユーザの位置から撮像画像の領域に至る方向を視認方向として取得する。
続いて、特定サーバ90において、ステップS1で推定されたユーザの位置及び視認方向に基づいて、ユーザの視認領域にデバイスが含まれているか否かが判定される(ステップS2)。具体的には、特定サーバ90は、空間構造サーバ50の記憶部51から、ユーザの位置及び視認方向(グローバル位置情報)に対応する空間構造データを取得する。そして、特定サーバ90は、ユーザの視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいてユーザの視認領域を推定する。
また、特定サーバ90は、デバイスサーバ70から、ユーザの位置及び視認方向(グローバル位置情報)に対応するデバイス情報を取得する。そして、特定サーバ90は、視認領域と、デバイス情報とに基づいて、ユーザの視認領域にデバイスが含まれているか否かを判定する。ユーザの視認領域にデバイスが含まれていると判定された場合、特定サーバ90は、デバイスの接続情報を特定する。
ユーザの視認領域にデバイスが含まれていると判定された場合(ステップS2:YES)、通信端末10において、デバイスの接続情報が取得される(ステップS3)。一方、ユーザの視認領域にデバイスが含まれていないと判定された場合(ステップS2:NO)、処理がS1に戻される。
続いて、通信端末10において、通信端末10とデバイスとの通信が可能に通信端末10とデバイスとが接続される(ステップS4)。続いて、通信端末10において、記憶部11がデバイスのユーザインタフェースを保有しているか否かが判定される(ステップS5)。記憶部11がデバイスのユーザインタフェースを保有していると判定された場合(ステップS5:YES)、通信端末10において、記憶部11からユーザインタフェースがロードされる(ステップS6)。一方、記憶部11がデバイスのユーザインタフェースを保有していないと判定された場合(ステップS5:NO)、通信端末10において、デバイスサーバ70から、デバイスのユーザインタフェースが取得される(ステップS7)。
続いて、通信端末10において、デバイスのユーザインタフェースが通信端末10の画面上に表示される(ステップS8)。これにより、ユーザが、ユーザインタフェースを操作することでデバイスの制御を実施することが可能となる。
次に、本実施形態に係る情報処理システム1の作用効果について説明する。
本実施形態に係る情報処理システム1は、現実空間のオブジェクトを3次元の仮想空間に表したデータであって、現実空間のオブジェクトの位置に対応する仮想空間上の位置においてオブジェクトの形状を表す空間構造データを記憶する記憶部(第1記憶部)51と、現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する記憶部(第2記憶部)71と、ユーザが把持又は装着する通信端末10の位置及び視認方向(ユーザの位置及び視認方向)を少なくとも含む端末情報を取得する端末情報取得部92と、端末情報(ユーザの位置及び視認方向)と、空間構造データとに基づいて、現実空間においてユーザが視認する視認領域を推定する推定部93と、視認領域と、通信可能オブジェクト情報とに基づいて、視認領域に含まれる通信可能なオブジェクトの識別情報を特定する特定部94と、特定部94によって特定された識別情報を通信端末10に出力する出力部95と、を備えている。
本実施形態に係る情報処理システム1では、ユーザが把持又は装着する通信端末10の位置及び視認方向に対応する空間構造データに基づいて、現実空間においてユーザが視認する視認領域が推定される。そして、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報が特定されて通信端末10に出力される。このように、視認領域に含まれる通信可能なオブジェクトの利用に係る識別情報がユーザに対して出力されることにより、ユーザの目の届く範囲のオブジェクトに限定してユーザの通信端末10との通信が促される。このことで、例えば、遠隔からのオブジェクトの利用等が抑制され、オブジェクトの利用に関するセキュリティ(安全性)を担保することができる。特に、ユーザの視認領域が、現実空間のオブジェクトの位置及び形状が考慮された空間構造データに基づいて推定されることにより、ユーザの視認領域を高精度に特定することができている。このことで、例えば、ユーザがいる部屋とは別室にあるオブジェクト等、ユーザの視認方向には含まれるがユーザの視認領域には含まれないオブジェクトの利用が抑制され、オブジェクトの利用に関する安全性をより一層担保することができる。また、オブジェクトの利用に係る識別情報が出力されることにより、ユーザが当該オブジェクトを利用することができるため、ユーザが、通信端末10との通信の対象であるオブジェクトを検索する必要がない。このことにより、オブジェクトの利用に係る手間を軽減することができる。以上のように、情報処理システム1によれば、簡易且つ安全にオブジェクトの利用を促すことができる。
推定部93は、視認方向と空間構造データとが衝突する衝突領域を推定し、衝突領域に基づいて視認領域を推定する。このことにより、現実空間において実際にユーザが視認している領域を視認領域として精度良く推定することができる。よって、実際にユーザが視認しているオブジェクトの利用に係る識別情報を精度良く特定することができ、オブジェクトの所有者が意図しないオブジェクトの利用を確実に防止することができる。
本実施形態に係る情報処理システム1では、通信可能なオブジェクトには、通信端末10によって制御可能なデバイスが含まれており、通信可能オブジェクト情報には、識別情報として、制御可能なデバイスとの接続に必要な接続情報が含まれている。例えば、IoTの家電製品等のデバイスの所有者にとっては、デバイスの利用を何人も何処からでも許可することはセキュリティ上好ましくない。一方、一時的にデバイスを利用したいユーザにとっては、デバイスの検索、パスワードの入力等、デバイスとの接続処理を実施するのは手間である。この点、情報処理システム1では、ユーザの目の届く範囲のデバイスに限定してユーザの通信端末10との接続を促すことができるため、デバイスの利用に関する安全性を担保することができる。また、ユーザの目の届く範囲のデバイスは、ユーザが利用したいデバイスである可能性が高い。このようなデバイスとの接続に必要な接続情報がユーザの通信端末10に出力されることにより、ユーザが当該デバイスを利用することができるため、利用したいデバイスとの接続に係る手間を軽減することができる。
記憶部71は、制御可能なデバイスを制御するためのユーザインタフェースを記憶しており、特定部94は、ユーザの視認領域と、デバイス情報とに基づいて、視認領域に含まれる制御可能なデバイスを制御するためのユーザインタフェースを推定し、出力部95は、特定部94によって特定されたユーザインタフェースを出力する。このことにより、ユーザがデバイスの制御のためのユーザインタフェースを取得する手間を軽減することができる。また、ユーザがデバイスと接続されてから直ぐに当該デバイスの制御を実施することができる。よって、一時的なデバイスの利用に関する利便性を向上させることができる。
また、従来、ユーザの視認領域に含まれるデバイスを特定するためには、撮像画像においてデバイスを認識する画像処理の手法が用いられており、デバイスを特定するための処理の負荷が高かった。これに対し、情報処理システム1では、ユーザの位置及び視認方向と、空間構造データとに基づいてユーザの視認領域が推定され、ユーザの視認領域とデバイス情報とに基づいてユーザの視認領域に含まれるデバイスが特定されるため、画像処理を実施する必要がない。したがって、情報処理システム1では、デバイスを特定するための処理の負荷を軽減することができる。
次に、情報処理システム1に含まれた通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90のハードウェア構成について、図7を参照して説明する。上述の通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90のハードウェア構成は、図7に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、位置測位サーバ30の測位部32等の制御機能はプロセッサ1001で実現されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。
例えば、位置測位サーバ30の測位部32等の制御機能は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CDROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
例えば、情報処理システム1は、通信端末10、位置測位サーバ30、空間構造サーバ50、デバイスサーバ70、及び特定サーバ90を含んで構成されているとして説明したが、これに限定されず、情報処理システム1の各機能が、通信端末10のみによって実現されてもよい。
また、上記実施形態では、空間構造サーバが、記憶部(第1記憶部)51を有し、デバイスサーバ70が、記憶部(第2記憶部)71を有し、特定サーバ90が、端末情報取得部92と、推定部93と、特定部94と、出力部95と、を有している構成を例示した。しかしながら、情報処理システム1では、例えば、他のサーバが各機能的構成要素の一部あるいは全部を備えていてもよく、また、例えば、通信端末10が各機能的構成要素の一部を備えていてもよい。一例として、通信端末10の記憶部11が、デバイス情報(通信可能オブジェクト情報)を記憶していてもよい。
また、上記実施形態では、現実空間のオブジェクトのうち通信端末10と接続されるオブジェクトとして、通信端末10によって制御可能なデバイスを例示した。しかしながら、オブジェクトは、通信端末10と通信可能なオブジェクトであればよい。
また、本発明の一態様に係る通信可能オブジェクト情報として、上記実施形態ではデバイス情報を例示したが、本発明に係る通信可能オブジェクト情報はこれに限定されない。通信可能オブジェクト情報は、現実空間のオブジェクトの位置及び識別情報を含んだ情報であればよい。また、識別情報は、通信可能なオブジェクトの利用に係る情報であればよく、例えばオブジェクトのID、シリアルNo、オブジェクトに搭載されたNIC(Network Interface Card)のMACアドレスやIPアドレス等であってもよい。
また、情報処理システム1は、決定部96を更に備えていてもよい。一例として、図8に示されるように、決定部96は、特定サーバ90が有している機能的構成要素である。決定部96は、ユーザインタフェース(対象インタフェース)の表示態様を決定する。以下、各変形例における「ユーザインタフェース」は、特定部94によって特定されたユーザインタフェース(言い換えれば、ユーザの視認領域に含まれるデバイスのユーザインタフェース)を意味するものとする。決定部96は、視認領域に含まれるデバイスの接続情報が特定された環境に応じてユーザインタフェースの表示態様を決定する。そして、出力部95は、決定部96によって決定された表示態様でユーザインタフェースを出力する。
以上説明した本変形例に係る情報処理システム1では、上記実施形態と同様の効果が奏されるのに加え、ユーザが利用したいデバイスを制御しやすくすることができる。
以下、ユーザインタフェースの表示態様、及び表示態様の決定方法の具体例について説明する。
一例として、情報処理システム1では、端末情報取得部92が、端末が撮像した撮像画像においてユーザの視認領域に含まれるデバイスの位置及び大きさを更に取得し、決定部96が、ユーザの視認領域に含まれるデバイスの位置及び大きさに基づいて、撮像画像においてデバイスに対応する領域とは異なる領域にユーザインタフェース(対象ユーザインタフェース)を重畳させるようにユーザインタフェースの表示態様を決定してもよい。
デバイスの大きさは、例えば、デバイスサーバ70の記憶部71に記憶されている。そして、端末情報取得部92は、デバイスサーバ70から、デバイスの大きさ、及びデバイス情報に含まれるデバイスの位置を取得する。そして、端末情報取得部92は、デバイスの大きさ及びデバイスの位置に基づいて、撮像画像におけるデバイスの位置及び大きさを推定(取得)する。
そして、決定部96は、取得部が取得したデバイスの位置及び大きさに基づいて、ユーザインタフェースの表示態様を決定する。具体的には、決定部96は、撮像画像においてデバイスに対応する領域とは異なる領域にユーザインタフェースを重畳させるように当該表示態様を決定する。そして、出力部95から出力されたインタフェースは、撮像画像においてデバイスに対応する領域とは異なる領域に位置するように撮像画像に重畳されて、通信端末10の画面上に表示される。
図3及び図9に示される例では、記憶部71には、ユーザの視認領域に含まれるデバイスであるテレビT1の大きさが記憶されている。そして、端末情報取得部92は、デバイスサーバ70から取得したテレビT1の位置及び大きさに基づいて、撮像画像におけるデバイスの位置及び大きさを推定(取得)する。そして、決定部96は、テレビT1の位置大きさに基づいて、撮像画像においてテレビT1とは異なる領域にユーザインタフェースUを重畳させるようにユーザインタフェースUの表示態様を決定する。図9に示される画像は、ウェアラブル機器である通信端末10の画面上に表示された画像P1及びユーザインタフェースUの一例である。ユーザインタフェースUは、ユーザの視認領域に含まれるデバイスであるテレビT1と重畳しないように表示されている。
以上説明した本変形例に係る情報処理システム1によれば、ユーザが利用したいデバイスと、当該デバイスを制御するためのユーザインタフェースとを、互いに重ならないようにユーザの端末等のディスプレイに表示させることができるため、ユーザが利用したいデバイスを制御しやすくすることができる。
なお、デバイスの位置及び大きさは、画像認識によって取得されてもよい。具体的には、端末情報取得部92は、取得した撮像画像に対して周知の画像認識処理を実施することによって、撮像画像におけるデバイスの位置及び大きさを取得してもよい。また、デバイスの位置はデバイス情報に含まれるデバイスの位置に基づいて取得され、デバイスの大きさはデバイス情報に含まれるデバイスの種別情報等に基づいて推定されることによって取得されてもよい。
また、情報処理システム1では、決定部96が、通信端末10が撮像した撮像画像においてユーザの視認領域に含まれるデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスを制御するためのユーザインタフェースを優先的に表示するように表示態様を決定するようにしてもよい。以下、ユーザインタフェースの表示態様の決定方法について、図3に示される例を用いて説明する。
本変形例に係る例では、部屋Roにあるオブジェクトのうち通信端末10によって制御可能なデバイスは、テレビT1、照明T2、及びエアコンT3である。そして、ユーザの視認領域には、複数のデバイスであるテレビT1、照明T2、及びエアコンT3が含まれている。そして、画像P1において、ユーザの視認領域に含まれる各デバイスに対応する領域と、画像P1の光学中心に対応する領域である光学中心領域Cに対応する領域との距離を比較すると、テレビT1に対応する領域と光学中心領域Cとの距離が最も近い。したがって、決定部96は、テレビT1のユーザインタフェースUを優先的に表示するように決定する。具体的には、例えば、図9に示されるように、決定部96は、テレビT1のユーザインタフェースUのみが表示されるようにユーザインタフェースUの表示態様を決定する。なお、ユーザインタフェースUの表示態様は、ユーザインタフェースUが優先的に表示される態様であればよい。例えば、ユーザインタフェースUの表示態様は、画像P1において他のデバイスのユーザインタフェースよりも大きく表示されたり、強調されて表示されたりする態様であってもよい。
現実空間において撮像画像の光学中心に対応する領域は、ユーザが実際に注視している可能性が高い。また、ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域が撮像画像の光学中心に対応する領域に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例に係る情報処理システム1によれば、撮像画像において光学中心に対応する領域との距離が近いデバイスのユーザインタフェースが優先されて表示されることにより、ユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末10の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。
また、情報処理システム1では、端末情報取得部92が、ユーザの視線方向を更に取得し、推定部93が、視線方向に基づいて、通信端末10が撮像した撮像画像におけるユーザの注視点を更に推定し、決定部96が、撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域とユーザの注視点との距離が近いほど、該制御可能なデバイスを制御するための対象ユーザインタフェースを優先的に表示するように表示態様を決定するようにしてもよい。以下、ユーザインタフェースの表示態様の決定方法について、図3に示される例を用いて説明する。
通信端末10が、例えばゴーグル型のウェアラブル機器等であって、ユーザの視線情報を取得可能に構成されている場合には、ユーザの注視点を特定することができる。本変形例に係る例では、端末情報取得部92は、ユーザの視線情報に基づいてユーザの注視点Sを推定(取得)する。そして、画像P1において、ユーザの視認領域に含まれる各デバイスに対応する領域と、ユーザの注視点Sに対応する領域との距離を比較すると、テレビT1に対応する領域とユーザの注視点Sとの距離が最も近い。したがって、決定部96は、テレビT1のユーザインタフェースUを優先的に表示するように決定する。なお、表示態様は、上述した図9に示される例のように、ユーザインタフェースUのみが通信端末10の画面上に表示されてもよいし、ユーザインタフェースUが強調されて表示されてもよく、優先的に表示される限り特に限定されない。
ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域がユーザの注視点に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例の情報処理システム1によれば、上述した変形例の効果と同様の効果を奏することができ、ユーザが利用したいデバイスをより一層制御しやすくすることができる。
また、情報処理システム1では、特定部94が、通信端末10が撮像した撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及びデバイスを制御するためのユーザインタフェースを優先的に特定してもよい。
図3に示されるように、画像P1において、ユーザの視認領域に含まれる各デバイスに対応する領域と、画像P1の光学中心に対応する領域である光学中心領域Cに対応する領域との距離を比較すると、テレビT1に対応する領域と光学中心領域Cとの距離が最も近い。したがって、特定部94は、テレビT1の接続情報と、テレビT1のユーザインタフェースUを優先的に特定する。具体的には、例えば、特定部94は、テレビT1、照明T2、及びエアコンT3の接続情報のうちテレビT1の接続情報を視認領域に含まれるデバイスの接続情報とする。また、特定部94は、テレビT1、照明T2、及びエアコンT3のユーザインタフェースのうちテレビT1のユーザインタフェースUを視認領域に含まれるデバイスを制御するためのユーザインタフェースとして特定する。
現実空間において撮像画像の光学中心に対応する領域は、ユーザが実際に注視している可能性が高い。また、ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域が撮像画像の光学中心に対応する領域に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例に係る情報処理システム1によれば、撮像画像において光学中心に対応する領域との距離が近いデバイスの接続情報及びユーザインタフェースが優先されて特定されることにより、ユーザが利用を希望しないデバイスと通信端末10との接続、及びユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末10の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。なお、特定部94は、1つのデバイスの接続情報及び当該デバイスのユーザインタフェースに限らず、撮像画像においてデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離に応じて、複数のデバイスの接続情報及び各デバイスのユーザインタフェースを特定してもよい。
また、情報処理システム1では、端末情報取得部92は、ユーザの視線方向を更に取得し、推定部93は、視線方向に基づいて、通信端末10が撮像した撮像画像におけるユーザの注視点を更に推定し、特定部94は、撮像画像において視認領域に含まれる制御可能なデバイスに対応する領域とユーザの注視点との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するためのユーザインタフェースを優先的に特定してもよい。
図3に示されるように、本変形例に係る例では、端末情報取得部92は、ユーザの視線情報に基づいてユーザの注視点Sを推定(取得)する。そして、画像P1において、ユーザの視認領域に含まれる各デバイスに対応する領域と、ユーザの注視点Sに対応する領域との距離を比較すると、テレビT1に対応する領域とユーザの注視点Sとの距離が最も近い。したがって、特定部94は、テレビT1の接続情報と、テレビT1のユーザインタフェースUを優先的に特定する。
ユーザは、デバイスを利用したいと考えているときには、当該デバイスを注視している可能性が高い。このため、撮像画像においてデバイスに対応する領域がユーザの注視点に近い場合、当該デバイスはユーザが利用したいデバイスであると推定することができる。本変形例の情報処理システム1によれば、撮像画像においてユーザの注視点Sに対応する領域との距離が近いデバイスの接続情報及びユーザインタフェースが優先されて特定されることにより、ユーザが利用を希望しないデバイスと通信端末10との接続、及びユーザが利用を希望しないデバイスが含まれた複数のユーザインタフェースが通信端末10の画面上に煩雑に表示されることが防止され、ユーザが利用したいデバイスをより一層制御しやすくすることができる。なお、特定部94は、1つのデバイスの接続情報及び当該デバイスのユーザインタフェースに限らず、撮像画像においてデバイスに対応する領域と撮像画像の光学中心に対応する領域との距離に応じて、複数のデバイスの接続情報及び各デバイスのユーザインタフェースを特定してもよい。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broad-band)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-Wide Band)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
通信端末10は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
1…情報処理システム、10…通信端末(端末)、51…記憶部(第1記憶部)、71…記憶部(第2記憶部)、92…端末情報取得部、93…推定部、94…特定部、95…出力部、96…決定部、C…光学中心領域(撮像画像の光学中心に対応する領域)、D1…仮想空間、P1…画像(撮像画像)、R1…衝突領域、S…注視点、U…ユーザインタフェース、V…視認領域、X1,X2,X3…オブジェクト、T1…テレビ(オブジェクト,デバイス)、T2…照明(オブジェクト,デバイス)、T3…エアコン(オブジェクト,デバイス)。
Claims (10)
- 現実空間のオブジェクトを3次元の仮想空間に表したデータであって、前記現実空間のオブジェクトの位置に対応する前記仮想空間上の位置において前記オブジェクトの形状を表す空間構造データを記憶する第1記憶部と、
前記現実空間のオブジェクトのうち通信可能なオブジェクトの位置、及び該通信可能なオブジェクトの利用に係る識別情報を含む通信可能オブジェクト情報を記憶する第2記憶部と、
ユーザが把持、又は、装着する端末の位置及び視認方向を少なくとも含む端末情報を取得する端末情報取得部と、
前記端末情報と、前記空間構造データとに基づいて、前記現実空間において前記ユーザが視認する視認領域を推定する推定部と、
前記視認領域と、前記通信可能オブジェクト情報とに基づいて、前記視認領域に含まれる前記通信可能なオブジェクトの識別情報を特定する特定部と、
前記特定部によって特定された前記識別情報を前記端末に出力する出力部と、を備える、情報処理システム。 - 前記推定部は、前記端末情報の前記視認方向と前記空間構造データとが衝突する衝突領域を推定し、前記衝突領域に基づいて前記視認領域を推定する、請求項1に記載の情報処理システム。
- 前記通信可能なオブジェクトには、前記端末によって制御可能なデバイスが含まれており、
前記通信可能オブジェクト情報には、前記識別情報として、前記制御可能なデバイスとの接続に必要な接続情報が含まれている、請求項1又は2に記載の情報処理システム。 - 前記第2記憶部は、前記制御可能なデバイスを制御するためのユーザインタフェースを更に記憶し、
前記特定部は、前記視認領域と、前記通信可能オブジェクト情報とに基づいて、前記視認領域に含まれる前記制御可能なデバイスを制御するためのユーザインタフェースを更に特定し、
前記出力部は、前記特定部によって特定された前記ユーザインタフェースを更に出力する、請求項3に記載の情報処理システム。 - 前記特定部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するための前記ユーザインタフェースを優先的に特定する、請求項4に記載の情報処理システム。
- 前記端末情報取得部は、前記ユーザの視線方向を更に取得し、
前記推定部は、前記視線方向に基づいて、前記端末が撮像した撮像画像における前記ユーザの注視点を更に推定し、
前記特定部は、前記撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記ユーザの注視点との距離が近いほど、該制御可能なデバイスとの接続に必要な接続情報、及び該制御可能なデバイスを制御するための前記ユーザインタフェースを優先的に特定する、請求項4に記載の情報処理システム。 - 前記特定部によって特定された前記ユーザインタフェースである対象ユーザインタフェースの表示態様を決定する決定部を更に備え、
前記決定部は、前記視認領域に含まれる前記制御可能なデバイスの接続情報が特定された環境に応じて前記対象ユーザインタフェースの表示態様を決定し、
前記出力部は、前記決定部によって決定された前記表示態様で前記対象ユーザインタフェースを出力する、請求項4に記載の情報処理システム。 - 前記端末情報取得部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスの位置及び大きさを更に取得し、
前記決定部は、前記視認領域に含まれる前記制御可能なデバイスの前記位置及び大きさに基づいて、前記撮像画像において前記デバイスに対応する領域とは異なる領域に前記対象ユーザインタフェースを重畳させるように前記対象ユーザインタフェースの前記表示態様を決定する、請求項7に記載の情報処理システム。 - 前記決定部は、前記端末が撮像した撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記撮像画像の光学中心に対応する領域との距離が近いほど、該制御可能なデバイスを制御するための前記対象ユーザインタフェースを優先的に表示するように前記表示態様を決定する、請求項7又は8に記載の情報処理システム。
- 前記端末情報取得部は、前記ユーザの視線方向を更に取得し、
前記推定部は、前記視線方向に基づいて、前記端末が撮像した撮像画像における前記ユーザの注視点を更に推定し、
前記決定部は、前記撮像画像において前記視認領域に含まれる前記制御可能なデバイスに対応する領域と前記ユーザの注視点との距離が近いほど、該制御可能なデバイスを制御するための前記対象ユーザインタフェースを優先的に表示するように前記表示態様を決定する、請求項7又は8に記載の情報処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063556A JP2023068212A (ja) | 2020-03-31 | 2020-03-31 | 情報処理システム |
PCT/JP2021/006434 WO2021199785A1 (ja) | 2020-03-31 | 2021-02-19 | 情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063556A JP2023068212A (ja) | 2020-03-31 | 2020-03-31 | 情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023068212A true JP2023068212A (ja) | 2023-05-17 |
Family
ID=77928320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020063556A Pending JP2023068212A (ja) | 2020-03-31 | 2020-03-31 | 情報処理システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023068212A (ja) |
WO (1) | WO2021199785A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3451135A4 (en) * | 2016-04-26 | 2019-04-24 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
JP2018124989A (ja) * | 2018-01-09 | 2018-08-09 | 株式会社コロプラ | 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP6950644B2 (ja) * | 2018-08-10 | 2021-10-13 | 日本電信電話株式会社 | 注意対象推定装置及び注意対象推定方法 |
-
2020
- 2020-03-31 JP JP2020063556A patent/JP2023068212A/ja active Pending
-
2021
- 2021-02-19 WO PCT/JP2021/006434 patent/WO2021199785A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021199785A1 (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11132840B2 (en) | Method and device for obtaining real time status and controlling of transmitting devices | |
KR102239090B1 (ko) | 위치 정보를 제공하기 위한 방법 및 장치 | |
US10979617B2 (en) | Mobile device and control method | |
EP3016442A2 (en) | Method for scanning neighboring devices and electronic device thereof | |
US20160086386A1 (en) | Method and apparatus for screen capture | |
EP3105919B1 (en) | Photographing method of an electronic device and the electronic device thereof | |
US10362430B2 (en) | Audio providing method and device therefor | |
KR20150136981A (ko) | 사물 인터넷 기기들을 제어하기 위한 제어 장치 및 방법 | |
US20160147498A1 (en) | Method for displaying image and electronic device thereof | |
CN107493311B (zh) | 实现操控设备的方法、装置和系统 | |
US11032862B2 (en) | Device and communication connection method for connecting multiple devices | |
CN109672720B (zh) | 用于控制IoT装置的电子装置及其操作方法 | |
KR20160015668A (ko) | 영역을 인식하는 방법 및 전자 장치 | |
US20150312742A1 (en) | Electronic device and method for providing emergency video call service | |
KR101680667B1 (ko) | 이동 단말기 및 이동 단말기의 제어방법 | |
US10205882B2 (en) | Method for providing service and electronic device thereof | |
KR20150092962A (ko) | 입력 처리 방법 및 그 전자 장치 | |
US20190069266A1 (en) | Method and apparatus for determining location by using identification information corresponding to external electronic device | |
CN113269877A (zh) | 获取房间布局平面图的方法和电子设备 | |
JP2023068212A (ja) | 情報処理システム | |
WO2023071655A1 (zh) | 投屏处理方法、装置、设备和存储介质 | |
KR20130090800A (ko) | 가시 범위 내 통신대상 인식을 위한 단말 및 그 방법 | |
WO2020213170A1 (ja) | 情報表示装置および行動予定表示システム | |
JP2023040322A (ja) | コンテンツ共有システム及び端末 | |
CN104750248B (zh) | 电子装置配对方法 |