JP2021060627A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2021060627A
JP2021060627A JP2018020137A JP2018020137A JP2021060627A JP 2021060627 A JP2021060627 A JP 2021060627A JP 2018020137 A JP2018020137 A JP 2018020137A JP 2018020137 A JP2018020137 A JP 2018020137A JP 2021060627 A JP2021060627 A JP 2021060627A
Authority
JP
Japan
Prior art keywords
controller
user
information processing
unit
position estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018020137A
Other languages
English (en)
Inventor
嵩明 加藤
Takaaki Kato
嵩明 加藤
俊一 本間
Shunichi Honma
俊一 本間
雄也 山口
Yuya Yamaguchi
雄也 山口
福地　正樹
Masaki Fukuchi
正樹 福地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018020137A priority Critical patent/JP2021060627A/ja
Priority to PCT/JP2019/001223 priority patent/WO2019155840A1/ja
Priority to US16/964,589 priority patent/US11443540B2/en
Publication of JP2021060627A publication Critical patent/JP2021060627A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

【課題】インサイドアウト方式のウェアラブルデバイスに対応したコントローラの位置推定を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、外界を遮断する構造により頭部に装着されるディスプレイ、所謂ＨＭＤ（Head Mounted Display）により、仮想空間への没入感を楽しむことができるＶＲ（Virtual Reality）や、ＨＭＤのディスプレイが透過型になったシースルーＨＭＤを用いて、ディスプレイを介して見える外界に仮想画像が重畳表示される所謂ＡＲ（Virtual Reality）を楽しむことが可能な技術が開発されている。
特にＶＲの場合、仮想空間への没入感をより高めるため、実空間におけるユーザの動きをより正確にトラッキングすることが重要となる。実空間におけるユーザの位置および姿勢は、例えばユーザが装着しているＨＭＤに設けられたマーカーを周辺の外部カメラにより捉えてトラッキングするアウトサイドイン方式が知られている。
一方で、一般的にユーザが操作するコントローラに関する技術としては、例えば下記特許文献１が挙げられる。下記特許文献１では、据え置き型のディスプレイに設けられた外部カメラにより、当該ディスプレイに向かってコントローラを操作しているユーザを撮像し、撮像画像に写るコントローラのＬＥＤの位置を取得して、取得した位置情報をゲームアプリケーションの処理に反映するゲームシステムが開示されている。
特開２００７−２４４５３４号公報
ここで、近年のＨＭＤを装着したユーザの位置推定に関しては、上述したように外部カメラを用いたトラッキングが主要であり、併せて用いるコントローラも、外部カメラによりトラッキングを前提とするものであった。すなわち、例えばコントローラに発光部が設けられ、外部カメラにより当該コントローラの発光部を認識して位置推定が行われていた。
しかしながら、ＨＭＤを装着したユーザの位置推定は、アウトサイドイン方式に限定されず、外部カメラを必要とせずに、ＨＭＤ自体に設けられたカメラを用いて行うインサイドアウト方式により実現することが可能であるが、このような方式を用いるシステムを前提としたコントローラに関しては、まだ十分に開発されていなかった。
そこで、本開示では、インサイドアウト方式のウェアラブルデバイスに対応したコントローラの位置推定を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うことと、前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うことと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、インサイドアウト方式のウェアラブルデバイスに対応したコントローラの位置推定を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態によるＨＭＤおよびコントローラの基本的な内部構成例を示すブロック図である。 第１の実施例によるＨＭＤの機能構成の一例を示すブロック図である。 第１の実施例による情報処理システムの制御の流れの一例を示すシーケンス図である。 第２の実施例によるＨＭＤの機能構成の一例を示すブロック図である。 第２の実施例による情報処理システムの制御の流れの一例を示すシーケンス図である。 第３の実施例によるコントローラのデータ送信制御の一例を示すフローチャートである。 第３の実施例によるＨＭＤの位置推定処理の一例を示すフローチャートである。 第４の実施例によるコントローラのＨＭＤから受信した情報に応じた動作制御の一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．ＨＭＤの構成
２−２．コントローラの構成
３．各実施例
３−１．第１の実施例
３−２．第２の実施例
３−３．第３の実施例
３−４．第４の実施例
４．補足
５．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザの頭部に装着されるＨＭＤ２０と、当該ユーザが操作するコントローラ１０とを含む。
ＨＭＤ２０は、図１に示すようにユーザの頭部に装着され、装着された際にユーザの眼前にはディスプレイ（表示部２５０）が位置する。表示部２５０は透過型であってもよいし、非透過型であってもよい。表示部２５０には、コンテンツ映像、例えば仮想空間の映像が表示され得る。仮想空間の映像は、３Ｄ映像であってもよい。また、ＨＭＤ２０はイヤホン（音声出力部２６０）をさらに備えていてもよい。図１に示す例では、ＨＭＤ２０に設けられる音声出力部２６０の一例として一対のイヤホンを図示しているが、本実施形態はこれに限定されず、例えばヘッドホンであってもよいし、オープン型のイヤホンであってもよい。非透過型のディスプレイとイヤホン等により外界の情報を遮断して仮想空間の映像及び音声を提示することで、仮想空間への没入感をより高めることが可能となる。
本実施形態によるＨＭＤ２０は、ポジショントラッキングの手法としてインサイドアウト方式が用いられるため、ＨＭＤ２０には、外界を撮像するためのカメラ２１０が複数設けられている。カメラ２１０の数および配置については特に限定しない。ＨＭＤ２０は、カメラ２１０により撮像された撮像画像を解析して周辺の環境情報を認識し（環境マップの生成）、自己位置推定、すなわちＨＭＤ２０を装着したユーザの位置（頭部位置）を推定することが可能である。これにより、外部カメラ（環境側カメラ）が不要となるため、ユーザは、行動範囲の限界を気にせずに自由に動き回ることが可能となる。
上述したように、このようなインサイドアウト方式を前提としたＨＭＤ２０と組み合わせて用いるコントローラの開発は、従来は十分に行われていなかった。すなわち、ＨＭＤ２０と組み合わせて用いるコントローラとしては、例えば外部カメラを前提としてコントローラのＬＥＤの位置を認識する方式が用いられていた。また、ＨＭＤ２０に設けたカメラを外部カメラとしてコントローラのＬＥＤの位置（相対位置）を認識する方式も考え得るが、この場合はＨＭＤ２０のカメラの画角内にコントローラが入っていなければならず、ユーザがコントローラを下ろした場合等、画角外の動きを認識することが困難であった。
そこで、本開示では、インサイドアウト方式を前提としたＨＭＤ２０と組み合わせて用いるコントローラ１０を提案する。
本実施形態によるコントローラ１０には、周辺を撮像する単数または複数のカメラ１１０が設けられている。カメラの数および配置は特に限定しない。コントローラ１０は、カメラ１１０により撮像した撮像画像を、無線／有線によりＨＭＤ２０に送信する。
次いで、ＨＭＤ２０は、コントローラ１０から受信した撮像画像に基づいて、生成した環境マップを用いて、コントローラ１０の位置および姿勢を推定する。このように、本実施形態では、インサイドアウト方式のＨＭＤ２０に対応したコントローラの位置推定を、外部カメラを必要とせずに行うことが可能となる。
以上、本実施形態によるＨＭＤ２０およびコントローラ１０の概要について説明した。なお、図１に示すＨＭＤ２０およびコントローラ１０の外観形状は一例であって、本実施形態はこれに限定されない。ＨＭＤ２０は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２５０が設けられていればよい。また表示部２５０は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また、ＨＭＤ２０は、頭部装着型ディスプレイの一例であるが、本実施形態はこれに限定されず、少なくとも外界を撮像するカメラ２１０が設けられたユーザ装着型のウェアラブルデバイス（ディスプレイを有さないデバイスを含む）と、コントローラ１０を含むシステム構成であってもよい。
＜＜２．構成例＞＞
続いて、図２を参照して本システムの基本的な内部構成について具体的に説明する。図２は、本実施形態によるＨＭＤ２０およびコントローラ１０の基本的な内部構成例を示すブロック図である。以下、順次説明する。
＜２−１．ＨＭＤ２０の構成＞
図２に示すように、本実施形態によるＨＭＤ２０は、制御部２００、カメラ２１０、姿勢センサ２２０、操作入力部２３０、通信部２４０、表示部２５０、音声出力部２６０、および記憶部２７０を有する。
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってＨＭＤ２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
本実施形態による制御部２００の具体的な機能構成については、複数の実施例を用いて後述する。
カメラ２１０は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。また、カメラ２１０は、可動式であってもよい。また、カメラ２１０は、撮像画像や赤外線等を用いて深度情報を取得することが可能な深度センサ等が構成として組み合わされてもよい。
姿勢センサ２２０は、ＨＭＤ２０が装着されたユーザの姿勢（頭部の向きを含む）を検出する機能を有する。例えば姿勢センサ２２０は、３軸の角度（または角速度）と加速度を検出するＩＭＵ（inertial measurement unit）により実現される。若しくは、姿勢センサ２２０は、３軸ジャイロセンサ（角速度（回転速度）の検出）、３軸加速度センサ（Ｇセンサとも称す。移動時の加速度の検出）、および３軸地磁気センサ（コンパス、絶対方向（方位）の検出）を含む９軸センサであってもよい。なおこれらは姿勢センサ２２０の一例であって、姿勢センサ２２０は、例えば加速度センサまたはジャイロセンサのいずれかを用いるものであってもよい。
操作入力部２３０は、ユーザによる操作指示を受付け、その操作内容を制御部２００に出力する。操作入力部２３０は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部２３０は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
通信部２４０は、有線または無線により外部装置と通信接続し、データの送受信を行う。例えば通信部２４０は、有線／無線ＬＡＮ（Local Area Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、近距離無線通信、携帯通信網（ＬＴＥ（Long Term Evolution）、または３Ｇ（第３世代の移動体通信方式））等によりネットワークや周辺の装置（例えばコントローラ１０）と通信接続する。
例えば通信部２４０は、コントローラ１０から撮像画像および姿勢センサ情報を受信する。
表示部２５０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（（Electro Luminescence）ディスプレイなどの表示装置により形成される。また、表示部２５０は、透過型または非透過型であってもよい。若しくは、表示部２５０の透過率は、制御部２００により制御されてもよい。
音声出力部２６０は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。
記憶部２７０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
以上、ＨＭＤ２０の基本的な内部構成例について説明した。なおＨＭＤ２０の構成は図２に示す例に限定されず、例えば音声入力部（マイクロホン）をさらに有する構成であってもよい。
＜２−２．コントローラ１０の構成＞
図２に示すように、本実施形態によるコントローラ１０は、制御部１００、カメラ１１０、姿勢センサ１２０、および通信部１３０を有する。
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従ってコントローラ１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
カメラ１１０は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。また、カメラ１１０は、可動式であってもよい。また、カメラ１１０の数および配置については、特に限定しない。カメラ１１０は、単数であってもよいし、複数であってもよい。複数のカメラ１１０を用いる場合、各カメラ１１０は、個々に単独で動作するようにしてもよいし、連携して動作するようにしてもよい。
姿勢センサ１２０は、コントローラ１０の姿勢（向きを含む）を検出する機能を有する。例えば姿勢センサ１２０は、３軸の角度（または角速度）と加速度を検出するＩＭＵ（inertial measurement unit）により実現される。若しくは、姿勢センサ１２０は、３軸ジャイロセンサ（角速度（回転速度）の検出）、３軸加速度センサ（Ｇセンサとも称す。移動時の加速度の検出）、および３軸地磁気センサ（コンパス、絶対方向（方位）の検出）を含む９軸センサであってもよい。なおこれらは姿勢センサ１２０の一例であって、姿勢センサ１２０は、例えば加速度センサまたはジャイロセンサのいずれかを用いるものであってもよい。
通信部１３０は、有線または無線により外部装置と通信接続し、データの送受信を行う。例えば通信部１３０は、有線／無線ＬＡＮ（Local Area Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、近距離無線通信等により周辺の装置（例えばＨＭＤ２０）と通信接続する。
例えば通信部１３０は、カメラ１１０により撮像した周辺の撮像画像や、姿勢センサ１２０により検出した姿勢センサ情報をＨＭＤ２０に送信する。
以上、コントローラ１０の基本的な内部構成例について説明した。なおコントローラ１０の構成は図２に示す例に限定されず、例えば音声入力部（マイクロホン）や、振動部、発光部、スピーカ等をさらに有する構成であってもよい。また、図示していないが、コントローラ１０には、ボタンやスイッチ等の操作入力部が設けられていてもよい。
＜＜３．各実施例＞＞
続いて、本実施形態による情報処理システムについて複数の実施例を用いて具体的に説明する。
＜３−１．第１の実施例＞
第１の実施例では、ＨＭＤ２０において、インサイドアウト方式のポジショントラッキング、すなわち、ＨＭＤ２０に設けられたカメラ２１０により撮像された撮像画像を用いて環境認識を行って、ＨＭＤ２０の位置推定（自己位置推定）を行うと共に、コントローラ１０により撮像された撮像画像を用いて、当該環境認識の結果を参照し、コントローラ１０の位置推定も行い得る。これにより、位置推定に外部カメラを不要とするため自由に動くことができ、また、ＨＭＤ２０のカメラでコントローラ１０や手を映す必要がない。また、認識対象は環境全体であるため、特定の形状を予めシステムが知っておく必要がない。また、ＨＭＤ２０側のプロセッサに十分な演算能力があれば、安価なコントローラを実現することができる。
（３−１−１．構成）
図３は、本実施例によるＨＭＤ２０−１の機能構成の一例を示すブロック図である。図３に示すように、ＨＭＤ２０−１は、環境マッピング部２０１、ユーザ位置推定部２０２、コントローラ位置推定部２０３、およびコンテンツ表示制御部２０４として機能する。
なお、本実施例によるＨＭＤ２０−１は、自己位置推定の手法として、自己位置推定と地図構築を同時に行い得る、いわゆるＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を用いてもよい。ＳＬＡＭのアルゴリズムについては特に限定しないが、例えば、地図に点座標で表現されたランドマークを使用するＬａｎｄｍａｒｋ ｂａｓｅｄ ＳＬＡＭを用いてもよい。Ｌａｎｄｍａｒｋ ｂａｓｅｄ ＳＬＡＭでは、特徴的な物体をランドマークとして認識し、そのランドマークの地図を生成する。そして、そのランドマークの座標情報を用いて自己位置推定にフィードバックを行う。以下、各機能構成について具体的に説明する。
環境マッピング部２０１は、ＨＭＤ２０−１のカメラ２１０により撮像された周辺の撮像画像に基づいて、周辺の環境認識（物体認識）を行い、環境マップの生成を行う。例えば環境マッピング部２０１は、撮像画像を解析して特徴的な情報から３Ｄランドマークを推定する（三角測量の原理に基づいて距離情報を算出）。生成された環境マップは、環境マップ記憶部２７１に蓄積される。なお環境マッピング部２０１は、環境マップ作成時に、さらに姿勢センサ２２０により検出された姿勢センサ情報を参照することも可能である。また、環境マッピング部２０１は、さらにコントローラ１０のカメラ１１０により撮像された撮像画像を用いて環境マップの生成を行うことも可能である。これによりＨＭＤ２０のカメラ２１０だけでは把握できない角度や高さの映像（環境情報）を取得することが可能となる。
ユーザ位置推定部２０２は、ＨＭＤ２０−１の自己位置、すなわちＨＭＤ２０−１を装着したユーザの（頭部の）位置および姿勢を推定する（ポジショントラッキングおよびヘッドトラッキング）。位置推定は、上述したように例えばＳＬＡＭを用いて行い得る。例えば、ユーザ位置推定部２０２は、カメラ２１０により撮像された撮像画像を解析して特徴点をトラッキングし、上記生成した環境マップを参照して、３Ｄランドマークとトラッキングした２Ｄ情報から位置および姿勢の推定を行い得る。なお、ここで用いるＳＬＡＭ技術は、特徴点トラッキング（離散特徴点の追跡）に限定されず、特徴点トラッキング以外のＳＬＡＭ技術を用いてもよい。例えば、エッジ点（画像から抽出したエッジ上の点）や、深度センサから得たポイントクラウドの追跡に基づいて自己位置推定と地図構築を行うことも可能である。また、ユーザ位置推定部２０２は、さらに姿勢センサ２２０により検出された姿勢センサ情報を参照してユーザの位置および姿勢の推定を行うようにしてもよい。
コントローラ位置推定部２０３は、ユーザが操作しているコントローラ１０の位置および姿勢を推定する。具体的には、コントローラ位置推定部２０３は、コントローラ１０に設けられたカメラ１１０により撮像された撮像画像を解析して特徴点をトラッキングし、上記生成した環境マップを参照して、３Ｄランドマークとトラッキングした２Ｄ情報からコントローラ１０の位置および姿勢の推定を行い得る。なおコントローラ位置推定部２０３は、さらにコントローラ１０に設けられた姿勢センサ１２０により検出された姿勢センサ情報を参照してコントローラ１０の位置および姿勢の推定を行うようにしてもよい。
また、本実施形態によるコントローラ位置推定部２０３は、コントローラ１０がユーザに把持されていること（コントローラと頭が大きく離れていないこと）を前提として、コントローラ位置の推定を行うことが可能である。例えば、コントローラ位置推定部２０３は、ＨＭＤ２０の方向に応じて、コントローラ位置推定を行う際の、候補点の絞り込みを行い得る。また、コントローラ位置推定部２０３は、ＳＬＡＭを用いて、画像と姿勢センサデータの両方に基づいてコントローラ位置を推定することが可能であるが、この際、画像情報を用いてコントローラのバイアスを推定することも可能である。
コンテンツ表示制御部２０４は、コンテンツ記憶部２７２から取得した仮想空間のコンテンツに基づいて、映像を生成し、ＨＭＤ２０の表示部２５０に表示するよう制御する。ユーザに提供される仮想空間のコンテンツは、全天球コンテンツ、自由視点コンテンツ、またはゲームコンテンツ等である。自由視点コンテンツとは、複数のカメラを用いて撮像した映像を用いて、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。本明細書で使用する「仮想空間」との用語は、実際のユーザが、１つ以上の表示装置を介して感知し得る、および／または１つ以上のユーザインタフェースを介してインタラクトしうる、１つ以上のプロセッサによってシミュレートされるインタラクションのルールを有する現実または架空の環境の表現を指す。本明細書で使用する「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す（例えば、ＨＭＤ２０）。仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの（またはアバターの）視点とは、仮想カメラの視界とみなすことができる。本明細書で使用する「仮想カメラ」とは、仮想空間内の視点を指し、仮想空間内で三次元シーンの二次元画像を描画するために使用され得る。
また、本実施例によるコンテンツ表示制御部２０４は、実際の空間におけるユーザの前後左右の移動や姿勢（頭部の向き等）に応じて、仮想空間でも同じ移動量で前後左右に移動したり、姿勢（頭部の向き）に対応させることで、没入感の高いＶＲ体験を提供することができる。より具体的には、コンテンツ表示制御部２０４は、ユーザ位置推定部２０２により推定されたリアルタイムのユーザの（頭部の）位置および姿勢に応じて、仮想空間の映像を生成し、表示部２５０に表示する。
また、コンテンツ表示制御部２０４は、ユーザの意図をコントローラ１０から取得し、映像に反映させることが可能である。また、仮想空間におけるユーザの視界には、コントローラ１０に対応する仮想物体が映る場合も想定される。コンテンツ表示制御部２０４は、コントローラ位置推定部２０３により推定されたリアルタイムのコントローラ１０の位置および姿勢に応じて映像を生成することで、実際の空間におけるコントローラ１０の動きをリアルタイムで仮想空間に対応させることができ、さらに没入感を高めることができる。また、コントローラ１０に対応する表示制御としては、例えば、ゲーム内オブジェクトの位置の決定、次の手の動きの指示、表示部２５０のシースルーへの切り替え等が挙げられる。
（３−１−２．動作処理）
図４は、本実施例による情報処理システムの制御の流れの一例を示すシーケンス図である。図４に示すように、まず、ＨＭＤ２０は、ＨＭＤ２０のカメラ２１０により周辺画像を取得（撮像）し（ステップＳ１０３）、環境マッピング部２０１により環境マップの生成を行う（ステップＳ１０６）。生成した環境マップは、環境マップ記憶部２７１に記憶される。
次に、コントローラ１０は、コントローラ１０のカメラ１１０により周辺画像を取得（撮像）すると共に（ステップＳ１０９）、姿勢センサによるセンシングを行う（ステップＳ１１２）。
次いで、コントローラ１０は、は周辺画像（撮像画像）および姿勢センサデータをＨＭＤ２０に送信する（ステップＳ１１５）。
一方、ＨＭＤ２０は、ＨＭＤ２０の周辺画像をカメラ２１０から、および姿勢センサデータを姿勢センサ２２０から取得し（ステップＳ１２１）、環境マップを用いて、ユーザ位置（すなわちＨＭＤ２０の自己位置）を推定する（ステップＳ１２４）。
また、ＨＭＤ２０は、コントローラ１０から受信した周辺画像（撮像画像）および姿勢センサデータに基づいて、コントローラ位置の推定を行う。
そして、ＨＭＤ２０は、ユーザ位置およびコントローラ位置の推定結果に基づいて、ＨＭＤ２０の表示部２５０に表示する仮想空間コンテンツの映像を生成する（ステップＳ１２７）。
以上、本実施例による動作処理について具体的に説明した。
＜３−２．第２の実施例＞
続いて、本実施形態による第２の実施例について図５〜図６を参照して説明する。本実施例では、推定したユーザ位置やコントロール位置を、さらに最新の姿勢センサデータを用いて修正することで、レイティングを防止することを可能とする。
（３−２−１．構成）
図５は、第２の実施例によるＨＭＤ２０−２の機能構成の一例を示すブロック図である。図５に示すように、ＨＭＤ２０−２は、環境マッピング部２０１、ユーザ位置推定部２０２、コントローラ位置推定部２０３、ユーザ位置修正部２０６、コントローラ位置修正部２０７、およびコンテンツ表示制御部２０４として機能する。第１の実施例と同符号の構成については、ここでの詳細な説明は省略する。
ユーザ位置修正部２０６は、ユーザ位置推定部２０２により推定されたユーザ位置に対し、当該ユーザ位置の推定に用いた撮像画像および姿勢センサデータの取得よりも後に姿勢センサ２２０により取得した、最新の姿勢センサデータに基づいて、ユーザ位置の修正を行い得る。
コントローラ位置修正部２０７は、コントローラ位置推定部２０３により推定されたコントローラ位置に対し、当該コントローラ位置の推定に用いた撮像画像および姿勢センサデータの取得よりも後に姿勢センサ１２０により取得した、最新の姿勢センサデータに基づいて、コントローラ位置の修正を行い得る。
（３−２−２．動作処理）
図６は、本実施例による情報処理システムの制御の流れの一例を示すシーケンス図である。図６に示すステップＳ１０３〜Ｓ１２４は、図４を参照して説明した同符号の処理と同様であり、ＨＭＤ２０は、各周辺画像および姿勢センサデータに基づいて、ユーザ位置推定およびコントローラ位置推定を行い得る。
次に、コントローラ１０は、姿勢センサによるセンシングを行い（ステップＳ１３３）、姿勢センサデータをＨＭＤ２０に送信する（ステップＳ１３６）。
次いで、ＨＭＤ２０は、最新の姿勢センサデータに基づいて、推定したコントローラ位置を修正する（ステップＳ１３９）。
また、ＨＭＤ２０は、ユーザ位置に関しても同様に修正を行う。すなわち、ＨＭＤ２０は、ＨＭＤの姿勢センサデータを姿勢センサ２２０により取得すると（ステップＳ１４１）、推定したユーザ位置の修正を行う（ステップＳ１４４）。
そして、ＨＭＤ２０は、ユーザ位置およびコントローラ位置の修正結果に基づいて、ＨＭＤ２０の表示部２５０に表示する仮想空間コンテンツの映像を生成する（ステップＳ１４７）。
以上、本実施例による動作処理について具体的に説明した。
＜３−３．第３の実施例＞
続いて、本実施形態の第３の実施例について、図７〜図８を参照して具体的に説明する。上述した各実施例では、コントローラ１０からＨＭＤ２０に送信するデータの選択等については特に言及していないが、コントローラ１０は、所定の条件に応じてＨＭＤ２０に送信するデータを制御することが可能である。
図７は、本実施例によるコントローラ１０のデータ送信制御の一例を示すフローチャートである。
図７に示すように、まず、コントローラ１０は、周辺画像および姿勢センサデータを取得する（ステップＳ２０３）。
次に、コントローラ１０は、所定の条件を満たすか否かを判断する（ステップＳ２０６）。
次いで、コントローラ１０は、所定の条件を満たす場合（ステップＳ２０６／Ｙｅｓ）、姿勢センサデータのみをＨＭＤ２０に送信する（ステップＳ２０９）。
一方、コントローラ１０は、所定の条件を満たさない場合（ステップＳ２０６／Ｎｏ）、周辺画像および姿勢センサデータをＨＭＤ２０に送信する（ステップＳ２１２）。
ここで、「所定の条件」とは、例えば下記のような条件が想定される。いずれも、条件を満たす場合は周辺画像を送信しても位置推定に十分に利用することができないため、コントローラ１０は、姿勢センサデータのみを送信している。
・動きが早いか？
・画面が暗いか？
・特徴点が少ないか？
・画面のflowが大きいか？
・人に握られているか？（カメラ１１０の部分が握られているか？）
・モノとの距離が近いか？（カメラ１１０がモノに近過ぎるか？）
また、本実施例によるコントローラ１０は、さらに下記のデータを送信することが可能であり、適宜状況に応じて送信制御するようにしてもよい。
・RGB画像
・RGBD画像
・特徴点
・深度情報
・Exposure、Gain
・IMU加速度、角速度、温度等
・顔、人などの認識結果
一方、このようにコントローラ１０から送信される情報に応じたＨＭＤ２０側の位置推定処理の一例について、図８を参照して説明する。
図８は、本実施例によるＨＭＤ２０の位置推定処理の一例を示すフローチャートである。図８に示すように、まず、ＨＭＤ２０は、コントローラ１０から上方を受信すると（ステップＳ２２３）、姿勢センサデータのみか、周辺画像も含まれているかを判断する（ステップＳ２２６）。
次に、周辺画像も含む場合（ステップＳ２２６／画像を含む）、ＨＭＤ２０は、上述したように、環境マップを用いてコントローラ位置の推定を行う（ステップＳ２２９）。また、周辺画像が含まれている場合、ＨＭＤ２０は、新たな周辺画像に基づいて、環境マップの更新を行ってもよい。
一方、姿勢センサデータのみの場合（ステップＳ２２６／視線センサデータのみ）、ＨＭＤ２０は、例えばＩＮＳ（Inertial Navigation System）を用いて、コントローラ位置の推定を行うことが可能となる。
＜３−４．第４の実施例＞
さらに本実施形態によるコントローラ１０は、ＨＭＤ２０から受信した情報に応じて所定の動作制御を行ってもよい。以下、図９を参照して具体的に説明する。
図９は、本実施例によるコントローラ１０のＨＭＤ２０から受信した情報に応じた動作制御の一例を示すフローチャートである。ＨＭＤ２０からコントローラ１０に送信する情報の例としては、例えば、コントローラ位置／分散、仮想オブジェクトとの衝突判定結果、障害物との距離、およびＨＭＤ２０の情報等が想定される。ここでは一例として「仮想オブジェクトとの衝突判定結果」がＨＭＤ２０から送信される場合について説明する。
図９に示すように、まず、コントローラ１０は、ＨＭＤ２０から、仮想オブジェクトとの衝突判定結果を受信する（ステップＳ２４３）。
次に、コントローラ１０は、仮想オブジェクトとの衝突する場合（ステップＳ２４６／Ｙｅｓ）、コントローラ１０を振動させる処理を行う（ステップＳ２４９）。これにより、仮想空間の状況をコントローラ１０に対応させることができ、仮想空間への没入感をより高めることが可能となる。
なお、ＨＭＤ２０からの受信情報に応じたコントローラ１０の動作制御は、上述した例に限定されず、例えば、ＨＭＤ２０で推定されるコントローラ位置の分散が大きい場合に、コントローラ１０がカメラ１１０を起動させるようにしてもよい。より具体的には、例えば普段はコントローラ１０側からは姿勢センサデータのみをＨＭＤ２０に送信するように制御し、ＨＭＤ２０側で推定しているコントローラ位置の正確性が下がった場合には、コントローラ１０が一時的にカメラ１１０を起動して撮像画像を送信するようにすることで、カメラ１１０の消費電力を抑えることが可能となる。
また、コントローラ１０から送信したカメラ１１０のＥｘｐｏｓｕｒｅが、ＨＭＤ２０のカメラ２１０のＥｘｐｏｓｕｒｅと異なる結果の場合、コントローラ１０は、カメラ１１０のＥｘｐｏｓｕｒｅの調整、若しくは目隠し状態を振動でユーザに通知する。
＜＜４．補足＞＞
以上、本実施形態による情報処理システムについて具体的に説明した。なお、本実施形態によるシステム構成は、図１および図２に示すＨＭＤ２０とコントローラ１０とを含む構成に限定されず、例えば、ＨＭＤ２０の機能を、外部装置（据え置き型の専用端末、ＰＣ、スマートフォン、サーバ等）により実行するようにしてもよい。
外部装置は、例えば図３または図５に示す機能構成を有し、ＨＭＤ２０の位置（ユーザ位置）およびコントローラ１０の位置推定を行い得る。
また、仮想空間の映像をユーザに提示するディスプレイは、ＨＭＤ２０のようなウェアラブルデバイスに限定されず、例えばスマートフォン、ＰＣ、ＴＶ装置、またはプロジェクタ等であってもよい。
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、インサイドアウト方式のウェアラブルデバイスに対応したコントローラの位置推定を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したＨＭＤ２０、またはコントローラ１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ＨＭＤ２０、またはコントローラ１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、
前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、
を備える、情報処理装置。
（２）
前記ユーザ位置推定部は、前記ユーザの姿勢推定を含み、
前記コントローラ位置推定部は、前記コントローラの姿勢推定を含む、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を環境マップとして生成するマッピング部と、
前記生成した環境マップを記憶する記憶部と、
をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記マッピング部は、さらに、前記第２の撮像画像を用いて前記環境マップを生成する、前記（３）に記載の情報処理装置。
（５）
前記ユーザ位置推定部は、
前記第１の撮像画像に基づいて、前記ユーザの位置を推定するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を実行する、前記（３）または（４）に記載の情報処理装置。
（６）
前記ウェアラブルデバイスは、前記ユーザの頭部に装着される頭部装着型ディスプレイであり、
前記情報処理装置は、
前記推定した前記ユーザの位置、姿勢、および、前記コントローラの位置、姿勢に基づいて生成したコンテンツ画像を、前記頭部装着型ディスプレイに表示するよう制御する表示制御部をさらに備える、前記（３）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記情報処理装置は、前記ウェアラブルデバイスにより実現される、前記（６）に記載の情報処理装置。
（８）
前記コントローラ位置推定部は、
前記環境マップを参照し、前記第２の撮像画像内の特徴点の位置から前記コントローラの位置を推定する際に、前記ユーザの方向に応じて、前記環境マップから候補点の絞り込みを行う、前記（３）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記コントローラ位置推定部は、前記コントローラに設けられた姿勢センサにより検知された姿勢情報をさらに参照して、前記コントローラの位置および姿勢を推定する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記姿勢センサは、ジャイロ加速度センサである、前記（９）に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記コントローラ位置推定部により推定した前記コントローラの位置および姿勢を、前記コントローラから再度取得した新たな姿勢情報に基づいて修正する位置修正部をさらに備える、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記コントローラ位置推定部は、前記コントローラからジャイロ加速度情報のみが送信された場合、ＩＮＳ（Inertial Navigation System）を用いて前記コントローラの位置および姿勢を推定する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記情報処理装置は、
前記推定した前記コントローラの位置情報を前記コントローラに送信する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
プロセッサが、
ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うことと、
前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うことと、
を含む、情報処理方法。
（１５）
コンピュータを、
ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、
前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、
として機能させるための、プログラム。
１０ コントローラ
１００ 制御部
１１０ カメラ
１２０ 姿勢センサ
１３０ 通信部
２０ ＨＭＤ
２００ 制御部
２０１ 環境マッピング部
２０２ ユーザ位置推定部
２０３ コントローラ位置推定部
２０４ コンテンツ表示制御部
２０６ ユーザ位置修正部
２０７ コントローラ位置修正部
２１０ カメラ
２２０ 姿勢センサ
２３０ 操作入力部
２４０ 通信部
２５０ 表示部
２６０ 音声出力部
２７０ 記憶部
２７１ 環境マップ記憶部
２７２ コンテンツ記憶部

Claims (15)

  1. ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、
    前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、
    を備える、情報処理装置。
  2. 前記ユーザ位置推定部は、前記ユーザの姿勢推定を含み、
    前記コントローラ位置推定部は、前記コントローラの姿勢推定を含む、請求項１に記載の情報処理装置。
  3. 前記情報処理装置は、
    前記第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を環境マップとして生成するマッピング部と、
    前記生成した環境マップを記憶する記憶部と、
    をさらに備える、請求項２に記載の情報処理装置。
  4. 前記マッピング部は、さらに、前記第２の撮像画像を用いて前記環境マップを生成する、請求項３に記載の情報処理装置。
  5. 前記ユーザ位置推定部は、
    前記第１の撮像画像に基づいて、前記ユーザの位置を推定するＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を実行する、請求項３に記載の情報処理装置。
  6. 前記ウェアラブルデバイスは、前記ユーザの頭部に装着される頭部装着型ディスプレイであり、
    前記情報処理装置は、
    前記推定した前記ユーザの位置、姿勢、および、前記コントローラの位置、姿勢に基づいて生成したコンテンツ画像を、前記頭部装着型ディスプレイに表示するよう制御する表示制御部をさらに備える、請求項３に記載の情報処理装置。
  7. 前記情報処理装置は、前記ウェアラブルデバイスにより実現される、請求項６に記載の情報処理装置。
  8. 前記コントローラ位置推定部は、
    前記環境マップを参照し、前記第２の撮像画像内の特徴点の位置から前記コントローラの位置を推定する際に、前記ユーザの方向に応じて、前記環境マップから候補点の絞り込みを行う、請求項３に記載の情報処理装置。
  9. 前記コントローラ位置推定部は、前記コントローラに設けられた姿勢センサにより検知された姿勢情報をさらに参照して、前記コントローラの位置および姿勢を推定する、請求項１に記載の情報処理装置。
  10. 前記姿勢センサは、ジャイロ加速度センサである、請求項９に記載の情報処理装置。
  11. 前記情報処理装置は、
    前記コントローラ位置推定部により推定した前記コントローラの位置および姿勢を、前記コントローラから再度取得した新たな姿勢情報に基づいて修正する位置修正部をさらに備える、請求項９に記載の情報処理装置。
  12. 前記コントローラ位置推定部は、前記コントローラからジャイロ加速度情報のみが送信された場合、ＩＮＳ（Inertial Navigation System）を用いて前記コントローラの位置および姿勢を推定する、請求項１に記載の情報処理装置。
  13. 前記情報処理装置は、
    前記推定した前記コントローラの位置情報を前記コントローラに送信する、請求項１に記載の情報処理装置。
  14. プロセッサが、
    ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うことと、
    前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うことと、
    を含む、情報処理方法。
  15. コンピュータを、
    ユーザに装着されたウェアラブルデバイスに設けられた第１の撮像部により撮像された第１の撮像画像に基づいて、前記ユーザの周辺の環境情報を認識し、実空間上における前記ユーザの位置推定を行うユーザ位置推定部と、
    前記ユーザが操作するコントローラに設けられた第２の撮像部により撮像された第２の撮像画像に基づいて、前記認識した環境情報を参照し、前記コントローラの位置推定を行うコントローラ位置推定部と、
    として機能させるための、プログラム。
JP2018020137A 2018-02-07 2018-02-07 情報処理装置、情報処理方法、およびプログラム Pending JP2021060627A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018020137A JP2021060627A (ja) 2018-02-07 2018-02-07 情報処理装置、情報処理方法、およびプログラム
PCT/JP2019/001223 WO2019155840A1 (ja) 2018-02-07 2019-01-17 情報処理装置、情報処理方法、およびプログラム
US16/964,589 US11443540B2 (en) 2018-02-07 2019-01-17 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020137A JP2021060627A (ja) 2018-02-07 2018-02-07 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2021060627A true JP2021060627A (ja) 2021-04-15

Family

ID=67548907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020137A Pending JP2021060627A (ja) 2018-02-07 2018-02-07 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11443540B2 (ja)
JP (1) JP2021060627A (ja)
WO (1) WO2019155840A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511458A (ja) * 2018-11-30 2022-01-31 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
WO2024048195A1 (ja) * 2022-09-02 2024-03-07 株式会社Ｎｔｔドコモ 表示制御装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060627A (ja) * 2018-02-07 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7355840B2 (ja) * 2019-10-18 2023-10-03 株式会社Ｎｔｔドコモ Ａｒシステム及び端末
CN115004128A (zh) 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5089060B2 (ja) 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9123135B2 (en) 2012-06-14 2015-09-01 Qualcomm Incorporated Adaptive switching between vision aided INS and vision only pose
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10191561B2 (en) * 2015-06-15 2019-01-29 Facebook Technologies, Llc Tracking controllers of a virtual reality system
JP6586834B2 (ja) 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JP2017129904A (ja) 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10365712B2 (en) * 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
US10365784B2 (en) * 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
JP2021060627A (ja) * 2018-02-07 2021-04-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021002301A (ja) * 2019-06-24 2021-01-07 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511458A (ja) * 2018-11-30 2022-01-31 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
JP7337161B2 (ja) 2018-11-30 2023-09-01 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
WO2024048195A1 (ja) * 2022-09-02 2024-03-07 株式会社Ｎｔｔドコモ 表示制御装置

Also Published As

Publication number Publication date
WO2019155840A1 (ja) 2019-08-15
US11443540B2 (en) 2022-09-13
US20210042513A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
TWI722280B (zh) 用於多個自由度之控制器追蹤
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017115618A1 (en) Information processing apparatus, information processing method, and program
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
JP6558839B2 (ja) 媒介現実
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
JP2013258614A (ja) 画像生成装置および画像生成方法
TW201447375A (zh) 擴增實境之頭戴式電子裝置及方法
WO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
US11609428B2 (en) Information processing apparatus and information processing method
US11151804B2 (en) Information processing device, information processing method, and program
US10838515B1 (en) Tracking using controller cameras
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
WO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US11944897B2 (en) Device including plurality of markers
US11042747B2 (en) Masking method for augmented reality effects
WO2017163647A1 (ja) 頭部装着装置
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
KR101487490B1 (ko) 웨어러블 단말의 영상 분석 방법