JP2019179966A - 情報処理装置、情報処理方法、および、プログラム - Google Patents

情報処理装置、情報処理方法、および、プログラム Download PDF

Info

Publication number
JP2019179966A
JP2019179966A JP2018066733A JP2018066733A JP2019179966A JP 2019179966 A JP2019179966 A JP 2019179966A JP 2018066733 A JP2018066733 A JP 2018066733A JP 2018066733 A JP2018066733 A JP 2018066733A JP 2019179966 A JP2019179966 A JP 2019179966A
Authority
JP
Japan
Prior art keywords
output
unit
predetermined content
sound
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018066733A
Other languages
English (en)
Inventor
敦 石原
Atsushi Ishihara
敦 石原
秀人 森
Hideto Mori
秀人 森
洋史 湯浅
Hirofumi Yuasa
洋史 湯浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018066733A priority Critical patent/JP2019179966A/ja
Priority to PCT/JP2019/006156 priority patent/WO2019187801A1/ja
Publication of JP2019179966A publication Critical patent/JP2019179966A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コンテンツの出力時に右側出力部による出力位相と、左側出力部による出力位相との関係を適切に調整することが可能な、情報処理装置、情報処理方法、および、プログラムを提案する。【解決手段】実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部と、を備え、前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、および、プログラムに関する。
従来、AR(Augmented Reality)に関する技術が各種開発されている。例えば、実空間の像に重畳する仮想的な画像をユーザに知覚させることが可能な光学装置が各種開発されている。
下記特許文献1には、ウェアラブル光学装置に入射する光の照度に基づいて光の輝度を決定し、そして、決定された輝度で画像表示光を射出するようにウェアラブル光学装置を制御する技術が記載されている。
国際公開第2015/125363号公報
しかしながら、特許文献1に記載の技術では、ウェアラブル光学装置がコンテンツを出力する際に、ウェアラブル光学装置の右側出力部による出力位相と、左側出力部による出力位相とを異ならせることは考慮されていなかった。
そこで、本開示では、コンテンツの出力時に右側出力部による出力位相と、左側出力部による出力位相との関係を適切に調整することが可能な、新規かつ改良された情報処理装置、情報処理方法、および、プログラムを提案する。
本開示によれば、実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部と、を備え、前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、情報処理装置が提供される。
また、本開示によれば、実空間内における位置情報と関連付けられている所定のコンテンツを取得することと、前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御することと、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいてプロセッサが異ならせることと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部、として機能させるためのプログラムであって、前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、プログラムが提供される。
以上説明したように本開示によれば、コンテンツの出力時に右側出力部による出力位相と、左側出力部による出力位相との関係を適切に調整することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の各実施形態に共通する情報処理システムの構成例を示した説明図である。 公知のARグラスの課題を説明するための図である。 第1の実施形態に係る端末10‐1の機能構成例を示したブロック図である。 第1の実施形態に係る右側表示部124aおよび左側表示部124bによる仮想オブジェクト50の表示例を示した図である。 図4Aに示した表示例による、該当のユーザに実際に知覚される仮想オブジェクトの形状を概略的に示した図である。 第1の実施形態に係る処理の流れの一部を示したシーケンス図である。 第1の実施形態に係る処理の流れの一部を示したシーケンス図である。 グローバル発光が可能な、公知のARグラスによる各フレームの表示タイミングの制御例を示した図である。 第1の実施形態の変形例1に係る端末10‐1による各フレームの表示タイミングの制御例を示した図である。 第1の実施形態の変形例2に係る表示部124の構成例を示した図である。 第2の実施形態の比較例による、フレームごとの、撮像、撮像画像のフォーマット変換、および、変換後の画像の表示の各タイミングの制御例を示した図である。 第2の実施形態に係る端末10‐2の外観構成の例を示した図である。 第2の実施形態に係る端末10‐2の機能構成例を示したブロック図である。 第2の実施形態に係る端末10‐2による、フレームごとの、撮像、撮像画像のフォーマット変換、および、変換後の画像の表示の各タイミングの制御例を示した図である。 第3の実施形態に係る端末10‐3の機能構成例を示したブロック図である。 第1の比較例による、右側音出力部および左側音出力部による音の出力タイミングの制御例を示した図である。 図14Aに示した状況における端末10‐3による、右側音出力部130aおよび左側音出力部130bによる音の出力タイミングの制御例を示した図である。 第2の比較例による、右側音出力部および左側音出力部による音の出力タイミングの制御例を示した図である。 図15Aに示した状況における端末10‐3による、右側音出力部130aおよび左側音出力部130bによる音の出力タイミングの制御例を示した図である。 第4の実施形態に係る端末10‐4の機能構成例を示したブロック図である。 第4の実施形態に係るサーバ20‐4の機能構成例を示したブロック図である。 本開示の適用例1に係る、ユーザがテニスを行う場面を概略的に示した図である。 本開示の適用例2に係る映像の表示例を示した図である。 各実施形態に共通する端末10のハードウェア構成例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて端末10aおよび端末10bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、端末10aおよび端末10bを特に区別する必要が無い場合には、単に端末10と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.第4の実施形態
6.適用例
7.ハードウェア構成
8.変形例
以下では、第1の実施形態に係る端末10‐1、第2の実施形態に係る端末10‐2、第3の実施形態に係る端末10‐3、および、第4の実施形態に係る端末10‐4を総称して、端末10と称する場合がある。また、第1の実施形態に係るサーバ20‐1、第2の実施形態に係るサーバ20‐2、第3の実施形態に係るサーバ20‐3、および、第4の実施形態に係るサーバ20‐4を総称して、サーバ20と称する場合がある。
<<1.情報処理システムの構成>>
本開示は、一例として「2.第1の実施形態」〜「5.第4の実施形態」において詳細に説明するように、多様な形態で実施され得る。まず、本開示の各実施形態に共通する情報処理システムの構成例について、図1を参照して説明する。図1に示したように、各実施形態に共通する情報処理システムは、端末10、サーバ20、および、通信網22を有する。
<1−1.端末10>
端末10は、本開示に係る情報処理装置の一例である。端末10は、実空間内における位置情報と関連付けられている所定のコンテンツの出力を制御し得る。ここで、コンテンツは、例えば仮想オブジェクトなどの画像(静止画や動画)、および/または、例えば音楽や音声などの音を含み得る。仮想オブジェクトは、2Dのオブジェクトであってもよいし、3Dのオブジェクトであってもよい。なお、端末10は、当該所定のコンテンツを、後述するサーバ20などの外部の装置から受信してもよいし、または、端末10内に予め記憶していてもよい。
端末10は、ユーザが携帯する携帯端末であり得る。例えば、図1に示したように、端末10は、眼鏡型(またはゴーグル型)のウェアラブルデバイス(例えばARグラスやHMD(Head Mounted Displayなど)であってもよい。
図1に示した例では、端末10は、後述する右側表示部124a、および、後述する左側表示部124bを含んで構成される。この場合、端末10は、右側表示部124aおよび左側表示部124bに当該所定のコンテンツを表示し得る。例えば、端末10は、まず、当該所定のコンテンツに基づいて右眼用画像および左眼用画像を生成し、そして、右眼用画像を右側表示部124aに表示し、かつ、左眼用画像を左側表示部124bに表示する。ここで、右側表示部124aは、本開示に係る第1の表示部の一例である。また、左側表示部124bは、本開示に係る第2の表示部の一例である。
また、端末10は、後述する通信網22を介してサーバ20と通信することが可能である。
{1−1−1.右側表示部124a、左側表示部124b}
図1に示したように、右側表示部124aおよび左側表示部124b(以下、表示部124と総称する場合がある)は、透過型の表示装置として構成され得る。この場合、右側表示部124aは、端末10に含まれる右眼用レンズ(または、ゴーグル型レンズ)の少なくとも一部の領域を投影面として映像を投影し得る。さらに、左側表示部124bは、端末10に含まれる左眼用レンズ(または、ゴーグル型レンズ)の少なくとも一部の領域を投影面として映像を投影し得る。
あるいは、表示部124は、非透過型の表示装置として構成されてもよい。例えば、右側表示部124aおよび左側表示部124bはそれぞれ、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。さらに、端末10がカメラを有してもよい。この場合、当該カメラにより撮影される、ユーザの前方の映像が表示部124に逐次表示されてもよい。これにより、ユーザは、表示部124に表示される映像を介して、ユーザの前方の風景を見ることができる。
右側表示部124aおよび左側表示部124bは、例えばスキャンライン方式により画像を表示し得る。
<1−2.サーバ20>
サーバ20は、一以上のコンテンツを記憶する装置であり得る。例えば、サーバ20は、コンテンツごとに、当該コンテンツと、当該コンテンツに関連付けられている実空間内における位置情報とを関連付けて記憶する。
また、サーバ20は、あるコンテンツの取得要求を例えば端末10などの他の装置から受信した場合には、当該取得要求に対応するコンテンツを当該他の装置へ送信し得る。
<1−3.通信網22>
通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
<1−4.課題の整理>
以上、各実施形態に共通する情報処理システムの構成について説明した。ところで、公知のARグラスでは、実オブジェクトと関連付けられている仮想オブジェクトを表示する際に、実オブジェクトの位置に対して仮想オブジェクトの表示の遅延が生じ得る(つまり、仮想オブジェクトの表示位置が理想的な表示位置からずれる場合がある)という問題がある。
図2は、上記の問題の例を示した説明図である。図2に示した例では、(公知のARグラスの)右側表示部と左側表示部との間で、スキャンラインの位相が全く同じであるものとする。また、図2では、1フレーム分の時間(タイミング「t1」からタイミング「t4」の直前までの時間)における、実オブジェクト40と関連付けられている仮想オブジェクト50の、公知の技術による表示例を示している。図2に示したように、I番目のフレームの表示開始タイミング「t1」では、実オブジェクト40の位置に対する仮想オブジェクト50の表示位置のズレは全く(または、ほとんど)生じていない。しかしながら、「t1」の後で、かつ、次のフレーム(「I+1番目のフレーム」)の表示開始タイミング「t4」の直前までの期間(例えば、タイミング「t2」や「t3」など)では、図2に示したように、実オブジェクト40の位置に対する仮想オブジェクト50の表示位置のズレ量(表示の遅延量)が、「t1」からの時間の経過に応じて徐々に大きくなってしまう。
そこで、仮想オブジェクト50の表示の遅延量を減少可能であることが望ましい。なお、一般的に、個々のフレームの表示間隔(表示周期)として、所定の規格に基づいて例えば60Hzなどの所定の値が予め定められている場合が多い。このため、予め定められている表示間隔を変えることなく、仮想オブジェクト50の表示の遅延量を減少可能であることが望ましい。
そこで、上記事情を一着眼点にして、各実施形態に係る端末10を創作するに至った。各実施形態に係る端末10は、実空間内における位置情報と関連付けられている所定のコンテンツが提供されるユーザと当該所定のコンテンツとの位置関係に基づいて、右側出力部による当該所定のコンテンツの出力と、左側出力部による当該所定のコンテンツの出力とを制御し、かつ、右側出力部による当該所定のコンテンツの右側出力位相と、左側出力部による当該所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる。これにより、例えば、当該所定のコンテンツに関連付けられている位置情報が時間の経過に応じて変化する場面において、当該所定のコンテンツの出力の遅延量を減少させることができる。以下では、各実施形態の内容について順次詳細に説明する。
<<2.第1の実施形態>>
<2−1.構成>
まず、第1の実施形態について説明する。最初に、第1の実施形態に係る端末10‐1の構成について説明する。図3は、端末10‐1の機能構成例を示したブロック図である。図3に示したように、端末10‐1は、制御部100、通信部120、センサ部122、表示部124、および、記憶部126を有する。
{2−1−1.センサ部122}
センサ部122は、例えば、デプスセンサ(例えばステレオカメラ、または、time of flight方式のセンサなど)、ジャイロスコープ、および、加速度センサなどを含み得る。さらに、センサ部122は、例えばGPS(Global Positioning System)やGLONASS(Global Navigation Satellite System)などの測位衛星から測位信号を受信する受信機を含んでもよい。
なお、センサ部122に含まれる個々のセンサは、常時センシングをしてもよいし、定期的にセンシングしてもよいし、または、特定の場合(例えば制御部100からの指示があった場合など)にのみセンシングしてもよい。
{2−1−2.制御部100}
制御部100は、例えば、後述するCPU(Central Processing Unit)150やGPU(Graphics Processing Unit)などの処理回路を含んで構成され得る。制御部100は、端末10‐1の動作を統括的に制御する。また、図3に示したように、制御部100は、コンテンツ取得部102、ユーザ位置推定部104、および、出力制御部106を有する。
{2−1−3.コンテンツ取得部102}
コンテンツ取得部102は、本開示に係る取得部の一例である。コンテンツ取得部102は、例えば受信または読出し処理などにより、所定のコンテンツを取得する。例えば、当該所定のコンテンツをサーバ20‐1が記憶している場合には、コンテンツ取得部102は、当該所定のコンテンツの取得要求をサーバ20‐1へ通信部120に送信させ得る。そして、後述する通信部120がサーバ20‐1から当該所定のコンテンツを受信した場合には、コンテンツ取得部102は、当該所定のコンテンツを通信部120から取得し得る。
または、後述する記憶部126が、当該所定のコンテンツを記憶していてもよい。この場合、コンテンツ取得部102は、記憶部126から当該所定のコンテンツを読み出すことにより、当該所定のコンテンツを取得し得る。
{2−1−4.ユーザ位置推定部104}
ユーザ位置推定部104は、本開示に係る推定部の一例である。ユーザ位置推定部104は、コンテンツ取得部102により取得された所定のコンテンツが提供されるユーザ(換言すれば、端末10‐1を使用するユーザ)の位置情報を、センサ部122によるセンシング結果と、例えばSLAM(Simultaneous Localization and Mapping)などの技術とを用いて推定する。例えば、ユーザ位置推定部104は、所定の時間間隔で、該当のユーザの最新の位置情報を逐次推定する。
以下では、ユーザの位置情報の推定方法についてさらに詳細に説明する。例えば、端末10‐1がウェアラブルデバイスである場合には、ユーザ位置推定部104は、端末10‐1の位置情報を該当のユーザの位置情報として推定し得る。一例として、まず、ユーザ位置推定部104は、センサ部122によるセンシング結果と、SLAMなどの技術とを用いて端末10‐1の位置情報を推定し得る。より具体的には、ユーザ位置推定部104は、まず、センサ部122が有する外向きカメラにより撮影された画像などに基いて、端末10‐1の周辺に位置する特定の実オブジェクトまたは特定のマーカーを認識する。その後、ユーザ位置推定部104は、当該実オブジェクトまたは当該マーカーの位置情報を所定の装置(例えばサーバ20‐1など)から取得し、そして、取得された位置情報に基づいて端末10‐1の位置情報を推定する。その後、ユーザ位置推定部104は、推定された端末10‐1の位置情報を該当のユーザの位置情報として推定し得る。
または、端末10‐1が、ウェアラブルデバイス以外の種類の装置である場合には、ユーザ位置推定部104は、端末10‐1の位置情報、および、端末10‐1とユーザとの位置関係の推定結果に基づいて、該当のユーザの位置情報を推定し得る。例えば、まず、ユーザ位置推定部104は、センサ部122または外部のセンサ(図示省略)によるセンシング結果に基づいて端末10‐1とユーザとの位置関係を推定する。より具体的には、ユーザ位置推定部104は、センサ部122内のデプスセンサによるセンシング結果などに基づいて、端末10‐1からユーザまでの距離および向きを特定する。次に、ユーザ位置推定部104は、センサ部122によるセンシング結果と、SLAMなどの技術とを用いて端末10‐1の位置情報を推定する。その後、ユーザ位置推定部104は、推定した端末10‐1の位置情報、および、推定した端末10‐1とユーザとの位置関係に基づいて、該当のユーザの位置情報を推定する。
{2−1−5.出力制御部106}
(2−1−5−1.位置関係に基づいた出力制御)
出力制御部106は、コンテンツ取得部102により取得された所定のコンテンツの、右側表示部124aおよび左側表示部124bによる出力(表示)を制御する。例えば、出力制御部106は、ユーザ位置推定部104により推定された該当のユーザの位置情報と、当該所定のコンテンツに関連付けられている位置情報との関係性に基づいて、右側表示部124aによる当該所定のコンテンツの表示と、左側表示部124bによる当該所定のコンテンツの表示とを制御する。一例として、出力制御部106は、当該ユーザと当該所定のコンテンツとの位置関係の変化に基づいて、右側表示部124aによる当該所定のコンテンツの表示および左側表示部124bによる当該所定のコンテンツの表示を変化させる。
例えば、当該所定のコンテンツに関連付けられている位置情報は、当該所定のコンテンツの再生時間の経過に応じて変更され得る。さらに、ユーザ位置推定部104により、例えば所定の時間間隔で、該当のユーザの最新の位置情報が逐次推定され得る。この場合、出力制御部106は、新たに推定された当該ユーザの最新の位置情報と、現在の再生タイミングにおいて当該所定のコンテンツに関連付けられている位置情報との関係性に基づいて、右側表示部124aによる当該所定のコンテンツの表示および左側表示部124bによる当該所定のコンテンツの表示を逐次更新し得る。なお、出力制御部106は、現在の再生タイミングにおいて当該所定のコンテンツに関連付けられている位置情報を、予め取得済みの、当該コンテンツに関連付けられているメタ情報に基づいて特定してもよい。または、当該位置関係の変化は、後述する端末10‐1の運動状態に基づいて特定されてもよい。
(2−1−5−2.左右の出力位相に関する制御)
さらに、出力制御部106は、右側表示部124aによる当該所定のコンテンツの右側出力位相(例えば発光位相)と、左側表示部124bによる当該所定のコンテンツの左側出力位相(例えば発光位相)とを第1の基準に基づいて異ならせる。例えば、出力制御部106は、当該所定のコンテンツに対応する右眼用画像の、右側表示部124aによる発光位相と、当該右眼用画像に対応する左眼用画像の、左側表示部124bによる発光位相とを第1の基準に基づいて異ならせる。なお、当該右眼用画像および当該左眼用画像は、出力制御部106により当該所定のコンテンツに基づいて生成されてもよい。
‐基準例1
ここで、当該第1の基準は、例えば当該所定のコンテンツに予め関連付けられている設定情報(以下、基準例1と称する場合がある)を含み得る。例えば、出力制御部106は、右側表示部124aによる当該所定のコンテンツの右側出力位相と、左側表示部124bによる当該所定のコンテンツの左側出力位相とを、予め設定されている位相差(例えば、半周期分の位相差、または、「0.5フレーム」分の時間に対応する位相差など)だけ異ならせながら、右側表示部124aおよび左側表示部124bに当該所定のコンテンツを表示させる。
‐基準例2
または、当該第1の基準は、該当のユーザと当該所定のコンテンツとの位置関係(以下、基準例2と称する場合がある)を含み得る。
‐基準例3
または、当該第1の基準は、端末10‐1の運動状態(以下、基準例3と称する場合がある)を含み得る。例えば、当該第1の基準は、端末10‐1の運動状態に対応する運動量と所定の運動量との比較の結果を含んでもよい。この場合、端末10‐1の運動状態に対応する運動量が所定の運動量よりも小さい間(「端末10‐1が非運動状態である間」とも称する)は、出力制御部106は、当該所定のコンテンツの右側出力位相と、当該所定のコンテンツの左側出力位相とを実質的に一致させてもよい。また、端末10‐1の運動状態に対応する運動量が当該所定の運動量以上である間は、出力制御部106は、例えば、該当のユーザと当該所定のコンテンツとの位置関係などに基づいて、当該所定のコンテンツの右側出力位相と、当該所定のコンテンツの左側出力位相とを異ならせてもよい。ここで、運動量は、所定の時間における、端末10‐1の運動に関する計測量の合計であってもよいし、または、個々の計測タイミングにおける端末10‐1の運動に関する計測量であってもよい。
‐組み合わせ
なお、当該第1の基準は、前述した複数の種類の基準(基準例1、基準例2、および、基準例3)のうちのいずれか2以上の組み合わせであってもよい。
‐変形例
変形例として、出力制御部106は、さらに、第1のデューティ比で右側表示部124aに当該所定のコンテンツを表示させ、かつ、第2のデューティ比で左側表示部124bに当該所定のコンテンツを表示させることも可能である。一例として、当該第1のデューティ比および当該第2のデューティ比は、50%に設定される。つまり、出力制御部106は、右側表示部124aおよび左側表示部124bに、それぞれ50%のデューティ比で当該所定のコンテンツを表示させてもよい。この場合、図4Aおよび図4Bを参照して後述するように、右側表示部124aにより表示される画像と、左側表示部124bにより表示される画像とが重なっていないように当該ユーザに知覚させることができる。
なお、この場合、右側表示部124aおよび左側表示部124bにより表示される画像の明るさは、通常の値よりも低下し得る。そこで、出力制御部106は、さらに、当該第1のデューティ比に対応する第1の輝度で当該所定のコンテンツを右側表示部124aに表示させ、かつ、当該第2のデューティ比に対応する第2の輝度で当該所定のコンテンツを左側表示部124bに表示させてもよい。例えば、当該第1のデューティ比および当該第2のデューティ比がともに「50%」である場合には、出力制御部106は、当該第1の輝度および当該第2の輝度として、通常の2倍の輝度値をそれぞれ設定してもよい。これにより、左右のデューティ比がそれぞれ50%に設定された場合であっても、右側表示部124aおよび左側表示部124bにより表示される画像の明るさを、通常の明るさに維持することができる。
ここで、図4Aを参照して、上記の機能についてより詳細に説明する。図4Aは、上記の基準例1(つまり、右側出力位相と左側出力位相とを、予め設定されている位相差だけ異ならせること)を用いた際の、右側表示部124aおよび左側表示部124bによる仮想オブジェクト50の表示例を示した図である。より具体的には、図4Aは、右側出力位相と左側出力位相とを「0.5フレーム」分だけ異ならせており、かつ、当該第1のデューティ比および当該第2のデューティ比がともに「50%」に設定された場合における仮想オブジェクト50の表示例を示している。また、図4Aに示した例では、「t1」と「t2」との間の時間、「t2」と「t3」との間の時間、および、「t3」と「t4」との間の時間が全て、「0.5フレーム」分の時間に定められている。
図4Aに示したように、例えば、出力制御部106は、まず、タイミング「t1」において、I番目のフレームの表示を左側表示部124bに開始させる。次に、出力制御部106は、タイミング「t2」において、該当のユーザと仮想オブジェクト50との最新の位置関係を用いた、I+1番目のフレームの表示を右側表示部124aに開始させる。次に、出力制御部106は、タイミング「t3」において、該当のユーザと仮想オブジェクト50との最新の位置関係を用いた、I+1番目のフレームの表示を左側表示部124bに開始させる。そして、出力制御部106は、タイミング「t4」において、該当のユーザと仮想オブジェクト50との最新の位置関係を用いた、I+2番目のフレームの表示を右側表示部124aに開始させる。
図4Aに示した例では、1周期中に2回(具体的には、左側表示部124bと右側表示部124aとでそれぞれ一回ずつ)新しいフレームの表示が開始される。つまり、図4Aに示した例では、例えば図2に示したような公知の技術と比較して、2倍の速度で仮想オブジェクト50の表示を更新することができる。従って、仮想オブジェクト50の表示の遅延を減少させることができる。さらに、各タイミングにおいて、該当のユーザと仮想オブジェクト50との最新の位置関係を使用するので、仮想オブジェクト50の追従性が高まる。
図4Bは、図4Aに示した表示例による、該当のユーザに実際に知覚される仮想オブジェクト50の形状を概略的に示した図である。図4Bに示したように、理屈上は、仮想オブジェクト50のうちの一部が崩れたような形状90が当該ユーザに知覚され得る。一方で、例えば60Hzなどの周期で表示を行う場合、人間の視覚の特性上、このような形状の崩れが当該ユーザには知覚されない(つまり、仮想オブジェクト50が通常の形状通りに知覚される)と考えられる。
(2−1−5−3.実空間内の定位)
さらに、出力制御部106は、当該所定のコンテンツを実空間に定位させるように右側表示部124aによる当該所定のコンテンツの表示と、左側表示部124bによる当該所定のコンテンツの表示とを制御することも可能である。例えば、出力制御部106は、実空間内の、該当のユーザと当該所定のコンテンツとの位置関係に応じた位置に当該所定のコンテンツを定位させるように、右側表示部124aによる当該所定のコンテンツの表示と、左側表示部124bによる当該所定のコンテンツの表示とを制御してもよい。なお、“コンテンツの実空間の定位”とは、“出力装置の位置姿勢の変化に関わらず、コンテンツが三次元空間の所定の位置に存在しているとユーザに認識されるよう表示処理又は音処理を行うこと”と解されても良い。
{2−1−6.通信部120}
通信部120は、後述する通信装置166を含んで構成され得る。通信部120は、例えば無線通信および/または有線通信により、他の装置との間で情報の送受信を行う。例えば、通信部120は、所定のコンテンツをサーバ20‐1から受信する。
{2−1−7.記憶部126}
記憶部126は、後述するストレージ装置164を含んで構成され得る。記憶部126は、例えば一以上のコンテンツなどの各種のデータや、各種のソフトウェアを記憶する。
<2−2.処理の流れ>
以上、第1の実施形態の構成について説明した。次に、第1の実施形態に係る処理の流れの一例について、図5および図6を参照して説明する。以下では、端末10‐1が、右側表示部124aによる発光位相と、左側表示部124bによる発光位相とを異ならせながら、右側表示部124aおよび左側表示部124bに所定の仮想オブジェクトを表示させる例について説明する。
図5は、第1の実施形態に係る処理の流れの一部を示したフローチャートである。図5に示したように、まず、端末10‐1のコンテンツ取得部102は、例えば現在の再生タイミングにおいて、当該所定の仮想オブジェクトに関連付けられている位置情報を取得する(S101)。
続いて、ユーザ位置推定部104は、端末10‐1を使用中のユーザの最新の位置情報を、センサ部122によるセンシング結果に基づいて推定する(S103)。
続いて、出力制御部106は、S101で取得された当該所定の仮想オブジェクトの位置情報と、S103で推定されたユーザの最新の位置情報との関係性に基づいて右眼用画像を生成する(S105)。
続いて、出力制御部106は、生成された右眼用画像の発光(表示)を右側表示部124aに開始させる(S107)。また、左側表示部124bにより左眼用画像が表示(発光)中である場合には、出力制御部106は、当該左眼用画像の発光を左側表示部124bに終了させる(S109)。
その後、当該所定の仮想オブジェクトの表示に関する、起動中のアプリケーションの終了をユーザが指示した場合には(S111:Yes)、当該処理の流れは終了する。一方、当該アプリケーションの終了をユーザが指示していない場合には(S111:No)、出力制御部106は、例えばS109から所定の時間(例えば「0.5フレーム」分の時間)が経過したか否かを判定する(S113)。当該所定の時間が経過していない場合には(S113:No)、出力制御部106は、再びS111以降の処理を繰り返す。
ここで、図6を参照して、当該所定の時間が経過した場合(S113:Yes)における処理の流れについて説明する。図6に示したように、この場合、まず、コンテンツ取得部102は、例えば現在の再生タイミングにおける、当該所定の仮想オブジェクトに関連付けられている位置情報を取得する(S121)。
続いて、ユーザ位置推定部104は、当該ユーザの最新の位置情報を、センサ部122によるセンシング結果に基づいて推定する(S123)。
続いて、出力制御部106は、S121で取得された当該所定の仮想オブジェクトの位置情報と、S123で推定されたユーザの最新の位置情報との関係性に基づいて左眼用画像を生成する(S125)。
続いて、出力制御部106は、生成された左眼用画像の発光(表示)を左側表示部124bに開始させる(S127)。
続いて、出力制御部106は、当該右眼用画像の発光を右側表示部124aに終了させる(S129)。
その後、該当のアプリケーションの終了をユーザが指示した場合には(S131:Yes)、当該処理の流れは終了する。一方、当該アプリケーションの終了をユーザが指示していない場合には(S131:No)、出力制御部106は、例えばS129から当該所定の時間(例えば「0.5フレーム」分の時間)が経過したか否かを判定する(S133)。当該所定の時間が経過していない場合には(S133:No)、出力制御部106は、再びS131以降の処理を繰り返す。
一方、当該所定の時間が経過した場合には(S133:Yes)、端末10‐1は、再びS101以降の処理を繰り返す。
<2−3.効果>
以上説明したように、第1の実施形態に係る端末10‐1は、実空間内における位置情報と関連付けられている所定のコンテンツが提供されるユーザと当該所定のコンテンツとの位置関係に基づいて、右側表示部124aによる当該所定のコンテンツの表示と、左側表示部124bによる当該所定のコンテンツの表示とを制御し、かつ、右側表示部124aによる当該所定のコンテンツの右側発光位相と、左側表示部124bによる当該所定のコンテンツの左側発光位相とを第1の基準に基づいて異ならせる。これにより、例えば、当該所定のコンテンツに関連付けられている位置情報が時間の経過に応じて変化する場面において、当該所定のコンテンツの出力の遅延量を減少させることができる。
例えば、予め定められている当該所定のコンテンツの出力間隔(出力周期)を変えることなく、当該所定のコンテンツの表示に関する時間解像度を2倍にすることができる。さらに、端末10‐1は、各表示タイミングにおいて、当該ユーザと当該所定のコンテンツとの最新の位置関係を使用することができるので、当該位置関係に関する追従性が高まる。
ところで、表示出力や音出力の実空間への高精度な定位を行うためには、出力処理に関連するデータの高い処理性能が必要となる。このような観点から、第1の実施形態に掛かる制御は、表示出力や音出力の空間への定位について高い改善効果を奏する。また、第1の実施形態に掛かる制御は、放熱性や消費電力の観点で多くの制約を有する携帯端末上での表示処理についても高い改善効果を奏する。このような携帯端末として、前述のウェアラブルデバイスや後述のスマートフォン等が挙げられる。すなわち、第1の実施形態に掛かる制御は、携帯端末を用いてコンテンツを実空間に定位する処理について特に高い改善効果を奏する、と見做され得る。
<2−4.変形例>
{2−4−1.変形例1}
第1の実施形態は前述した例に限定されない。上記の説明では、右側表示部124aおよび左側表示部124bがスキャンライン方式の発光を行う例を中心として説明したが、かかる例に限定されない。右側表示部124aおよび左側表示部124bは、グローバル発光が可能であってもよい。例えば、右側表示部124aおよび左側表示部124bは、LCOS(Liquid Crystal on Silicon)などを含んで構成されてもよい。
ここで、図7Aおよび図7Bを参照して、変形例1の内容についてより詳細に説明する。まず、図7Aを参照して、変形例1の比較例による各フレームの表示タイミングの制御例について説明する。図7Aは、本比較例による、グローバル発光が可能なARグラスを用いた各フレームの表示タイミングの制御例を示した図である。図7Aに示したように、本比較例では、全てのフレームに関して、発光の開始タイミングが左側表示部と右側表示部とで同じである。
次に、図7Bを参照して、図7Aに示した状況における端末10‐1による各フレームの表示タイミングの制御例について説明する。図7Bは、変形例1に係る端末10‐1による各フレームの表示タイミングの制御例を示した図である。図7Bに示したように、変形例1に係る出力制御部106は、右側表示部124aによる当該所定のコンテンツの発光位相と、左側表示部124bによる当該所定のコンテンツの発光位相とを、予め設定されている位相差(例えば、半周期分の位相差など)だけ異ならせながら、右側表示部124aおよび左側表示部124bに当該所定のコンテンツをグローバル発光させ得る。
これにより、グローバル発光が可能な場面に関しても、コンテンツの表示に関する時間解像度を2倍にすることができる。従って、当該所定のコンテンツの表示の遅延量を減少させることができる。
{2−4−2.変形例2}
次に、第1の実施形態の変形例2について説明する。変形例2では、ユーザが端末10‐1を用いて、映像を裸眼立体視可能な場面を想定する。例えば、端末10‐1の表示部124が、裸眼立体視可能なようにハードウェア的に構成されていてもよい。例えば、図8に示したように、表示部124は、複数のバリア60を有し、かつ、隣接するバリア60間にはそれぞれスリット62が設けられていてもよい。この場合、図8に示したように、表示部124は、ユーザの両眼の位置を基準として、個々のスリット62よりも奥に(遠くに)映像64を表示し得る。これにより、ユーザの左右の眼はそれぞれ、各スリット62を介して映像64を知覚することにより、裸眼立体視が可能となる。
または、端末10‐1は、例えばLCDやOLEDなどのディスプレイを用いて裸眼立体視可能なように表示を制御可能であってもよい。例えば、端末10‐1は、当該ディスプレイを用いて裸眼立体視可能なように表示を制御するための所定のアプリケーションを実装してもよい。
変形例2に係る出力制御部106は、例えば図7Bに示した変形例1と同様に、表示部124による、当該所定のコンテンツに対応する右眼用フレーム画像の発光位相と、表示部124による、当該所定のコンテンツに対応する左眼用フレーム画像の発光位相とを、予め設定されている位相差だけ異ならせながら、当該右眼用フレーム画像および当該左眼用フレーム画像を表示部124に順次表示させ得る。これにより、裸眼立体視が可能なデバイスまたはアプリケーションが利用される場面において、2−3節で述べた効果と同様の効果が得られる。
<<3.第2の実施形態>>
以上、第1の実施形態について説明した。次に、第2の実施形態について説明する。後述するように、第2の実施形態によれば、映像の表示だけでなく、映像の撮像に関しても左側撮像部と右側撮像部との間で撮像位相を異ならせることができる。
<3−1.比較例>
まず、第2の実施形態の比較例について説明する。本比較例に係るARグラスは、左側表示部、右側表示部、左側撮像部、および、右側撮像部を有する。図9は、本比較例による処理の流れを概略的に示した図である。図9に示したように、本比較例では、各フレームに関して、撮像、撮像画像のフォーマット変換、および、変換後の画像の表示のタイミングが、左側の入出力機構(具体的には、左側撮像部および左側表示部)と、右側の入出力機構(具体的には、右側撮像部および右側表示部)とで同一である。しかしながら、本比較例では、例えば所定の規格に基づいて予め定められている撮像レートおよび表示レートよりも、撮像レートおよび表示レートを上げることが困難である。
後述するように、第2の実施形態に係る端末10‐2は、画像の撮像レートおよび表示レートを本比較例よりも向上させることができる。以下では、第1の実施形態と異なる内容についてのみ説明を行うこととし、同一の内容については説明を省略する。
<3−2.構成>
次に、第2の実施形態に係る端末10‐2の構成について説明する。図10は、端末10‐2の外観構成を概略的に示した図(上面図)である。図10に示したように、端末10‐2は、第1の実施形態に係る端末10‐1と比較して、右側撮像部128aおよび左側撮像部128bをさらに備える。
また、図11は、端末10‐2の機能構成例を示したブロック図である。図11に示したように、端末10‐2は、端末10‐1と比較して、撮像制御部108、および、撮像部128(右側撮像部128aおよび左側撮像部128b)をさらに有する。
{3−2−1.右側撮像部128a、左側撮像部128b}
右側撮像部128aは、後述する撮像制御部108の制御に従って、端末10を使用(装着など)するユーザの右側の撮像を行う。また、左側撮像部128bは、撮像制御部108の制御に従って、当該ユーザの左側の撮像を行う。
{3−2−2.撮像制御部108}
撮像制御部108は、右側撮像部128aによる右側撮像位相と、左側撮像部128bによる左側撮像位相とを第2の基準に基づいて異ならせる。ここで、当該第2の基準は、前述した「基準例1」、「基準例2」、および、「基準例3」のうちのいずれかであってもよい。あるいは、当該第2の基準は、これらの複数の種類の基準のうちのいずれか2以上の組み合わせであってもよい。また、当該第2の基準は、前述した第1の基準と同一であってもよいし、異なってもよい。
ここで、図12を参照して、上記の機能についてより詳細に説明する。図12は、端末10‐2による、フレームごとの、撮像、撮像画像のフォーマット変換、および、変換後の画像の表示の各タイミングの制御例を示した図である。図12に示した例では、第1の基準および第2の基準ともに、上記の基準例1(つまり、右側出力位相と左側出力位相とを、予め設定されている位相差だけ異ならせること)がそれぞれ用いられている。より具体的には、図12に示した例では、右側撮像位相と左側撮像位相とが「0.5フレーム」分だけ異なっており、かつ、右側出力位相と左側出力位相とが「0.5フレーム」分だけ異なっている。
図12に示したように、撮像制御部108は、各タイミング(例えば「t1」、「t2」、「t3」など)で右側撮像部128aおよび左側撮像部128bに交互に撮像を開始させる。例えば、撮像制御部108は、タイミング「t1」において、左側撮像部128bにフレームの撮像を開始させる。次に、撮像制御部108は、タイミング「t2」の直前において、現在のフレーム(より詳細には、タイミング「t2」の直前までに右側撮像部128aが撮像していたフレーム)の撮像を右側撮像部128aに終了させ、そして、タイミング「t2」において、次のフレームの撮像を右側撮像部128aに開始させる。次に、撮像制御部108は、タイミング「t3」の直前において、現在のフレーム(つまり、タイミング「t3」の直前までに左側撮像部128bが撮像していたフレーム)の撮像を左側撮像部128bに終了させ、そして、タイミング「t3」において、次のフレームの撮像を左側撮像部128bに開始させる。
さらに、出力制御部106は、右側撮像部128aにより撮像された各フレームの右側表示部124aによる表示と、左側撮像部128bにより撮像された各フレームの左側表示部124bによる表示と、時間の経過に応じて交互に切り替える。例えば、出力制御部106は、例えば「t2」と「t5」との間の時間帯において、左側撮像部128bが現在撮像しているフレームのフォーマット変換を開始し、その後、当該変換後のフレームの表示を左側表示部124bに開始させる。また、出力制御部106は、例えば「t3」と「t6」との間の時間帯において、右側撮像部128bが現在撮像しているフレームのフォーマット変換を開始し、その後、当該変換後のフレームの表示を右側表示部124aに開始させる。
<3−3.効果>
以上説明したように、第2の実施形態に係る端末10‐2は、右側撮像部128aによる右側撮像位相と、左側撮像部128bによる左側撮像位相とを第2の基準に基づいて異ならせる。さらに、端末10‐2は、右側撮像部128aにより撮像された各フレームの、右側表示部124aによる右側発光位相と、左側撮像部128bにより撮像された各フレームの、左側表示部124bによる左側発光位相とを第1の基準に基づいて異ならせ得る。これにより、例えば、前述した第2の実施形態の本比較例(つまり、撮像に関して左右の位相差がない場合)と比較して、画像の撮像レートおよび表示レートを向上させることができる。つまり、入力および出力に関する時間的解像度を本比較例よりも向上させることができる。
<<4.第3の実施形態>>
以上、第2の実施形態について説明した。次に、第3の実施形態について説明する。後述するように、第3の実施形態によれば、音の出力に関して、左側出力位相と右側出力位相とを適切に異ならせることができる。以下では、第1の実施形態と異なる内容についてのみ説明を行うこととし、同一の内容については説明を省略する。
<4−1.構成>
まず、第3の実施形態に係る端末10‐3の構成について説明する。図13は、第3の実施形態に係る端末10‐3の機能構成例を示したブロック図である。図13に示したように、端末10‐3は、第1の実施形態に係る端末10‐1と比較して、音出力部130(より詳細には、右側音出力部130aおよび左側音出力部130b)、測距部110、および、遮蔽判定部112をさらに有する。
{4−1−1.右側音出力部130a、左側音出力部130b}
右側音出力部130aは、本開示に係る第1の音出力部の一例である。また、左側音出力部130bは、本開示に係る第2の音出力部の一例である。右側音出力部130aおよび左側音出力部130bは、例えばスピーカ、イヤフォン、または、ヘッドフォンなどを含んで構成され得る。
右側音出力部130aは、端末10‐3を使用するユーザの右耳に対して音を出力し得る。また、左側音出力部130bは、端末10‐3を使用するユーザの左耳に対して音を出力し得る。例えば、右側音出力部130aは、(コンテンツ取得部102により取得された)所定のコンテンツに対応する右側音を、出力制御部106の制御に従って出力する。また、左側音出力部130bは、当該所定のコンテンツに対応する左側音を、出力制御部106の制御に従って出力する。ここで、右側音は、例えば、当該ユーザの右耳用の音である。また、左側音は、例えば、当該ユーザの左耳用の音である。
{4−1−2.測距部110}
測距部110は、例えばセンサ部122が有するデプスセンサによるセンシング結果に基づいて、端末10‐3の周囲(例えば、端末10‐3の前方)に位置する一以上の実オブジェクトの各々と端末10‐3との間の距離を計測する。
{4−1−3.遮蔽判定部112}
遮蔽判定部112は、音源であるオブジェクト(以下、音源オブジェクトと称する)から発せられている音が他のオブジェクトによって遮蔽されているか否かを、該当のユーザと当該音源オブジェクトとの位置関係に基づいて判定する。ここで、当該音源オブジェクトは、実オブジェクトであってもよいし、仮想オブジェクトであってもよい。また、当該他のオブジェクトは、実オブジェクトであってもよいし、仮想オブジェクトであってもよい。なお、音源オブジェクトや当該他のオブジェクトが実オブジェクトである場合には、端末10‐3は、これらのオブジェクトの位置情報を、測距部110による計測結果と、ユーザ位置推定部104により推定された当該ユーザの位置情報とに基づいて特定し得る。また、音源オブジェクトや当該他のオブジェクトが仮想オブジェクトである場合には、これらのオブジェクトと実空間内における位置情報とが関連付けられている。この場合、端末10‐3は、あるタイミング(例えば現在)における、これらのオブジェクトに関連付けられている位置情報を、予め取得済みの、当該コンテンツに関連付けられているメタ情報に基づいて特定し得る。
例えば、遮蔽判定部112は、当該音源オブジェクトの位置情報と、ユーザ位置推定部104により推定された当該ユーザの位置情報と、一以上の他のオブジェクトの位置情報との関係性に基づいて、当該音源オブジェクトから発せられている音が当該他のオブジェクトによって遮蔽されているか否かを判定する。一例として、当該音源オブジェクトの位置情報と、推定された当該ユーザの位置情報との間に一以上の他のオブジェクトが位置する場合には、遮蔽判定部112は、当該音源オブジェクトから発せられている音の少なくとも一部が、他のオブジェクトによって遮蔽されていると判定する。また、当該音源オブジェクトの位置情報と、推定された当該ユーザの位置情報との間に他のオブジェクトが全く位置しない場合には、遮蔽判定部112は、当該音源オブジェクトから発せられている音が他のオブジェクトによって遮蔽されていないと判定する。
{4−1−4.出力制御部106}
第3の実施形態に係る出力制御部106は、コンテンツ取得部102により取得された所定のコンテンツに対応する画像の、右側表示部124aおよび左側表示部124bによる表示と、当該所定のコンテンツに対応する音の、右側音出力部130aおよび左側音出力部130bによる出力とを制御する。ここで、当該所定のコンテンツに対応する音は、上記の音源オブジェクトが発する音と同一であってもよいし、異なってもよい。
(4−1−4−1.左右の出力位相に関する制御)
例えば、出力制御部106は、当該所定のコンテンツに対応する右側音の出力位相と、当該所定のコンテンツに対応する左側音の出力位相とを上記の第1の基準に基づいて異ならせる。さらに、出力制御部106は、第1のデューティ比で右側音出力部130aに当該右側音を出力させ、かつ、第2のデューティ比で左側音出力部130bに当該左側音を出力させてもよい。例えば、当該第1のデューティ比および当該第2のデューティ比はそれぞれ、「50%」に設定されてもよい。
‐比較例
ここで、図14Aおよび図14Bを参照して、上記の機能についてより詳細に説明する。まず、図14Aを参照して、第3の実施形態の第1の比較例について説明する。図14Aは、音源オブジェクト70の位置が変化する場面における、当該第1の比較例による、右側音出力部および左側音出力部による出力タイミングの制御例を示した図である。
図14Aに示したように、第1の比較例では、音の各出力タイミングにおけるユーザ2と音源オブジェクト70との位置関係に基づいて、当該出力タイミングにおいて音源オブジェクト70から発せられる音を右側音出力部および左側音出力部に同時に出力させる。例えば、タイミング「t1」において音源オブジェクト70から発せられる音が、タイミング「t1」におけるユーザ2と音源オブジェクト70との位置関係に基づいて右側音出力部および左側音出力部に同時に出力され、かつ、タイミング「t1」および「t3」の間継続して出力される。
しかしながら、第1の比較例では、音の出力レート(音の出力解像度)が、例えば所定の規格に基づいて予め定められている出力レート(音の出力解像度)と同一である。
‐端末10‐3の制御例
次に、図14Bを参照して、図14Aに示した状況における端末10‐3による音の出力の制御の例について説明する。図14Bは、音源オブジェクト70の位置が変化する場面における、音源オブジェクト70から発せられる音の、端末10‐3による出力タイミングの制御例を示した図である。
図14Bは、上記の基準例1(つまり、右側出力位相と左側出力位相とを、予め設定されている位相差だけ異ならせること)を用いた際の、右側音出力部130aおよび左側音出力部130bによる、音源オブジェクト70から発せられる音の出力タイミングの制御例を示した図である。図14Bに示した例では、出力制御部106は、当該音の右側出力位相と当該音の左側出力位相とを半周期だけ異ならせる。さらに、出力制御部106は、第1のデューティ比および第2のデューティ比をそれぞれ50%として、右側音出力部130aおよび左側音出力部130bに当該音を出力させる。
例えば、図14Bに示したように、出力制御部106は、まず、タイミング「t1」におけるユーザ2と音源オブジェクト70との位置関係に基づいて、「t1」において音源オブジェクト70から発せられる音を、「t1」から「t2」までの間に左側音出力部130bのみに出力させる。その後、出力制御部106は、タイミング「t2」におけるユーザ2と音源オブジェクト70との最新の位置関係に基づいて、「t2」において音源オブジェクト70から発せられる音を、「t2」から「t3」までの間に右側音出力部130aのみに出力させる。同時に、出力制御部106は、左側音出力部130bによる音の出力を中止させる。その後、出力制御部106は、タイミング「t3」におけるユーザ2と音源オブジェクト70との最新の位置関係に基づいて、「t3」において音源オブジェクト70から発せられる音を、「t3」から「t4」までの間に左側音出力部130bのみに出力させる。同時に、出力制御部106は、右側音出力部130aによる音の出力を中止させる。
この制御例によれば、音源オブジェクト70から発せられる音の出力解像度(出力レート)を、図14Aに示した第1の比較例よりも2倍にすることができる。さらに、各音の出力タイミングにおいて、ユーザ2と音源オブジェクト70との最新の位置関係を用いるので、当該位置関係に関する追従性が第1の比較例よりも高まる。
(4−1−4−2.遮蔽判定の結果に基づいた制御例)
さらに、出力制御部106は、遮蔽判定部112による判定結果に基づいて、右側表示部124aによる当該右側音の出力と、左側表示部124bによる当該左側音の出力とを制御することも可能である。例えば、出力制御部106は、遮蔽判定部112による判定結果に基づいて、右側表示部124aおよび左側表示部124bによる、当該所定のコンテンツに対応する音の出力設定(例えば、当該音が各耳に届くタイミング、当該音の音量、および、当該音に対する所定のフィルタの適用の有無など)を変更する。例えば、上記の音源オブジェクトから発せられる音が一以上の他のオブジェクトにより遮蔽されていると判定された場合には、出力制御部106は、右側表示部124aおよび左側表示部124bにより出力される当該音の音量を小さくさせてもよい。または、この場合、出力制御部106は、当該音の特性を、他のオブジェクトにより遮蔽されたような音の特性に変更するためのフィルタ(例えば、当該音の特性を、直接音の特性から間接音(反射音など)の特性に変更するためのフィルタなど)を当該音に対して適用し、そして、適用後の音を右側表示部124aおよび左側表示部124bに出力させてもよい。
また、当該音源オブジェクトから発せられる音が他のオブジェクトにより全く遮蔽されていないと判定された場合には、出力制御部106は、当該音を通常の設定通りに右側表示部124aおよび左側表示部124bに出力させる。
‐比較例
ここで、図15Aおよび図15Bを参照して、上記の機能についてより詳細に説明する。まず、図15Aを参照して、第3の実施形態の第2の比較例について説明する。図15Aは、当該第2の比較例による、右側音出力部および左側音出力部による出力タイミングの制御例を示した図である。図15Aに示した例では、音源オブジェクト70、他オブジェクト42、および、ユーザ2の三者の位置関係が変化する場面を前提とする。
図15Aに示したように、第2の比較例では、音の各出力タイミングにおける、ユーザ2、音源オブジェクト70、および、他オブジェクト42の位置関係(例えば、音源オブジェクト70とユーザ2との間に他オブジェクト42が位置するか否か等)に基づいて、当該出力タイミングにおいて音源オブジェクト70から発せられる音を右側音出力部および左側音出力部に同時に出力させる。例えば、タイミング「t1」において音源オブジェクト70から発せられる音が、タイミング「t1」におけるユーザ2、音源オブジェクト70、および、他オブジェクト42の位置関係に基づいて右側音出力部および左側音出力部に同時に出力され、かつ、タイミング「t1」および「t3」の間継続して出力される。
しかしながら、第2の比較例では、音の出力レート(音の出力解像度)が、例えば所定の規格に基づいて予め定められている出力レート(音の出力解像度)と同一である。
‐端末10‐3の制御例
次に、図15Bを参照して、図15Aに示した状況における端末10‐3による音の出力の制御の例について説明する。図15Bは、図15Aに示した状況における、音源オブジェクト70から発せられる音の、端末10‐3による出力タイミングの制御例を示した図である。
図15Bは、上記の基準例1(つまり、右側出力位相と左側出力位相とを、予め設定されている位相差だけ異ならせること)を用いた際の、右側音出力部130aおよび左側音出力部130bによる、音源オブジェクト70から発せられる音の出力タイミングの制御例を示した図である。図15Bに示した例では、出力制御部106は、当該音の右側出力位相と当該音の左側出力位相とを半周期だけ異ならせる。さらに、出力制御部106は、第1のデューティ比および第2のデューティ比をそれぞれ50%として、右側音出力部130aおよび左側音出力部130bに当該音を出力させる。
例えば、図15Bに示したように、出力制御部106は、まず、タイミング「t1」における、遮蔽判定部112による判定結果、および、ユーザ2と音源オブジェクト70との位置関係に基づいて、「t1」において音源オブジェクト70から発せられる音の出力設定を決定する。そして、出力制御部106は、決定された出力設定で当該音を、「t1」から「t2」までの間に左側音出力部130bのみに出力させる。
その後、出力制御部106は、タイミング「t2」における、遮蔽判定部112による判定結果、および、ユーザ2と音源オブジェクト70との最新の位置関係に基づいて、「t2」において音源オブジェクト70から発せられる音の出力設定を決定する。そして、出力制御部106は、決定された出力設定で当該音を、「t2」から「t3」までの間に右側音出力部130aのみに出力させ、かつ、左側音出力部130bによる音の出力を中止させる。
その後、出力制御部106は、タイミング「t3」における、遮蔽判定部112による判定結果、および、ユーザ2と音源オブジェクト70との最新の位置関係に基づいて、「t3」において音源オブジェクト70から発せられる音の出力設定を決定する。そして、出力制御部106は、決定された出力設定で当該音を、「t3」から「t4」までの間に左側音出力部130bのみに出力させ、かつ、右側音出力部130aによる音の出力を中止させる。
この制御例によれば、音源オブジェクト70から発せられる音の出力解像度(出力レート)を、図15Aに示した第2の比較例よりも2倍にすることができる。さらに、各音の出力タイミングにおいて、音源オブジェクト70、他オブジェクト42、および、ユーザ2の三者の最新の位置関係を用いるので、当該位置関係に関する追従性が第2の比較例よりも高まる。
<4−2.効果>
以上説明したように、第3の実施形態に係る端末10‐3は、ユーザと所定のコンテンツとの位置関係に基づいて、右側音出力部130aによる当該所定のコンテンツに対応する右側音の出力と、左側音出力部130bによる当該所定のコンテンツに対応する左側音の出力とを制御し、かつ、右側音出力部130aによる当該右側音の出力位相と、左側音出力部130bによる当該左側音の出力位相とを第1の基準に基づいて異ならせる。これにより、例えば、当該所定のコンテンツに関連付けられている位置情報が時間の経過に応じて変化する場面において、当該所定のコンテンツに対応する音の出力の遅延量を減少させることができる。
例えば、予め定められている当該音の出力間隔(出力周期)を変えることなく、当該音の出力の遅延量を減少させることができる。例えば、端末10‐3は、各音の出力タイミングにおいて、音源オブジェクト、一以上の他のオブジェクト、および、ユーザの各々の最新の位置関係を用いるので、当該位置関係に関する追従性を高めることができる。
<<5.第4の実施形態>>
以上、第3の実施形態について説明した。次に、第4の実施形態について説明する。後述するように、第4の実施形態によれば、端末10の代わりに、サーバ20が、端末10を使用するユーザと、当該ユーザに提供される所定のコンテンツとの位置関係に基づいて、右側出力部(より詳細には、右側表示部124aおよび右側音出力部130a)による当該所定のコンテンツの出力と、左側出力部(より詳細には、左側表示部124bおよび左側音出力部130b)による当該所定のコンテンツの出力とを制御することができる。以下では、第1の実施形態と異なる内容についてのみ説明を行うこととし、同一の内容については説明を省略する。
<5−1.構成:端末10‐4>
まず、第4の実施形態に係る端末10‐4の構成について、図16を参照して説明する。図16は、端末10‐4の機能構成例を示したブロック図である。図16に示したように、端末10‐4は、第1の実施形態に係る端末10‐1と比較して、音出力部130および送信制御部114を有する。なお、音出力部130の内容は、第3の実施形態と同様であり得る。
{5−1−1.送信制御部114}
送信制御部114は、サーバ20‐4などの他の装置に対する各種の情報の送信を制御する。例えば、送信制御部114は、センサ部122による各種のセンシング結果をサーバ20‐4へ通信部120に送信させる。
{5−1−2.出力制御部106}
第4の実施形態に係る出力制御部106は、サーバ20から受信される制御情報に従って、右側表示部124aおよび左側表示部124bによる表示を制御する。また、出力制御部106は、当該制御情報に従って、右側音出力部130aおよび左側音出力部130bによる音の出力を制御する。
例えば、出力制御部106は、まず、サーバ20から受信された制御情報に従って、(例えばサーバ20から受信された)所定のコンテンツに対応する右眼用画像および左眼用画像を生成する。そして、出力制御部106は、当該右眼用画像の発光位相と当該左眼用画像の発光位相とを当該制御情報に従って異ならせながら、当該右眼用画像を右側表示部124aに表示させ、かつ、当該左眼用画像を左側表示部124bに表示させる。変形例として、端末10‐4は、所定のコンテンツに対応する右眼用画像および左眼用画像をそれぞれサーバ20から受信してもよい。
さらに、出力制御部106は、サーバ20から受信された制御情報に従って、当該所定のコンテンツに対応する右側音および左側音を生成する。そして、出力制御部106は、当該右側音の出力位相と当該左側音の出力位相とを当該制御情報に従って異ならせながら、当該右側音を右側音出力部130aに出力させ、かつ、当該左側音を左側音出力部130bに出力させる。変形例として、端末10‐4は、所定のコンテンツに対応する右側音のデータおよび当該コンテンツに対応する左側音のデータをそれぞれサーバ20から受信してもよい。
<5−2.構成:サーバ20‐4>
次に、第4の実施形態に係るサーバ20‐4の構成について説明する。サーバ20‐4は、本開示に係る情報処理装置の一例である。図17は、サーバ20‐4の機能構成例を示したブロック図である。図17に示したように、サーバ20‐4は、制御部200、通信部220、および、記憶部222を有する。
{5−2−1.制御部200}
制御部200は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの処理回路を含んで構成され得る。制御部200は、サーバ20‐4の動作を統括的に制御する。また、図17に示したように、制御部200は、コンテンツ取得部202、ユーザ位置推定部204、および、出力制御部206を有する。
{5−2−2.コンテンツ取得部202}
コンテンツ取得部202は、本開示に係る取得部の一例である。コンテンツ取得部202は、例えば受信または読出し処理などにより、所定のコンテンツを取得する。例えば、後述する記憶部222が一以上のコンテンツを記憶し得る。この場合、コンテンツ取得部202は、例えば端末10‐4から受信されるコンテンツの取得要求などに基づいて、当該一以上のコンテンツのうちのいずれかを記憶部222から読み出すことにより取得し得る。または、コンテンツ取得部202は、当該コンテンツの取得要求などに基づいて、所定のコンテンツを、通信網22に接続されている他の装置(図示省略)から受信することにより取得してもよい。
{5−2−3.ユーザ位置推定部204}
ユーザ位置推定部204は、本開示に係る推定部の一例である。ユーザ位置推定部204は、端末10‐4を使用するユーザの位置情報を、端末10‐4から受信された各種のセンシング結果を用いて推定する。なお、具体的な推定方法に関しては、第1の実施形態に係るユーザ位置推定部104と概略同様であってもよい。
{5−2−4.出力制御部206}
出力制御部206は、コンテンツ取得部102により取得された所定のコンテンツの、端末10‐4による出力を制御する。例えば、出力制御部206は、まず、当該所定のコンテンツを端末10‐4に出力させるための制御情報を生成し、そして、当該制御情報を端末10‐4へ通信部220に送信させる。一例として、出力制御部206は、ユーザ位置推定部204により推定されたユーザの位置情報と、当該所定のコンテンツに関連付けられている位置情報との関係性に基づいて、端末10‐4の右側出力部(右側表示部124aおよび/または右側音出力部130a)による当該所定のコンテンツの出力と、端末10‐4の左側出力部(右側表示部124aおよび/または右側音出力部130a)による当該所定のコンテンツの出力とを制御するための制御情報を生成する。
なお、具体的な制御内容に関しては、第3の実施形態に係る出力制御部106と概略同様であってもよい。
{5−2−5.通信部220}
通信部220は、例えば通信網22を介して、他の装置との間で情報の送受信を行う。例えば、通信部220は、出力制御部206の制御に従って、生成された制御情報を端末10‐4へ送信する。また、通信部220は、各種のセンシング結果を端末10‐4から受信する。
{5−2−6.記憶部222}
記憶部222は、例えば一以上のコンテンツなどの各種のデータや、各種のソフトウェアを記憶する。
<5−3.効果>
以上説明したように、第4の実施形態に係るサーバ20‐4は、端末10‐4から受信された各種の情報に基づいて推定されたユーザの位置情報と、所定のコンテンツに関連付けられている位置情報との関係性に基づいて、端末10‐4の右側出力部による当該所定のコンテンツの出力と、端末10‐4の左側出力部による当該所定のコンテンツの出力とを制御する。これにより、2−3節で述べた効果と同様の効果が得られる。
<<6.適用例>>
以上、第4の実施形態について説明した。次に、前述した「第1の実施形態」〜「第4の実施形態」の適用例について、「6−1.適用例1」および「6−2.適用例2」において説明する。
<6−1.適用例1>
まず、適用例1について、図18を参照して説明する。図18に示したように、適用例1では、端末10がARグラスであり、かつ、ユーザが端末10を装着してテニスを行う場面を想定する。適用例1では、端末10は、テニスボール40(実オブジェクト40)と同じ位置に、例えばテニスボール40の速度に応じた態様の仮想オブジェクト50(例えば、炎の画像などの所定のエフェクト)が表示されるように、右側表示部124aおよび左側表示部124bの表示を制御する。例えば、端末10は、右側表示部124aによる仮想オブジェクト50の発光位相と左側表示部124bによる仮想オブジェクト50の発光位相とを上記の第1の基準に基づいて異ならせながら、テニスボール40の位置の変化に追従して炎の画像50の表示位置を逐次変更する。さらに、端末10は、テニスボール40の速度が速いほど炎の画像50がより大きく表示されるように、右側表示部124aおよび左側表示部124bの表示を制御する。
適用例1によれば、例えば、テニスの最中にテニスボール40が高速に移動したり、ユーザの動きが大きい場合であっても、端末10は、テニスボール40とユーザとの位置関係の変化に対して仮想オブジェクト50を追従性高く表示することができる。
<6−2.適用例2>
次に、適用例2について、図19を参照して説明する。適用例2では、端末10がARグラスであり、かつ、ユーザが端末10を装着して、屋外において体験型ゲームを行う場面を想定する。図19は、右側表示部124aおよび左側表示部124bにより表示される、当該体験型ゲームの映像80の一例を示した図である。
例えば、当該体験型ゲーム内の仮想オブジェクト82(図19に示した例では恐竜の画像)が当該ユーザの視界内に位置する間は、端末10は、仮想オブジェクト82と当該ユーザとの位置関係の変化に応じて仮想オブジェクト82の表示位置が逐次更新されるように、右側表示部124aおよび左側表示部124bによる表示を制御する。同時に、端末10は、右側表示部124aによる仮想オブジェクト82の発光位相と左側表示部124bによる仮想オブジェクト82の発光位相とを異ならせる。これにより、仮想オブジェクト82の表示位置を高速に更新することができるので、仮想オブジェクト82の素早い動きを当該ユーザに知覚させることができる。
さらに、端末10は、実空間内の、仮想オブジェクト82と当該ユーザとの位置関係に応じた位置に、仮想オブジェクト82に対応する音(鳴き声など)を定位させるように、右側音出力部130aおよび左側音出力部130bによる音の出力を制御する。同時に、端末10は、右側音出力部130aによる当該音の出力位相と、左側音出力部130bによる当該音の出力位相とを異ならせる。これにより、例えば仮想オブジェクト82が当該ユーザの視界外に移動した場合であっても、実空間内で仮想オブジェクト82に関連付けられている位置を当該ユーザに対して追従性高く提示することができる。従って、当該体験型ゲームの臨場感が向上し得る。
<<7.ハードウェア構成>>
次に、各実施形態に共通する端末10のハードウェア構成例について、図20を参照して説明する。図20に示したように、端末10は、CPU150、ROM(Read Only Memory)152、RAM(Random Access Memory)154、バス156、インターフェース158、入力装置160、出力装置162、ストレージ装置164、および、通信装置166を備える。
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従って端末10内の動作全般を制御する。また、CPU150は、端末10において制御部100の機能を実現する。なお、CPU150は、マイクロプロセッサなどのプロセッサにより構成される。
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
RAM154は、例えば、CPU150により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
バス156は、CPUバスなどから構成される。このバス156は、CPU150、ROM152、および、RAM154を相互に接続する。
インターフェース158は、入力装置160、出力装置162、ストレージ装置164、および、通信装置166を、バス156と接続する。
入力装置160は、例えばタッチパネル、ボタン、スイッチ、レバー、マイクロフォンなどユーザが情報を入力するための入力手段、および、ユーザによる入力に基づいて入力信号を生成し、CPU150に出力する入力制御回路などから構成される。
出力装置162は、例えばLCDやOLEDなどのディスプレイ、または、プロジェクタなどの表示装置を含む。また、出力装置162は、スピーカなどの音声出力装置を含む。出力装置162は、表示部124および音出力部130として機能し得る。
ストレージ装置164は、データ格納用の装置である。ストレージ装置164は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または、記憶媒体に記録されたデータを削除する削除装置などを含む。ストレージ装置164は、記憶部126として機能し得る。
通信装置166は、例えば通信網22などに接続するための通信デバイス(例えばネットワークカードなど)等で構成された通信インターフェースである。また、通信装置166は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。通信装置166は、通信部120として機能し得る。
<<8.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<8−1.変形例1>
例えば、前述した第3の実施形態では、端末10‐3が、センサ部122、表示部124、音出力部130、および、記憶部126の全てを含む例について説明したが、かかる例に限定されない。例えば、センサ部122、表示部124、音出力部130、および、記憶部126のうちのいずれか一以上は、端末10‐3と通信可能な他の装置(例えばスマートフォンやタブレット型端末など)に含まれてもよい。この場合、ユーザは、端末10‐3および当該他の装置を同時に携帯してもよい。
<8−2.変形例2>
前述した各実施形態では、端末10が、眼鏡型のウェアラブルデバイスである例を中心として説明したが、かかる例に限定されない。端末10は、他の種類のウェアラブルデバイスや据え置き型の装置であってもよい。例えば、偏光版を用いたメガネやアナグリフ用メガネ(赤青メガネ)などをユーザが装着する場合、前述した各実施形態に係る端末10として、例えば、左右別出力の機能を有するテレビジョン受信機、LCDやOLEDなどを有するディスプレイ装置(例えばタブレット端末、スマートフォン、携帯型ゲーム機、または、携帯型音楽プレーヤなど)、または、プロジェクタなどが用いられてもよい。
<8−3.変形例3>
また、図1では、サーバ20が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、各実施形態に係るサーバ20の機能が実現されてもよい。
<8−4.変形例4>
前述した各実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
また、前述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、第1の実施形態〜第3の実施形態に係る端末10および/または第4の実施形態に係るサーバ20の各構成要素と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記憶媒体も提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、
前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部と、
を備え、
前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、情報処理装置。
(2)
前記出力制御部は、前記ユーザと前記所定のコンテンツとの位置関係の変化に基づいて、前記右側出力部による前記所定のコンテンツの出力および前記左側出力部による前記所定のコンテンツの出力を変化させる、前記(1)に記載の情報処理装置。
(3)
前記出力制御部は、前記所定のコンテンツを前記実空間に定位させるように前記右側出力部による前記所定のコンテンツの出力と、前記左側出力部による前記所定のコンテンツの出力とを制御する、前記(2)に記載の情報処理装置。
(4)
前記出力制御部は、前記実空間内の、前記ユーザと前記所定のコンテンツとの位置関係に応じた位置に前記所定のコンテンツを定位させるように、前記右側出力部による前記所定のコンテンツの出力と、前記左側出力部による前記所定のコンテンツの出力とを制御する、前記(3)に記載の情報処理装置。
(5)
前記所定のコンテンツに対応する位置情報は、前記所定のコンテンツの再生時間の経過に応じて変更され、
前記取得部は、さらに、前記所定のコンテンツに対応する最新の位置情報を逐次取得し、
新たに取得された、前記所定のコンテンツに対応する最新の位置情報に基づいて前記位置関係の変化が特定される、前記(3)または(4)に記載の情報処理装置。
(6)
前記ユーザに関連するセンサによるセンシング結果に基づいて前記ユーザの最新の位置情報を逐次推定する推定部をさらに備え、
さらに、新たに推定された前記ユーザの最新の位置情報に基づいて前記位置関係の変化が特定される、前記(5)に記載の情報処理装置。
(7)
前記第1の基準は、前記ユーザと前記所定のコンテンツとの位置関係を含む、前記(3)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記右側出力部および前記左側出力部は、前記ユーザが携帯する携帯端末の少なくとも一部を構成し、
前記第1の基準は、前記携帯端末の運動状態をさらに含む、前記(7)に記載の情報処理装置。
(9)
前記右側出力部および前記左側出力部は、前記ユーザが携帯する携帯端末の少なくとも一部を構成し、
前記位置関係の変化は、前記携帯端末の運動状態に基づいて特定される、前記(3)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記第1の基準は、前記携帯端末の運動状態に対応する運動量と所定の運動量との比較の結果をさらに含む、前記(8)または(9)に記載の情報処理装置。
(11)
前記携帯端末の運動状態に対応する運動量が前記所定の運動量よりも小さい間は、前記出力制御部は、前記右側出力位相と前記左側出力位相とを実質的に一致させ、
前記携帯端末の運動状態に対応する運動量が前記所定の運動量以上である間は、前記出力制御部は、前記位置関係に基づいて、前記右側出力位相と前記左側出力位相とを異ならせる、前記(10)に記載の情報処理装置。
(12)
前記右側出力部は、前記所定のコンテンツに対応する右眼用画像を出力する第1の表示部であり、
前記左側出力部は、前記右眼用画像に対応する左眼用画像を出力する第2の表示部であり、
前記出力制御部は、前記右眼用画像の発光位相と前記左眼用画像の発光位相とを前記第1の基準に基づいて異ならせる、前記(3)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記右側出力部は、前記所定のコンテンツに対応する右側音を出力する第1の音出力部であり、
前記左側出力部は、前記右側音に対応する左側音を出力する第2の音出力部であり、
前記出力制御部は、前記右側音の出力位相と前記左側音の出力位相とを前記第1の基準に基づいて異ならせる、前記(3)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記出力制御部は、さらに、第1のデューティ比で前記右側出力部に前記所定のコンテンツを出力させ、かつ、
第2のデューティ比で前記左側出力部に前記所定のコンテンツを出力させる、前記(3)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記右側出力部は、前記所定のコンテンツに対応する右眼用画像を出力する第1の表示部であり、
前記左側出力部は、前記右眼用画像に対応する左眼用画像を出力する第2の表示部であり、
前記出力制御部は、さらに、前記第1のデューティ比に対応する第1の輝度で前記所定のコンテンツを前記第1の表示部に表示させ、かつ、
前記第2のデューティ比に対応する第2の輝度で前記所定のコンテンツを前記第2の表示部に表示させる、前記(14)に記載の情報処理装置。
(16)
前記第1のデューティ比および前記第2のデューティ比は、50%である、前記(14)または(15)に記載の情報処理装置。
(17)
右側撮像部による撮像と、前記右側撮像部に対応する左側撮像部による撮像とを制御する撮像制御部をさらに備え、
前記撮像制御部は、前記右側撮像部による撮像位相と、前記左側撮像部による撮像位相とを第2の基準に基づいて異ならせる、前記(3)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記情報処理装置は、前記ユーザが携帯する携帯端末であり、
前記右側出力部および前記左側出力部をさらに備える、前記(3)〜(17)のいずれか一項に記載の情報処理装置。
(19)
実空間内における位置情報と関連付けられている所定のコンテンツを取得することと、
前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御することと、
前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいてプロセッサが異ならせることと、
を含む、情報処理方法。
(20)
コンピュータを、
実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、
前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部、
として機能させるためのプログラムであって、
前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、プログラム。
10‐1、10‐2、10‐3、10‐4 端末
20‐1、20‐4 サーバ
22 通信網
100、200 制御部
102、202 コンテンツ取得部
104、204 ユーザ位置推定部
106、206 出力制御部
108 撮像制御部
110 測距部
112 遮蔽判定部
114 送信制御部
120、220 通信部
122 センサ部
124 単に表示部
124 表示部
124 ユーザの前方の映像が表示部
124 左眼用フレーム画像を表示部
124a 必要に応じて表示部
124a 右側表示部
124b 左側表示部
126、222 記憶部
128a 右側撮像部
128b 左側撮像部
130a 右側音出力部
130b 左側音出力部

Claims (20)

  1. 実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、
    前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部と、
    を備え、
    前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、情報処理装置。
  2. 前記出力制御部は、前記ユーザと前記所定のコンテンツとの位置関係の変化に基づいて、前記右側出力部による前記所定のコンテンツの出力および前記左側出力部による前記所定のコンテンツの出力を変化させる、請求項1に記載の情報処理装置。
  3. 前記出力制御部は、前記所定のコンテンツを前記実空間に定位させるように前記右側出力部による前記所定のコンテンツの出力と、前記左側出力部による前記所定のコンテンツの出力とを制御する、請求項2に記載の情報処理装置。
  4. 前記出力制御部は、前記実空間内の、前記ユーザと前記所定のコンテンツとの位置関係に応じた位置に前記所定のコンテンツを定位させるように、前記右側出力部による前記所定のコンテンツの出力と、前記左側出力部による前記所定のコンテンツの出力とを制御する、請求項3に記載の情報処理装置。
  5. 前記所定のコンテンツに対応する位置情報は、前記所定のコンテンツの再生時間の経過に応じて変更され、
    前記取得部は、さらに、前記所定のコンテンツに対応する最新の位置情報を逐次取得し、
    新たに取得された、前記所定のコンテンツに対応する最新の位置情報に基づいて前記位置関係の変化が特定される、請求項3に記載の情報処理装置。
  6. 前記ユーザに関連するセンサによるセンシング結果に基づいて前記ユーザの最新の位置情報を逐次推定する推定部をさらに備え、
    さらに、新たに推定された前記ユーザの最新の位置情報に基づいて前記位置関係の変化が特定される、請求項5に記載の情報処理装置。
  7. 前記第1の基準は、前記ユーザと前記所定のコンテンツとの位置関係を含む、請求項3に記載の情報処理装置。
  8. 前記右側出力部および前記左側出力部は、前記ユーザが携帯する携帯端末の少なくとも一部を構成し、
    前記第1の基準は、前記携帯端末の運動状態をさらに含む、請求項7に記載の情報処理装置。
  9. 前記右側出力部および前記左側出力部は、前記ユーザが携帯する携帯端末の少なくとも一部を構成し、
    前記位置関係の変化は、前記携帯端末の運動状態に基づいて特定される、請求項3に記載の情報処理装置。
  10. 前記第1の基準は、前記携帯端末の運動状態に対応する運動量と所定の運動量との比較の結果をさらに含む、請求項8に記載の情報処理装置。
  11. 前記携帯端末の運動状態に対応する運動量が前記所定の運動量よりも小さい間は、前記出力制御部は、前記右側出力位相と前記左側出力位相とを実質的に一致させ、
    前記携帯端末の運動状態に対応する運動量が前記所定の運動量以上である間は、前記出力制御部は、前記位置関係に基づいて、前記右側出力位相と前記左側出力位相とを異ならせる、請求項10に記載の情報処理装置。
  12. 前記右側出力部は、前記所定のコンテンツに対応する右眼用画像を出力する第1の表示部であり、
    前記左側出力部は、前記右眼用画像に対応する左眼用画像を出力する第2の表示部であり、
    前記出力制御部は、前記右眼用画像の発光位相と前記左眼用画像の発光位相とを前記第1の基準に基づいて異ならせる、請求項3に記載の情報処理装置。
  13. 前記右側出力部は、前記所定のコンテンツに対応する右側音を出力する第1の音出力部であり、
    前記左側出力部は、前記右側音に対応する左側音を出力する第2の音出力部であり、
    前記出力制御部は、前記右側音の出力位相と前記左側音の出力位相とを前記第1の基準に基づいて異ならせる、請求項3に記載の情報処理装置。
  14. 前記出力制御部は、さらに、第1のデューティ比で前記右側出力部に前記所定のコンテンツを出力させ、かつ、
    第2のデューティ比で前記左側出力部に前記所定のコンテンツを出力させる、請求項3に記載の情報処理装置。
  15. 前記右側出力部は、前記所定のコンテンツに対応する右眼用画像を出力する第1の表示部であり、
    前記左側出力部は、前記右眼用画像に対応する左眼用画像を出力する第2の表示部であり、
    前記出力制御部は、さらに、前記第1のデューティ比に対応する第1の輝度で前記所定のコンテンツを前記第1の表示部に表示させ、かつ、
    前記第2のデューティ比に対応する第2の輝度で前記所定のコンテンツを前記第2の表示部に表示させる、請求項14に記載の情報処理装置。
  16. 前記第1のデューティ比および前記第2のデューティ比は、50%である、請求項14に記載の情報処理装置。
  17. 右側撮像部による撮像と、前記右側撮像部に対応する左側撮像部による撮像とを制御する撮像制御部をさらに備え、
    前記撮像制御部は、前記右側撮像部による撮像位相と、前記左側撮像部による撮像位相とを第2の基準に基づいて異ならせる、請求項3に記載の情報処理装置。
  18. 前記情報処理装置は、前記ユーザが携帯する携帯端末であり、
    前記右側出力部および前記左側出力部をさらに備える、請求項3に記載の情報処理装置。
  19. 実空間内における位置情報と関連付けられている所定のコンテンツを取得することと、
    前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御することと、
    前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいてプロセッサが異ならせることと、
    を含む、情報処理方法。
  20. コンピュータを、
    実空間内における位置情報と関連付けられている所定のコンテンツを取得する取得部と、
    前記所定のコンテンツが提供されるユーザと前記所定のコンテンツとの位置関係に基づいて、右側出力部による前記所定のコンテンツの出力と、前記右側出力部に対応する左側出力部による前記所定のコンテンツの出力とを制御する出力制御部、
    として機能させるためのプログラムであって、
    前記出力制御部は、前記右側出力部による前記所定のコンテンツの右側出力位相と、前記左側出力部による前記所定のコンテンツの左側出力位相とを第1の基準に基づいて異ならせる、プログラム。
JP2018066733A 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム Pending JP2019179966A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018066733A JP2019179966A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム
PCT/JP2019/006156 WO2019187801A1 (ja) 2018-03-30 2019-02-19 情報処理装置、情報処理方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066733A JP2019179966A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2019179966A true JP2019179966A (ja) 2019-10-17

Family

ID=68059850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066733A Pending JP2019179966A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム

Country Status (2)

Country Link
JP (1) JP2019179966A (ja)
WO (1) WO2019187801A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182024A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 音響信号制御方法、学習モデル生成方法および音響信号制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023105524A (ja) * 2022-01-19 2023-07-31 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343184A (ja) * 1993-06-01 1994-12-13 Sony Corp 両眼視眼鏡型ディスプレイ
JPH09107563A (ja) * 1995-10-09 1997-04-22 Olympus Optical Co Ltd 映像表示装置
JP2001359120A (ja) * 2000-06-16 2001-12-26 Matsushita Electric Ind Co Ltd 三次元画像撮像装置
JP2003348700A (ja) * 2002-05-28 2003-12-05 Victor Co Of Japan Ltd 臨場感信号の生成方法、及び臨場感信号生成装置
JP5447220B2 (ja) * 2010-06-18 2014-03-19 株式会社Jvcケンウッド 音響再生装置および音響再生方法
JP5742271B2 (ja) * 2011-02-10 2015-07-01 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2017047178A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182024A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 音響信号制御方法、学習モデル生成方法および音響信号制御プログラム

Also Published As

Publication number Publication date
WO2019187801A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
JP4717728B2 (ja) ステレオ表示装置及びその制御方法
JP4755565B2 (ja) 立体画像処理装置
JP6845111B2 (ja) 情報処理装置および画像表示方法
US20180001198A1 (en) Using HMD Camera Touch Button to Render Images of a User Captured During Game Play
TWI558164B (zh) 產生用於顯示器之信號之方法及裝置
US9204126B2 (en) Three-dimensional image display device and three-dimensional image display method for displaying control menu in three-dimensional image
JP4903888B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
US10560724B2 (en) Video content distribution system and content management server
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
GB2519418A (en) Head-mountable apparatus and systems
EP3005029A1 (en) Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP6615732B2 (ja) 情報処理装置および画像生成方法
JP6807455B2 (ja) 情報処理装置および画像生成方法
WO2020209088A1 (ja) 複数のマーカを備えたデバイス
WO2019187801A1 (ja) 情報処理装置、情報処理方法、および、プログラム
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
CN115668301A (zh) 信息处理装置、信息处理方法和信息处理系统
CN113382222B (zh) 一种在用户移动过程中基于全息沙盘的展示方法
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
JP5222407B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
JP5516199B2 (ja) 画像処理装置、画像処理方法、投影装置及びプログラム
WO2020213363A1 (ja) 複数のマーカを備えたデバイス
JP7044149B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240221337A1 (en) 3d spotlight