JP2019125278A - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JP2019125278A
JP2019125278A JP2018006911A JP2018006911A JP2019125278A JP 2019125278 A JP2019125278 A JP 2019125278A JP 2018006911 A JP2018006911 A JP 2018006911A JP 2018006911 A JP2018006911 A JP 2018006911A JP 2019125278 A JP2019125278 A JP 2019125278A
Authority
JP
Japan
Prior art keywords
virtual object
distance
information processing
size
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018006911A
Other languages
English (en)
Inventor
智也 成田
Tomoya Narita
智也 成田
茜 近藤
Akane Kondo
茜 近藤
遼 深澤
Ryo Fukazawa
遼 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018006911A priority Critical patent/JP2019125278A/ja
Priority to PCT/JP2018/040115 priority patent/WO2019142432A1/ja
Publication of JP2019125278A publication Critical patent/JP2019125278A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想物体の視認性を適切に向上させることが可能な仕組みを提供する。【解決手段】ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、を備える情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
近年、VR(virtual Reality)及びAR(Augmented Reality)のように、ユーザが見る空間に重畳させて仮想物体を表示する技術が様々な分野で活用されている。仮想物体は、ユーザが見る空間の任意の位置に配置され、ユーザと仮想物体との相対的な位置関係に応じて見え方が変わる。仮想物体は、遠近法に従って拡縮されることで、実世界と同様の自然な見え方を提供することができる。例えば、ユーザの近くに配置された仮想物体は大きく見え、ユーザから遠くに配置された仮想物体は小さく見えるようになる。しかしながら、単純に遠近法に従うと、仮想物体として表示された文字が大きく表示され過ぎて文字の一部しか視野におさまらなかったり、文字が小さく表示され過ぎて視力の関係で読めなかったりする等、視認性が低下してしまう場合がある。
この点に関し、下記特許文献1では、車に搭乗したユーザの移動距離に応じて交差点等に対応付けられた仮想物体の位置や大きさを変更したり、次の交差点に対応付けられた仮想物体を新たに表示したりする技術が開示されている(例えば、図24等参照)。
国際公開第2016/031358号
しかし、上記特許文献1に記載された技術では、次の交差点よりも先の交差点に対応付けられた仮想物体は表示されない。ユーザは、所定の距離よりも遠くに配置される仮想物体をそもそも視認することができないので、ユーザが享受できる情報量は低下してしまう。
そこで、本開示では、仮想物体の視認性を適切に向上させることが可能な仕組みを提供する。
本開示によれば、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、を備える情報処理装置が提供される。
また、本開示によれば、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、を含む、プロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、コンピュータを、ユーザが見る空間に重畳させて仮想物体を表示させ、前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、として機能させるためのプログラムが記録された記録媒体が提供される。
以上説明したように本開示によれば、仮想物体の視認性を適切に向上させることが可能な仕組みが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。 本実施形態に係る情報処理装置により表示される画面の一例を示す図である。 仮想物体の奥行き方向の距離と輻輳角との関係の一例を示す図である。 遠近法に従って表示される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 視角固定提示法に従って表示される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 図5に示した例における仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 図5に示した例における仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示すグラフである。 図9に示したスケーリング量が適用される仮想物体の、奥行き方向の距離と視角との関係の一例を示す図である。 図9に示したスケーリング量が適用される仮想物体の、奥行き方向の距離と視角との関係の一例を示すグラフである。 本実施形態に係る表示制御処理により表示される仮想物体を含む画面Sの一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体を含む画面Sの一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の、奥行き方向の距離とスケーリング量との関係の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の一例を示す図である。 本実施形態に係る表示制御処理により表示される仮想物体の一例を示す図である。 本実施形態に係るバウンディングボックスの一例を示す図である。 本実施形態に係るバウンディングボックスの一例を示す図である。 本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体の距離とスケーリング量との関係の一例を示すグラフである。 本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体の距離とスケーリング量との関係の一例を示すグラフである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される表示制御処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.アイウェア型装置の外観構成
1.2.仮想物体の見え方
1.3.仮想物体のスケーリング
1.4.技術的課題
2.構成例
3.技術的特徴
3.1.仮想物体の距離に基づく表示制御処理
3.2.バウンディングボックスに基づく表示制御処理
3.3.他の基準に基づく表示制御処理
3.4.複数の基準の併用
3.5.処理の流れ
4.まとめ
<<1.はじめに>>
まず、図1〜図7を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
<1.1.アイウェア型装置の外観構成>
図1は、本開示の一実施形態に係る情報処理装置の外観構成の一例を示す図である。図1に示すように、情報処理装置100は、アイウェア型装置として構成され得る。
情報処理装置100は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、装着ユニットが両耳殻にかけられることでユーザUに装着される。そして、この情報処理装置100は、図1に示すような装着状態において、ユーザUの両眼の直前に表示部121が配置される構成とされている。この表示部121には、例えば液晶パネルが用いられ、情報処理装置100は、液晶パネルの透過率を制御することで、スルー状態、即ち透明又は半透明の状態にしたり、非透過の状態にしたりすることができる。
表示部121は、ユーザUが見る空間に重畳させて仮想物体を表示する。例えば、表示部121は、スルー状態のまま、テキストや図等の画像を表示することで、実空間の風景に仮想物体を重畳表示(即ち、AR表示)することができる。また、表示部121は、非透過の状態において、外向きカメラ111で撮像された実空間の撮像画像を表示し、当該実空間の撮像画像に仮想物体を重畳表示することも可能である。他方、表示部121は、非透過の状態において、VR情報を表示可能である。例えば、表示部121は、非透過の状態において、情報処理装置100が外部機器から受信したコンテンツや、情報処理装置100の記憶媒体に記憶されるコンテンツを再生表示したり、再生表示したコンテンツに仮想物体を重畳表示したりすることもできる。なお、外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。
なお、以下では、表示部121において表示される画像全体を、画面とも称する。ここで、画面とは、非透過の状態において表示される画像、スルー状態において透過的に映る光景、及びこれらに重畳して表示される仮想物体を含む概念であるものとする。また、ユーザUが見る空間を、背景空間とも称する。背景空間は、ARであれば実空間であり、VRであれば仮想空間である。
図1に示すように、ユーザUが向く方向をZ軸方向とし、水平方向をX軸方向とし、鉛直方向の逆方向をY軸方向とする。Z軸方向は、ユーザUの奥行き方向としても捉えることができる。
情報処理装置100には、ユーザUが情報処理装置100を装着した状態で、ユーザUを近距離から撮像するように、ユーザUに向けて一対の内向きカメラ112が配置されている。例えば、内向きカメラ112は、ユーザUの目を撮像する。これにより、情報処理装置100は、ユーザUの視線を認識することができる。内向きカメラ112は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
情報処理装置100には、ユーザUが情報処理装置100を装着した状態において、ユーザUの前方(即ち、Z軸方向)を撮像方向として撮像するように、前方に向けて外向きカメラ111が配置されている。例えば、外向きカメラ111は、ユーザUの手等の認識対象物を撮像する。外向きカメラ111は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
図1では図示されていないが、ユーザUが情報処理装置100を装着した状態において、ユーザUの両耳殻に挿入されるイヤホンスピーカが配置されてもよい。また、図1では図示されていないが、外部音を収音するマイクが配置されてもよい。
なお、本実施形態に係る情報処理装置100は、図1に示したようなアイウェア型装置でもよいし、例えばスマートフォンを眼前に固定することで構成される簡易的なアイウェア型装置であってもよい。その場合、スマートフォンのディスプレイ、ディスプレイ側に設けられるインカメラ、及び背面側に設けられるアウトカメラが、それぞれ上述した表示部121、内向きカメラ112及び外向きカメラ111として機能する。
他にも、情報処理装置100は、アイウェア型装置の他、スマートフォン、タブレット端末、PC、又はデジタルサイネージ等として実現され得る。
以上、情報処理装置100の外観構成を説明した。続いて、情報処理装置100の内部構成を説明する。以下では、情報処理装置100は、アイウェア型装置であり、AR表示を行うものとして説明する。
<1.2.仮想物体の見え方>
以下、図2〜図4を参照しながら、仮想物体の見え方について説明する。
図2は、本実施形態に係る情報処理装置100により表示される画面の一例を示す図である。図2では、画面Sに背景空間におけるユーザUの手Tが映っている。ユーザUの手Tは重畳対象であり、ユーザUの手Tに仮想物体Vが重畳して表示されている。ユーザUが手TをZ軸方向に動かすと、それに連動して仮想物体VもZ軸方向に動く。仮想物体Vの奥行き方向の距離をユーザUがどのように認識するかについて、図3及び図4を参照して説明する。
図3は、仮想物体Vの奥行き方向の距離と輻輳角との関係の一例を示す図である。ユーザUの右目の視線方向と左目の視線方向とが成す角は、輻輳角(又は両眼視差)とも称される。ユーザUから仮想物体Vまでの距離が遠い場合、輻輳角αは小さい。一方で、ユーザUから仮想物体Vまでの距離が近い場合、輻輳角αは大きい。ユーザUは、このような輻輳角の大小により、奥行き方向の距離を認識することができる。
図4は、遠近法に従って表示される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。ユーザUから見て所定の範囲内の光景及び仮想物体Vが、画面Sに含まれて、表示部121に映る又は表示される。ユーザUが視認する対象のXY平面上の端部から眼球の中心に引いた2本の直線が成す角を、視角とも称する。図4に示すように、仮想物体V及びVが同じ大きさであるとすると、ユーザUから近い仮想物体Vの視角θは大きく、ユーザUから遠い仮想物体Vの視角θは小さい。視角は、表示部121において仮想物体Vが表示される大きさとして捉えることができる。ユーザUから近い仮想物体Vは、表示部121において視角θを実現する大きさV´で表示される。ユーザUから遠い仮想物体Vは、表示部121において視角θを実現する大きさV´で表示される。大きさV´及びV´の大小関係は、視角θ及びθの大小関係と同様である。このような、ユーザUと仮想物体Vとの距離に応じて、表示部121において仮想物体Vが表示される大きさが拡縮される表現は、遠近法に従った表現であると言える。ユーザUは、視角の大小により、換言すると、表示部121において仮想物体Vが表示される大きさの大小により、奥行き方向の距離を認識することができる。
以上説明したように、ユーザUは、仮想物体Vとの距離を、輻輳角と視角とに基づいて認識することができる。
<1.3.仮想物体のスケーリング>
しかし、単純に遠近法に従って視角が拡縮される場合、仮想物体Vとして表示された文字が大きく表示され過ぎて文字の一部しか視野におさまらなかったり、文字が小さく表示され過ぎて視力の関係で読めなかったりする等、視認性が低下してしまう場合がある。そこで、仮想物体Vの遠近に依らず、視角を一定に保つ技術が考えられる。このような技術を、以下では視角固定提示法(Scale Fixed Visualization)とも称する。視角固定提示法について、図5〜図7を参照して説明する。
図5は、視角固定提示法に従って表示される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。視角固定提示法においては、ユーザUの近くに仮想物体Vが配置される場合には仮想物体Vが小さなるようスケーリングされ、ユーザUの遠くに仮想物体Vが配置される場合には仮想物体Vが大きくなるようスケーリングされる。スケーリングとは、仮想物体Vにスケーリング量(拡大倍率/縮小倍率)を適用して、仮想物体Vの大きさを拡縮することを指す。図5に示した例では、ユーザUの近くに配置される仮想物体Vは小さくスケーリングされ、ユーザUの遠くに配置される仮想物体Vは大きくスケーリングされる。このようなスケーリングにより、仮想物体Vの視角が一定に保たれる。図5に示した例では、ユーザUから近い仮想物体V及びVの視角θ及びθは同一となり、表示部121において表示される大きさV´及びV´も同一となる。
図6は、図5に示した例における仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図6に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図6に示すグラフの縦軸は、仮想物体Vの大きさを、仮想物体Vに適用されるスケーリング量で表している。ユーザUと仮想物体Vとの奥行き方向の距離とは、ユーザUの目から仮想物体VまでのZ軸上の距離である。かかる距離を、以下では単に仮想物体Vの距離とも称する。
図6に示すように、仮想物体Vの距離が短いほど、仮想物体Vが小さくなるようスケーリングされる。一方で、仮想物体Vの距離が長いほど、仮想物体Vが大きくなるようスケーリングされる。なお、視角固定提示法により仮想物体Vがスケーリングされる区間を、視角固定提示区間とも称する。
その結果、図7に示すように、仮想物体Vの視角は一定となる。図7は、図5に示した例における仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。図7に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図7に示すグラフの縦軸は、仮想物体Vの視角、即ち表示部121に表示される仮想物体Vの大きさである。図7に示すように、ユーザUと仮想物体Vとの奥行き方向の距離に依らず、仮想物体Vの視角は一定値に固定されている。
なお、上記では、視角固定提示法においては視角が一定値に固定されるものとして説明したが、視角固定提示法はかかる例に限定されない。視角固定提示法は、視角が所定の幅に収められて視角が略固定されることも、視角固定提示法に含まれるものとする。
<1.4.技術的課題>
遠近法に単純に従って仮想物体Vが表示される場合、ユーザUは距離感を直観的に把握することが可能になる一方で、遠すぎる又は近すぎる場合において視認性が低下する。この点、視角固定提示法によれば、仮想物体Vの視角が一定に保たれるので、遠近法で損なわれていた視認性を、低下させることなく維持することができる、というメリットがある。また、視角固定提示法によれば、遠近法による距離感の直観的な把握が困難になる一方で、輻輳角により距離感を把握することが依然として可能である。
しかし、単純に視角固定提示法に従って仮想物体Vを表示するだけでは、ユーザUに違和感を与えてしまい得るというデメリットがある。例えば、図6に示すように、ユーザUと仮想物体Vとの距離が近くなるほど仮想物体Vの大きさが限りなく0に近づき、逆に遠くなるほど仮想物体Vの大きさが無限大に近づく。ユーザUは、これを観察した場合、月の地平拡大のような錯視効果によって、仮想物体Vを異様に小さく感じたり大きく感じたりする、といった違和感を覚える。
そこで、本開示では、視角固定提示法に従った表示を行いつつも、ユーザUに与える違和感を軽減することが可能な仕組みを提供する。
<<2.構成例>>
図8は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。図8に示すように、情報処理装置100は、センサ部110、表示部121、スピーカー122、通信部123、操作入力部124、記憶部130及び制御部140を含む。
(1)センサ部110
センサ部110は、情報処理装置100に関する各種情報を検知する機能を有する。図8に示すように、センサ部110は、外向きカメラ111、内向きカメラ112、マイク113、ジャイロセンサ114、加速度センサ115、方位センサ116、位置測位部117及び生体センサ118を含む。
外向きカメラ111及び内向きカメラ112は、上述したように、ユーザUの前方及びユーザUの各々を撮像する撮像装置である。外向きカメラ111及び内向きカメラ112は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、及びレンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。外向きカメラ111及び内向きカメラ112は、デジタル信号とされた撮影画像のデータを出力する。
マイク113は、周囲の音を収音する音声入力装置である。マイク113は、収音結果を示す信号を出力する。マイク113は、さらにマイクアンプを有していてもよい。マイク113は、アナログ信号を出力してもよいし、ADC(Analog Digital Converter)を介してデジタル信号を出力してもよい。
ジャイロセンサ114は、情報処理装置100の角速度を検知して出力する機能を有する。ジャイロセンサ114は、圧電振動子又はシリコン振動子等の振動子を含み、振動する振動子に加わるコリオリの力に基づいて角速度を検知する。
加速度センサ115は、情報処理装置100の加速度を検知して出力する機能を有する。加速度センサ115は、光学方式、又は半導体方式等の任意の検知方式により加速度を検知する。加速度を検知する軸数は任意であり、例えば3軸であってもよい。
方位センサ116は、情報処理装置100の方位を検知して出力する機能を有する。より具体的には、方位センサ116は、表示部121が向く方向、即ちユーザUが向く方向を検知する機能を有する。例えば、方位センサ116は、地磁気センサを含み、地磁気センサにより検知された方位を示す情報と、情報処理装置100における地磁気センサの設置姿勢及び表示部121の設置姿勢との相対関係とに基づいて、表示部121が向く方向を検知する。
位置測位部117は、情報処理装置100の位置情報を検知して出力する機能を有する。位置測位部117は、例えばGNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して情報処理装置100の緯度、経度及び高度から成る位置情報を検知し、検知した位置情報を出力する。なお、位置測位部117は、他の任意の技術を用いて位置情報を検知してもよい。例えば、位置測位部117は、Wi−Fi(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置情報を検知するものであってもよい。
生体センサ118は、ユーザUの生体情報を検知して出力する機能を有する。例えば、生体センサ118は、体温センサ、脈拍センサ、筋電センサ及び血圧センサを含み、体温、脈拍、筋電及び血圧を生体情報をとして検知する。
以上、センサ部110に含まれる各種センサについて説明した。図8では、情報処理装置100にセンサ部110が含まれる構成を示したが、センサ部110の一部又は全部が情報処理装置100とは別個に構成されていてもよい。その場合、情報処理装置100は、有線又は無線の通信路を介して検知結果を受信する。
(2)表示部121
表示部121は、画像を表示する機能を有する。表示部121は、透明又は半透明のディスプレイとして実現されてもよいし、非透明のディスプレイとして実現されてもよい。他にも、表示部121は、投影面に画像を投影する投影装置として実現されてもよいし、ユーザUの網膜に直接的に画像を投影する網膜投影ディスプレイとして実現されてもよい。
(3)スピーカー122
スピーカー122は、音を出力する音声出力装置である。スピーカー122は、DAC(Digital Analog Converter)及びアンプを介して音データをアナログ信号に変換して出力する。
(4)通信部123
通信部123は、他の装置と情報を送受信するインタフェースである。通信部123は、LAN(Local Area Network)、無線LAN、Wi−Fi(登録商標)、Bluetooth(登録商標)又はNFC(Near Field Communication)等の有線又は無線の任意の通信規格に準拠して通信を行う。
(5)操作入力部124
操作入力部124は、ユーザUからの操作入力を受け付ける機能を有する。操作入力部124は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ又はレバー等により実現される。操作入力部124は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話又はPDA等の外部接続機器であってもよい。
(6)記憶部130
記憶部130は、情報処理装置100の動作のための情報を一時的に又は非一時的に記憶する機能を有する。記憶部130は、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。記憶部130は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。
(7)制御部140
制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部140は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、集積回路又は電子回路等により実現され得る。制御部140は、さらに、プログラム及び演算パラメータを一時的に記憶するROM及びRAMを含んでいてもよい。
図8に示すように、制御部140は、論理的な機能として、空間情報取得部141、位置姿勢取得部142、表示制御部143及び出力処理部144を備える。
空間情報取得部141は、空間情報を取得する機能を有する。空間情報とは、仮想物体Vが重畳される背景空間に関する情報である。空間情報は、背景空間に存在する物体の、種類、形状を示す三次元情報、位置及び姿勢を示す情報を含み得る。また、空間情報は、背景空間において物体が存在しない空間の形状を示す情報を含み得る。例えば、空間情報取得部141は、外向きカメラ111により撮像された画像を画像認識したり、深度情報を解析したりすることで、これらの情報を取得する。
位置姿勢取得部142は、情報処理装置100の位置及び姿勢を示す位置姿勢情報を取得する機能を有する。位置姿勢情報は、ユーザUの視点の位置及び姿勢を示す情報と捉えられてもよい。例えば、位置姿勢取得部142は、外向きカメラ111により撮像された画像に基づいて、SLAM(Simultaneous Localization and Mapping)等の技術を用いて位置姿勢情報を取得する。位置姿勢取得部142は、外向きカメラ111により撮像された画像に含まれる、空間に付されたマーカーの認識結果に基づいて、位置姿勢情報を取得してもよい。さらに、位置姿勢取得部142は、ジャイロセンサ114、加速度センサ115、方位センサ116及び位置測位部117による検知結果を加味して、位置姿勢情報を取得してもよい。
表示制御部143は、表示部121による表示を制御する機能を有する。具体的には、表示制御部143は、表示部121において表示される仮想物体Vを表示するための表示制御情報を生成する。表示制御情報は、仮想物体Vの内容(例えば、表示すべき画像)、及び仮想物体Vのレイアウト(例えば、画面Sにおける仮想物体Vの頂点座標)を示す情報の組み合わせを含む。表示制御部143は、仮想物体Vを重畳対象に重畳するように配置し、仮想物体の大きさをスケーリングすることで仮想物体Vが表示される大きさ(即ち、視角)を調節する。そして、表示制御部143は、モデルビュー変換及びプロジェクション変換等の各種変換処理を行って、表示部121に表示される画面S内の仮想物体Vのレイアウトを決定する。仮想物体Vの視角の調節と、モデルビュー変換及びプロジェクション変換等の各種変換処理との順番は任意であり、例えば、モデルビュー変換とプロジェクション変換との間に仮想物体Vの視角の調節が行われてもよい。
出力処理部144は、表示制御部143により生成された表示制御情報に基づいて、表示部121による表示を制御する。例えば、出力処理部144は、表示制御部143により指示されたレイアウトで、表示部121により仮想物体Vを表示させる。また、出力処理部144は、表示部121による表示に合わせて、スピーカー122による音声を出力させる。
なお、制御部140は、これらの構成要素以外の構成要素を含んでいてもよい。即ち、制御部140は、これらの構成要素による動作以外の動作も行い得る。
<<3.技術的特徴>>
以下では、視角固定提示法に従いつつも、ユーザUに与える違和感を軽減することが可能な仕組みについて詳しく説明する。
<3.1.仮想物体の距離に基づく表示制御処理>
情報処理装置100(例えば、表示制御部143)は、ユーザUから仮想物体Vまでの奥行き方向の距離に基づいて、仮想物体Vが表示される大きさ(即ち、視角)を制御する。例えば、情報処理装置100は、仮想物体Vの距離が長くなるほど仮想物体Vの視角を小さくし、仮想物体Vの距離が短くなるほど仮想物体Vの視角を大きくする。仮想物体Vの大きさが固定又は略固定であれば、仮想物体Vが遠近法に従って表示されることとなり、仮想物体Vの表示の自然さが実現される。
さらに、情報処理装置100は、仮想物体Vの大きさを制御することで、仮想物体Vの視角を制御する。即ち、情報処理装置100は、仮想物体Vをスケーリングすることで、仮想物体Vの視角を拡縮する。例えば、情報処理装置100は、仮想物体Vに小さなスケーリング量を適用することで仮想物体Vの視角を小さくし、仮想物体Vに大きなスケーリング量を適用することで仮想物体Vの視角を大きくする。情報処理装置100は、仮想物体Vの距離に応じて、スケーリング量の制御方法を切り替える。この点について、図9〜図11を参照しながら説明する。
図9は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示すグラフである。図9に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離(即ち、仮想物体Vの距離)である。図9に示すグラフの縦軸は、仮想物体Vの大きさを、仮想物体Vに適用されるスケーリング量で表している。
図10は、図9に示したスケーリング量が適用される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示す図である。
図11は、図9に示したスケーリング量が適用される仮想物体Vの、奥行き方向の距離と視角との関係の一例を示すグラフである。図11に示すグラフの横軸は、ユーザUと仮想物体Vとの奥行き方向の距離である。図11に示すグラフの縦軸は、仮想物体Vの視角、即ち表示部121に表示される仮想物体Vの大きさである。
情報処理装置100は、仮想物体Vの距離に基づいて、仮想物体Vの視角を所定範囲内にするか否かを切り替える。仮想物体Vの視角を所定範囲内にすることは、仮想物体Vの視角を固定ないし略固定されるように、仮想物体Vの距離に応じて仮想物体Vをスケーリングすること、即ち仮想物体Vの表示を視角固定提示法に従って行うことを差す。つまり、情報処理装置100は、仮想物体Vの距離に基づいて、仮想物体Vの表示を視角固定提示法に従って行うか否かを切り替える。このような切り替えにより、情報処理装置100は、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。これにより、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。以下では、視角固定提示法に従って表示される仮想物体Vの視角の範囲を、視角固定範囲とも称する。
(1)視角固定提示区間
情報処理装置100は、仮想物体Vの距離が第2の区間に属する場合、仮想物体Vの視角を視角固定範囲内にする。即ち、情報処理装置100は、第2の区間では視角固定提示法を用いる。例えば、仮想物体Vが近すぎず、且つ遠すぎず、視角固定提示法を用いてもユーザUに違和感を与えない区間では、情報処理装置100は、仮想物体Vの視角が視角固定範囲に固定されるように、仮想物体Vをスケーリングする。これにより、第2の区間では、視角固定提示法のメリットを享受することができる。以下では、第2の区間を視角固定提示区間とも称する。
第2の区間は、第1の値以上の区間である。また、第2の区間は、第2の値未満の区間である。第1の値は、後述する縮小制限を開始する閾値となる値である。仮想物体Vの距離に基づく表示制御処理に関して言えば、第1の値は縮小制限を開始する閾値となる距離であり、縮小制限距離とも称される。第2の値は、後述する拡大制限を開始する閾値となる値である。仮想物体Vの距離に基づく表示制御処理に関して言えば、第2の値は拡大制限を開始する閾値となる距離であり、拡大制限距離とも称される。
図9に示すように、視角固定提示区間Zにおいては、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量(即ち、図9に示すグラフの傾き)を、所定値にする。ここでの所定値とは、仮想物体Vの視角が視角固定範囲内となる値である。情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるように、仮想物体Vの距離が短いほど仮想物体Vが小さくなるようスケーリングし、仮想物体Vの距離が長いほど仮想物体Vが大きくなるようスケーリングする。その結果、図10及び図11に示すように、視角固定提示区間Zにおいては、仮想物体Vの距離に依らず、仮想物体Vの視角は一定値θに固定されている。
なお、図10では、視角固定提示区間Zにおける仮想物体Vの視角θを示す破線が図示されている。図10において、仮想物体VのY軸方向の両端が当該破線に接することは視角がθであることを意味し、仮想物体Vの両端が当該破線を超えることは視角がθを超えることを意味し、仮想物体Vの両端が当該破線の中に納まることは視角がθ未満であることを意味する。
視角固定範囲の上限値及び下限値は同じ値であってもよいし、異なっていてもよい。上限値と下限値とが同じ値である場合、図5〜図7を参照して上記説明したように、視角固定提示区間においては、仮想物体Vの視角は仮想物体Vの距離に依らず固定される(即ち、一定となる)。上限値と下限値とが異なる値である場合、仮想物体Vの視角は略固定される。即ち、仮想物体Vの視角は仮想物体Vの距離に応じて変化する。ただし、上限値と下限値との間が十分狭くなるように設定される場合、単純に遠近法に従うよりも仮想物体Vの距離に応じた視角の変化度合いが緩やかになり、上述した視認性の低下を抑制することができる。以下では、視角固定範囲の上限値及び下限値は同じ値であるものとする。
(2)視角非固定提示区間
情報処理装置100は、仮想物体Vの距離が視角固定提示区間Zに属さない場合、仮想物体Vの視角を視角固定範囲外にする。即ち、情報処理装置100は、視角固定提示区間Z以外では視角固定提示法を用いない。視角固定提示区間Z以外の区間(即ち、視角非固定提示区間)として、第1の区間Z及び第3の区間Zがある。即ち、情報処理装置100は、仮想物体Vの距離が第1の区間Z、第2の区間Z又は第3の区間Zのいずれに属するかに基づいて、仮想物体Vの視角を所定範囲内にするか否かを切り替える。以下、第1の区間Z及び第3の区間Zにおける表示制御処理について詳しく説明する。
・縮小制限区間
情報処理装置100は、仮想物体Vの距離が第1の区間に属する場合、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。第1の区間は、第1の値(即ち、縮小制限距離)未満の区間である。以下では、第1の区間を縮小制限区間とも称する。また、縮小制限距離におけるスケーリング量を、縮小制限倍率とも称する。縮小制限倍率は、視角固定区間において適用されるスケーリング量の最小値、及び縮小制限区間において適用されるスケーリング量の最大値とも捉えることができる。
詳しくは、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量を、仮想物体Vの距離が縮小制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少なくする。仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量に対応する、図9に示したグラフの傾きは、仮想物体Vの距離が縮小制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、縮小制限区間Zにおいては、仮想物体Vの距離が短くなっても仮想物体Vの縮小は制限される。図10に示すように、縮小制限区間Zにおいては、仮想物体Vの距離に応じた縮小が制限されるので、仮想物体Vの視角は、視角固定提示区間Zにおける仮想物体Vの視角θを超える。
情報処理装置100は、縮小制限区間Zでは仮想物体Vの距離に応じた縮小を制限することで、図11に示すように、仮想物体Vの距離が短くなるほど仮想物体Vの視角を大きくする。換言すると、情報処理装置100は、縮小制限区間Zでは、遠近法に従って仮想物体Vを表示する。従って、仮想物体Vの距離が短くても仮想物体Vの大きさが限りなく0に近づくような事態は回避される。このように、縮小制限区間Zでは、視角固定提示法のデメリットを避け、違和感が軽減されたより自然な表示を行うことができる。
・拡大制限区間
情報処理装置100は、仮想物体Vの距離が第3の区間に属する場合、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。第3の区間は、第2の値(即ち、拡大制限距離)以上の区間である。以下では、第3の区間を拡大制限区間とも称する。また、拡大制限距離におけるスケーリング量を、拡大制限倍率とも称する。拡大制限倍率は、視角固定区間において適用されるスケーリング量の最大値、及び拡大制限区間において適用されるスケーリング量の最小値とも捉えることができる。
詳しくは、情報処理装置100は、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量を、仮想物体Vの距離が拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少なくする。仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量に対応する、図9に示したグラフの傾きは、仮想物体Vの距離が拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、拡大制限区間Zにおいては、仮想物体Vの距離が長くなっても仮想物体Vの拡大は制限される。図10に示すように、拡大制限区間Zにおいては、仮想物体Vの距離に応じた拡大が制限されるので、仮想物体Vの視角は、視角固定提示区間Zにおける仮想物体Vの視角θ未満である。
情報処理装置100は、拡大制限区間Zでは仮想物体Vの距離に応じた拡大を制限することで、図11に示すように、仮想物体Vの距離が長くなるほど仮想物体Vの視角を小さくする。換言すると、情報処理装置100は、拡大制限区間Zでは、遠近法に従って仮想物体Vを表示する。従って、仮想物体Vの距離が長くても仮想物体Vの大きさが限りなく無限大に近づくような事態は回避される。このように、拡大制限区間Zでは、視角固定提示法のデメリットを避け、違和感が軽減されたより自然な表示を行うことができる。
(3)補足
仮想物体Vの視角が変化する場合には、アニメーションによって連続的に変化させることが好ましい。アニメーションにより、仮想物体Vの視角が急激に変化することが防止され、なめらかに変化させることが可能になる。とりわけ、縮小制限距離(即ち、縮小制限倍率)及び拡大制限距離(即ち、拡大制限倍率)においては、アニメーションが用いられることが好ましい。
(4)画面表示例
以下では、図12及び図13を参照しながら、仮想物体Vの距離に基づく表示制御処理が行われる場合の画面表示例を説明する。
図12は、本実施形態に係る表示制御処理により表示される仮想物体Vを含む画面Sの一例を示す図である。図12では、重畳対象TであるユーザUの手に仮想物体Vを重畳させた状態でユーザUが重畳対象Tを前後に動かした場合の、画面Sの様子が示されている。画面S及び画面Sは、仮想物体Vの距離が視角固定提示区間Zに属する場合の様子を示しており、図12に示すように、画面S及びSに映る仮想物体Vの視角は同一である。仮想物体Vの距離が視角固定提示区間Zに属する場合、仮想物体Vの視角は同一に保たれるためである。画面Sは、仮想物体Vの距離が縮小制限区間Zに属する場合の様子を示しており、図12に示すように、画面Sに映る仮想物体Vの視角は、仮想物体Vの距離が視角固定提示区間Zに属する場合よりも大きい。縮小制限区間Zにおいては、仮想物体Vの距離が短くなっても仮想物体Vの縮小は制限されるので、遠近法により、仮想物体Vの距離が近くなるほど仮想物体Vの視角は大きくなるためである。画面Sは、仮想物体Vの距離が拡大制限区間Zに属する場合の様子を示しており、図12に示すように、画面Sに映る仮想物体Vの視角は、仮想物体Vの距離が視角固定提示区間Zに属する場合よりも小さい。拡大制限区間Zにおいては、仮想物体Vの距離が長くなっても仮想物体Vの拡大は制限されるので、遠近法により、仮想物体Vの距離が長くなるほど仮想物体Vの視角は小さくなるためである。
図13は、本実施形態に係る表示制御処理により表示される仮想物体Vを含む画面Sの一例を示す図である。図13では、重畳対象Tである富士山に仮想物体Vを重畳させた状態で重畳対象Tをズームイン/ズームアウトした場合の、画面Sの様子が示されている。画面S及び画面Sは、仮想物体Vの距離が視角固定提示区間Zに属する場合の様子を示しており、画面Sは、仮想物体Vの距離が縮小制限区間Zに属する場合の様子を示しており、画面Sは、仮想物体Vの距離が拡大制限区間Zに属する場合の様子を示している。図13に示す画面S〜Sにおける仮想物体Vの視角は、図12に示した画面S〜Sにおける仮想物体Vの視角と同様である。
(5)縮小制限/拡大制限の他の例
本実施形態に係る縮小制限/拡大制限の他の例を、図14及び図15を参照して説明する。
図14は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図14に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図14に示した例では、図9に示した例と同様に、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量は、仮想物体Vの距離が縮小制限区間Z又は拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。さらに、図14に示した例では、情報処理装置100は、仮想物体Vの距離が視角固定提示区間Zに属さない場合(即ち、縮小制限区間Z又は拡大制限区間Zに属する場合)、仮想物体Vが表示される大きさを固定している。詳しくは、縮小制限区間Zにおいては、仮想物体Vの距離によらず、仮想物体Vの大きさ(ここでは、スケーリング量)は縮小制限倍率に固定される。また、拡大制限区間Zにおいては、仮想物体Vの距離によらず、仮想物体Vの大きさは拡大制限倍率に固定される。これにより、縮小制限区間Z及び拡大制限区間Zでは、遠近法に完全に従って仮想物体Vが表示される。これにより、仮想物体Vのより自然な表示が実現される。
図15は、本実施形態に係る表示制御処理により表示される仮想物体Vの、奥行き方向の距離とスケーリング量との関係の一例を示す図である。図15に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図15に示した例では、図9に示した例と同様に、仮想物体Vの距離の変化量に対する仮想物体Vの大きさの変化量は、仮想物体Vの距離が縮小制限区間Z又は拡大制限区間Zに属する場合、仮想物体Vの距離が視角固定提示区間Zに属する場合と比較して少ない。これにより、図15に示した例では、図9に示した例と同様に、ユーザUに与える違和感が軽減されると共に、遠近法に従った仮想物体Vの自然な表示が実現される。ここで、図9及び図14に示したグラフを参照すると、縮小制限距離及び拡大制限距離において、仮想物体Vの大きさ(即ち、スケーリング量)が急変することが分かる。従って、図9及び図14に示した表示制御処理では、時間的に継続して接近する/遠ざかるなどのユースケースにおいて、接近/遠ざかる途中で仮想物体Vの視角が突然変化して見えることになる。この点、図15に示したグラフでは、縮小制限距離の前後及び拡大制限距離の前後では曲線的かつ連続的に仮想物体Vの大きさ(即ち、スケーリング量)が変化する。これにより、図15に示した表示制御処理では、時間的に継続して接近する/遠ざかるなどのユースケースにおいて、接近/遠ざかる途中での仮想物体Vの視角の変化を滑らかにし、ユーザUに変化を知覚させないようにすることが可能となる。
情報処理装置100は、縮小を制限する縮小制限区間及び拡大を制限する視角固定提示区間の他に、仮想物体Vの表示を停止する第4の区間を設けてもよい。情報処理装置100は、第4の区間においては、仮想物体Vを表示しない。
(6)仮想物体Vの融合/分離
視角固定提示法により仮想物体Vの視角が一定に保たれる場合、仮想物体Vが重畳される対象同士が接近したり重なり合ったりして、複数の仮想物体Vが重なり合って表示され得る。その場合、複数の仮想物体Vの視認性が低下してしまう。
そこで、情報処理装置100は、ユーザUと複数の仮想物体V(又は仮想物体Vが重畳される重畳対象)との相対的な位置関係に応じて、表示する仮想物体Vの数を削減するか否かを制御する。情報処理装置100は、所定距離以上分離して表示される複数の仮想物体Vについては、表示する仮想物体Vの数を削減しない。一方で、情報処理装置100は、所定距離未満に接近して表示される又は重なり合って表示される複数の仮想物体Vについては、表示する仮想物体Vの数を削減する。その際、情報処理装置100は、複数の仮想物体Vのうち、いずれか一方を不可視化して優先度の高い他方のみを表示する、又は各々の仮想物体Vの内容を統合してより上位の内容を含む仮想物体Vを表示する等する。これにより、仮想物体Vの視認性を向上させることができる。図16を参照して、この一例を説明する。
図16は、本実施形態に係る表示制御処理により表示される仮想物体Vの一例を示す図である。図16では、ユーザUと複数の仮想物体V(又は、重畳対象T)との距離が変化した場合の、複数の仮想物体Vの表示の変化が示されている。ユーザUと複数の仮想物体Vとの距離は、画面Sでは短く、画面Sでは長い。画面Sを参照すると、ユーザUと重畳対象T及びTとの距離が短いため、遠近法により重畳対象T及びTは大きく映っている。仮想物体V及びVは、重畳対象T及びTに内包されて分離して表示されるので、情報処理装置100は、図16に示すように、表示する仮想物体Vの数を削減せず、画面Sにおいて仮想物体V及びVをそのまま表示する。一方で、画面Sを参照すると、ユーザUと重畳対象T及びTとの距離が長いため、遠近法により重畳対象T及びTは小さく映っている。仮想物体V及びVの視角が一定に保たれる場合、仮想物体V及びVが重畳対象T及びTが映る範囲を超えて重なって表示され得る。そこで、図16に示すように、情報処理装置100は、画面Sにおいて、仮想物体V及びVに代えて仮想物体V及びVの内容を統合した新たな仮想物体Vを表示することで、表示する仮想物体Vの数を削減する。これにより、表示される仮想物体Vの視認性を向上させることができる。
また、情報処理装置100は、ユーザUと複数の仮想物体V(又は重畳対象T)との相対的な位置関係に応じて、複数の仮想物体Vの視認性を向上させる処理を行ってもよい。複数の仮想物体Vの視認性を向上させる処理は、複数の仮想物体Vの位置を変更する処理であってもよい。その場合、情報処理装置100は、所定距離以上分離して表示される複数の仮想物体Vについては、位置を変更しない。一方で、情報処理装置100は、所定距離未満に接近して表示される又は重なり合って表示される複数の仮想物体Vについては、所定距離以上離れるように、少なくともいずれか一方の位置を変更する。これにより、複数の仮想物体Vの視認性を向上させることができる。複数の仮想物体Vの視認性を向上させる処理は、複数の仮想物体Vの視角を再調整する、又は表示形態(色及び濃淡等)を再調整する処理であってもよい。図17を参照して、複数の仮想物体Vの視認性を向上させる処理が、複数の仮想物体Vの位置を変更する処理である場合の例を説明する。
図17は、本実施形態に係る表示制御処理により表示される仮想物体Vの一例を示す図である。図17では、ユーザUと複数の重畳対象Tとの角度が変化した場合の、複数の仮想物体Vの表示の変化が示されている。画面Sを参照すると、ユーザUは重畳対象T及びTが重ならない角度から重畳対象T及びTを見ている。仮想物体V及びVは、重畳対象T及びTに内包されて分離して表示されるので、情報処理装置100は、図17に示すように、表示する仮想物体Vの位置を変更せず、画面Sにおいて仮想物体V及びVをそのまま表示する。画面Sを参照すると、ユーザUは重畳対象T及びTが重なる角度から重畳対象T及びTを見ている。仮想物体V及びVが、重畳対象T及びTに内包されて表示されると、重なって表示され得る。そこで、図17に示すように、情報処理装置100は、仮想物体V及びVが所定距離以上離れるように、仮想物体V及びVの位置を互いに相反する方向に移動させて表示する。これにより、仮想物体V及びVの視認性を向上させることができる。
<3.2.バウンディングボックスに基づく表示制御処理>
情報処理装置100は、バウンディングボックスに基づいて仮想物体Vを表示してもよい。
(1)バウンディングボックスの設定
情報処理装置100は、仮想物体Vの表示が許容される領域をバウンディングボックスとして設定する。仮想物体Vの表示が許容される領域とは、仮想物体Vを表示可能な領域のうち、仮想物体Vが表示されてもよい領域である。仮想物体Vを表示可能な領域とは、ユーザデバイス100のハードウェア性能により定義される領域であり、例えば、画面全体のうち所定の表示機能を有する領域である。仮想物体Vが表示されてもよい領域とは、例えば、仮想物体Vとして表示されるコンテンツ、仮想物体Vの表示を指示したアプリケーション、ユーザUのコンテキスト又は背景空間の状態等に基づいて定義される領域である。本実施形態では、バウンディングボックスは、背景空間における任意の重畳対象を内包又は外包するように設定されるものとする。情報処理装置100は、重畳対象の形状を画面に投影した2次元形状を内包又は外包する領域(例えば、矩形)を、バウンディングボックスとして設定する。
情報処理装置100は、ユーザUと背景空間におけるバウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、バウンディングボックスの大きさを制御する。背景空間におけるバウンディングボックスが対応付けられる対象とは、仮想物体Vが重畳される重畳対象である。ユーザUと重畳対象との位置及び姿勢の相対関係により、重畳対象の形状を画面に投影した2次元形状は変化し得る。情報処理装置100は、当該変化後もバウンディングボックスが当該2次元形状を内包又は外包するように、バウンディングボックスの大きさを制御する。以下では、一例といて、ユーザUと背景空間におけるバウンディングボックスが対応付けられる重畳対象との距離に応じてバウンディングボックスの大きさを制御する例を、図18及び図19を参照して説明する。
図18は、本実施形態に係るバウンディングボックスの一例を示す図である。図18では、バウンディングボックスBが対応付けられる重畳対象Tが物体であり、ユーザUと重畳対象Tとの距離が変化した場合の、バウンディングボックスBの大きさが示されている。ユーザUと重畳対象Tとの距離は、画面Sが最も短く、画面S、画面Sの順に長くなる。ユーザUと重畳対象Tとの距離が短いほど画面に映る重畳対象Tは大きくなるので、図18に示すように、画面SにおいてバウンディングボックスBが最も大きく設定される。また、ユーザUと重畳対象Tとの距離が長いほど画面に映る重畳対象Tは小さくなるので、図18に示すように、画面SにおいてバウンディングボックスBが最も小さく設定される。
図19は、本実施形態に係るバウンディングボックスの一例を示す図である。図19では、バウンディングボックスBが対応付けられる重畳対象Tが、物体と物体との間に挟まれた空間であり、ユーザUと重畳対象Tとの距離が変化した場合の、バウンディングボックスBの大きさが示されている。ユーザUと重畳対象Tとの距離は、画面Sが最も短く、画面S、画面Sの順に長くなる。ユーザUと重畳対象Tとの距離が短いほど画面に映る重畳対象Tは大きくなるので、図19に示すように、画面SにおいてバウンディングボックスBが最も大きく設定される。また、ユーザUと重畳対象Tとの距離が長いほど画面に映る重畳対象Tは小さくなるので、図19に示すように、画面SにおいてバウンディングボックスBが最も小さく設定される。
(2)バウンディングボックスに基づく表示制御処理
情報処理装置100は、バウンディングボックスに基づいて、仮想物体Vの表示を制御する。具体的には、情報処理装置100は、バウンディングボックスが対応付けられる重畳対象の位置に仮想物体Vを配置し、バウンディングボックス内に収まる視角で仮想物体Vを表示する。
情報処理装置100は、バウンディングボックスの大きさに基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替える。即ち、情報処理装置100は、バウンディングボックスの大きさに基づいて、仮想物体Vの表示を視角固定提示法に従って行うか否かを切り替える。詳しくは、情報処理装置100は、バウンディングボックスの大きさが所定の大きさの範囲内に属する場合に、仮想物体Vの表示を視角固定提示法に従って行う。一方で、情報処理装置100は、バウンディングボックスの大きさが所定の大きさの範囲外に属する場合に、仮想物体Vの表示を視角固定提示法に従って行わない。このような切り替えにより、情報処理装置100は、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。
以下、具体的な切り替え方法の一例を説明する。
情報処理装置100は、仮想物体Vを表示可能な領域に占めるバウンディングボックスの割合に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替える。仮想物体Vを表示可能な領域とは、例えば、表示部121の表示可能な領域全面、即ち画面全体を指す。情報処理装置100は、画面全体に占めるバウンディングボックスの割合が所定の割合を超えない場合に、仮想物体Vの表示を視角固定提示法に従って行う。ここでの所定の割合とは、例えば80%程度であってもよい。画面全体に占めるバウンディングボックスの割合が大きいことは、バウンディングボックスが対応付けられる対象とユーザUとの距離、即ち仮想物体Vの距離が近いことを意味する。仮想物体Vの距離に基づく表示制御処理において上記説明したように、仮想物体Vの距離が近すぎる場合には縮小が制限されて、仮想物体Vの視角が大きく表示されることが望ましい。
そこで、情報処理装置100は、上述した所定の割合を拡大制限値とする。そして、情報処理装置100は、画面全体に占めるバウンディングボックスの割合が縮小制限値を超えない範囲を視角固定提示区間として、視角固定提示法に従って仮想物体Vを表示する。一方で、情報処理装置100は、画面全体に占めるバウンディングボックスの割合が縮小制限値を超える範囲を縮小制限区間として、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲よりも大きくする。これにより、仮想物体Vの距離が近すぎた場合に仮想物体Vの大きさが限りなく0に近づくような事態は回避されるので、ユーザUに与える違和感が軽減される。
情報処理装置100は、バウンディングボックス内の仮想物体Vの視角がバウンディングボックスを超えない範囲で、仮想物体Vの視角を視角固定範囲内にする。ただし、仮想物体Vの視角が一定である場合、例えばユーザUとバウンディングボックスが対応付けられる対象重畳との距離が長くなってバウンディングボックスが小さくなると、仮想物体Vがバウンディングボックスを超えるおそれがある。その場合、情報処理装置100は、仮想物体Vの表示を視角固定提示法に従って行わず、仮想物体Vの視角を視角固定範囲よりも小さくする。
換言すると、情報処理装置100、視角固定提示法に従って表示される仮想物体Vの視角を、拡大制限値とする。そして、情報処理装置100は、バウンディングボックスの大きさが拡大制限値を下回らない範囲を視角固定提示区間として、視角固定提示法に従って仮想物体Vを表示する。一方で、情報処理装置100は、バウンディングボックスの大きさが拡大制限値を下回る範囲を拡大制限区間として、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲よりも小さくする。これにより、視角固定提示区間及び拡大制限区間において、仮想物体Vの視角を、バウンディングボックス内に維持することができる。また、仮想物体Vの距離が遠すぎた場合に仮想物体Vの大きさが限りなく無限大に近づくような事態は回避されるので、ユーザUに与える違和感が軽減される。
<3.3.他の基準に基づく表示制御処理>
情報処理装置100は、他の基準に基づいて、視角固定提示法を適用するか否かを切り替えてもよい。以下、他の基準の一例を説明する。
(1)重畳対象の距離
情報処理装置100は、ユーザUから背景空間における仮想物体Vが重畳される対象までの奥行き方向の距離に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替えてもよい。即ち、情報処理装置100は、ユーザUから背景空間における重畳対象Tまでの奥行き方向の距離に基づいて、視角固定提示法に従って仮想物体Vを表示するか否かを切り替えてもよい。かかる距離を、以下では重畳対象の距離とも称する。本基準に基づく表示制御処理は、上述した仮想物体Vの距離の基づく表示制御処理における、仮想物体Vの距離を重畳対象の距離に代えたものである。
情報処理装置100は、重畳対象の距離が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、重畳対象の距離が30cm以上5m未満の区間であるものとする。
他方、情報処理装置100は、重畳対象の距離が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲内にしない、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、重畳対象の距離が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、重畳対象の距離が30cm未満の区間である。一方で、情報処理装置100は、重畳対象の距離が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、重畳対象の距離が5m以上の区間である。
このような表示制御処理により、上述した仮想物体Vの距離に基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
(2)重畳対象の割合
情報処理装置100は、仮想物体Vを表示可能な領域に占める、背景空間における仮想物体Vが重畳される対象の割合に基づいて、仮想物体Vが表示される大きさを視角固定範囲内にするか否かを切り替えてもよい。仮想物体Vを表示可能な領域とは、例えば、表示部121の表示可能な領域全面、即ち画面全体を指す。即ち、情報処理装置100は、画面全体に占める重畳対象の割合に基づいて、視角固定提示法に従って仮想物体Vを表示するか否かを切り替えてもよい。
情報処理装置100は、画面全体に占める重畳対象の割合が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、重畳対象の割合が10%以上80%未満の区間であるものとする。
情報処理装置100は、画面全体に占める重畳対象の割合が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲外にする、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、画面全体に占める重畳対象の割合が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、重畳対象の割合が80%以上の区間である。一方で、情報処理装置100は、画面全体に占める重畳対象の割合が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、重畳対象の割合が10%未満の区間である。
このような表示制御処理により、上述したバウンディングボックスに基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
(3)仮想物体Vのスケーリング量
情報処理装置100は、仮想物体Vの視角を所定の視角にするために要されるスケーリング量に基づいて、仮想物体Vの視角を視角固定範囲内にするか否かを切り替えてもよい。基準の距離(例えば、1m)に仮想物体Vを配置した場合の仮想物体Vの視角を、基準の視角とする。基準の距離と同じ距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍である。基準の距離よりも短い距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍未満である。他方、基準の距離よりも長い距離に仮想物体Vを配置した場合、仮想物体Vの視角を基準の視角にするために要されるスケーリング量は1倍を超える。仮想物体Vの視角を基準の視角にするために要されるスケーリング量を、以下では基準化スケーリング量とも称する。本基準に基づく表示制御処理は、上述した仮想物体Vの距離の基づく表示制御処理における、仮想物体Vの距離を基準化スケーリング量に代えたものである。
情報処理装置100は、基準化スケーリング量が視角固定提示区間に属する場合、仮想物体Vの視角を視角固定範囲内にする、即ち視角固定提示法に従って仮想物体Vを表示する。例えば、視角固定提示区間は、仮想物体Vのスケーリング量が0.1倍以上5.0倍未満の区間であるものとする。
他方、情報処理装置100は、基準化スケーリング量が視角固定提示区間に属さない場合、仮想物体Vの視角を視角固定範囲内にしない、即ち視角固定提示法に従わずに仮想物体Vを表示する。詳しくは、情報処理装置100は、基準化スケーリング量が縮小制限区間に属する場合に、仮想物体Vの縮小を制限し、仮想物体Vの視角を視角固定範囲の上限値よりも大きくする。ここでの縮小制限区間は、仮想物体Vのスケーリング量が0.1倍未満の区間である。一方で、情報処理装置100は、基準化スケーリング量が拡大制限区間に属する場合に、仮想物体Vの拡大を制限し、仮想物体Vの視角を視角固定範囲の下限値よりも小さくする。ここでの拡大制限区間は、仮想物体Vのスケーリング量が5.0倍以上の区間である。
このような表示制御処理により、上述した仮想物体Vの距離に基づく表示制御処理と同様に、視角固定提示法のメリットを享受しつつも、デメリットが生じる区間では視角固定提示法を用いない、という使い分けを行うことが可能となる。よって、仮想物体Vの視認性の維持と違和感の軽減とを両立することができる。
<3.4.複数の基準の併用>
上述した、複数の基準は、2以上が併用されてもよい。
まず、情報処理装置100は、複数の基準の各々に基づいて拡大制限倍率及び縮小制限倍率を設定する。次いで、情報処理装置100は、複数の基準の各々に基づいてスケーリング量を計算する。そして、情報処理装置100は、スケーリング量がいずれかの基準において拡大制限倍率又は縮小制限倍率に達した場合に、拡大制限又は縮小制限を行う。例えば、情報処理装置100は、複数の基準に基づく複数の拡大制限倍率のうち、最も小さい値をとる拡大制限倍率を用いて、拡大制限を行う。また、情報処理装置100は、複数の基準に基づく複数の縮小制限倍率のうち、最も大きい値をとる縮小制限倍率を用いて、縮小制限を行う。
以下では、図20及び図21を参照して、仮想物体Vの距離の基準及びバウンディングボックスの基準が併用される場合の例を説明する。
図20は、本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体Vの距離とスケーリング量との関係の一例を示すグラフである。図20に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図20に示した例では、情報処理装置100は、仮想物体Vの距離に応じてスケーリングを行う。図20に示すように、バウンディングボックスによる拡大制限倍率と仮想物体Vの距離による拡大制限倍率とを比較すると、仮想物体Vの距離による拡大制限倍率の方が小さい。そのため、情報処理装置100は、拡大制限区間では、仮想物体Vの距離による拡大制限倍率を用いて仮想物体Vの拡大を制限する。また、図20に示すように、バウンディングボックスによる縮小制限倍率と仮想物体Vの距離による縮小制限倍率とを比較すると、バウンディングボックスによる縮小制限倍率の方が大きい。そのため、情報処理装置100は、縮小制限区間では、バウンディングボックスによる縮小制限倍率を用いて仮想物体Vの縮小を制限する。
図21は、本実施形態に係る複数の基準に基づく表示制御処理が併用される場合の、仮想物体Vの距離とスケーリング量との関係の一例を示すグラフである。図21に示すグラフの横軸及び縦軸は、図9に示したグラフの横軸及び縦軸と同様である。図21に示した例では、情報処理装置100は、仮想物体Vの距離に応じてスケーリングを行う。図21に示すように、バウンディングボックスによる拡大制限倍率と仮想物体Vの距離による拡大制限倍率とを比較すると、バウンディングボックスによる拡大制限倍率の方が小さい。そのため、情報処理装置100は、拡大制限区間では、バウンディングボックスによる拡大制限倍率を用いて仮想物体Vの拡大を制限する。また、図20に示すように、バウンディングボックスによる縮小制限倍率と仮想物体Vの距離による縮小制限倍率とを比較すると、仮想物体Vの距離による縮小制限倍率の方が大きい。そのため、情報処理装置100は、縮小制限区間では、仮想物体Vの距離による縮小制限倍率を用いて仮想物体Vの縮小を制限する。
なお、上記では、仮想物体Vの距離の基準及びバウンディングボックスの基準が併用される場合の例を説明したが、これら以外の基準が組み合わされてもよい。即ち、仮想物体Vの距離、バウンディングボックス、仮想物体Vの距離、重畳対象の距離、画面全体に占める重畳対象の割合、及び仮想物体Vのスケーリング量のうち、2以上の任意の基準が併用されてもよい。また、3以上の基準が組み合わされてもよい。
<3.5.処理の流れ>
以下では、図22〜図24を参照して、本実施形態に係る表示制御処理の流れを説明する。
(1)第1の例
図22は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、仮想物体Vの距離に基づく表示制御処理の流れの一例が示されている。
図22に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS102)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、仮想物体VとユーザUとの奥行き方向の距離に基づいて、仮想物体Vの視角を計算する(ステップS104)。次に、情報処理装置100は、ユーザUと仮想物体Vとの距離は視角固定提示区間に属するか否かを判定する(ステップS106)。ユーザUと仮想物体Vとの距離は視角固定提示区間に属すると判定された場合(ステップS106/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS108)。一方で、ユーザUと仮想物体Vとの距離は視角固定提示区間に属しないと判定された場合(ステップS106/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS110)。そして、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS112)。
(2)第2の例
図23は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、仮想物体Vの距離に基づく表示制御処理の流れの他の一例が示されている。
図23に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS202)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、仮想物体VとユーザUとの奥行き方向の距離に基づいて、仮想物体Vの視角を計算する(ステップS204)。次に、情報処理装置100は、ユーザUと仮想物体Vとの距離は視角固定提示区間に属するか否かを判定する(ステップS206)。ユーザUと仮想物体Vとの距離は視角固定提示区間に属すると判定された場合(ステップS206/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS208)。その後、処理はステップS216に進む。一方で、ユーザUと仮想物体Vとの距離は視角固定提示区間に属しないと判定された場合(ステップS206/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS210)。次に、情報処理装置100は、仮想物体Vは適切に表示されるか否かを判定する(ステップS212)。仮想物体Vが適切に表示されない場合とは、例えば、仮想物体Vがバウンディングボックスからはみ出したり、表示サイズが大きく/小さくなり過ぎたりすること等である。仮想物体Vは適切に表示されると判定された場合(ステップS212/YES)、処理はステップS216に進む。一方で、仮想物体Vは適切に表示されないと判定された場合(ステップS212/NO)、情報処理装置100は、仮想物体Vにぼかし又はフェードアウト表現を適用する(ステップS214)。これにより、仮想物体VがユーザUの視界を邪魔する事態を回避することができる。その後、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS216)。
(3)第3の例
図24は、本実施形態に係る情報処理装置100により実行される表示制御処理の流れの一例を示すフローチャートである。本フローでは、複数の基準が併用される場合の表示制御処理の流れの一例が示されている。
図24に示すように、情報処理装置100は、空間情報、及びユーザUの位置姿勢情報を取得する(ステップS302)。次いで、情報処理装置100は、仮想物体Vを背景空間に配置し、複数の基準の各々に基づいて、仮想物体Vの視角を計算する(ステップS304)。次に、情報処理装置100は、複数の基準の各々に基づいて計算された複数の視角の各々について、視角固定範囲内にするためのスケーリング量を計算する(ステップS306)。次いで、情報処理装置100は、計算した複数のスケーリング量に基づいて、最も適したスケーリング量を計算する(ステップS308)。最も適したスケーリング量とは、例えば、複数のスケーリング量のうち最も自然なスケーリング量、又は中間値、最頻値若しくは平均値等の統計値である。次に、情報処理装置100は、ステップS308において計算したスケーリング量が視角固定提示区間に属するか否かを判定する(ステップS310)。例えば、情報処理装置100は、計算したスケーリング量が、複数の基準の各々における拡大制限倍率のうち最も小さい値をとる拡大制限倍率より小さいか、及び複数の基準の各々における縮小制限倍率のうち最も大きい値をとる拡大制限倍率より大きいかを判定する。スケーリング量が視角固定提示区間に属すると判定された場合(ステップS310/YES)、情報処理装置100は、仮想物体Vの視角が視角固定範囲内になるようにスケーリング量を設定し、スケーリングする(ステップS312)。一方で、スケーリング量が視角固定提示区間に属しないと判定された場合(ステップS310/NO)、情報処理装置100は、拡大制限区間又は縮小制限区間に対応する制限されたスケーリング量を設定し、スケーリングする(ステップS314)。そして、情報処理装置100は、モデルビュー変換及びプロジェクション変換等の各種変換を行った上で、仮想物体Vを画面Sに出力する(ステップS316)。
<<4.まとめ>>
以上、図1〜図24を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、ユーザが見る背景空間に重畳させて仮想物体を表示させ、ユーザから仮想物体までの奥行き方向の距離に基づいて、仮想物体が表示される大きさを制御する。とりわけ、情報処理装置100は、ユーザから仮想物体までの奥行き方向の距離が第1の区間又は第2の区間のいずれに属するかに基づいて、仮想物体が表示される大きさを所定範囲内にするか否かを切り替える。情報処理装置100は、仮想物体の表示を視角固定提示法に従って行うか否かを切り替えることで、視角固定提示法に従う区間では仮想物体の視認性を維持しつつ、視角固定提示法に従わない区間でも仮想物体を表示し続けることができる。そのため、情報処理装置100は、ユーザに提供する情報量を低下させることなく、仮想物体の視認性を向上させることができる。さらに、情報処理装置100は、視角固定提示法に従わない区間では、遠近法に基づいて仮想物体の視角を拡縮することで、違和感が軽減されたより自然な表示を行うことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図8に示した情報処理装置100の機能構成例のうち、記憶部130及び制御部140が、センサ部110、表示部121、スピーカー122、通信部123及び操作入力部124とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザが見る空間に重畳させて仮想物体を表示させ、
前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
を備える情報処理装置。
(2)
前記第1の区間は第1の値未満の区間であり、前記第2の区間は、前記第1の値以上の区間であり、
前記制御部は、前記距離が前記第1の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の上限値よりも大きくし、前記距離が前記第2の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲内にする、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記距離が第3の区間に属するか否かに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替え、
前記第2の区間は第2の値未満の区間であり、前記第3の区間は、前記第2の値以上の区間である、前記(1)又は(2)に記載の情報処理装置。
(4)
前記制御部は、前記距離が前記第3の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の下限値よりも小さくする、前記(3)に記載の情報処理装置。
(5)
前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離の変化量に対する前記仮想物体の大きさの変化量を、前記距離が前記第2の区間に属さない場合、前記距離が前記第2の区間に属する場合と比較して少なくする、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離が前記第2の区間に属さない場合に前記仮想物体の大きさを固定する、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記所定範囲の上限値と下限値とは同じ値である、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、前記仮想物体の表示が許容される領域をバウンディングボックスとして設定し、前記バウンディングボックスの大きさに基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記制御部は、前記ユーザと前記空間における前記バウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、前記バウンディングボックスの大きさを制御する、前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記仮想物体を表示可能な領域に占める前記バウンディングボックスの割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(8)又は(9)に記載の情報処理装置。
(11)
前記制御部は、前記バウンディングボックス内の前記仮想物体が表示される大きさが前記バウンディングボックスを超えない範囲で、前記仮想物体が表示される大きさを前記所定範囲内にする、前記(8)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記制御部は、前記ユーザから前記仮想物体が重畳される対象までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記制御部は、前記仮想物体を表示可能な領域に占める前記仮想物体が重畳される対象の割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記制御部は、前記仮想物体が表示される大きさを所定の大きさにするために要されるスケーリング量に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
ユーザが見る空間に重畳させて仮想物体を表示させ、
前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、
を含む、プロセッサにより実行される情報処理方法。
(16)
コンピュータを、
ユーザが見る空間に重畳させて仮想物体を表示させ、
前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
として機能させるためのプログラムが記録された記録媒体。
100 情報処理装置
110 センサ部
111 カメラ
112 カメラ
113 マイク
114 ジャイロセンサ
115 加速度センサ
116 方位センサ
117 位置測位部
118 生体センサ
121 表示部
122 スピーカー
123 通信部
124 操作入力部
130 記憶部
140 制御部
141 空間情報取得部
142 位置姿勢取得部
143 表示制御部
144 出力処理部

Claims (16)

  1. ユーザが見る空間に重畳させて仮想物体を表示させ、
    前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
    前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
    を備える情報処理装置。
  2. 前記第1の区間は第1の値未満の区間であり、前記第2の区間は、前記第1の値以上の区間であり、
    前記制御部は、前記距離が前記第1の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の上限値よりも大きくし、前記距離が前記第2の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲内にする、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記距離が第3の区間に属するか否かに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替え、
    前記第2の区間は第2の値未満の区間であり、前記第3の区間は、前記第2の値以上の区間である、請求項1に記載の情報処理装置。
  4. 前記制御部は、前記距離が前記第3の区間に属する場合、前記仮想物体が表示される大きさを前記所定範囲の下限値よりも小さくする、請求項3に記載の情報処理装置。
  5. 前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離の変化量に対する前記仮想物体の大きさの変化量を、前記距離が前記第2の区間に属さない場合、前記距離が前記第2の区間に属する場合と比較して少なくする、請求項1に記載の情報処理装置。
  6. 前記制御部は、前記仮想物体の大きさを制御することで、前記仮想物体が表示される大きさを制御し、前記距離が前記第2の区間に属さない場合に前記仮想物体の大きさを固定する、請求項1に記載の情報処理装置。
  7. 前記所定範囲の上限値と下限値とは同じ値である、請求項1に記載の情報処理装置。
  8. 前記制御部は、前記仮想物体の表示が許容される領域をバウンディングボックスとして設定し、前記バウンディングボックスの大きさに基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  9. 前記制御部は、前記ユーザと前記空間における前記バウンディングボックスが対応付けられる対象との位置及び姿勢の相対関係に基づいて、前記バウンディングボックスの大きさを制御する、請求項8に記載の情報処理装置。
  10. 前記制御部は、前記仮想物体を表示可能な領域に占める前記バウンディングボックスの割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項8に記載の情報処理装置。
  11. 前記制御部は、前記バウンディングボックス内の前記仮想物体が表示される大きさが前記バウンディングボックスを超えない範囲で、前記仮想物体が表示される大きさを前記所定範囲内にする、請求項8に記載の情報処理装置。
  12. 前記制御部は、前記ユーザから前記仮想物体が重畳される対象までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  13. 前記制御部は、前記仮想物体を表示可能な領域に占める前記仮想物体が重畳される対象の割合に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  14. 前記制御部は、前記仮想物体が表示される大きさを所定の大きさにするために要されるスケーリング量に基づいて、前記仮想物体が表示される大きさを前記所定範囲内にするか否かを切り替える、請求項1に記載の情報処理装置。
  15. ユーザが見る空間に重畳させて仮想物体を表示させ、
    前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
    前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替えること、
    を含む、プロセッサにより実行される情報処理方法。
  16. コンピュータを、
    ユーザが見る空間に重畳させて仮想物体を表示させ、
    前記ユーザから前記仮想物体までの奥行き方向の距離に基づいて、前記仮想物体が表示される大きさを制御し、
    前記距離が第1の区間又は第2の区間のいずれに属するかに基づいて、前記仮想物体が表示される大きさを所定範囲内にするか否かを切り替える制御部、
    として機能させるためのプログラムが記録された記録媒体。
JP2018006911A 2018-01-19 2018-01-19 情報処理装置、情報処理方法及び記録媒体 Pending JP2019125278A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018006911A JP2019125278A (ja) 2018-01-19 2018-01-19 情報処理装置、情報処理方法及び記録媒体
PCT/JP2018/040115 WO2019142432A1 (ja) 2018-01-19 2018-10-29 情報処理装置、情報処理方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018006911A JP2019125278A (ja) 2018-01-19 2018-01-19 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
JP2019125278A true JP2019125278A (ja) 2019-07-25

Family

ID=67301396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018006911A Pending JP2019125278A (ja) 2018-01-19 2018-01-19 情報処理装置、情報処理方法及び記録媒体

Country Status (2)

Country Link
JP (1) JP2019125278A (ja)
WO (1) WO2019142432A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020130A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体
US20220028153A1 (en) * 2018-08-08 2022-01-27 Samsung Electronics Co., Ltd. Electronic device for displaying avatar corresponding to external object according to change in position of external object
WO2022046924A3 (en) * 2020-08-25 2022-04-07 Sterling Labs Llc Techniques for resizing virtual objects

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3734555A1 (en) * 2012-12-10 2020-11-04 Sony Corporation Display control apparatus, display control method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220028153A1 (en) * 2018-08-08 2022-01-27 Samsung Electronics Co., Ltd. Electronic device for displaying avatar corresponding to external object according to change in position of external object
US11636641B2 (en) * 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd Electronic device for displaying avatar corresponding to external object according to change in position of external object
WO2021020130A1 (ja) * 2019-07-29 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7392723B2 (ja) 2019-07-29 2023-12-06 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11908090B2 (en) 2019-07-29 2024-02-20 Sony Group Corporation Information processing device, information processing method, and program
JP2022505999A (ja) * 2019-10-15 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 拡張現実データの提示方法、装置、機器および記憶媒体
WO2022046924A3 (en) * 2020-08-25 2022-04-07 Sterling Labs Llc Techniques for resizing virtual objects

Also Published As

Publication number Publication date
WO2019142432A1 (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US9858643B2 (en) Image generating device, image generating method, and program
US11024083B2 (en) Server, user terminal device, and control method therefor
WO2019142432A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6134019B1 (ja) 仮想現実空間提供方法および仮想現実空間提供プログラム
JP7176520B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US11423604B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US11327317B2 (en) Information processing apparatus and information processing method
US10771707B2 (en) Information processing device and information processing method
US20220319058A1 (en) Augmented reality content generation with update suspension
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
EP4325476A1 (en) Video display system, information processing method, and program
WO2024057783A1 (ja) 360度画像視点位置同定部を備える情報処理装置
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11647350B2 (en) Audio processing
US11908090B2 (en) Information processing device, information processing method, and program
CN109313823A (zh) 信息处理装置、信息处理方法和程序
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법