JP2019125986A - 情報処理装置および方法、並びにプログラム - Google Patents
情報処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2019125986A JP2019125986A JP2018006936A JP2018006936A JP2019125986A JP 2019125986 A JP2019125986 A JP 2019125986A JP 2018006936 A JP2018006936 A JP 2018006936A JP 2018006936 A JP2018006936 A JP 2018006936A JP 2019125986 A JP2019125986 A JP 2019125986A
- Authority
- JP
- Japan
- Prior art keywords
- content
- output
- augmented reality
- real
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】コンテンツを体験するユーザの違和感の増大を抑制することができるようにする。【解決手段】現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、その現実コンテンツ及び拡張現実コンテンツが同時に出力される時の現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する。本開示は、例えば、情報処理装置、コンテンツ出力装置、画像表示装置、音声出力装置、画像処理装置、または情報処理システム等に適用することができる。【選択図】図2
Description
本開示は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツを体験するユーザの違和感の増大を抑制することができるようにした情報処理装置および方法、並びにプログラムに関する。
従来、ユーザが仮想現実(AR(Augmented Reality))体験をすることができるデバイスが考えられた(例えば特許文献1参照)。例えば、ユーザが装着して使用する眼鏡型のARグラス等が考えられた。近年、複数のデバイスを同時に併用して、複数の空間を同時に視聴することが増えると考えられている。例えば、ARグラスを着用したまま、3Dプロジェクタなどで投影された3D空間を視聴する等のケースが考えられる。このような構成により、ユーザは、バーチャルな3D空間に対して仮想物体が重畳されるような体験をすることができる。
しかしながら、このように重畳される、ARグラスのモニタに表示される仮想物体と、3Dプロジェクタにより投影される3D空間との間に性能差がある場合(たとえば、解像度、映像のフレッシュレート、音のサンプリングレート等に差がある場合)、それらを同時に体験するユーザがその性能差によって違和感を覚え、没入感が低下する等、ユーザの満足度が低減してしまうおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、コンテンツを体験するユーザの違和感の増大を抑制することができるようにするものである。
本技術の一側面の情報処理装置は、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部を備える情報処理装置である。
本技術の一側面の情報処理方法は、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する情報処理方法である。
本技術の一側面のプログラムは、コンピュータを、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部として機能させるプログラムである。
本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータが調整される。
本開示によれば、情報を処理することができる。特に、コンテンツを体験するユーザの違和感の増大を抑制することができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.仮想現実体験
2.第1の実施の形態(コンテンツ出力システム)
3.第2の実施の形態(コンテンツ出力システム(サーバ有))
4.付記
1.仮想現実体験
2.第1の実施の形態(コンテンツ出力システム)
3.第2の実施の形態(コンテンツ出力システム(サーバ有))
4.付記
<1.仮想現実体験>
<本明細書における「性能」>
本明細書における「性能」には、例えば「コンテンツの出力に関する性能」の意味が含まれる。そして、この「コンテンツの出力に関する性能」には、例えば、「機器の最大性能」、「コンテンツの最大性能」、「コンテンツの現在性能」、および「コンテンツの知覚強度」等の意味が含まれる。
<本明細書における「性能」>
本明細書における「性能」には、例えば「コンテンツの出力に関する性能」の意味が含まれる。そして、この「コンテンツの出力に関する性能」には、例えば、「機器の最大性能」、「コンテンツの最大性能」、「コンテンツの現在性能」、および「コンテンツの知覚強度」等の意味が含まれる。
「機器の最大性能」とは、コンテンツを出力する機器が持つコンテンツの出力に関する能力(ケイパビリティ)を表すパラメータである。この「機器の最大性能」は、ハードウエアが持つ機能に依存しており、経年劣化等を除き基本的に変化することのないものである。具体的にはどのような指標についての能力を含むこともできるが、例えば、表示可能な画像の最大解像度、最大描画レート、明暗ダイナミックレンジ等の能力が含まれるようにしてもよい。また、出力可能な音声の周波数レンジ、ダイナミックレンジ等の能力が含まれるようにしてもよい。また、例えば、匂いの種類、触覚提示部の周波数レンジ、触覚提示部のダイナミックレンジ等、その他の能力が含まれるようにしてもよい。
「コンテンツの最大性能」とは、コンテンツのデータ自体の品質を表すパラメータである。具体的にはどのような指標についての品質を含むこともできるが、例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等の品質が含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の品質が含まれるようにしてもよい。
「コンテンツの現在性能」とは、コンテンツの出力時の品質を表すパラメータである。この「コンテンツの現在性能」は、設定値や処理能力の低下、ネットワークの速度低下等、ハードウエア自体の性能やコンテンツ自体が持っている情報量以外の要因で決定される。具体的にはどのような指標についての品質を含むこともできるが、例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等の品質が含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の品質が含まれるようにしてもよい。
「コンテンツの知覚強度」とは、出力されたコンテンツをユーザが知覚する強度(品質)を表すパラメータである。つまり、「コンテンツの知覚強度」の値は、出力されたコンテンツを、実際に、ユーザがどのくらいの強度で知覚しているか、どのくらい正確に認知できているか等を表す。例えば、映像の場合、注視点に対する映像の表示位置の相対速度に応じて、主に解像度に関する知覚強度が低下する。また、注視点からの距離(周辺視野側に移動)が大きくなるほど、主に解像度に関する知覚強度が低下する。「コンテンツの知覚強度」は、これらの影響を反映させたコンテンツの品質(ユーザが知覚する品質)を表す。具体的にはどのような指標についての品質を含むこともできる。
<仮想現実体験>
従来、ユーザが仮想現実(AR(Augmented Reality))体験をすることができるARデバイスが考えられた(例えば特許文献1参照)。例えば、ユーザが装着して使用する眼鏡型のARグラス等が考えられた。
従来、ユーザが仮想現実(AR(Augmented Reality))体験をすることができるARデバイスが考えられた(例えば特許文献1参照)。例えば、ユーザが装着して使用する眼鏡型のARグラス等が考えられた。
近年、複数のデバイスを同時に併用して、複数の空間を同時に視聴することが増えると考えられている。例えば、ARグラスを着用したまま、3D(3次元)プロジェクタなどにより現実空間に投影された3D空間(仮想現実空間)の画像を視聴する等のケースが考えられる。このような構成にすることにより、ユーザは、例えば、3Dプロジェクタ等により投影された仮想現実空間に対して、ARグラスにおいて表示される仮想物体が重畳されて見えるような体験をすることができる。
このような重畳は仮想現実空間に限らない。例えば図1に示されるように、ユーザがARグラスを装着したまま現実空間に表示(投影を含む)されるあらゆる画像を見ることにより、ARグラスは、その現実空間の画像に仮想物体が重畳されるように表現することができる。
現実空間の画像はARグラスを装着していない人にも見ることができるが、ARグラスに表示される仮想物体は、ARグラスを装着しているユーザにしか見えない。したがって、例えば、ユーザ毎の仮想物体を用いることにより、ユーザ毎に異なる体験をさせる等、より複雑な表現が可能になる。
しかしながら、このように重畳される、ARグラスのモニタに表示される仮想物体と、現実空間に表示される画像(仮想現実空間等)との間に性能差がある場合(たとえば、解像度、映像のフレッシュレート、音のサンプリングレート等に差がある場合)、それらを重畳して同時に体験するユーザがその性能差によって違和感を覚え、没入感が低下する等、ユーザの満足度が低減してしまうおそれがあった。
例えば図2のように、ユーザが現実空間に表示される映像11とARグラスに表示されるAR映像12とを重畳させて体験する際に、AR映像12の解像度が映像11に比べて高い場合、重畳画像13のようにAR映像12が映像11の中で浮き立って見えてしまうおそれがあった。このように映像11とAR映像12との画質等の差(性能差)が顕著になる現象が生じると、ユーザは、映像11とAR映像12とを1つの世界として体験することが困難になり、画像に違和感を覚え、リアリティが低減し、没入感が低減するおそれがあった。
このような現象は、画像だけでなく、例えば音声等の任意のコンテンツについても同様に生じるおそれがある。ユーザがARデバイスから出力される音声と、現実空間に出力される音声とが重なった状態で聞く(体験する)場合に、両音声の音質が異なると、それぞれが全く無関係の音として聞こえたり、一方しか聞こえなかったりして、ユーザの没入感が低減し、満足度が低減するおそれがあった。
なお、ARデバイスより出力されるコンテンツの内容と、現実空間に出力されるコンテンツの内容は、互いに連携しているものであってもよいし、互いに独立した全く異なるものであってもよい。例えば、図2の映像11とAR映像12とが互いに独立したコンテンツであるとし、それらが偶然に重畳されてしまった場合であっても(つまり、意図的に重畳された場合でなくても)、映像11とAR映像12との画質等の差(性能差)が顕著であれば互いの画像が影響し合い、両画像が本来意図されたように見えなくなるおそれがあった。例えば、重畳画像13のように両画像の見え方が互いに異なるものとなり、両画像ともに見えづらくなったり、一方のみが見やすくなって他方が見えにくくなったりする等の現象が生じるおそれがあった。
<2.第1の実施の形態>
<性能調整>
そこで、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整するようにする。
<性能調整>
そこで、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整するようにする。
例えば、情報処理装置において、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する調整部を設けるようにする。
または、例えば、プログラムにより、コンピュータを、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する調整部として機能させるようにする。
例えば、図2の重畳画像14のように、3Dプロジェクタ等のような現実空間のコンテンツ出力デバイスの性能(例えば解像度、描画フレームレート、輝度、色調等)と、ARコンテンツ出力デバイスの性能とを、機器間またはサーバ経由で通信・管理し、性能の高いほうの機器が、互いの性能差を補完するように、出力を調整する。映像だけでなく、音響やその他のモーダル提示機能に関しても、同様の補完を行う。
このようにすることにより、出力されるコンテンツ間の性能差の増大を抑制することができ、コンテンツを体験するユーザの違和感の増大を抑制することができる。例えば、プロジェクタなどで現実空間に投影された仮想現実空間をARグラス越しに体験する等、2つ以上のデバイスを併用して空間を行き来したり、同時に体験したりする場合、デバイス間の解像度の差やフレームレートの差、色調の差を補間し、シームレスに移行することで、ユーザ体験の違和感を低減することができ、ユーザの満足度の低減を抑制することができる。
<コンテンツ出力システム>
図3は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図3に示されるコンテンツ出力システム100は、ユーザが拡張現実を体験することができるARデバイスを含む複数のコンテンツ出力装置を有し、それぞれのコンテンツ出力装置においてコンテンツを出力するシステムである。
図3は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図3に示されるコンテンツ出力システム100は、ユーザが拡張現実を体験することができるARデバイスを含む複数のコンテンツ出力装置を有し、それぞれのコンテンツ出力装置においてコンテンツを出力するシステムである。
図3に示されるように、コンテンツ出力システム100は、AR表示装置101および表示装置102を有する。なお、図3においては、AR表示装置101および表示装置102がそれぞれ1台ずつ示されているが、コンテンツ出力システム100を構成するAR表示装置101および表示装置102の数は、それぞれ任意である。つまり、例えば、コンテンツ出力システム100が、AR表示装置101を複数台有していてもよいし、表示装置102を複数台有していてもよいし、AR表示装置101および表示装置102を複数台有していてもよい。また、AR表示装置101の台数と表示装置102の台数とが互いに一致していてもよいし、一致していなくてもよい。また、コンテンツ出力システム100が、AR表示装置101および表示装置102以外の装置を有していてもよい。
AR表示装置101は、ユーザが拡張現実を体験することができるARデバイスであり、拡張現実に関する処理を行う。例えば、AR表示装置101は、ユーザが拡張現実を体験することができるように、画像や音声等のコンテンツ(拡張現実コンテンツとも称する)を、現実空間の画像や音声に重畳した状態で出力する。
AR表示装置101は、どのような装置であってもよい。例えば、AR表示装置101は、所謂ARグラスのような、ユーザが頭部に装着して使用する眼鏡型のデバイスであってもよいし、ユーザと離れた状態で駆動する装置であってもよい。例えば、モニタのように表示部を備えるデバイスであってもよいし、画像を投影するプロジェクタ等であってもよい。
例えば、AR表示装置101が、透明の表示部を有し、仮想物体の画像をその表示部に表示させるようにしてもよい。この場合、ユーザは、その仮想物体の画像を、表示部の奥側(ユーザと反対側)の現実空間に重畳した状態でその仮想物体を体験する(見る)ことができる。
また、例えば、AR表示装置101が、所謂カメラスルーヘッドマウントディスプレイのように、表示部のユーザと反対側の現実空間を撮像し、その現実空間の撮像画像に仮想物体を重畳させて表示するようにしてもよい。この場合も、ユーザは、その仮想物体の画像を、表示部の奥側の現実空間の画像に重畳した状態で体験することができる。
表示装置102は、現実空間に設置された画像表示(投影)デバイスであり、現実空間におけるコンテンツの出力に関する処理を行う。例えば、表示装置102は、モニタやプロジェクタ等よりなり、画像や音声等のコンテンツ(現実コンテンツとも称する)を現実空間において出力する。表示装置102は、例えば仮想現実空間の画像や通常の2次元の画像等、任意の画像を、現実空間に表示(投影)することができる。図3において画像102Aは、表示装置102により表示(投影)された画像である。
なお、AR表示装置101や表示装置102は、それぞれ、1つの装置(1つの筐体)として構成されるようにしてもよいし、複数の装置(複数の筐体)により構成されるようにしてもよい。
AR表示装置101と表示装置102とは、互いに通信を行い、情報を授受することができる。例えば機器やコンテンツの性能を互いに授受することができる。例えば、AR表示装置101において、AR表示装置101により出力されるコンテンツと表示装置102により出力されるコンテンツとが重なる場合、AR表示装置101および表示装置102は、それらの性能(拡張現実コンテンツの出力に関する性能と現実コンテンツの出力に関する性能と)に基づいて、コンテンツの出力に用いられるパラメータを調整する。
このようにすることにより、ユーザ体験の違和感を低減することができ、ユーザの満足度の低減を抑制することができる。
<AR表示装置>
図4は、本技術を適用した情報処理装置の一態様であるAR表示装置101の主な構成の一例を示すブロック図である。図4に示されるように、AR表示装置101は、制御部131、動作解析部132、性能処理部133、表示処理部134、音声処理部135、表示部151、音声出力部152、動き姿勢検出部153、周辺環境センサ154、通信部155、入力部156、出力部157、記憶部158、およびドライブ159を有する。
図4は、本技術を適用した情報処理装置の一態様であるAR表示装置101の主な構成の一例を示すブロック図である。図4に示されるように、AR表示装置101は、制御部131、動作解析部132、性能処理部133、表示処理部134、音声処理部135、表示部151、音声出力部152、動き姿勢検出部153、周辺環境センサ154、通信部155、入力部156、出力部157、記憶部158、およびドライブ159を有する。
制御部131、動作解析部132、性能処理部133、表示処理部134、音声処理部135、表示部151、音声出力部152、動き姿勢検出部153、周辺環境センサ154、通信部155、入力部156、出力部157、記憶部158、およびドライブ159は、それぞれバス141に接続されており、そのバス141を介して互いに情報を授受することができる。
制御部131は、AR表示装置101の制御に関する処理を行う。例えば、制御部131は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
動作解析部132は、動作、位置、姿勢等の解析に関する処理を行う。例えば、動作解析部132は、AR表示装置101(または、表示部151および音声出力部152等)の動き、姿勢、位置等の解析に関する処理を行うことができる。また、例えば、動作解析部132は、AR表示装置101(または、表示部151および音声出力部152等)と表示装置102(または表示装置102により表示された画像)との相対位置や相対姿勢の解析に関する処理を行うこともできる。例えば、動作解析部132は、動き姿勢検出部153により検出された動きや姿勢に関する情報に基づいて、それらの処理を行うことができる。また、例えば、動作解析部132は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
性能処理部133は、性能に関する処理を行う。例えば、性能処理部133は、AR表示装置101の性能(機器の能力)、表示装置102の性能(機器の能力)、それらより出力されるコンテンツの性能(コンテンツの品質)等の管理に関する処理を行うことができる。また、例えば、性能処理部133は、それらの性能の比較に関する処理を行うこともできる。さらに、例えば、性能処理部133は、その比較結果に基づくコンテンツの出力に用いられるパラメータの調整に関する処理等も行うことができる。例えば、性能処理部133は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
表示処理部134は、表示する画像に関する処理を行う。例えば、表示処理部134は、コンテンツに含まれる画像の表示制御に関する処理を行うことができる。また、例えば、表示処理部134は、その画像に対する画像処理を行うことができる。例えば、表示処理部134は、性能処理部133により調整されたパラメータを用いて、コンテンツに含まれる画像を処理して表示部151に表示させることができる。例えば、表示処理部134は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
音声処理部135は、音声に関する処理を行う。例えば、音声処理部135は、コンテンツに含まれる音声の出力制御に関する処理を行うことができる。また、例えば、音声処理部135は、その音声に対する信号処理を行うことができる。例えば、音声処理部135は、性能処理部133により調整されたパラメータを用いて、コンテンツに含まれる音声を処理して音声出力部152より出力させることができる。例えば、音声処理部135は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
表示部151は、画像表示に関する処理を行う。表示部151(拡張現実出力部)は、例えば、モニタやプロジェクタ等の表示(投影)デバイスを有し、拡張現実としての画像表示(拡張現実コンテンツの出力)に関する処理を行う。この表示デバイスは、拡張現実としての表示が可能なものであればどのようなものであってもよい。表示部151が有する表示デバイスの数も任意である。
例えば、表示デバイスが、画像を表示する部分が透明のモニタであってもよい。その場合、表示部151が画像(仮想物体等)をそのモニタに表示することにより、ユーザは、その仮想物体等の画像を、そのモニタの奥側(ユーザと反対側)の現実空間と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
また、例えば、表示デバイスが、画像を透明板に投影するプロジェクタ等であってもよい。その場合、表示部151が画像(仮想物体等)をそのプロジェクタにより透明板に投影させることにより、ユーザは、その仮想物体等の画像を、その透明板の奥側(ユーザと反対側)の現実空間と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
なお、重畳される現実空間は、撮像画像であってもよい。例えば、後述する周辺環境センサ等に含まれるカメラ(撮像部)によって撮像した現実空間の画像が、上述の仮想物体等の画像と重畳されるようにしてもよい。
その場合、例えば、表示デバイスは、画像を表示する一般的なモニタであってもよい。その場合、表示部151が、仮想物体等の画像と、撮像部によって撮像された現実空間の撮像画像との重畳画像をモニタに表示することにより、ユーザは、その仮想物体等の画像を現実空間(の撮像画像)と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
また、例えば、表示デバイスが、画像を一般的な投影面に投影するプロジェクタ等であってもよい。その場合、表示部151が、仮想物体等の画像と、撮像部によって撮像された現実空間の撮像画像との重畳画像をそのプロジェクタにより投影面に投影させることにより、ユーザは、その仮想物体等の画像を現実空間(の撮像画像)と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
音声出力部152(拡張現実出力部)は、例えばスピーカ等の音声出力デバイスを有し、拡張現実としての音声出力(拡張現実コンテンツの出力)に関する処理を行う。この音声出力デバイスは、どのようなものであってもよい。音声出力部152が有する音声出力デバイスの数も任意である。
動き姿勢検出部153は、AR表示装置101の動きや姿勢の検出に関する処理を行う。例えば、動き姿勢検出部153は、AR表示装置101の3軸の角速度や加速度を計測するセンサを有し、それらを計測する。なお、動き姿勢検出部153が、表示部151や音声出力部152の動きや姿勢(またはそれらが出力したコンテンツの動きや姿勢)を計測するようにしてもよい。
周辺環境センサ154は、周辺環境に関する情報の検出に関する処理を行う。例えば、周辺環境センサ154は、カメラ(撮像部)、マイクロホン、光センサ、温度センサ、湿度センサ等の、周辺環境に関する情報を検出可能な任意のセンサを有する。例えば、周辺環境センサ154は、それらのセンサを用いて、AR表示装置101の周辺環境に関する情報を検出することができる。周辺環境に関する情報は、任意である。例えば、AR表示装置101の周辺を撮像した撮像画像であってもよいし、周辺を集音した音声であってもよい。また、光、温度、湿度等であってもよい。また、周辺環境センサ154が、表示装置102から送信される無線信号や光信号等を受信するようにしてもよい。
さらに、例えば、周辺環境センサ154は、それらの情報から所望の情報を得るようにしてもよい。例えば、周辺環境センサ154が、周辺の撮像画像に含まれる表示装置102を検出し、動作解析部132が、その情報を用いて表示装置102との相対位置を求めるようにしてもよい。
通信部155は、他の装置との通信に関する処理を行う。例えば、通信部155は、有線通信若しくは無線通信、またはその両方のネットワークインタフェースを有し、そのネットワークインタフェースを介して、所定の通信規格に準拠した方法で他の装置と通信を行うことができる。
入力部156は、入力される情報の受け付けに関する処理を行う。例えば、入力部156は、情報の入力を受け付けるデバイス(入力デバイス)を有し、その入力デバイスを介してユーザが他の装置等から入力される情報を受け付けることができる。なお、入力部156が有する入力デバイスは任意である。例えば、キーボード、マウス、マイクロホン、タッチパネル、ボタン、入力端子等であってもよい。
また、入力部156を介して入力される情報は任意である。例えばAR表示装置101の制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよい。
出力部157は、情報の出力に関する処理を行う。例えば、出力部157は、情報を出力する出力デバイス(出力デバイス)を有し、その出力デバイスを介して情報をAR表示装置101の外部に出力する。なお、出力部157が有する出力デバイスは任意である。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。
また、出力部157を介して出力される情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよい。また、例えば、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ(調整後のパラメータ)であってもよい。
記憶部158は、情報の記憶(または記憶された情報の読み出し)に関する処理を行う。例えば、記憶部158は、情報を記憶するデバイス(記憶デバイス)を有し、その記憶デバイスに情報を記憶する。なお、その情報の記憶の際に、記憶部158が、情報を圧縮して記憶デバイスに記憶させるようにしてもよい。その場合、記憶部158は、記憶デバイスから情報を読み出す際には、その圧縮された情報を伸長する。なお、記憶部158が有する記憶デバイスは任意である。例えば、ハードディスク、RAMディスク、不揮発性のメモリ等であってもよい。
また、記憶部158に記憶される情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ(調整後のパラメータ)であってもよい。
ドライブ159は、リムーバブルメディア161への情報の書き込みや読み出しに関する処理を行う。例えば、ドライブ159は、自身に装着されたリムーバブルメディア161に情報を書き込んだり、そのリムーバブルメディア161から情報を読み出したりすることができる。リムーバブルメディア161は、どのようなメディアであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリであってもよい。
また、そのドライブ159により読み書きされる情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ(調整後のパラメータ)であってもよい。
<表示装置>
図5は、本技術を適用した情報処理装置の一態様である表示装置102の主な構成の一例を示すブロック図である。図5に示されるように、表示装置102は、CPU201、ROM202、RAM203、バス204、入出力インタフェース210、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
図5は、本技術を適用した情報処理装置の一態様である表示装置102の主な構成の一例を示すブロック図である。図5に示されるように、表示装置102は、CPU201、ROM202、RAM203、バス204、入出力インタフェース210、入力部211、出力部212、記憶部213、通信部214、およびドライブ215を有する。
図5に示される表示装置102において、CPU201、ROM202、RAM(Random Access Memory)203は、バス204を介して相互に接続されている。
バス204にはまた、入出力インタフェース210も接続されている。入出力インタフェース210には、入力部211、出力部212、記憶部213、通信部214、およびドライブ215が接続されている。
入力部211は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。また、入力部211は、例えば、動き姿勢検出部153や周辺環境センサ154が有するのと同様のセンサを有するようにしてもよい。
出力部212は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。例えば、出力部212は、拡張現実出力部の後方の現実空間に設けられた出力部として、現実コンテンツの出力(画像表示や音声出力等)に関する処理を行う。
記憶部213は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部214は、例えば、ネットワークインタフェースよりなる。ドライブ215は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア221を駆動する。
以上のように構成される表示装置102では、CPU201が、例えば、記憶部213に記憶されているプログラムを、入出力インタフェース210およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のようにCPU201は、プログラムを実行することにより、例えば、上述したAR表示装置101と同様の処理を行うことができる。例えば、CPU201は、制御部131乃至音声処理部135と同様の処理を行うことができる。
<性能調整処理の流れ>
次に、図6のフローチャートを参照して、AR表示装置101において実行される性能調整処理について説明する。
次に、図6のフローチャートを参照して、AR表示装置101において実行される性能調整処理について説明する。
性能調整処理が開始されると、通信部155は、ステップS101において、表示装置102との通信を確立する。
ステップS102において、通信部155は、互いの描画機能や音響機能等の性能に関する情報(出力に関する性能)を表示装置102と授受する(交換する)。
例えば、通信部155は、機器の最大性能に関する情報を表示装置102と授受する。機器の最大性能とは、例えばAR表示装置101または表示装置102等の機器が持つコンテンツの出力に関する性能(ケイパビリティ)を表すパラメータである。この機器の最大性能は、ハードウエアが持つ機能に依存しており、経年劣化等を除き基本的に変化することのない性能である。
機器の最大性能は、どのような内容であってもよい。例えば、AR表示装置101の最大性能の場合、表示部151の最大解像度、表示部151の最大描画レート、表示部151の明暗ダイナミックレンジ、音声出力部152の出力可能な周波数レンジ、音声出力部152の出力可能なダイナミックレンジ等が、この機器の最大性能に含まれるようにしてもよい。また、例えば、匂いの種類、触覚提示部の周波数レンジ、触覚提示部のダイナミックレンジ等、その他の性能が含まれるようにしてもよい。
また、例えば、通信部155は、コンテンツの最大性能に関する情報を表示装置102と授受する。コンテンツの最大性能とは、例えばAR表示装置101または表示装置102等により出力されるコンテンツのデータ自体が持つ性能(データ自体の品質)を表すパラメータである。このコンテンツの最大性能は、どのような内容であってもよい。例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等が、このコンテンツの最大性能に含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の性能が含まれるようにしてもよい。
また、例えば、通信部155は、コンテンツの現在性能に関する情報を表示装置102と授受する。コンテンツの現在性能とは、例えばAR表示装置101または表示装置102等により現在出力されているコンテンツの性能(出力時の品質)を表すパラメータである。このコンテンツの現在性能は、どのような内容であってもよい。このコンテンツの現在性能は、設定値や処理能力の低下、ネットワークの速度低下等、ハードウエア自体の性能やコンテンツ自体が持っている情報量以外の要因で決定される性能である。
また、例えば、通信部155は、コンテンツの知覚強度に関する情報を表示装置102と授受する。コンテンツの知覚強度とは、例えばAR表示装置101または表示装置102等により出力されたコンテンツをユーザが知覚する強度を表すパラメータである。出力されたコンテンツを、実際に、ユーザがどのくらいの強度で知覚しているか、どのくらい正確に認知できているか等を表すことができる。例えば、映像の場合、注視点に対する映像の表示位置の相対速度に応じて、主に解像度に関する知覚強度が低下する。また、注視点からの距離(周辺視野側に移動)が大きくなるほど、主に解像度に関する知覚強度が低下する。コンテンツの知覚強度は、これらの影響を反映させたコンテンツの品質(ユーザが知覚する品質)を表す。
通信部155は、これらの情報の内、少なくとも1つ以上を表示装置102と授受する(交換する)。
なお、この情報の交換は、任意のタイミングにおいて行うことができる。例えば、AR表示装置101および表示装置102の間でWifi(登録商標)やBluetooth(登録商標)などの通信が確立したときに、この情報の交換が行われるようにしてもよい。また、例えば、AR表示装置101に搭載されたカメラよって表示装置102が認識されたときに、この情報の交換が行われるようにしてもよい。
例えば、機器の最大解像度・描画レート、スピーカの周波数レンジ・ダイナミックレンジ、出力可能な匂いの種類、出力可能な触覚の周波数レンジ・ダイナミックレンジ等、機器に依存した、変化することのない機器最大性能は、通信確立時や、機器同士が互いに認識したときに1度のみ交換するようにしてもよい。
また、例えば、AR表示装置101および表示装置102のどちらかが出力するコンテンツ(映像・音響等)が切り替わったときに、この情報の交換が行われるようにしてもよい。また、例えば、AR表示装置101または表示装置102のどちらかの設定(例えば、画質設定や音質設定等)が変更されたときに、この情報の交換が行われるようにしてもよい。
例えば、コンテンツに依存する、現在の解像度・描画レート、音響の周波数レンジ・ダイナミックレンジ、出力中の匂いの種類、出力中の触覚の周波数レンジ・ダイナミックレンジなどのコンテンツ現在性能およびコンテンツ最大性能は、どちらかの、コンテンツの切り替えタイミングや、再生タイミングにおいて交換するようにしてもよい。
さらに、例えば、AR表示装置101または表示装置102のどちらかのファームウエアのバージョンがアップデート(Update)されたことを検出したときに、この情報の交換が行われるようにしてもよい。さらに、例えば、AR表示装置101または表示装置102のどちらかの設置状態に変化(例えば設置向きの変更や動作開始等)が生じたときに、接続相手へ変化が起こったことを通知するとともに、この情報の交換が行われるようにしてもよい。
ステップS103において、性能処理部133は、以上のように交換した性能を比較し、性能差があるか否かを判定する。性能差があると判定された場合、処理はステップS104に進む。
ステップS104において、動作解析部132は、自身が描画した画像と表示装置102が描画した画像との重なりを算出または予測する。
例えば、動作解析部132は、AR表示装置101(または表示部151等)の位置および姿勢と、表示装置102(または出力部212等)の位置および姿勢とに基づいて、それらの重なりを算出または予測する。
AR表示装置101(または表示部151等)の位置および姿勢の求め方は任意である。例えば、動作解析部132が、動き姿勢検出部153により検出されたAR表示装置101(または表示部151等)の動きや姿勢に関する情報(例えば3軸の角速度や加速度)に基づいて、AR表示装置101(または表示部151等)の位置および姿勢を算出または予測するようにしてもよい。また、例えば、AR表示装置101(または表示部151等)の位置および姿勢に関する情報(位置や姿勢の検出結果または予測値等)が、他の装置において検出され、通信部155を介して動作解析部132に供給されるようにしてもよい。
表示装置102(または出力部212等)の位置および姿勢の求め方も任意である。例えば、表示装置102(または出力部212等)の位置および姿勢に関する情報(位置や姿勢の検出結果または予測値等)が、表示装置102から通信部155を介して動作解析部132に供給されるようにしてもよい。また、例えば、その表示装置102(または出力部212等)の位置および姿勢に関する情報(位置や姿勢の検出結果または予測値等)が、その他の装置から通信部155を介して動作解析部132に供給されるようにしてもよい。さらに、例えば、動作解析部132が、周辺環境センサ154により検出された表示装置102(または出力部212等)の相対位置や相対姿勢に関する情報を取得したり、それを基に将来の相対位置や相対姿勢を予測したりするようにしてもよい。
ステップS105において、動作解析部132は、重なりがあるまたは重なりが予測されるか否かを判定する。重なりがある、または、重なりが予測されると判定された場合、処理はステップS106に進む。
ステップS106において、性能処理部133は、性能差や重なりに応じて性能を調整する。
例えば、性能処理部133は、表示装置102が画角内に入ったりAR表示装置101や表示装置102の動きを検知したりしたとき等の、所定のタイミングにおいて、互いの最大能力を加味し、どちらが調整可能なのかを判断し、性能を調整する。例えば、性能処理部133は、AR表示装置101が出力中のコンテンツの現在性能に関するパラメータ(拡張現実コンテンツの出力に用いられるパラメータ)を調整したり、表示装置102が出力中のコンテンツの現在性能に関するパラメータ(現実コンテンツの出力に用いられるパラメータ)を調整したりする。
この性能の調整方法は任意である。例えば、機器Aで再生中のコンテンツXの現在性能が機器Bで再生中のコンテンツYの現在性能と差がある場合、性能処理部133が、機器Aの最大性能、コンテンツXの最大性能、機器Bの最大性能、コンテンツYの最大性能のうち最も性能の低いものに合わせるように、コンテンツXおよび(または)コンテンツYの現在性能(コンテンツの出力に用いられるパラメータ)を調整するようにしてもよい(なるべく性能を高める方法)。
つまり、性能処理部133が、現実コンテンツ又は拡張現実コンテンツの現在性能を、その現実コンテンツを出力する機器の最大性能、その拡張現実コンテンツを出力する機器の最大性能、その現実コンテンツの最大性能、および、その拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、パラメータを調整するようにしてもよい。
例えば、性能処理部133は、AR表示装置101の最大解像度、表示装置102の最大解像度、AR表示装置101が出力する拡張現実コンテンツの画像の解像度、および、表示装置102が出力する現実コンテンツの画像の解像度を比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像の解像度(現在性能)を、それらの内の最も低い解像度(最低解像度)に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像の解像度および出力時の現実コンテンツの画像の解像度のいずれか一方が、その最低解像度に既に合っている場合、性能処理部133は、他方のコンテンツの画像の解像度のみを最低解像度に合わせるように調整する。また、出力時の拡張現実コンテンツの画像の解像度および出力時の現実コンテンツの画像の解像度の両方が、その最低解像度に既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101の最大描画レート、表示装置102の最大描画レート、AR表示装置101が出力する拡張現実コンテンツの画像のフレームレート、および、表示装置102が出力する現実コンテンツの画像のフレームレートを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像のフレームレート(現在性能)を、それらの内の最も低いフレームレート(最低フレームレート)に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像のフレームレートおよび出力時の現実コンテンツの画像のフレームレートのいずれか一方が、その最低フレームレートに既に合っている場合、性能処理部133は、他方のコンテンツの画像のフレームレートのみを最低フレームレートに合わせるように調整する。また、出力時の拡張現実コンテンツの画像のフレームレートおよび出力時の現実コンテンツの画像のフレームレートの両方が、その最低フレームレートに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が表示可能な最大明暗ダイナミックレンジ、表示装置102が表示可能な最大明暗ダイナミックレンジ、AR表示装置101が出力する拡張現実コンテンツの画像の明暗ダイナミックレンジ、および、表示装置102が出力する現実コンテンツの画像の明暗ダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像の明暗ダイナミックレンジ(現在性能)を、それらの内の最も小さい明暗ダイナミックレンジ(最小明暗ダイナミックレンジ)に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像の明暗ダイナミックレンジおよび出力時の現実コンテンツの画像の明暗ダイナミックレンジのいずれか一方が、その最小明暗ダイナミックレンジに既に合っている場合、性能処理部133は、他方のコンテンツの画像の明暗ダイナミックレンジのみを最小明暗ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの画像の明暗ダイナミックレンジおよび出力時の現実コンテンツの画像の明暗ダイナミックレンジの両方が、その最小明暗ダイナミックレンジに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力可能な音声の周波数レンジ、表示装置102が出力可能な音声の周波数レンジ、AR表示装置101が出力する拡張現実コンテンツの音声の周波数レンジ、および、表示装置102が出力する現実コンテンツの音声の周波数レンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの音声の周波数レンジ(現在性能)を、それらの内の最も小さい周波数レンジ(最小周波数レンジ)に合わせるように調整する。なお、出力時の拡張現実コンテンツの音声の周波数レンジおよび出力時の現実コンテンツの音声の周波数レンジのいずれか一方が、その最小周波数レンジに既に合っている場合、性能処理部133は、他方のコンテンツの音声の周波数レンジのみを最小周波数レンジに合わせるように調整する。また、出力時の拡張現実コンテンツの音声の周波数レンジおよび出力時の現実コンテンツの音声の周波数レンジの両方が、その最小周波数レンジに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力可能な音声のダイナミックレンジ、表示装置102が出力可能な音声のダイナミックレンジ、AR表示装置101が出力する拡張現実コンテンツの音声のダイナミックレンジ、および、表示装置102が出力する現実コンテンツの音声のダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの音声のダイナミックレンジ(現在性能)を、それらの内の最も小さいダイナミックレンジ(最小ダイナミックレンジ)に合わせるように調整する。なお、出力時の拡張現実コンテンツの音声のダイナミックレンジおよび出力時の現実コンテンツの音声のダイナミックレンジのいずれか一方が、その最小ダイナミックレンジに既に合っている場合、性能処理部133は、他方のコンテンツの音声のダイナミックレンジのみを最小ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの音声のダイナミックレンジおよび出力時の現実コンテンツの音声のダイナミックレンジの両方が、その最小ダイナミックレンジに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力可能な匂いの種類数、表示装置102が出力可能な匂いの種類数、AR表示装置101が出力する拡張現実コンテンツの匂いの種類数、および、表示装置102が出力する現実コンテンツの匂いの種類数を比較し、出力時の拡張現実コンテンツおよび現実コンテンツの匂いの種類数(現在性能)を、それらの内の最も少ない種類数(最少種類数)に合わせるように調整する。なお、出力時の拡張現実コンテンツの匂いの種類数および出力時の現実コンテンツの匂いの種類数のいずれか一方が、その最少種類数に既に合っている場合、性能処理部133は、他方のコンテンツの匂いの種類数のみを最少種類数に合わせるように調整する。また、出力時の拡張現実コンテンツの匂いの種類数および出力時の現実コンテンツの匂いの種類数の両方が、その最少種類数に既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101の触覚提示部が出力可能な触覚の周波数レンジ、表示装置102の触覚提示部が出力可能な触覚の周波数レンジ、AR表示装置101が出力する拡張現実コンテンツの触覚の周波数レンジ、および、表示装置102が出力する現実コンテンツの触覚の周波数レンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの触覚の周波数レンジ(現在性能)を、それらの内の最も小さい周波数レンジ(最小周波数レンジ)に合わせるように調整する。なお、出力時の拡張現実コンテンツの触覚の周波数レンジおよび出力時の現実コンテンツの触覚の周波数レンジのいずれか一方が、その最小周波数レンジに既に合っている場合、性能処理部133は、他方のコンテンツの触覚の周波数レンジのみを最小周波数レンジに合わせるように調整する。また、出力時の拡張現実コンテンツの触覚の周波数レンジおよび出力時の現実コンテンツの触覚の周波数レンジの両方が、その最小周波数レンジに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101の触覚提示部が出力可能な触覚のダイナミックレンジ、表示装置102の触覚提示部が出力可能な触覚のダイナミックレンジ、AR表示装置101が出力する拡張現実コンテンツの触覚のダイナミックレンジ、および、表示装置102が出力する現実コンテンツの触覚のダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの触覚のダイナミックレンジ(現在性能)を、それらの内の最も小さいダイナミックレンジ(最小ダイナミックレンジ)に合わせるように調整する。なお、出力時の拡張現実コンテンツの触覚のダイナミックレンジおよび出力時の現実コンテンツの触覚のダイナミックレンジのいずれか一方が、その最小ダイナミックレンジに既に合っている場合、性能処理部133は、他方のコンテンツの触覚のダイナミックレンジのみを最小ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの触覚のダイナミックレンジおよび出力時の現実コンテンツの触覚のダイナミックレンジの両方が、その最小ダイナミックレンジに既に合っている場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133が、コンテンツXとコンテンツYのうち、現在性能の高いほうが低いほうへ合わせるように、コンテンツXおよびコンテンツYの現在性能(コンテンツの出力に用いられるパラメータ)を調整するようにしてもよい(性能が低いほうへ合わせる方法)。
つまり、性能処理部133が、現実コンテンツ又は拡張現実コンテンツの現在性能を、その現実コンテンツの現在性能およびその拡張現実コンテンツの現在性能の内の低い方に合わせるように、パラメータを調整するようにしてもよい。
例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの画像の解像度(現在性能)と、表示装置102が出力中の現実コンテンツの画像の解像度(現在性能)とを比較し、高い方の解像度を低い方に合わせるように、その解像度が高い方のコンテンツの画像の解像度(現在性能)を調整する。なお、両者の解像度が既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの画像のフレームレート(現在性能)と、表示装置102が出力中の現実コンテンツの画像のフレームレート(現在性能)とを比較し、高い方のフレームレートを低い方に合わせるように、そのフレームレートが高い方のコンテンツの画像のフレームレートを調整する。なお、両者のフレームレートが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの画像の明暗ダイナミックレンジ(現在性能)と、表示装置102が出力中の現実コンテンツの画像の明暗ダイナミックレンジ(現在性能)とを比較し、大きい方の明暗ダイナミックレンジを小さい方に合わせるように、その明暗ダイナミックレンジが大きい方のコンテンツの画像の明暗ダイナミックレンジを調整する。なお、両者の明暗ダイナミックレンジが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの音声の周波数レンジ(現在性能)と、表示装置102が出力中の現実コンテンツの画像の音声の周波数レンジ(現在性能)とを比較し、大きい方の周波数レンジを小さい方に合わせるように、その周波数レンジが大きい方のコンテンツの音声の周波数レンジを調整する。なお、両者の周波数レンジが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの音声のダイナミックレンジ(現在性能)と、表示装置102が出力中の現実コンテンツの画像の音声のダイナミックレンジ(現在性能)とを比較し、大きい方のダイナミックレンジを小さい方に合わせるように、そのダイナミックレンジが大きい方のコンテンツの音声のダイナミックレンジを調整する。なお、両者のダイナミックレンジが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの匂いの種類数(現在性能)と、表示装置102が出力中の現実コンテンツの画像の匂いの種類数(現在性能)とを比較し、多い方の種類数を少ない方に合わせるように、その種類数が多い方のコンテンツの匂いの種類数を調整する。なお、両者の種類数が既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの触覚の周波数レンジ(現在性能)と、表示装置102が出力中の現実コンテンツの画像の触覚の周波数レンジ(現在性能)とを比較し、大きい方の周波数レンジを小さい方に合わせるように、その周波数レンジが大きい方のコンテンツの触覚の周波数レンジを調整する。なお、両者の周波数レンジが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、例えば、性能処理部133は、AR表示装置101が出力中の拡張現実コンテンツの触覚のダイナミックレンジ(現在性能)と、表示装置102が出力中の現実コンテンツの画像の触覚のダイナミックレンジ(現在性能)とを比較し、大きい方のダイナミックレンジを小さい方に合わせるように、そのダイナミックレンジが大きい方のコンテンツの触覚のダイナミックレンジを調整する。なお、両者のダイナミックレンジが既に一致している場合、性能処理部133は、この調整を省略することができる。
また、その他の方法であってもよい。
ステップS107において、表示処理部134および音声処理部135は、調整された性能で画像表示や音声出力を行う。
ステップS107の処理が終了すると、性能調整処理が終了する。また、ステップS103において、性能差が無いと判定された場合、性能調整処理が終了する。さらに、ステップS105において、重なりが無く、かつ、重なりが予測されないと判定された場合、性能調整処理が終了する。
<性能調整処理の流れ>
次に、図7のフローチャートを参照して、表示装置102において実行される性能調整処理について説明する。この処理は、AR表示装置101による性能調整処理(図6)に対応する処理として実行される。
次に、図7のフローチャートを参照して、表示装置102において実行される性能調整処理について説明する。この処理は、AR表示装置101による性能調整処理(図6)に対応する処理として実行される。
性能調整処理が開始されると、通信部214は、ステップS121において、AR表示装置101との通信を確立する。この処理は、ステップS101の処理に対応して行われる。つまり、この処理はステップS101の場合と同様に行われる。
ステップS122において、通信部214は、互いの描画機能や音響機能等の性能に関する情報をAR表示装置101と授受する(交換する)。この処理は、ステップS102の処理に対応して行われる。つまり、この処理はステップS102の場合と同様に行われる。
ステップS123において、CPU201は、性能差があるか否かを判定する。この処理は、ステップS103の処理に対応して行われる。つまり、この処理はステップS103の場合と同様に行われる。性能差があると判定された場合、処理はステップS124に進む。
ステップS124において、CPU201は、自身が描画した画像とAR表示装置101が描画した画像との重なりを算出または予測する。この処理は、ステップS104の処理に対応して行われる。つまり、この処理はステップS104の場合と同様に行われる。
ステップS125において、CPU201は、重なりがあるまたは重なりが予測されるか否かを判定する。この処理は、ステップS105の処理に対応して行われる。つまり、この処理はステップS105の場合と同様に行われる。重なりがある、または、重なりが予測されると判定された場合、処理はステップS126に進む。
ステップS126において、CPU201は、性能差や重なりに応じて性能を調整する。この処理は、ステップS106の処理に対応して行われる。つまり、この処理はステップS106の場合と同様に行われる。したがって、上述したステップS106についての説明をこの処理にも適用することができるので、その詳細についての説明は省略する。例えば、CPU201は、表示装置102が出力中のコンテンツの現在性能に関するパラメータ(現実コンテンツの出力に用いられるパラメータ)を調整する。
ステップS127において、出力部212は、調整された性能で画像表示や音声出力を行う。この処理は、ステップS107の処理に対応して行われる。つまり、この処理はステップS107の場合と同様に行われる。
ステップS127の処理が終了すると、性能調整処理が終了する。また、ステップS123において、性能差が無いと判定された場合、性能調整処理が終了する。さらに、ステップS125において、重なりが無く、かつ、重なりが予測されないと判定された場合、性能調整処理が終了する。
以上のように各処理を行うことにより、コンテンツ出力システム100(AR表示装置101および表示装置102)は、AR表示装置101越しに、表示装置102により表示された画像(例えば3次元仮想空間等)を体験する等、2つ以上のデバイスを併用して空間を行き来したり、同時に体験したりする場合、それらのデバイス間の解像度の差やフレームレートの差、色調の差を補間し、シームレスに移行することができ、コンテンツを体験するユーザの違和感の増大を抑制することができる。つまり、ユーザの満足度を向上させることができる。
<角度差に応じた調整>
なお、性能調整の際に、重なるコンテンツ(またはそのコンテンツを出力する機器)のいずれか一方の性能を選択するようにしてもよいが、両者のパラメータの値を用いて新たな値を算出するようにしてもよい。例えば、両者の性能を状況に応じて重み付けして混ぜる(MIXする)ようにしてもよい。このようにすることにより、例えば、コンテンツ同士が近づくに連れて、性能(パラメータの値)が徐々に一方から他方へ移行するようにする等、性能の多様な変化を実現することができる。
なお、性能調整の際に、重なるコンテンツ(またはそのコンテンツを出力する機器)のいずれか一方の性能を選択するようにしてもよいが、両者のパラメータの値を用いて新たな値を算出するようにしてもよい。例えば、両者の性能を状況に応じて重み付けして混ぜる(MIXする)ようにしてもよい。このようにすることにより、例えば、コンテンツ同士が近づくに連れて、性能(パラメータの値)が徐々に一方から他方へ移行するようにする等、性能の多様な変化を実現することができる。
例えば、性能処理部133が、さらに、出力中の拡張現実コンテンツと現実コンテンツとの相対位置に応じて、パラメータを調整するようにしてもよい。例えば、図8に示されるように、ユーザからみた両コンテンツの角度の差に応じて性能(パラメータの値)を調整するようにしてもよい。
図8の例において、ユーザ301が装着したAR表示装置101の奥側の現実空間において、表示装置102は画像311を表示している。その解像度性能はh1であり、描画レートはf1である。また、AR表示装置101は画像312を表示している。その解像度性能はh2であり、描画レートはf2である。なお、h1 < h2であり、f1 < f2であるとする。つまり、AR表示装置101の方が表示装置102よりも高性能にコンテンツを出力しているとする。ユーザ301から見て画像311と画像312とは角度差θだけ離れている。
この場合に、性能処理部133が、AR表示装置101を装着したユーザ301の正面方向(つまり画像312の方向)と、表示装置102が表示した画像311の方向との角度の差に応じて、例えば、以下の式(1)および式(2)のように、AR表示装置101(性能の高い方のデバイス)の性能(解像度および描画レート)を調整するようにしてもよい。
関数G(・,・,θ)は、θが小さくなる程第1引数の値に近づき、θが大きくなる程第2引数の値に近づく関数である。例えば、以下の式(3)および式(4)のような関数であってもよい。
このようにすることにより、コンテンツ同士が近づくに連れて、性能(パラメータの値)が徐々に一方から他方へ移行するようにすることができる。
<角度変化速度に応じた調整>
また、例えば、図9に示されるように、ユーザからみた両コンテンツの角度変化の速度に応じて性能(パラメータの値)を調整するようにしてもよい。
また、例えば、図9に示されるように、ユーザからみた両コンテンツの角度変化の速度に応じて性能(パラメータの値)を調整するようにしてもよい。
例えば図9において、ユーザ301が図中の矢印方向に顔を動かすと画像311がユーザの正面に近づくように移動する。この顔の動きが激しい程(速い程)、画像311の移動速度(速度v)は速くなる。一般的に、画像の移動の動きが速い場合、ユーザの知覚可能な解像度が低減する。つまり、動きが速い程、解像度の変化は気にならなくなりやすい。このような現象を利用して、例えば、ユーザ301が顔を激しく(速く)動かす程、解像度を落とすようにしてもよい。
つまり、この場合、コンテンツの現在性能に加えて、コンテンツの知覚強度というパラメータも考慮する。視野角度に変化がない場合、コンテンツの現在性能とコンテンツの知覚強度は等しくなる。これに対して視野角度に変化がある場合、一般的に、その変化の速度に応じてコンテンツの知覚強度(主に解像度に関する知覚強度)が低下する傾向がある。このような傾向を利用して、2つの機器から出力されたコンテンツの知覚強度が一致するように調整するようにしてもよい。例えば、知覚強度の高いほうを低いほうへ合わせるように、解像度を落とすなどの調整をするようにしてもよい。
つまり、性能処理部133が、現実コンテンツ又は拡張現実コンテンツの現在性能を、拡張現実コンテンツの位置と現実コンテンツの位置との角度変化速度に応じた現実コンテンツの知覚強度、および、拡張現実コンテンツの位置と現実コンテンツの位置との角度変化速度に応じた拡張現実コンテンツの知覚強度の内の低い方に合わせるように、パラメータを調整するようにしてもよい。
なお、上述の「知覚強度」は、動きが速いほど低下する。そのため、6軸センサなどから取得された速度情報を基に現在の知覚強度を推定することができる。例えば、動作解析部132が、動き姿勢検出部153により検出された速度情報に基づいて、この知覚強度を推定するようにしてもよい。そして、性能処理部133が、その動作解析部132により推定された知覚強度に基づいて解像度を調整するようにしてもよい。
例えば、表示される映像の解像度をh1とし、映像の移動速度をvとすると、ユーザが知覚する解像度(認知解像度)h'1は、定数a(< 0)を用いて以下の式(5)のように表すことができる。
このようにすることにより、画像の動きの速さに応じて(ユーザの知覚強度に応じて)性能を調整することができる。
<その他調整>
調整する性能(パラメータ)は、コンテンツの出力に用いられるものである限り、任意である。例えば、拡張現実コンテンツおよび前記現実コンテンツが画像を含み、その画像の色数を調整するようにしてもよい。例えば、拡張現実コンテンツの画像又は現実コンテンツの画像を、それらの画像の内の色数が少ない方に合わせるように減色するようにしてもよい。また、例えば、AR表示装置101が単色の画像しか表示することができない場合に、表示装置102により表示される画像からその色を削除するようにしてもよい。
調整する性能(パラメータ)は、コンテンツの出力に用いられるものである限り、任意である。例えば、拡張現実コンテンツおよび前記現実コンテンツが画像を含み、その画像の色数を調整するようにしてもよい。例えば、拡張現実コンテンツの画像又は現実コンテンツの画像を、それらの画像の内の色数が少ない方に合わせるように減色するようにしてもよい。また、例えば、AR表示装置101が単色の画像しか表示することができない場合に、表示装置102により表示される画像からその色を削除するようにしてもよい。
なお、現在性能や知覚強度を調整するコンテンツは任意であり、画像以外であってもよい。例えば、音声であってもよい。つまり、音声についても現在性能や知覚強度(つまりコンテンツの出力に用いられるパラメータ)を調整するようにしてもよい。例えば、拡張現実コンテンツおよび現実コンテンツが音声を含み、AR表示装置101により出力される拡張現実コンテンツの音声又は表示装置102により出力される現実コンテンツの音声の音質(例えばBit数や周波数レンジ等)を、その音質が低い方に合わせるように調整する(例えば、Bit数を少ない方に合わせる、周波数レンジを狭い方に合わせる等のパラメータの調整を行う)ようにしてもよい。
また、あらかじめ使う機器同士がそれぞれの解像度や色域をネゴシエーションしてもよい。そして、拡張現実コンテンツおよび現実コンテンツが画像を含み、性能処理部133が、その拡張現実コンテンツの画像又は現実コンテンツの画像の解像度を、解像度が低い方に合わせるように調整し、さらに、拡張現実コンテンツの画像又は現実コンテンツの画像の色域を、色域が狭い方に合わせるように調整するようにしてもよい。
また、AR表示装置101のカメラ等のセンサで外部環境をセンシングするようにしてもよい。
また、ユーザがAR表示装置101を外す直前の映像を保持しておき、ユーザがAR表示装置101を外したときに、例えば表示装置102等の別のデバイス(例えばプロジェクタ等)によりその映像(またはそれに準ずる映像)を提示するようにしてもよい。このようにすることにより、ユーザは、現実世界へシームレスに移行することができる(違和感を低減させることができる)。
また、AR表示装置101において表示するコンテンツがビデオチャット等の映像のように低画質である場合、環境画質(例えば表示装置102が表示する画像や、現実空間の画像等)を劣化させる(画質を低減させる)ようにしてもよい。
なお、画質を調整する場合、重なり合う画像の境界近傍(例えば、AR表示装置101において表示される画像の輪郭(つまり重なり合う画像の境界)から所定の距離範囲内である近傍領域やその輪郭に隣接する領域)の性能を調整する(例えば劣化させる)ようにしてもよい。
また、逆に、重なり合う画像の性能差を拡大するように性能(パラメータ)を調整するようにしてもよい。このようにすることにより、高画質な画像が低画質な画像に対してより浮き立つ(より目立つ)ようにすることができる。例えば、ユーザの視線を一方のコンテンツに注目させたい場合等に、このようにすることにより、より容易に所望のコンテンツに注目させることができる。
<3.第2の実施の形態>
<調整処理を行うデバイス>
第1の実施の形態においては、性能(パラメータ)の調整をAR表示装置101および表示装置102において行うように説明したが、この処理は任意の装置において行うようにしてもよい。例えば、AR表示装置101において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された現実コンテンツに関するパラメータを表示装置102に供給するようにしてもよい。また、例えば、表示装置102において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された拡張現実コンテンツに関するパラメータをAR表示装置101に供給するようにしてもよい。
<調整処理を行うデバイス>
第1の実施の形態においては、性能(パラメータ)の調整をAR表示装置101および表示装置102において行うように説明したが、この処理は任意の装置において行うようにしてもよい。例えば、AR表示装置101において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された現実コンテンツに関するパラメータを表示装置102に供給するようにしてもよい。また、例えば、表示装置102において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された拡張現実コンテンツに関するパラメータをAR表示装置101に供給するようにしてもよい。
さらに、拡張現実コンテンツの性能の調整や現実コンテンツの性能の調整を、その他の装置において行うようにしてもよい。
<コンテンツ出力システム>
図10は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図10に示されるコンテンツ出力システム400は、図3のコンテンツ出力システム100と同様のシステムである。ただし、コンテンツ出力システム400は、コンテンツ出力システム100のAR表示装置101と表示装置102の他に、サーバ401を有する。
図10は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図10に示されるコンテンツ出力システム400は、図3のコンテンツ出力システム100と同様のシステムである。ただし、コンテンツ出力システム400は、コンテンツ出力システム100のAR表示装置101と表示装置102の他に、サーバ401を有する。
このサーバ401は、AR表示装置101および表示装置102と通信を行い、拡張現実コンテンツの出力に関する性能や、現実コンテンツの出力に関する性能を取得し、それらを用いて、コンテンツ(拡張現実コンテンツ若しくは現実コンテンツ、またはその両方)の出力に用いられるパラメータを調整する。
<サーバ>
図11は、本技術を適用した情報処理装置の一態様であるサーバ401の主な構成の一例を示すブロック図である。図11に示されるように、サーバ401は、CPU421、ROM422、RAM423、バス424、入出力インタフェース430、入力部431、出力部432、記憶部433、通信部434、およびドライブ435を有する。
図11は、本技術を適用した情報処理装置の一態様であるサーバ401の主な構成の一例を示すブロック図である。図11に示されるように、サーバ401は、CPU421、ROM422、RAM423、バス424、入出力インタフェース430、入力部431、出力部432、記憶部433、通信部434、およびドライブ435を有する。
図11に示されるサーバ401において、CPU421、ROM422、RAM423は、バス424を介して相互に接続されている。
バス424にはまた、入出力インタフェース430も接続されている。入出力インタフェース430には、入力部431、出力部432、記憶部433、通信部434、およびドライブ435が接続されている。
入力部431は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部432は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部433は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部434は、例えば、ネットワークインタフェースよりなる。ドライブ435は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア441を駆動する。
以上のように構成されるサーバ401では、CPU421が、例えば、記憶部433に記憶されているプログラムを、入出力インタフェース430およびバス424を介して、RAM423にロードして実行することにより、上述した一連の処理が行われる。RAM423にはまた、CPU421が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のようにCPU421は、プログラムを実行することにより、例えば、上述したAR表示装置101や表示装置102と同様の調整処理を行うことができる。
<性能調整処理の流れ>
この場合のコンテンツ出力システム400の各装置において実行される性能調整処理について、図12のフローチャートを参照して説明する。
この場合のコンテンツ出力システム400の各装置において実行される性能調整処理について、図12のフローチャートを参照して説明する。
性能調整処理が開始されると、AR表示装置101の通信部155は、ステップS201において、サーバ401との通信を確立する。その処理に対応して、サーバ401の通信部434は、ステップS221において、AR表示装置101との通信を確立する。
また、表示装置102の通信部214は、ステップS211において、サーバ401との通信を確立する。その処理に対応して、サーバ401の通信部434は、ステップS222において、表示装置102との通信を確立する。
通信が確立すると、ステップS202において、AR表示装置101の性能処理部133は、拡張現実コンテンツの出力に関する性能(AR表示装置101の最大性能や拡張現実コンテンツの最大性能等)に関する情報(性能情報)を、通信部155を介してサーバ401に供給する。この処理に対応してサーバ401のCPU421は、ステップS223において、通信部434を介してその情報を取得する。
また、通信が確立すると、ステップS212において、表示装置102のCPU201は、現実コンテンツの出力に関する性能(表示装置102の最大性能や現実コンテンツの最大性能等)に関する情報(性能情報)を、通信部214を介してサーバ401に供給する。この処理に対応してサーバ401のCPU421は、ステップS224において、通信部434を介してその情報を取得する。
ステップS225において、サーバ401のCPU421は、拡張現実コンテンツの出力に関する性能と現実コンテンツの出力に関する性能とを比較してその性能差を求める。つまり、CPU421は、AR表示装置101の最大性能、AR表示装置101が出力する拡張現実コンテンツの最大性能、表示装置102の最大性能、表示装置102が出力する現実コンテンツの最大性能等を比較して、装置やコンテンツの性能差を求める。
ステップS203において、AR表示装置101の動作解析部132は、AR表示装置101の動き情報を、通信部155を介してサーバ401に供給する。この処理に対応してサーバ401のCPU421は、ステップS226において、通信部434を介してその情報を取得する。
また、ステップS213において、表示装置102のCPU201は、表示装置102の動き情報を、通信部155を介してサーバ401に供給する。この処理に対応してサーバ401のCPU421は、ステップS227において、通信部434を介してその情報を取得する。
ステップS228において、サーバ401のCPU421は、得られた動き情報に基づいて、AR表示装置101により出力される拡張現実コンテンツと、表示装置102により出力される現実コンテンツとの重なり(または相対位置や相対姿勢)を検出する。
ステップS229において、サーバ401のCPU421は、ステップS225において求めた性能差(装置やコンテンツの性能差)や、ステップS228において検出した重なりに応じて、拡張現実コンテンツ若しくは現実コンテンツ、またはその両方の現在性能(コンテンツの出力に用いられるパラメータ)を調整する。
なお、性能差に基づく調整は、図6のステップS106の場合と同様に行うことができる。したがって、上述したステップS106についての説明をこの処理にも適用することができるので、その詳細についての説明は省略する。また、重なりに応じた調整は、図8や図9を参照して説明した場合と同様に行うことができる。したがって、それらの図を参照して行った説明をこの処理にも適用することができるので、その詳細についての説明は省略する。
サーバ401のCPU421は、その調整後のパラメータを、通信部434を介してAR表示装置101若しくは表示装置102、またはその両方に供給する。この処理に対応して、AR表示装置101の性能処理部133は、ステップS204において、通信部155を介してそのパラメータを取得する。また、表示装置102のCPU201は、ステップS214において、通信部214を介してそのパラメータを取得する。
ステップS205において、表示処理部134および音声処理部135は、表示部151および音声出力部152を制御して、調整された性能で拡張現実コンテンツの画像表示や音声出力を行う。
ステップS215において、CPU201は、出力部212を制御して、調整された性能で現実コンテンツの画像表示や音声出力を行う。
これらの処理が終了すると、性能調整処理が終了する。
以上のように、拡張現実コンテンツの性能の調整や現実コンテンツの性能の調整を、サーバ401において行うこともできる。この場合も、第1の実施の形態の場合と同様に、コンテンツを体験するユーザの違和感の増大を抑制することができる。
<4.付記>
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。
一連の処理をソフトウエアにより実行する場合、その装置(例えば、AR表示装置101、表示装置102、またはサーバ401)が、そのソフトウエアを実行することができるコンピュータとしての構成を有するようにすればよい。
例えば、AR表示装置101の場合、制御部131乃至音声処理部135(図4)が、記憶部158等からプログラムを読み出して実行することにより、上述した一連の処理をソフトウエアにより実行するようにすればよい。また、例えば、表示装置102の場合、CPU201(図5)が、記憶部213等からプログラムを読み出してRAM203にロードして実行することにより、上述した一連の処理をソフトウエアにより実行するようにしてもよい。さらに、例えば、サーバ401の場合、CPU421(図11)が、記憶部433等からプログラムを読み出してRAM423にロードして実行することにより、上述した一連の処理をソフトウエアにより実行するようにしてもよい。
上述した一連の処理をソフトウエアにより実行させる場合、そのソフトウエアを構成するプログラム等は、例えば、記録媒体からインストールされるようにしてもよい。
例えばAR表示装置101の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア161により構成されるようにしてもよい。例えば、制御部131が、ドライブ159に装着されたリムーバブルメディア161に記憶されているプログラム等を読み出し、それを記憶部158等にインストールさせるようにしてもよい。
また、例えば表示装置102の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア221により構成されるようにしてもよい。例えば、CPU201が、ドライブ215に装着されたリムーバブルメディア221に記憶されているプログラム等を読み出し、それを記憶部213等にインストールさせるようにしてもよい。
さらに、例えばサーバ401の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア441により構成されるようにしてもよい。例えば、CPU421が、ドライブ435に装着されたリムーバブルメディア441に記憶されているプログラム等を読み出し、それを記憶部433等にインストールさせるようにしてもよい。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
例えばAR表示装置101の場合、制御部131が、通信部155を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部158等にインストールさせるようにしてもよい。また、例えば表示装置102の場合、CPU201が、通信部214を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部213等にインストールさせるようにしてもよい。さらに、例えばサーバ401の場合、CPU421が、通信部434を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部433等にインストールさせるようにしてもよい。
その他、このプログラムは、予めインストールしておくこともできる。例えばAR表示装置101の場合、プログラムが、記憶部158や制御部131に内蔵されるROM等に予めインストールされているようにしてもよい。また、例えば表示装置102の場合、プログラムが、記憶部213やROM202等に予めインストールされているようにしてもよい。さらに、例えばサーバ401の場合、プログラムが、記憶部433やROM422等に予めインストールされているようにしてもよい。
<本技術の適用対象>
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
<その他>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等(すなわち、装置の一部の構成)として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、撮像画像(動画像)に関するサービスを提供するクラウドサービスに適用することもできる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部
を備える情報処理装置。
(2) 前記パラメータは、出力中の前記現実コンテンツ又は前記拡張現実コンテンツの現在性能に関するパラメータである
(1)に記載の情報処理装置。
(3) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツを出力する機器の最大性能、前記拡張現実コンテンツを出力する機器の最大性能、前記現実コンテンツの最大性能、および、前記拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、前記パラメータを調整する
(2)に記載の情報処理装置。
(4) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツの現在性能および前記拡張現実コンテンツの現在性能の内の低い方に合わせるように、前記パラメータを調整する
(2)または(3)に記載の情報処理装置。
(5) 前記調整部は、さらに、出力中の前記拡張現実コンテンツと前記現実コンテンツとの相対位置に応じて、前記パラメータを調整する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記調整部は、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度差に応じて、前記パラメータを調整する
(5)に記載の情報処理装置。
(7) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記現実コンテンツの知覚強度、および、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記拡張現実コンテンツの知覚強度の内の低い方に合わせるように、前記パラメータを調整する
(5)または(6)に記載の情報処理装置。
(8) 前記相対位置を検出する相対位置検出部をさらに備え、
前記調整部は、前記相対位置検出部により検出された前記相対位置に応じて、前記パラメータを調整する
(5)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記情報処理装置の動きおよび姿勢を検出する動き姿勢検出部をさらに備え、
前記相対位置検出部は、前記動き姿勢検出部により検出される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)に記載の情報処理装置。
(10) 前記情報処理装置の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)または(9)に記載の情報処理装置。
(11) 相手機器の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記相手機器の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)乃至(10)のいずれかに記載の情報処理装置。
(12) 相手機器を検出する相手機器検出部をさらに備え、
前記相対位置検出部は、前記相手機器検出部により検出される前記相手機器の位置および姿勢に基づいて、前記相対位置を検出する
(8)乃至(11)のいずれかに記載の情報処理装置。
(13) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像を、前記画像の色数が少ない方に合わせるように、減色する
(1)乃至(12)のいずれかに記載の情報処理装置。
(14) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、
前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の解像度を、前記解像度が低い方に合わせるように調整し、
さらに、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の色域を、前記色域が狭い方に合わせるように調整する
(1)乃至(13)のいずれかに記載の情報処理装置。
(15) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像と前記現実コンテンツの画像との境界に基づく所定の領域の性能を調整する
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記拡張現実コンテンツおよび前記現実コンテンツは音声を含み、
前記調整部は、前記拡張現実コンテンツの音声又は前記現実コンテンツの音声の音質を、前記音質が低い方に合わせるように調整する
(1)乃至(15)のいずれかに記載の情報処理装置。
(17) 前記調整部は、前記拡張現実コンテンツの現在性能と前記現実コンテンツの現在性能との差が拡大するように、前記パラメータを調整する
(1)乃至(16)のいずれかに記載の情報処理装置。
(18) 他の装置と通信を行い、前記出力に関する性能を授受する通信部をさらに備える
(1)乃至(17)のいずれかに記載の情報処理装置。
(19) 前記調整部は、前記拡張現実コンテンツの出力に用いられるパラメータを調整する
(1)乃至(18)のいずれかに記載の情報処理装置。
(20) 前記調整部は、前記現実コンテンツの出力に用いられるパラメータを調整する
(1)乃至(19)のいずれかに記載の情報処理装置。
(21) 前記調整部は、前記拡張現実コンテンツ若しくは前記現実コンテンツ、またはその両方の出力に用いられるパラメータを調整する
(1)乃至(20)のいずれかに記載の情報処理装置。
(22) 前記調整部は、調整後の前記パラメータを、前記拡張現実出力部を有する装置または前記出力部を有する装置に供給する
(1)乃至(21)のいずれかに記載の情報処理装置。
(23) 前記拡張現実出力部をさらに備え、
前記拡張現実出力部は、前記調整部により調整されたパラメータを用いて前記拡張現実コンテンツを出力する
(1)乃至(22)のいずれかに記載の情報処理装置。
(24) 前記出力部をさらに備え、
前記出力部は、前記調整部により調整されたパラメータを用いて前記現実コンテンツを出力する
(1)乃至(23)のいずれかに記載の情報処理装置。
(25) 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する
情報処理方法。
(26) コンピュータを、
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部と
して機能させるプログラム。
(1) 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部
を備える情報処理装置。
(2) 前記パラメータは、出力中の前記現実コンテンツ又は前記拡張現実コンテンツの現在性能に関するパラメータである
(1)に記載の情報処理装置。
(3) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツを出力する機器の最大性能、前記拡張現実コンテンツを出力する機器の最大性能、前記現実コンテンツの最大性能、および、前記拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、前記パラメータを調整する
(2)に記載の情報処理装置。
(4) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツの現在性能および前記拡張現実コンテンツの現在性能の内の低い方に合わせるように、前記パラメータを調整する
(2)または(3)に記載の情報処理装置。
(5) 前記調整部は、さらに、出力中の前記拡張現実コンテンツと前記現実コンテンツとの相対位置に応じて、前記パラメータを調整する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記調整部は、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度差に応じて、前記パラメータを調整する
(5)に記載の情報処理装置。
(7) 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記現実コンテンツの知覚強度、および、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記拡張現実コンテンツの知覚強度の内の低い方に合わせるように、前記パラメータを調整する
(5)または(6)に記載の情報処理装置。
(8) 前記相対位置を検出する相対位置検出部をさらに備え、
前記調整部は、前記相対位置検出部により検出された前記相対位置に応じて、前記パラメータを調整する
(5)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記情報処理装置の動きおよび姿勢を検出する動き姿勢検出部をさらに備え、
前記相対位置検出部は、前記動き姿勢検出部により検出される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)に記載の情報処理装置。
(10) 前記情報処理装置の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)または(9)に記載の情報処理装置。
(11) 相手機器の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記相手機器の動きおよび姿勢に基づいて、前記相対位置を検出する
(8)乃至(10)のいずれかに記載の情報処理装置。
(12) 相手機器を検出する相手機器検出部をさらに備え、
前記相対位置検出部は、前記相手機器検出部により検出される前記相手機器の位置および姿勢に基づいて、前記相対位置を検出する
(8)乃至(11)のいずれかに記載の情報処理装置。
(13) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像を、前記画像の色数が少ない方に合わせるように、減色する
(1)乃至(12)のいずれかに記載の情報処理装置。
(14) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、
前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の解像度を、前記解像度が低い方に合わせるように調整し、
さらに、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の色域を、前記色域が狭い方に合わせるように調整する
(1)乃至(13)のいずれかに記載の情報処理装置。
(15) 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像と前記現実コンテンツの画像との境界に基づく所定の領域の性能を調整する
(1)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記拡張現実コンテンツおよび前記現実コンテンツは音声を含み、
前記調整部は、前記拡張現実コンテンツの音声又は前記現実コンテンツの音声の音質を、前記音質が低い方に合わせるように調整する
(1)乃至(15)のいずれかに記載の情報処理装置。
(17) 前記調整部は、前記拡張現実コンテンツの現在性能と前記現実コンテンツの現在性能との差が拡大するように、前記パラメータを調整する
(1)乃至(16)のいずれかに記載の情報処理装置。
(18) 他の装置と通信を行い、前記出力に関する性能を授受する通信部をさらに備える
(1)乃至(17)のいずれかに記載の情報処理装置。
(19) 前記調整部は、前記拡張現実コンテンツの出力に用いられるパラメータを調整する
(1)乃至(18)のいずれかに記載の情報処理装置。
(20) 前記調整部は、前記現実コンテンツの出力に用いられるパラメータを調整する
(1)乃至(19)のいずれかに記載の情報処理装置。
(21) 前記調整部は、前記拡張現実コンテンツ若しくは前記現実コンテンツ、またはその両方の出力に用いられるパラメータを調整する
(1)乃至(20)のいずれかに記載の情報処理装置。
(22) 前記調整部は、調整後の前記パラメータを、前記拡張現実出力部を有する装置または前記出力部を有する装置に供給する
(1)乃至(21)のいずれかに記載の情報処理装置。
(23) 前記拡張現実出力部をさらに備え、
前記拡張現実出力部は、前記調整部により調整されたパラメータを用いて前記拡張現実コンテンツを出力する
(1)乃至(22)のいずれかに記載の情報処理装置。
(24) 前記出力部をさらに備え、
前記出力部は、前記調整部により調整されたパラメータを用いて前記現実コンテンツを出力する
(1)乃至(23)のいずれかに記載の情報処理装置。
(25) 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する
情報処理方法。
(26) コンピュータを、
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部と
して機能させるプログラム。
100 コンテンツ出力システム, 101 AR表示装置, 102 表示装置, 131 制御部, 132 動作解析部, 133 性能処理部, 134 表示処理部, 135 音声処理部, 141 バス, 151 表示部, 152 音声出力部, 153 動き姿勢検出部, 154 周辺環境センサ, 155 通信部, 156 入力部, 157 出力部, 158 記憶部, 159 ドライブ, 161 リムーバブルメディア, 201 CPU, 202 ROM, 203 RAM, 214 通信部, 400 コンテンツ出力システム, 401 サーバ, 421 CPU, 422 ROM, 423 RAM, 434 通信部
Claims (20)
- 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部
を備える情報処理装置。 - 前記パラメータは、出力中の前記現実コンテンツ又は前記拡張現実コンテンツの現在性能に関するパラメータである
請求項1に記載の情報処理装置。 - 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツを出力する機器の最大性能、前記拡張現実コンテンツを出力する機器の最大性能、前記現実コンテンツの最大性能、および、前記拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、前記パラメータを調整する
請求項2に記載の情報処理装置。 - 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツの現在性能および前記拡張現実コンテンツの現在性能の内の低い方に合わせるように、前記パラメータを調整する
請求項2に記載の情報処理装置。 - 前記調整部は、さらに、出力中の前記拡張現実コンテンツと前記現実コンテンツとの相対位置に応じて、前記パラメータを調整する
請求項1に記載の情報処理装置。 - 前記調整部は、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度差に応じて、前記パラメータを調整する
請求項5に記載の情報処理装置。 - 前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記現実コンテンツの知覚強度、および、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記拡張現実コンテンツの知覚強度の内の低い方に合わせるように、前記パラメータを調整する
請求項5に記載の情報処理装置。 - 前記相対位置を検出する相対位置検出部をさらに備え、
前記調整部は、前記相対位置検出部により検出された前記相対位置に応じて、前記パラメータを調整する
請求項5に記載の情報処理装置。 - 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像を、前記画像の色数が少ない方に合わせるように、減色する
請求項1に記載の情報処理装置。 - 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、
前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の解像度を、前記解像度が低い方に合わせるように調整し、
さらに、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の色域を、前記色域が狭い方に合わせるように調整する
請求項1に記載の情報処理装置。 - 前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像と前記現実コンテンツの画像との境界に基づく所定の領域の性能を調整する
請求項1に記載の情報処理装置。 - 前記拡張現実コンテンツおよび前記現実コンテンツは音声を含み、
前記調整部は、前記拡張現実コンテンツの音声又は前記現実コンテンツの音声の音質を、前記音質が低い方に合わせるように調整する
請求項1に記載の情報処理装置。 - 前記調整部は、前記拡張現実コンテンツの現在性能と前記現実コンテンツの現在性能との差が拡大するように、前記パラメータを調整する
請求項1に記載の情報処理装置。 - 前記調整部は、前記拡張現実コンテンツの出力に用いられるパラメータを調整する
請求項1に記載の情報処理装置。 - 前記調整部は、前記現実コンテンツの出力に用いられるパラメータを調整する
請求項1に記載の情報処理装置。 - 前記調整部は、前記拡張現実コンテンツ若しくは前記現実コンテンツ、またはその両方の出力に用いられるパラメータを調整する
請求項1に記載の情報処理装置。 - 前記拡張現実出力部をさらに備え、
前記拡張現実出力部は、前記調整部により調整されたパラメータを用いて前記拡張現実コンテンツを出力する
請求項1に記載の情報処理装置。 - 前記出力部をさらに備え、
前記出力部は、前記調整部により調整されたパラメータを用いて前記現実コンテンツを出力する
請求項1に記載の情報処理装置。 - 現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する
情報処理方法。 - コンピュータを、
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部と
して機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018006936A JP2019125986A (ja) | 2018-01-19 | 2018-01-19 | 情報処理装置および方法、並びにプログラム |
PCT/JP2019/000030 WO2019142659A1 (ja) | 2018-01-19 | 2019-01-04 | 情報処理装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018006936A JP2019125986A (ja) | 2018-01-19 | 2018-01-19 | 情報処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019125986A true JP2019125986A (ja) | 2019-07-25 |
Family
ID=67301762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018006936A Pending JP2019125986A (ja) | 2018-01-19 | 2018-01-19 | 情報処理装置および方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019125986A (ja) |
WO (1) | WO2019142659A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11500510B2 (en) | 2020-12-21 | 2022-11-15 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
JP7176792B1 (ja) | 2021-09-09 | 2022-11-22 | 株式会社Synamon | 情報処理システム及び情報処理方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113485544A (zh) * | 2021-07-20 | 2021-10-08 | 歌尔光学科技有限公司 | 增强现实设备的帧率调整方法、系统、设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003303356A (ja) * | 2002-04-09 | 2003-10-24 | Canon Inc | 展示装置 |
JP2011085830A (ja) * | 2009-10-19 | 2011-04-28 | Nikon Corp | 映像表示システム |
JP6051605B2 (ja) * | 2012-06-13 | 2016-12-27 | ソニー株式会社 | 表示装置、および表示制御方法、並びにプログラム |
JP5483761B2 (ja) * | 2012-06-29 | 2014-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 |
JP5696908B2 (ja) * | 2013-02-15 | 2015-04-08 | コニカミノルタ株式会社 | 操作表示システム |
JP5751315B2 (ja) * | 2013-11-20 | 2015-07-22 | ソニー株式会社 | 頭部装着型ディスプレイにおける画像表示方法 |
JP6525740B2 (ja) * | 2015-06-01 | 2019-06-05 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム |
-
2018
- 2018-01-19 JP JP2018006936A patent/JP2019125986A/ja active Pending
-
2019
- 2019-01-04 WO PCT/JP2019/000030 patent/WO2019142659A1/ja active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11500510B2 (en) | 2020-12-21 | 2022-11-15 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
JP7176792B1 (ja) | 2021-09-09 | 2022-11-22 | 株式会社Synamon | 情報処理システム及び情報処理方法 |
WO2023037845A1 (ja) * | 2021-09-09 | 2023-03-16 | 株式会社Synamon | 情報処理システム及び情報処理方法 |
JP2023039827A (ja) * | 2021-09-09 | 2023-03-22 | 株式会社Synamon | 情報処理システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019142659A1 (ja) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11803055B2 (en) | Sedentary virtual reality method and systems | |
EP3368965B1 (en) | Remote rendering for virtual images | |
US11024083B2 (en) | Server, user terminal device, and control method therefor | |
US11483629B2 (en) | Providing virtual content based on user context | |
JP2022191313A (ja) | 双方向性拡張または仮想現実装置 | |
US20190042178A1 (en) | Facilitation of concurrent consumption of media content by multiple users using superimposed animation | |
EP3826290A1 (en) | Head mount display and control method of head mount display, information processing device, display device, and program | |
WO2019037365A1 (zh) | 虚拟现实全景视频流投影方法和设备 | |
WO2019142659A1 (ja) | 情報処理装置および方法、並びにプログラム | |
US20190222823A1 (en) | Techniques for Capturing and Rendering Videos with Simulated Reality Systems and for Connecting Services with Service Providers | |
CN110537208B (zh) | 头戴式显示器和方法 | |
KR20150026336A (ko) | 웨어러블 디바이스 및 그 컨텐트 출력 방법 | |
CN112770177B (zh) | 多媒体文件生成方法、多媒体文件发布方法及装置 | |
JP2019531038A (ja) | ディスプレイ装置及びその制御方法 | |
CN114651448B (zh) | 信息处理系统、信息处理方法和程序 | |
CN104754277A (zh) | 信息处理设备及信息处理方法 | |
CN116529773A (zh) | 视听呈现装置及其操作方法 | |
CN114374832B (zh) | 虚拟现实体验的控制方法、装置、用户设备及网络设备 | |
WO2018173445A1 (ja) | 情報処理装置、情報処理方法、情報処理システム、及びプログラム | |
US11979657B1 (en) | Power efficient object tracking | |
US20240094977A1 (en) | Field of vision audio control for physical or mix of physical and extended reality media displays in a spatially mapped space | |
JP7392723B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101923640B1 (ko) | 가상 현실 방송을 제공하는 방법 및 장치 | |
CN116991358A (zh) | 一种控制方法及媒体输出设备 | |
JPWO2020162218A1 (ja) | 再生装置、および再生方法、並びにプログラム |