JP2022015647A - 情報処理装置および画像表示方法 - Google Patents
情報処理装置および画像表示方法 Download PDFInfo
- Publication number
- JP2022015647A JP2022015647A JP2020118637A JP2020118637A JP2022015647A JP 2022015647 A JP2022015647 A JP 2022015647A JP 2020118637 A JP2020118637 A JP 2020118637A JP 2020118637 A JP2020118637 A JP 2020118637A JP 2022015647 A JP2022015647 A JP 2022015647A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- user
- unit
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Abstract
Description
本発明は、仮想空間に設定した仮想スクリーンに画像を表示する技術に関する。
ヘッドマウントディスプレイ(HMD)はユーザの頭部に装着されて仮想現実(VR)の映像世界をユーザに提供する。HMDはユーザの視野全体にVR画像を提供することで、ユーザを映像世界に没入させる。特許文献1は、ライブイベントを撮影している複数のカメラ映像をHMDで選択するためのユーザインタフェースを開示する。
マルチスクリーン技術は、複数のスクリーンに異なる画像を映し出して、多面的な表現を実現する。本発明者は、複数の仮想スクリーンを仮想空間に設定して、それぞれの仮想スクリーンに異なる画像を映し出すことで、没入感を高める映像空間を構築する可能性に注目した。
本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想的なマルチスクリーンに画像を表示する技術を提供することにある。
上記課題を解決するために、本発明のある態様は、複数の仮想スクリーンに画像を表示させる情報処理装置であって、ユーザの好みおよび/または属性を示すユーザ情報を取得するユーザ情報取得部と、ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する画像決定部と、画像決定部が決定した画像を、各仮想スクリーンから表示させる表示処理部とを備える。
本発明の別の態様は、複数の仮想スクリーンに画像を表示させる方法であって、ユーザの好みおよび/または属性を示すユーザ情報を取得するステップと、ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定するステップと、画像決定部が決定した画像を、各仮想スクリーンから表示させるステップとを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、仮想的なマルチスクリーンに画像を表示する技術を提供できる。
図1は、実施例における情報処理システム1の構成例を示す。情報処理システム1は情報処理装置10と、ヘッドマウントディスプレイ(HMD)100と、ユーザが手指で操作する入力装置16と、HMD100を装着したユーザを撮影する撮像装置14と、画像を表示する出力装置15とを備える。出力装置15はテレビであってよい。情報処理装置10は、アクセスポイント(AP)17を介して、インターネットなどの外部のネットワーク2に接続される。AP17は無線アクセスポイントおよびルータの機能を有し、情報処理装置10はAP17とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。情報処理装置10は、ネットワーク2経由で外部のコンテンツサーバ等と接続してよい。
HMD100はユーザの頭部に装着されて仮想現実(VR)の映像世界をユーザに提供する。情報処理装置10にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動してHMD100に表示される視野画像を更新することで、映像世界へのユーザの没入感を高められる。
情報処理装置10は、処理装置11、出力制御装置12および記憶装置13を備える。処理装置11は、ユーザにより入力装置16に入力された操作情報を受け付けて、コンテンツ映像表示アプリケーションを実行する端末装置である。処理装置11と入力装置16とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。出力制御装置12は、処理装置11から出力される画像データをHMD100に供給する処理ユニットであり、出力制御装置12とHMD100とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。
撮像装置14はステレオカメラであって、HMD100を装着したユーザを所定の周期で撮影し、撮影画像を処理装置11に供給する。後述するがHMD100にはユーザ頭部をトラッキングするためのマーカ(トラッキング用LED)が設けられ、処理装置11は、撮影画像に含まれるマーカの位置にもとづいてHMD100の動きを検出する。なおHMD100には姿勢センサ(加速度センサおよびジャイロセンサ)が搭載され、処理装置11は、姿勢センサで検出されたセンサデータをHMD100から取得することで、マーカの撮影画像の利用とあわせて、高精度のヘッドトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置11はHMD100の動きを検出できるのであれば、どのような手法を採用してもよい。たとえばHMD100にカメラを搭載し、処理装置11が、カメラ画像からSLAM(Simultaneous Localization and Mapping)処理によりヘッドトラッキングを実施してもよい。
ユーザはHMD100で画像を見るため、HMD100を装着したユーザにとって出力装置15は必ずしも必要ではないが、出力装置15を用意することで、HMD100を装着していない別のユーザが出力装置15に表示される画像を見ることができる。なお出力制御装置12または処理装置11は、HMD100を装着したユーザが見ている視野画像と同じ画像を出力装置15に表示させてもよいが、別の画像を表示させてもよい。
HMD100は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。HMD100は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置10は、レンズによる光学歪みを補正した視差画像データをHMD100に供給する。この光学歪みの補正処理は、処理装置11、出力制御装置12のいずれが行ってもよい。
出力制御装置12による機能は、処理装置11に組み込まれてもよい。つまり情報処理装置10の処理ユニットは、1台の処理装置11から構成されても、また処理装置11および出力制御装置12から構成されてもよい。以下においては、VR画像をHMD100に提供する機能を、まとめて情報処理装置10の機能として説明する。
情報処理装置10は、ユーザのヘッドトラッキング処理により、ユーザ頭部(実際にはHMD100)の位置座標および姿勢を検出する。ここでHMD100の位置座標は、基準位置を原点とした3次元空間における位置座標であり、基準位置はHMD100の電源がオンされたときの位置座標(緯度、経度)であってよい。またHMD100の姿勢は、3次元空間における基準姿勢に対する3軸方向の傾きで表現される。基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、HMD100の電源がオンされたときに基準姿勢が設定されてよい。
情報処理装置10は、HMD100の姿勢センサが検出したセンサデータのみから、HMD100の位置座標および姿勢を検出でき、さらに撮像装置14で撮影したHMD100のマーカ(トラッキング用LED)を画像解析することで、高精度にHMD100の位置座標および姿勢を検出できる。
図2は、HMD100の外観形状の例を示す。HMD100は、出力機構部102および装着機構部104から構成される。装着機構部104は、ユーザが被ることにより頭部を一周してHMD100を頭部に固定する装着バンド106を含む。装着バンド106はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
出力機構部102は、HMD100をユーザが装着した状態において左右の目を覆う形状の筐体108を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどであってよい。筐体108内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。HMD100はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
筐体108の外面には、発光マーカ110a、110b、110c、110dが備えられる。この例ではトラッキング用LEDが発光マーカ110を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置14により撮影されて、情報処理装置10がマーカ位置を画像解析できるものであればよい。発光マーカ110の数や配置は特に限定されないが、HMD100の姿勢を検出できるための数および配置である必要があり、図示した例では筐体108の前面の4隅に設けている。さらにユーザが撮像装置14に対して背を向けたときにも撮影できるように、発光マーカ110は装着バンド106の側部や後部に設けられてもよい。
HMD100は、情報処理装置10にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。HMD100は、姿勢センサが検出したセンサデータや筐体108内に設けた内部カメラが撮影した画像データを情報処理装置10に送信し、また情報処理装置10から供給される画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示し、情報処理装置10から供給される音声データを受信して、スピーカーから出力する。
図3は、HMD100の機能ブロックを示す。制御部120は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部122は、制御部120が処理するデータや命令などを一時的に記憶する。姿勢センサ124は、HMD100の姿勢情報を検出する。姿勢センサ124は、少なくとも3軸の加速度センサおよび3軸のジャイロセンサを含む。内部カメラ134は筐体108の内側に設けられて、ユーザの視線追跡のために、ユーザの眼を撮影する。
通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部120から出力されるデータを外部の情報処理装置10に送信する。また通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置10からデータを受信し、制御部120に出力する。
制御部120は、情報処理装置10から受け取ったコンテンツの画像データを表示パネル130に供給して表示させ、情報処理装置10から受け取ったコンテンツの音声データを音声出力部132に供給して音声出力させる。表示パネル130は、左目用表示パネル130aと右目用表示パネル130bから構成され、各表示パネルに一対の視差画像が表示される。また制御部120は、姿勢センサ124からのセンサデータや、マイク126からの音声データ、内部カメラ134からの撮影画像データを、通信制御部128から情報処理装置10に送信させる。
図4は、情報処理装置10の機能ブロックを示す。情報処理装置10は、外部との入出力インタフェースとして、センサデータ受信部20、第1撮影画像受信部22、第2撮影画像受信部24、入力データ受信部26および送信部60を備える。情報処理装置10は、さらにHMD情報取得部30、顔方向検出部32、視線方向検出部34、受付部36および出力処理部40を備え、出力処理部40は、ユーザ情報取得部42、スクリーン特定部44、画像決定部46、表示処理部48および音声処理部50を有する。記憶装置13は、HMD100に表示するための複数の画像素材(コンテンツ)を記憶する。コンテンツには、画像に関する様々なメタデータが関連付けられている。たとえばメタデータには、コンテンツのカテゴリを示す情報や、コンテンツに含まれる人物を示す情報等が含まれてよい。
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
図5は、表示処理部48が設定するマルチスクリーン環境の例を示す。表示処理部48は、仮想3次元空間において、複数の仮想スクリーン200を設定する。実施例の複数の仮想スクリーン200は、センタースクリーン200a、左側スクリーン200b、右側スクリーン200c、上側スクリーン200d、下側スクリーン200eを備える。このように5枚の矩形状仮想スクリーン200は、箱体の一面を切り欠いた5面体を構成してよく、各仮想スクリーン200の表示面は、5面体の内側に向けられる。
センタースクリーン200aの左辺には、左側スクリーン200bの一辺が接続され、センタースクリーン200aの右辺には、右側スクリーン200cの一辺が接続され、センタースクリーン200aの上辺には、上側スクリーン200dの一辺が接続され、センタースクリーン200aの下辺には、下側スクリーン200eの一辺が接続される。左側スクリーン200bの上辺および下辺は、それぞれ上側スクリーン200dの一辺および下側スクリーン200eの一辺と接続し、右側スクリーン200cの上辺および下辺は、それぞれ上側スクリーン200dの一辺および下側スクリーン200eの一辺と接続する。
ユーザの視点となる仮想カメラ202は、5面体内部の所定位置に配置され、仮想カメラ202の光軸方向を変更することで、見える画像(視野画像)が変更される。平面状の複数の仮想スクリーン200が、隙間を空けることなく互いに接続して5面体を構成することで、映像に対するユーザの没入感を高めることが可能となる。なおセンタースクリーン200aに対向する背面スクリーンを設けて、密閉した6面体を構成してもよい。
図6は、HMD100に表示されるマルチスクリーン映像の例を示す。この例でユーザは正面を向いており、したがってセンタースクリーン200aに映し出されている画像が正面に見えている。実施例のマルチスクリーン環境において、各スクリーンには、ユーザの好みや、ユーザの属性にもとづいた画像が表示される。情報処理装置10が、ユーザの好みおよび/または属性にしたがった画像を表示することで、コンテンツの新しい楽しみ方を提供できる。以下、その仕組みについて説明する。
センサデータ受信部20は、ユーザが装着したHMD100の姿勢センサ124から所定の周期でセンサデータを受信して、HMD情報取得部30に供給する。第1撮影画像受信部22は、撮像装置14から所定の周期でHMD100を撮影した画像を受信して、HMD情報取得部30に供給する。たとえば撮像装置14は(1/60)秒ごとにユーザを含む空間を撮影し、第1撮影画像受信部22は、(1/60)秒ごとに撮影画像を受信する。実施例においてHMD情報取得部30は、センサデータおよび撮影画像を、ユーザの頭部に装着されたHMD100の姿勢を示す姿勢情報として取得する。HMD情報取得部30は、取得した姿勢情報を、顔方向検出部32に供給する。
顔方向検出部32は、HMD100の姿勢情報に応じてユーザの顔の向きを検出する。具体的に顔方向検出部32は、姿勢センサ124のセンサデータから、HMD100の姿勢の変化を検出する。このとき顔方向検出部32は3軸ジャイロセンサのセンサデータから、HMD100の姿勢変化を特定してよい。顔方向検出部32は、トラッキング用の発光マーカ110の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。顔方向検出部32は、特定したHMD100の姿勢を、ユーザの顔の向きとして決定し、表示処理部48に提供する。
第2撮影画像受信部24は、内部カメラ134から所定の周期で、ユーザの眼を撮影した画像を受信して、視線方向検出部34に供給する。たとえば内部カメラ134はユーザの右眼および左眼に赤外光を照射し、その反射光を撮影する。視線方向検出部34は、反射光の撮影画像から、右眼および左眼の眼球の回転角を検出して、ユーザの視線方向を検出する。なお視線方向検出部34は、他の公知のアイトラッキング機能によりユーザの視線方向を検出してよい。視線方向検出部34は、検出した視線方向を、ユーザ情報取得部42およびスクリーン特定部44に提供する。
入力データ受信部26は入力装置16から、ユーザが入力した操作情報を受信して、受付部36に供給する。受付部36は操作情報を、出力処理部40に提供する。ユーザは、コンテンツ映像表示アプリケーションを開始する際や、センタースクリーン200aに表示するコンテンツを選択する際に、入力装置16から操作情報を入力してよい。
出力処理部40において、表示処理部48は、顔方向検出部32から提供される顔の向きを、仮想空間における仮想カメラ202の光軸方向を定める情報として利用する。なお表示処理部48は、受付部36から供給される操作情報を、仮想カメラ202の光軸方向を定める情報として利用してもよい。実施例において仮想空間内の仮想カメラ202の位置は固定とするが、仮想空間内で仮想カメラ202を移動可能としてもよい。この場合、表示処理部48は、受付部36から供給される操作情報を、仮想カメラ202の配置位置を動かすための情報として利用してよい。
表示処理部48は、仮想カメラ202の位置および光軸方向に応じた表示画像(視野画像)を生成する。表示処理部48は左目用の表示画像と右目用の表示画像を生成すると、送信部60が、左目用表示画像と右目用表示画像をHMD100に送信し、HMD100が、表示パネル130に表示する。これによりユーザは、5つの仮想スクリーン200に表示されている画像を見ることができる。なお図6は、ユーザがセンタースクリーン200aを正面に見ているときの表示画像であるが、ユーザが90度左を向くと、仮想カメラ202の光軸方向が左回りに90度回転するため、左側スクリーン200bが正面に見えるようになる。
以下、各仮想スクリーン200に表示する画像について説明する。実施例では、ユーザがセンタースクリーン200aに表示するコンテンツ画像を選択し、それ以外の仮想スクリーン200に表示するコンテンツ画像を、画像決定部46が、ユーザの好みおよび/または属性を示すユーザ情報にしたがって決定する。この例では、ユーザがセンタースクリーン200aに、アイドルグループのコンサート映像を表示することを決定している。なお画像決定部46が、センタースクリーン200aに表示するコンテンツ画像を選択してよく、またセンタースクリーン200aに表示するコンテンツ画像は予め定められていてもよい。
ユーザ情報取得部42は、ユーザの好みおよび/または属性を示すユーザ情報を取得する。ユーザ情報取得部42は、ユーザの好みおよび/または属性を示すユーザ情報を、ネットワーク2を介して、ユーザ情報を管理する外部サーバから取得してよい。アイドルグループのコンサート映像を表示する場合、ユーザ情報取得部42は、外部サーバから、少なくとも当該アイドルグループに関するユーザ情報、たとえばユーザが推しているメンバを示す情報を取得する。さらにユーザ情報取得部42は、ユーザの性別、年齢、出身地、趣味、興味関心の高いジャンル等の属性情報を外部サーバから取得してよい。
なおコンテンツ画像の表示後、ユーザ情報取得部42は、ユーザの視線計測(アイトラッキング)結果から、ユーザが関心のあるメンバをリアルタイムに特定してもよい。このときユーザ情報取得部42は、視線方向検出部34からユーザの視線方向を取得し、そのときに表示されている視野画像をもとにユーザが見ている対象(メンバ)を示す情報を取得する。ユーザがグループのメンバAに注視していることが検出されると、ユーザ情報取得部42は、ユーザがメンバAを好きであるというユーザ情報を取得してよい。以上のようにユーザ情報取得部42は、ユーザの好みおよび/または属性を示すユーザ情報を取得してよい。
画像決定部46は、ユーザの好みおよび/または属性にしたがって、センタースクリーン200a以外の仮想スクリーン200に表示する画像を決定する。たとえばユーザがメンバAを推している場合、画像決定部46は、メンバAに関連するコンテンツを記憶装置13から探索する。記憶装置13は、様々なメタデータを関連付けたコンテンツを記憶している。
画像決定部46は、記憶装置13に記憶された複数のコンテンツを、メタデータを参照して、ユーザの好みおよび/または属性にもとづいて評価する機能をもつ。この例で画像決定部46は、メタデータとしてメンバAが関連付けられているコンテンツを記憶装置13から探索し、コンテンツの評価値を算出する。なお後述するが、画像決定部46は、メンバAをメタデータとして含まないコンテンツを探索してもよい。画像決定部46は、所定の評価基準を用いて評価値を算出する。
実施例で画像決定部46は、ユーザ情報およびセンタースクリーン200aに表示するコンテンツに対する関連度を評価値として算出する。つまり画像決定部46は、ユーザ情報と、センタースクリーン200aに表示する画像素材との関連度が高いコンテンツに対しては高い評価値を算出し、ユーザ情報とセンタースクリーン200aの画像素材との関連度が低いコンテンツに対しては低い評価値を算出する。
たとえば画像決定部46は、メタデータにメンバAを含み、且つセンタースクリーン200aの画像素材と同じカテゴリのコンテンツには第1の基準点を与え、メタデータにメンバAを含むが異なるカテゴリのコンテンツには第1の基準点より低い第2の基準点を与える。たとえばコンテンツを100点満点で評価する場合、画像決定部46は、メタデータにメンバAを含み、且つ素材カテゴリを「コンサート映像」とするコンテンツには70点(第1の基準点)を与え、メタデータにメンバAを含み、且つ素材カテゴリが「コンサート映像」以外であるコンテンツには40点(第2の基準点)を与える。なおメタデータにメンバAを含まないコンテンツには、0点の基準点が与えられてよい。画像決定部46は、さらにユーザの推しメンバ以外の好みや属性と、コンテンツのメタデータとの関連度を評価値として基準点に加算して、コンテンツの評価値を算出する。
画像決定部46は、左側スクリーン200bおよび右側スクリーン200cに相対的に評価値の高い画像を、上側スクリーン200dおよび下側スクリーン200eに相対的に評価値の低い画像を表示することを決定する。表示パネル130に表示される画像(視野画像)は横長矩形であり、横方向の表示スペースを大きくとることができるため、左側スクリーン200bおよび右側スクリーン200cに評価値の高い画像を表示することで、ユーザの好みおよび/または属性に沿ったコンテンツ画像を表示できる。
なお画像決定部46は、左側スクリーン200bおよび右側スクリーン200cのコンテンツを、所定の閾値(たとえば60点)よりも高い評価値をもつコンテンツから選択し、上側スクリーン200dおよび下側スクリーン200eのコンテンツを、所定の閾値(たとえば60点)以下の評価値をもつコンテンツから選択してよい。所定の閾値は、第1の基準点(70点)より低く設定され、したがって上側スクリーン200dおよび下側スクリーン200eには、センタースクリーン200aの画像素材のカテゴリとは異なるカテゴリのコンテンツが表示される可能性が高くなる。
センタースクリーン200aにコンサート映像が表示される場合、上記したように、左側スクリーン200bおよび右側スクリーン200cには、センタースクリーン200aの画像素材に関連度の高い映像が表示されるため、同様にコンサート映像が選択されることが多いと考えられる。そのため上側スクリーン200dおよび下側スクリーン200eにもコンサート映像を表示すると、似たような映像が5面表示されることになり、若干面白みに欠けることが予想される。そこで画像決定部46は、上側スクリーン200dおよび下側スクリーン200eに表示する画像を、所定の基準よりも低い評価値をもつ画像としてよい。なお評価値に関係なく、画像決定部46は、上側スクリーン200dおよび下側スクリーン200eに表示する画像を、センタースクリーン200aに表示する画像とは異なるカテゴリの画像に決定してもよい。
以上の画像決定部46の決定処理により、図6の各仮想スクリーン200には、以下の画像が表示される。
・センタースクリーン200a
ユーザが選択したコンサートの映像が表示される。ユーザが、記憶装置13から1つのコンテンツを選択すると、画像決定部46は、選択したコンテンツを、センタースクリーン200aに表示する画像素材として決定する。
・センタースクリーン200a
ユーザが選択したコンサートの映像が表示される。ユーザが、記憶装置13から1つのコンテンツを選択すると、画像決定部46は、選択したコンテンツを、センタースクリーン200aに表示する画像素材として決定する。
画像決定部46は、ユーザの好みおよび/または属性にしたがって、左側スクリーン200b、右側スクリーン200c、上側スクリーン200d、下側スクリーン200eに表示するコンテンツを決定する。具体的に画像決定部46は、記憶装置13に記憶されたコンテンツの評価値を導出し、左側スクリーン200bおよび右側スクリーン200cに相対的に評価値の高いコンテンツを表示することを決定し、上側スクリーン200dおよび下側スクリーン200eに相対的に評価値の低いコンテンツを表示することを決定する。
・左側スクリーン200bおよび右側スクリーン200c
センタースクリーン200aの画像素材と同様に、画像決定部46は、左側スクリーン200bおよび右側スクリーン200cに、センタースクリーン200aの画像素材と同じくメンバAが参加しているコンサート映像を表示することを決定する。なお、左側スクリーン200bおよび右側スクリーン200cに表示する映像のコンサートは、センタースクリーン200aに表示する映像のコンサートと同日に開催されたコンサートである必要はなく、異なっていてよい。つまりセンタースクリーン200a、左側スクリーン200b、右側スクリーン200cに表示する映像のコンサートは、全て異なっていてよい。
センタースクリーン200aの画像素材と同様に、画像決定部46は、左側スクリーン200bおよび右側スクリーン200cに、センタースクリーン200aの画像素材と同じくメンバAが参加しているコンサート映像を表示することを決定する。なお、左側スクリーン200bおよび右側スクリーン200cに表示する映像のコンサートは、センタースクリーン200aに表示する映像のコンサートと同日に開催されたコンサートである必要はなく、異なっていてよい。つまりセンタースクリーン200a、左側スクリーン200b、右側スクリーン200cに表示する映像のコンサートは、全て異なっていてよい。
・上側スクリーン200dおよび下側スクリーン200e
画像決定部46は、上側スクリーン200dおよび下側スクリーン200eに、コンサート映像以外の映像を表示することを決定する。この例では上側スクリーン200dに、メンバAのインタビュー映像を、下側スクリーン200eに、メンバAが体力作りの目的で運動している映像を表示することを決定する。いずれのコンテンツもコンサート映像ではないため、評価値は相対的に低いが、少なくともメンバAの映像を含んでいる。
画像決定部46は、上側スクリーン200dおよび下側スクリーン200eに、コンサート映像以外の映像を表示することを決定する。この例では上側スクリーン200dに、メンバAのインタビュー映像を、下側スクリーン200eに、メンバAが体力作りの目的で運動している映像を表示することを決定する。いずれのコンテンツもコンサート映像ではないため、評価値は相対的に低いが、少なくともメンバAの映像を含んでいる。
このように画像決定部46は、5つの仮想スクリーン200に表示する画像素材を決定する。表示処理部48は、画像決定部46が決定したコンテンツの画像データを送信部60からHMD100に送信して、表示パネル130の各仮想スクリーン200から表示させる。具体的にはHMD100において制御部120が各仮想スクリーン200に表示するための画像データを取得し、表示パネル130から表示する。これによりユーザは、ユーザの嗜好に沿ったマルチスクリーン映像を見ることができる。
音声処理部50は、複数の仮想スクリーン200において表示される表示画像の少なくとも1つに対応する音声を音声出力部132から出力させる。実施例で音声処理部50は、センタースクリーン200aに表示される画像に対応する音声を音声出力部132から出力させる。センタースクリーン200aには、ユーザが選択した画像が表示されるため、音声処理部50は、センタースクリーン200aの表示画像に対応する音声を音声出力部132から出力させることで、センタースクリーン200aの表示画像と音声とを連動させることが可能となる。
なおマルチスクリーン環境において、ユーザは、センタースクリーン200a以外の仮想スクリーン200に表示される画像を見ることができる。このとき出力音声は変更されなくてよいが、ユーザが見ている仮想スクリーン200に合わせて変更されてもよい。後者の場合、音声処理部50は、ユーザが見ている仮想スクリーン200の表示画像に対応する音声を音声出力部132から出力させてよい。
そのためにスクリーン特定部44は、視線方向検出部34で検出されたユーザの視線方向から、ユーザが見ている仮想スクリーン200を特定する。スクリーン特定部44は、表示パネル130に表示されている視野画像に、仮想カメラ202を起点とする視線方向を交差させることで、ユーザが見ている仮想スクリーン200を特定してよい。音声処理部50は、スクリーン特定部44で特定された仮想スクリーン200の表示画像に対応する音声を記憶装置13から読み出し、送信部60からHMD100に送信する。HMD100において制御部120は音声データを取得し、音声出力部132から出力する。これによりユーザは、ユーザが見ている画像に連動した音声を聞くことができる。
なお実際のユーザの視線について検討すると、ユーザは、マルチスクリーン環境下で、あちこちに視線を動かすことが通常である。そのため見ている表示画像が頻繁に切り替わることになるが、その切り替わりの頻度に合わせて音声も切り替えると、好ましくないことも生じうる。そこでスクリーン特定部44は、ユーザが1つの仮想スクリーン200を連続して見る時間を計測し、計測した時間が所定時間を超えると、音声処理部50は、当該仮想スクリーン200に表示される画像に対応する音声を出力させてもよい。この例でスクリーン特定部44は、連続して1つの仮想スクリーン200を見る時間を計測することで、その仮想スクリーン200をユーザが注視しているか判断する。たとえば所定時間は、5~10秒の範囲で設定されてよい。ユーザは、センタースクリーン200aに表示されるコンサート映像の視聴中に、上側スクリーン200dに表示されているインタビュー動画が気になれば、少し上に視線方向をずらして上側スクリーン200dの映像を所定時間以上見ることで、音声出力部132が、コンサート音声の代わりに、インタビュー音声を出力するようになる。
以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では情報処理装置10とHMD100とが別体であることを説明したが、変形例では情報処理装置10の機能がHMD100に組み込まれて、HMD100が単体で画像表示機能を実現してもよい。
実施例ではユーザ情報取得部42が、視線方向検出部34からユーザの視線方向を取得し、そのときに表示されている視野画像をもとにユーザが注視している対象を特定して、当該対象にもとづいて特定される好みを示すユーザ情報を取得することを説明した。ユーザ情報取得部42が特定する対象に変更があると、画像決定部46は、変更された対象にもとづいてコンテンツを変更してよい。なおユーザが入力装置16を操作して、好みおよび/または属性を示すユーザ情報を直接入力し、ユーザ情報取得部42がユーザ情報を取得してもよい。ユーザが好みの情報等を直接入力することで、ユーザ情報取得部42が、確実にユーザの好み情報を取得できるようになる。
実施例では出力処理部40が、記憶装置13からコンテンツの画像データおよび音声データを取得することを説明したが、外部のコンテンツサーバから取得してもよい。この場合、画像決定部46は、外部のコンテンツサーバに蓄積されているコンテンツの評価値を算出してよい。
実施例では画像決定部46が、ユーザの好み情報にもとづいてコンテンツを決定する例を示したが、ユーザの属性情報にもとづいてコンテンツを決定してもよい。特にユーザがコンテンツを選択するのではなく、画像決定部46が、全ての仮想スクリーン200のコンテンツを選択する場合、画像決定部46は、ユーザの属性情報にもとづいて、センタースクリーン200aに表示するコンテンツを決定し、当該コンテンツおよびユーザ情報にもとづいて、他の仮想スクリーン200に表示するコンテンツを決定してもよい。
実施例では、画像決定部46は、メンバAをメタデータとして含むコンテンツを抽出したが、メンバAを含まないコンテンツを探索してもよい。この場合には、たとえば画像決定部46が、メンバAに関連付けられたメンバ情報、たとえばメンバAと仲の良いメンバをメタデータとして含むコンテンツを抽出して、仮想スクリーン200のコンテンツとして決定してもよい。画像決定部46は、ユーザと似た好みおよび/または属性をもつ別のユーザに対して提供したコンテンツを、ユーザに対しても提供してよい。
1・・・情報処理システム、10・・・情報処理装置、13・・・記憶装置、14・・・撮像装置、20・・・センサデータ受信部、22・・・第1撮影画像受信部、24・・・第2撮影画像受信部、26・・・入力データ受信部、30・・・HMD情報取得部、32・・・顔方向検出部、34・・・視線方向検出部、36・・・受付部、40・・・出力処理部、42・・・ユーザ情報取得部、44・・・スクリーン特定部、46・・・画像決定部、48・・・表示処理部、50・・・音声処理部、60・・・送信部、100・・・HMD、102・・・出力機構部、104・・・装着機構部、106・・・装着バンド、108・・・筐体、110・・・発光マーカ、120・・・制御部、122・・・記憶部、124・・・姿勢センサ、126・・・マイク、128・・・通信制御部、130・・・表示パネル、130a・・・左目用表示パネル、130b・・・右目用表示パネル、132・・・音声出力部、134・・・内部カメラ、200a・・・センタースクリーン、200b・・・左側スクリーン、200c・・・右側スクリーン、200d・・・上側スクリーン、200e・・・下側スクリーン、202・・・仮想カメラ。
Claims (9)
- 複数の仮想スクリーンに画像を表示させる情報処理装置であって、
ユーザの好みおよび/または属性を示すユーザ情報を取得するユーザ情報取得部と、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する画像決定部と、
前記画像決定部が決定した画像を、各仮想スクリーンから表示させる表示処理部と、
を備えることを特徴とする情報処理装置。 - 表示される複数の表示画像の少なくとも1つに対応する音声を音声出力部から出力させる音声処理部をさらに備える、
ことを特徴とする請求項1に記載の情報処理装置。 - 仮想空間には少なくとも、仮想的なセンタースクリーン、左側スクリーン、右側スクリーン、上側スクリーン、下側スクリーンが設定されており、
前記音声処理部は、センタースクリーンに表示される画像に対応する音声を音声出力部から出力させる、
ことを特徴とする請求項2に記載の情報処理装置。 - 表示候補となるコンテンツは、ユーザ情報にもとづいた評価値を算出されるものであって、
前記画像決定部は、左側スクリーンおよび右側スクリーンに相対的に評価値の高いコンテンツを表示することを決定し、上側スクリーンおよび下側スクリーンに相対的に評価値の低いコンテンツを表示することを決定する、
ことを特徴とする請求項3に記載の情報処理装置。 - ユーザが見ている仮想スクリーンを特定する特定部を、さらに備え、
前記音声処理部は、ユーザが見ている仮想スクリーンに表示される画像に対応する音声を音声出力部から出力させる、
ことを特徴とする請求項2に記載の情報処理装置。 - 前記特定部は、ユーザが1つの仮想スクリーンを連続して見る時間を計測し、計測した時間が所定時間を超えると、前記音声処理部は、当該仮想スクリーンに表示される画像に対応する音声を出力させる、
ことを特徴とする請求項5に記載の記載の情報処理装置。 - 前記ユーザ情報取得部は、表示画像においてユーザが見ている対象を示す情報を取得する、
ことを特徴とする請求項1から6のいずれかに記載の情報処理装置。 - 複数の仮想スクリーンに画像を表示させる方法であって、
ユーザの好みおよび/または属性を示すユーザ情報を取得するステップと、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定するステップと、
決定した画像を、各仮想スクリーンから表示させるステップと、
を有する画像表示方法。 - 複数の仮想スクリーンに画像を表示させるコンピュータに、
ユーザの好みおよび/または属性を示すユーザ情報を取得する機能と、
ユーザ情報にしたがって、各仮想スクリーンに表示する画像を決定する機能と、
決定した画像を、各仮想スクリーンから表示させる機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020118637A JP2022015647A (ja) | 2020-07-09 | 2020-07-09 | 情報処理装置および画像表示方法 |
US17/355,314 US11601639B2 (en) | 2020-07-09 | 2021-06-23 | Information processing apparatus and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020118637A JP2022015647A (ja) | 2020-07-09 | 2020-07-09 | 情報処理装置および画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022015647A true JP2022015647A (ja) | 2022-01-21 |
Family
ID=79173916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020118637A Pending JP2022015647A (ja) | 2020-07-09 | 2020-07-09 | 情報処理装置および画像表示方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11601639B2 (ja) |
JP (1) | JP2022015647A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115423948B (zh) * | 2022-11-04 | 2023-02-21 | 江西省映尚科技有限公司 | Vr图像的处理方法、系统及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102432283B1 (ko) * | 2017-05-01 | 2022-08-11 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
JP6921204B2 (ja) | 2017-08-24 | 2021-08-18 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像出力方法 |
-
2020
- 2020-07-09 JP JP2020118637A patent/JP2022015647A/ja active Pending
-
2021
- 2021-06-23 US US17/355,314 patent/US11601639B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11601639B2 (en) | 2023-03-07 |
US20220014729A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10009542B2 (en) | Systems and methods for environment content sharing | |
US11455032B2 (en) | Immersive displays | |
JP6845111B2 (ja) | 情報処理装置および画像表示方法 | |
WO2017086263A1 (ja) | 情報処理装置および画像生成方法 | |
US10908421B2 (en) | Systems and methods for personal viewing devices | |
KR20200035344A (ko) | 모바일 디바이스용 위치추정 | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
CN108983982B (zh) | Ar头显设备与终端设备组合系统 | |
JP6615732B2 (ja) | 情報処理装置および画像生成方法 | |
JP2019020908A (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
JP2018050179A (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
CN112272817A (zh) | 用于在沉浸式现实中提供音频内容的方法和装置 | |
JP4492597B2 (ja) | 立体表示処理装置および立体表示処理方法 | |
JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
JP2022015647A (ja) | 情報処理装置および画像表示方法 | |
US20210058611A1 (en) | Multiviewing virtual reality user interface | |
US11659043B1 (en) | Systems and methods for predictively downloading volumetric data | |
JP6999538B2 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
JP6921204B2 (ja) | 情報処理装置および画像出力方法 | |
JP2022022871A (ja) | 処理装置および没入度導出方法 | |
JP2011205385A (ja) | 立体映像制御装置および立体映像制御方法 | |
US11310472B2 (en) | Information processing device and image generation method for projecting a subject image onto a virtual screen | |
JP2019216344A (ja) | 全天周立体映像表示装置及びそのプログラム、全天周立体映像撮影装置、並びに、全天周立体映像システム | |
CN117452637A (zh) | 头戴式显示器和图像显示方法 | |
Nowatzyk et al. | Omni-Directional Catadioptric Acquisition System |