JP2017138701A - 仮想空間画像提供方法、及びそのプログラム - Google Patents

仮想空間画像提供方法、及びそのプログラム Download PDF

Info

Publication number
JP2017138701A
JP2017138701A JP2016017825A JP2016017825A JP2017138701A JP 2017138701 A JP2017138701 A JP 2017138701A JP 2016017825 A JP2016017825 A JP 2016017825A JP 2016017825 A JP2016017825 A JP 2016017825A JP 2017138701 A JP2017138701 A JP 2017138701A
Authority
JP
Japan
Prior art keywords
image
user
hmd
angular velocity
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016017825A
Other languages
English (en)
Other versions
JP6092437B1 (ja
Inventor
篤 猪俣
Atsushi Inomata
篤 猪俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016017825A priority Critical patent/JP6092437B1/ja
Priority to PCT/JP2017/002602 priority patent/WO2017135129A1/ja
Priority to US15/422,426 priority patent/US9766697B2/en
Application granted granted Critical
Publication of JP6092437B1 publication Critical patent/JP6092437B1/ja
Publication of JP2017138701A publication Critical patent/JP2017138701A/ja
Priority to US15/678,046 priority patent/US10409365B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • G06T5/70
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6692Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

【課題】VR空間におけるユーザの視野がHMDの動きと同期しているようなケースに適したVR酔い低減方法を提供する。
【解決手段】HMDのX軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角のそれぞれの角速度ωX,ωY,ωZを検出し(S501)、各角速度ωX,ωY,ωZを成分とする3次元角速度ベクトルΩの大きさ|Ω|、方向Ω/|Ω|を取得する(S503)。次に、角速度ベクトルΩの大きさ|Ω|が所定値未満か否かを判定し(S505)、判定結果が否の場合には、角速度ベクトルΩの方向Ω/|Ω|に基づいて画像のぼかしの方向を設定するとともに、角速度ベクトルΩの大きさ|Ω|に基づいて画像のぼかしの大きさ及び前記画像のぼかし処理を施す範囲を設定する(S506)。それにより、HMDの変位に基づいて前記画像のぼかし処理を実施し、ユーザが視認する仮想空間において画像情報量を低減させた画像を生成する(S507)。
【選択図】図5

Description

本発明は、ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイ(Head Mounted Display:以下、「HMD」)に提供する方法、及びそのプログラムに関する。
特許文献1には、撮像装置の動きの角速度を検出し、その角速度に応じて中心部に対する外周部ないし周縁部のぼかし量を設定したフィルタ処理を行うことによって、映像酔いを防ぐ手法が開示されている。
特開2007−116309号公報
しかしながら、特許文献1の撮像装置は現実空間に置かれたものであり、HMDを装着して仮想空間に没入しているときのような特殊な視聴環境を想定したものではない。本発明は、HMDを用いて仮想現実(Virtual Reality:以下VR)を提供するに当たっての映像酔い(いわゆるVR酔い)を低減することを課題とする。
特許文献1に開示されている手法は、立体カメラから取得された入力映像信号に基づいて、特徴検出部により検出対象箇所の動きベクトルを検出して画像の動きの大きさを判断し、判断結果に応じて映像品質を低下させて観察者の視覚的負担を軽減させるというものである。
しかしながら、特許文献1は、VR空間におけるユーザの視野がHMDの動きと同期しているようなケースに対応するものではなく、そのようなケースに適したVR酔いの低減手法は一切開示されていない。
本発明は、上記のような課題に鑑みてなされたものであり、その目的は、VR空間におけるユーザの視野がHMDの動きと同期しているようなケースに特に適した、VR酔いを低減するための、ユーザが視認する仮想空間画像をHMDに提供する方法、及びそのプログラムを提供することである。
上述した課題を解決するための本発明の基本的態様は、ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、前記回転方向に基づいて画像情報量低減化処理を施す方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップと、ユーザが視認する仮想空間において、前記ヘッドマウント・ディスプレイの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ、を具備したことを特徴とする方法に係るものである。なお、本発明における「画像情報量低減化処理」とは、HMDを装着したユーザが視認する仮想空間画像において、画像情報量を低下させるための処理を意味するものである。画像情報量低減化処理は、画像のぼかし、コントラストの低減、色度情報の低減等の画像情報量を低減させるための各種画像処理を包含する。
本発明によれば、VR空間におけるユーザの視野がHMDの動きと連動している視認状態において、VR酔いを低減することができる。そして、今後、HMDの高解像度化が進展していく場合にも、高解像度化に伴うVR酔いの発生を効果的に低減させることができる。
図1は、本発明の一実施形態に係る方法の主要構成を示すフローチャートである。 図2は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図である。 図3は、画像生成装置200の基本機能の構成を示すブロック図である。 図4Aは、ユーザの頭の動きを模式的に示す模式図である。 図4Bは、センサによるポジション・トラッキングと仮想空間内に配置される仮想カメラとの間の関係を示す模式図である。 図5は、本発明の実施の一形態に係るフローチャートである。 図6Aは、HMDのY軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して、画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である 図6Bは、HMDのX軸回りの回転によりピッチ角について角速度が発生した場合に仮想現実空間の垂直方向に対して、画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。 図6Cは、HMDの変位方向(図6Cでは斜め方向)に画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。 図7は、画像情報量低減化処理の一態様である画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の一例を説明するための模式図である。
〔本発明の実施形態の説明〕
本発明の実施の形態の概要を例示的に列挙すると以下のとおりである。
〔形態1〕
ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、
前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、
前記回転方向に基づいて画像情報量低減化処理を施す方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップと、
ユーザが視認する仮想空間において、前記ヘッドマウント・ディスプレイの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ、を具備したことを特徴とする方法。
本形態1によれば、VR酔いを低減しつつ、視認性の低下を防止することができる。
〔形態2〕
形態1に記載の方法において、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を、前記ヘッドマウント・ディスプレイの回転に応じた角速度ベクトルを検出することにより取得することを特徴とする方法。
本形態2によれば、ヘッドマウント・ディスプレイの回転方向及び回転速度の取得を簡便に行うことができる。
〔形態3〕
形態1又は2に記載の方法において、前記画像情報量低減化処理を施す方向、及び/又は、画像情報量低減化処理を施す強さが段階的に設定されることを特徴とする方法。
本形態3によれば、画像情報量低減化処理を簡便に実現することができる。
〔形態4〕
形態1〜3に記載の方法において、前記回転速度が所定値未満の場合には前記画像情報量低減化処理を施さないことを特徴とする方法。
本形態4によれば、特に、視認性の低下を防止することができる。
〔形態5〕
形態1〜4に記載の方法において、前記回転方向及び/又は回転速度は、離散値として取得されることを特徴とする方法。
本形態5によれば、画像情報量低減化処理の方向及び/又は程度の設定を簡素化することができるとともに、回転の際の微小なブレ等の影響を回避できる。
本発明の他の実施の形態は、上記各方法をコンピュータにより実現するためのプログラムに係るものである。
そして、前記プログラムにおいても、前記方法と同様の作用効果を奏するものである。
以下、本発明に係る実施の一形態を図面に基づいて詳細に説明する。なお、本発明は、以下において説明する実施の形態に限定されるべきではなく、特許請求の範囲の記載に基づき解釈されるべきである。また、当業者であれば、他の類似する実施形態を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。
〔本発明の構成の概要〕
本発明は、概略以下のような新規な知見に基づいて案出されたものである。
今、仮に、ユーザが現実空間におり、頭を水平方向に回転させた場合の態様を想定すると、回転速度が速い(大きい)場合には、視野角が小さく視認範囲は視線方向に狭まっており、また、周辺領域はモーションブラーのエフェクトがかかってぼやけて視認されることになる。そして、このような視認態様に基づき、ユーザは、自然な視覚系の情報を取得することができ、中心部分の視認領域を除き、取得する情報量を視覚的な負担を生じさせにくい程度に抑えることができる。
他方、HMDを装着したユーザが視認する仮想現実空間においても、HMDの変位速度が大きい場合に、視認範囲を視線方向に狭め、前記ヘッドマウント・ディスプレイの変位方向に基づいて前記画像情報量低減化処理を施す方向を決定し、ユーザが視認する仮想空間画像に対して、中心部分の視認領域を除き、情報量を低減させるような視認態様を実現することができれば、ユーザは、前述の現実空間のケースと同様に比較的自然な視覚系の情報を取得することが期待できる。そして、中心部分の視認領域を除いた情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするVR酔いを低減させることが期待できる。
図1は、上述のような新規な知見に基づく本発明の実施の一形態に係る方法の主要構成を示すフローチャートである。フローチャートには、主要構成として、HMDの回転方向及び回転速度を取得するステップ2、前記回転方向に基づいて画像情報量低減化処理の方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップ3、及び、ユーザが視認する仮想空間において、HMDの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ4が示されているが、その詳細については後述する(例えば、図5に係る説明参照)。
〔全体システムのハードウェア構成の概要〕
図2は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図であり、全体システム100のハードウェア構成として、HMD120と、画像生成装置200とを含むものである。HMD120と画像生成装置200は、一例として有線ケーブル150によって電気的に接続され、相互に通信可能である。有線ケーブル150に代えて、無線接続が用いられてもよい。
HMD120は、ユーザ101の頭に装着されて利用される表示デバイスである。HMD120は、ディスプレイ122と、センサ126とを備える。HMD120は更に、不図示のスピーカ(ヘッドホン)を備えてもよい。
ディスプレイ122は、HMD120を装着したユーザ101の視界に画像を提示するように構成される。例えば、ディスプレイ122は、非透過型ディスプレイとして構成することができる。この場合、HMD120の外界の光景はユーザ101の視界から遮断され、ユーザ101の目にはディスプレイ122に映し出された画像だけが届けられる。ディスプレイ122には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間、例えば、コンピュータゲームで作り出される世界を画像化した仮想現実空間画像である。
センサ126は、HMD120を装着したユーザ101の頭がどちらの方向を向いているかを検知するためのセンサである。センサ126としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ126が磁気センサ、角速度センサ、又は加速度センサである場合、センサ126はHMD120に内蔵されて、HMD120の向きや動きに応じた値(磁気、角速度、又は加速度の値)を出力する。センサ126からの出力値を適宜の方法で加工することで、HMD120を装着したユーザ101の頭の向きが算出される。ユーザ101の頭の向きは、ユーザ101が頭を動かした際にその動きに追従するようにディスプレイ122の表示画像を変化させるのに利用することができる。例えば、ユーザ101が頭を右(又は左、上、下)に向けると、ディスプレイ122には、仮想現実空間においてユーザの右(又は左、上、下)方向にある仮想的光景が映し出されることになる。
なおセンサ126として、HMD120の外部に設けられたセンサを適用することとしてもよい。例えば、センサ126は、HMD120とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、HMD120の表面に設けられた赤外線反射マーカーを検知することにより、HMD120を装着したユーザ101の頭の向きを特定することができる。
画像生成装置200は、HMD120に表示される画像を生成するためのシステムである。画像生成装置200は、ハードウェア構成として、プロセッサ202と、メモリ204と、ユーザ入力インターフェイス206と、通信インターフェイス208とを少なくとも備える。画像生成装置200は、専用の装置であってもよいが、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、PDA(Personal Digital Assistant)、タブレット端末等として実現することが可能である。
メモリ204には、少なくともオペレーティングシステムと画像生成用プログラムとが格納されている。オペレーティングシステムは、画像生成装置200の全体的な動作を制御するためのコンピュータプログラムである。メモリ204はまた、画像生成装置200の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ204の具体例は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク、フラッシュメモリ、光ディスク等である。
プロセッサ202は、メモリ204に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ202がメモリ204に格納されたプログラムを実行することによって、画面生成が行われる。プロセッサ202は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を含む。
ユーザ入力インターフェイス206は、画像表示システム100のユーザから画像生成装置200を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス206の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。
通信インターフェイス208は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。
なお、画像生成用プログラムは、SNSプラットフォームとは独立したプログラムとして構築してもよいし、SNSプラットフォーム上で提供されるプログラムとすることもできる。プログラムが、SNSプラットフォーム上で提供されるプログラムの場合には、プログラム(アプリケーションソフトウェア)がサーバに実装されており、該サーバが、各ユーザの入力操作に応じて画像生成のための演算処理やデータ処理を実行することになる。したがって、このようなケースにおいては、メモリ204に画像生成用プログラムを格納しておく必要はない。
〔画像生成装置の基本的動作〕
次に、画像生成装置200の基本的動作について説明する。なお、以下の説明においては、仮想空間を仮想現実(VR)空間とする。
図3は、画像生成装置200の基本機能の構成を示すブロック図であり、図2に示されたプロセッサ202がメモリ204内の画像生成プログラムを読み出して実行することによって実現される画像生成処理の機能を表す。
画像生成部231は、HMD120に表示するための画像を生成する。例えば、画像生成部231は、記憶部220から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部231は、HMD120を装着した第2ユーザ101がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実空間画像を生成する。仮想現実空間画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部231によって生成される仮想現実空間画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバター(自分自身)の体の一部(手や足)やアバターが手で持っている物体(銃や剣)等の様々なオブジェクトを含む。仮想現実空間を構成するこのような各オブジェクトの配置位置、形状、色など、仮想現実空間画像を生成するのに必要なデータは、仮想現実空間構成情報221として記憶部220に格納されている。画像生成部231は、記憶部220から取得した仮想現実空間構成情報221に基づいて、このようなコンピュータゲームの仮想現実空間画像を生成する。
また、画像生成部231は、センサ126からの出力値に基づいて画像を変化させている。例えば、画像生成部231が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ126からの出力値が示すユーザ101の頭の動きに追従して移り変わっていく様子を表す画像であってよい。一例として、図4Aは、ユーザの頭の動きを模式的に示す。図示されるように、ユーザ101の頭の中心とHMD120の中心(ディスプレイ122の画面中心)とを結ぶ軸をZ軸、ユーザ101の頭の中心と頭頂部とを結ぶ軸をY軸、ユーザ101の頭の中心を通りY軸及びZ軸に直交する軸をX軸にとる。センサ126が例えば角速度センサである場合、センサ126からはX軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角のそれぞれの角速度の値が出力される。画像生成部231は、これらの角速度の出力値、即ちユーザ101の頭の向きに基づいて、仮想現実空間画像を変化させる。例えば、ユーザ101が頭を右に向けた場合、Y軸回りのヨー角が変化する。画像生成部231は、Y軸の角速度値の変化に合わせて、仮想現実空間内でユーザの右方向にある光景が映し出されるように、仮想現実空間画像を変化させる。同様に、ユーザ101が頭を右に傾けた場合、Z軸回りのロール角が変化する。画像生成部231は、Z軸の角速度値の変化に合わせて、仮想現実空間内におけるユーザの視界が右に傾くように、仮想現実空間画像を変化させる。
また、画像生成部231は、ユーザの位置に基づいて画像を変化させている。例えば、ユーザが仮想現実空間内を歩き回る場合、画像生成部231が生成する画像は、仮想現実空間内でユーザが現在立っている位置から見える光景を表す画像であってよい。一例として、仮想現実空間内におけるユーザの経時的な位置情報が記憶部220に記憶される。画像生成部231は、記憶部220から仮想現実空間内におけるユーザの直前の位置情報を取得する。またゲームコントローラなどのユーザ入力インターフェイス206からは、ユーザが仮想現実空間内を歩き回るための操作入力として、ユーザの移動方向及び移動速度の指示が入力される。画像生成部231は、記憶部220から取得したユーザの直前の位置情報と、ユーザ入力インターフェイス206から入力されたユーザの移動方向及び移動速度の情報とに基づいて、仮想現実空間内におけるユーザの現在位置を算出する。算出したユーザの現在位置に基づいて、画像生成部231は、仮想現実空間内をユーザが歩くのに合わせてユーザの視界が移り変わるように、仮想現実空間画像を変化させる。
図4Bは、センサ126によるポジション・トラッキングと仮想空間402内に配置される仮想カメラ404との間の関係を示す模式図である。因みに、ポジション・トラッキングとは、センサ126を用いてHMD120の位置や傾きに関する情報を検知する機能を意味する。
図4Bに示すように、仮想空間402の内部の所定位置に仮想カメラ404が配置され、仮想空間402の外部(現実空間)にセンサ126が仮想的に配置される。視界領域408は、仮想空間画像410のうちユーザの視界を構成する部分(視界画像418)である。視界領域408は基準視線412に基づいて決定され、基準視線412は仮想カメラ404の位置及び傾きに基づいて決定される。このようにして、HMD120の装着者であるユーザの頭部の動きに応じて、3次元仮想空間としてのVR空間内の所定位置に配置された仮想カメラ404が制御され、仮想カメラ404により取得された視界領域408の映像(視界画像418)がユーザにより視認される。ユーザが視認する視界領域408は、仮想カメラ404の基準視線412によって決定され、当該基準視線412がHMD120のZ軸方向(図4A参照)に一致するように、HMD120の動きと仮想カメラ404の動きが対応付けられている。
このようにして、画像生成部231では、仮想現実空間内におけるユーザの位置と頭の向きに応じた仮想現実空間画像が生成される。生成された仮想現実空間画像は、画像出力部239を介してHMD120へ出力されて、ディスプレイ122に表示される。これによりユーザは、仮想現実空間において、現在自分が立っている場所から頭を向けた方向に存在する仮想的光景を見ることができる。
〔処理の態様例〕
次に、本発明の実施の一形態に係る処理の一例の概略を、図5、図6A、図6Bに示されるような例に基づき説明する。図5は、本発明の実施の一形態に係る処理動作を示すフローチャートである。また、図6Aは、仮想現実空間の水平方向に対して画像情報量低減化処理の一態様である画像のぼかしを付与した場合の態様例を表す模式図、図6Bは、仮想現実空間の垂直方向に対して画像情報量低減化処理の一態様である画像のぼかしを付与した場合の態様例を表す模式図、図6Cは、HMDの変位方向(図6Cでは斜め方向)に画像情報量低減化処理の一態様である画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。
まず、HMDの角速度センサ126(図2参照)から出力されるX軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角のそれぞれの角速度ωX,ωY,ωZを検出する(S501)。
必要に応じて、検出された各角速度ωX,ωY,ωZに対して離散化処理を行う(S502)。ここで、離散化処理とは、連続した値を持つデータである検出された各角速度ωX,ωY,ωZを非連続的な数値(離散値)に置き換えることを意味する。このような離散化処理は、各角速度ωX,ωY,ωZに微小な変動がある場合にその変動の影響を回避するのに有効な手法である。なお、離散化によって得られる離散値は、必ずしも等間隔とする必要はない。例えば、所定値未満の検出値を「0」とみなしたり、所定の範囲を細分化するような離散化も適宜採用し得る。
角速度ωX,ωY,ωZにより、各角速度ωX,ωY,ωZを成分とする3次元角速度ベクトルΩが決定される。そこで、角速度ベクトルΩの大きさ|Ω|、及び、方向Ω/|Ω|を取得する(S503)。
必要に応じて、角速度ベクトルΩについて、その大きさ|Ω|、及び、方向Ω/|Ω|に対して離散化処理を行う(S504)。これは、前述のように、角速度ベクトルΩの大きさ|Ω|、及び、方向Ω/|Ω|に微小な変動がある場合にその変動の影響を回避するのに有効な手法である。なお、離散化によって得られる離散値は、必ずしも等間隔とする必要はないことも前述のとおりである。
次に、角速度ベクトルΩの大きさ|Ω|が所定値未満か否かを判定する(S505)。判定結果が是の場合には、画像のぼかしに係る処理を実施しない。また、判定結果が否の場合には、以下のステップに進む。
次に、角速度ベクトルΩの方向(HMDの変位方向)Ω/|Ω|に基づいて画像のぼかし処理を施す方向を設定するとともに、角速度ベクトルΩの大きさ|Ω|に基づいて画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲を設定する(S506)。なお、ぼかしの強さとは、画像に対してぼかし処理を施す程度を意味し、換言すれば、画像情報量の低減の程度を表すものである。
上述の画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の設定について、図7に基づき説明する。図7は、画像のぼかしの強さ及び前記画像のぼかし処理を施す範囲の一例を説明するための模式図であり、HMDの変位速度が大きくなるに従って、画像のぼかし処理を施す周辺領域の範囲を拡大するとともに、当該周辺領域における画像のぼかしの強さを増大させて、自然な視認態様を実現するようにした手法の一例を説明するものである。
図7において、HMDの変位方向が図面上で水平方向の場合が説明されており、(β)には、視認範囲中で画像のぼかし処理を施す周辺領域の範囲が示されている。また、(α)には、視認範囲の中心から左右に、画像のぼかしの強さが実線A、一点鎖線B、破線Cで示されている。ここで、実線A、一点鎖線B、破線Cは、それぞれ、HMDの変位速度が大、中、小のケースに対応するものであり、HMDの変位速度の大きさに応じた周辺領域における画像のぼかしの強さを模式的に示すものである。図7から明らかなように、HMDの変位速度が大である程、画像のぼかし処理を施す周辺領域の範囲が大となり、当該周辺領域における画像のぼかしの強さも大となっている。なお、画像のぼかしの強さが、端部方向に行くに従って強くなっているのは、画像のぼかし処理を施さない状態から画像のぼかし処理を徐々に施すように移行させてHMDを装着するユーザに自然な視認態様を提供するためである。また、HMDの変位速度に応じた画像のぼかしのエフェクトを得るために、実線A、一点鎖線B、破線Cで直線の傾きを異ならせている。図7においては、実線A、一点鎖線B、破線Cが直線状の態様で表されているが、必ずしも、直線に限られるものではなく、曲線状の態様や、段階状に変化する態様であってもよい。
そして、HMDの変位に基づいて前記画像のぼかし処理を実施し、ユーザが視認する仮想空間において画像情報量を低減させた画像を生成する(S507)。
上述のステップS507の処理により得られた画像の具体例を、図6A、図6B、及び図6Cを用いて詳細に説明する。図6Aは、HMDのY軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。また、図6Bは、HMDのX軸回りの回転によりピッチ角について角速度が発生した場合に仮想現実空間の垂直方向に対して画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。更に、図6Cは、HMDの変位方向(図6Cでは斜め方向)に画像のぼかしを付与することにより生成された画像の態様例を表す模式図である。
まず、HMDのY軸回りの回転によりヨー角について角速度が発生した場合に仮想現実空間の水平方向に対して画像のぼかしを付与することにより生成された画像の図6Aに示される態様例について説明する。図6Aの態様例においては、HMDのY軸回りの回転によりヨー角について角速度が発生していることから、当該角速度の大きさに基づいて、水平方向の画像のぼかしの大きさ及び画像のぼかし処理を施す範囲が設定されている。具体的には、当該角速度の大きさが、大、中、小の3段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域の幅を大、中、小の3段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ(大きさ)を大、中、小の3段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするVR酔いを低減させることができる。
なお、図6Aの態様例において、角速度の大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの大きさも大又は小とすることができる。
次に、仮想現実空間の垂直方向に対して画像のぼかしを付与することにより生成された画像の図6Bに示される態様例を説明する。図6Bの態様例においては、HMDのX軸回りの回転によりピッチ角について角速度が発生していることから、当該角速度の大きさに基づいて、垂直方向の画像のぼかしの大きさ及びその画像のぼかし処理を施す範囲が設定されている。具体的には、当該角速度の大きさが、大、中、小の3段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域の幅を大、中、小の3段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ(大きさ)を大、中、小の3段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするVR酔いを低減させることができる。
なお、図6Bの態様例においても、角速度の大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの大きさも大又は小とすることができる。
次に、HMDの変位方向に画像のぼかしを付与することにより生成された画像の図6Cに示される態様例を説明する。一般に、HMDの変位は、HMDのX軸、Y軸、Z軸回りの回転をもたらすことから、HMDの変位により、X軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角のそれぞれについて角速度が発生する。この場合には、X軸回りのピッチ角、Y軸回りのヨー角、及びZ軸回りのロール角を成分とする角速度ベクトルを求め、当該角速度ベクトルの方向に基づいて、画像のぼかし処理を施す方向を決定するとともに、当該角速度ベクトルの大きさに基づいて画像のぼかし処理を施す周辺領域の幅や画像のぼかしの強さ(大きさ)を決定することができる。
図6Cにおいては、HMDの変位方向(角速度ベクトルの方向)は、画面上で水平及び垂直方向にそれぞれ成分を有することから、画像のぼかし処理を施す方向は、画面上で斜め方向となる。なお、図6Cにおいては、当該角速度ベクトルの大きさが、大、中、小の3段階で示した場合の「中」の段階にある場合が想定されており、中段階の角速度の大きさに基づいて画像のぼかし処理を施す周辺領域(斜め方向の領域)の幅を大、中、小の3段階の中の中段階に設定するとともに、当該周辺領域における画像のぼかしの強さ(大きさ)を大、中、小の3段階の中の中段階に設定するものである。そして、このような構成により、上述のように、ユーザは比較的自然な視覚系の情報を取得することができ、取得する情報量も視覚的な負担を生じさせにくい程度に抑えられることになるから、視覚的な負担を一因とするVR酔いを低減させることができる。
なお、図6Cの態様例においても、角速度ベクトルの大きさが大又は小となるに従って、画像のぼかし処理を施す周辺領域の幅や画像のぼかしの強さ(大きさ)も大又は小とすることができる。そして、HMDの変位方向に基づいて前記画像のぼかし処理を施す方向を決定し、ユーザが視認する仮想空間画像に対して情報量を低減させた画像を生成することができる。
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
2 HMDの回転方向及び回転速度を取得するステップ
3 HMDの回転方向に基づいて画像情報量低減化処理の方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップ
4 ユーザが視認する仮想空間において、HMDの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ
120 ヘッドマウント・ディスプレイ(HMD)
122 ディスプレイ
126 センサ
150 有線ケーブル
200 画像生成装置
202 プロセッサ
204 メモリ
206 ユーザ入力インターフェイス
208 通信インターフェイス
220 記憶部
221 仮想現実空間構成情報
230 処理部
231 画像生成部
239 画像出力部
402 仮想空間
404 仮想カメラ
406 中心
408 視界領域
410 仮想空間画像
412 基準視線
418 視界画像

Claims (6)

  1. ユーザが視認する仮想空間画像をヘッドマウント・ディスプレイに提供する方法であって、
    前記ヘッドマウント・ディスプレイの回転方向及び回転速度を取得するステップと、
    前記回転方向に基づいて画像情報量低減化処理を施す方向を設定するとともに、前記回転速度に基づいて前記画像情報量低減化処理を施す範囲及び強さを設定するステップと、
    ユーザが視認する仮想空間において、前記ヘッドマウント・ディスプレイの変位に基づいて前記画像情報量低減化処理を施し、画像情報量を低減させた画像を生成するステップ、を具備したことを特徴とする方法。
  2. 請求項1に記載の方法において、前記ヘッドマウント・ディスプレイの回転方向及び回転速度を、前記ヘッドマウント・ディスプレイの回転に応じた角速度ベクトルを検出することにより取得することを特徴とする方法。
  3. 請求項1又は2に記載の方法において、前記画像情報量低減化処理を施す方向、及び/又は、画像情報量低減化処理を施す強さが段階的に設定されることを特徴とする方法。
  4. 請求項1〜3のいずれか1項に記載の方法において、前記回転速度が所定値未満の場合には前記画像情報量低減化処理を施さないことを特徴とする方法。
  5. 請求項1〜4のいずれか1項に記載の方法において、前記回転方向及び/又は回転速度は、離散値として取得されることを特徴とする方法。
  6. コンピュータに請求項1〜5のいずれか1項に記載の方法を実行させるためのプログラム。
JP2016017825A 2016-02-02 2016-02-02 仮想空間画像提供方法、及びそのプログラム Active JP6092437B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016017825A JP6092437B1 (ja) 2016-02-02 2016-02-02 仮想空間画像提供方法、及びそのプログラム
PCT/JP2017/002602 WO2017135129A1 (ja) 2016-02-02 2017-01-25 仮想空間画像提供方法、及びそのプログラム
US15/422,426 US9766697B2 (en) 2016-02-02 2017-02-01 Method of providing a virtual space image, that is subjected to blurring processing based on displacement of a HMD and system therefor
US15/678,046 US10409365B2 (en) 2016-02-02 2017-08-15 Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016017825A JP6092437B1 (ja) 2016-02-02 2016-02-02 仮想空間画像提供方法、及びそのプログラム

Publications (2)

Publication Number Publication Date
JP6092437B1 JP6092437B1 (ja) 2017-03-08
JP2017138701A true JP2017138701A (ja) 2017-08-10

Family

ID=58261837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016017825A Active JP6092437B1 (ja) 2016-02-02 2016-02-02 仮想空間画像提供方法、及びそのプログラム

Country Status (3)

Country Link
US (2) US9766697B2 (ja)
JP (1) JP6092437B1 (ja)
WO (1) WO2017135129A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101951406B1 (ko) * 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
JP2019040303A (ja) * 2017-08-23 2019-03-14 株式会社コロプラ ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020107092A (ja) * 2018-12-27 2020-07-09 株式会社コロプラ プログラム、方法および情報処理装置
US11107436B2 (en) 2016-04-21 2021-08-31 Sony Interactive Entertainment Inc. Image processing device and image processing method
WO2021182254A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 表示制御装置、および表示制御方法
US11150102B2 (en) 2018-07-19 2021-10-19 Alpha Code Inc. Virtual-space-image providing device and program for providing virtual space image
WO2023053516A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 仮想空間画像生成装置および方法
WO2023053515A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 仮想空間画像生成装置および方法
WO2023053517A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 視認性情報取得装置の制御方法および視認性情報取得装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015107817A1 (ja) * 2014-01-20 2017-03-23 ソニー株式会社 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
US9978181B2 (en) * 2016-05-25 2018-05-22 Ubisoft Entertainment System for virtual reality display
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN110431847B (zh) * 2017-03-24 2022-07-22 联发科技股份有限公司 视频处理方法及装置
CN112585673A (zh) 2018-08-29 2021-03-30 索尼公司 信息处理设备、信息处理方法及程序
KR20210014819A (ko) * 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
WO2022113386A1 (ja) * 2020-11-30 2022-06-02 株式会社デンソーテン 情報処理装置、情報処理方法、プログラムおよびデータ構造
US20220276696A1 (en) * 2021-02-26 2022-09-01 BigBox VR, Inc. Asynchronous multi-engine virtual reality system with reduced vestibular-ocular conflict
WO2023136754A1 (en) * 2022-01-12 2023-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Application server node, network node, core network node, and methods in a wireless communications network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341387A (ja) * 1997-06-10 1998-12-22 Canon Inc 表示装置
WO2014197226A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2015068656A1 (ja) * 2013-11-11 2015-05-14 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116309A (ja) 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341387A (ja) * 1997-06-10 1998-12-22 Canon Inc 表示装置
WO2014197226A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2015068656A1 (ja) * 2013-11-11 2015-05-14 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107436B2 (en) 2016-04-21 2021-08-31 Sony Interactive Entertainment Inc. Image processing device and image processing method
JP2019040303A (ja) * 2017-08-23 2019-03-14 株式会社コロプラ ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ
WO2019074228A3 (ko) * 2017-10-11 2019-06-06 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
KR101951406B1 (ko) * 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
US11480787B2 (en) 2018-03-26 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2019188229A1 (ja) * 2018-03-26 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7235041B2 (ja) 2018-03-26 2023-03-08 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11150102B2 (en) 2018-07-19 2021-10-19 Alpha Code Inc. Virtual-space-image providing device and program for providing virtual space image
JP2020107092A (ja) * 2018-12-27 2020-07-09 株式会社コロプラ プログラム、方法および情報処理装置
JP7271171B2 (ja) 2018-12-27 2023-05-11 株式会社コロプラ プログラム、方法および情報処理装置
WO2021182254A1 (ja) * 2020-03-13 2021-09-16 ソニーグループ株式会社 表示制御装置、および表示制御方法
WO2023053516A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 仮想空間画像生成装置および方法
WO2023053515A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 仮想空間画像生成装置および方法
WO2023053517A1 (ja) 2021-09-30 2023-04-06 スズキ株式会社 視認性情報取得装置の制御方法および視認性情報取得装置
KR20240035929A (ko) 2021-09-30 2024-03-18 스즈끼 가부시키가이샤 시인성 정보 취득 장치의 제어 방법 및 시인성 정보 취득 장치
KR20240047407A (ko) 2021-09-30 2024-04-12 스즈끼 가부시키가이샤 가상 공간 화상 생성 장치 및 방법
KR20240047406A (ko) 2021-09-30 2024-04-12 스즈끼 가부시키가이샤 가상 공간 화상 생성 장치 및 방법

Also Published As

Publication number Publication date
US9766697B2 (en) 2017-09-19
US20170221185A1 (en) 2017-08-03
JP6092437B1 (ja) 2017-03-08
US20170364146A1 (en) 2017-12-21
US10409365B2 (en) 2019-09-10
WO2017135129A1 (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
JP6092437B1 (ja) 仮想空間画像提供方法、及びそのプログラム
JP5869177B1 (ja) 仮想現実空間映像表示方法、及び、プログラム
US9873048B2 (en) Method and system for adjusting a field of view region in a virtual space
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
JP6473577B2 (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP2021135776A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017059196A (ja) 仮想現実空間映像表示方法、及び、プログラム
JP2017142783A (ja) 仮想空間における視界領域調整方法、およびプログラム
US11474595B2 (en) Display device and display device control method
JP5367954B2 (ja) ゲームプログラム、ゲーム装置及び記憶媒体
JP2017224244A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
WO2022004422A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP7168207B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6707224B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
JP7057197B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6503407B2 (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
JP7300569B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
CN112308906B (zh) 视角校正方法、虚拟实境显示系统与运算装置
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250