JP2015172900A - 画像呈示装置及びこれに用いるマスク生成装置 - Google Patents

画像呈示装置及びこれに用いるマスク生成装置 Download PDF

Info

Publication number
JP2015172900A
JP2015172900A JP2014049151A JP2014049151A JP2015172900A JP 2015172900 A JP2015172900 A JP 2015172900A JP 2014049151 A JP2014049151 A JP 2014049151A JP 2014049151 A JP2014049151 A JP 2014049151A JP 2015172900 A JP2015172900 A JP 2015172900A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
user
image
space
mask
body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014049151A
Other languages
English (en)
Other versions
JP6402850B2 (ja )
Inventor
▲すすむ▼ 舘
Susumu Tate
▲すすむ▼ 舘
孝太 南澤
Kouta Minamizawa
孝太 南澤
正紘 古川
Masahiro Furukawa
正紘 古川
チャリス フェルナンド,
Fernando Charith
チャリス フェルナンド,
サライジ ヤメン モハマド,
Yamen Saraiji Mohamad
サライジ ヤメン モハマド,
Original Assignee
一般社団法人リアリティメディア研究機構
Reality Media Research Organization
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

【課題】バーチャル空間での画像をユーザに呈示するために用いる投影画像に、当該ユーザの身体が映り込んでいる場合において、投影画像を見ているユーザの没入感を向上させる。
【解決手段】ユーザ姿勢取得部1は、実空間内におけるユーザの姿勢を取得する。身体形状算出部2は、取得されたユーザの姿勢を用いて、ユーザの身体形状を算出する。マスク生成部4は、別空間でのユーザの視点から見えるべき身体形状に基づいて、実空間におけるユーザの身体画像から挿入画像を抽出するためのマスクを生成する。マスクを用いて、実空間におけるユーザの身体画像の少なくとも一部を抽出することによって、挿入画像を生成できる。挿入画像を、ユーザの視点から見た別空間での視点画像に重畳させることができる。
【選択図】図1

Description

本発明は、ユーザに呈示される画像を生成するための技術に関するものである。特に、本発明は、実空間の画像を切り取って別空間の画像に組み合わせるためのマスクに関するものである。

従来、ゲームやシミュレーションの分野において、ユーザがバーチャル空間へ没入するために、ヘッドマウントディスプレイ(HMD)が用いられてきた(下記非特許文献1及び2)。特に最近では、安価なHMDが登場し、普及に拍車がかかっている。なお本明細書では、以後「バーチャル」という用語を用いるが、これは「実際には存在しないが、機能や効果において、存在すると同等の」という意味である。

HMDを装着したユーザには、ユーザが存在する実空間とは別のバーチャル空間を投影した画像が、HMDに備えられたディスプレイによって呈示される。一方で、ユーザの実際の視界は遮蔽されて、実空間を見ることはできない。これにより、ユーザは、実空間に居ながら、バーチャル空間内へ没入することができる。

このような従来のHMDでは、バーチャル空間への没入感を向上させるために、前記したように、ユーザの視界が遮蔽される。すると、本来であれば自分の身体(例えば手足)を見ることができるような状況でも、自分の身体を見ることはできない。

一方、コンピュータグラフィックスによって、見かけは異なるが本質的に自分自身の身体と呼ぶことができる、いわゆるアバターをバーチャル空間内で出現させる手法も提案されている(下記非特許文献3)。しかしながら、例えば、バーチャル空間内で何かを持っている自分の手元を見たときでも、見えるのは自分の手ではなく、アバターの手の画像である。この状況は、ユーザの現実感と相違するために、バーチャル空間への没入感を減殺してしまうという問題がある。

そこで、最近では、HMD前面に外界カメラを取り付けたビデオシースルー型のHMDを用いて、ユーザから見えるはずの実空間画像を取得し、その実空間画像から自身の身体を切り出して、バーチャル空間へ重畳する手法が提案されている(下記非特許文献4)。画像から身体を切り取る方法として、クロマキー方式と、映像からの輪郭抽出方式との二つが考えられる。

クロマキー方式は、特定の色を持つ領域のみを消去あるいは抜き出すことで、身体領域のみを取り出すものである。しかしながら、この方式では、使える色に制約を生じてしまう。このため、ユーザの身体を計測するためのコックピット側に一様な色を持たせた布を張り巡らせるなど、特殊な設備が必要となる。

映像から輪郭を抽出する方式では、画像処理によって画像から身体領域を切り出す必要がある。この方式では、用いる画像の状況(例えば解像度)や、用いる画像処理アルゴリズムによって、得られる精度が大幅に変動してしまう恐れがある。また、画素単位での画像処理を行うので、高い解像度の画像を用いた場合には、リアルタイムでの処理が難しくなるという問題もある。

さらに、バーチャル空間中の物体(いわゆるオブジェクト)とユーザ身体との間に遮蔽関係がある場合、物体の手前に存在する身体は見える一方で、物体の背後に存在する身体は隠れる必要がある。前記した二つの方式は、このような遮蔽関係を成立させることが難しいという問題がある。

遮蔽関係を成立させる技術として、深度計測方式が考えられている。深度計測方式は、デプスキー方式とも呼ばれている。この方式は、実際の身体についての、三次元空間内での位置情報を正確に測定し、その位置情報をバーチャル空間中での身体の位置にマッピングすることによって、遮蔽関係を推定するものである。

しかしながら、現在通常に使用される距離センサでは、ごく短い距離(例えば手の平や指の形状の相違)を正確に測定することは難しい。このため、深度計測方式では、特に身体の輪郭部分における形状が不正確となりがちであり、その結果、精度の高い遮蔽関係を作り出すことが難しいという問題がある。また、高精度の距離センサを、身体各部の位置を計測できるように配置するためには、かなりのコストを要するという問題もある。さらに、画素ごとに深度情報を取得し、演算を行う手法では、画像が高画質化(高画素化)した場合に計算コストが指数関数的に上昇するという問題もある。

S. Tachi, H. Arai and T. Maeda. Tele-existence master-slave system for remote manipulation. II. Proceedings of the 29th IEEE Conference on Decision and Control, pages 85-90 vol.1, 5-7, 1990. K. Suzuki, S. Wakisaka, and N. Fujii. Substitutional reality system: a novel experimental platform for experiencing alternative reality. Scientific reports, 2, 2012. S. Beck, A. Kunert, A. Kulik, and B. Froehlich. Immersive Group-to-Group Telepresence. IEEE Transactions on Visualization and Computer Graphics, 19(4), pages 616-625, 2013. F. Steinicke, G. Bruder, K. Rothaus, and K. Hinrichs. Poster: A virtual body for augmented virtuality by chroma-keying of egocentric videos. In IEEE Symposium on 3D User Interfaces. 3DUI 2009, pages 125-126. IEEE, 2009.

本発明は、前記の状況に鑑みてなされたものである。本発明の主な目的は、バーチャル空間での画像をユーザに呈示するために用いる投影画像に、当該ユーザの身体が映り込んでいる場合において、投影画像を見ているユーザの没入感を向上させるための技術を提供することである。

前記した課題を解決する手段は、以下の項目のように記載できる。

(項目1)
実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置であって、
ユーザ姿勢取得部と、身体形状算出部と、マスク生成部とを備えており、
前記ユーザ姿勢取得部は、前記実空間内における前記ユーザの姿勢を取得する構成となっており、
前記身体形状算出部は、取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出する構成となっており、
前記マスク生成部は、前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成する構成となっている
ことを特徴とするマスク生成装置。

別空間とは、例えばVR空間であるが、ユーザが存在する地点から空間的あるいは時間的に離れた位置での実空間であってもよい。ユーザの身体とは、例えばユーザの手、腕、脚などであるが、他の部位や、ユーザが身に着ける物品であってもよい。身体形状算出部とマスク生成部とは、、一つのコンピュータプログラムによってコンピュータ上でその機能を実現してもよいし、複数のプログラムあるいはモジュールの組み合わせにより、一台又は複数台のコンピュータによって機能を実現してもよい。

(項目2)
さらに視点画像生成部を備えており、
前記視点画像生成部は、前記別空間における前記ユーザの視点から見たときの前記視点画像を生成する構成となっており、
前記マスク生成部は、前記視点画像中に存在する前記ユーザの身体部分の少なくとも一部を、前記ユーザの視点から見えるべき身体形状として用いて、前記マスクを生成する構成となっている
項目1に記載のマスク生成装置。

(項目3)
さらにVR空間モデルデータ格納部を備えており、
前記視点画像生成部は、前記視点画像を、前記VR空間モデルデータ格納部に格納されたVR空間モデルデータに基づいて生成する構成となっている
項目2に記載のマスク生成装置。

(項目4)
さらにユーザ視点カメラを備えており、
前記ユーザ視点カメラは、前記実空間における前記ユーザの身体画像を取得する構成となっており、
前記ユーザ視点カメラの視点の姿勢は、前記別空間における前記ユーザの視点の姿勢と一致しているか、又は、どちらかの視点から見た画像を補正することにより実質的に一致させられるものとなっている
項目1〜3のいずれか1項に記載のマスク生成装置。

(項目5)
さらに照明条件算出部を備えており、
前記照明条件算出部は、前記別空間での照明条件に基づいて、前記挿入画像における輝度又は色の条件を設定する構成となっている
項目1〜4のいずれか1項に記載のマスク生成装置。

ユーザに呈示される投影画像は、一般に、別空間での照明条件を用いて生成される。この照明条件を用いて、挿入画像(別空間内では、ユーザのためのアバター又はその一部としてユーザに視認されるべきものである)に対する輝度又は色の条件を設定することにより、ユーザが感じる現実感を向上させることができる。

(項目6)
前記別空間での前記ユーザの視点から見えるべき前記身体形状の少なくとも一部と、前記別空間における何らかの物体との間には、前記別空間における前記ユーザの視点から見た場合に、一方が他方により遮蔽される関係となっている
項目1〜5のいずれか1項に記載のマスク生成装置。

(項目7)
項目1〜6のいずれか1項に記載のマスク生成装置と、挿入画像生成部とを備えており、
前記挿入画像生成部は、前記身体画像に前記マスクを適用することにより、前記挿入画像を生成する構成となっている
挿入画像生成装置。

(項目8)
項目7に記載の挿入画像生成装置と、投影画像生成部と、画像呈示部とを備えており、
前記投影画像生成部は、前記挿入画像を、前記ユーザの視点から見た別空間での視点画像に組み合わせることにより、前記ユーザに投影すべき投影画像を生成する構成となっており、
前記画像呈示部は、前記投影画像を、前記実空間内でのユーザの視点位置と光学的に共役な視点位置から投影する構成となっている
画像呈示装置。

(項目9)
実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置を用いた方法であって、
前記実空間内における前記ユーザの姿勢を取得するステップと、
取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出するステップと、
前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成するステップと
を備えることを特徴とするマスク生成方法。

(項目10)
項目9に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体(例えばCD−ROMやDVDディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはMOディスクのような光磁気記録媒体)に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、バーチャル空間を投影した画像を見ているユーザの没入感を向上させるように、ユーザの身体画像を抽出して、投影画像に組み込むことが可能になる。

さらに、本発明によれば、ユーザの身体画像を抽出するためのマスクを、高精度かつ低コストで生成することが可能になる。

しかも、本発明によれば、マスクを用いるので、投影画像の画素数が大きい場合であっても、計算コストを低く抑えることができる。その結果、本発明では、動画像の提供時におけるフレーム遅延を小さく抑えることが可能になり、また、高画質での画像提供が容易になるという効果もある。

本発明の一実施形態に係る画像呈示装置の概略的構成を示すブロック図である。 本発明の一実施形態に係る画像呈示方法の概略的手順を示すフローチャートである。 身体モデルデータとしてのボーンデータについての概念的な説明図である。 身体モデルデータとしての外形モデルについての概念的な説明図である。 マスク生成用の、VR空間でのユーザ視点画像を概念的に示す説明図である。 実空間におけるユーザ視点からのユーザ身体画像を概念的に示す説明図である。 マスク適用によってユーザ身体画像から切り出された挿入画像を概念的に示す説明図である。 挿入画像を組み合わされる、VR空間でのユーザ視点画像を概念的に示す説明図である。 VR空間でのユーザ視点画像に挿入画像を重畳させて得た投影画像を概念的に示す説明図である。 変形例に係る画像呈示方法の概略的手順を示すフローチャートである。 実施例1に係るHMDの概略的構成を示す平面図である。 図11に示すHMDにおいて使用されるミラーの反射面形状を模式的に示す説明図である。 実施例2に係るHMDの概略的構成を示す平面図である。 実施例2におけるカメラ視点のオフセットに対応した画像処理のための各パラメータの取り方の一例を示す説明図である。

(画像呈示装置の一実施形態)
図1を参照して、本発明の一実施形態に係る画像呈示装置について説明する。

本実施形態の画像呈示装置は、ユーザ姿勢取得部1と、身体形状算出部2と、視点画像生成部3と、マスク生成部4とを備えている。さらに、本実施形態の装置は、挿入画像生成部5と、投影画像生成部6と、ユーザ視点カメラ7と、画像呈示部8とを備えている。さらに、本実施形態の装置は、身体モデルデータ格納部9とVR空間モデルデータ格納部10と、照明条件算出部11とを備えている。

ユーザ姿勢取得部1は、実空間内におけるユーザの姿勢を取得する構成となっている。ユーザ姿勢取得部1としては、市販の身体運動計測装置を用いることができ、これにより、比較的に高精度の測定を低コストで行うことができる。

身体形状算出部2は、ユーザ姿勢取得部1で取得されたユーザの姿勢を用いて、ユーザの身体形状を算出する構成となっている。より具体的には、本実施形態では、身体モデルデータ格納部9に格納された身体モデルデータ(後述)を用いて、ユーザの身体形状を算出するようになっている。

視点画像生成部3は、別空間(本実施形態ではVR空間)におけるユーザの視点から見たときの視点画像を生成する構成となっている。すなわち、本実施形態では、ユーザ姿勢取得部1により、ユーザ視点の姿勢(方向及び位置)を知ることができる。これにより、視点画像生成部3は、ユーザ視点の位置をVR空間にマッピングし、VR空間中に存在するバーチャルなユーザの視点から得られる画像(すなわち視点画像)を生成することができる。ここで、本実施形態では、マスク生成用の視点画像と、後述の投影画像生成用の視点画像とを別々に生成することができる。そして、マスク生成用の視点画像においては、視点画像上での身体形状に相当する部分(これはVR空間中なので三次元的な位置を正確に決定できる)を、後の処理が容易なように、例えば特別な色空間情報で表すことができる。なお、具体的な処理手順については、追って説明する。

マスク生成部4は、別空間でのユーザの視点から見えるべき身体形状に基づいて、実空間におけるユーザの身体画像から挿入画像を切り出すためのマスクを生成する構成となっている。ここで、「切り出す」とは、「取り出す」あるいは「抽出する」という程度の意味である。

より具体的には、本実施形態のマスク生成部4は、視点画像中に存在するユーザの身体部分の少なくとも一部を、ユーザの視点から見えるべき身体形状として用いて、マスクを生成する構成となっている。ここで、視点画像は、視点画像生成部3で生成されたものであり、その視点画像には、VR空間中でのユーザの身体が映り込んでいる。

挿入画像生成部5は、身体画像にマスクを適用することにより、挿入画像を生成する構成となっている。挿入画像を生成する処理の具体例も後述する。

投影画像生成部6は、挿入画像を、ユーザの視点から見た別空間での視点画像に組み合わせることにより、ユーザに投影すべき投影画像を生成する構成となっている。

ユーザ視点カメラ7は、実空間におけるユーザの身体画像を取得する構成となっている。ここで、ユーザ視点カメラ7の視点の姿勢は、別空間における(つまり別空間座標上での)ユーザの視点の姿勢と一致している。ただし、どちらかの視点から見た画像を補正することにより実質的にこれらの視点位置を一致させることも可能である。

画像呈示部8は、投影画像を、実空間内でのユーザの視点位置と光学的に共役な位置からユーザに向けて呈示する構成となっている。

ここで、本実施形態では、ユーザ視点カメラ7と画像呈示部8とは、いわゆるビデオシースルー型のHMDとして実装することができる。また、ユーザ視点カメラ7と画像呈示部8とは、立体視に対応して、左右両眼のためにそれぞれ設けることができる。なお、以下の説明では、基本的に、一方の眼に呈示する画像について説明するが、特に断らない限り、他方の眼に呈示される画像についても同様の処理が行われる。もちろん、立体視のための視差を考慮した画像が通常は提示される。また、モノラル視に対応した画像を呈示することも可能である。

身体モデルデータ格納部9は、前記した身体形状算出部2における身体形状の算出に必要なデータを格納するための機能要素である。身体モデルデータとは、例えば、骨格の姿勢を表すためのボーンデータと、身体の外形形状を表すための外形モデルデータである。ボーンデータは、主要な骨の向きと長さとを表している。外形モデルデータは、ボーンデータに適用されて、身体の外形を表すことができるものである。これらのデータの具体例についても後述する。

VR空間モデルデータ格納部10は、バーチャル空間(VR空間)を規定するためのデータであり、通常は、バーチャルな三次元空間を構成するためのデータを備えている。本実施形態の視点画像生成部3は、ユーザ視点からの視点画像を、VR空間モデルデータ格納部10に格納されたVR空間モデルデータに基づいて生成する構成となっている。

照明条件算出部11は、別空間でのユーザのためのアバターに対する照明条件に基づいて、挿入画像における輝度又は色の条件を設定する構成となっている。VR空間では、アバターに対する照明条件は既知として扱うことができる。もちろん、一般的には、VR空間での照明条件は、アバターだけについて決定されるものではなく、VR空間全体について決定される。「アバターに対する照明条件」とは、照明条件のうちで、アバターに関係するもの(例えばアバター表面の輝度や色を変化させたり、あるいは、アバターによる影を生成させたりするもの)という程度の意味である。

本実施形態におけるマスクの生成及び投影画像の生成のさらに詳しい手順については後述する。

また、前記したユーザ視点カメラ7と画像呈示部8とを実装するためのビデオシースルー型HMDの実施例についても後述する。

なお、本実施形態のユーザ姿勢取得部1と、身体形状算出部2と、マスク生成部4とが、本発明のマスク生成装置の一実施形態に相当する。また、このマスク生成装置に挿入画像生成部5を加えたものが、本発明の挿入画像生成装置の一実施形態に相当する。さらに、この挿入画像生成装置に投影画像生成部6と画像呈示部8とを加えたものが、本発明の画像呈示装置の一実施形態に相当する。

(投影画像の生成方法)
ついで、前記した装置を用いてマスクを生成し、このマスクを用いて投影画像を生成する手順の一例を、図2をさらに参照しながら説明する。

(図2のステップSA−1)
まず、ユーザ姿勢取得部1は、ユーザの姿勢を取得する。この取得は、リアルタイムでの利用を考慮すると、画像の呈示と並行して行われる。つまり、ユーザの姿勢を測定しつつ、その姿勢を利用した画像呈示が行われ、逐次、姿勢データと投影画像とが更新されることになる。また、投影画像を順次更新することにより、動画をユーザに提供することができる。

(図2のステップSA−2)
ついで、身体形状算出部2は、得られたユーザ姿勢と、身体モデルデータ格納部9に格納された身体モデルデータとを用いて、ユーザの身体形状を算出する。したがって、通常は、本装置の利用前に、利用ユーザの基本的な身体寸法(関節間の距離や手の形状など)を測定しておき、身体モデルデータ格納部9に格納しておくことが好ましい。しかしながら、人間の身体寸法は、基本的には(例えば大人であれば)同様なので、個人に特有でない、一般的な寸法データを用いることも可能である。なお、算出される身体形状の特定は、VR空間の座標上でも、実空間の座標上でもよい。これらの座標系を変換するためのマッピングは通常既知だからである。

図3に、いわゆるボーンデータとしての身体寸法モデルの一例を示す。また、図4に、身体の外形モデル(この例では手)の一例を示す。

(図2のステップSA−3)
ついで、視点画像生成部3は、VR空間モデルデータ格納部10に格納されたVR空間モデルデータを用いて、VR空間でのユーザ視点から見た視点画像を生成する。ここで、VR空間でのユーザ視点の姿勢(この明細書において姿勢とは、位置及び/又は向きをいうものとする)は、ユーザ姿勢取得部1により実空間中で取得された姿勢と一致(マッピングによる一致)させられている。したがって、この視点画像(VR空間での画像)には、別空間(VR空間)でのユーザの視点から見えるべきアバターの身体形状が映り込んでいることになる。そして、この視点画像は、投影画像として使用される視点画像と同じ視点姿勢から取得されている。なお、マスク生成用に使用される視点画像は、後述するように、身体を含む画像として生成されるが、投影画像として使用される視点画像では、身体を含まないことが好ましい。これにより、挿入画像を視点画像に組み込む作業を容易化することができる。なお、いずれの視点画像についても、同じ画角で取得されることが好ましい。

マスク作成用の視点画像の一例を図5に示す。この例では、ユーザの身体に相当する画像部分を白色、それ以外を黒色にしてある。より詳しくは、図5は、マスクをアルファチャンネルとして定義し,残存させるべき部分が白色、それ以外を黒色として表現したものである。これにより従来のカラーキーを用いた場合に生じる、被写体自体の色にカラーキーの色を用いることができないという色干渉の問題を回避することができ、被写体の色に制約のないマスクを作成することができる。

VR空間内では、ユーザの身体の位置も、それ以外の物体(バーチャル物体)の位置も、全て既知となる。このため、前記した視点画像では、両者の遮蔽関係を正確に表すことができる。図5の例では、手に持っている棒(バーチャル物体の一例)によって手のひらの一部が隠されており、しかも、棒の手前にある右手親指が画像に現れている。ここで物体とは、例えば他者の身体などの生体を含む意味である。

なお、投影画像として使用される視点画像の生成においては、照明条件算出部11で得られた照明条件と、VR空間中での各物体(自己の身体を含む)の位置関係とを用いて、身体によって形成されるはずの「影」も形成しておくことが好ましい。このようにすれば、視点画像に挿入画像(身体画像)を挿入して投影画像を生成した場合において、投影画像における現実感を一層向上させることができる。

(図2のステップSA−4)
ついで、マスク生成部4は、視点画像を用いて、マスクを生成する。マスクは、図5に示した視点画像から、ユーザの身体に相当する部分(これはシステム側において既知となっている)を抜き出すことにより形成可能である。例えば、身体部分の色を視点画像上で適宜に設定しておき、その部分を除去することで、マスクを容易に形成することができる。もちろん、このようなアルファキー的な手法に限るものではなく、適宜な手法で身体部分とそれ以外の部分とを区別して、マスクを形成できる。

本実施形態では、画素位置ごとの深度計測を行わなくとも、正確な遮蔽関係を、視点画像上において表現することができる。身体位置の深度計測を行う場合には、装置構成が複雑になって高コスト化するだけでなく、計算処理に時間がかかるのでリアルタイム性が劣化するという問題がある。さらに、正確な深度計測は一般には難しいので、得られるマスクの精度が不足しがちであるという問題もある。これに対して、本実施形態では、画素ごとの身体位置を決定するための深度計測を省略できるので、
・装置構成を簡略化できる;
・低コスト化を実現できる;
・計算処理が単純になるので、リアルタイム性が向上する;
・VR空間データに基づくので、高いマスク精度を実現できる
という利点がある。

また、本実施形態では、ユーザ姿勢の取得精度を向上させることにより、マスク精度を向上させることができる。本実施形態では、画像ベースではなく、実空間での計測によりユーザ姿勢を取得するので、ユーザ姿勢の取得精度向上が容易であり、したがって、マスク精度向上が容易になるという利点もある。

(図2のステップSA−5)
一方、照明条件算出部11は、VR空間中でのアバターの身体に対する照明条件を算出する。VR空間中では、いずれかの位置にあるアバター身体に対する照明条件を容易に算出できるので、この算出手法の詳細についての説明は省略する。この照明条件をマスクに適用することにより、切り出される挿入画像(後述)を、VR空間において自然なもの(違和感を感じにくいもの)とすることができる。照明条件は、切り出された挿入画像に対して適用することもできる。

(図2のステップSA−6)
一方、ユーザ視点カメラ7は、ユーザ視点(これは実空間での視点であるが、VR空間でのユーザ視点と整合している)からの実画像を取得する。実画像の模式的な説明図を図6に示す。ここで、実画像には、ユーザの身体が映り込まない場合もあるが、ユーザの身体が実画像中にあるかどうかは、VR空間モデルデータから知ることができる。よって、そのような場合はマスク生成以降の処理自体を省略できる。以降では、実画像中にユーザの身体が含まれていることを前提とするので、実画像を身体画像と呼ぶことがある。なお、ユーザ視点カメラ7の姿勢だけでなく、画角についても、VR空間からの視点と一致することが好ましい。ただし、ユーザ視点カメラ7の画角のほうがVR空間での視点よりも広い場合は、両者間での画像空間上のマッピングが可能であれば、特段の問題はない。逆の場合は、ユーザに違和感を感じさせない配慮を行うことが好ましい。

(図2のステップSA−7)
ついで、挿入画像生成部5は、ステップSA−4で得られたマスクを、前記した実画像(身体画像)に適用し、挿入画像を生成する。得られた挿入画像の一例を図7に示す。

本実施形態では、単にマスクを画像に適用するだけで、挿入画像を生成できるので、計算処理が簡便であるという利点がある。このため、高画素数の画像を用いた場合でも、計算コストを低く押さえることができ、リアルタイムでの処理が容易になるという利点がある。

(図2のステップSA−8)
ついで、投影画像生成部6は、ステップSA−3において視点画像生成部3で得られた視点画像(図8参照)に、ステップSA−7で得られた投影画像を組み合わせる(例えば重畳させる)。ここで用いる視点画像は、マスク生成用の視点画像とは異なり、アバターの身体が存在しないとして生成されたものとなっている。このような処理は、VR空間中なので、容易に行うことができる。また、これにより、単に画像を重畳させるだけで、ユーザに投影されるべき投影画像を生成することができる。得られる投影画像の一例を図9に示す。

(図2のステップSA−9)
ついで、画像呈示部8は、得られた投影画像をユーザに呈示する。この投影画像は、ユーザ視点カメラ7と光学的に等価な(いわゆる光学共役な)位置から等価な画角で観察できることが好ましい。これにより、ユーザに違和感なく投影画像を呈示することができる。

本実施形態では、実際のユーザの身体画像の一部を切り出して、それを、VR空間から得られた投影画像に矛盾なく組み込んで、投影画像としてユーザに呈示することができる。このため、本実施形態によれば、自身の身体が投影画像に現れる場合において、ユーザに高い没入感を与えることができるという利点がある。

さらに、VR空間において自然な照明条件を挿入画像に付与することにより、投影画像の違和感をさらに減らすことができ、ユーザが感じる没入感をさらに向上させることができる。

(変形例)
次に、図10に基づいて、前記した実施形態を変形した例を説明する。この変形例の説明においては、前記した実施形態と実質的の同様な処理を行うステップについては、同じ参照符号を付することで、説明の煩雑を避ける。

前記した実施形態では、ステップSA−2で取得したユーザの身体形状を用いて、ステップSA−3において、ユーザの身体形状を含む、VR空間でのユーザ視点画像(前記の例ではマスク生成用のもの)を生成した。そして、このユーザ視点画像を用いて、ステップSA−4においてマスクを生成していた。

これに対して、この変形例では、ステップSA−2で算出されたユーザの身体形状を用いて、ステップSA−4において、マスクを生成する。この処理は、ユーザ視点に対するユーザの身体位置姿勢が既知であるため、高速に行うことができる。また、この処理の実装は、例えば、身体形状算出部2及びマスク生成部4のいずれか一方において、あるいは他の機能要素において行うことができる。

この変形例では、VR空間モデルデータを用いてユーザ視点画像を生成する処理を省略できるので、計算処理をさらに高速化することができる。ただし、この変形例では、VR空間モデルデータを使わないため、VR空間中の物体とユーザ身体との遮蔽関係を前記のように算出することは難しくなる。

なお、この変形例においても、ステップSA−8で使用するユーザ視点画像は、ステップSA−3において、前記の実施形態と同様に(例えば図8のように)生成される。

変形例における他の構成及び利点は、前記した実施形態と基本的に同様なので、これ以上の説明は省略する。

(HMDの実施例1…視点位置補正なし)
次に、図11を参照しながら、ユーザ視点カメラ7と画像呈示部8とが実装されるヘッドマウントディスプレイ(HMD)の一例として、実施例1を説明する。

実施例1では、左眼121と右眼122とに、それぞれ別の画像(つまり立体視用に視差を与えられた画像)を呈示できるようになっている。

具体的には、本実施例1では、ユーザ視点カメラ7は、左眼用カメラ71と、右眼用カメラ72とを備えている。さらに、本実施例1では、画像呈示部8は、左眼用呈示部81と、右眼用呈示部82とを備えている。

左眼用カメラ71は、左眼121と光学的に共役となる位置に配置されており、左眼用ミラー131を介して、実空間での画像(例えばユーザの身体を含んだ身体画像)を撮影できるようになっている。同様に、右眼用カメラ72は、右眼122と光学的に共役となる位置に配置されており、右眼用ミラー132を介して、実空間画像を撮影できるようになっている。

左眼用呈示部81は、左眼用ミラー131を介して、ユーザの左眼121に、左眼用の画像を呈示できる構成となっている。また、左眼用呈示部81と左眼121との間の光路上には、焦点距離を調整するための左眼用レンズ141が配置されており、これによって、呈示部81は、左眼用カメラ71と光学的に共役な位置に配置されている。同様に、右眼用呈示部82は、右眼用ミラー132を介して、ユーザの右眼122に、右眼用の画像を呈示できる構成となっている。また、右眼用呈示部82と右眼122との間の光路上には、焦点距離を調整するための右眼用レンズ142が配置されており、これによって、呈示部82は、右眼用カメラ72と光学的に共役な位置に配置されている。

また、実施例1では、左眼用ミラー131及び右眼用ミラー132として、図12に概略を示した台形状ミラーを用いることが好ましい。この形状を用いることにより、矩形状のVR空間画像をユーザに呈示し、さらに、矩形状の実空間画像をカメラで取得することができる。

実施例1では、ユーザは、実空間を現実には見ておらず、VR空間で生成された投影画像のみを見る。ここで、ユーザの身体の画像は、ユーザの眼と共役な位置にあるカメラで取得されており、この画像が投影画像に組み合わされているので、ユーザは、VR空間への高い埋没感を得ることができる。

(HMDの実施例2…視点位置補正あり)
次に、図13を参照しながら、ユーザ視点カメラ7と画像呈示部8とが実装されるヘッドマウントディスプレイ(HMD)の別の例として、実施例2を説明する。実施例2の説明においては、前記した実施例1と基本的に共通する構成要素については、同じ符号を用いることにより、説明の煩雑を避ける。

前記した実施例1では、左右のカメラ71・72が、左右の眼121・122と光学的に共役な位置に配置されていた。これに対して、実施例2では、左右のカメラ71・72が、左右の眼121・122よりも前方にオフセットして配置されており、このため、これらの眼と光学的に共役な位置から外れている。

このため、実施例2では、左右のカメラ71・72が、ミラーを介さず、直接に実空間画像を取得することができる(図13参照)。一方、左右の呈示部81・82は、左右のミラー131・132を介して左右の眼121・122に画像を呈示する。

したがって、実施例2では、HMDとしての機械的構成を簡素化することができるという利点がある。

一方で、実施例2では、前記したように、カメラ視点とユーザ視点との間にオフセットを有している。このオフセット関係を図14に模式的に示す。この例では、ユーザ視点の画角をθ1、カメラ画角をθ2、ユーザ視点から見た投影面の幅をW1、カメラから見た投影面の幅をW2としている。また、ユーザ視点とカメラ視点とのオフセット量をD、ユーザ視点から見た投影面までの距離(焦点距離)をFとしている。

実施例2のように、ユーザ視点とカメラ視点との間にオフセットがある場合は、カメラ画像とユーザ視点画像(つまりVR空間画像)との間のマッピングを行い、両者間の整合を保つことが好ましい。例えば、カメラ画像(実空間画像)の座標変換を行うことで、VR空間における視点画像との整合性を保つことができる。もちろん、逆に、VR空間画像を座標変換することもできる。このようにすれば、視点間にオフセットがある場合でも、ユーザに違和感のない画像呈示が可能となる。なお、画像間のマッピングの計算は、図14に示すようなパラメータが既知であれば、幾何学的に算出できるので、この点についての詳しい説明は省略する。

実施例2における他の構成及び利点は、実施例1と基本的に共通するので、これ以上詳しい説明は省略する。

前記した実施形態における計算処理は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

さらに、本実施形態では、別空間として、VR空間を想定したが、ユーザが存在する場所から離間した実空間を別空間として、本発明を適用することができる。この場合、別空間(つまりリモート空間)でのカメラ視点は、前記実施形態と同様、ユーザ視点と整合させられる。また、別空間でのカメラパラメータは、ユーザ側のカメラパラメータと一致しているか、補正により整合可能なものとされる。

1 ユーザ姿勢取得部
2 身体形状算出部
3 視点画像生成部
4 マスク生成部
5 挿入画像生成部
6 投影画像生成部
7 ユーザ視点カメラ
71 左眼用カメラ
72 右眼用カメラ
8 画像呈示部
81 左眼用呈示部
82 右眼用呈示部
9 身体モデルデータ格納部
10 VR空間モデルデータ格納部
11 照明条件算出部
121 左眼
122 右眼
131 左眼用ミラー
132 右眼用ミラー
141 左眼用レンズ
142 右眼用レンズ

Claims (10)

  1. 実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置であって、
    ユーザ姿勢取得部と、身体形状算出部と、マスク生成部とを備えており、
    前記ユーザ姿勢取得部は、前記実空間内における前記ユーザの姿勢を取得する構成となっており、
    前記身体形状算出部は、取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出する構成となっており、
    前記マスク生成部は、前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成する構成となっている
    ことを特徴とするマスク生成装置。
  2. さらに視点画像生成部を備えており、
    前記視点画像生成部は、前記別空間における前記ユーザの視点から見たときの前記視点画像を生成する構成となっており、
    前記マスク生成部は、前記視点画像中に存在する前記ユーザの身体部分の少なくとも一部を、前記ユーザの視点から見えるべき身体形状として用いて、前記マスクを生成する構成となっている
    請求項1に記載のマスク生成装置。
  3. さらにVR空間モデルデータ格納部を備えており、
    前記視点画像生成部は、前記視点画像を、前記VR空間モデルデータ格納部に格納されたVR空間モデルデータに基づいて生成する構成となっている
    請求項2に記載のマスク生成装置。
  4. さらにユーザ視点カメラを備えており、
    前記ユーザ視点カメラは、前記実空間における前記ユーザの身体画像を取得する構成となっており、
    前記ユーザ視点カメラの視点の姿勢は、前記別空間における前記ユーザの視点の姿勢と一致しているか、又は、どちらかの視点から見た画像を補正することにより実質的に一致させられるものとなっている
    請求項1〜3のいずれか1項に記載のマスク生成装置。
  5. さらに照明条件算出部を備えており、
    前記照明条件算出部は、前記別空間での照明条件に基づいて、前記挿入画像における輝度又は色の条件を設定する構成となっている
    請求項1〜4のいずれか1項に記載のマスク生成装置。
  6. 前記別空間での前記ユーザの視点から見えるべき前記身体形状の少なくとも一部と、前記別空間における何らかの物体との間には、前記別空間における前記ユーザの視点から見た場合に、一方が他方により遮蔽される関係となっている
    請求項1〜5のいずれか1項に記載のマスク生成装置。
  7. 請求項1〜6のいずれか1項に記載のマスク生成装置と、挿入画像生成部とを備えており、
    前記挿入画像生成部は、前記身体画像に前記マスクを適用することにより、前記挿入画像を生成する構成となっている
    挿入画像生成装置。
  8. 請求項7に記載の挿入画像生成装置と、投影画像生成部と、画像呈示部とを備えており、
    前記投影画像生成部は、前記挿入画像を、前記ユーザの視点から見た別空間での視点画像に組み合わせることにより、前記ユーザに投影すべき投影画像を生成する構成となっており、
    前記画像呈示部は、前記投影画像を、前記実空間内でのユーザの視点位置と光学的に共役な視点位置から投影する構成となっている
    画像呈示装置。
  9. 実空間におけるユーザの身体画像の少なくとも一部を抽出することによって挿入画像を生成し、前記ユーザの視点から見た別空間での視点画像に前記挿入画像を重畳させるために用いるマスクを生成するための装置を用いた方法であって、
    前記実空間内における前記ユーザの姿勢を取得するステップと、
    取得された前記ユーザの姿勢を用いて、前記ユーザの身体形状を算出するステップと、
    前記別空間での前記ユーザの視点から見えるべき前記身体形状に基づいて、前記実空間における前記ユーザの身体画像から前記挿入画像を抽出するためのマスクを生成するステップと
    を備えることを特徴とするマスク生成方法。
  10. 請求項9に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
JP2014049151A 2014-03-12 2014-03-12 画像呈示装置及びこれに用いるマスク生成装置 Active JP6402850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014049151A JP6402850B2 (ja) 2014-03-12 2014-03-12 画像呈示装置及びこれに用いるマスク生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014049151A JP6402850B2 (ja) 2014-03-12 2014-03-12 画像呈示装置及びこれに用いるマスク生成装置

Publications (2)

Publication Number Publication Date
JP2015172900A true true JP2015172900A (ja) 2015-10-01
JP6402850B2 JP6402850B2 (ja) 2018-10-10

Family

ID=54260172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014049151A Active JP6402850B2 (ja) 2014-03-12 2014-03-12 画像呈示装置及びこれに用いるマスク生成装置

Country Status (1)

Country Link
JP (1) JP6402850B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352960A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感画像の効果付加装置、効果付加のための画像処理方法およびプログラム記憶媒体
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352960A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感画像の効果付加装置、効果付加のための画像処理方法およびプログラム記憶媒体
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法

Also Published As

Publication number Publication date Type
JP6402850B2 (ja) 2018-10-10 grant

Similar Documents

Publication Publication Date Title
US20070291035A1 (en) Horizontal Perspective Representation
US20050219239A1 (en) Method and apparatus for processing three-dimensional images
US20100295921A1 (en) Virtual Interactive Presence Systems and Methods
US20040208358A1 (en) Image generation system, image generation method, program, and information storage medium
US20060126927A1 (en) Horizontal perspective representation
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
JP2003209858A (ja) 立体画像生成方法及び記録媒体
US20130063560A1 (en) Combined stereo camera and stereo display interaction
JP2003284093A (ja) 立体画像処理方法および装置
CN101305401A (zh) 用于游戏的立体视频
Azuma Augmented reality: Approaches and technical challenges
US20120327196A1 (en) Image Processing Apparatus, Image Processing Method, and Image Communication System
CN102568026A (zh) 一种多视点自由立体显示的三维增强现实方法
Grossman et al. An evaluation of depth perception on volumetric displays
CN1604014A (zh) 图像显示装置和方法
JP2005049996A (ja) 画像表示方法及び装置
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
JP2004362218A (ja) 三次元物体操作方法
JP2007052304A (ja) 映像表示システム
JP2006285609A (ja) 画像処理方法、画像処理装置
US20100027888A1 (en) Information processing apparatus and information processing method
US20140140579A1 (en) Image processing apparatus capable of generating object distance data, image processing method, and storage medium
US20130038600A1 (en) System and Method of Processing 3D Stereoscopic Image
Oskam et al. OSCAM-optimized stereoscopic camera control for interactive 3D.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180828

R150 Certificate of patent or registration of utility model

Ref document number: 6402850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150