JP2018198025A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

画像処理装置、画像処理装置の制御方法及びプログラム Download PDF

Info

Publication number
JP2018198025A
JP2018198025A JP2017103294A JP2017103294A JP2018198025A JP 2018198025 A JP2018198025 A JP 2018198025A JP 2017103294 A JP2017103294 A JP 2017103294A JP 2017103294 A JP2017103294 A JP 2017103294A JP 2018198025 A JP2018198025 A JP 2018198025A
Authority
JP
Japan
Prior art keywords
image
objective
virtual space
virtual
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017103294A
Other languages
English (en)
Inventor
高義 谷川
Takayoshi Tanigawa
高義 谷川
珠樹 大本
Tamaki Omoto
珠樹 大本
昇時 大島
Shoji Oshima
昇時 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Five For Co Ltd
Original Assignee
Five For Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Five For Co Ltd filed Critical Five For Co Ltd
Priority to JP2017103294A priority Critical patent/JP2018198025A/ja
Publication of JP2018198025A publication Critical patent/JP2018198025A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ヘッドトラッキング式のHMDを使用したゲーム等の映像コンテンツにおいて、滑らかな映像を提供する画像処理装置及びプログラムを提供することにある。【解決手段】生成装置と、合成装置とからなる画像処理装置であって、前記生成装置は、仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、3次元モデルを移動して前記仮想空間に配置する配置手段と、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、前記合成装置は、仮想空間画像を受信する受信手段と、現実空間画像を取得する現実空間画像取得手段と、複合現実画像を生成する複合現実画像取得手段とを有することを特徴とする。【選択図】図1

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。特にヘッドトラッキング式のHMDを使用したゲーム等の映像コンテンツにおいて、滑らかな映像を提供する画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。
近年では、様々なヘッドマウントディスプレイ(Head Mounted Display、以下、「HMD」という。)が登場し、バーチャルリアリティ(Virtual Reality、以下「VR」という。)の表現の可能性が広がっている。HMDは、それを頭部に装着したプレイヤの左右の目に視差画像を表示することで立体映像を表示する装置である。HMDは、プレイヤの頭部の動きを追跡しその結果を映像に反映させることでVRへの没入感や臨場感を与えることもできる。
また、カメラ等で撮像した現実の世界(以下、「現実空間」という。)の画像に、コンピュータで生成された仮想の世界(以下、「仮想空間」という。)の画像を重ね合わせて、画像表示装置に表示する技術が存在する。このような技術には、複合現実(Mixed Reality、以下「MR」という。)や拡張現実(Augmented Reality、以下「AR」という。)等がある。このMRにおいては、没入感や臨場感を高めるために、HMDを装着したプレイヤの位置と向きをリアルタイムに取得し、現実空間を撮像した画像の変化に追従させて仮想空間の画像を生成し、HMDを通じてプレイヤに対してリアルタイムに表示する。
そのため、MRは、センサ等によって計測したプレイヤの位置と向きを仮想空間での仮想の位置と向きとして設定し、この設定に基づいて仮想空間の画像をCGによって描画し、現実空間の画像と合成している。これにより、HMDを装着しているプレイヤは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察できる。このような技術の発達に応じて、HMDを装着しているプレイヤが、MRによって複合現実を体験している様子を撮像したり、その撮像したものを第三者が見たいという要望がある。
しかし、現実空間でHMDを装着しているプレイヤを撮像したとしても、そのプレイヤと現実空間が撮像されるだけで、仮想空間に存在する3次元モデルのオブジェクト等を含めて撮像することはできない。そこで、MRとクロマキー合成を用いる技術について検討されている。つまり、複合現実を体験する部屋を均質な色(例えば、緑色)にし、HMDを装着しているプレイヤを撮像して、撮像した画像や映像の中の均質な色を透明にして、そこに仮想空間の画像と重ね合わせる。こうすることで、MRを体験しているプレイヤと同じ仮想空間を含めた画像を撮像したり、その撮像したものを第三者が見ることができる。
しかし、このような方法ではMRを体験しているプレイヤが、仮想空間の画像において、適切に表示できない場合がある。例えば、HMDを使用したゲームにおいては、プレイヤの背景となる背景オブジェクトとプレイヤが持つアイテムとなるアイテムオブジェクトが使用される。このとき、背景オブジェクトはプレイヤの後ろ側に表示され、アイテムオブジェクトはプレイヤの位置や向きに応じて前や後に表示されなければならない。しかし、プレイヤは、自由に歩き回ることができるため、仮想空間におけるプレイヤの位置を考慮しないと、アイテムオブジェクトが常にプレイヤの後ろ側に表示されるような不自然な画像となってしまう。このように、HMDを使用したゲーム等の映像コンテンツには様々な提案がなされているが、特許文献を基に従来の技術を説明する。
例えば、撮影現場において合成結果を確認しながら役者が演技をしたりCGの操作者が操作を行うことを可能とする映像合成装置の技術が知られている(特許文献1参照)。また、画像処理装置の負担を軽減しつつ、リアリティの高い拡張現実を提供することが可能な画像処理装置、画像装置の制御方法及びプログラムの技術が知られている(特許文献2参照)。さらに、現実空間のプレイヤを撮像することにより生成される画像を仮想空間上の適切な位置に表示する情報処理装置、その制御方法及びプログラムの技術が知られている(特許文献3参照)。
特開2000−230374号公報 特開2013−8297号公報 特開2015−170232号公報
特許文献1に記載された発明は、実写画像とCGデータの合成の際に、実際の空間の奥行きを示す3次元情報を取得し、この3次元情報に基づいて実写画像とCGデータとの前後関係を考慮した合成を行うものである。特許文献1に記載された発明では、対象物を含む現実空間画像を仮想空間上に単に配置しただけでは、仮想空間上に設定された視点から見た場合の対象物の大きさと、現実空間において撮像装置から見た場合の対象物の大きさとが異なってしまうという問題点があった。
特許文献2に記載された発明は、移動しない物体の被写体画像を被写体オブジェクトにマッピングして仮想空間に配置するものである。特許文献2に記載された発明では、現実空間を移動する対象物の現在位置をリアルタイムに特定し、対象物を撮像した現実空間画像を仮想空間に配置できないという問題点があった。特許文献3に記載された発明は、客観カメラから見た対象物の大きさと、仮想空間に設定される視点から見た現実空間画像に含まれる対象物の大きさとが略同一になるよう、現実空間画像のサイズを変更するものである。特許文献3に記載された発明では、仮想空間に現実空間画像を配置した上で、画像の生成と画像の合成を同じ情報処理装置で行われるため、処理落ちが頻繁に発生し滑らかな映像が提供できないという問題点があった。
本発明は、以上のような従来の問題点を解決するために創作されたもので、次の目的を達成する。本発明の目的は、滑らかな映像を提供する画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。
本発明は、前記目的を達成するために次の手段をとる。
本発明1の画像処理装置は、3次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置であって、前記生成装置は、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、前記合成装置は、前記生成装置から送信された前記仮想空間画像を受信する受信手段と、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有することを特徴とする。
本発明2の画像処理装置は、本発明1であって、
前記仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成することを特徴とする。
本発明3の画像処理装置は、本発明2であって、前記客観背景画像には、前記仮想空間に配置された前記3次元モデルの全部が配置され、前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記3次元モデルの一部である一部画像が配置されることを特徴とする。
本発明4の画像処理装置は、本発明3であって、前記客観背景画像には、前記仮想空間に配置された前記3次元モデルの全部が配置され、前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記3次元モデルの一部である一部画像が配置されることを特徴とする。
本発明5の画像処理装置は、本発明4であって、前記仮想空間画像取得手段は、前記客観背景画像から前記一部画像を抽出することを特徴とする。
本発明6の画像処理装置は、本発明5であって、前記仮想空間画像取得手段は、前記客観背景画像から特定の色を透過することにより、前記一部画像を抽出することを特徴とする。
本発明7の画像処理装置は、本発明1〜6のいずれかであって、前記現実空間画像取得手段は、前記撮像装置で撮像された前記現実空間画像から前記対象を含む特定画像を抽出することを特徴とする。
本発明8の画像処理装置は、本発明7であって、前記現実空間画像取得手段は、前記撮像装置で撮像された前記現実空間画像から特定の色を透過することにより、前記特定画像を抽出する透過処理手段を有することを特徴とする。
本発明9の画像処理装置は、本発明1〜8のいずれかであって、前記生成装置には、ヘッドマウントディスプレイが接続され、前記生成装置は、現実空間における前記ヘッドマウントディスプレイの位置と向きを繰り返し取得し、前記仮想空間における主観仮想カメラの位置と向きである主観仮想カメラ位置を繰り返し特定する主観カメラ位置特定手段と、前記仮想空間に配置された前記3次元モデルを前記主観カメラ位置特定手段で特定された前記主観仮想カメラ位置を視点として、主観仮想空間画像を生成する主観仮想空間画像取得手段と、前記主観仮想空間画像を表示するように制御するHMD表示制御手段とを有することを特徴とする。
本発明10の画像処理装置は、本発明9であって、前記主観仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置にカメラオブジェクトを表示するように制御することを特徴とする。
本発明11の画像処理装置は、本発明1〜10のいずれかであって、前記合成装置は、一又は複数の画像を加工するビデオミキサー、ビデオスイッチャーその他の映像切替装置であることを特徴とする。
本発明12の画像処理装置の制御方法は、3次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置の制御方法であって、前記生成装置の客観カメラ位置特定手段が、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定工程と、前記生成装置の対象位置特定手段が、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定工程と、前記生成装置の配置手段が、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置工程と、前記生成装置の仮想空間画像取得手段が、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得工程と、前記生成装置の送信手段が、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信工程とを有し、前記合成装置の現実空間画像取得手段が、前記生成装置から送信された前記仮想空間画像を受信する受信工程と、前記合成装置の現実空間画像取得手段が、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得工程と、前記合成装置の複合現実画像取得手段が、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得工程とを有することを特徴とする。
本発明13のプログラムは、3次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置の制御方法を実行可能なプログラムであって、前記生成装置を、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段として機能させ、前記合成装置を、前記生成装置から送信された前記仮想空間画像を受信する受信手段と、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段として機能させることを特徴とする。
図1は、本発明の第一実施形態を適用した画像処理装置1とそれを使用した状態を示す外観図である。 図2は、画像処理装置1のハードウェア構成を示す図である。 図3は、画像処理装置1の機能構成を示す図である。 図4は、画像処理装置1の処理の流れを示すフローチャートである。 図5は、各装置の位置と向きを格納するテーブルを示す図である。
図6は、画像の合成の状態を示す図である。 図7は、本発明の第二実施形態を適用した画像処理装置101とそれを使用した状態を示す外観図である。 図8は、画像処理装置101の機能構成を示す図である。 図9は、画像の合成の状態を示す図である。 図10は、画像の合成の状態を示す図である。 図11は、画像の合成の状態を示す図である。
〔本発明の第一実施形態〕
以下、本発明の画像処理装置1について、図面に基づいて、本発明の第一実施形態として詳細に説明する。図1は、本発明の第一実施形態を適用した画像処理装置1とそれを使用した状態を示す外観図である。図2は、画像処理装置1のハードウェア構成を示す図である。図3は、画像処理装置1の機能構成を示す図である。図4は、画像処理装置1の処理の流れを示すフローチャートである。図5は、各装置の位置と向きを格納するテーブルを示す図である。図6は、画像の合成の状態を示す図である。
なお、図1に示すように、矢印U方向を上方向とし、その逆方向である矢印D方向を下方向として説明を行う。水平面内で上下方向と直交する一の方向である矢印L方向を左方向とし、直交する他の方向である矢印R方向を右方向として説明を行う。図1に示すように、上下方向及び左右方向と直交する上側の方向である矢印F方向を前方向とし、下側の方向である矢印B方向を後方向として説明を行う。上方向側の面、下方向側の面、前方向側の面、後方向側の面、左方向側の面及び右方向側の面をそれぞれ平面、底面、正面、背面、左側面、右側面として説明を行う。
〔画像処理装置1〕
画像処理装置1は、仮想空間画像による仮想ゲームをプレイヤPに提供し、複合現実画像をビジタVに提供するいわゆるMRシステムである。図1に示すように、画像処理装置1は、生成装置10、合成装置20、HMD30、第一コントローラ40、第二コントローラ50、客観カメラ60、クロマキーカーテン70、ディスプレイ80及びベースステーション90とから構成されている。なお、仮想現実の技術に関しては、従来技術を使用するため詳細な説明は省略する。
〔生成装置10〕
生成装置10は、オペレーティングシステムを搭載する汎用的な装置である。生成装置10は、各装置の位置と向きの情報に基づいて、合成装置20で合成する客観背景画像601及び客観前景画像602を生成する装置である。また、生成装置10は、複数の映像ソースとして、客観背景画像601及び客観前景画像602を別々に合成装置20に送信する装置でもある。図3に示すように、生成装置10には、合成装置20、HMD30、第一コントローラ40及び第二コントローラ50が接続されている。生成装置10は、合成装置20、HMD30、第一コントローラ40及び第二コントローラ50と有線又は無線で、相互にデータ通信可能に接続されている。生成装置10は、HMD30、第一コントローラ40及び第二コントローラ50の位置と向きに応じて仮想空間の画像(以下、仮想空間画像)を生成し、HMD30に送信する。
〔合成装置20〕
合成装置20は、ビデオミキサー、ビデオスイッチャーその他の映像切替装置であり、現実空間画像603を加工し、複合現実画像604を合成する装置である。また、合成装置20は、複数の映像ソースとして、生成装置10から別々に送信される客観背景画像601及び客観前景画像602を別々に受信する装置でもある。図3に示すように、合成装置20には、生成装置10、客観カメラ60及びディスプレイ80が接続されている。合成装置20は、生成装置10、客観カメラ60及びディスプレイ80と有線又は無線で、相互にデータ通信可能に接続されている。合成装置20は、客観カメラ60で撮像された現実空間画像603を受信して、この現実空間画像603の所定の色(青や緑等)を透過してキーイングして客観透過現実空間画像603’を生成する。合成装置20は、複数の映像ソースである客観透過現実空間画像603’と生成装置10で生成された客観背景画像601と客観前景画像602とを合成しディスプレイ80に送信する。
〔HMD30〕
HMD30は、いわゆるヘッドマウントディスプレイである。図1に示すように、HMD30は、プレイヤPの頭部に装着するディスプレイであり、右目用ビデオカメラ、左目用のビデオカメラ、右目用ディスプレイ及び左目用ディスプレイを備えている。HMD30は、フレームレートが90fps(frames per second)である。HMD30は、右目用ビデオカメラ及び左目用ビデオカメラで撮像された現実空間画像を生成装置10に送信できる。HMD30は、生成装置10から送信されてきた仮想空間画像を受信し、右目用ディスプレイと左目用ディスプレイに表示する。
HMD30は、プレイヤPの目のすぐ前の位置に、両目それぞれに画像を少しずらして右目用ディスプレイと左目用ディスプレイに表示される。このため、右目用ディスプレイと左目用ディスプレイに表示される画像が平面であるにも関わらず、立体的に見えるようになっている。なお、HMD30で撮像する現実空間画像及び表示する仮想空間画像は、動画でも良いし、所定の間隔で撮像された静止画であっても良い。HMD30には、HMD30の位置と向きを検出させるためのHMDセンサ31が取り付けられている。HMDセンサ31は、ベースステーション90よりに飛ばされた赤外線を拾うことができる。
〔第一コントローラ40、第二コントローラ50〕
第一コントローラ40と第二コントローラ50は、仮想空間に配置される3次元モデルとなるオブジェクトの全部又は一部を操作するための装置である。図1に示すように、第一コントローラ40には、第一コントローラ40の位置と向きを検出させるための第一コントローラセンサ41が取り付けられている。第一コントローラセンサ41は、ベースステーション90よりに飛ばされた赤外線を拾うことができる。第二コントローラ50には、第二コントローラ50の位置と向きを検出させるための第二コントローラセンサ51が取り付けられている。第二コントローラセンサ51は、ベースステーション90より飛ばされた赤外線を拾うことができる。
〔客観カメラ60〕
客観カメラ60は、手動又は自動で移動して現実空間を撮像する撮像装置である。図1に示すように、客観カメラ60は、クロマキーカーテン70の内側でゲームをするプレイヤPを撮像するように所定の位置に配置されている。客観カメラ60で撮像した現実空間画像は、合成装置20に送信される。本例において、客観カメラ60で撮像する現実空間画像は、動画であるが、所定の間隔で撮像される静止画であも良い。客観カメラ60には、客観カメラ60の位置と向きを検出させるための客観カメラセンサ61が取り付けられている。
〔クロマキーカーテン70〕
クロマキーカーテン70は、仮想ゲームを体験する部屋を覆うためのカーテンである。図1に示すように、クロマキーカーテン70は、複合現実を体験するプレイヤPを覆うように配置する。本例においては、客観カメラ60でプレイヤPの全身を撮像ができるように、客観カメラ60が配置される背面以外の平面、底面、正面、左側面、右側面を覆うように配置する。本例において、クロマキーカーテン70は、プレイヤPとなる人を覆うため、人の肌の色の補色となる緑色のものを使用している。クロマキーカーテン70に使用する色は、複数色あっても良いし、色味や濃さによって透過する対象の色を変えても良い。
〔ディスプレイ80〕
ディスプレイ80は、仮想ゲームを体験しているプレイヤPと同じ仮想空間を含めた複合現実画像704を見ることができる表示装置である。図1に示すように、ディスプレイ80は、薄型で大型の液晶テレビである。ディスプレイ80は、フレームレートが60fps(frames per second)である。本例では、多くのビジタVが仮想ゲームを体験しているプレイヤPと同じ仮想空間を含めた複合現実画像704を見ることができるように、薄型で大型の液晶テレビを使用しているが、小型のテレビ、スマートフォン及びタブレット等のその他の表示装置であっても良い。
〔ベースステーション90〕
ベースステーション90は、HMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61の位置と向きを検出させるための装置である。ベースステーション90は、上下左右それぞれ約120度の範囲に赤外線を一定のパターンで照射し、HMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61がこれを拾うことで、これらの位置と向きが検出される。
図1に示すように、ベースステーション90はクロマキーカーテン70の内側に2つ配置されている。しかし、ベースステーション90は、どのような状況下でもHMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61を検出できるように2以上配置しても良い。また、ベースステーション90は、目立たないようにクロマキーカーテン70の外側に配置しても良い。
〔生成装置10のハードウェア構成図〕
図2に基づいて、生成装置10のハードウェア構成を説明する。CPU10aは、システムバス11に接続されるデバイスやコントローラを制御する中央演算処理装置である。ROM10b又は外部メモリ10jは、CPU10aの制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている記憶装置である。RAM10cは、CPU10aの主メモリ、ワークエリア等として機能する装置である。CPU10aは、処理の実行に際して必要なプログラム等をRAM10cから読み込んで、それを実行することで各種動作を実現する。
入力コントローラ10fは、第一コントローラ40、第二コントローラ50、キーボード及びマウスその他の入力デバイス10iからの入力を制御する装置である。ビデオコントローラ10hは、HMD30が備える右目ディスプレイ及び左目ディスプレイ等その他の表示装置への表示を制御する装置である。右目ディスプレイ及び左目ディスプレイに対しては、例えば高精細度マルチメディアインターフェース(High-Definition Multimedia Interface)を用いて出力される。
メモリコントローラ10gは、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、プレイヤPファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ10jへのアクセスを制御する装置である。通信I/Fコントローラ10eは、ネットワークを介して、外部機器と接続・通信するものであり、通信制御処理を実行する装置である。
汎用バス10dは、HMD30の右目ビデオカメラ及び左目ビデオカメラからの映像を取り込むための装置である。汎用バス10dは、右目ビデオカメラ及び左目ビデオカメラと外部入力端子として、例えばユニバーサルシリアルバス(Universal Serial Bus)でつなげられている。生成装置10が各種処理を実行するために用いられるプログラム等は、外部メモリ10jに記録されており、必要に応じてRAM10cにロードされることによりCPU10aによって実行される。生成装置10が実行するプログラムが用いる定義ファイルや各種情報テーブルは、外部メモリ10jに格納されている。
〔合成装置20のハードウェア構成図〕
図2に基づいて、合成装置20のハードウェア構成を説明する。なお、合成装置20のハードウェア構成は、生成装置10のハードウェア構成とほぼ同様であるので、同じハードウェア構成については詳細な説明を省略する。合成装置20のビデオコントローラ20hには、生成装置10とは異なり、右目ディスプレイ及び左目ディスプレイが接続されない。合成装置20のビデオコントローラ20hには、ディスプレイ20kが接続される。合成装置20には、ベースステーション90が接続されない。合成装置20の汎用バス20dには、右目ビデオカメラ及び左目ビデオカメラが接続されない。合成装置20の汎用バス20dには、客観カメラ60が接続される。
〔生成装置10の機能構成図〕
図3に示すように、生成装置10は機能部として、通信制御手段301、客観カメラ位置特定手段302、対象位置特定手段303、HMD現実空間画像取得手段304、配置手段305、主観仮想空間画像取得手段306、HMD表示制御手段307、仮想空間画像取得手段308、客観背景画像送信手段309及び客観前景画像送信手段310とを備えている。
〔通信制御手段301〕
通信制御手段301は、生成装置10と通信可能なHMD30、ベースステーション90及び合成装置20との各種情報の送受信を行う機能を有する。通信制御手段301は、ビデオコントローラ10h、通信I/Fコントローラ10e、汎用バス10d等を通じてこれらの装置と情報の送受信を行う。
〔客観カメラ位置特定手段302〕
客観カメラ位置特定手段302は、客観カメラ60の現実空間における位置と向きを示す情報を取得する機能を有する。客観カメラ位置特定手段302は、現実空間における客観カメラ60の位置と向きを繰り返し取得し、仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する。客観カメラ60の位置と向きは、客観カメラセンサ61がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。
〔対象位置特定手段303〕
対象位置特定手段303は、HMD30、第一コントローラ40及び第二コントローラ50の現実空間における位置と向きを示す情報を取得する機能を有する。対象位置特定手段303は、現実空間における対象の位置と向きを繰り返し取得し、仮想空間における対象の位置と向きである対象位置を繰り返し特定する。HMD30の位置と向きは、HMDセンサ31がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。第一コントローラ40の位置と向きは、第一コントローラセンサ41がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。第二コントローラ50の位置と向きは、第二コントローラセンサ51がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。
〔HMD現実空間画像取得手段304〕
HMD現実空間画像取得手段304は、HMD30の右目ビデオカメラ及び左目ビデオカメラが撮像した現実空間画像を繰り返し取得する機能を有する。
〔配置手段305〕
配置手段305は、仮想空間に3次元モデルであるオブジェクト画像(例えば、背景画像、武器画像、盾画像)を配置する機能を有する。配置手段305は、客観カメラ位置特定手段302や対象位置特定手段303等で取得した位置と向きに基づいてオブジェクト画像を配置する。オブジェクト画像は、生成装置10の外部メモリ10j等に記憶されており、これらを適宜読み出して取得する。HMD30や客観カメラ60の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像(背景画像)を生成し、これを仮想空間に配置する。
第一コントローラ40の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像(武器画像)を生成し、これを仮想空間に配置する。第二コントローラ50の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像(盾画像)を生成し、これを取得する。
〔主観仮想空間画像取得手段306〕
主観仮想空間画像取得手段306は、配置手段305で生成された仮想空間から主観仮想空間画像を生成する機能を有する。
〔HMD表示制御手段307〕
HMD表示制御手段307は、生成装置10に接続されたHMD30の右目ディスプレイ及び左目ディスプレイの表示制御を行う機能を有する。HMD表示制御手段307は、主観仮想空間画像取得手段306で生成された主観仮想空間画像を、右目ディスプレイ及び左目ディスプレイに表示する。
〔仮想空間画像取得手段308〕
仮想空間画像取得手段308は、生成装置10で仮想空間画像を生成する機能を有する。仮想空間画像取得手段308は、仮想空間に配置されたオブジェクト画像を客観カメラ位置特定手段302で特定された客観仮想カメラ位置を視点として、仮想空間画像である客観背景画像601と客観前景画像602を生成する。図6に示すように、客観背景画像601は、仮想空間に配置されたオブジェクト画像の全部(例えば、背景画像、武器画像、盾画像)が配置される。
図6に示すように、客観前景画像602は、客観カメラ位置特定手段302で特定された客観仮想カメラ位置及び/又は対象位置特定手段303で特定された対象位置に応じて、仮想空間に配置されたオブジェクト画像の一部(例えば、武器画像、盾画像)が配置される。仮想空間画像取得手段308は、HMD30、客観カメラ60及び第一コントローラ40の位置と向きに基づいて、客観前景画像602にオブジェクト画像(例えば、武器画像)を配置するか否かを決定する。仮想空間画像取得手段308は、HMD30、客観カメラ60及び第二コントローラ50の位置と向きに基づいて、客観前景画像602にオブジェクト画像(例えば、盾画像)を配置するか否かを決定する。客観前景画像602は、配置されたオブジェクト画像の一部以外の箇所はキーイングして透過された客観前景画像602’とする。
〔客観背景画像送信手段309〕
客観背景画像送信手段309は、仮想空間画像取得手段308で生成した客観背景画像601を合成装置20に繰り返し送信する機能を有する。生成装置10は、合成装置20に客観背景画像601を送信する専用のインターフェースを介して送信する。
〔客観前景画像送信手段310〕
客観前景画像送信手段310は、仮想空間画像取得手段308で生成した客観前景画像602又は透過された客観前景画像602’を合成装置20に来る返し送信する機能を有する。生成装置10は、合成装置20に客観前景画像602’を送信する専用のインターフェースを介して送信する。
〔合成装置20の機能構成図〕
また、合成装置20は機能部として、通信制御手段351、現実空間画像取得手段352、透過処理手段353、客観背景画像受信手段354、客観前景画像受信手段355、複合現実画像生成手段356及びディスプレイ表示制御手段357を備えている。
〔通信制御手段351〕
通信制御手段351は、合成装置20と通信可能な生成装置10と客観カメラ60との各種情報の送受信を行う機能部である。通信制御手段301は、通信I/Fコントローラ10e、汎用バス10d等を通じてこれらの装置と情報の送受信を行う。
〔現実空間画像取得手段352〕
現実空間画像取得手段352は、客観カメラ60が撮像した現実空間画像603を繰り返し取得する機能を有する。
〔透過処理手段353〕
透過処理手段353は、現実空間画像取得手段352で取得した現実空間画像603に含まれる所定の色を透過して、客観透過現実空間画像603’を生成する機能を有する。透過処理手段353は、クロマキーカーテン70の色が緑色でなので、取得した現実空間画像603に含まれる画素のうち、緑色の画素の不透明度を「0」にする。なお、不透明度は必ずしも「0」である必要はないが、完全に透過させることで、本願発明の効果をより向上することができる。
〔客観背景画像受信手段354〕
客観背景画像受信手段354は、客観背景画像送信手段309から送信された客観背景画像601を繰り返し受信する機能を有する。合成装置20は、生成装置10から客観背景画像601を受信する専用のインターフェースを介して受信する。
〔客観前景画像受信手段355〕
客観前景画像受信手段355は、客観前景画像送信手段310から送信された客観前景画像602又は透過された客観前景画像602’を繰り返し受信する機能を有する。合成装置20は、生成装置10から客観前景画像602’を受信する専用のインターフェースを介して受信する。
〔複合現実画像生成手段356〕
複合現実画像生成手段356は、客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を重ねることにより、複合現実画像604を合成する機能を有する。複合現実画像604は、図6に示すように、下から客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’の順番で重ねられている。
〔ディスプレイ表示制御手段357〕
ディスプレイ表示制御手段357は、合成装置20に接続されたディスプレイ80の表示制御を行う機能を有する。ディスプレイ表示制御手段357は、複合現実画像生成手段356で合成された複合現実画像604を、ディスプレイ80に表示する。
〔処理の流れ〕
次に、本発明の実施形態における画像処理装置1によって行われる一連の処理について、図4に示すフローチャートを用いて説明する。
〔生成装置10の処理の流れ〕
画像処理装置1の生成装置10によって行われる一連の処理は、客観カメラ位置特定工程401、対象位置特定工程402、HMD現実空間画像取得工程403、配置工程404、主観仮想空間画像取得工程405、HMD表示制御工程406、仮想空間画像取得工程407、客観背景画像送信工程408、客観前景画像送信工程409及び終了工程410とからなる。
〔客観カメラ位置特定工程S401〕
CPU10aは、客観カメラ60の現実空間における位置と向きを示す情報を取得して、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定手段302を使用して、ベースステーション90から飛ばされた赤外線を拾うタイミングで、客観カメラ60の現実空間における位置と向きを示す情報を取得する。図5に示すように、客観カメラ60の位置(座標)、向き(ベクトル)は、現実空間の所定の場所を原点としたXYZ座標と、当該XYZ座標を用いたベクトルで表され、客観カメラテーブル560に格納される。
〔対象位置特定工程S402〕
CPU10aは、HMD30の現実空間における位置と向きを示す情報を取得して、RAM10c等に記憶する。CPU10aは、対象位置特定手段303を使用して、ベースステーション90から飛ばされた赤外線を拾うタイミングで、HMD30の現実空間における位置と向きを示す情報を取得する。図5に示すように、HMD30の位置(座標)、向き(ベクトル)は、現実空間の所定の場所を原点としたXYZ座標と、当該XYZ座標を用いたベクトルで表され、HMDテーブル530に格納される。同様に、CPU10aは、ベースステーション90を使用して第一コントローラ40及び第二コントローラ50のHMD30の位置(座標)、向き(ベクトル)を取得して、第一コントローラテーブル540及び第二コントローラテーブル550に格納する。
〔HMD現実空間画像取得工程S403〕
CPU10aは、HMD30の右目ビデオカメラ及び左目ビデオカメラから送信される現実空間画像を、HMD現実空間画像取得手段304を用いて繰り返し取得し、RAM10c等に記憶する。右目ビデオカメラ及び左目ビデオカメラは、プレイヤPの右目に対応するビデオカメラと左目に対応するビデオカメラが用意され、これらから右目用と左目用の現実空間画像を繰り返し取得する。
〔配置工程S404〕
CPU10aは、配置手段305を用いて仮想空間に3次元モデルであるオブジェクト画像を配置し、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定工程S401で取得して、客観カメラテーブル560に格納された客観カメラ60の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応するオブジェクト画像(例えば、背景画像)を仮想空間に配置して、RAM10c等に記憶する。
CPU10aは、対象位置特定工程S402で取得して、HMDテーブル530に格納されたHMD30の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応するオブジェクト画像(例えば、背景画像)を仮想空間に配置して、RAM10c等に記憶する。CPU10aは、対象位置特定工程S402で取得して、第一コントローラテーブル540に格納された第一コントローラの位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応するオブジェクト画像(例えば、武器画像)を仮想空間に配置して、RAM10c等に記憶する。
CPU10aは、対象位置特定工程S402で取得して、第二コントローラテーブル550に格納された第二コントローラの位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応するオブジェクト画像(例えば、盾画像)を仮想空間に配置して、RAM10c等に記憶する。
〔主観仮想空間画像取得工程405〕
CPU10aは、主観仮想空間画像取得手段306を用いて主観仮想空間画像を生成し、RAM10c等に記憶する。CPU10aは、対象位置特定工程S402で取得して、HMDテーブル530に格納されたHMD30の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応する主観仮想空間画像を生成して、RAM10c等に記憶する。CPU10aは、HMD30の右目ディスプレイ及び左目ディスプレイに表示するために、主観仮想空間を右目用の主観仮想空間画像と左目用の主観仮想空間画像を生成する。
〔HMD表示制御工程S406〕
CPU10aは、主観仮想空間画像取得工程S405で生成された主観仮想空間画像をRAM10c等から読み出し、ビデオコントローラ10hを通じてHMD30の右目ディスプレイ及び左目ディスプレイに表示する。RAM10c等に記憶された主観仮想空間画像は、右目用と左目用がある。そのためHMD表示制御手段307を用いて、右目用の主観仮想空間画像を右目ディスプレイに表示するように制御し、左目用の主観仮想空間実画像を左目ディスプレイに表示するよう制御する。
〔仮想空間画像取得工程S407〕
CPU10aは、仮想空間画像取得手段308を用いて仮想空間画像を生成し、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定工程S401で取得して、客観カメラテーブル560に格納された客観カメラ60の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応する仮想空間画像を生成して、RAM10c等に記憶する。CPU10aは、仮想空間画像として客観背景画像と客観前景画像を生成して、RAM10c等に記憶する。
CPU10aは、仮想空間で配置されたオブジェクト画像の全部(背景画像、武器画像、盾画像)が配置された状態で客観背景画像601を生成して記憶する。CPU10aは、客観カメラ位置特定手段302で特定された客観仮想カメラ位置及び/又は対象位置特定手段303で特定された対象位置に応じて、仮想空間に配置されたオブジェクト画像の一部(武器画像、盾画像)である一部画像が配置された状態で客観前景画像602を生成して記憶する。
CPU10aは、仮想空間画像取得手段308を用いて、HMD30、客観カメラ60及び第一コントローラ40の位置と向きに基づいて、客観前景画像602にオブジェクト画像(武器画像)を配置するか否かを決定し、客観前景画像602を生成する。CPU10aは、仮想空間画像取得手段308を用いて、HMD30、客観カメラ60及び第二コントローラ50の位置と向きに基づいて、客観前景画像602にオブジェクト画像(盾画像)を配置するか否かを決定し、客観前景画像602を生成する。CPU10aは、配置するオブジェクト画像の一部以外の箇所は透過してキーイングして、透過された客観前景画像602’として記憶する。
〔客観背景画像送信工程S408〕
CPU10aは、客観背景画像送信手段309を用いて、生成された客観背景画像をRAM10c等から読み込み、合成装置20に送信する。CPU10aは、客観背景画像601を送信する専用のインターフェースを介して、生成装置10から合成装置20に送信する。
〔客観前景画像送信工程S409〕
CPU10aは、客観前景画像送信手段310を用いて、生成された客観前景画像602又は透過された客観前景画像602’をRAM10c等から読み込み、合成装置20に送信する。CPU10aは、客観前景画像602’を送信する専用のインターフェースを介して、生成装置10から合成装置20に送信する。
〔終了工程S413〕
CPU10aは、HMD30を装着しているプレイヤPに仮想ゲームを表示する処理の終了指示があったか否かを判定する。CPU10aは、終了指示があったと判定した場合には、一連の処理を終了する。CPU10aは、終了指示がない場合には客観カメラ位置特定工程S401に処理を戻し、終了指示があるまで一連の処理を繰り返す。
〔合成装置20の処理の流れ〕
画像処理装置1の合成装置20によって行われる一連の処理は、現実空間画像取得工程451、透過処理工程452、客観背景画像受信工程453、客観前景画像受信工程454、複合現実画像生成工程455、ディスプレイ表示制御工程456、及び終了工程457とからなる。
〔現実空間画像取得工程S451〕
CPU20aは、客観カメラ60から送信される現実空間画像603を、現実空間画像取得手段352を用いて取得し、RAM20c等に記憶する。
〔透過処理工程S452〕
CPU20aは、RAM20cに記憶された現実空間画像603に含まれる所定の色を透過して、客観透過現実空間画像603’を生成してRAM20c等に記憶する。CPU20aは、現実空間画像603をRAM10c等から読み出し、透過処理手段353を用いて当該現実空間画像603の所定の色を透過して客観透過現実空間画像603’を生成して、RAM20c等に記憶する。現実空間画像603は、HMD30を装着するプレイヤP以外の部分がクロマキーカーテン70の緑色になっているため、この色のアルファ値を変更することで現実空間画像603を透過する。図6に示すように、客観透過現実空間画像603’は、プレイヤPだけが抽出され、プレイヤP以外のクロマキーカーテン70で覆われた箇所が透過された画像となる。
〔客観背景画像受信工程S453〕
CPU20aは、CPU10aが客観背景画像送信手段309を用いて、生成装置10から送信された客観背景画像601を示す情報を受信し、RAM20c等に記憶する。
〔客観前景画像受信工程S454〕
CPU20aは、CPU10aが客観前景画像送信手段310を用いて、生成装置10から送信された客観前景画像602又は透過された客観前景画像602’を示す情報を受信し、RAM20c等に記憶する。
〔複合現実画像生成工程S455〕
CPU20aは、RAM20c等に記憶した客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を読み出す。そして、複合現実画像生成手段356を用いて、客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を重ねることにより、複合現実画像604を生成して、RAM20c等に記憶する。複合現実画像は、下から客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’の順番で重ねられて、RAM20c等に記憶される。
〔ディスプレイ表示制御工程S456〕
CPU20aは、複合現実画像生成工程S455で生成された複合現実画像604をRAM20c等から読み出し、ディスプレイ表示制御手段357を用いてビデオコントローラ20hを通じてディスプレイ80に表示する。
〔終了工程S457〕
CPU20aは、HMD30を装着しているプレイヤPに仮想ゲームを表示する処理の終了指示があったか否かを判定する。CPU20aは、終了指示があったと判定した場合には、一連の処理を終了する。CPU20aは、終了指示がない場合には現実空間画像取得工程S451に処理を戻し、終了指示があるまで一連の処理を繰り返す。
〔第一仮想ゲーム〕
次に画像処理装置1を利用した第一仮想ゲームを図3及び図7に基づいて説明する。図7は、複合現実画像が生成される過程を示す図である。第一仮想ゲームは、プレイヤPが、クロマキーカーテン70に囲まれた空間で、HMD30を頭に装着し、第一コントローラ40を右手に持ち、第二コントローラ50を左手に持って、仮想空間の中で怪物を退治するゲームである。この第一仮想ゲームは、手動又は自動で移動する1台の客観カメラ60でプレイヤPを撮影しながらクロマキー合成を行うことで、ビジタVがプレイヤPの状態を把握することができる。本例においては、図7に示すように、プレイヤPが客観カメラ60側を向いた瞬間を例に説明をする。
この状態のとき、客観カメラ位置特定手段302は、客観カメラ60の位置と向きを取得し、対象位置特定手段303は、HMD30、第一コントローラ40及び第二コントローラ50の位置と向きを取得する(S401、S402)。配置手段305は、取得した客観カメラ60、HMD30、第一コントローラ40、第二コントローラ50の位置と向きに基づいて、仮想空間にオブジェクト画像を配置する(S404)。主観仮想空間画像取得手段306は、主観仮想空間画像を生成し(S405)、HMD30に主観仮想空間画像を表示する(S406)。
仮想空間画像取得手段308は、客観カメラ60の位置と向きに基づいて、図6に示すように、仮想空間画像として客観背景画像601と客観前景画像602を生成する(S407)。本例において、プレイヤPがもつ第二コントローラ50は、HMD30と客観カメラ60との間にある。このため、客観前景画像602には、盾画像のみが表示される。仮想空間画像取得手段308は、客観前景画像602を透過してキーイングして透過された客観前景画像に生成する(S407)。客観背景画像送信手段309は、専用のインターフェースを介して、客観背景画像601を生成装置10から合成装置20に送信する(S408)。客観前景画像送信手段310は、専用のインターフェースを介して、透過された客観前景画像602’を生成装置10から合成装置20に送信する(S409)。
現実空間画像取得手段352は客観カメラ60から送信される現実空間画像603を取得し(S451)、透過処理手段353は現実空間画像の所定の色を透過して客観透過現実空間画像603’を生成する(S452)。客観背景画像受信手段354は、専用のインターフェースを介して、客観背景画像601を生成装置10から合成装置20に受信する(S453)。客観前景画像受信手段355は、専用のインターフェースを介して、透過された客観前景画像602’を生成装置10から合成装置に受信する(S454)。図6に示すように、複合現実画像生成手段356は、下から客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’の順番で重ねて複合現実画像604を生成する(S456)。
本例においては、プレイヤPがもつ第二コントローラ50は、HMD30と客観カメラ60との間にあるため、客観前景画像602に盾画像のみが表示され、客観透過現実空間画像603’のプレイヤPの画像に盾画像が重なるように配置される。図6に示すように、ディスプレイ表示制御手段357は、複合現実画像604をディスプレイ80に表示する。
なお、プレイヤPがもつ第一コントローラ40が、HMD30と客観カメラ60との間にある場合は、客観前景画像602に武器画像が表示されるため、客観透過現実空間画像603’のプレイヤPの画像に武器画像が重なるように配置される。また、プレイヤPがもつ第一コントローラ40や第二コントローラが、HMD30と客観カメラ60の後側にある場合は、客観背景画像601にのみ武器画像と盾画像が表示されるため、客観透過現実空間画像603’のプレイヤPの画像の前には武器画像も盾画像も重なることはなく、後に配置される。
このように、通常のクロマキー合成では表現できない奥行きを、客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’で表現することができる。つまり、クロマキー合成で抽出されたプレイヤPの前に所定の画像が配置できる。また、生成装置10は仮想空間を構築する処理を主に行い、合成装置20は生成された画像を合成し表示することを主に行うため、処理落ちがなく滑らかな複合現実画像704をビジタVは見ることができる。
〔本発明の第二実施形態〕
以下、本発明の画像処理装置101について、図面に基づいて、本発明の第二実施形態として詳細に説明する。第一実施形態の第一仮想ゲームは、手動又は自動で移動する1台の客観カメラ60のみを使用したが、第二実施形態の第二仮想ゲームは、手動又は自動で移動する3台のカメラ(客観カメラ60、客観カメラ160及び客観カメラ260)を使用する。なお、第二仮想ゲームについて、第一仮想ゲームと同一の部分については詳細な説明は省略し、異なる部分について説明をする。
図7は、本発明の第二実施形態を適用した画像処理装置101とそれを使用した状態を示す外観図である。図8は、画像処理装置101の機能構成を示す図である。図9は、画像の合成の状態を示す図である。図10は、画像の合成の状態を示す図である。図11は、画像の合成の状態を示す図である。図7に示すように、第二仮想ゲームは、第一仮想ゲームと異なり、客観カメラ60に加え、客観カメラ160及び客観カメラ260が用意されている。図8に示すように、第二仮想ゲームは、第一仮想ゲームと異なり、生成装置10に客観カメラ選択制御手段301’があり、合成装置20に客観カメラ特定制御手段351’がある。
〔客観カメラ選択制御手段301’〕
客観カメラ選択制御手段301’は、客観カメラ60、客観カメラ160及び客観カメラ260のいずれかを選択するかを制御する機能を有する。客観カメラ選択制御手段301’は、生成装置10に組み込まれたプログラム及び/又は生成装置10を使用するオペレータの入力操作等によって、客観カメラ60、客観カメラ160及び客観カメラ260のいずれかを選択する。客観カメラ選択制御手段301’は、選択したカメラの情報を生成装置10に格納した後に合成装置20に送信する。
〔客観カメラ特定制御手段351’〕
客観カメラ特定制御手段351’は、生成装置10で選択されたカメラを特定する機能を有する。客観カメラ特定制御手段351’で特定されたカメラに基づいて、現実空間画像取得手段352は、現実空間画像を取得する。例えば、客観カメラ選択制御手段301’で客観カメラ60が選択された場合、図9に示すように、生成装置10では客観背景画像701、透過された客観前景画像702’を生成し、合成装置20では客観透過現実空間画像703’が生成され、複合現実画像704が生成される。
例えば、客観カメラ選択制御手段301’で客観カメラ160が選択された場合、図10に示すように、生成装置10では客観背景画像711、透過された客観前景画像712’を生成し、合成装置20では客観透過現実空間画像713’が生成され、複合現実画像714が生成される。例えば、客観カメラ選択制御手段301’で客観カメラ260が選択された場合、図10に示すように、生成装置10では客観背景画像721、透過された客観前景画像722’を生成し、合成装置20では客観透過現実空間画像723’が生成され、複合現実画像724が生成される。このように、第二仮想ゲームは、複数台のカメラから複合現実画像が切り替え可能に表示されるため、より視覚的演出効果を高めることができる。
以上、本発明の種々の実施形態を説明したが、本発明は、この実施形態に限定されることはない。本発明の目的、趣旨を逸脱しない範囲内での変更が可能なことはいうまでもない。合成装置20は、映像切替装置に限らずオペレーティングシステムを搭載する汎用的な装置であっても良い。HMD30は、右目用ビデオカメラと左目用ビデオカメラを備えているが、これらがなくても良いし、1つのビデオカメラであっても良い。ディスプレイ80には、複合現実画像604のみを表示しているが、画面の片隅等に小さくプレイヤPが見ている画像をワイプとして挿入しても良い。この場合、図3や図8に示すように、主観仮想空間画像を合成装置20に送信すれば良い。このとき、生成装置10は、合成装置20に主観仮想空間画像を送信する専用のインターフェースを介して送信すると良い。
ベースステーション90は、赤外線を照射するもので説明をしたが、ベースステーション90が赤外線を照射しつつ、各装置の位置と向きを検出するものであっても良いし、各装置が赤外線を照射しつつそれらの位置と向きを検出するものであっても良い。また、ベースステーション90は、赤外線を照射しHMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61がこれを拾うことで、これらの位置と向きを検出している。しかし、これらの位置と向きを検出するのであれば、例えば、磁気で検出しても良いし、HMD30や客観カメラ60で撮像された映像を解析して位置と向きを特定してもよい。
仮想空間に存在する3次元モデルのオブジェクトは、武器画像、盾画像、背景画像で説明をしたが、怪物画像や客観カメラ60の位置を示すカメラオブジェクトであるカメラ画像でも良い。怪物画像も武器画像や盾画像と同様に、ビジタVが見る複合現実画像704において、プレイヤPの画像の前や後の適当な位置に配置される。プレイヤPがHMD30で見ている主観仮想空間画像と、ビジタVがディスプレイ80で見ている複合現実画像704とは、HMD30と客観カメラ60の位置に応じて視点が異なる。
このため、プレイヤPの視点から見えていない怪物画像について、ビジタVにはディスプレイ80から見える場合がある。このとき、ビジタVがプレイヤPに声をかけることで、せまる怪物画像に気づく場合がある。このように、プレイヤPとビジタVとが協力してゲームを進行することができるため面白みが増す。本発明は、例えば、システム、装置、方法、制御方法、プログラム若しくは記憶媒体等としての実施形態も実行可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
1 :画像処理装置
10 :生成装置
10a :CPU
10b :ROM
10c :RAM
10d :汎用バス
10e :通信I/Fコントローラ
10f :入力コントローラ
10g :メモリコントローラ
10h :ビデオコントローラ
10i :入力デバイス
10j :外部メモリ
11 :システムバス
20 :合成装置
20a :CPU
20c :RAM
20d :汎用バス
20h :ビデオコントローラ
20k :ディスプレイ
30 :HMD
31 :HMDセンサ
40 :第一コントローラ
41 :第一コントローラセンサ
50 :第二コントローラ
51 :第二コントローラセンサ
60 :客観カメラ
61 :客観カメラセンサ
70 :クロマキーカーテン
80 :ディスプレイ
90 :ベースステーション

Claims (13)

  1. 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置であって、
    前記生成装置(10)は、
    現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
    現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
    前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、
    前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
    前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、
    前記合成装置(20)は、
    前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
    前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
    前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有する
    ことを特徴とする画像処理装置。
  2. 請求項1に記載された画像処理装置であって、
    前記仮想空間画像取得手段は、
    前記仮想空間画像として、前記現実空間画像の後に配置する客観背景画像と、前記現実空間画像の前に配置する客観前景画像とを生成する
    ことを特徴とする画像処理装置。
  3. 請求項2に記載された画像処理装置であって、
    前記仮想空間画像取得手段は、
    前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成する
    ことを特徴とする画像処理装置。
  4. 請求項3に記載された画像処理装置であって、
    前記客観背景画像には、前記仮想空間に配置された前記3次元モデルの全部が配置され、
    前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記3次元モデルの一部である一部画像が配置される
    ことを特徴とする画像処理装置。
  5. 請求項4に記載された画像処理装置であって、
    前記仮想空間画像取得手段は、
    前記客観背景画像から前記一部画像を抽出する
    ことを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置であって、
    前記仮想空間画像取得手段は、
    前記客観背景画像から特定の色を透過することにより、前記一部画像を抽出する
    ことを特徴とする画像処理装置。
  7. 請求項1〜6のいずれか1項に記載された画像処理装置であって、
    前記現実空間画像取得手段は、
    前記撮像装置で撮像された前記現実空間画像から前記対象を含む特定画像を抽出する
    ことを特徴とする画像処理装置。
  8. 請求項7に記載の画像処理装置であって、
    前記現実空間画像取得手段は、
    前記撮像装置で撮像された前記現実空間画像から特定の色を透過することにより、前記特定画像を抽出する透過処理手段を有する
    ことを特徴とする画像処理装置。
  9. 請求項1〜8のいずれか1項に記載の画像処理装置であって、
    前記生成装置には、ヘッドマウントディスプレイが接続され、
    前記生成装置は(10)、
    現実空間における前記ヘッドマウントディスプレイ(30)の位置と向きを繰り返し取得し、前記仮想空間における主観仮想カメラの位置と向きである主観仮想カメラ位置を繰り返し特定する主観カメラ位置特定手段と、
    前記仮想空間に配置された前記3次元モデルを前記主観カメラ位置特定手段で特定された前記主観仮想カメラ位置を視点として、主観仮想空間画像を生成する主観仮想空間画像取得手段と、
    前記主観仮想空間画像を表示するように制御するHMD表示制御手段とを有する
    ことを特徴とする画像処理装置。
  10. 請求項9に記載の画像処理装置であって、
    前記主観仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置にカメラオブジェクトを表示するように制御する
    ことを特徴とする画像処理装置。
  11. 請求項1〜10のいずれか1項に記載の画像処理装置であって、
    前記合成装置は、一又は複数の画像を加工するビデオミキサー、ビデオスイッチャーその他の映像切替装置である
    ことを特徴とす画像処理装置。
  12. 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置の制御方法であって、
    前記生成装置の客観カメラ位置特定手段が、現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定工程と、
    前記生成装置の対象位置特定手段が、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定工程と、
    前記生成装置の配置手段が、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置工程と、
    前記生成装置の仮想空間画像取得手段が、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得工程と、
    前記生成装置の送信手段が、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信工程とを有し、
    前記合成装置の現実空間画像取得手段が、前記生成装置から送信された前記仮想空間画像を受信する受信工程と、
    前記合成装置の現実空間画像取得手段が、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得工程と、
    前記合成装置の複合現実画像取得手段が、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得工程とを有する
    ことを特徴とする画像処理装置の制御方法。
  13. 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置の制御方法を実行可能なプログラムであって、
    前記生成装置を、
    現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
    現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
    前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、
    前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
    前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段として機能させ、
    前記合成装置を、
    前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
    前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
    前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段
    として機能させることを特徴とする画像処理のプログラム。
JP2017103294A 2017-05-25 2017-05-25 画像処理装置、画像処理装置の制御方法及びプログラム Pending JP2018198025A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017103294A JP2018198025A (ja) 2017-05-25 2017-05-25 画像処理装置、画像処理装置の制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017103294A JP2018198025A (ja) 2017-05-25 2017-05-25 画像処理装置、画像処理装置の制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2018198025A true JP2018198025A (ja) 2018-12-13

Family

ID=64663477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017103294A Pending JP2018198025A (ja) 2017-05-25 2017-05-25 画像処理装置、画像処理装置の制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2018198025A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150398A (zh) * 2019-06-27 2020-12-29 杭州海康威视数字技术股份有限公司 图像合成方法、装置及设备
JP2021077078A (ja) * 2019-11-08 2021-05-20 株式会社Acw−Deep 拡張仮想空間提供システム
KR102343841B1 (ko) * 2021-10-08 2021-12-27 감기백 Ir 모션 트래킹 성능이 향상된 도장 시뮬레이션 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195601A (ja) * 2000-01-13 2001-07-19 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2002271694A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
JP2012178068A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US20150078621A1 (en) * 2013-09-13 2015-03-19 Electronics And Telecommunications Research Institute Apparatus and method for providing content experience service
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195601A (ja) * 2000-01-13 2001-07-19 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2002271694A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム
JP2008046687A (ja) * 2006-08-10 2008-02-28 Canon Inc 撮影環境校正方法及び情報処理装置
JP2012178068A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
US20150078621A1 (en) * 2013-09-13 2015-03-19 Electronics And Telecommunications Research Institute Apparatus and method for providing content experience service
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150398A (zh) * 2019-06-27 2020-12-29 杭州海康威视数字技术股份有限公司 图像合成方法、装置及设备
CN112150398B (zh) * 2019-06-27 2024-03-22 杭州海康威视数字技术股份有限公司 图像合成方法、装置及设备
JP2021077078A (ja) * 2019-11-08 2021-05-20 株式会社Acw−Deep 拡張仮想空間提供システム
KR102343841B1 (ko) * 2021-10-08 2021-12-27 감기백 Ir 모션 트래킹 성능이 향상된 도장 시뮬레이션 장치

Similar Documents

Publication Publication Date Title
JP5145444B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US7843470B2 (en) System, image processing apparatus, and information processing method
CN105264478B (zh) 全息锚定和动态定位
CN108292489A (zh) 信息处理装置和图像生成方法
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US10896322B2 (en) Information processing device, information processing system, facial image output method, and program
US10386633B2 (en) Virtual object display system, and display control method and display control program for the same
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
JP2007042073A (ja) 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体
JP2012174237A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP2018198025A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2016071900A (ja) 情報処理システム、その制御方法、及びプログラム
JP6687751B2 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
JPWO2017191702A1 (ja) 画像処理装置
CN114371779A (zh) 一种视线深度引导的视觉增强方法
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
JP2017046065A (ja) 情報処理装置
US9942540B2 (en) Method and a device for creating images
CN106686367A (zh) 一种虚拟现实显示器的显示模式切换方法及显示控制系统
WO2018173207A1 (ja) 情報処理装置
JP2016001476A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
WO2019142283A1 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200507

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211015