JP2018198025A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents
画像処理装置、画像処理装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2018198025A JP2018198025A JP2017103294A JP2017103294A JP2018198025A JP 2018198025 A JP2018198025 A JP 2018198025A JP 2017103294 A JP2017103294 A JP 2017103294A JP 2017103294 A JP2017103294 A JP 2017103294A JP 2018198025 A JP2018198025 A JP 2018198025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- objective
- virtual space
- virtual
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims description 42
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 46
- 238000003786 synthesis reaction Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 5
- 239000002131 composite material Substances 0.000 abstract 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 88
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 239000000203 mixture Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000007654 immersion Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明1の画像処理装置は、3次元モデルが配置される仮想空間を生成する生成装置と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置とからなる画像処理装置であって、前記生成装置は、現実空間における前記撮像装置の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、前記合成装置は、前記生成装置から送信された前記仮想空間画像を受信する受信手段と、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有することを特徴とする。
前記仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成することを特徴とする。
以下、本発明の画像処理装置1について、図面に基づいて、本発明の第一実施形態として詳細に説明する。図1は、本発明の第一実施形態を適用した画像処理装置1とそれを使用した状態を示す外観図である。図2は、画像処理装置1のハードウェア構成を示す図である。図3は、画像処理装置1の機能構成を示す図である。図4は、画像処理装置1の処理の流れを示すフローチャートである。図5は、各装置の位置と向きを格納するテーブルを示す図である。図6は、画像の合成の状態を示す図である。
画像処理装置1は、仮想空間画像による仮想ゲームをプレイヤPに提供し、複合現実画像をビジタVに提供するいわゆるMRシステムである。図1に示すように、画像処理装置1は、生成装置10、合成装置20、HMD30、第一コントローラ40、第二コントローラ50、客観カメラ60、クロマキーカーテン70、ディスプレイ80及びベースステーション90とから構成されている。なお、仮想現実の技術に関しては、従来技術を使用するため詳細な説明は省略する。
生成装置10は、オペレーティングシステムを搭載する汎用的な装置である。生成装置10は、各装置の位置と向きの情報に基づいて、合成装置20で合成する客観背景画像601及び客観前景画像602を生成する装置である。また、生成装置10は、複数の映像ソースとして、客観背景画像601及び客観前景画像602を別々に合成装置20に送信する装置でもある。図3に示すように、生成装置10には、合成装置20、HMD30、第一コントローラ40及び第二コントローラ50が接続されている。生成装置10は、合成装置20、HMD30、第一コントローラ40及び第二コントローラ50と有線又は無線で、相互にデータ通信可能に接続されている。生成装置10は、HMD30、第一コントローラ40及び第二コントローラ50の位置と向きに応じて仮想空間の画像(以下、仮想空間画像)を生成し、HMD30に送信する。
合成装置20は、ビデオミキサー、ビデオスイッチャーその他の映像切替装置であり、現実空間画像603を加工し、複合現実画像604を合成する装置である。また、合成装置20は、複数の映像ソースとして、生成装置10から別々に送信される客観背景画像601及び客観前景画像602を別々に受信する装置でもある。図3に示すように、合成装置20には、生成装置10、客観カメラ60及びディスプレイ80が接続されている。合成装置20は、生成装置10、客観カメラ60及びディスプレイ80と有線又は無線で、相互にデータ通信可能に接続されている。合成装置20は、客観カメラ60で撮像された現実空間画像603を受信して、この現実空間画像603の所定の色(青や緑等)を透過してキーイングして客観透過現実空間画像603’を生成する。合成装置20は、複数の映像ソースである客観透過現実空間画像603’と生成装置10で生成された客観背景画像601と客観前景画像602とを合成しディスプレイ80に送信する。
HMD30は、いわゆるヘッドマウントディスプレイである。図1に示すように、HMD30は、プレイヤPの頭部に装着するディスプレイであり、右目用ビデオカメラ、左目用のビデオカメラ、右目用ディスプレイ及び左目用ディスプレイを備えている。HMD30は、フレームレートが90fps(frames per second)である。HMD30は、右目用ビデオカメラ及び左目用ビデオカメラで撮像された現実空間画像を生成装置10に送信できる。HMD30は、生成装置10から送信されてきた仮想空間画像を受信し、右目用ディスプレイと左目用ディスプレイに表示する。
第一コントローラ40と第二コントローラ50は、仮想空間に配置される3次元モデルとなるオブジェクトの全部又は一部を操作するための装置である。図1に示すように、第一コントローラ40には、第一コントローラ40の位置と向きを検出させるための第一コントローラセンサ41が取り付けられている。第一コントローラセンサ41は、ベースステーション90よりに飛ばされた赤外線を拾うことができる。第二コントローラ50には、第二コントローラ50の位置と向きを検出させるための第二コントローラセンサ51が取り付けられている。第二コントローラセンサ51は、ベースステーション90より飛ばされた赤外線を拾うことができる。
客観カメラ60は、手動又は自動で移動して現実空間を撮像する撮像装置である。図1に示すように、客観カメラ60は、クロマキーカーテン70の内側でゲームをするプレイヤPを撮像するように所定の位置に配置されている。客観カメラ60で撮像した現実空間画像は、合成装置20に送信される。本例において、客観カメラ60で撮像する現実空間画像は、動画であるが、所定の間隔で撮像される静止画であも良い。客観カメラ60には、客観カメラ60の位置と向きを検出させるための客観カメラセンサ61が取り付けられている。
クロマキーカーテン70は、仮想ゲームを体験する部屋を覆うためのカーテンである。図1に示すように、クロマキーカーテン70は、複合現実を体験するプレイヤPを覆うように配置する。本例においては、客観カメラ60でプレイヤPの全身を撮像ができるように、客観カメラ60が配置される背面以外の平面、底面、正面、左側面、右側面を覆うように配置する。本例において、クロマキーカーテン70は、プレイヤPとなる人を覆うため、人の肌の色の補色となる緑色のものを使用している。クロマキーカーテン70に使用する色は、複数色あっても良いし、色味や濃さによって透過する対象の色を変えても良い。
ディスプレイ80は、仮想ゲームを体験しているプレイヤPと同じ仮想空間を含めた複合現実画像704を見ることができる表示装置である。図1に示すように、ディスプレイ80は、薄型で大型の液晶テレビである。ディスプレイ80は、フレームレートが60fps(frames per second)である。本例では、多くのビジタVが仮想ゲームを体験しているプレイヤPと同じ仮想空間を含めた複合現実画像704を見ることができるように、薄型で大型の液晶テレビを使用しているが、小型のテレビ、スマートフォン及びタブレット等のその他の表示装置であっても良い。
ベースステーション90は、HMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61の位置と向きを検出させるための装置である。ベースステーション90は、上下左右それぞれ約120度の範囲に赤外線を一定のパターンで照射し、HMDセンサ31、第一コントローラセンサ41、第二コントローラセンサ51、客観カメラセンサ61がこれを拾うことで、これらの位置と向きが検出される。
図2に基づいて、生成装置10のハードウェア構成を説明する。CPU10aは、システムバス11に接続されるデバイスやコントローラを制御する中央演算処理装置である。ROM10b又は外部メモリ10jは、CPU10aの制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている記憶装置である。RAM10cは、CPU10aの主メモリ、ワークエリア等として機能する装置である。CPU10aは、処理の実行に際して必要なプログラム等をRAM10cから読み込んで、それを実行することで各種動作を実現する。
図2に基づいて、合成装置20のハードウェア構成を説明する。なお、合成装置20のハードウェア構成は、生成装置10のハードウェア構成とほぼ同様であるので、同じハードウェア構成については詳細な説明を省略する。合成装置20のビデオコントローラ20hには、生成装置10とは異なり、右目ディスプレイ及び左目ディスプレイが接続されない。合成装置20のビデオコントローラ20hには、ディスプレイ20kが接続される。合成装置20には、ベースステーション90が接続されない。合成装置20の汎用バス20dには、右目ビデオカメラ及び左目ビデオカメラが接続されない。合成装置20の汎用バス20dには、客観カメラ60が接続される。
図3に示すように、生成装置10は機能部として、通信制御手段301、客観カメラ位置特定手段302、対象位置特定手段303、HMD現実空間画像取得手段304、配置手段305、主観仮想空間画像取得手段306、HMD表示制御手段307、仮想空間画像取得手段308、客観背景画像送信手段309及び客観前景画像送信手段310とを備えている。
通信制御手段301は、生成装置10と通信可能なHMD30、ベースステーション90及び合成装置20との各種情報の送受信を行う機能を有する。通信制御手段301は、ビデオコントローラ10h、通信I/Fコントローラ10e、汎用バス10d等を通じてこれらの装置と情報の送受信を行う。
客観カメラ位置特定手段302は、客観カメラ60の現実空間における位置と向きを示す情報を取得する機能を有する。客観カメラ位置特定手段302は、現実空間における客観カメラ60の位置と向きを繰り返し取得し、仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する。客観カメラ60の位置と向きは、客観カメラセンサ61がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。
対象位置特定手段303は、HMD30、第一コントローラ40及び第二コントローラ50の現実空間における位置と向きを示す情報を取得する機能を有する。対象位置特定手段303は、現実空間における対象の位置と向きを繰り返し取得し、仮想空間における対象の位置と向きである対象位置を繰り返し特定する。HMD30の位置と向きは、HMDセンサ31がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。第一コントローラ40の位置と向きは、第一コントローラセンサ41がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。第二コントローラ50の位置と向きは、第二コントローラセンサ51がベースステーション90から飛ばされた赤外線を拾うタイミングで検出される。
HMD現実空間画像取得手段304は、HMD30の右目ビデオカメラ及び左目ビデオカメラが撮像した現実空間画像を繰り返し取得する機能を有する。
配置手段305は、仮想空間に3次元モデルであるオブジェクト画像(例えば、背景画像、武器画像、盾画像)を配置する機能を有する。配置手段305は、客観カメラ位置特定手段302や対象位置特定手段303等で取得した位置と向きに基づいてオブジェクト画像を配置する。オブジェクト画像は、生成装置10の外部メモリ10j等に記憶されており、これらを適宜読み出して取得する。HMD30や客観カメラ60の位置と向きに基づいて、仮想空間上の位置と向きを決定し、この位置と向きから見た場合のオブジェクト画像(背景画像)を生成し、これを仮想空間に配置する。
主観仮想空間画像取得手段306は、配置手段305で生成された仮想空間から主観仮想空間画像を生成する機能を有する。
HMD表示制御手段307は、生成装置10に接続されたHMD30の右目ディスプレイ及び左目ディスプレイの表示制御を行う機能を有する。HMD表示制御手段307は、主観仮想空間画像取得手段306で生成された主観仮想空間画像を、右目ディスプレイ及び左目ディスプレイに表示する。
仮想空間画像取得手段308は、生成装置10で仮想空間画像を生成する機能を有する。仮想空間画像取得手段308は、仮想空間に配置されたオブジェクト画像を客観カメラ位置特定手段302で特定された客観仮想カメラ位置を視点として、仮想空間画像である客観背景画像601と客観前景画像602を生成する。図6に示すように、客観背景画像601は、仮想空間に配置されたオブジェクト画像の全部(例えば、背景画像、武器画像、盾画像)が配置される。
客観背景画像送信手段309は、仮想空間画像取得手段308で生成した客観背景画像601を合成装置20に繰り返し送信する機能を有する。生成装置10は、合成装置20に客観背景画像601を送信する専用のインターフェースを介して送信する。
客観前景画像送信手段310は、仮想空間画像取得手段308で生成した客観前景画像602又は透過された客観前景画像602’を合成装置20に来る返し送信する機能を有する。生成装置10は、合成装置20に客観前景画像602’を送信する専用のインターフェースを介して送信する。
また、合成装置20は機能部として、通信制御手段351、現実空間画像取得手段352、透過処理手段353、客観背景画像受信手段354、客観前景画像受信手段355、複合現実画像生成手段356及びディスプレイ表示制御手段357を備えている。
通信制御手段351は、合成装置20と通信可能な生成装置10と客観カメラ60との各種情報の送受信を行う機能部である。通信制御手段301は、通信I/Fコントローラ10e、汎用バス10d等を通じてこれらの装置と情報の送受信を行う。
現実空間画像取得手段352は、客観カメラ60が撮像した現実空間画像603を繰り返し取得する機能を有する。
透過処理手段353は、現実空間画像取得手段352で取得した現実空間画像603に含まれる所定の色を透過して、客観透過現実空間画像603’を生成する機能を有する。透過処理手段353は、クロマキーカーテン70の色が緑色でなので、取得した現実空間画像603に含まれる画素のうち、緑色の画素の不透明度を「0」にする。なお、不透明度は必ずしも「0」である必要はないが、完全に透過させることで、本願発明の効果をより向上することができる。
客観背景画像受信手段354は、客観背景画像送信手段309から送信された客観背景画像601を繰り返し受信する機能を有する。合成装置20は、生成装置10から客観背景画像601を受信する専用のインターフェースを介して受信する。
客観前景画像受信手段355は、客観前景画像送信手段310から送信された客観前景画像602又は透過された客観前景画像602’を繰り返し受信する機能を有する。合成装置20は、生成装置10から客観前景画像602’を受信する専用のインターフェースを介して受信する。
複合現実画像生成手段356は、客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を重ねることにより、複合現実画像604を合成する機能を有する。複合現実画像604は、図6に示すように、下から客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’の順番で重ねられている。
ディスプレイ表示制御手段357は、合成装置20に接続されたディスプレイ80の表示制御を行う機能を有する。ディスプレイ表示制御手段357は、複合現実画像生成手段356で合成された複合現実画像604を、ディスプレイ80に表示する。
次に、本発明の実施形態における画像処理装置1によって行われる一連の処理について、図4に示すフローチャートを用いて説明する。
画像処理装置1の生成装置10によって行われる一連の処理は、客観カメラ位置特定工程401、対象位置特定工程402、HMD現実空間画像取得工程403、配置工程404、主観仮想空間画像取得工程405、HMD表示制御工程406、仮想空間画像取得工程407、客観背景画像送信工程408、客観前景画像送信工程409及び終了工程410とからなる。
CPU10aは、客観カメラ60の現実空間における位置と向きを示す情報を取得して、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定手段302を使用して、ベースステーション90から飛ばされた赤外線を拾うタイミングで、客観カメラ60の現実空間における位置と向きを示す情報を取得する。図5に示すように、客観カメラ60の位置(座標)、向き(ベクトル)は、現実空間の所定の場所を原点としたXYZ座標と、当該XYZ座標を用いたベクトルで表され、客観カメラテーブル560に格納される。
CPU10aは、HMD30の現実空間における位置と向きを示す情報を取得して、RAM10c等に記憶する。CPU10aは、対象位置特定手段303を使用して、ベースステーション90から飛ばされた赤外線を拾うタイミングで、HMD30の現実空間における位置と向きを示す情報を取得する。図5に示すように、HMD30の位置(座標)、向き(ベクトル)は、現実空間の所定の場所を原点としたXYZ座標と、当該XYZ座標を用いたベクトルで表され、HMDテーブル530に格納される。同様に、CPU10aは、ベースステーション90を使用して第一コントローラ40及び第二コントローラ50のHMD30の位置(座標)、向き(ベクトル)を取得して、第一コントローラテーブル540及び第二コントローラテーブル550に格納する。
CPU10aは、HMD30の右目ビデオカメラ及び左目ビデオカメラから送信される現実空間画像を、HMD現実空間画像取得手段304を用いて繰り返し取得し、RAM10c等に記憶する。右目ビデオカメラ及び左目ビデオカメラは、プレイヤPの右目に対応するビデオカメラと左目に対応するビデオカメラが用意され、これらから右目用と左目用の現実空間画像を繰り返し取得する。
CPU10aは、配置手段305を用いて仮想空間に3次元モデルであるオブジェクト画像を配置し、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定工程S401で取得して、客観カメラテーブル560に格納された客観カメラ60の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応するオブジェクト画像(例えば、背景画像)を仮想空間に配置して、RAM10c等に記憶する。
CPU10aは、主観仮想空間画像取得手段306を用いて主観仮想空間画像を生成し、RAM10c等に記憶する。CPU10aは、対象位置特定工程S402で取得して、HMDテーブル530に格納されたHMD30の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応する主観仮想空間画像を生成して、RAM10c等に記憶する。CPU10aは、HMD30の右目ディスプレイ及び左目ディスプレイに表示するために、主観仮想空間を右目用の主観仮想空間画像と左目用の主観仮想空間画像を生成する。
CPU10aは、主観仮想空間画像取得工程S405で生成された主観仮想空間画像をRAM10c等から読み出し、ビデオコントローラ10hを通じてHMD30の右目ディスプレイ及び左目ディスプレイに表示する。RAM10c等に記憶された主観仮想空間画像は、右目用と左目用がある。そのためHMD表示制御手段307を用いて、右目用の主観仮想空間画像を右目ディスプレイに表示するように制御し、左目用の主観仮想空間実画像を左目ディスプレイに表示するよう制御する。
CPU10aは、仮想空間画像取得手段308を用いて仮想空間画像を生成し、RAM10c等に記憶する。CPU10aは、客観カメラ位置特定工程S401で取得して、客観カメラテーブル560に格納された客観カメラ60の位置(座標)、向き(ベクトル)をRAM10c等から読み出して、これに対応する仮想空間画像を生成して、RAM10c等に記憶する。CPU10aは、仮想空間画像として客観背景画像と客観前景画像を生成して、RAM10c等に記憶する。
CPU10aは、客観背景画像送信手段309を用いて、生成された客観背景画像をRAM10c等から読み込み、合成装置20に送信する。CPU10aは、客観背景画像601を送信する専用のインターフェースを介して、生成装置10から合成装置20に送信する。
CPU10aは、客観前景画像送信手段310を用いて、生成された客観前景画像602又は透過された客観前景画像602’をRAM10c等から読み込み、合成装置20に送信する。CPU10aは、客観前景画像602’を送信する専用のインターフェースを介して、生成装置10から合成装置20に送信する。
CPU10aは、HMD30を装着しているプレイヤPに仮想ゲームを表示する処理の終了指示があったか否かを判定する。CPU10aは、終了指示があったと判定した場合には、一連の処理を終了する。CPU10aは、終了指示がない場合には客観カメラ位置特定工程S401に処理を戻し、終了指示があるまで一連の処理を繰り返す。
画像処理装置1の合成装置20によって行われる一連の処理は、現実空間画像取得工程451、透過処理工程452、客観背景画像受信工程453、客観前景画像受信工程454、複合現実画像生成工程455、ディスプレイ表示制御工程456、及び終了工程457とからなる。
CPU20aは、客観カメラ60から送信される現実空間画像603を、現実空間画像取得手段352を用いて取得し、RAM20c等に記憶する。
CPU20aは、RAM20cに記憶された現実空間画像603に含まれる所定の色を透過して、客観透過現実空間画像603’を生成してRAM20c等に記憶する。CPU20aは、現実空間画像603をRAM10c等から読み出し、透過処理手段353を用いて当該現実空間画像603の所定の色を透過して客観透過現実空間画像603’を生成して、RAM20c等に記憶する。現実空間画像603は、HMD30を装着するプレイヤP以外の部分がクロマキーカーテン70の緑色になっているため、この色のアルファ値を変更することで現実空間画像603を透過する。図6に示すように、客観透過現実空間画像603’は、プレイヤPだけが抽出され、プレイヤP以外のクロマキーカーテン70で覆われた箇所が透過された画像となる。
CPU20aは、CPU10aが客観背景画像送信手段309を用いて、生成装置10から送信された客観背景画像601を示す情報を受信し、RAM20c等に記憶する。
CPU20aは、CPU10aが客観前景画像送信手段310を用いて、生成装置10から送信された客観前景画像602又は透過された客観前景画像602’を示す情報を受信し、RAM20c等に記憶する。
CPU20aは、RAM20c等に記憶した客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を読み出す。そして、複合現実画像生成手段356を用いて、客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’を重ねることにより、複合現実画像604を生成して、RAM20c等に記憶する。複合現実画像は、下から客観背景画像601、客観透過現実空間画像603’及び透過された客観前景画像602’の順番で重ねられて、RAM20c等に記憶される。
CPU20aは、複合現実画像生成工程S455で生成された複合現実画像604をRAM20c等から読み出し、ディスプレイ表示制御手段357を用いてビデオコントローラ20hを通じてディスプレイ80に表示する。
CPU20aは、HMD30を装着しているプレイヤPに仮想ゲームを表示する処理の終了指示があったか否かを判定する。CPU20aは、終了指示があったと判定した場合には、一連の処理を終了する。CPU20aは、終了指示がない場合には現実空間画像取得工程S451に処理を戻し、終了指示があるまで一連の処理を繰り返す。
次に画像処理装置1を利用した第一仮想ゲームを図3及び図7に基づいて説明する。図7は、複合現実画像が生成される過程を示す図である。第一仮想ゲームは、プレイヤPが、クロマキーカーテン70に囲まれた空間で、HMD30を頭に装着し、第一コントローラ40を右手に持ち、第二コントローラ50を左手に持って、仮想空間の中で怪物を退治するゲームである。この第一仮想ゲームは、手動又は自動で移動する1台の客観カメラ60でプレイヤPを撮影しながらクロマキー合成を行うことで、ビジタVがプレイヤPの状態を把握することができる。本例においては、図7に示すように、プレイヤPが客観カメラ60側を向いた瞬間を例に説明をする。
以下、本発明の画像処理装置101について、図面に基づいて、本発明の第二実施形態として詳細に説明する。第一実施形態の第一仮想ゲームは、手動又は自動で移動する1台の客観カメラ60のみを使用したが、第二実施形態の第二仮想ゲームは、手動又は自動で移動する3台のカメラ(客観カメラ60、客観カメラ160及び客観カメラ260)を使用する。なお、第二仮想ゲームについて、第一仮想ゲームと同一の部分については詳細な説明は省略し、異なる部分について説明をする。
客観カメラ選択制御手段301’は、客観カメラ60、客観カメラ160及び客観カメラ260のいずれかを選択するかを制御する機能を有する。客観カメラ選択制御手段301’は、生成装置10に組み込まれたプログラム及び/又は生成装置10を使用するオペレータの入力操作等によって、客観カメラ60、客観カメラ160及び客観カメラ260のいずれかを選択する。客観カメラ選択制御手段301’は、選択したカメラの情報を生成装置10に格納した後に合成装置20に送信する。
客観カメラ特定制御手段351’は、生成装置10で選択されたカメラを特定する機能を有する。客観カメラ特定制御手段351’で特定されたカメラに基づいて、現実空間画像取得手段352は、現実空間画像を取得する。例えば、客観カメラ選択制御手段301’で客観カメラ60が選択された場合、図9に示すように、生成装置10では客観背景画像701、透過された客観前景画像702’を生成し、合成装置20では客観透過現実空間画像703’が生成され、複合現実画像704が生成される。
10 :生成装置
10a :CPU
10b :ROM
10c :RAM
10d :汎用バス
10e :通信I/Fコントローラ
10f :入力コントローラ
10g :メモリコントローラ
10h :ビデオコントローラ
10i :入力デバイス
10j :外部メモリ
11 :システムバス
20 :合成装置
20a :CPU
20c :RAM
20d :汎用バス
20h :ビデオコントローラ
20k :ディスプレイ
30 :HMD
31 :HMDセンサ
40 :第一コントローラ
41 :第一コントローラセンサ
50 :第二コントローラ
51 :第二コントローラセンサ
60 :客観カメラ
61 :客観カメラセンサ
70 :クロマキーカーテン
80 :ディスプレイ
90 :ベースステーション
Claims (13)
- 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置であって、
前記生成装置(10)は、
現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、
前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段とを有し、
前記合成装置(20)は、
前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段とを有する
ことを特徴とする画像処理装置。 - 請求項1に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記仮想空間画像として、前記現実空間画像の後に配置する客観背景画像と、前記現実空間画像の前に配置する客観前景画像とを生成する
ことを特徴とする画像処理装置。 - 請求項2に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記客観背景画像と前記客観前景画像を生成する
ことを特徴とする画像処理装置。 - 請求項3に記載された画像処理装置であって、
前記客観背景画像には、前記仮想空間に配置された前記3次元モデルの全部が配置され、
前記客観前景画像には、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置及び/又は前記対象位置特定手段で特定された前記対象位置に応じて、前記仮想空間に配置された前記3次元モデルの一部である一部画像が配置される
ことを特徴とする画像処理装置。 - 請求項4に記載された画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観背景画像から前記一部画像を抽出する
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記仮想空間画像取得手段は、
前記客観背景画像から特定の色を透過することにより、前記一部画像を抽出する
ことを特徴とする画像処理装置。 - 請求項1〜6のいずれか1項に記載された画像処理装置であって、
前記現実空間画像取得手段は、
前記撮像装置で撮像された前記現実空間画像から前記対象を含む特定画像を抽出する
ことを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置であって、
前記現実空間画像取得手段は、
前記撮像装置で撮像された前記現実空間画像から特定の色を透過することにより、前記特定画像を抽出する透過処理手段を有する
ことを特徴とする画像処理装置。 - 請求項1〜8のいずれか1項に記載の画像処理装置であって、
前記生成装置には、ヘッドマウントディスプレイが接続され、
前記生成装置は(10)、
現実空間における前記ヘッドマウントディスプレイ(30)の位置と向きを繰り返し取得し、前記仮想空間における主観仮想カメラの位置と向きである主観仮想カメラ位置を繰り返し特定する主観カメラ位置特定手段と、
前記仮想空間に配置された前記3次元モデルを前記主観カメラ位置特定手段で特定された前記主観仮想カメラ位置を視点として、主観仮想空間画像を生成する主観仮想空間画像取得手段と、
前記主観仮想空間画像を表示するように制御するHMD表示制御手段とを有する
ことを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置であって、
前記主観仮想空間画像取得手段は、前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置にカメラオブジェクトを表示するように制御する
ことを特徴とする画像処理装置。 - 請求項1〜10のいずれか1項に記載の画像処理装置であって、
前記合成装置は、一又は複数の画像を加工するビデオミキサー、ビデオスイッチャーその他の映像切替装置である
ことを特徴とす画像処理装置。 - 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置の制御方法であって、
前記生成装置の客観カメラ位置特定手段が、現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定工程と、
前記生成装置の対象位置特定手段が、現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定工程と、
前記生成装置の配置手段が、前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置工程と、
前記生成装置の仮想空間画像取得手段が、前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得工程と、
前記生成装置の送信手段が、前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信工程とを有し、
前記合成装置の現実空間画像取得手段が、前記生成装置から送信された前記仮想空間画像を受信する受信工程と、
前記合成装置の現実空間画像取得手段が、前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得工程と、
前記合成装置の複合現実画像取得手段が、前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得工程とを有する
ことを特徴とする画像処理装置の制御方法。 - 3次元モデルが配置される仮想空間を生成する生成装置(10)と、撮像装置と通信可能に接続され撮像した画像を加工する合成装置(20)とからなる画像処理装置の制御方法を実行可能なプログラムであって、
前記生成装置を、
現実空間における前記撮像装置(60)の位置と向きを繰り返し取得し、前記仮想空間における仮想カメラの位置と向きである客観仮想カメラ位置を繰り返し特定する客観カメラ位置特定手段と、
現実空間における対象の位置と向きを繰り返し取得し、前記仮想空間における前記対象の位置と向きである対象位置を繰り返し特定する対象位置特定手段と、
前記客観仮想カメラ位置及び/又は前記対象位置に従って、前記3次元モデルを前記仮想空間に配置すると共に、前記撮像装置及び/又は前記対象の移動に応じて、前記3次元モデルを移動して前記仮想空間に配置する配置手段と、
前記仮想空間に配置された前記3次元モデルを前記客観カメラ位置特定手段で特定された前記客観仮想カメラ位置を視点として、一又は複数の仮想空間画像を生成する仮想空間画像取得手段と、
前記仮想空間画像取得手段で生成された前記仮想空間画像を前記合成装置に送信する送信手段として機能させ、
前記合成装置を、
前記生成装置から送信された前記仮想空間画像を受信する受信手段と、
前記撮像装置で前記対象を含む現実空間を撮像することにより生成された現実空間画像を取得する現実空間画像取得手段と、
前記仮想空間画像と前記現実空間画像とを重ね合わせて複合現実画像を生成する複合現実画像取得手段
として機能させることを特徴とする画像処理のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103294A JP2018198025A (ja) | 2017-05-25 | 2017-05-25 | 画像処理装置、画像処理装置の制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017103294A JP2018198025A (ja) | 2017-05-25 | 2017-05-25 | 画像処理装置、画像処理装置の制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018198025A true JP2018198025A (ja) | 2018-12-13 |
Family
ID=64663477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017103294A Pending JP2018198025A (ja) | 2017-05-25 | 2017-05-25 | 画像処理装置、画像処理装置の制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018198025A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150398A (zh) * | 2019-06-27 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 图像合成方法、装置及设备 |
JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Acw−Deep | 拡張仮想空間提供システム |
KR102343841B1 (ko) * | 2021-10-08 | 2021-12-27 | 감기백 | Ir 모션 트래킹 성능이 향상된 도장 시뮬레이션 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
JP2002271694A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム |
JP2008046687A (ja) * | 2006-08-10 | 2008-02-28 | Canon Inc | 撮影環境校正方法及び情報処理装置 |
JP2012178068A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
US20150078621A1 (en) * | 2013-09-13 | 2015-03-19 | Electronics And Telecommunications Research Institute | Apparatus and method for providing content experience service |
WO2015139002A1 (en) * | 2014-03-14 | 2015-09-17 | Sony Computer Entertainment Inc. | Gaming device with volumetric sensing |
-
2017
- 2017-05-25 JP JP2017103294A patent/JP2018198025A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
JP2002271694A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理方法、画像処理装置、スタジオ装置、記憶媒体及びプログラム |
JP2008046687A (ja) * | 2006-08-10 | 2008-02-28 | Canon Inc | 撮影環境校正方法及び情報処理装置 |
JP2012178068A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
US20150078621A1 (en) * | 2013-09-13 | 2015-03-19 | Electronics And Telecommunications Research Institute | Apparatus and method for providing content experience service |
WO2015139002A1 (en) * | 2014-03-14 | 2015-09-17 | Sony Computer Entertainment Inc. | Gaming device with volumetric sensing |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150398A (zh) * | 2019-06-27 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 图像合成方法、装置及设备 |
CN112150398B (zh) * | 2019-06-27 | 2024-03-22 | 杭州海康威视数字技术股份有限公司 | 图像合成方法、装置及设备 |
JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Acw−Deep | 拡張仮想空間提供システム |
KR102343841B1 (ko) * | 2021-10-08 | 2021-12-27 | 감기백 | Ir 모션 트래킹 성능이 향상된 도장 시뮬레이션 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5145444B2 (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP4869430B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
US7843470B2 (en) | System, image processing apparatus, and information processing method | |
CN105264478B (zh) | 全息锚定和动态定位 | |
CN108292489A (zh) | 信息处理装置和图像生成方法 | |
KR101822471B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
US10896322B2 (en) | Information processing device, information processing system, facial image output method, and program | |
US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
JP2007042073A (ja) | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 | |
JP2012174237A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法 | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP2018198025A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP2016071900A (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP6687751B2 (ja) | 画像表示システム、画像表示装置、その制御方法、及びプログラム | |
JPWO2017191702A1 (ja) | 画像処理装置 | |
CN114371779A (zh) | 一种视线深度引导的视觉增强方法 | |
US20230386147A1 (en) | Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements | |
JP2017046065A (ja) | 情報処理装置 | |
US9942540B2 (en) | Method and a device for creating images | |
CN106686367A (zh) | 一种虚拟现实显示器的显示模式切换方法及显示控制系统 | |
WO2018173207A1 (ja) | 情報処理装置 | |
JP2016001476A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法 | |
KR102287939B1 (ko) | 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법 | |
WO2019142283A1 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200507 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211015 |