JP2021056963A - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】事前に特別な撮影を行うことなく、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減できるようにする。【解決手段】現実空間映像にＣＧ映像を重畳した表示映像を生成する情報処理装置にて、現実空間を撮像して得られた現実空間映像を取得し、取得した前記現実空間の映像に映っているマーカーに基づいて、ＣＧ映像生成部が生成したＣＧ映像の補正量を算出してＣＧ映像を補正し、取得した現実空間映像に補正したＣＧ映像を重畳して表示映像を生成するようにして、事前に基準チャート等の撮影を行うことなく、ＣＧ映像を適切に補正することを可能にし、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減する。【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する技術の１つとして、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いるＭＲシステムが知られている。これは、ビデオカメラなどの撮像装置が撮像した現実空間映像上に、撮像装置の位置姿勢に応じて生成したコンピュータグラフィックス（ＣＧ）の映像を重畳表示し、それをＨＭＤのディスプレイなどの表示装置を通して観察するものである。

ビデオシースルー方式のＨＭＤを用いたＭＲシステムにおいて、現実空間映像とＣＧ映像をそのまま重畳表示すると、見た目に違和感のある映像となることが多い。これは、現実空間映像とＣＧ映像との間で、階調特性、ホワイトバランス、ノイズ、解像度などの画像特性が異なるためである。例えば、階調特性が異なる現実空間映像とＣＧ映像をそのまま重畳表示すると、明るさに違和感のある映像となってしまう。このような現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減する技術が提案されている（例えば、特許文献１、特許文献２参照）。

特開２０１４−２０３３２６号公報 特開２０１８−４９６１４号公報

現実空間映像とＣＧ映像との画像特性を近づけるには、ＣＧ映像を補正して、現実空間映像に画像特性を合わせる処理を行うのが一般的である。この処理を実現する１つの方法として、測色値が予め分かっている基準チャートを使用環境下にて撮影し、チャートの測色値に基づいて両者でマッチングするＣＧ映像の補正量を算出してＣＧ映像を補正する方法が考えられる。しかしながら、この方法は、ＭＲシステムにおいて現実空間映像とＣＧ映像を重畳表示する前に、使用環境下にて必ず基準チャートの撮影を行わなければならず、手間がかかる。また、現実空間映像とＣＧ映像の重畳表示中に周辺環境（明るさ、ホワイトバランス等）が変化した場合には、補正が適切に行われないことがある。

本発明は、このような事情に鑑みてなされたものであり、事前に特別な撮影を行うことなく、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減できるようにすることを目的とする。

本発明に係る情報処理装置は、現実空間の映像に仮想空間の映像を重畳した表示映像を生成する情報処理装置であって、前記仮想空間の映像を生成する第１の映像生成手段と、現実空間を撮像して得られた前記現実空間の映像を取得する映像取得手段と、取得した前記現実空間の映像に映っているマーカーに基づいて、前記第１の映像生成手段が生成した前記仮想空間の映像の補正量を算出して前記仮想空間の映像を補正する映像補正手段と、取得した前記現実空間の映像に補正した前記仮想空間の映像を重畳して、表示手段に表示させる前記表示映像を生成する第２の映像生成手段とを有することを特徴とする。

事前に基準チャート等の撮影を行うことなく、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減することができる。

第１の実施形態におけるＭＲシステムの構成例を示す図である。 ＭＲシステムにおいて用いるマーカーを説明する図である。 第１の実施形態におけるＣＧ映像補正部の構成例を示す図である。 第１の実施形態における情報処理装置のハードウェア構成例を示す図である。 第１の実施形態におけるＭＲシステムの動作例を示すフローチャートである。 第１の実施形態における補正効果を説明する図である。 第１の実施形態における補正効果を説明する図である。 第２の実施形態におけるＭＲシステムの動作例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における情報処理システムとしてのＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実感）システムの構成例を示すブロック図である。図１に示すＭＲシステムは、ビデオシースルー方式のヘッドマウントディスプレイ（ＨＭＤ）を用いたＭＲシステムである。図１に示すＭＲシステムは、ビデオカメラなどの撮像装置が撮像した現実空間映像上に、撮像装置の位置姿勢に応じて生成した仮想空間映像としてのコンピュータグラフィックス（ＣＧ）の映像を重畳表示した複合現実映像をＨＭＤにより表示しユーザに提示する。

前述したように、ビデオシースルー方式のＭＲシステムにおいて、現実空間映像とＣＧ映像をそのまま重畳表示すると、両映像間での、階調特性、ホワイトバランス、ノイズ、解像度などの画像特性の違いにより、見た目に違和感のある映像となることが多い。階調特性を例に説明する。現実空間映像は、広いダイナミックレンジを持つ現実空間を、撮像装置の狭いダイナミックレンジに収める必要があるため、例えば、日の当たる明るい白壁の前にある被写体などは暗く撮像される。一方、ＣＧ映像は、周辺環境によらず、ディスプレイ等の表示装置で最適になるように明るさが調整されるため、撮像装置による被写体と比べて明るくなる場合が多い。これら現実空間映像とＣＧ映像をそのまま重畳表示すると、明るさの異なる違和感のある画像となってしまう。

現実空間映像とＣＧ映像との画像特性を近づけることで、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減することが可能である。現実空間映像とＣＧ映像との画像特性を近づける方法として、前述したように、測色値が予め分かっている基準チャートを使用環境下にて撮影し、チャートの測色値に基づいてＣＧ映像の補正量を算出してＣＧ映像を補正する方法が考えられる。この方法は、ＭＲシステムにおいて現実空間映像とＣＧ映像を重畳表示する前に、使用環境下にて必ず基準チャートの撮影を行わなければならず、手間がかかる。また、周辺環境が変化し使用環境が異なってしまうと、映像の補正が適切に行えなくなってしまう。

ここで、ビデオシースルー方式のＨＭＤにて、例えば特開２００７−１７２５９６号公報に記載のように、撮像装置の位置姿勢を推定する方法として、白い背景に黒字でコードが記述されているマーカー（２次元コード）を用いる方法が提案されている。この方法では、位置姿勢を推定するため、現実空間映像にマーカーが映り込んでいる必要がある。

本実施形態では、撮像装置の位置姿勢を推定する際に用いるマーカーが有する白色の背景部分を、基準チャートの代わりに用いて仮想空間の映像であるＣＧ映像の補正量を算出してＣＧ映像の補正を行う。これにより、事前に基準チャート等の撮影を行うことなく、ＣＧ映像を適切に補正することができ、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減することが可能となる。また、使用環境が変化した場合でも、変化後におけるＣＧ映像の適切な補正量を算出することができ、精度良く補正を行うことが可能となる。

図１に示すように、本実施形態におけるＭＲシステムは、情報処理装置１００及びＨＭＤ１１０を有する。なお、本実施形態におけるＭＲシステムは、ＨＭＤ１１０とは異なる画像表示装置１２０を備えるようにしてもよい。また、図１に示す構成は一例であり、例えば、ＨＭＤ１１０の中に情報処理装置１００の機能の一部もしくはすべてが含まれる構成であってもよい。

ＨＭＤ１１０は、ビデオシースルー方式のＨＭＤであり、撮像部１１１及び表示部１１２を有する。撮像部１１１は、現実空間を撮像して現実空間映像を取得し、それを情報処理装置１００に送信する。撮像部１１１から情報処理装置１００への現実空間映像の送信は、有線通信により行ってもよいし、無線通信により行ってもよい。表示部１１２は、映像を表示するディスプレイ等であり、例えば情報処理装置１００から受信する表示映像を表示する。

情報処理装置１００は、撮像映像取得部１０１、マーカー検出部１０２、位置姿勢推定部１０３、ＣＧデータ保持部１０４、ＣＧ映像生成部１０５、ＣＧ映像補正部１０６、及び表示映像生成部１０７を有する。

撮像映像取得部１０１は、ＨＭＤ１１０の撮像部１１１により撮像された現実空間映像を取得し、取得した現実空間映像をマーカー検出部１０２及び表示映像生成部１０７に送信する。マーカー検出部１０２は、取得した現実空間映像から、撮像装置としてのＨＭＤ１１０の位置姿勢の推定に用いられるマーカー（２次元コード）が映り込んだ箇所を特定する。マーカーとは、図２の２０１に示すように、白い背景２０２に黒字でコードが記述されているものである。マーカー検出部１０２は、検出したマーカー２０１の位置や向き等を示す情報（以下、「マーカー箇所情報」とも称する）を、現実空間映像と共に位置姿勢推定部１０３及びＣＧ映像補正部１０６に送信する。

位置姿勢推定部１０３は、マーカー検出部１０２で検出したマーカー箇所情報と現実空間映像から、ＨＭＤ１１０の位置姿勢を求める。位置姿勢を推定する方法に関しては、種々の研究報告が行われており、どの方法を用いてもよい。例えば、「佐藤，内山，田村，“複合現実感における位置合わせ手法”，日本ＶＲ学会論文誌，ＶＯＬ．８，ＮＯ．２，ＰＰ．１７１−１８０，２００３」に記載された位置姿勢の推定方法などでＨＭＤ１１０の位置姿勢を推定すればよい。また、位置姿勢情報の精度を上げるため、磁気式センサーや光学式センサーなどを併用するようにしてもよい。位置姿勢推定部１０３は、求めた位置姿勢情報をＣＧ映像生成部１０５に送信する。

ＣＧ映像生成部１０５は、ＣＧデータ保持部１０４からＣＧデータを取得して、移動や回転や拡大縮小などの処理を行い、現実空間映像に重畳する、ＨＭＤ１１０から見たとした時の仮想空間の映像であるＣＧ映像を生成する。なお、ＣＧ映像生成部１０５は、ＣＧ映像の生成処理において、位置姿勢推定部１０３から取得した位置姿勢情報に加え、あらかじめ保存してある撮像部の主点位置、焦点距離情報などを用いる。ＣＧ映像生成部１０５は、生成したＣＧ映像をＣＧ映像補正部１０６に送信する。

ＣＧ映像補正部１０６は、マーカー検出部１０２から取得するマーカー箇所情報と現実空間映像からＣＧ映像の補正値を算出して、ＣＧ映像生成部１０５から取得するＣＧ映像に対して補正を行う。ＣＧ映像補正部１０６は、ＨＭＤ１１０の位置姿勢の推定に用いられる、現実空間映像に映り込んでいるマーカー２０１の白い背景２０２の画素値に基づいて、ＣＧ映像の補正量を算出してＣＧ映像を補正する。本実施形態におけるＭＲシステムは、このＣＧ映像補正部１０６によりＣＧ映像を現実空間映像に合わせるように補正することで、現実空間映像と仮想空間映像としてのＣＧ映像を重畳表示する際の違和感を軽減する。ＣＧ映像補正部１０６は、補正したＣＧ映像を表示映像生成部１０７に送信する。

表示映像生成部１０７は、撮像映像取得部１０１から取得した現実空間映像に、ＣＧ映像補正部１０６から取得した補正されたＣＧ映像を重畳し、現実空間映像とＣＧ映像とからなる複合現実映像を表示映像として生成する。表示映像生成部１０７は、生成した複合現実映像を、ＨＭＤ１１０の表示部１１２に送信する。また、表示映像生成部１０７は、生成した複合現実映像をＨＭＤ１１０に送信すると同時に、外部の画像表示装置１２０に送信することもでき、複合現実映像を多人数で共有することもできる。

図３は、ＣＧ映像補正部１０６の構成例を示すブロック図である。ＣＧ映像補正部１０６は、輝度色度算出部３０１、補正量算出部３０２、及び補正処理部３０３を有する。

輝度色度算出部３０１は、マーカー検出部１０２から取得するマーカー箇所情報と現実空間映像から、現実空間映像に映っているマーカーが有する白色の背景部分の輝度と色度の値を算出する。本実施形態では、輝度色度算出部３０１は、例えばマーカーの白い背景部分のＲＧＢ値の平均値を算出する。ここで、マーカーの白い背景部分とは、例えば図２に示したマーカー２０１において２０２が示す箇所である。マーカー検出部１０２によりマーカーが複数検出された場合、輝度色度算出部３０１は、例えば複数のマーカーのＲＧＢ値の平均値を計算する。なお、検出された一部のマーカーにおいて、いわゆる白飛び（明るすぎてＲＧＢ値が最大値で張り付いている状態）等の不具合が発生している場合、そのマーカーは不良として除外し計算すればよい。輝度色度算出部３０１は、算出したＲＧＢ値を補正量算出部３０２に送信する。

補正量算出部３０２は、輝度色度算出部３０１で算出したマーカー２０１の白い背景部分２０２の平均ＲＧＢ値（これを「ＲＧＢ１」とする）から、ＣＧ映像の補正量を算出する。なお、補正量の算出には、マーカー２０１の白い背景部分２０２を測色器で測定したＸＹＺ値（これを「ＸＹＺ２」とする）も併せて用いる必要があるため、予め測定しておく。

以下の説明では、補正量算出部３０２が、輝度色度算出部３０１で算出した輝度と色度の値に基づいて、現実空間映像と仮想空間映像としてのＣＧ映像の階調特性（白輝度）の補正値を算出する方法を例に説明する。しかし、本実施形態は、それに限定されるものではなく、ホワイトバランス、ノイズ、解像度などについても、ＣＣ映像の補正値を算出してＣＧ映像を補正することができる。例えば、前述した特許文献１や特許文献２に記載の方法を適用することで、ノイズや解像度についてＣＣ映像の補正値を算出してＣＧ映像を補正することが可能である。

まず、補正量算出部３０２は、ｓＲＧＢの計算式を用いて、ＸＹＺ２をＲＧＢ値に変換する（これを「ＲＧＢ２」とする）。なお、ＸＹＺ値をＲＧＢ値に変換するには、以下に示すｓＲＧＢの計算式を用いる。

白輝度の補正量を算出するにあたり、ＲＧＢの３成分のうち、輝度成分であるＧ値が用いられる。補正量算出部３０２は、ＲＧＢ１のＧ値（Ｇ１）とＲＧＢ２のＧ値（Ｇ２）から、以下の計算式を用いて補正量を算出する。
補正量＝（Ｇ１／Ｇ２）
なお、前述した説明では、輝度色度としてＲＧＢ値を用い、輝度成分としてＧ値を用いているが、それに限定されず、ＸＹＺ値（輝度成分としてＹ値）、Ｌ＊ａ＊ｂ＊値（輝度成分としてＬ＊値）などを用いてもよい。補正量算出部３０２は、算出したＣＧ映像の補正量を補正処理部３０３に送信する。

補正処理部３０３は、補正量算出部３０２で算出したＣＧ映像の補正量を用いて、ＣＧ映像生成部１０５で生成されたＣＧ映像を補正する。補正処理部３０３は、例えば、ＣＧ映像の各ＲＧＢ値に、算出された補正量を乗算することにより、ＣＧ映像を補正する。補正処理部３０３により補正されたＣＧ映像は、表示映像生成部１０７に送信される。

図４は、図１に示した情報処理装置１００のハードウェア構成例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、情報処理装置１００全体の制御を行うと共に、情報処理装置が行う各処理を実行する。ＣＰＵ４０１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０３に格納されているプログラムやデータを用いて、各種の制御や処理を実行する。

ＲＡＭ４０２は、外部記憶装置４０７や記憶媒体ドライブ４０８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ４０２は、Ｉ／Ｆ（インターフェース）４０９を介して外部に送信するデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ４０２は、ＣＰＵ４０１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ４０２は、各種エリアを適宜提供することができる。

ＲＯＭ４０３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード４０４、マウス４０５は、操作入力装置の一例としてのものであり、コンピュータの観察者が操作することで、各種の指示をＣＰＵ４０１に対して入力することができる。表示部４０６は、液晶パネルや有機ＥＬパネルなどにより構成されており、ＣＰＵ４０１による処理結果を画像や文字などで表示することができる。

外部記憶装置４０７は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される大容量情報記憶装置である。外部記憶装置４０７には、ＯＳ（オペレーティングシステム）や、情報処理装置が行う各処理をＣＰＵ４０１に実行させるためのプログラムやデータが格納されている。係るプログラムには、撮像映像取得部１０１、マーカー検出部１０２、位置姿勢推定部１０３、ＣＧ映像生成部１０５、ＣＧ映像補正部１０６、及び表示映像生成部１０７のそれぞれに対応するプログラムが含まれている。また、係るデータには、ＭＲシステムの使用環境情報のデータや、前述した機能を実現するためのその他の情報等が含まれている。外部記憶装置４０７に保存されているプログラムやデータは、ＣＰＵ４０１による制御に従って適宜ＲＡＭ４０２にロードされる。ＣＰＵ４０１は、このロードされたプログラムやデータを用いて処理を実行することで、情報処理装置が行う各処理を実行することになる。なお、外部記憶装置４０７は、図１に示したＣＧ映像保持部１０４として用いてもよい。

記憶媒体ドライブ４０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置４０７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ４０８が記憶媒体から読み出したプログラムやデータは、外部記憶装置４０７やＲＡＭ４０２に対して出力される。

Ｉ／Ｆ４０９は、ＵＳＢ等のデジタル入出力ポート、また、画像を表示装置４０６に対して出力するためのイーサネット（登録商標）ポートなどによって構成される。Ｉ／Ｆ４０９を介して受信したデータは、ＲＡＭ４０２や外部記憶装置４０７に入力される。４１０は、上述の各部を繋ぐバスである。

図５は、第１の実施形態におけるＭＲシステムの動作例を示すフローチャートである。
ステップＳ５０１では、ＨＭＤ１１０の撮像部１１１が現実空間映像を撮像し、情報処理装置１００の撮像映像取得部１０１が、撮像部１１１により撮像された現実空間映像を取得する。取得された現実空間映像は、マーカー検出部１０２及び表示映像生成部１０７に送信される。

ステップＳ５０２では、マーカー検出部１０２が、ステップＳ５０１において取得した現実空間映像から、白い背景２０２に黒字でコードが記述されているマーカー（２次元コード）２０１が映り込んだ箇所を特定する。検出したマーカーについてのマーカー箇所情報は、現実空間映像と共に位置姿勢推定部１０３及びＣＧ映像補正部１０６に送信される。送信されたマーカー箇所情報及び現実空間映像に基づいて、位置姿勢推定部１０３及びＣＧ映像生成部１０５により現実空間映像に重畳する仮想空間映像としてのＣＧ映像が生成される。

ステップＳ５０３では、ＣＧ映像補正部１０６が、輝度色度算出部３０１により、ステップＳ５０２において取得したマーカー箇所情報と、ステップＳ５０１において取得した現実空間映像から、マーカーの白い背景部分の輝度色度の値を算出する。
ステップＳ５０４では、ＣＧ映像補正部１０６が、補正量算出部３０２により、ステップＳ５０３において算出した、マーカーの白い背景部分の輝度色度と、予め取得しておいたマーカーの白い背景部分の測色値から、ＣＧ映像の補正量を算出する。
ステップＳ５０５では、ＣＧ映像補正部１０６が、補正処理部３０３により、ステップＳ５０４において算出したＣＧ映像の補正量を用いて、ＣＧ映像生成部１０５により生成されたＣＧ映像を補正する。ＣＧ映像補正部１０６によって補正されたＣＧ映像は、表示映像生成部１０７に送信される。

ステップＳ５０６では、表示映像生成部１０７が、ステップＳ５０１において取得した現実空間映像に、ステップＳ５０５において補正されたＣＧ映像を重畳し、表示映像としての複合現実映像を生成する。表示映像として生成された複合現実映像は、ＨＭＤ１１０等に送信される。

ステップＳ５０７では、ＨＭＤ１１０の表示部１１２、もしくは画像表示装置１２０が、ステップＳ５０７において生成された複合現実映像を表示する。これにより、現実空間映像と、その現実空間映像の画像特性に近づくように補正されたＣＧ映像とを重畳して得られる複合現実映像が、表示部１１２もしくは画像表示装置１２０により表示される。

図６（ａ）及び図６（ｂ）を参照して、本実施形態におけるＣＧ映像の補正効果について説明する。図６（ａ）は、ＣＧ映像について補正を行わなかったとしたときの複合現実映像を示しており、図６（ｂ）は、本実施形態におけるＣＧ映像の補正を適用したときの複合現実映像を示している。図６（ａ）及び図６（ｂ）において、６０１はマーカーであり、６０２は現実空間映像における被写体であり、６０３がＣＧ映像における被写体である。図６（ａ）に示した例では、現実空間映像の一部である被写体６０２の明るさと、ＣＧ映像である被写体６０３の明るさとが異なり、違和感のある映像となってしまっている。それに対して、ＣＧ映像に補正処理を施した図６（ｂ）に示した例では、被写体６０２の明るさと被写体６０３の明るさとが揃い、違和感が軽減されている。

図７（ａ）及び図７（ｂ）は、本実施形態におけるＣＧ映像の補正効果を定量的に説明する図である。図７（ａ）及び図７（ｂ）は、共に無彩色パッチ（６色）の測定値をプロットしたものであり、横軸は入力Ｇ値を示しており、縦軸は出力Ｇ値を示している。図７（ａ）は、ＣＧ映像について補正を行わなかったとしたときの例を示しており、図７（ｂ）は、本実施形態におけるＣＧ映像の補正を適用したときの例を示している。図７（ａ）に示した例では、ＣＧ映像データ７０１は、入力Ｇ値がそのまま出力されているのに対し、現実空間映像データ７０２は、入力Ｇ値に対して出力Ｇ値が暗くなっている。それに対して、図７（ｂ）に示した例では、ＣＧ映像データに補正量を乗算することで、補正後のＣＧ映像データ７０３として示すように、現実空間映像データ７０２に近い明るさにＣＧ映像が補正されたことが確認できる。

第１の実施形態によれば、事前に基準チャート等の撮影を行うことなく、撮像された現実空間映像に映っている、位置姿勢の推定に用いられるマーカーを用いてＣＧ映像の補正量を算出してＣＧ映像を適切に補正することができる。したがって、ＣＧ映像を適切に補正して現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減することができる。また、使用環境が変化した場合でも、撮像された現実空間映像から変化後におけるＣＧ映像の適切な補正量を算出することができ、精度良く補正を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態では、ＨＭＤ１１０の位置姿勢の推定にマーカーを用いる構成について説明した。第２の実施形態では、マーカーを用いずに、現実空間映像の特徴点を検出し、それらを用いてＨＭＤ１１０の位置姿勢の推定を実現する空間特徴位置合わせ技術を用いる構成について説明する。なお、空間特徴位置合わせ技術に関しては、種々の研究報告が行われており、どの方法を用いてもよいが、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）という手法が挙げられる。ＳＬＡＭの基本的な原理は、例えば、Andrew J.Davison，"Real-Time Simultaneous Localization and Mapping with a Single Camera"，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410に説明されている。

空間特徴位置合わせ技術を用いる場合でも、複合現実映像を生成する際には、現実空間映像と仮想空間画像としてのＣＧ映像の原点座標を合わせる作業が必要である。一般的に、この作業は、現実空間にマーカーを設置し、そのマーカーの位置を原点座標として利用することで自動化できる。本実施形態では、この原点座標マーカーを利用して、ＣＧ映像の補正量を求めてＣＧ映像の補正を行う。前述した第１の実施形態では、現実空間映像に常にマーカーが映り込んでいるが、第２の実施形態では、現実空間映像に常にマーカーが映り込むとは限らないため、マーカーが検出されたか否かを確認して処理を行う。

第２の実施形態におけるＭＲシステムについて、ＭＲシステムや情報処理の構成は、第１の実施形態と同様であるので、その説明は省略する。以下では、第２の実施形態におけるＭＲシステムの動作について説明する。図８は、第２の実施形態におけるＭＲシステムの動作例を示すフローチャートである。

ステップＳ８０１では、ＨＭＤ１１０の撮像部１１１が現実空間映像を撮像し、情報処理装置１００の撮像映像取得部１０１が、撮像部１１１により撮像された現実空間映像を取得する。取得された現実空間映像は、マーカー検出部１０２及び表示映像生成部１０７に送信される。

ステップＳ８０２では、マーカー検出部１０２が、ステップＳ５０１において取得した現実空間映像から、原点座標マーカーとしてのマーカー（２次元コード）が映り込んだ箇所を特定する。マーカーについてのマーカー箇所情報は、現実空間映像と共に位置姿勢推定部１０３及びＣＧ映像補正部１０６に送信される。送信されたマーカー箇所情報及び現実空間映像に基づいて、位置姿勢推定部１０３及びＣＧ映像生成部１０５により現実空間映像に重畳する仮想空間映像としてのＣＧ映像が生成される。

ステップＳ８０３では、ＣＧ映像補正部１０６が、ステップＳ８０２においてマーカーが検出されたか否かを判定する。マーカーが検出されたとＣＧ映像補正部１０６が判定した場合（ＹＥＳ）にはステップＳ８０４へ進み、マーカーが検出されていないとＣＧ映像補正部１０６が判定した場合（ＮＯ）にはＣＧ映像の補正を行わずにステップＳ８０７へ進む。

ステップＳ８０４では、ＣＧ映像補正部１０６が、輝度色度算出部３０１により、ステップＳ８０２において取得したマーカー箇所情報と、ステップＳ８０１において取得した現実空間映像から、マーカーの白い背景部分の輝度色度の値を算出する。
ステップＳ８０５では、ＣＧ映像補正部１０６が、補正量算出部３０２により、ステップＳ８０４において算出した、マーカーの白い背景部分の輝度色度と、予め取得しておいたマーカーの白い背景部分の測色値から、ＣＧ映像の補正量を算出する。
ステップＳ８０６では、ＣＧ映像補正部１０６が、補正処理部３０３により、ステップＳ８０５において算出したＣＧ映像の補正量を用いて、ＣＧ映像生成部１０５により生成されたＣＧ映像を補正する。ＣＧ映像補正部１０６によって補正されたＣＧ映像は、表示映像生成部１０７に送信される。

ステップＳ８０７では、表示映像生成部１０７が、ステップＳ８０１において取得した現実空間映像に、ステップＳ８０６において補正されたＣＧ映像を重畳し、表示映像としての複合現実映像を生成する。なお、マーカーが検出されていないとステップＳ８０３においてＣＧ映像補正部１０６により判定されている場合には、表示映像生成部１０７は、補正処理されていないＣＧ映像を現実空間映像に重畳し、表示映像としての複合現実映像を生成する。表示映像として生成された複合現実映像は、ＨＭＤ１１０等に送信される。

ステップＳ８０８では、ＨＭＤ１１０の表示部１１２、もしくは画像表示装置１２０が、ステップＳ８０７において生成された複合現実映像を表示する。これにより、現実空間映像とＣＧ映像とを重畳して得られる複合現実映像が、表示部１１２もしくは画像表示装置１２０により表示される。

第２の実施形態によれば、第１の実施形態と同様に、現実空間映像とＣＧ映像を重畳表示する際の違和感を軽減することができ、また、使用環境が変化した場合でも、特別な撮影なしで変化後における適切な補正量を算出し精度良く補正を行うことが可能となる。

（本発明の他の実施形態）
なお、前述した各処理部のうち、位置姿勢推定部１０３等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、前記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置 １０１：撮像映像取得部 １０２：マーカー検出部 １０３：位置姿勢推定部 １０４：ＣＧデータ保持部 １０５：ＣＧ映像生成部 １０６：ＣＧ映像補正部 １０７：表示映像生成部 １１０：ＨＭＤ １１１：撮像部 １１２：表示部 ３０１：輝度色度算出部 ３０２：補正量算出部 ３０３：補正処理部

Claims (14)

1. 現実空間の映像に仮想空間の映像を重畳した表示映像を生成する情報処理装置であって、
   前記仮想空間の映像を生成する第１の映像生成手段と、
   現実空間を撮像して得られた前記現実空間の映像を取得する映像取得手段と、
   取得した前記現実空間の映像に映っているマーカーに基づいて、前記第１の映像生成手段が生成した前記仮想空間の映像の補正量を算出して前記仮想空間の映像を補正する映像補正手段と、
   取得した前記現実空間の映像に補正した前記仮想空間の映像を重畳して、表示手段に表示させる前記表示映像を生成する第２の映像生成手段とを有することを特徴とする情報処理装置。
2. 前記映像補正手段は、
   取得した前記現実空間の映像に映っているマーカーの輝度と色度を算出する輝度色度算出手段と、
   算出した前記マーカーの輝度と色度から前記仮想空間の映像の補正量を算出する補正量算出手段と、
   算出した前記仮想空間の映像の補正量を用いて前記仮想空間の映像を補正する補正処理手段とを有することを特徴とする請求項１記載の情報処理装置。
3. 取得した前記現実空間の映像から前記マーカーを検出する検出手段を有し、
   前記映像補正手段は、前記検出手段により検出された前記マーカーの情報に基づいて前記仮想空間の映像の補正量を算出することを特徴とする請求項１又は２記載の情報処理装置。
4. 前記マーカーは白色の背景部を有し、
   前記映像補正手段は、前記マーカーの背景部の画素値に基づいて前記仮想空間の映像の補正量を算出することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
5. 前記映像補正手段は、階調特性の補正量を算出し、前記仮想空間の映像における前記階調特性の補正処理を行うことを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 前記映像補正手段は、ノイズの補正量を算出し、前記仮想空間の映像におけるノイズの補正を行うことを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
7. 前記映像補正手段は、解像度の補正量を算出し、前記仮想空間の映像における解像度の補正を行うことを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 前記マーカーは、現実空間を撮像する撮像装置の位置姿勢の推定に用いられるマーカーであることを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
9. 前記マーカーは、前記現実空間の映像と前記仮想空間の画像との位置合わせに用いられるマーカーであることを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
10. 前記映像補正手段は、取得した前記現実空間の映像に映っているマーカーに不良のマーカーが含まれている場合、前記不良のマーカーを除いた前記マーカーに基づいて前記仮想空間の映像の補正量を算出することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
11. 前記映像補正手段は、取得した前記現実空間の映像に前記マーカーが映っていない場合、前記仮想空間の映像の補正を行わないことを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
12. 現実空間の映像に仮想空間の映像を重畳した表示映像を表示する情報処理システムであって、
    現実空間を撮像する撮像手段と、
    前記仮想空間の映像を生成する第１の映像生成手段と、
    前記撮像手段により撮像して得られた前記現実空間の映像を取得する映像取得手段と、
    取得した前記現実空間の映像に映っているマーカーに基づいて、前記第１の映像生成手段が生成した前記仮想空間の映像の補正量を算出して前記仮想空間の映像を補正する映像補正手段と、
    取得した前記現実空間の映像に補正した前記仮想空間の映像を重畳して前記表示映像を生成する第２の映像生成手段と、
    前記第２の映像生成手段が生成した前記表示映像を表示する表示手段とを有することを特徴とする情報処理システム。
13. 現実空間の映像に仮想空間の映像を重畳した表示映像を生成する情報処理方法であって、
    前記仮想空間の映像を生成する第１の映像生成工程と、
    現実空間を撮像して得られた前記現実空間の映像を取得する映像取得工程と、
    取得した前記現実空間の映像に映っているマーカーに基づいて、前記第１の映像生成工程で生成した前記仮想空間の映像の補正量を算出して前記仮想空間の映像を補正する映像補正工程と、
    取得した前記現実空間の映像に補正した前記仮想空間の映像を重畳して、表示手段に表示させる前記表示映像を生成する第２の映像生成工程とを有することを特徴とする情報処理方法。
14. 現実空間の映像に仮想空間の映像を重畳した表示映像を生成する情報処理装置のコンピュータに、
    前記仮想空間の映像を生成する第１の映像生成ステップと、
    現実空間を撮像して得られた前記現実空間の映像を取得する映像取得ステップと、
    取得した前記現実空間の映像に映っているマーカーに基づいて、前記第１の映像生成ステップにて生成した前記仮想空間の映像の補正量を算出して前記仮想空間の映像を補正する映像補正ステップと、
    取得した前記現実空間の映像に補正した前記仮想空間の映像を重畳して、表示手段に表示させる前記表示映像を生成する第２の映像生成ステップとを実行させるためのプログラム。

Images