JP2020106589A

JP2020106589A - 映像表示システム、映像表示装置、及び映像表示方法

Info

Publication number: JP2020106589A
Application number: JP2018242504A
Authority: JP
Inventors: 秀太湯舟; Shuta Yubune
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2020-07-09
Anticipated expiration: 2038-12-26
Also published as: CN113228617B; WO2020137487A1; EP3886426A4; US20210239973A1; EP3886426A1; CN113228617A; EP3886426B1; JP7137743B2

Abstract

【課題】カメラでマーカを撮影した映像により、基準位置に対する映像表示装置の姿勢の変化量を算出することができ、かつ、使用者がマーカを気にすることなく、表示部に表示されている映像と現実の映像とを混合して見ることができる映像表示システムを提供する。【解決手段】映像表示システム１はマーカ３と第１の偏光フィルタ４と映像表示装置２と変化量算出部２５とを備える。映像表示装置２はカメラ２３と表示部２２と第２の偏光フィルタ２４とを有する。第１の偏光フィルタ４はマーカ３に対応して配置されている。カメラ２３はマーカ３を撮影する。第２の偏光フィルタ２４は表示部２２に対応して配置され、第１の偏光フィルタ４とは相反する偏光特性を有する。変化量算出部２５はカメラ２３が第１の姿勢にて取得した第１の画像ＭＲＦと第２の姿勢にて取得した第２の画像ＭＣＰとの変化量を算出し、変化量に基づいて映像表示装置２の姿勢の変化量を算出する。【選択図】図２

Description

本発明は、ヘッドマウントディスプレイ等の映像表示システム、映像表示装置、及び映像表示方法に関する。

ＭＲ（Mixed Reality）等を実現する方法の一つとして、透過型のヘッドマウントディスプレイを利用するものがある。以下、ヘッドマウントディスプレイをＨＭＤとする。ＨＭＤは、使用者の頭部に装着された表示部に映像を表示することにより、仮想空間に入り込んだような感覚（没入感）を得ることができる映像表示装置である。没入感を向上させるために、ＨＭＤの位置姿勢に応じた映像を表示部に表示される。

ＨＭＤに備えたカメラによりマーカを撮影し、マーカとＨＭＤの相対的な位置関係、及び、ＨＭＤがマーカを撮影している方向に関する情報を算出する。表示部は姿勢変化の情報に基づいて、表示される映像を姿勢に対応させて変化させることにより、没入感を向上させることができる。特許文献１には、ＨＭＤの一例が記載されている。

特開２０１７−１０１２０号公報

ＭＲ（Mixed Reality）等に用いられる透過型のＨＭＤでは、使用者は表示部に表示されている映像（例えばＣＧ（Computer Graphics））と現実の映像とを混合して見るため、現実の映像に含まれるマーカが見えてしまい、視界の邪魔になる。

本発明は、カメラでマーカを撮影した映像により、基準位置に対する映像表示装置の姿勢の変化量を算出することができ、かつ、使用者がマーカを気にすることなく、表示部に表示されている映像と現実の映像とを混合して見ることができる映像表示システム、映像表示装置、及び映像表示方法を提供することを目的とする。

本発明は、基準パターンを有するマーカと、前記マーカに対応して配置され、第１の偏光特性を有する第１の偏光フィルタと、前記第１の偏光フィルタを介して前記マーカを撮影するカメラ、光透過性を有する表示部、及び、前記表示部に対応して配置され、前記第１の偏光特性とは相反する第２の偏光特性を有する第２の偏光フィルタを有する映像表示装置と、前記カメラが第１の姿勢において前記基準パターンを撮影することにより取得した第１の画像と、前記カメラが第２の姿勢において前記基準パターンを撮影することにより取得した第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する変化量算出部とを備える映像表示システムを提供する。

本発明は、映像表示装置であって、基準パターンを有するマーカを、前記マーカに対応して配置され、かつ、第１の偏光特性を有する第１の偏光フィルタを介して撮影するカメラと、光透過性を有する表示部と、前記表示部に対応して配置され、前記第１の偏光特性とは相反する第２の偏光特性を有する第２の偏光フィルタと、前記カメラが第１の姿勢において前記基準パターンを撮影することにより取得した第１の画像と、前記カメラが第２の姿勢において前記基準パターンを撮影することにより取得した第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する変化量算出部とを備える映像表示装置を提供する。

本発明は、映像表示装置のカメラが、第１の姿勢において、基準パターンを有するマーカを、前記マーカに対応して配置され、かつ、第１の偏光特性を有する第１の偏光フィルタを介して撮影することにより第１の画像を取得し、前記カメラが、第２の姿勢において、前記マーカを前記第１の偏光フィルタを介して撮影することにより第２の画像を取得し、変化量算出部が、前記第１の画像と前記第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する映像表示方法を提供する。

本発明の映像表示システム、映像表示装置、及び映像表示方法によれば、カメラでマーカを撮影した映像により、基準位置に対する映像表示装置の姿勢の変化量を算出することができ、かつ、使用者がマーカを気にすることなく、表示部に表示されている映像と現実の映像とを混合して見ることができる。

第１及び第２実施形態の映像表示装置の一例を示す外観図である。第１実施形態の映像表示システムの一例を示すブロック図である。第１及び第２実施形態の映像表示システムの一例を示す図である。第１及び第２実施形態の映像表示システムの一例を示す図である。マーカの一例を示す図である。第１及び第２実施形態の映像表示方法の一例を示すフローチャートである。マーカ基準画像の一例を示す図である。マーカ撮影画像の一例を示す図である。マーカ基準画像とマーカ撮影画像との関係の一例を示す図である。トラッキング量を説明するための図である。ルックアップテーブルの一例を示す図である。ルックアップテーブルの一例を示す図である。第２実施形態の映像表示システムの一例を示すブロック図である。マーカの一例を示す図である。マーカの一例を示す図である。

［第１実施形態］
図１は、第１実施形態の映像表示装置の一例を示している。図２、図３Ａ、及び図３Ｂは、第１実施形態の映像表示システムの一例を示している。図２に示すように、第１実施形態の映像表示システム１は、映像表示装置２と、マーカ３と、偏光フィルタ４（第１の偏光フィルタ）とを備える。マーカ３は基準パターン３１を有する。マーカ３として、基準パターン３１が印刷された紙または板を用いてもよく、基準パターン３１が表示された液晶パネル等の表示パネルを用いてもよい。

偏光フィルタ４は、マーカ３に対応して配置され、かつ、マーカ３に接触して、またはマーカ３の近傍に配置されている。図２、図３Ａ、及び図３Ｂでは、マーカ３と偏光フィルタ４とをわかりやすくするために、マーカ３と偏光フィルタ４とが離隔した状態として示している。偏光フィルタ４は第１の偏光特性を有する。

図１に示すように、第１実施形態の映像表示装置２は、ＭＲ等の透過型のＨＭＤである。図１または図２に示すように、映像表示装置２は、本体部２１と、表示部２２と、カメラ２３と、偏光フィルタ２４（第２の偏光フィルタ）と、変化量算出部２５と、記録部２６とを有する。偏光フィルタ２４は第２の偏光特性を有する。

変化量算出部２５は本体部２１に内蔵されている。変化量算出部２５として、ＣＰＵ（Central Processing Unit）を用いてもよい。記録部２６として内蔵メモリまたは外付けメモリを用いてもよい。映像表示装置２は、表示部２２、カメラ２３、変化量算出部２５、及び記録部２６を制御する制御部を有していてもよい。制御部は本体部２１に内蔵されている。制御部としてＣＰＵを用いてもよい。

表示部２２は、光透過性を有し、本体部２１に固定されている。表示部２２は、外部から入力される映像データに基づいて映像を表示する。これにより、使用者ＵＲは、映像表示装置２を装着したときに、表示部２２に表示されている映像（例えばＣＧ）を、現実の映像と混合して見ることができる。

表示部２２は右目用表示部と左目用表示部とを有していてもよい。表示部２２は、外部から入力される映像データに基づいて、右目用映像を右目用表示部に表示し、左目用映像を左目用表示部に表示する。これにより、使用者ＵＲは、映像表示装置２を装着したときに、右目用映像と左目用映像との合成映像を、現実の映像と混合して立体的に見ることができる。

カメラ２３は、本体部２１に固定されており、映像表示装置２が使用者ＵＲの頭部に装着されている状態において、使用者ＵＲの前方及びその周辺の領域を撮影する。偏光フィルタ２４は、本体部２１のカメラ２３を除く領域に、表示部２２に対応して形成されている。具体的には、映像表示装置２が使用者ＵＲの頭部に装着されている状態において、偏光フィルタ２４は、表示部２２において使用者ＵＲとは反対側に形成されている。従って、使用者ＵＲは、現実の映像を偏光フィルタ２４と表示部２２とを介して見ることになる。

偏光フィルタ４と偏光フィルタ２４とは、互いに相反する偏光特性を有する。即ち、第１の偏光特性と第２の偏光特性とは互いに相反する関係を有する。偏光フィルタ４と偏光フィルタ２４とは、例えば偏光子と検光子との関係を有する。従って、偏光フィルタ４と偏光フィルタ２４とを組み合わせることにより、偏光フィルタ４及び２４は、遮光フィルタとして機能する。偏光フィルタ４及び２４は、直線偏光特性を有していてもよいし、円偏光特性を有していてもよい。

偏光フィルタ４及び２４が直線偏光特性を有している場合、偏光フィルタ４と偏光フィルタ２４とは偏光方向が互いに直交する偏光特性を有する。具体的には、偏光フィルタ４はｓ偏光及びｐ偏光のうちのいずれか一方（例えばｓ偏光）の偏光特性を有し、偏光フィルタ２４は他方（例えばｐ偏光）の偏光特性を有する。

偏光フィルタ４及び２４が円偏光特性を有している場合、偏光フィルタ４と偏光フィルタ２４とは偏光方向が互いに逆向きの偏光特性を有する。具体的には、偏光フィルタ４は右回り円偏光及び左回り円偏光のうちのいずれか一方（例えば右回り円偏光）の偏光特性を有し、偏光フィルタ２４は他方（例えば左回り円偏光）の偏光特性を有する。図１、図２、図３Ａ、及び図３Ｂは、偏光フィルタ４及び２４が直線偏光特性を有している状態を模式的に示している。

図３Ａに示すように、偏光フィルタ４はマーカ３に対応して配置されている。マーカ３と表示部２２とが対向している状態において、偏光フィルタ４及び２４は、マーカ３と表示部２２との間に配置されることになる。マーカ３全体を偏光フィルタ４で覆ってもよいし、マーカ３が有する基準パターン３１それぞれを偏光フィルタ４で覆ってもよい。マーカ３または基準パターン３１とフィルタ４は接していてもよいし、離れていてもよい。同様に、表示部２２が偏光フィルタ２４に覆われていれば、表示部２２と偏光フィルタ２４も接していてもよいし、離れていてもよい。

従って、映像表示装置２が使用者ＵＲの頭部に装着されている状態では、使用者ＵＲには、マーカ３に対応する領域が、偏光フィルタ４と偏光フィルタ２４とによって遮光領域となる。そのため、マーカ３は、使用者ＵＲには認識されない。使用者ＵＲは、マーカ３以外の領域を偏光フィルタ２４を介して見ることになる。よって、使用者ＵＲはマーカ３を気にすることなく、表示部２２に表示されている映像と現実の映像とを混合して見ることができる。

偏光フィルタ２４は、映像表示装置２においてカメラ２３を除く領域に形成されている。図３Ｂに示すように、映像表示装置２が使用者ＵＲの頭部に装着されている状態において、カメラ２３は、偏光フィルタ４を介して使用者ＵＲの前方及びその周辺の領域を撮影する。従って、カメラ２３はマーカ３を撮影することができる。

図４はマーカ３の一例を示している。図４に示す領域は、カメラ２３により撮影される範囲Ａ２３（以下、画角Ａ２３とする）に相当する。基準パターン３１は、画角Ａ２３内において広い範囲に配置されていることが望ましい。基準パターン３１は単体のパターンでもよいし、複数のパターンでもよい。

例えば、単体のパターンで基準パターン３１を構成する場合、基準パターン３１は、画角Ａ２３内の広い範囲に配置されるように、画角Ａ２３よりも小さいサイズのパターンであることが望ましい。複数のパターンで基準パターン３１を構成する場合、基準パターン３１は、画角Ａ２３内において複数のパターンが広い範囲に配置されるように分散して配置されていることが望ましい。

図４は、基準パターン３１の一例として、４個の四角形のパターンが画角Ａ２３の４角の近傍に分散して配置される構成を示している。基準パターン３１を構成するパターンの形状、個数、及び配置は任意に設定することができる。

図５に示すフローチャートを用いて、第１実施形態の映像表示方法の一例として、映像表示装置２が使用者ＵＲの頭部に装着されている状態において、使用者ＵＲがその頭部を最初の状態（基準位置）から姿勢を変化させた場合の映像表示方法について説明する。第１実施形態における映像表示方法は、具体的には、映像表示装置２のカメラ２３でマーカ３を撮影した映像により、基準位置に対する映像表示装置２（本体部２１）の状態（姿勢）の変化量を算出する方法である。

映像表示装置２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲの頭部が最初の状態（第１の状態（第１の姿勢））のときに、カメラ２３は、ステップＳ１１にて、マーカ３を撮影して、第１の姿勢における映像データＶＤ１（第１の映像データ）を生成し、変化量算出部２５へ出力する。最初の状態とは、例えば使用者ＵＲの頭部が使用者ＵＲの正面側を向いている状態である。なお、カメラ２３は、常に撮影し、映像データＶＤを生成し続ける。

変化量算出部２５は、ステップＳ１２にて、映像データＶＤ１からマーカ３の映像データをマーカ基準画像ＭＲＦ（第１の画像）として取得し、記録部２６に記録する。図６Ａは、マーカ基準画像ＭＲＦの一例を示している。

映像表示装置２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがその頭部を最初の状態から変化（例えば右方向へ回転）させた第２の状態（第２の姿勢）において、カメラ２３は、ステップＳ１３にて、マーカ３を撮影して、第２の姿勢における映像データＶＤ２（第２の映像データ）を生成し、変化量算出部２５へ出力する。なお、カメラ２３は、常に撮影し、映像データＶＤを生成し続けるため、第２の姿勢が時間の経過とともに変化したとしても、変化した第２の姿勢に応じて映像データＶＤ２が生成される。

変化量算出部２５は、ステップＳ１４にて、映像データＶＤ２からマーカ３の映像データをマーカ撮影画像ＭＣＰ（第２の画像）として取得し、記録部２６に記録する。図６Ｂは、マーカ撮影画像ＭＣＰの一例を示している。

変化量算出部２５は、ステップＳ１５にて、記録部２６からマーカ基準画像ＭＲＦ及びマーカ撮影画像ＭＣＰを読み出す。マーカ基準画像ＭＲＦにおける基準パターン３１とマーカ撮影画像ＭＣＰにおける基準パターン３１とを区別するため、マーカ基準画像ＭＲＦにおける基準パターン３１を基準画像パターン３１ＲＦ（第１の画像パターン）とし、マーカ撮影画像ＭＣＰにおける基準パターン３１を撮影画像パターン３１ＣＰ（第２の画像パターン）とする。

さらに、変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量を算出する。具体的には、例えば図６Ｃに示すように、変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの水平方向の移動量ＭＡｈ、及び、垂直方向の移動量ＭＡｖを算出する。以下、水平方向の移動量ＭＡｈを水平移動量ＭＡｈとし、垂直方向の移動量ＭＡｖを垂直移動量ＭＡｖとする。

変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの水平方向の長さの変化量ＣＡｈ、及び、垂直方向の長さの変化量ＣＡｖを算出する。以下、水平方向の長さの変化量ＣＡｈを水平変化量ＣＡｈとし、垂直方向の長さの変化量ＣＡｖを垂直変化量ＣＡｖとする。水平移動量ＭＡｈ、垂直移動量ＭＡｖ、水平変化量ＣＡｈ、及び垂直変化量ＣＡｖは、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量である。

水平移動量ＭＡｈ及び垂直移動量ＭＡｖは、例えば基準画像パターン３１ＲＦの中心点から撮影画像パターン３１ＣＰの中心点までの水平方向及び垂直方向の距離を算出することにより、取得することができる。水平変化量ＣＡｈは、基準画像パターン３１ＲＦの水平方向の長さＲＦｈから撮影画像パターン３１ＣＰの水平方向の長さＣＰｈを減算する、または、長さＣＰｈから長さＲＦｈを減算することにより、取得することができる。垂直変化量ＣＡｖは、基準画像パターン３１ＲＦの垂直方向の長さＲＦｖから撮影画像パターン３１ＣＰの垂直方向の長さＣＰｖを減算する、または、長さＣＰｖから長さＲＦｖを減算することにより、取得することができる。

記録部２６には、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量に基づいてトラッキング量ＴＡを取得するためのルックアップテーブル２７が記録されている。以下、ルックアップテーブル２７をＬＵＴ２７とする。

図７を用いて、トラッキング量ＴＡについて説明する。トラッキング量ＴＡは、映像表示装置２（ＨＭＤ）の姿勢の変化量を示し、具体的には基準点からの位置の移動量を示すポジショントラッキング量と、基準点からの回転の変化量を示すヘッドトラッキング量で表される。基準点は、キャリブレーション等で設定した正面等の任意の位置または向き、または、電源投入時の位置または向きである。

図７は右手系の座標系を示している。ｘ軸は基準点のカメラ２３から見て、水平方向の軸であり、右方向がプラス（正）、左方向がマイナス（負）である。ｙ軸は基準点のカメラ２３から見て、垂直方向の軸であり、上方向がプラス、下方向がマイナスである。ｚ軸は基準点のカメラ２３から見て、奥行き方向の軸であり、後ろ方向がプラス、前（正面）方向がマイナスである。

ポジショントラッキング量は、ｘ軸方向の移動量、ｙ軸方向の移動量、及びｚ軸方向の移動量の３つの成分で表される。ｘ軸方向の移動量は水平方向の移動量であり、カメラ２３から見て、右方向がプラス、左方向がマイナスである。ｙ軸方向の移動量は垂直方向の移動量であり、カメラ２３から見て、上方向がプラス、下方向がマイナスである。ｚ軸方向の移動量は奥行き方向の移動量であり、カメラ２３から見て、後ろ方向がプラス、前方向がマイナスである。

ヘッドトラッキング量は、ピッチ（pitch）方向の回転量、ヨー（yaw）方向の回転量、及びロール（roll）方向の回転量の３つの成分で表される。ピッチ方向の回転量はｘ軸を中心とした上下の回転量であり、上方向への回転がプラス、下方向への回転がマイナスである。ヨー方向の回転量はｙ軸を中心とした左右の回転量であり、左方向（左向き）への回転がプラス、右方向（右向き）への回転がマイナスである。ロール方向の回転量はｚ軸を中心とした左右の回転量であり、左方向（反時計回り）への回転がプラス、右方向（時計回り）への回転がマイナスである。

図８Ａ及び図８Ｂは、ＬＵＴ２７の一例を示している。図８Ａ及び図８Ｂは、１つのＬＵＴ２７を２つに分割して示している。図８Ａは、水平移動量ＭＡｈがｘ_１、垂直移動量ＭＡｖがｙ_１、水平変化量ＣＡｈがｈ_１〜ｈ_ｎｈ、垂直変化量ＣＡｖがｖ_１〜ｖ_ｎｖにおけるトラッキング量ＴＡを示している。図７Ｂは、水平移動量ＭＡｈがｘ_１〜ｘ_ｎｘ、垂直移動量ＭＡｖがｙ_２〜ｙ_ｎｙ、水平変化量ＣＡｈがｈ_１〜ｈ_ｎｈ、垂直変化量ＣＡｖがｖ_１〜ｖ_ｎｖにおけるトラッキング量ＴＡを示している。ＬＵＴ２７のトラッキング量ＴＡの要素の総数は、水平移動量ＭＡｈの要素数ｎ_ｍｈと垂直移動量ＭＡｖの要素数ｎ_ｍｖと水平変化量ＣＡｈの要素数ｎ_ｃｈと垂直変化量ＣＡｖの要素数ｎ_ｃｖとの積（ｎ_ｍｈ×ｎ_ｍｖ×ｎ_ｃｈ×ｎ_ｃｖ）となる。

変化量算出部２５は、ステップＳ１６にて、記録部２６からＬＵＴ２７を読み出す。さらに、変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量に基づいて、ＬＵＴ２７によりトラッキング量ＴＡを取得する。

変化量算出部２５は、例えば、水平移動量ＭＡｈ、垂直変化量ＣＡｖ、水平変化量ＣＡｈ、及び、垂直変化量ＣＡｖに基づいて、トラッキング量ＴＡを取得する。水平移動量ＭＡｈ＝ｘ_１、垂直変化量ＣＡｖ＝ｙ_１、水平変化量ＣＡｈ＝ｈ_３、及び、垂直変化量ＣＡｖ＝Ｖ_３である場合、変化量算出部２５は、ＬＵＴ２７によりトラッキング量ＴＡ＝Ａ_１１３３を取得する。

基準パターン３１が複数のパターンで構成されている場合、記録部２６には、各パターンに対応して複数のＬＵＴ２７が記録されていてもよい。この場合、変化量算出部２５は、各パターンについて、それぞれ、水平移動量ＭＡｈ、垂直変化量ＣＡｖ、水平変化量ＣＡｈ、及び、垂直変化量ＣＡｖを算出し、各パターンに対応するＬＵＴ２７によりトラッキング量ＴＡを取得する。複数のパターンに基づいてトラッキング量ＴＡを取得することにより、トラッキング量ＴＡの精度を向上させることができる。

変化量算出部２５は、ステップＳ１７にて、トラッキング量ＴＡに応じた画像を生成または取得し、表示部２２に表示する。カメラ２３は、常に撮影し、映像データＶＤを生成し続けるため、映像表示装置２は、ステップＳ１３〜Ｓ１７を繰り返し実行する。

変化量算出部２５は、ステップＳ１５にて、水平方向の長さＲＦｈ及びＣＰｈに基づいて、撮影画像パターン３１ＣＰの水平方向の歪み率ＤＳｈを算出し、垂直方向の長さＲＦｖ及びＣＰｖに基づいて、撮影画像パターン３１ＣＰの垂直方向の歪み率ＤＳｖを算出してもよい。変化量算出部２５は、歪み率ＤＳｈ及びＤＳｖに基づいてトラッキング量ＴＡを取得してもよい。

第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法では、第１及び第２の姿勢においてカメラ２３がマーカ３を撮影して第１及び第２の映像データＶＤ１及びＶＤ２を生成する。変化量算出部２５が第１及び第２の映像データＶＤ１及びＶＤ２に基づいてマーカ基準画像ＭＲＦ及びマーカ撮影画像ＭＣＰを取得する。さらに変化量算出部２５がマーカ基準画像ＭＲＦにおける基準パターン３１（基準画像パターン３１ＲＦ）に対応するマーカ撮影画像ＭＣＰにおける基準パターン３１（撮影画像パターン３１ＣＰ）の変化量を算出する。変化量算出部２５が、算出された変化量に基づいてトラッキング量ＴＡを取得し、トラッキング量ＴＡに応じた画像を生成または取得し、表示部２２に表示する。

第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法では、映像表示装置２が使用者ＵＲの頭部に装着されている状態において、マーカ３は、偏光フィルタ４と偏光フィルタ２４との組み合わせにより、使用者ＵＲには認識されない。

従って、第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法によれば、カメラ２３でマーカ３を撮影した映像により、基準位置に対する映像表示装置２の状態（姿勢）の変化量を算出することができ、かつ、使用者ＵＲがマーカ３を気にすることなく、表示部２２に表示されている映像と現実の映像とを混合して見ることができる。

第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法では、回転方向としてヨー方向について説明したが、ピッチ方向及びロール方向についても適用できる。

第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法では、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量（具体的には水平移動量ＭＡｈ及び垂直移動量ＭＡｖ）に基づいて、映像表示装置２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがマーカ３に対して平行移動した場合の移動量を算出することができる。

第１実施形態の映像表示システム１、映像表示装置２、及び映像表示方法では、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量（具体的には水平変化量ＣＡｈ及び垂直変化量ＣＡｖ）に基づいて、映像表示装置２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがマーカ３に対して近づいたり遠ざかったりした場合の移動量を算出することができる。移動量を算出するためには、カメラ２３のレンズ係数もパラメータとして必要である。

［第２実施形態］
図９を用いて、第２実施形態の映像表示システムの一例を説明する。説明をわかりやすくするために第１実施形態と同じ構成部には同じ符号を付す。第２実施形態の映像表示システム１０１は、映像表示装置１０２と、制御装置１０３と、マーカ３と、偏光フィルタ４とを備える。

第２実施形態の映像表示装置１０２は、ＭＲ等の透過型のＨＭＤである。図１に示すように、映像表示装置１０２の外観は映像表示装置２の外観と基本的に同じである。映像表示装置１０２は、本体部２１と、表示部２２と、カメラ２３と、偏光フィルタ２４と、通信部１０５（第２の通信部）とを有する。通信部１０５は本体部２１に内蔵されている。映像表示装置１０２は、表示部２２、及びカメラ２３を制御する制御部を有していてもよい。制御部は本体部２１に内蔵されている。制御部としてＣＰＵを用いてもよい。

制御装置１０３は、変化量算出部２５と、記録部２６と、通信部１０６（第１の通信部）とを有する。通信部１０５と通信部１０６とは、無線回線または有線回線を介して接続されている。通信部１０５と通信部１０６とは、ネットワークを介して接続されていてもよい。制御装置１０３としてコンピュータ機器を用いてもよい。制御装置１０３は、変化量算出部２５、及び記録部２６を制御する制御部を有していてもよい。

図５に示すフローチャートを用いて、第２実施形態の映像表示方法の一例として、映像表示装置１０２が使用者ＵＲの頭部に装着されている状態において、使用者ＵＲがその頭部を最初の状態（基準位置）から姿勢を変化させた場合の映像表示方法について説明する。第２実施形態における映像表示方法は、具体的には、映像表示装置１０２のカメラ２３でマーカ３を撮影した映像により、基準位置に対する映像表示装置１０２の状態（姿勢）の変化量を算出する方法である。

映像表示装置１０２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲの頭部が最初の状態（第１の状態（第１の姿勢））のときに、カメラ２３は、ステップＳ２１にて、マーカ３を撮影し、第１の姿勢における映像データＶＤ１（第１の映像データ）を生成する。最初の状態とは、例えば使用者ＵＲの頭部が使用者ＵＲの正面側を向いている状態である。さらに、カメラ２３は、映像データＶＤ１を、通信部１０５及び１０６を介して制御装置１０３の変化量算出部２５へ出力する。

変化量算出部２５は、ステップＳ２２にて、映像データＶＤ１からマーカ３の映像データをマーカ基準画像ＭＲＦとして取得し、記録部２６に記録する。

映像表示装置１０２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがその頭部を最初の状態から変化（例えば右方向へ回転）させた第２の状態（第２の姿勢）において、カメラ２３は、ステップＳ２３にて、マーカ３を撮影し、第２の姿勢における映像データＶＤ２（第２の映像データ）を生成する。さらに、カメラ２３は、映像データＶＤ２を、通信部１０５及び１０６を介して制御装置１０３の変化量算出部２５へ出力する。なお、カメラ２３は、常に撮影し、映像データＶＤを生成し続けるため、第２の姿勢が時間の経過とともに変化したとしても、変化した第２の姿勢に応じて映像データＶＤ２が生成される。

変化量算出部２５は、ステップＳ２４にて、映像データＶＤ２からマーカ３の映像データをマーカ撮影画像ＭＣＰとして取得し、記録部２６に記録する。

変化量算出部２５は、ステップＳ２５にて、記録部２６からマーカ基準画像ＭＲＦ及びマーカ撮影画像ＭＣＰを読み出す。さらに、変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量を算出する。具体的には、例えば図６Ｃに示すように、変化量算出部２５は、水平移動量ＭＡｈ、垂直移動量ＭＡｖ、水平変化量ＣＡｈ、及び垂直変化量ＣＡｖを算出する。

変化量算出部２５は、ステップＳ２６にて、記録部２６からＬＵＴ２７を読み出す。さらに、変化量算出部２５は、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量に基づいて、ＬＵＴ２７によりトラッキング量ＴＡを取得する。変化量算出部２５は、例えば、水平移動量ＭＡｈ、垂直変化量ＣＡｖ、水平変化量ＣＡｈ、及び、垂直変化量ＣＡｖに基づいて、トラッキング量ＴＡを取得する。

変化量算出部２５は、ステップＳ２７にて、トラッキング量ＴＡに応じた画像を生成または取得し、表示部２２に表示する。カメラ２３は、常に撮影し、映像データＶＤを生成し続けるため、映像表示装置２は、ステップＳ２３〜Ｓ２７を繰り返し実行する。

変化量算出部２５は、ステップＳ２５にて、水平方向の長さＲＦｈ及びＣＰｈに基づいて、撮影画像パターン３１ＣＰの水平方向の歪み率ＤＳｈを算出し、垂直方向の長さＲＦｖ及びＣＰｖに基づいて、撮影画像パターン３１ＣＰの垂直方向の歪み率ＤＳｖを算出してもよい。変化量算出部２５は、歪み率ＤＳｈ及びＤＳｖに基づいてトラッキング量ＴＡを取得してもよい。

第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法では、第１及び第２の姿勢においてカメラ２３がマーカ３を撮影して第１及び第２の映像データＶＤ１及びＶＤ２を生成する。変化量算出部２５が第１及び第２の映像データＶＤ１及びＶＤ２に基づいてマーカ基準画像ＭＲＦ及びマーカ撮影画像ＭＣＰを取得する。さらに変化量算出部２５がマーカ基準画像ＭＲＦにおける基準パターン３１（基準画像パターン３１ＲＦ）に対応するマーカ撮影画像ＭＣＰにおける基準パターン３１（撮影画像パターン３１ＣＰ）の変化量を算出する。変化量算出部２５が、算出された変化量に基づいてトラッキング量ＴＡを取得し、トラッキング量ＴＡに応じた画像を生成または取得し、表示部２２に表示する。

第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法では、映像表示装置１０２が使用者ＵＲの頭部に装着されている状態において、マーカ３は、偏光フィルタ４と偏光フィルタ２４との組み合わせにより、使用者ＵＲには認識されない。

従って、第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法によれば、カメラ２３でマーカ３を撮影した映像により、基準位置に対する映像表示装置２の状態（姿勢）の変化量を算出することができ、かつ、使用者ＵＲがマーカ３を気にすることなく、表示部２２に表示されている映像と現実の映像とを混合して見ることができる。

第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法では、回転方向としてヨー方向について説明したが、ピッチ方向及びロール方向についても適用できる。

第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法では、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量（具体的には水平移動量ＭＡｈ及び垂直移動量ＭＡｖ）に基づいて、映像表示装置１０２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがマーカ３に対して平行移動した場合の移動量を算出することができる。

第２実施形態の映像表示システム１０１、映像表示装置１０２、及び映像表示方法では、基準画像パターン３１ＲＦに対応する撮影画像パターン３１ＣＰの変化量（具体的には水平変化量ＣＡｈ及び垂直変化量ＣＡｖ）に基づいて、映像表示装置１０２が使用者ＵＲの頭部に装着されている状態で、かつ、使用者ＵＲがマーカ３に対して近づいたり遠ざかったりした場合の移動量を算出することができる。移動量を算出するためには、カメラ２３のレンズ係数もパラメータとして必要である。

本発明は、上述した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

第１及び第２実施形態では、変化量算出部２５は、記録部２６からマーカ基準画像ＭＲＦ及びマーカ撮影画像ＭＣＰを読み出した後、長さＲＦｈ、ＣＰｈ、ＲＦｖ、及びＣＰｖを取得する。変化量算出部２５は、映像データＶＤ１からマーカ基準画像ＭＲＦを取得したときに長さＲＦｈ及びＲＦｖを取得し、長さＲＦｈ及びＲＦｖをマーカ基準画像ＭＲＦと関連付けて記録部２６に記録してもよい。変化量算出部２５は、映像データＶＤ２からマーカ撮影画像ＭＣＰを取得したときに長さＣＰｈ及びＣＰｖを取得し、長さＣＰｈ及びＣＰｖをマーカ撮影画像ＭＣＰと関連付けて記録部２６に記録してもよい。

図４に示すように、第１及び第２実施形態では、マーカ３は、４個の四角形の基準パターン３１が配置されている構成を有する。例えば、図１０Ａに示すように、マーカ３は、互いに直径の異なる２個の同心円とその同心円の中心を通る十字線とからなる基準パターン３１が画角Ａ２３の中心と４角の近傍とに配置されている構成でもよい。図１０Ｂに示すように、マーカ３は、互いに直径の異なる２個の同心円とその同心円の中心を通る十字線とからなる複数の基準パターン３１が画角Ａ２３の水平方向と垂直方向とに配置されている構成でもよい。

１，１０１映像表示システム
２，１０２映像表示装置
３マーカ
４偏光フィルタ（第１の偏光フィルタ）
２２表示部
２３カメラ
２４偏光フィルタ（第２の偏光フィルタ）
２５変化量算出部
３１基準パターン
ＭＣＰマーカ撮影画像（第２の画像）
ＭＲＦマーカ基準画像（第１の画像）

Claims

基準パターンを有するマーカと、
前記マーカに対応して配置され、第１の偏光特性を有する第１の偏光フィルタと、
前記第１の偏光フィルタを介して前記マーカを撮影するカメラ、光透過性を有する表示部、及び、前記表示部に対応して配置され、前記第１の偏光特性とは相反する第２の偏光特性を有する第２の偏光フィルタを有する映像表示装置と、
前記カメラが第１の姿勢において前記基準パターンを撮影することにより取得した第１の画像と、前記カメラが第２の姿勢において前記基準パターンを撮影することにより取得した第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する変化量算出部と、
を備える映像表示システム。
前記マーカと前記表示部とが対向している状態において、前記第１の偏光フィルタ及び前記第２の偏光フィルタは、前記マーカと前記表示部との間に配置されている、
請求項１に記載の映像表示システム。
前記変化量算出部は、前記第１の画像における第１の画像パターンに対応する前記第２の画像における第２の画像パターンの水平方向及び垂直方向の移動量、及び、前記第１の画像パターンに対応する前記第２の画像パターンの水平方向及び垂直方向の長さの変化量に基づいて前記映像表示装置の姿勢の変化量を算出する
請求項１または２に記載の映像表示システム。
前記変化量算出部と第１の通信部とを有する制御装置をさらに備え、
前記映像表示装置は、前記第１の通信部と接続する第２の通信部をさらに有し、前記第１及び第２の画像を、前記第１及び第２の通信部を介して前記制御装置へ出力し、
前記変化量算出部は、前記第１の画像と前記第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する
請求項１〜３のうちのいずれか１項に記載の映像表示システム。
映像表示装置であって、
基準パターンを有するマーカを、前記マーカに対応して配置され、かつ、第１の偏光特性を有する第１の偏光フィルタを介して撮影するカメラと、
光透過性を有する表示部と、
前記表示部に対応して配置され、前記第１の偏光特性とは相反する第２の偏光特性を有する第２の偏光フィルタと、
前記カメラが第１の姿勢において前記基準パターンを撮影することにより取得した第１の画像と、前記カメラが第２の姿勢において前記基準パターンを撮影することにより取得した第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する変化量算出部と、
を備える映像表示装置。
映像表示装置のカメラが、第１の姿勢において、基準パターンを有するマーカを、前記マーカに対応して配置され、かつ、第１の偏光特性を有する第１の偏光フィルタを介して撮影することにより第１の画像を取得し、
前記カメラが、第２の姿勢において、前記マーカを前記第１の偏光フィルタを介して撮影することにより第２の画像を取得し、
変化量算出部が、前記第１の画像と前記第２の画像との変化量を算出し、前記変化量に基づいて前記映像表示装置の姿勢の変化量を算出する、
映像表示方法。