JP2020071543A - 複合現実感システム及び検査方法 - Google Patents

Abstract

【課題】ターゲットマーカの配置設計の作業性及びスペース効率を向上させることができる複合現実感システム及び検査方法を提供する。【解決手段】本発明は、カメラ２１１が設けられたＨＭＤ２１と、カメラ２１１で撮像されたターゲットマーカの撮像データに基づいて、カメラ２１１の位置及び姿勢を計測する位置姿勢計測部２２２と、カメラ２１１の位置及び姿勢に基づきＨＭＤ２１を介してユーザに現実空間と３次元モデルとの重畳画像である複合現実感を提示する情報処理部２２１と、ターゲットマーカの画像データであるマーカ画像Ｍを記憶する記憶部３２１と、マーカ画像Ｍを表示部３１に表示させ、表示させるマーカ画像Ｍの表示状態を制御可能な表示制御部３２２と、を備え、位置姿勢計測部２２２は、表示部３１に表示されたマーカ画像Ｍの撮像データに基づいて、カメラ２１１の位置と姿勢を計測する。【選択図】図１

Description

本発明は、複合現実感システム及びそれを用いた検査方法に関する。

昨今、例えば特開２０１５−１２５６４１号公報や特開２００４−３５５１３１号公報に記載のように、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する）を用いた複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）（以下、ＭＲとも称する）技術が発展している。特開２０１５−１２５６４１号公報から引用すると、ＭＲ技術は、ＨＭＤで撮像した現実の世界（現実空間）の画像に、コンピュータで生成された仮想の世界（仮想空間）の画像を重畳させて、ＨＭＤの画面に表示する技術である。つまり、現実空間画像と仮想空間画像（３次元モデル）とが重畳されてＨＭＤに表示される。ＭＲ技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し（取り付け）の作業性などのチェックが可能となる。ＭＲ技術を用いた複合現実感装置としては、例えば、ＨＭＤと、ＨＭＤを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を備えている。

また、ＨＭＤで複合現実感を提示するためには、対象スペース（現実空間）におけるＨＭＤの位置及び姿勢を求める必要がある。例えば特開２０１５−２１５１９１号公報に記載されているように、複合現実感装置を用いるには、現実空間中に定義した基準座標系と、カメラ座標系との間の、相対的な位置及び姿勢を計測することが不可欠である。ここで、例えば特開２０１５−２１５１９１号公報及び特開２００８−７０２６７号公報には、ＨＭＤに設けられたカメラで撮像したターゲットマーカの情報からカメラの位置姿勢を推定することが記載されている。ターゲットマーカには、座標情報が設定されている。作業スペース（現実空間）に設置されたターゲットマーカを、カメラが撮像することで、公知の演算方法により、カメラの位置及び姿勢を推定することができる。

特開２０１５−１２５６４１号公報 特開２００４−３５５１３１号公報 特開２０１５−２１５１９１号公報 特開２００８−７０２６７号公報

上記のようにターゲットマーカとその撮像データとを用いてカメラ（ＨＭＤ）の位置及び姿勢を演算する位置姿勢計測装置では、例えば紙やボードなどに印刷されて構成されたターゲットマーカが用いられている。

印刷や加工により形成されたターゲットマーカを用いると、作業スペースにおけるターゲットマーカの配置変更をするにあたり、ターゲットマーカの移動、貼り付け、及び位置の微調整などをユーザが手作業で行う必要がある。また、ターゲットマーカのサイズ変更を行う場合、再度ターゲットマーカを印刷又は加工しなければならない。位置姿勢の計測精度を高めるために多数のターゲットマーカが配置されるが、特にこの場合、上記のようなターゲットマーカの配置変更やサイズ変更に対してユーザの作業量が増大する。

また、あらゆる方向から３次元モデル（仮想空間画像）を観察できるようにしたい場合、ユーザが動き回れるだけの作業スペースの確保、及び当該作業スペースをカバーする多数のターゲットマーカの配置が必要となる。つまり、大きな作業スペースと多数のターゲットマーカの準備が必要となる。このように、従来の複合現実感システムには、ターゲットマーカの配置設計の作業性及びスペース効率の面で改良の余地がある。

本発明は、このような事情に鑑みて為されたものであり、ターゲットマーカの配置設計の作業性及びスペース効率を向上させることができる複合現実感システム及びそれを用いた検査方法を提供することを目的とする。

本発明の複合現実感システムは、外部を撮像するカメラが設けられたヘッドマウントディスプレイと、前記カメラで撮像されたターゲットマーカの撮像データ、及び前記ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ヘッドマウントディスプレイを介してユーザに現実空間と３次元モデルとの重畳画像である複合現実感を提示する情報処理部と、画像を表示可能な表示部と、前記ターゲットマーカの画像データであるマーカ画像を記憶する記憶部と、前記記憶部に記憶された前記マーカ画像を前記表示部に表示させ、表示させる前記マーカ画像の表示状態を制御可能な表示制御部と、を備え、前記位置姿勢計測部は、前記表示部に表示された前記マーカ画像の撮像データに基づいて、前記カメラの位置と姿勢を計測する。

また、本発明の別の態様である検査方法は、上記複合現実感システムを用いた前記３次元モデルの検査方法であって、前記表示制御部が、ユーザの操作に応じて、前記表示部における前記マーカ画像の位置、大きさ、表示角度、パターン、及び数の少なくとも１つを変更する変更工程を含む。

本発明によれば、ユーザは、表示部に表示されるマーカ画像の表示状態（例えば表示の位置や大きさ等）を制御することで、印刷や加工なく、ターゲットマーカの配置変更及びサイズ変更を行うことができる。また、マーカ画像の表示状態を制御することで、ユーザが動かなくても３次元モデルの基準位置（原点座標）等が変化し、ヘッドマウントディスプレイを介した３次元モデルの見え方を制御することができる。つまり、小さい作業スペースでも３次元モデルをあらゆる方向から見せることができる。このように、本発明によれば、ターゲットマーカの配置設計の作業性及びスペース効率を向上させることができる。

本実施形態の複合現実感システムの構成図である。 本実施形態のマーカ画像の編集例を示す説明図である。 本実施形態のマーカ画像の編集例を示す説明図である。 本実施形態のマーカ画像の編集例を示す説明図である。 本実施形態のマーカ画像の編集例を示す説明図である。 本実施形態のマーカ画像の編集例を示す説明図である。 本実施形態のマーカ画像の編集例を示す説明図である。

以下、本発明の実施形態について図に基づいて説明する。説明に用いる各図は概念図である。本実施形態の複合現実感システム１は、図１に示すように、複合現実感装置２と、画像表示装置３と、を備えている。複合現実感装置２は、いわゆるＭＲシステムであって、ヘッドマウントディスプレイ（以下、ＨＭＤという）２１と、ＣＰＵやメモリ等を有するコンピュータ２２と、ＨＭＤ２１のコントローラ２３と、を備えている。ＨＭＤ２１には、外部（装着者の前方）を撮像する２つのカメラ２１１が設けられている。ユーザは、持ち運び可能なコントローラ２３を利用し、ＨＭＤ２１に関する各種操作を実行することができる。なお、図面において各種配線の図示は省略されている。

コンピュータ２２は、ＭＲに関するソフトウェアが搭載されたコンピュータである。コンピュータ２２は、機能として、情報処理部２２１と、位置姿勢計測部２２２と、を備えている。情報処理部２２１は、ＨＭＤ２１を介してユーザに重畳画像である複合現実感を提示するように構成されている。位置姿勢計測部２２２は、カメラ２１１で撮像されたターゲットマーカの撮像データ、及びターゲットマーカに対して設定された座標情報に基づいて、カメラ２１１（すなわちＨＭＤ２１）の位置と姿勢を計測するように構成されている。位置姿勢計測部２２２は、ターゲットマーカのパターンに応じて設定された座標情報を読み取り、カメラ２１１がどの位置からどの方向を向いているかを推測する。情報処理部２２１は、位置姿勢計測部２２２で計測されたカメラ２１１の位置及び姿勢に基づき、ＨＭＤ２１を介してユーザに現実空間と３次元モデルとの重畳画像である複合現実感（ＭＲ）を提示する。

複合現実感装置２において、ＭＲとしてＨＭＤ２１に表示する３次元モデルは、ターゲットマーカの座標情報と対応し、カメラ２１１が撮像するターゲットマーカの位置等の変化に応じて見え方が変化する。例えばターゲットマーカの位置、大きさ、パターン、及び形状（撮像角度）に基づき、カメラ２１１の対象スペースでの位置姿勢が推定できる。例えば特開２０１５−２１５１９１号公報及び特開２００８−７０２６７号公報に記載されているように、複合現実感装置２は、カメラ２１１で撮像されたターゲットマーカの撮像データに基づいて、公知の方法でカメラ２１１及びＨＭＤ２１の位置と姿勢を計測できる。複合現実感装置２は、公知の装置であって、詳細な説明は省略する。

なお、１つの３次元モデルと複数のターゲットマーカとが対応するように設定されてもよい。例えば、複合現実感装置２における原点すなわち３次元座標（０、０、０）を表す第１のターゲットマーカと、原点（基準）に対する座標情報を表す第２のターゲットマーカとが、ディスプレイ３１に表示され、第１及び／又は第２のターゲットマーカの撮像データに基づいて１つの３次元モデルの表示状態が決定される。３次元モデルの座標や寸法は、１つ又は複数のターゲットマーカに対して設定されている。

画像表示装置３は、表示部としての複数のディスプレイ３１と、コンピュータ３２と、を備えている。ディスプレイ３１は、画像を表示可能な装置であって、例えば液晶ディスプレイなどである。ディスプレイ３１は、複合現実感装置２が対象とする対象スペースにおける側壁（側面）に配置されている。複数のディスプレイ３１（図１では２つ）には、画面（表示面）を含む平面が互いに交差するように配置された２つ以上のディスプレイ３１が含まれている。つまり、少なくとも２つのディスプレイ３１が、表示方向が互いに異なるように配置されている。例えば、ディスプレイ３１は、直交する２つの壁面にそれぞれ配置されている。また、ディスプレイ３１は、対象スペースを囲むように配置された３つ以上の側面に対してそれぞれ配置される。

コンピュータ３２は、ディスプレイ３１に表示する画像を制御するための装置であって、ＣＰＵやメモリ等を有するコンピュータである。コンピュータ３２は、ディスプレイ３１と通信可能に接続されており、記憶部３２１と、表示制御部３２２と、を備えている。記憶部３２１は、例えばコンピュータ３２内部の記憶媒体、外部記憶媒体、又は外部サーバ等であって、ターゲットマーカの画像データ、すなわちターゲットマーカを表す画像データであるマーカ画像Ｍを記憶している。記憶部３２１には、複数種類のマーカ画像Ｍが記憶されている。表示制御部３２２は、ユーザの操作に応じて記憶部に記憶されたマーカ画像Ｍをディスプレイ３１に表示させ、ディスプレイ３１におけるマーカ画像Ｍの表示状態を制御可能に構成されている。より具体的に、表示制御部３２２は、ユーザの操作に応じて、ディスプレイ３１におけるマーカ画像Ｍの位置、大きさ、表示角度、パターン（型）、及び数（表示数）の少なくとも１つを変更する。

例えば、コンピュータ３２には、公知の画像編集ソフトウェアがインストールされており、当該ソフトウェアを用いてディスプレイ３１にターゲットマーカの画像（すなわちマーカ画像Ｍ）を表示させる。ユーザは、ソフトウェア上でマーカ画像Ｍの編集・選択が可能となる。ＨＭＤ２１のカメラ２１１がディスプレイ３１を撮像すると、位置姿勢計測部２２２は、ディスプレイ３１に表示されたマーカ画像Ｍの撮像データに基づいて、カメラ２１１の位置と姿勢を計測する。マーカ画像Ｍは、ターゲットマーカとして機能する。

本実施形態によれば、ユーザは、コンピュータ３２を、操作手段（例えばマウスやキーボード）を介して操作し、ディスプレイ３１中のマーカ画像Ｍの位置、大きさ、表示角度、型、及び／又は数などを編集することができる。例えば、図２に示すように、第１ディスプレイ３１１内で、あるいは第１ディスプレイ３１１から第２ディスプレイ３１２にマーカ画像Ｍを移動させることができる。マーカ画像Ｍの移動（位置の変更）に伴い、ユーザの移動なく、ＨＭＤ２１で表示される３次元モデルが移動する。この例では、第１ディスプレイ３１１の表示方向と第２ディスプレイ３１２の表示方向とが異なるため（異なる側壁に設置されているため）、マーカ画像Ｍのディスプレイ３１１、３１２間の移動により、マーカ画像Ｍ及び３次元モデルの表示角度も変更されている。複数のディスプレイ３１を備える構成により、ディスプレイ３１及びマーカ画像を、対象スペースを囲むように配置でき、３次元モデルの表示にあたり、ユーザのあらゆる視点（あらゆるカメラ２１１の撮像方向）に対応することができる。なお、図２〜図７では、カメラ２１１などの一部の構成の図示を省略している。

また、図３に示すように、マーカ画像Ｍを拡大するほど、ＨＭＤ２１で表示される３次元モデルも拡大される。同様に、マーカ画像Ｍを縮小するほど、ＨＭＤ２１で表示される３次元モデルも縮小される。例えば、マーカ画像Ｍの大きさを徐々に変更していくことで、３次元モデルがユーザに近づいたり離れたりする映像をユーザに提供することもできる。ユーザは、これを動くことなく見ることができる。

また、図４に示すように、マーカ画像Ｍのパターンを変更することで、ＨＭＤ２１で表示される３次元モデルを別の３次元モデルに変更することができる。マーカ画像Ｍ毎に対応する３次元モデルが設定されており、ディスプレイ３１に表示されるマーカ画像Ｍを変更するだけで、ＨＭＤ２１に表示される３次元モデルを変更することができる。

また、図５に示すように、ディスプレイ３１１、３１２に複数のマーカ画像Ｍを配置している状況で、３次元モデルの見え方の調整や問題解決のために、マーカ画像Ｍのレイアウト変更をその場で実施し、その場でのユーザによる確認（検証）が容易となる。例えば、ユーザが３次元モデルを観察しながらの位置調整等が可能となる。１つのターゲットマーカが配置された状況でターゲットマーカの配置等を変更する場合より、複数のターゲットマーカが配置された状況でターゲットマーカの配置等を変更する場合のほうが、調整作業が難しくなるが、本実施形態のようにマーカ画像を用いることで、複数のターゲットマーカ（マーカ画像）が配置された場合でも、容易に配置調整等をすることができる。

また、図６に示すように、複数のマーカ画像Ｍに対応して、複数の３次元モデルがＨＭＤに表示された状態において、各３次元モデルを互いに独立して移動等させることができる。図６において、ディスプレイ３１には、第１の３次元モデル９１に対応する第１のマーカ画像Ｍ１と、第２の３次元モデル９２に対応する第２のマーカ画像Ｍ２及び第３のマーカ画像Ｍ３と、が表示されている。例えば、第１のマーカ画像Ｍ１を移動させることで第１の３次元モデル９１が移動し、第２のマーカ画像Ｍ２及び第３のマーカ画像Ｍ３を移動させることで、第２の３次元モデル９２が移動する。つまり、マーカ画像Ｍ１の編集により第１の３次元モデル９１が編集され、マーカ画像Ｍ２、Ｍ３の編集により第２の３次元モデル９２が編集される。複数の３次元モデルを別個独立に編集できることで、ＨＭＤ２１を介して表示されている３次元モデルを、例えば２部材に分離させたり、２部材のものを接触させたりすることができる。

このように、ディスプレイ３１に表示された１つ又は複数のマーカ画像Ｍ１が、第１マーカ画像セットとして第１の３次元モデル９１の表示に対応し、ディスプレイ３１に表示された、第１マーカ画像セットとは別の１つ又は複数のマーカ画像Ｍ２、Ｍ３が、第２マーカ画像セットとして第２の３次元モデル９２の表示に対応し、表示制御部３２２は、第１マーカ画像セットの表示状態と第２マーカ画像セットの表示状態とをそれぞれ独立して制御可能に構成されている。

また、図７に示すように、２次元又は３次元のマーカ画像Ｍを画面上で３次元的に回転させて、表示角度を変更し、正面からずれた視点でターゲットマーカを見たようなマーカ画像Ｍの形状をディスプレイ３１に表示することができる。つまり、表示制御部３２２は、ユーザの操作に応じて、平面又は立体で表示されたマーカ画像Ｍを回転させ、マーカ画像Ｍの表示角度を変更する。表示制御部３２２は、例えば、ＸＹＺ座標系において、Ｘ軸を回転中心にマーカ画像Ｍを回転させることができる。また、表示制御部３２２は、例えば、マーカ画像Ｍの重心を回転中心としてマーカ画像Ｍを画面上で回転させることができる。これにより、ユーザの移動なく、３次元モデルの視点（見る方向）を変更することができる。３次元モデルの表示角度の微調整なども容易となる。

また、記憶媒体等に予め設定された変更の流れを表示制御部３２２が読み込んで編集を実行することもできる。この場合、表示制御部３２２は、ユーザにより表示開始が指示された際、当該変更の流れに応じて、自動的にマーカ画像Ｍを編集（移動、大きさ変更等）する。つまり、表示制御部３２２は、予め時系列的に設定された変更の流れに基づいて、マーカ画像Ｍの表示状態を変更する。これにより、３次元モデルは、時間の経過に応じて、自動的に移動等することとなる。

本実施形態によれば、ユーザは、ディスプレイ３１に表示されるマーカ画像Ｍの表示状態（例えば表示の位置や大きさ等）を制御することで、印刷や加工なく、ターゲットマーカの配置変更及びサイズ変更を行うことができる。カメラにより撮像されるターゲットマーカの位置や大きさ等により、カメラの位置や姿勢が計測されるため、ターゲットマーカの移動等に連動して表示される３次元モデルも移動等が実行される。本実施形態では、ターゲットマーカとしてディスプレイ３１に表示され且つ位置姿勢計測部２２２に読み込まれるマーカ画像Ｍを編集することで、ターゲットマーカを編集することと同じ効果を発揮させる。マーカ画像Ｍの表示状態を制御することで、ユーザが動かなくても３次元モデルの基準位置（原点座標）等が変化し、ＨＭＤ２１を介した３次元モデルの見え方を制御することができる。つまり、物としてのターゲットマーカの実際の配置変更等をすることなくターゲットマーカの配置設計が可能となり、また、小さい作業スペースでも３次元モデルをあらゆる方向から見せることが可能となる。このように、本発明によれば、ターゲットマーカの配置設計の作業性及びスペース効率を向上させることができる。

（その他）
本発明は、上記実施形態に限られない。例えば、画像表示装置３はプロジェクタ及びスクリーンを備えるものでもよい。ただし、光源とスクリーンとの間に対象スペースが介在するような投影型のプロジェクタ及びスクリーンよりも、例えば液晶ディスプレイ、ＬＥＤディスプレイ、又は有機ＥＬディスプレイなど光源が画面側（内部）にあるタイプのほうが、例えば動き回るユーザの影や対象スペースに配置した物の影の影響を受けることがなく、配置や移動の自由度の観点において好ましい。つまり、表示部は、マーカ画像Ｍを表示するための光源を内部（筐体内）に有することが好ましい。また、ディスプレイは、モニター又はパネルと同様の意味をもち、互いに言い換ることができる。また、表示部として、画面に接触して画像編集可能なタッチパネルを用いてもよい。また、表示部は、側壁に限らず、任意の物体に設置されてもよい。また、表示部は、１つ（単体）のディスプレイ３１で構成されてもよい。また、カメラ２１１は１つであってもよい。

また、本実施形態の複合現実感システム１を用いて、３次元モデルの検査（例えばデザインレビュー等を含む）をすることが有効である。つまり、本実施形態の検査方法は、複合現実感システム１を用いた３次元モデルの検査方法であって、表示制御部３２２が、ユーザの操作に応じて、ディスプレイ３１におけるマーカ画像Ｍの位置、大きさ、表示角度、パターン、及び数の少なくとも１つを変更する変更工程を含む。これによれば、検査中であるか否かにかかわらず、変更工程により容易にターゲットマーカの位置等を編集することができ、上記実施形態と同様の効果が発揮される。本方法によれば、３次元モデルの検査の作業性は格段に向上する。

１…複合現実感システム、２…複合現実感装置、２１…ＨＭＤ（ヘッドマウントディスプレイ）、２１１…カメラ、２２…コンピュータ、２２１…情報処理部、２２２…位置姿勢計測部、２３…コントローラ、３…画像表示装置、３１…ディスプレイ（表示部）、３２…コンピュータ、３２１…記憶部、３２２…表示制御部、９１、９２…３次元モデル、Ｍ、Ｍ１、Ｍ２、Ｍ３…マーカ画像。

Claims (9)

1. 外部を撮像するカメラが設けられたヘッドマウントディスプレイと、
   前記カメラで撮像されたターゲットマーカの撮像データ、及び前記ターゲットマーカに対して設定された座標情報に基づいて、前記カメラの位置及び姿勢を計測する位置姿勢計測部と、
   前記位置姿勢計測部で計測された前記カメラの位置及び姿勢に基づき、前記ヘッドマウントディスプレイを介してユーザに現実空間と３次元モデルとの重畳画像である複合現実感を提示する情報処理部と、
   画像を表示可能な表示部と、
   前記ターゲットマーカの画像データであるマーカ画像を記憶する記憶部と、
   前記記憶部に記憶された前記マーカ画像を前記表示部に表示させ、表示させる前記マーカ画像の表示状態を制御可能な表示制御部と、
   を備え、
   前記位置姿勢計測部は、前記表示部に表示された前記マーカ画像の撮像データに基づいて、前記カメラの位置と姿勢を計測する複合現実感システム。
2. 前記表示制御部は、ユーザの操作に応じて、前記表示部における前記マーカ画像の位置、大きさ、表示角度、パターン、及び数の少なくとも１つを変更する請求項１に記載の複合現実感システム。
3. 前記表示制御部は、ユーザの操作に応じて、平面又は立体で表示された前記マーカ画像を回転させ、前記マーカ画像の表示角度を変更する請求項１又は２に記載の複合現実感システム。
4. 前記表示制御部は、ユーザの操作に応じて、複数の前記マーカ画像を前記表示部に表示させる請求項１〜３の何れか一項に記載の複合現実感システム。
5. 前記表示部に表示された１つ又は複数の前記マーカ画像が、第１マーカ画像セットとして第１の前記３次元モデルの表示に対応し、
   前記表示部に表示された、前記第１マーカ画像セットとは別の１つ又は複数の前記マーカ画像が、第２マーカ画像セットとして第２の前記３次元モデルの表示に対応し、
   前記表示制御部は、前記第１マーカ画像セットの表示状態と前記第２マーカ画像セットの表示状態とをそれぞれ独立して制御可能に構成されている請求項１〜４の何れか一項に記載の複合現実感システム。
6. 前記表示部は、複数のディスプレイで構成され、
   前記複数のディスプレイには、画面を含む平面が互いに交差するように配置された２以上のディスプレイが含まれる請求項１〜５の何れか一項に記載の複合現実感システム。
7. 前記表示部は、前記マーカ画像を表示するための光源を内部に有する請求項１〜６の何れか一項に記載の複合現実感システム。
8. 前記表示制御部は、予め時系列的に設定された変更の流れに基づいて、前記マーカ画像の表示状態を変更する請求項１〜７の何れか一項に記載の複合現実感システム。
9. 請求項１〜８の何れか一項に記載の複合現実感システムを用いた前記３次元モデルの検査方法であって、
   前記表示制御部が、ユーザの操作に応じて、前記表示部における前記マーカ画像の位置、大きさ、表示角度、パターン、及び数の少なくとも１つを変更する変更工程を含む検査方法。

Images