JP2006085375A

JP2006085375A - 画像処理方法、画像処理装置

Info

Publication number: JP2006085375A
Application number: JP2004268706A
Authority: JP
Inventors: Hironori Yonezawa; 博紀米澤; Yukio Sakakawa; 幸雄坂川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-09-15
Filing date: 2004-09-15
Publication date: 2006-03-30

Abstract

【課題】現実空間に仮想空間の映像を重畳させてユーザに提供する場合に、現実物体に対する測定を簡便に行うための技術を提供すること。
【解決手段】観察者の視点の位置姿勢から見える定規仮想物体５１０の映像を生成し（２０４０）、現実空間の映像上に重畳し（４０１０）、表示装置に出力する（４０２０）。
【選択図】図４

Description

本発明は、現実空間に仮想空間の映像を重畳させて観察者に提示する為の技術に関するものである。

テーマパークなどの娯楽施設で、体験者の視点位置姿勢における現実空間映像と、仮想空間映像とを合成して体験者に提供する複合現実感システムが一般的なものになりつつある。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システムに比べてより実在感があり、実寸感覚を伴った観察が可能である。

一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元コンピュータグラフィックス（３Ｄ−ＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピット・プロトタイピン装置などで簡易試作物を作成し、視覚に加えて触覚的に評価する方法などが主流である。

本出願人は両手法を組み合わせ、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とするシステムを特願２００３−３４１６２８号にて提案している。このようなシステムでは、３次元ＣＡＤのデータよりラピット・プロトタイピング装置で作成した簡易試作物に、同じ３次元ＣＡＤのデータを変換して作成した３Ｄ−ＣＧデータを、共有されている座標系における位置、姿勢を一致させて重畳表示することで、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とするものである。

さらに、このシステムでは、現実空間を映像データとしてシステムに取り込むので、現実空間の映像を仮想空間の映像（ＣＧ）を合成するのに適した映像に変換処理することが可能であり、観察者にとってより自然な複合現実感感映像を生成するものである。

このシステムでは、簡易試作物に重畳された３Ｄ−ＣＧの寸法を測定する有効な手段が提供されていなかった。

一方、現実映像中の被写体の寸法を、被写体となる現実物体の表面にＣＧのスケール画像を重畳することで、ユーザに評価する手段を提供する技術が提案されている。（特許文献１参照）
特開２００１−２０９８２７号公報

しかしながら、前述のシステムにおいて、現実の測定器具を利用して測定を行うと、簡易試作物上に重畳表示された３Ｄ−ＣＧによって測定器具が覆い隠されてしまい、測定ができない場合があった。これを回避するために、現実映像における現実の測定器具が３Ｄ−ＣＧで覆い隠されないよう画像処理を行うことで現実の測定器具が表示されるようにする方法も考えられるが、現実映像の撮像装置や合成映像の表示装置の品質によっては現実の測定器具の目盛や値が可読性をもって表示されなかったりする場合があった。

また、特許文献１に記載されている技術は、仮想的な測定器具を利用して測定を行うことで、前述の課題を一部解決するものであるが、評価可能な寸法は物体表面に限定されており物体上の任意の二点間距離を評価することはできなかった。

本発明は以上の問題に鑑みてなされたものであり、現実空間と仮想空間で共有している座標系における位置および姿勢を現実物体と一致させた仮想物体（３Ｄ−ＣＧデータ）を現実物体に重畳表示した状態で、寸法の評価および被写体表面の任意の二点間距離の評価を提供することを目的とする。

また、本発明の別の目的としては、仮想的な測定器具の目盛を読み取ることで被写体表面の任意の二点間距離を評価する手段をユーザに提供することにある。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。

即ち、現実空間に仮想物体の画像を合成して観察者に提示する画像処理方法であって、
観察者視点からの現実画像を入力する現実画像入力工程と、
前記観察者視点の位置姿勢、前記現実画像に含まれる第１の現実物体の位置姿勢および前記現実画像に含まれる第２の現実物体の位置姿勢を取得する取得工程と、
前記第１の現実物体に対応する第１の仮想物体の画像を前記観察者視点の位置姿勢と前記第１の現実物体の位置姿勢に基づいて生成するとともに、仮想空間内で前記第１の仮想物体を計測するための第２の仮想物体の画像を前記観察者視点の位置姿勢と前記第２の現実物体の位置姿勢に基づいて生成する画像生成工程と、
前記現実画像、前記第１の仮想物体画像および前記第２の仮想物体画像とを合成して出力する出力工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

即ち、現実空間に仮想物体の画像を合成して観察者に提示する画像処理装置であって、
観察者視点からの現実画像を入力する現実画像入力手段と、
前記観察者視点の位置姿勢、前記現実画像に含まれる第１の現実物体の位置姿勢および前記現実画像に含まれる第２の現実物体の位置姿勢を取得する取得手段と、
前記第１の現実物体に対応する第１の仮想物体の画像を前記観察者視点の位置姿勢と前記第１の現実物体の位置姿勢に基づいて生成するとともに、仮想空間内で前記第１の仮想物体を計測するための第２の仮想物体の画像を前記観察者視点の位置姿勢と前記第２の現実物体の位置姿勢に基づいて生成する画像生成手段と、
前記現実画像、前記第１の仮想物体画像および前記第２の仮想物体画像とを合成して出力する出力手段と
を備えることを特徴とする。

本発明の構成により、現実空間と仮想空間で共有している座標系における位置および姿勢を現実物体と一致させた仮想物体（３Ｄ−ＣＧデータ）を現実物体に重畳表示した状態で、寸法の評価および被写体表面の任意の二点間距離の評価を提供することができる。また、仮想的な測定器具の目盛を読み取ることで被写体表面の任意の二点間距離を評価する手段をユーザに提供することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供すると共に、現実空間中の物体（現実物体）に対する測定を可能にさせるためのシステムの外観を示す図である。

同図において２００はトランスミッタで、磁場を発生させる。１００は観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置（以下、ＨＭＤ：Head Mounted Displayと呼称する）で、カメラ１０２ａ、１０２ｂ、表示装置１０１ａ、１０１ｂ、磁気レシーバ２０１により構成されている。

カメラ１０２ａ、１０２ｂはそれぞれＨＭＤ１００を頭部に装着した観察者の右目、左目の位置から見える現実空間を連続して撮像するものであり、撮像した各フレームの画像は後段のコンピュータ４００に出力される。

表示装置１０１ａ、１０１ｂはそれぞれ、観察者がＨＭＤ１００を頭部に装着したときに右目、左目の眼前に位置するようにＨＭＤ１００に装着されたものであり、後段のコンピュータ４００から出力された画像信号に基づいた画像を表示する。従って観察者の右目、左目の眼前にはコンピュータ４００が生成した画像が提供されることになる。

磁気レシーバ２０１は、上記トランスミッタ２００が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置２０５に出力するものである。検知した結果の信号は、トランスミッタ２００の位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、磁気レシーバ２０１の位置姿勢に応じて検知される磁場の変化を示す信号である。

位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢を求め、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。

図２は、ＨＭＤ１００の具体的な構成を示す図である。

１０１は映像表示装置で、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。

図１に戻って、３００は測定対象となる現実物体（以下、簡易試作物と呼称する）である。同図ではこの簡易試作物３００をカメラとするが、これに限定するものではない。この簡易試作物３００には磁気レシーバ２０２が備わっており、この磁気レシーバ２０２は磁気レシーバ２０１と同様に、センサ座標系における自身の位置姿勢に応じて検知される磁場の変化を示す信号（換言すれば、センサ座標系における磁気レシーバ自身２０２の位置姿勢を示す信号）を位置姿勢計測装置２０５に出力する。従って位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０２の位置姿勢を求めることができ、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。よって、観察者が簡易試作物３００を手に持ってその位置や姿勢を変化させても、簡易試作物３００の位置姿勢は常に磁気レシーバ２０２によって計測され、その計測された位置姿勢データはコンピュータ４００に入力される。

３０２は定規の仮想物体（以下、定規仮想物体）を操作するための器具で、この定規は上記簡易試作物３００のサイズを測定するためのものである。この器具３０２には磁気レシーバ２０３が備わっており、この器具３０２に備わっている磁気レシーバ２０３は磁気レシーバ２０１と同様に、センサ座標系における自身の位置姿勢に応じて検知される磁場の変化を示す信号を位置姿勢計測装置２０５に出力する。従って位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０３の位置姿勢を求めることができ、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。よって、観察者が器具３０２を手に持ってその位置や姿勢を変化させても、器具３０２の位置姿勢は常に磁気レシーバ２０３によって計測され、その計測された位置姿勢データはコンピュータ４００に入力される。

３０１は簡易試作物３００の観察時に置き場として利用される置き台であり、簡易試作物３００の現実映像の背景としても使われる。

４００はコンピュータで、ＨＭＤ１００の表示装置１０１ａ、１０１ｂに出力すべき画像信号を生成したり、位置姿勢計測装置２０５からのデータを受け、これを管理したり等の処理を行う。このコンピュータは一般的には例えばＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成される。図２２は、コンピュータ４００の基本構成を示す図である。

２２０１はＣＰＵで、ＲＡＭ２２０２やＲＯＭ２２０３に格納されているプログラムやデータを用いてコンピュータ４００全体の制御を行うと共に、Ｉ／Ｆ２２０７に接続される外部装置とのデータ通信の制御を行う。また、コンピュータ４００が行うべき処理として後述する各処理を行う。

２２０２はＲＡＭで、外部記憶装置２２０５からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２２０１が各種の処理を実行する際に必要なワークエリアも備える。

２２０３はＲＯＭで、ブートプログラムやコンピュータ４００の設定データなどを格納する。

２２０４は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、各種の指示をＣＰＵ２２０１に対して入力することができる。

２２０５は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）やＣＰＵ２２０１に、後述する各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部、もしくは全部は、ＣＰＵ２２０１の制御により、ＲＡＭ２２０２にロードされる。また、後述の説明で、既知のデータ（情報）として説明するもの（もしくは以下説明する処理で必要となるべきデータ）もまたこの外部記憶装置２２０５に保存されており、必要に応じてＣＰＵ２２０１の制御により、ＲＡＭ２２０２にロードされる。

２２０６は表示部で、ＣＲＴや液晶画面等により構成されており、画像や文字による各種の情報を表示することができる。

２２０７はＩ／Ｆで、ここに上記位置姿勢計測装置２０５、ＨＭＤ１００等が接続されており、このＩ／Ｆ２２０７を介して、コンピュータ４００は位置姿勢計測装置２０５、ＨＭＤ１００等とのデータ通信を行うことができる。

２２０８は上述の各部を繋ぐバスである。

以上の構成を備えるコンピュータ４００は、カメラ１０２ａ、１０２ｂそれぞれから得られる現実空間の画像を取り込むとと共に、磁気レシーバ２０１、２０２、２０３から得られる位置姿勢に基づいてカメラ１０２ａ、１０２ｂから見える仮想物体の画像を生成する。そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を表示装置１０１ａ、１０１ｂに出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間画像が表示されることになる。

図３は、このコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明するが、各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。

４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれカメラ１０２ａ、１０２ｂより入力した画像をディジタル信号として取り込む。

４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。このデータには、磁気レシーバ２０１、２０２、２０３のセンサ座標系における位置姿勢を示すデータが含まれる。

４０６は、３ＤＣＧ描画データで、仮想空間を構成する仮想物体の画像を生成するためのデータである。３ＤＣＧ描画データには、以下説明する各仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。

４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４から入力される磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ，磁気レシーバ２０２のセンサ座標系における位置姿勢を示すデータ、磁気レシーバ２０３のセンサ座標系における位置姿勢を示すデータを用いて、磁気レシーバ２０１の位置姿勢に対する磁気レシーバ２０２，２０３の相対位置姿勢を求める。

４０７はＣＧレンダリング部で、カメラ１０２ａ、１０２ｂの位置姿勢（磁気レシーバ２０１とカメラ１０２ａ、１０２ｂとの位置姿勢関係を予めバイアスとして求めておけば、磁気レシーバ２０１により計測した位置姿勢にこのバイアスを加えることで、カメラ１０２ａ、１０２ｂの位置姿勢は求めることができる）に応じて見える仮想物体の画像を生成する。なお、ここでの仮想物体とは、定規仮想物体、及び現実物体３００に重畳させる仮想物体である。従って、この２つの仮想物体の画像はそれぞれ、磁気レシーバ２０３、２０２の位置姿勢でもって仮想空間内に配置され、これを位置姿勢算出部４０５が算出したカメラ１０２ａ、１０２ｂの位置姿勢に応じて見える画像となる。なお、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。また、以下では、カメラ１０２ａ、１０２ｂを総称して「視点」と呼称する場合がある。

４０２Ｒ、４０２Ｌはそれぞれ、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２ａの位置姿勢に応じて見える仮想物体の画像、カメラ１０２ｂの位置姿勢に応じて見える仮想物体の画像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。これにより、カメラ１０２ａの位置姿勢に応じて見える複合現実空間の画像、カメラ１０２ｂの位置姿勢に応じて見える複合現実空間の画像を生成することができる。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログデータに変換し、それぞれ表示装置１０１ａ、１０１ｂに映像信号として出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目に対応した複合現実空間の画像が表示される。

以上説明した、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図４を参照して説明する。

先ず、３ＤＣＡＤデータから、簡易試作物３００、３ＤＣＧ描画データを生成するための処理手順について、同図の左側を参照して説明する。

通常、３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合には、３ＤＣＡＤのデータは、それぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。

一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。本複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。生成された３ＤＣＧ描画データ４０６は、コンピュータ４００の外部記憶装置２２０５に保存しておき、必要に応じてＲＡＭ２０２にロードする。

次に、複合現実感システムが行う、この３ＤＣＧ描画データ４０６を用いて仮想空間の画像（仮想物体の画像）を生成し、現実空間の画像に重畳させて観察者に提示する処理について、同図右側を参照して説明する。

簡易試作物３００に備わっている磁気レシーバ２０２は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０１０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０２の位置姿勢（簡易試作物３００の位置姿勢）を示すデータをコンピュータ４００に出力する（２０３０）。

同様に、磁気レシーバ２０１は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０２０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢（上述の通り、バイアスを加算すれば、カメラ１０２ａ、１０２ｂの位置姿勢）を示すデータをコンピュータ４００に出力する（２０３０）。

同様に、磁気レシーバ２０３は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０２５）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０３の位置姿勢（器具３０２の位置姿勢）を示すデータをコンピュータ４００に出力する（２０３０）。

そして位置姿勢算出部４０５、ＣＧレンダリング部４０７により、カメラ１０２ａ、１０２ｂのそれぞれから見える、「定規仮想物体」、「簡易試作物３００に重畳表示すべき仮想物体」の画像を生成する（２０４０）。

「定規仮想物体」の画像の生成について説明すると、先ず、位置姿勢算出部４０５は、処理２０３０でＲＡＭ２０３に記録した「磁気レシーバ２０１の位置姿勢を示すデータ」に上記バイアスを加算して、センサ座標系におけるカメラ１０２ａ、１０２ｂの位置姿勢を求める。

そして更に位置姿勢算出部４０５は、センサ座標系における「磁気レシーバ２０３の位置姿勢」に定規仮想物体を配置する。この定規仮想物体については詳しくは後述するが、本実施形態では定規仮想物体の配置位置に関しては、磁気レシーバ２０３の位置から所定距離だけ離間した位置とするが、磁気レシーバ２０３と定規仮想物体との位置姿勢関係については特に限定するものではない。

そしてＣＧレンダリング部４０７は、位置姿勢算出部４０５が求めた「センサ座標系におけるカメラ１０２ａ、１０２ｂの位置姿勢を示すデータ」、及び「磁気レシーバ２０３の位置姿勢を示すデータ」を用いて、カメラ１０２ａ、１０２ｂの位置姿勢から見える定規仮想物体の画像を生成する。このように、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。

一方、「簡易試作物３００に重畳表示すべき仮想物体」の画像の生成について説明すると、先ず位置姿勢算出部４０５は、センサ座標系における「磁気レシーバ２０２の位置姿勢」に「簡易試作物３００に重畳表示すべき仮想物体」を配置する。そしてＣＧレンダリング部４０７は、位置姿勢算出部４０５が求めた「センサ座標系におけるカメラ１０２ａ、１０２ｂの位置姿勢を示すデータ」、及び「磁気レシーバ２０２の位置姿勢を示すデータ」を用いて、ＣＧレンダリング部４０７がカメラ１０２ａ、１０２ｂの位置姿勢から見える「簡易試作物３００に重畳表示すべき仮想物体」の画像を生成する。

このようにして、カメラ１０２ａ、１０２ｂの位置姿勢に応じて見える「定規仮想物体」、「簡易試作物３００に重畳表示すべき仮想物体」の画像（カメラ１０２ａの位置姿勢に応じて見える画像は右目用の画像、カメラ１０２ｂの位置姿勢に応じて見える画像は左目用の画像である）を生成することができる。なお、生成した画像のデータはＲＡＭ２２０２中の所定のエリアに一時的に記憶される。また、仮想物体の画像を生成するためには外部記憶装置２２０５に保存されている３ＤＣＧ描画データをＲＡＭ２２０２に読み出して用いるものとする。

一方、上記２０１０，２０２０，２０２５，２０３０，２０４０における処理と並行して、カメラ１０２ａ、１０２ｂより撮像された現実空間の画像は映像キャプチャ部４０１Ｒ、４１０Ｌによりコンピュータ４００に入力され（３０１０）、ＲＡＭ２２０２上に描画される（３０２０）。

そして、映像合成部４０２Ｒは、映像キャプチャ部４０１Ｒにより入力された右目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた右目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｒに出力する（４０１０）。

一方、映像合成部４０２Ｌは、映像キャプチャ部４０１Ｌにより入力された左目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた左目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｌに出力する（４０１０）。

即ち、現実空間の画像上への仮想物体の画像の重畳では、カメラ１０２ａからの現実空間の画像上に、カメラ１０２ａの位置姿勢から見える仮想物体の画像を重畳すると共に、カメラ１０２ｂからの現実空間の画像上に、カメラ１０２ｂの位置姿勢から見える仮想物体の画像を重畳する処理を行う。その結果、観察者の右目から見える複合現実空間の画像、左目から見える複合現実空間の画像を生成する。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、受けた複合現実空間の画像をアナログ信号としてのビデオ信号に変換し、Ｉ／Ｆ２２０７を介して表示装置１０１ａに出力する（４０２０）。

そして上記処理２０１０〜処理４０２０までの各処理を、表示装置（１０１ａ、１０１ｂ）における映像更新間隔、あるいは処理２０４の実行時間で繰り返し行うことで、リアルタイムに情報提示を行う。

ここで、上記処理を行うことで、表示装置（１０１ａ、１０１ｂ）に表示される複合現実空間の画像について説明する。図５（ａ）は、カメラ（１０２ａ、１０２ｂ）から得られる現実空間の画像の表示例を示す図である。同図に示す如く、カメラにより撮像された簡易試作物３００、器具３０２、磁気レシーバ２０３が現実空間の画像に含められている。

一方、図５（ｂ）は図４に示した各処理を実行することで、表示装置の表示画面上に表示される表示例を示す図である。同図において５１０は定規仮想物体で、直線のモデル５１９上に目盛り５１２のモデルが配列されているモデルである。

同図では、磁気レシーバ２０３の位置から所定の距離だけ離間した位置に目盛り５１２の「０」が位置するように、且つ器具３０２の長手方向に目盛りが配列されるように（直線のモデル５１９が器具３０２の長手方向に平行に位置するように）、定規仮想物体５１０を配置する。上述の通り、この器具３０２は操作者が手に持ってその位置や姿勢を変化させることができ、磁気レシーバ２０３はこの変化を計測し、そして定規仮想物体５１０は、この計測結果に基づいて配置されるので、その結果として観察者は、定規仮想物体５１０の位置や姿勢を器具３０２でもって操作することができる。

一方、５００は簡易試作物３００に重畳させる仮想物体で、この仮想物体５００の位置姿勢は簡易試作物３００に備わっている磁気レシーバ２０２が計測した位置姿勢である。

よって、操作者は簡易試作物３００、器具３０２のそれぞれを手に持ち、仮想物体５００の任意の部分を見たければ、簡易試作物３００を回転／移動させてその部分をカメラ側に向ければよいし、任意の部分の距離や寸法を測定したい場合には、その部分に器具３０２を近づければ、観察者には、測定対象部分の近傍に定規の仮想物体が見えることになり、その結果、測定対象部分の距離や寸法を測定する事ができる。なお、測定するのが距離や寸法ではなく、角度である場合もある。その場合には、定規の仮想物体ではなく、分度器の仮想物体を用いれば良い。このように、測定器具は何であっても、表示すべき仮想物体のモデルが異なるのみで、コンピュータ４００が行うべき処理は変わらない。また、コンピュータ４００に備わっている操作部２２０４等を用いて、測定器具の仮想物体を切り替えるようにしても良い。

また、測定対象の仮想物体の数を複数にしても、それぞれの測定対象の仮想物体に対応する簡易試作物を用意し、それぞれの簡易試作物に磁気レシーバを装着し、コンピュータ４００がそれぞれの磁気レシーバが計測した結果を得れば、後は、それぞれの簡易試作物について上記「簡易試作物３００に重畳表示すべき仮想物体の生成、表示処理」と同様の処理を行えばよい。

このように、測定器具を仮想物体とするが故に、この測定器具が現実物体によって覆い隠されることがなくなる。これは、仮想物体の画像が、現実空間の画像上に重畳されることに起因する。

なお、本実施形態では、センサとして磁気センサを用いたが、超音波センサなど、他のタイプのセンサを用いても良いことはいうまでもない。

［第２の実施形態］
第１の実施形態では、観察者は一方の手で簡易試作物３００を持ち、他方の手で器具３０２を持っていたが、観察者のシステムに対する熟練度によっては、仮想物体の所望の測定部位に定規を正確に一致させることが困難な場合が発生する。

そこで本実施形態では、仮想空間における定規の位置を固定する。換言すれば、センサ座標系における定規の位置を固定する。

図１８は、本実施形態に係るシステムの外観を示す図である。図１と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムの構成は、第１の実施形態に係るシステムにおいて器具３０２、磁気レシーバ２０３の代わりに、スタイラス３０３を用いた点が、第１の実施形態とは異なる。スタイラス３０３には、磁気レシーバ２０３と同様の機能を有する磁気レシーバと、ボタンが備わっており、この磁気レシーバによる計測結果（スタイラス３０３のセンサ座標系における位置姿勢を示す信号）、ボタンの押下を示す信号はそれぞれ位置姿勢計測装置２０５を介してコンピュータ４００に入力される。

このスタイラス３０３は、第１の実施形態における器具３０２と同様の目的、即ち、定規仮想物体の位置や姿勢を操作するために操作者が操作するものであり、その位置や姿勢を変更すると、その変化はこのスタイラス３０３に備わっている磁気レシーバによって計測され、第１の実施形態における磁気レシーバと同様に、コンピュータ４００に送信される。

定規仮想物体の仮想空間における配置位置は第１の実施形態と同様に、スタイラス３０３の位置（スタイラス３０３に備わっている磁気レシーバの位置）から所定の距離だけ離間した位置に配置するようにしても良いし、これに限定するものではない。

また、スタイラス３０３に備わっているボタンは、後述するモードの切り替えに使用するものであり、押下する毎にモードが切り替わる。

図６は、本実施形態に係るコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明するが、各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。また、同図において図３と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るコンピュータ４００の機能構成は、第１の実施形態の構成にモード選択部４１０が加わった構成となる。

このモード選択部４１０は、スタイラス３０３に備わっているボタンの押下を検知する毎に、モードを切り替える処理を行う。切り替えるモードは本実施形態では「通常モード」と「固定モード」の２つとする。

次に、本実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図７を参照して説明する。なお、図７において、図４に示した処理と同じ部分については同じ番号を付けており、その説明は省略する。ただし本実施形態では、処理２０２５の代わりに処理２０２６を行い、処理２０２６では、スタイラス３０３に備わっている磁気レシーバにより、自身のセンサ座標系における位置姿勢を計測し、処理２０３０で、位置姿勢計測装置２０５は、センサ座標系におけるこの磁気レシーバの位置姿勢（スタイラス３０３の位置姿勢）を示すデータをコンピュータ４００に出力する。

ここで、位置姿勢入力部４０４は、通常モードで位置姿勢計測装置２０５から最後に受信した計測値をＲＡＭ２２０２に保持させる処理を行い、モード選択部４０４でもって設定した現在のモードに応じて、スタイラス３０３の位置姿勢として位置姿勢算出部４０５に出力するべきデータを切り替える（２０５０）。

現在のモードが通常モードである場合には、位置姿勢入力部４０４は、第１の実施形態と同様に、位置姿勢計測装置２０５から受けた「スタイラス３０３の位置姿勢」をそのまま位置姿勢算出部４０５に送出する。

一方、現在のモードが固定モードである場合には、位置姿勢入力部４０４は、ＲＡＭ２２０２に保持させた「通常モードで位置姿勢計測装置２０５から最後に受信したスタイラス３０３の位置姿勢」を読み出し、位置姿勢算出部４０５に送出する。

よって、観察者は測定対象の物体の任意の部分の測定を行いたい場合には、先ずスタイラス３０３に備わっているボタンを押下して通常モードを指示し、定規仮想物体の目盛りの面が観察者に見えるように、スタイラス３０３の位置姿勢を操作する。そしてその状態で、今度はスタイラス３０３に備わっているボタンを押下して固定モードを指示すると、今度はスタイラス３０３を動かしても定規仮想物体の位置姿勢は変化しないので、このスタイラス３０３をどこかにおいても良い。即ち観察者の片手は空くことになる。

そこで、観察者は測定対象の物体における任意の部分を定規仮想物体に近づけ、この部分の測定を行う。この近づける動作は両手を用いて行うことができるので、より正確に測定対象の物体を近づける動作を行うことができる。

なお、本実施形態ではモードの切り替えによって定規仮想物体の位置姿勢を移動させたり固定させたりしているが、予め定規仮想物体を所定の位置姿勢に固定するようにしても良い。その場合には、スタイラス３０３、モード選択部４１０は必要がない。

ここで、上記処理を行うことで、表示装置（１０１ａ、１０１ｂ）に表示される複合現実空間の画像について説明する。図８（ａ）は、カメラ（１０２ａ、１０２ｂ）から得られる現実空間の画像の表示例を示す図である。同図に示す如く、カメラにより撮像された簡易試作物３００、スタイラス３０３が現実空間の画像に含められている。以下、図８（ａ）、（ｂ）、（ｃ）において図５と同じ部分については同じ番号を付けており、その説明を省略する。

一方、図８（ｂ）は図４に示した各処理を通常モードで実行することで、表示装置の表示画面上に表示される表示例を示す図である。定規仮想物体５１０は、第１の実施形態と同様に、スタイラス３０３に備わっている磁気レシーバの位置から所定の距離だけ離間した位置に目盛り５１２の「０」が位置するように、且つスタイラス３０３の長手方向に目盛りが配列されるように、定規仮想物体５１０を配置する。上述の通り、このスタイラス３０３は操作者が手に持ってその位置や姿勢を変化させることができ、スタイラス３０３に備わっている磁気レシーバはこの変化を計測し、そして定規仮想物体５１０は、この計測結果に基づいて配置されるので、その結果として観察者は、定規仮想物体５１０の位置や姿勢をスタイラス３０３でもって操作することができる。

また、図８（ｃ）は図４に示した各処理を固定モードで実行することで、表示装置の表示画面上に表示される表示例を示す図である。同図に示す如く、定規仮想物体５１０の位置、姿勢は、通常モードにおける最後の定規仮想物体５１０の位置姿勢で固定される。

また、本実施形態においても、測定するのが距離や寸法ではなく、角度である場合、定規の仮想物体ではなく、分度器の仮想物体を用いれば良いし、コンピュータ４００が行うべき処理は変わらない。また、コンピュータ４００に備わっている操作部２２０４等を用いて、測定器具の仮想物体を切り替えるようにしても良い。

また、本実施形態においても第１の実施形態と同様に、測定対象の仮想物体の数を複数にしても良いことはいうまでもない。

なお、本実施形態においてもセンサとして磁気センサを用いたが、超音波センサなど、他のタイプのセンサを用いても良いことはいうまでもない。

以上説明したように、本実施形態では、定規仮想物体を空間中の任意の位置、姿勢に固定設置することで、ユーザが定規仮想物体の位置姿勢を保持することを不要にし、測定対象の２点に定規仮想物体を合わせることを容易にする効果が得られる。

なお、本実施形態ではモードの切り替えをスタイラス３０３に備わっているボタンでもって行ったが、これに限定するものではなく、例えば操作部２２０４に含まれるキーボードの所定のボタンの押下、マウスのボタンのクリックなどによりモードを切り替えるようにしても良い。その場合には、この操作部２２０４からの押下信号はモード選択部４１０に入力されることになる。

また、以上の説明では、定規仮想物体と仮想物体５００との衝突判定については考慮していないが、仮想物体５００を優先的に表示する（常に仮想物体５００を手前に表示する）ようにすれば、現実世界ではノギスを使わなくては測定不可能であった物体の表裏にまたがった２点間の距離を測定することが可能である。これは第１の実施形態についても同様である。

［第３の実施形態］
上記第１，２の実施形態では、現実世界ではノギスを使わなくては測定不可能であった物体の表裏の２点間を測定することが可能な例を示した。しかしこのような場合、定規仮想物体５１０、簡易試作物３００（仮想物体５００）、視点、のそれぞれの位置姿勢関係によっては、定規仮想物体５１０と簡易試作物３００（仮想物体５００）との交点（即ち、直線のモデル５１９と簡易試作物３００との交点）における仮想定規目盛５１２を読み取ることに困難な場合が発生する。

本実施形態では、定規仮想物体５１０と簡易試作物３００との交点に仮想定規目盛５１２の値を表示することで、測定のための読み取りを容易にする。

本実施形態に係るシステムの外観については第１，２の実施形態の何れと同じでも良いが、以下の説明では第２の実施形態と同じであるとする。即ち、以下の説明の本質は、定規仮想物体５１０の位置姿勢を操作する手段が器具３０２であっても、スタイラス３０３であっても同じであるので、本実施形態に係るシステムの外観については第１，２の実施形態の何れと同じでも良い。

図９は、本実施形態に係るコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明するが、各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。また、同図において図６と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るコンピュータ４００の機能構成は、第２の実施形態の構成に交点算出部４２０が加わった構成となる。

しかし上述の通り、以下の説明の本質は、定規仮想物体５１０の位置姿勢を操作する手段が器具３０２であっても、スタイラス３０３であっても同じであるので、コンピュータ４００の機能構成についても第１の実施形態におけるコンピュータ４００の機能構成に交点算出部４２０を加えるようにしても良い。

この交点算出部４２０は、定規仮想物体５１０を構成する直線のモデル５１９と仮想物体５００との交点を求める処理を行う。この交点を求める方法としては、例えば、仮想物体５００がポリゴンモデルである場合には、各ポリゴンとモデル５１９が示す直線との交点判定処理を行う。ポリゴンと直線との交点を求める方法については周知の技術であるので、これについての詳細な説明は省略する。

そして直線のモデル５１９上の交点の位置が分かれば、その交点の位置に対応する目盛り（測定値）を決定する処理を行う。これは例えば直線のモデル５１９の一端（「０」の目盛りを示すモデル）の座標位置をＰ０，他端（定規仮想物体５１０の目盛りが「３０」まで付けられている場合には「３０」の目盛りを示すモデル）の座標位置をＰ３０、求めた交点をＰｃとすると、求めるべき目盛りの値ｍは、以下の式に従って求めることができる。

よって、交点算出部４２０は、目盛りの値ｍを示すデータと、交点Ｐｃのデータとを後段のＣＧレンダリング部４０７に出力する。ＣＧレンダリング部４０７は、上記実施形態と同様にして仮想物体の画像を生成すると共に、交点Ｐｃの位置近傍に、目盛りの値ｍを観察者に報知するための仮想物体（交点報知仮想物体）を配置し、この交点報知仮想物体を観察者の視点から見た場合の画像を生成する。
即ち、本実施形態では、ＣＧレンダリング部４０７は観察者の視点から見た定規仮想物体５１０、仮想物体５００、交点報知仮想物体の画像を生成することになる。

次に、本実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図１０を参照して説明する。なお、図１０において、図７に示した処理と同じ部分については同じ番号を付けており、その説明は省略する。

本実施形態では、第２の実施形態における処理に加えて、交点算出部４２０による上記交点を求める処理、求めた交点に対応する目盛りを求める処理を行う（２０３５）。そして処理２０４０では、第２の実施形態と同様に、定規仮想物体５１０、仮想物体５００のレンダリング処理を行うと共に、交点報知仮想物体のレンダリング処理を行う。

ここで、上記処理を行うことで、表示装置（１０１ａ、１０１ｂ）に表示される複合現実空間の画像について説明する。図１１（ａ）は、交点報知仮想物体を表示せずに、定規仮想物体５１０と仮想物体５００との表示例を示す図である。同図に示す如く、表示装置の表示画面上には上記処理で生成した仮想物体５００の映像、及び定規仮想物体５１０の映像が表示されている。以下、図１１（ａ）、（ｂ）において図８と同じ部分については同じ番号を付けており、その説明を省略する。

一方、図１１（ｂ）は、図１１（ａ）に示した表示に加えて、交点位置近傍に交点報知仮想物体を配置した場合の表示例を示す図である。同図では交点６０１，６０２の位置近傍に交点報知仮想物体７０１，７０２が配置されている。なお、同図では、交点６０１の位置に基づく目盛りの値ｍは１．４で、交点６０２の位置に基づく目盛りの値ｍは４．２である。

ここで、交点位置の目盛りの値を報知する以外に、目盛り間の距離、即ち、寸法を報知しても良い。その場合には、求めた目盛り間の差分を計算し、それを報知するための報知仮想物体を仮想物体５００近傍位置に配置するようにすれば良い。その場合、目盛り間の距離の計算は交点算出部４２０が行い、その計算結果をＣＧレンダリング部４０７に通知する。ＣＧレンダリング部４０７は通知された距離を示す報知仮想物体を生成し、仮想物体５００近傍位置に配置する。これ以降の処理は上記処理と同じであるので説明は省略する。

図１２は、図１１（ａ）に示した表示に加えて、目盛り間（交点６０１の位置の目盛りと交点６０２の位置の目盛りとの間）の距離を報知する報知仮想物体を交点６０２の位置に配置した場合の表示例を示す図である。同図の場合、交点算出部４２０は、交点６０１の位置の目盛り「１．４」と交点６０２の位置の目盛り「４．２」との間の距離「２．８」を求め、これをＣＧレンダリング部４０７に通知する。ＣＧレンダリング部４０７はこの「４．２」の数値データを受け、例えば一枚ポリゴンに「４．２」の数字が記載されたテクスチャを張り付けることで報知仮想物体を生成し、交点６０２の位置にこの報知仮想物体１２０１を配置する。そして以降の処理は上記実施形態と同様に行うことで、表示装置の表示画面上には、同図に示す如く表示画面が表示される。

また、交点の位置を強調表示するようにしても良い。図１３は、その強調表示の例を示す図で、図１３（ａ）は交点位置に球体１３０１を配置することで交点位置を強調した表示例を示す図で、図１３（ｂ）は交点位置に線分１３０２を通過させるように配置したことにより交点位置を強調した表示例を示す図である。このようにすることで、交点位置を強調することができる。なお、交点位置の強調方法はこれに限定するものではなく、様々な形態が考えられる。例えば、球体１３０１の色を仮想物体５００の色の補色となるような色にするようにしても良いし、時間軸方向にその色を変化させるようにしても良い。これは線分１３０２についても同様である。

また、定規仮想物体５１０と仮想物体５００との交点が求まったか否かに応じて、定規仮想物体５１０の色を変化させるようにしても良い。

図１４は、その色の変化について説明する図で、図１４（ａ）は、交点が求まっていない（即ち交点が存在しない）場合の、表示装置の表示画面上における表示例を示す図で、同図に示す如く、この表示画面には定規仮想物体５１０と仮想物体５００とが表示されており、且つ定規仮想物体５１０については上記実施形態と同様に表示している。図１４（ｂ）は、交点が求まった（即ち交点が存在する）場合の、表示装置の表示画面上における表示例を示す図で、同図に示す如く、この表示画面には定規仮想物体５１０と仮想物体５００とが表示されており、且つ定規仮想物体５１０については透明色で表示している。即ち、定規仮想物体５１０を構成する目盛りのモデル５１２、直線のモデル５１９を透明色に表示している。モデルを透明色に表示する為には、例えばこれらのモデルがポリゴンモデルである場合には、ポリゴン色に対するα値を下げれば良く、その方法については特に限定するものではない。また同図では球体１３０１の表示により交点位置を強調しているが、これに限定するものではない。このように、交点が存在する場合に、定規仮想物体５１０を透明色にすることで、交点位置が見やすくなる。

また、定規仮想物体５１０と仮想物体５００との交点が求まったか否かに応じて変化させる定規仮想物体５１０の色については上記説明のように限定するものではない。

このように、定規仮想物体５１０と仮想物体５００との交点が求まったか否かに応じて定規仮想物体５１０の色を変化させることで、観察者は交点が存在するか否かを認識しやすくなる。

また、本実施形態で説明した各種の技術を適宜組み合わせるようにしても良い。

以上説明したように、本実施形態では、仮想物体と簡易試作物との交点位置における目盛の値を画面中に表示することで、ユーザが計測時に値を読み取ることを容易にしている。また交点の表示を特別なものにすることで、測定対象の２点が正しく指定されているのか一目でわかるようにする効果が得られる。

［第４の実施形態］
第１乃至３の実施形態では、定規仮想物体５１０の目盛の間隔は一定であったため、ユーザの視点位置と定規仮想物体５１０との距離が遠くなったり、定規仮想物体５１０の長手方向とユーザの視線との成す角度が平行に近くなったりすると、表示装置の表示画面上において目盛同士の間隔が無くなりつぶれて表示されることが発生する。

よって本実施形態ではこのような問題に鑑み、視点と定規仮想物体５１０との位置姿勢関係に応じて、定規仮想物体５１０の目盛りの間隔や単位系を適宜変更する。

本実施形態に係るシステムの外観については第１乃至３の実施形態の何れと同じでも良いが、以下の説明では第３の実施形態と同じであるとする。即ち、以下の説明の本質は、定規仮想物体５１０の位置姿勢を操作する手段が器具３０２であっても、スタイラス３０３であっても同じであるので、本実施形態に係るシステムの外観については第１乃至３の実施形態の何れと同じでも良い。

図１５は、本実施形態に係るコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明するが、各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。また、同図において図９と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るコンピュータ４００の機能構成は、第３の実施形態の構成に目盛り制御部４５０が加わった構成となる。

しかし上述の通り、以下の説明の本質は、定規仮想物体５１０の位置姿勢を操作する手段が器具３０２であっても、スタイラス３０３であっても同じであるので、コンピュータ４００の機能構成についても第１の実施形態におけるコンピュータ４００の機能構成や第２の実施形態におけるコンピュータ４００の機能構成に交点算出部４２０を加えるようにしても良い。

目盛り制御部４５０は、位置姿勢算出部４０５により得られる、視点の位置姿勢と、定規仮想物体５１０の位置姿勢の関係によって、定規仮想物体５１０を構成する目盛りのモデル５１２の間隔、及び目盛りの単位系の計算を行う。その計算結果はＣＧレンダリング部４０７に出力される。

本実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図１６を参照して説明する。なお、図１６において、図１０に示した処理と同じ部分については同じ番号を付けており、その説明は省略する。

本実施形態では、第３の実施形態における処理に加えて、目盛り制御部４５０による目盛り制御処理を行う（２０３７）。より具体的には、表示装置の表示画面上における定規仮想物体５１０の長さを計算し、この長さにおいて目盛りがつぶれて見えないように目盛単位系、目盛数、目盛間隔を計算する。例えば、画面上で最低限必要な目盛間隔のピクセル数を予め求めておき、定規仮想物体５１０の長さのピクセル数を最低限必要な目盛間隔のピクセル数で除算して目盛数を決定したり、目盛数が予め所定数（予め求めておく数）以上の場合には、１つ大きな単位系（たとえばｍｍをｃｍ）にして目盛数を再計算したりすればよい。

また、その他の方法としては、予め視点と定規仮想物体５１０との距離を１０段階に分け、各段階における目盛り間隔を決めておく。そして実際に位置姿勢算出部４０５により得られる視点と定規仮想物体５１０との距離が上記１０段階の何れの段階であるのかを特定し、特定した段階に応じた目盛り間隔で目盛りのモデル５１２を直線のモデル５１９上に配置する。当然、間隔が大きいと、配列する目盛りのモデル５１２の数も少なくなる。そして、その間隔に目盛りを取った場合の各目盛りの値を第３の実施形態で説明したようにして求める。

また、予め視点と定規仮想物体５１０との姿勢の差を１０段階に分け、各段階における目盛り間隔を決めておく。そして実際に位置姿勢算出部４０５により得られる視点と定規仮想物体５１０との姿勢差が上記１０段階の何れの段階であるのかを特定し、特定した段階に応じた目盛り間隔で目盛りのモデル５１２を直線のモデル５１９上に配置する。当然、間隔が大きいと、配列する目盛りのモデル５１２の数も少なくなる。そして、その間隔に目盛りを取った場合の各目盛りの値を第３の実施形態で説明したようにして求める。

そして目盛り制御部４５０は、このようにして決定した間隔を示すデータをＣＧレンダリング部４０７に送出する。ＣＧレンダリング部４０７は目盛り制御部４５０から受けた間隔を示すデータを用いて、その間隔で直線のモデル５１９上に目盛りのモデル５１２を配列し、定規仮想物体５１０を生成する。

このように、視点と定規仮想物体５１０との位置姿勢関係に応じて目盛りの間隔を変更することで、常に目盛りが見やすい定規仮想物体５１０を生成することができる。

そして処理２０４０では、第３の実施形態と同様に、定規仮想物体５１０、仮想物体５００のレンダリング処理を行うと共に、交点報知仮想物体のレンダリング処理を行う。

ここで、上記処理を行うことで、表示装置（１０１ａ、１０１ｂ）に表示される複合現実空間の画像について説明する。図１７（ａ）は、視点の位置が定規仮想物体５１０の位置に比較的近い位置にある場合に表示装置の表示画面上に表示される表示例を示す図である。同図に示す如く、「０」、「１」、「２」、「３」、、、の各目盛りのモデル５１２が直線のモデル５１９上に配列されている。即ち、目盛り間の間隔が「１」である。

図１７（ｂ）は、視点の位置と定規仮想物体５１０の位置との間の距離がより遠くなった場合に表示装置の表示画面上に表示される表示例を示す図である。同図に示す如く、「０」、「２」、「４」、、の各目盛りのモデル５１２が直線のモデル５１９上に配列されている。即ち、目盛り間の間隔が「２」である。

図１７（ｃ）は、視点の姿勢（即ち視線方向）と定規仮想物体５１０の姿勢とが、互いに平行に近い場合に表示装置の表示画面上に表示される表示例を示す図である。

以上説明したように、本実施形態では定規仮想物体５１０と視点との位置姿勢関係を考慮して目盛の数、間隔、単位系を調整することによって、定規仮想物体５１０の目盛りのつぶれの防止する効果が得られる。

［第５の実施形態］
本実施形態では、定規仮想物体５１０でもって仮想物体５００を測定する別の方法について説明する。

尚、本実施形態に係るシステムの外観については第２の実施形態と同じ、即ち、図１８に示した外観を備える。

図１９は、本実施形態に係るコンピュータ４００の機能構成を示すブロック図である。本実施形態に係るコンピュータ４００の機能構成については、第４の実施形態に係るものと基本的には同じであるが、モード選択部における動作が異なると共に、位置姿勢算出部４０５による定規仮想物体５１０の位置姿勢の取り扱いが異なる。

先ず、このモード選択部１９０１について説明する。モード選択部１９０１は、スタイラス３０３に備わっているボタンの押下を検知すると、検知する毎にモードを切り替える。本実施形態ではこのモードには３種類あり、通常モード、位置固定モード、位置姿勢固定モードである。位置固定モードと位置姿勢固定モードは定規仮想物体５１０と仮想物体５００との交点が存在する場合のみ利用可能なモードで、交点が存在しない場合はこれらのモードへの切り替えは行われない。

次に、各モードについて説明する。

通常モードは第２の実施形態と同様なものであり、このモードの場合、位置姿勢入力部４０４は、第１の実施形態と同様に、位置姿勢計測装置２０５から受けた「スタイラス３０３の位置姿勢」をそのまま位置姿勢算出部４０５に送出する。

位置固定モードは定規仮想物体５１０と仮想物体５００との交点のうち１つの交点で定規仮想物体５１０の位置を固定するモードである。このモードでは、定規仮想物体５１０はこの交点において仮想物体５００に拘束され、仮想物体５００に対する姿勢のみをスタイラス３０３で操作することができる。具体的な操作としては、定規仮想物体５１０の自由端の空間中における位置をスタイラス３３０で制御することで実現される。

位置姿勢固定モードは定規仮想物体５１０と仮想物体５００との２つの交点で定規仮想物体５１０の位置姿勢を固定するモードである。このモードでは定規仮想物体５１０を単独で操作することはできない。

モード選択部１９０１は、このような３つのモードのうち現在選択されているモードを示すデータを位置姿勢算出部４０５に出力する。位置姿勢算出部４０５は、モード選択部１９０１から受けたモードデータに基づいて、定規仮想物体５１０の位置姿勢を制御する。

次に、本実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図２０を参照して説明する。なお、図２０において、図１６に示した処理と同じ部分については同じ番号を付けており、その説明は省略する。

同図に示した処理の手順は、図１６に示した処理手順において処理２０３０を処理２９００とした点、そしてモード設定の結果は処理２０２６ではなく、処理２９００で参酌する点が異なる。なお処理２９００では処理２０３０に加えて、上記モードに応じて定規仮想物体５１０の位置姿勢を制御する処理を行う。以下、処理２９００について説明する。

処理２９００では、先ず、位置姿勢算出部４０５は上記モードを示すデータを受け、このデータを参照して現在のモードが通常モード、位置固定モード、位置姿勢固定モードの何れであるのかを判断する。

そして通常モードである場合、位置姿勢計算部４０５は、位置姿勢情報入力部４０４から入力したスタイラス３０３の位置姿勢をそのままＣＧレンダリング部４０７に送出する。即ち、通常モードである場合には第３の実施形態と同じである。またこのとき交点算出部４２０は動作しない。

一方、位置固定モードである場合、位置姿勢算出部４０５は、位置姿勢情報入力部４０４から入力したスタイラス３０３の位置姿勢を交点算出部４２０に出力する。交点算出部４２０は上述の通り、定規仮想物体５１０と仮想物体５００との交点を求める処理を行う。そして、求めた交点のうち、視点の位置に最も距離的に近い交点（固定点１）の位置を特定する。

また、このときの定規仮想物体５１０の姿勢に関しては、定規仮想物体５１０の長手方向がこの固定点１とスタイラス３０３の位置とを結ぶ線分と平行になるような姿勢である。このような姿勢は、交点算出部４２０によって求める。

よって、定規仮想物体５１０は、固定点１の位置を軸に、この固定点１とスタイラス３０３の位置とを結ぶ線分と平行になるような姿勢（指示姿勢）に変更した状態で配置することになる。

よって交点算出部４２０は、固定点１の位置データ、及び指示姿勢のデータを、位置姿勢算出部４０５に出力する。位置姿勢算出部４０５は、このような位置データ、指示姿勢のデータを受け、固定点１の位置を軸に指示姿勢になるように定規仮想物体５１０を回転させる。これにより、定規仮想物体５１０の位置姿勢が決定する。即ち、スタイラス３０３の位置と固定点１とを結ぶ線分上には定規仮想物体５１０が位置することになる。

よって観察者は、スタイラス３０３でもって定規仮想物体５１０の姿勢を操作することができる。その場合、定規仮想物体５１０の姿勢は固定点１を軸にして変化することになる。また、位置姿勢算出部４０５は、現在の仮想物体５００の位置姿勢データ、定規仮想物体５１０の位置姿勢データをＲＡＭ２２０２に記録する処理を行う。

また、位置姿勢固定モードである場合、位置姿勢算出部４０５は仮想物体５００と定規仮想物体５１０との位置姿勢関係を固定する。即ち、上記ＲＡＭ２２０２に記録したそれぞれの位置姿勢データを用いて仮想物体５００の位置姿勢を基準とした定規仮想物体５１０の位置姿勢（相対位置姿勢）を求め、そして位置姿勢固定モードにおける定規仮想物体５１０の位置姿勢は、現在の仮想物体５００の位置姿勢にこの相対位置姿勢を加算した結果を用いるものとする。これにより、仮想物体５００と定規仮想物体５１０との位置姿勢関係は固定される。なお、位置姿勢固定モードでは、ＲＡＭ２２０２への位置姿勢データの記録は行わない。

ここで、上記処理を行うことで、表示装置（１０１ａ、１０１ｂ）に表示される複合現実空間の画像について図２１を用いて説明する。

図２１（ａ）は、通常モードにおいて、仮想物体２１００の測定したい２点のうち一方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作している際に表示装置の表示画面上に表示される表示例を示す図である。

同図に示す如く、仮想物体２１００と定規仮想物体２１０１とは２つの交点を有しており、一方の交点（後述の交点２）における目盛りの値は「２．６」であるので、この目盛りの値を報知するための報知仮想物体２１０２がこの一方の交点の位置近傍に配置されている。また、他方の交点（同図では交点１）における目盛りの値は「１．４」であるので、この目盛りの値を報知するための報知仮想物体２１０３がこの一方の交点の位置近傍に配置されている。

図２１（ｂ）は、通常モードにおいて、仮想物体２１００の測定したい２点のうち一方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作した後に、１つの固定点を位置固定モードでもって固定した際の表示装置の表示画面上に表示される表示例を示す図である。

ここで、測定したい２点のうち一方が交点１であるとすると、位置固定モードを選択すれば、この仮想物体２１００は以降、交点１で拘束されることになる。また、スタイラス３０３は、定規仮想物体２１０１の一端の位置を操作することができるようになり、これにより、定規仮想物体２１０１の姿勢を交点１を軸として制御することができる。

図２１（ｃ）は、位置固定モードにおいて、仮想物体２１００の測定したい２点のうち他方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作している際に表示装置の表示画面上に表示される表示例を示す図である。

スタイラス３０３でもって定規仮想物体２１０１の一端の位置を操作することにより、定規仮想物体２１０１の姿勢を交点１を軸として制御することができる。同図では、測定したい２点のうち他方の点を交点２’とすべく操作している。また同図では、交点２’における目盛りの値は「２．０」であるので、この目盛りの値を報知するための報知仮想物体２１０５がこの一方の交点の位置近傍に配置されている。

図２１（ｄ）は、位置固定モードにおいて、仮想物体２１００の測定したい２点のうち他方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作した後に、定規仮想物体２１０１と仮想物体２１００との位置姿勢関係を固定した際の表示装置の表示画面上に表示される表示例を示す図である。

ここで、測定したい２点のうち他方が交点２であるとすると、位置姿勢固定モードを選択すれば、この仮想物体２１００は以降、更に交点２で拘束されることになる。即ち、定規仮想物体２１０１と仮想物体２１００との相対位置姿勢関係を固定したことになる。

これにより、仮想物体２１００の位置姿勢を自由に変更して指定した２点が仮想物体２１００上の正しい位置にあることをゆっくりと確かめたり、目盛の値を固定して読み取ったりすることが可能となる。

以上説明したように、本実施形態では上記各モードにおける操作によって、ユーザが簡易試作物上の距離計測対象点指定を容易にすることが可能となる。さらにユーザの定規仮想物体や簡易試作物の保持の手間を軽減することが達成できる。

［第６の実施形態］
簡易試作物３００は最終的な製品や部品と同じ大きさ（実寸大）であることが望ましいが、実寸大ではユーザが手で持って扱うことが不可能なほど巨大もしくは微小な大きさであることも想定される。このような場合、簡易試作物３００はユーザが扱える縮尺で作成すると同時に簡易試作物３００の縮尺に合わせて定規仮想物体５１０の縮尺を変更して、正しく測定を行えるようにする。

本実施形態が適用可能なシステムの構成については上記実施形態の何れであっても良いのであるが、何れの場合にも、簡易試作物３００に対する縮尺を示すパラメータを予めコンピュータ４００のＲＡＭ２２０２に保持させておき、この縮尺に応じて定規仮想物体５１０の各目盛りの値を計算する。

例えば縮尺を示すパラメータが「１センチが１メートル」を示すものである場合には、目盛りは１センチ毎に「１メートル」、「２メートル」、、、を示す目盛りを直線のモデル５１９上に配置する。

以上説明したように、本実施形態では簡易試作物３００（仮想物体５００）、定規仮想物体５１０を同じ縮尺値で扱うようにすることで、実寸大の簡易試作物が手で持って扱えないほど巨大、微小であった場合でもシステムの利便性を損なわずに正しい測定が行えるようにすることを可能とした。

尚、上記各実施形態では、ＨＭＤとしてビデオシースルータイプのものを用いて説明したが、光学シースルー型のものを用いても良く、その場合、上記説明において、現実空間の映像を取り込む処理、及び仮想物体の映像と現実空間の映像との合成処理は行わず、表示装置に出力すべき映像は仮想物体の映像のみとなる。

また、定規仮想物体をの位置や姿勢を操作するための手段については器具３０２、スタイラス３０３に限定するものはなく、様々なものが考えられる。またそれに応じて、モードの切り替えなどの操作方法についても操作手段に応じて様々なものが考えられる。

また、上記各実施形態では、定規仮想物体５１０は直線のモデル５１９とその直線上に配列される目盛りのモデル５１２とで構成されるとして説明したが、その構成については限定するものではなく、各目盛りの位置が把握できるのであれば、透明のポリゴンにメモリのついたテクスチャを張り付けたものを定規仮想物体５１０として用いるようにしても良い。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供すると共に、現実空間中の物体（現実物体）に対する測定を可能にさせるためのシステムの外観を示す図である。ＨＭＤ１００の具体的な構成を示す図である。コンピュータ４００の機能構成を示す図である。観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。（ａ）は、カメラ（１０２ａ、１０２ｂ）から得られる現実空間の画像の表示例を示す図、（ｂ）は図４に示した各処理を実行することで、表示装置の表示画面上に表示される表示例を示す図、本発明の第２の実施形態に係るコンピュータ４００の機能構成を示す図である。本発明の第２の実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。（ａ）は、カメラ（１０２ａ、１０２ｂ）から得られる現実空間の画像の表示例を示す図、（ｂ）は図４に示した各処理を通常モードで実行することで、表示装置の表示画面上に表示される表示例を示す図、（ｃ）は図４に示した各処理を固定モードで実行することで、表示装置の表示画面上に表示される表示例を示す図である。本発明の第３の実施形態に係るコンピュータ４００の機能構成を示す図である。本発明の第３の実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。（ａ）は、交点報知仮想物体を表示せずに、定規仮想物体５１０と仮想物体５００との表示例を示す図、（ｂ）は、（ａ）に示した表示に加えて、交点位置近傍に交点報知仮想物体を配置した場合の表示例を示す図である。図１１（ａ）に示した表示に加えて、目盛り間（交点６０１の位置の目盛りと交点６０２の位置の目盛りとの間）の距離を報知する報知仮想物体を交点６０２の位置に配置した場合の表示例を示す図である。（ａ）は交点位置に球体１３０１を配置することで交点位置を強調した表示例を示す図、（ｂ）は交点位置に線分１３０２を通過させるように配置したことにより交点位置を強調した表示例を示す図である。（ａ）は、交点が求まっていない（即ち交点が存在しない）場合の、表示装置の表示画面上における表示例を示す図、（ｂ）は、交点が求まった（即ち交点が存在する）場合の、表示装置の表示画面上における表示例を示す図である。本発明の第４の実施形態に係るコンピュータ４００の機能構成を示す図である。本発明の第４の実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。（ａ）は、視点の位置が定規仮想物体５１０の位置に比較的近い位置にある場合に表示装置の表示画面上に表示される表示例を示す図、（ｂ）は、視点の位置と定規仮想物体５１０の位置との間の距離がより遠くなった場合に表示装置の表示画面上に表示される表示例を示す図、（ｃ）は、視点の姿勢（即ち視線方向）と定規仮想物体５１０の姿勢とが、互いに平行に近い場合に表示装置の表示画面上に表示される表示例を示す図である。本発明の第２の実施形態に係るシステムの外観を示す図である。本発明の第５の実施形態に係るコンピュータ４００の機能構成を示すブロック図である。本発明の第５の実施形態に係る、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。（ａ）は、通常モードにおいて、仮想物体２１００の測定したい２点のうち一方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作している際に表示装置の表示画面上に表示される表示例を示す図、（ｂ）は、通常モードにおいて、仮想物体２１００の測定したい２点のうち一方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作した後に、１つの固定点を位置固定モードでもって固定した際の表示装置の表示画面上に表示される表示例を示す図、（ｃ）は、位置固定モードにおいて、仮想物体２１００の測定したい２点のうち他方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作している際に表示装置の表示画面上に表示される表示例を示す図、（ｄ）は、位置固定モードにおいて、仮想物体２１００の測定したい２点のうち他方の点が交点となるように、仮想物体２１００と定規仮想物体２１０１（同図では定規の直線部分（直線のモデル５１９に相当）のみを示している）の位置姿勢を操作した後に、定規仮想物体２１０１と仮想物体２１００との位置姿勢関係を固定した際の表示装置の表示画面上に表示される表示例を示す図である。コンピュータ４００の基本構成を示す図である。

Claims

現実空間に仮想物体の画像を合成して観察者に提示する画像処理方法であって、
観察者視点からの現実画像を入力する現実画像入力工程と、
前記観察者視点の位置姿勢、前記現実画像に含まれる第１の現実物体の位置姿勢および前記現実画像に含まれる第２の現実物体の位置姿勢を取得する取得工程と、
前記第１の現実物体に対応する第１の仮想物体の画像を前記観察者視点の位置姿勢と前記第１の現実物体の位置姿勢に基づいて生成するとともに、仮想空間内で前記第１の仮想物体を計測するための第２の仮想物体の画像を前記観察者視点の位置姿勢と前記第２の現実物体の位置姿勢に基づいて生成する画像生成工程と、
前記現実画像、前記第１の仮想物体画像および前記第２の仮想物体画像とを合成して出力する出力工程と
を備えることを特徴とする画像処理方法。
前記画像生成工程は、第２の現実物体の位置から所定距離だけ離間した位置に第２の仮想物体の画像を生成する請求項１に記載の画像処理方法。
仮想空間内で前記第２の仮想物体画像を固定するか否かを指示する指示工程を有し、前記指示工程によって前記第２の仮想物体画像の固定が指示される場合には、前記画像生成工程は、第２の現実物体の位置姿勢に関わらない固定された前記第２の仮想物体画像を生成する請求項１または２に記載の画像処理方法。
仮想空間内で前記第１の仮想物体と前記第２の仮想物体が交わる場合に、前記第１の仮想物体と前記第２の仮想物体との交点を求める交点計算工程を有することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理方法。
前記画像生成工程は、前記交点計算工程によって求めた交点位置を強調表示するための仮想物体を生成することを特徴とする請求項４に記載の画像処理方法。
前記画像生成工程は、前記交点位置を強調表示するための仮想物体は前記第１の仮想物体の色と異なる色に設定されることを特徴とする請求項５に記載の画像処理方法。
前記画像生成工程は、仮想空間内で前記第１の仮想物体と前記第２の仮想物体が交わる場合に、前記第２の仮想物体の色を透明色に変更することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理方法。
前記第２の仮想物体は第１の仮想物体を計測可能な仮想計測器具であることを特徴とする請求項１ないし７のいずれか１つに記載の画像処理方法。
前記第２の仮想物体は仮想定規であって、仮想空間内で前記第１の仮想物体と前記仮想定規が交わる場合に、前記第１の仮想物体と前記仮想定規との交点を求める交点計算工程を有し、前記画像生成工程は前記交点計算工程によって求めた交点位置に前記仮想定規の計測値を前記観察者に提示するための仮想物体を生成することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理方法。
前記第２の仮想物体は仮想定規であって、仮想空間内で前記第１の仮想物体と前記仮想定規が交わる場合に、前記第１の仮想物体と前記仮想定規との交点を求める交点計算工程を有し、前記画像生成工程は前記交点計算工程によって求めた交点位置間の前記仮想定規の計測値を前記観察者に提示するための仮想物体を生成することを特徴とする請求項１ないし３のいずれか１つに記載の画像処理方法。
仮想空間内で前記第１の仮想物体と前記第２の仮想物体が交わる場合に、前記画像生成工程は、第２の現実物体の位置姿勢に関わらない固定された前記第２の仮想物体画像を生成する請求項１または２に記載の画像処理方法。
前記画像生成工程は、前記第１の仮想物体と前記第２の仮想物体との交点位置で固定された前記第２の仮想物体画像を生成することを特徴とする請求項１１に記載の画像処理方法。
現実空間に仮想物体の画像を合成して観察者に提示する画像処理装置であって、
観察者視点からの現実画像を入力する現実画像入力手段と、
前記観察者視点の位置姿勢、前記現実画像に含まれる第１の現実物体の位置姿勢および前記現実画像に含まれる第２の現実物体の位置姿勢を取得する取得手段と、
前記第１の現実物体に対応する第１の仮想物体の画像を前記観察者視点の位置姿勢と前記第１の現実物体の位置姿勢に基づいて生成するとともに、仮想空間内で前記第１の仮想物体を計測するための第２の仮想物体の画像を前記観察者視点の位置姿勢と前記第２の現実物体の位置姿勢に基づいて生成する画像生成手段と、
前記現実画像、前記第１の仮想物体画像および前記第２の仮想物体画像とを合成して出力する出力手段と
を備えることを特徴とする画像処理装置。
コンピュータに請求項１乃至１２の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
請求項１４に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。