JP2018073095A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】現実物体に仮想物体を重畳表示するために、仮想物体の縮尺を現実物体の縮尺に合わせる技術を提供する。【解決手段】現実物体に重畳表示するための仮想物体のデータを作成する画像処理装置が、前記現実物体の形状から作成された三次元形状データを取得する物体形状取得手段と、前記現実物体に対応する三次元モデルを定義するモデルデータを対応データとして取得する対応データ取得手段と、前記三次元形状データと前記対応データに基づいて、前記三次元モデルに対する前記現実物体の縮尺を計算する縮尺計算手段と、前記縮尺計算手段により計算された縮尺で、前記対応データから仮想物体のデータを作成する仮想物体作成手段と、を有する。【選択図】図２

Description

本発明は画像処理を行う画像処理装置および画像処理方法に関するものである。

従来、三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ Ｄｅｓｉｇｎ）システムを用いて設計された製品の操作性、デザイン、メンテナンス性などを検証するためには、アルミ材や発泡樹脂を用いて試作品を作製していた。しかし、設計変更のたびに試作品を作製して検証を行うのは、そのたびに試作品作製のためのコストがかかることが課題であった。そのため、物体があたかも現実に存在するかのように利用者に仮想物体を提示するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術が、試作品を利用した検証の代替として利用されてきた。

また近年、現実空間上に仮想物体を重畳表示することで複合現実感を与える、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が普及しはじめている。このＭＲ技術も製品の設計・検証に利用される機会が増えてきている。

ＭＲ技術を利用すると、１つの試作品（現実物体）の上に、モデルデータから生成した様々な仮想物体を重畳表示することで、製品のカラーバリエーションやデザインバリエーションを容易に生成できる。また、製品の主要部分のみを試作品として用意し、残りの部分（オプションパーツ、形状のバリエーションなど）については仮想物体で表現することも可能である。これにより、現実物体である試作品で操作性や触感の検証を行いつつ、色、模様、細部の形状などの外観デザインについては仮想物体で検証することができるため、検証作業の効率化を図ることができる。また、実際の試作数を大幅に減らせるため、コストを削減できるという利点もある。なお、ＭＲ技術に関する先行文献としては特許文献１がある。

ＭＲ技術では仮想物体を現実に存在するかのように感じさせることが求められている。そのため、ＭＲ技術を用いた検証では、試作品および仮想物体を実寸（モデルデータと同じ寸法）で作製することが一般的である。これにより、設計した製品が実際に存在するかのように検証を行うことを可能にしている。

特開２００３−２１５４９４号公報 特開２００８−５２６４１号公報 特開２０００−２２２４２８号公報

しかしながら、試作品を用いた検証作業では、モデルデータとは異なるサイズで試作品を作製する場合がある。例えば、建造物、建設機械、車両、製造装置のようにサイズの大きな物体の場合は、コストや効率の観点から数分の１〜数百分の１の縮尺で作製した試作模型を用いて検証が行われる。このように、実寸でない試作品の検証作業でもＭＲ技術を利用するためには、試作品の縮尺に合うように仮想物体の縮尺を変更する必要がある。このとき、試作品の縮尺が既知であるならば、それに合わせて仮想物体の縮尺を変更することができる。しかし、試作品の縮尺が不明の場合には、観察者が試作品と仮想物体を比較しながら仮想物体の縮尺を調整することで、試作品（現実物体）と仮想物体の縮尺を合わ
せなければならない。このような縮尺合わせの作業には多大な時間と手間がかかるため、問題となる。

特許文献２には、ＶＲ技術において仮想物体の縮尺変更を行う方法が開示されている。具体的には、特許文献２の映像表示システムでは、観察者が判断した仮想物体の長さを入力として受け付け、入力値と事前に設定された現実物体の実寸とを計算機が比較することで、仮想物体の縮尺を変更して表示する。しかしながら、この方法では、観察者の感覚に基づいて縮尺の変更を行うため、現実物体の縮尺と仮想物体の縮尺を正確に合わせることが難しい。

本発明は上記実情に鑑みてなされたものであり、現実物体に仮想物体を重畳表示するために、仮想物体の縮尺を現実物体の縮尺に合わせる技術を提供することを目的とする。

本発明の第一態様は、現実物体に重畳表示するための仮想物体のデータを作成する画像処理装置であって、前記現実物体の形状から作成された三次元形状データを取得する物体形状取得手段と、前記現実物体に対応する三次元モデルを定義するモデルデータを対応データとして取得する対応データ取得手段と、前記三次元形状データと前記対応データに基づいて、前記三次元モデルに対する前記現実物体の縮尺を計算する縮尺計算手段と、前記縮尺計算手段により計算された縮尺で、前記対応データから仮想物体のデータを作成する仮想物体作成手段と、を有することを特徴とする画像処理装置を提供する。

本発明の第二態様は、現実物体に重畳表示するための仮想物体のデータを作成する画像処理方法であって、前記現実物体の形状から作成された三次元形状データを取得するステップと、前記現実物体に対応する三次元モデルを定義するモデルデータを対応データとして取得するステップと、前記三次元形状データと前記対応データに基づいて、前記三次元モデルに対する前記現実物体の縮尺を計算するステップと、前記計算された縮尺で、前記対応データから仮想物体のデータを作成するステップと、を有することを特徴とする画像処理方法を提供する。

本発明の第三態様は、本発明の第二態様に係る画像処理方法の各ステップを実行するためのプログラムを提供する。

本発明によれば、現実物体に仮想物体を重畳表示するために、仮想物体の縮尺を現実物体の縮尺に合わせることが可能になる。

コンピュータ装置のハードウェア構成を示す図。 実施形態１における画像処理装置の機能を示すブロック図。 データ保管方法の例を示す図。 実施形態１における画像処理方法のフローチャート。 実施形態１における縮尺の計算方法のフローチャート。 寸法単位入力方法の例を示す図。 複合現実空間表示の例を示す図。 実施形態２における画像処理装置の機能を示すブロック図。 実施形態２における表示形態変更のフローチャート。 表示形態入力方法の例を示す図。 表示形態変更時の表示例を示す図。 実施形態３における画像処理装置の機能を示すブロック図。 ツリー構造の例を示す図。 実施形態３における関連データ特定方法のフローチャート。 関連仮想物体表示の例を示す図。 実施形態４における画像処理装置の機能を示すブロック図。 実施形態４における表示形態変更方法のフローチャート。 実施形態４における表示形態判定方法の例を示す図。 表示形態変更方法の例を示す図。 表示形態決定方法のフローチャート。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（ハードウェア構成）
以下の実施形態で説明される方法は、図１に示すブロック図の構成を持つコンピュータ装置１００で動作する。また、各実施形態における方法はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）やＷｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＷＡＮ）などで接続されている。

図１において、符号１０１はコンピュータ装置１００全体を制御するプロセッサであるＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）を示す。符号１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）を示す。符号１０３は記憶装置などから供給されるプログラムやデータを一時記憶するワークメモリであるＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）を示す。符号１０４はコンピュータ装置１００に設置されたハードディスクやフラッシュメモリなどの記憶装置を示す。記憶装置１０４は、コンピュータ装置１００に固定されたデバイスでもよいし、コンピュータ装置１００に対し着脱可能なデバイスでもよいし、コンピュータ装置１００とネットワークを介して接続されるネットワークストレージでもよい。記憶装置１０４は、例えば、フレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなども含む。符号１０５はデータを入力する入力デバイス１０９（ポインティングデバイス、タッチパネル、キーボード、３Ｄスキャナ、センサなど）とのインタフェースを示す。符号１０６はコンピュータ装置１００の保持するデータや供給されたデータを出力するための出力デバイス１１０（ディスプレイ、ヘッドマウントディスプレイ、プリンタなど）とのインタフェースを示す。符号１０７はネットワーク１１１（ＬＡＮ、インターネットなど）に接続するためのネットワークインタフェースを示す。符号１０８はユニット１０１〜１０７を通信可能に接続するシステムバスである。後述するＭＲ装置はネットワークインタフェース１０７又は不図示のシリアルバスを介してコンピュータ装置１００に接続される。あるいは、センサおよびヘッドマウントディスプレイをインタフェース１０５および１０６に接続し、ＣＰＵ１０１でＭＲのアプリケーションプログラムを実行することにより、コンピュータ装置１００によりＭＲ装置を実現してもよい。

本発明の目的は、後述する機能を実現するプログラムコードを記録した記録媒体をコンピュータ装置１００に供給し、ＣＰＵ１０１（プロセッサ）がそのプログラムコードをＲＡＭ１０３（メモリ）にロードし実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が後述する機能を実現することとなる。したがって、そのプログラムコードそのもの、および、そのプログラムコードを非一時的に記録
したコンピュータ読取可能な記録媒体を、発明として捉えることができる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。また、そのほかの記憶媒体としてはＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ、フラッシュメモリ、ＵＳＢメモリなども用いることができる。また、プログラムコードの実行はコンピュータが直接行うだけでなく、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などによって処理されてもよい。さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって処理されてもよい。

＜実施形態１＞
実施形態１では、実寸とは異なるサイズ（縮尺は未知でもよい）で作製された現実物体が与えられた場合に、当該現実物体と同じ縮尺の仮想物体のデータを自動ないし半自動で生成する方法を説明する。現実物体は、例えば、モデルデータを基に３Ｄプリンタにより造形された物でもよいし、人が作製した物でもよい。

（画像処理装置の構成）
図２は、実施形態１に係る画像処理装置の機能を示すブロック図である。画像処理装置２００は、モデルデータから現実物体と同じ縮尺の仮想物体のデータを作成するための装置であり、図１に示すコンピュータ装置１００においてＣＰＵ１０１が所要の画像処理プログラムを実行することにより実現されるものである。

画像処理装置２００は、３Ｄデータを取得するための機能として、物体形状取得部２０１と３Ｄデータ取得部２０２を持つ。画像処理装置２００は、３Ｄデータを管理するための機能として、３Ｄデータ保管部２０３を持つ。画像処理装置２００は、縮尺を変更した仮想物体を作成するための機能として、縮尺計算部２０４と仮想物体作成部２０５を持つ。画像処理装置２００は、ユーザーからの指示を取得するための機能として、指示提示部２０７と寸法単位取得部２０８を持つ。画像処理装置２００は、ユーザーへ仮想現実感や複合現実感を提供するための機能として、表示制御部２０６を持つ。

なお、本実施形態では、表示制御部２０６が仮想物体のデータに基づき表示用画像を生成しＭＲ装置２１１のディスプレイに出力する構成を想定する。ただし、表示制御部２０６の機能を画像処理装置２００の外（つまり、ＭＲ装置２１１側）に設けてもよい。その構成の場合、画像処理装置２００では仮想物体のデータの生成までを行い、その仮想物体のデータをＭＲ装置２１１に送出する。そして、ＭＲ装置２１１が、画像処理装置２００から受信した仮想物体のデータに基づき、仮想現実感や複合現実感を提供するための表示用画像を生成しディスプレイに表示する。

物体形状取得部２０１は、現実物体の三次元形状データを取得する機能である。三次元形状データは、現実物体の形状から作成されたデータである。三次元形状データを取得する方法としては、例えば３Ｄスキャナ２１０により現実物体を計測する方法や、現実物体を撮影した二次元画像又はステレオ画像から三次元形状を復元する方法などがあるが、これらに限定されない。また、三次元形状データのデータ形式も問わない。例えばＰＣＤ（ポイントクラウドデータ）などの三次元点群データとして取得しても良い。あるいは、ＳＴＬ（Ｓｔｅｒｅｏｌｉｔｈｏｇｒａｐｈｙ）やＡＭＦ（Ａｄｄｉｔｉｖｅ Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｆｉｌｅ Ｆｏｒｍａｔ）、３ＭＦなどのポリゴンメッシュデータとして取得しても良い。

３Ｄデータ取得部２０２は、現実物体に対応する三次元モデルを定義するモデルデータ
（以下、「現実物体に対応するモデルデータ」又は単に「対応データ」という。）を取得する機能（対応データ取得機能）である。モデルデータは、例えば、三次元ＣＡＤシステムを用いて作成された設計図面を表す設計データ（ＣＡＤデータ）でもよいし、設計データから作成した前述のＳＴＬ、ＡＭＦ、３ＭＦなどのポリゴンメッシュデータでもよい。例えば、現実物体を作製するために利用されたモデルデータが、対応データとして選ばれる。

３Ｄデータ取得部２０２は、３Ｄデータ保管部２０３に保管されている複数のモデルデータのなかから、現実物体の三次元形状データと特定の条件を満たすモデルデータを対応データとして抽出する。「特定の条件」は、例えば、三次元形状データで定義される三次元物体とモデルデータで定義される三次元モデルが同一又は類似の形状（相似形を含む）を有することなどである。モデルデータの検索（すなわち、形状が類似しているか否かの判断）は、三次元形状データとモデルデータのそれぞれから形状的特徴をあらわす特徴量を抽出し、特徴量の類似度を評価することにより判断してもよい。例えば、特許文献３（特開２０００−２２２４２８号公報）に開示されている方法のように、三次元モデルを簡易化した検索モデル（ポリゴン数を減らしたモデル）を用いて形状の類似を判断することも好ましい。「特定の条件」の他の例として、現実物体に付加されたＩＤとモデルデータに関連付けられたＩＤとが一致するという条件を用いてもよい。現実物体にＩＤを付加する方法としては、例えば、物体表面にＩＤを刻印又は印字する方法、ＩＤを記録したバーコードや二次元コードやＲＦＩＤタグを物体表面に貼り付ける方法などがある。なお、上記の条件は例でありこれらに限定されるものではない。夫々の例における３Ｄデータ保管部２０３でのデータ保管方法は後述する。

３Ｄデータ保管部２０３は、複数の三次元モデルのモデルデータを記憶するデータベース（データ保管機能）である。３Ｄデータ保管部２０３は、モデルデータと、３Ｄデータ取得部２０２での検索に利用するデータとを関連付けて記憶することが好ましい。検索に利用するデータとしては、例えば３Ｄデータ取得部２０２で特許文献３の方法を用いる場合、特許文献３に開示されているような検索モデルを保管するとよい。また、現実物体に付加されたＩＤに一致するモデルデータを取得する場合には、例えば図３に示すように、ＩＤとモデルデータを関連付けて保管するとよい。図３の場合、行ごとに関連を示しており、一列目のＩＤを二列目のモデルデータファイルが持つことを示している。例えばモデルデータファイル「Ｄａｔａ１．ｘｘｘ」は、ＩＤとして１を持つことを示している。

縮尺計算部２０４は、三次元形状データとモデルデータを比較することによって、現実物体の縮尺を計算する機能である。縮尺計算部２０４は、例えば、三次元形状データとモデルデータから夫々のバウンディングボックスを作成し、バウンディングボックスの最も長い辺の長さを比較することで縮尺を計算してもよい。バウンディングボックスは、三次元形状データ又はモデルデータで定義される三次元モデルに外接する最小のボックス（直方体）である。他の方法として、縮尺計算部２０４は、三次元モデルを構成する頂点群のなかで最も遠い２点間の距離を三次元形状データとモデルデータのあいだで比較することで、縮尺を計算してもよい。上記は例であり、縮尺を計算する方法は問わない。

仮想物体作成部２０５は、対応データから、現実物体の縮尺に合わせて仮想物体のデータを作成する機能である。仮想物体のデータは、例えば、ポリゴンメッシュの三次元データである。仮想物体のデータのフォーマットは例えば前述のＳＴＬやＡＭＦ、３ＭＦなどを利用できるが、これらに限定されるものではない。

表示制御部２０６は、仮想物体のデータに基づき、現実物体に重畳表示するための仮想物体の画像を生成し出力する機能である。仮想物体と現実物体の重畳表示は、例えば、ＭＲ装置２１１により実現される。ＭＲ装置２１１は、ディスプレイ、ヘッドマウントディ
スプレイ、プロジェクタなどを用いて画像表示を行うとよい。

指示提示部２０７は、三次元形状データやモデルデータに寸法単位が設定されていなかった場合に、寸法単位の入力を求める機能である。寸法単位取得部２０８は、入力された寸法単位を取得する機能である。

（処理フロー）
次に、画像処理装置２００における処理の流れについて図４を用いて説明する。
ステップＳ４０１では、物体形状取得部２０１が、現実物体の三次元形状データを読み込む。

ステップＳ４０２では、３Ｄデータ取得部２０２が、ステップＳ４０１で取得した三次元形状データと特定の条件を満たすモデルデータ（対応データ）を３Ｄデータ保管部２０３から検索する。対応データが検出された場合、３Ｄデータ取得部２０２はその対応データを３Ｄデータ保管部２０３から読み込む。
ステップＳ４０３では、ステップＳ４０２で対応データを取得できたかを判定する。取得できていた場合（Ｔｒｕｅ）にはステップＳ４０４の処理に進み、取得できていなかった場合（Ｆａｌｓｅ）には処理を終了する。

ステップＳ４０４では、ステップＳ４０１で取得した三次元形状データと、ステップＳ４０２で取得した対応データを、縮尺計算部２０４が比較することで、現実物体の縮尺を計算する。詳細については図５を使って後述する。
ステップＳ４０５では、仮想物体作成部２０５が、ステップＳ４０２で取得した対応データから、ステップＳ４０４で算出した縮尺で、仮想物体のデータを作成する。
ステップＳ４０６では、表示制御部２０６が、ステップＳ４０５で作成した仮想物体のデータに基づき仮想物体の画像を生成し、ＭＲ装置２１１に出力する。ＭＲ装置２１１を用いた表示の例については図７を使って後述する。

（縮尺の計算）
図５は、ステップＳ４０４の縮尺の計算処理を示している。
ステップＳ５０１では、縮尺計算部２０４が、ステップＳ４０１で取得した三次元形状データとステップＳ４０２で取得した対応データに寸法単位が指定されているかどうかを判定する。少なくともいずれか一方のデータに寸法単位が指定されていなかった場合（Ｆａｌｓｅ）にはステップＳ５０２の処理へ進み、両方のデータとも寸法単位が指定されていた場合（Ｔｒｕｅ）にはステップＳ５０３に進む。

ステップＳ５０２では、指示提示部２０７が、例えば図６のようなユーザーインタフェースを表示することで利用者に寸法単位の入力を求める。寸法単位入力指示ウィンドウ６００は、利用者に三次元形状データや対応データの寸法単位を入力することを求めるウィンドウである。

図６では、利用者がポインタ６０２を用いて、寸法単位入力部６０１のドロップダウンメニューの中からｉｎｃｈの項目を選択した状態を示している。ポインタ６０２の操作には、例えばコンピュータ装置１００に接続された入力デバイス１０９としてマウスを使用する。マウスを使用する場合には、寸法単位入力部６０１のドロップダウンメニューにポインタを移動し、選択したい寸法単位の上で左クリックすることで選択される。選択された寸法単位は寸法単位取得部２０８により取得される。

ステップＳ５０３では、縮尺計算部２０４が、三次元形状データに基づく三次元物体のバウンディングボックスと、対応データに基づく三次元モデルのバウンディングボックス
を作成する。
ステップＳ５０４では、縮尺計算部２０４が、ステップＳ５０３で作成したバウンディングボックスを用いて縮尺を計算する。具体的には、縮尺計算部２０４は、三次元形状データに基づく三次元物体のバウンディングボックスと、対応データに基づく三次元モデルのバウンディングボックスの夫々から最も長い辺を抽出し、抽出した辺の長さの比を計算する。

図５の処理例では、三次元形状データとモデルデータの両方の寸法単位を要求したが、三次元形状データの寸法単位のみを要求してもよい。現実物体のサイズさえ分かれば、モデルデータの寸法単位がたとえ未知でも、現実物体と同じサイズになるように仮想物体を生成することが可能だからである。

（ＭＲ装置の表示例）
図７Ａは、現実の空間を撮影した映像である現実空間７０２に存在している現実物体７０１を示している。この現実物体７０１は、例えば設計の検証を行う製品の簡易試作品などを撮影したものである。
図７Ｂは、仮想空間７０４にステップＳ４０５で作成した仮想物体７０３を配置した様子を示している。
図７Ｃは、現実物体７０１に仮想物体７０３が重畳表示されるように現実空間７０２と仮想空間７０４を重ね合わせることで作成した複合現実空間７０５を示している。この複合現実空間７０５の作成はＭＲ装置２１１で行い、例えば、利用者が装着しているヘッドマウントディスプレイを用いて表示する。

これにより利用者は、実寸とは異なるサイズで作製された現実物体上に、当該現実物体と同じサイズになるように縮尺が調整された仮想物体を重畳表示することが容易に可能になる。しかも、現実物体の縮尺（実寸との比）が未知であっても、仮想物体の適切な縮尺が自動で計算される。したがって、実寸でない試作品等の検証にもＭＲ技術を容易に使用することができるようになる。

＜実施形態２＞
実施形態１には、仮想物体の表現（表示形態）を変更しながら検証を行うことができないため、多彩なパターンのデザインを容易に検証することができないという課題があった。実施形態２ではこの課題を解決する。

図８に実施形態２の画像処理装置８００の構成を示す。本実施形態の画像処理装置８００は、図２に示した実施形態１の構成に加えて、３つの機能要素、すなわち表示形態保管部８０１、表示形態取得部８０２、および終了指示取得部８０３を有する。

表示形態保管部８０１は、後述する表示形態取得部８０２から得た、仮想物体の表示形態の情報を保管する機能である。保管するのは最新の情報のみであり、表示形態保管部８０１が新たな情報を取得した場合には、古い情報を破棄して新しい情報のみを保管する。表示形態取得部８０２は、表示形態の情報を取得する機能である。ここで取得する情報は例えば仮想物体を表示する際の表面色、利用するテクスチャの情報、仮想物体の透明度などである。上記の取得情報は例でありこれに限らない。終了指示取得部８０３は、表示処理の終了指示を取得する機能である。

次に、画像処理装置８００における処理の流れについて説明する。

本実施形態の画像処理方法は、実施形態１の画像処理方法に対し、表示形態を変更する処理を追加したものである。そのため本実施形態の処理フローでは、図４に示した実施形
態１の処理フローの、表示処理を行う部分であるステップＳ４０６が、図９に示す処理フローに置き換わる。その他の処理は図４に示したものと同じである。

ステップＳ９０１では、指示提示部２０７が、例えば図１０のようなユーザーインタフェースを表示することで、利用者から表示形態の情報の入力を求める。ここでは仮想物体を表示する際の表面色を取得する例を具体的に説明する。表示形態入力ウィンドウ１０００では、利用者に仮想物体の表面色の入力を求める。図１０では、利用者がポインタ１００２を用い、表示色入力部１００１のドロップダウンメニューの中から黄を選択した状態を示している。ポインタ１００２の操作には、例えばコンピュータ装置１００に接続された入力デバイス１０９としてマウスを使用する。マウスを使用する場合には、表示色入力部１００１のドロップダウンメニューにポインタを移動し、選択したい表面色の上で左クリックすることで選択される。選択された表示色は表示形態取得部８０２により取得される。

ステップＳ９０２では、表示形態取得部８０２が、ステップＳ９０１で取得した表示形態の情報と、表示形態保管部８０１に現在保管されている表示形態の情報とが同じかを判定する。異なる場合（Ｔｒｕｅ）はステップＳ９０３に進み、同じ場合（Ｆａｌｓｅ）はステップＳ９０４に進む。
ステップＳ９０３では、表示形態取得部８０２が、ステップＳ９０１で取得した表示形態を表示形態保管部８０１に保存する。

ステップＳ９０４では、表示制御部２０６が、ステップＳ９０３で保存した表示形態に則って仮想物体の画像を生成し、その仮想物体の画像を現実物体に重畳表示する。表示形態を変更する例として、ＭＲ装置２１１で表示する仮想物体の表面色を変更する例を、図１１Ａおよび図１１Ｂに示す。図１１Ａおよび図１１Ｂは、図７で前述した現実物体７０１、仮想物体７０３、複合現実空間７０５を示している。図１１Ａでは、仮想物体７０３の表面色が指定されていない場合を示している。この場合、表面色１１０１はＭＲ装置２１１に設定されたデフォルトの表面色となる。図１１Ｂでは、ステップＳ９０３で保管した表示形態を用いて、ステップＳ９０４で仮想物体を表示した状態を示している。表現上網掛け模様で示しているが、実際には例えば青色や赤色の表面色で仮想物体７０３を表示する。

ステップＳ９０５では、表示制御部２０６が、表示の終了指示が存在するかを判定し、終了指示が存在したら処理を終了する。存在しなかった場合はステップＳ９０１の処理へ戻る。終了指示は終了指示取得部８０３により取得する。終了指示は例えば図１０に示されるユーザーインタフェースの右上に存在するバツ印を左クリックすることで指示される。

本実施形態の構成により、利用者は、実施形態１で得られる効果に加えて、仮想物体の表現を容易に変更しながら検証を行うことができるようになる。そのため、より多彩なパターンのデザインを容易に検証することが可能になった。

＜実施形態３＞
実施形態１には、現実物体に仮想物体のみを重畳表示するため、現実物体に装着する部品の検証や、部品を含む全体像の検証を容易に行うことができないという課題があった。本発明の実施形態３ではこの課題を解決する。

図１２に実施形態３の画像処理装置１２００の構成を示す。本実施形態の画像処理装置１２００は、図２に示した実施形態１の構成に加えて１つの機能要素、すなわち関連３Ｄデータ特定部１２０１を有する。

関連３Ｄデータ特定部１２０１は、３Ｄデータ保管部２０３に格納された複数のモデルデータのなかから、現実物体に対応する対応データと関連性を有する他のモデルデータ（以下「関連データ」とよぶ）を検索し取得する機能（関連データ取得機能）である。関連データは、例えば三次元ＣＡＤシステムを用いて作成された設計図面を表す設計データ（ＣＡＤデータ）や、設計データから作成した前述のＳＴＬ、ＡＭＦ、３ＭＦなどの３Ｄデータである。

本実施形態における３Ｄデータ保管部２０３では、モデルデータ同士の関連性の有無を容易に判定することができるようなデータ構造で、複数のモデルデータが保管されている。例えば、複数のモデルデータは図１３に示すツリー構造の形で保管される。ツリー構造は、ノードとノードの関連性を親子関係のように示すものであり、各ノードに１つずつモデルデータが保存されている。図１３に示す例では、特定のノードから関連を上にたどると親ノードを、下にたどると子ノードを特定することができる。例えばノードＡは、親ノードを持たず、２つの子ノードＡＡ，ＡＢを持つ。ノードＡＡは親ノードＡを持ち、３つの子ノードＡＡＡ、ＡＡＢ、ＡＡＣを持つ。その他の要素に関しても同様に関連が記述されている。

次に、画像処理装置１２００における処理の流れについて説明する。
本実施形態の画像処理方法は、実施形態１の画像処理方法に対し、関連データから作成した仮想物体を表示する処理を追加したものである。そのため本実施形態の処理フローでは、図４に示した実施形態１の処理フローのステップＳ４０６が、図１４に示す処理フローに置き換わる。その他の処理は図４に示したものと同じである。

図１４に示す処理フローの詳細を説明する。ステップＳ１４０１では、関連３Ｄデータ特定部１２０１が、ステップＳ４０２で特定した対応データに関連する関連データを特定する。３Ｄデータ保管部２０３に、図１３に示すようなツリー構造で複数の設計データが保存されている場合を例に説明する。ステップＳ４０２で特定した対応データがノードＡＡＢに保存されているとする。関連３Ｄデータ特定部１２０１は、このノードＡＡＢを基準として、事前に設定した範囲（例えば三親等など）に従って基準ノードからツリーを探査し、検出されたノードに保存されているモデルデータを関連データとして取得する。三親等の場合は、ノードＡ，ノードＡＡ、ノードＡＢ、ノードＡＡＡ、ノードＡＡＣに保存されている５つのモデルデータが関連データとして取得される。本実施形態では三親等の例で説明したが、基準ノードと関連性を有する範囲はこれに限定されるものではなく、例えば、子孫ノードや、基準ノードの全兄弟ノードなどを指定しても構わない。

ステップＳ１４０２では、関連３Ｄデータ特定部１２０１が、ステップＳ１４０１で関連データを特定できたかを判定する。関連データが１つ以上存在した場合（Ｔｒｕｅ）、ステップＳ１４０３の処理に進み、関連データが存在しなかった場合（Ｆａｌｓｅ）、ステップＳ１４０４の処理に進む。

ステップＳ１４０３では、仮想物体作成部２０５が、ステップＳ１４０１で特定した関連データから、ステップＳ５０４で計算した縮尺に合うように仮想物体を作成する。以下、関連データから生成した仮想物体を「関連仮想物体」とよび、対応データから生成した仮想物体を「対応仮想物体」とよぶ。

ステップＳ１４０４では、 表示制御部２０６が、実施形態１で説明したステップＳ４
０５で作成した対応仮想物体とステップＳ１４０３で作成した関連仮想物体を複合現実空間上に表示する。複合現実空間における現実物体と各仮想物体の配置は実施形態１で説明したのと同様の方法で決定する。

ここで、モデルデータの中に物体同士の相対位置が定義されている場合には、表示制御部２０６は、モデルデータで定義された相対位置に従って、対応仮想物体と関連仮想物体の配置を決定することができる。物体同士の相対位置が定義されていない場合には、表示制御部２０６は、利用者に各物体の配置を指定させ、その指定された配置に従って、対応仮想物体と関連仮想物体の配置を行ってもよい。

（ＭＲ装置の表示例）
図１５Ａは、現実空間１５０２に存在している現実物体１５０１を示している。この現実物体１５０１は、例えば製品の本体（主要部）を表現した製品の簡易試作品などである。点線で示された円柱部分は、現実物体１５０１の下部に、パーツをはめ込むためのくぼみが有ることを表現している。

図１５Ｂでは、仮想空間１５０５に、ステップＳ４０５で作成した対応仮想物体１５０３とステップＳ１４０３で作成した関連仮想物体１５０４を配置した様子を示している。この例では、関連仮想物体１５０４は対応仮想物体１５０３の下部にはめ込まれるパーツを表現しているため、関連仮想物体１５０４が対応仮想物体１５０３に装着される位置で仮想空間１５０５上に配置されている。点線で示された円柱は、対応仮想物体１５０３の下部に、他の部品をはめ込むためのくぼみが有ることを示している。また、点線で示された円柱内に実線で示された円柱が示している。これらの円柱は仮想物体１５０３に関連仮想物体１５０４がはめ込まれていることを表現しており、図１５Ｂ上では説明のために表示しているが、実際には表示されなくても良い。

図１５Ｃは、複合現実空間１５０６に現実物体１５０１と対応仮想物体１５０３と関連仮想物体１５０４を表示した様子を示している。関連仮想物体１５０４の対応仮想物体１５０３に対する相対位置は、モデルデータと前記関連データから抽出するか、利用者に指定させる。

本実施形態の方法によれば、複合現実空間１５０６上で関連仮想物体１５０４が現実物体１５０１にはめ込まれた状態を検証することができる。その結果、利用者は実施形態１で得られる効果に加えて、現実物体に装着する部品の検証や、部品を含む全体像の検証に関しても容易に行うことができるようになる。

＜実施形態４＞
実施形態３には、製品の内部で使用する部品などの通常では見えない部分に使用する部品の検証を行う際に、関連仮想物体で対応仮想物体や現実物体が隠されてしまうという課題があった。本発明の実施形態４ではこの課題を解決する。

図１６に実施形態４の画像処理装置１６００の構成を示す。本実施形態の画像処理装置１６００は、図８に示した実施形態２の構成に加えて、４つの機能要素、すなわち関連３Ｄデータ特定部１２０１、利用者視点位置姿勢取得部１６０１、物体位置姿勢取得部１６０２、表示形態判定部１６０３を有する。関連３Ｄデータ特定部１２０１は、図１２に示した実施形態３のものと同じである。

利用者視点位置姿勢取得部１６０１は、利用者の視点の位置および視線方向を表す視点位置姿勢情報を取得する機能である。視点位置姿勢情報を取得する方法は問わない。例えば利用者に磁気センサーを装着することで取得してもよいし、ジャイロセンサーや加速度センサーなどを装着することで取得してもよい。

物体位置姿勢取得部１６０２は、仮想物体を重畳表示する現実物体の位置および姿勢を
表す現実物体位置姿勢情報を取得するための機能である。現実物体位置姿勢情報を取得する方法は問わない。例えば現実物体に磁気センサーを装着することで取得してもよいし、ジャイロセンサーや加速度センサーなどを装着することで取得してもよい。

表示形態判定部１６０３は、視点位置姿勢情報と、現実物体位置姿勢情報と、仮想物体作成部２０５で作成した関連仮想物体を用いて、利用者の視点と現実物体の間に関連仮想物体が表示されているかを判定する機能である。

次に、画像処理装置１６００における処理の流れについて説明する。
本実施形態の画像処理方法は、実施形態３の画像処理方法に対し、関連仮想物体の透明度を変化させる処理を追加したものである。これにより、利用者が、関連仮想物体の背後に存在する現実物体ないし対応仮想物体を視認しながら検証を行うことを可能にする。本実施形態の処理フローでは、実施形態３の処理フローのステップＳ１４０４が、図１７に示す処理フローに置き換わる。その他の処理は図４および図１４に示したものと同じである。

図１７に示す処理フローの詳細を説明する。ステップＳ１７０１では、利用者視点位置姿勢取得部１６０１が、利用者の視点位置姿勢情報を取得する。ステップＳ１７０２では、物体位置姿勢取得部１６０２が、仮想物体を重畳表示する現実物体の現実物体位置姿勢情報を取得する。なお、ステップＳ１７０１およびＳ１７０２はどちらの処理を先に行ってもよい。

ステップＳ１７０３では、指示提示部２０７が、例えば図１９のようなユーザーインタフェースを表示することで、利用者に関連仮想物体を半透明表示する際の透明度の入力を求める。表示形態入力ウィンドウ１９００では、利用者に仮想物体の透明度の入力を求める。利用者がポインタ１９０２を用い、透明度入力部のスライダー１９０１を動かすことで透明度を選択した状態を示している。ポインタ１９０２の操作には、例えばコンピュータ装置１００に接続された入力デバイス１０９としてマウスを使用する。マウスを使用する場合には、透明度入力部１９０１のスライダーにポインタを移動し、選択したい透明度まで左右にドラッグすることで選択される。入力された透明度は、表示形態取得部８０２が取得する。

ステップＳ１７０４では、表示形態取得部８０２が、表示形態保管部８０１に現在保管されている透明度とステップＳ１７０３で取得した透明度が同じかを判定する。異なる場合、ステップＳ１７０５の処理に進み、同じ場合はステップＳ１７０６の処理に進む。
ステップＳ１７０５では、表示形態取得部８０２が、ステップＳ１７０３で取得した透明度を表示形態保管部８０１に保存する。

ステップＳ１７０６では、表示形態判定部１６０３が、ステップＳ１７０１で取得した視点位置姿勢情報と、ステップＳ１７０２で取得した現実物体位置姿勢情報が、前回取得した夫々の値と比較して変化があるかを判定する。変化が有った場合はステップＳ１７０７の処理に進み、変化がなかった場合にはステップＳ１７０８の処理に進む。初回判定時は必ずステップＳ１７０７に進む。

ステップＳ１７０７では、表示形態判定部１６０３が、関連仮想物体の表示形態を決定し、結果を表示形態保管部８０１に保管する。詳細については図２０を使って後述する。
ステップＳ１７０８では、表示形態判定部１６０３が、ステップＳ１７０１およびＳ１７０２で取得した視点位置姿勢情報と物体位置姿勢情報を保存する。
ステップＳ１７０９では、表示制御部２０６が、ステップＳ１７０７で決定した表示形態で複合現実空間の表示を行う。表示形態の変更に関する処理以外は実施形態３で説明し
たステップＳ１４０４と同様に行う。

ステップＳ１７１０では、表示制御部２０６が表示の終了指示が存在するかを判定し、終了指示が存在したら処理を終了する。存在しなかった場合にはステップＳ１７０１の処理に戻る。終了指示は終了指示取得部８０３により取得される。終了指示は、例えば図１９に示されるユーザーインタフェースの右上に存在するバツ印を左クリックすることで指示される。

図２０はステップＳ１７０７で行う表示形態の変更処理のフローを示している。
ステップＳ２００１では、表示制御部２０６が、複合現実空間上の対応仮想物体の位置および姿勢を表す対応仮想物体位置姿勢情報を取得する。
ステップＳ２００２では、表示制御部２０６が、複合現実空間上の関連仮想物体の位置および姿勢を表す関連仮想物体位置姿勢情報を取得する。

ステップＳ２００３では、表示形態判定部１６０３が、利用者の視線と対応仮想物体が交差するかを判定する。まず、ステップＳ１７０１で所得した視点位置姿勢情報から、現在利用者が向いている方向を表す視線方向ベクトルｄを求める。視線方向ベクトルｄは長さ１に正規化されたベクトルである。ｄ＝（ｄ_ｘ，ｄ_ｙ，ｄ_ｚ）とする。次に、視点位置姿勢情報から現在の利用者の視点位置を表す視点位置ベクトルｕを求める。ｕ＝（ｕ_ｘ、ｕ_ｙ、ｕ_ｚ）とする。視線方向ベクトルｄと視点位置ベクトルｕを用いて、利用者の視線を表す半直線の式をＳとして以下の式で表す。ｔは０より大きい実数とする。

Ｓ＝ｕ＋ｄｔ （１）

次に、表示形態判定部１６０３は、半直線Ｓが、対応仮想物体と交差するかを判定する。判定は、指定した検出対象物体が指定した検出対象線上に存在するかを判定する処理で行う。検出対象物体として対応仮想物体を、検出対象線として半直線Ｓを指定した場合で説明する。判定の結果、対応仮想物体と半直線Ｓが交差していなかった場合、ステップＳ２００６の処理へ進む。交差していた場合、ステップＳ２００４の処理に進む。

表示形態判定部１６０３は、指定された検出対象物体である対応仮想物体のバウンディングボックスを作成し、バウンディングボックスに存在する６つの面の中から１つを選択する。選択した面に存在する４つの頂点を夫々点Ａ、点Ｂ、点Ｃ、点Ｄとし、選択した面を面ＡＢＣＤとする。頂点Ａ、Ｂ、Ｃ、Ｄの位置ベクトルを夫々（Ａ_ｘ，Ａ_ｙ，Ａ_ｚ）、（Ｂ_ｘ，Ｂ_ｙ，Ｂ_ｚ）、（Ｃ_ｘ，Ｃ_ｙ，Ｃ_ｚ）、（Ｄ_ｘ，Ｄ_ｙ，Ｄ_ｚ）とする。頂点Ａ、Ｂ、Ｃ、Ｄを用いて、平面の一般式を用いて選択した面を含む平面の式を求める。求めた平面の式を以下の（２）とする。ｅ，ｆ，ｇ，ｈは実数とする。

ｅＸ＋ｆＹ＋ｇＺ＋ｈ＝０ （２）

式（２）で表される平面上の点を点Ｐとし、その位置ベクトルを（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）とする。

次に、表示形態判定部１６０３は、点Ｐが検出対象線である半直線Ｓ上に存在するか調べる。式（１）と式（２）に点Ｐを代入すると、以下の式（４）、式（５）が求められる。

Ｐ＝ｕ＋ｄｔ （４）
ｅＰ_ｘ＋ｆＰ_ｙ＋ｇＰ_ｚ＋ｈ＝０ （５）

式（４）と式（５）から、以下の式（６）が求められる。（ｅ，ｆ，ｇ）は前述のｅ、ｆ、ｇをそれぞれ一列目に持つ一行三列行列である。ｕ^Ｔとｄ^Ｔは夫々の転置行列を表す。

ｔ＝−｛（ｅ，ｆ，ｇ）・ｕ^Ｔ｝／（ｅ，ｆ，ｇ）・ｄ^Ｔ （６）

式（６）より、（ｅ，ｆ，ｇ）・ｄ^Ｔ＝０の時、表示形態判定部１６０３は、検出対象線と平面は交差しない（つまり平行）と判定する。
式（６）より、表示形態判定部１６０３は、検出対象線と平面が交差する際のｔの値を求める。式（１）に式（６）で算出したｔの値を代入し、検出対象線と平面の交点Ｐを求める。
表示形態判定部１６０３は、求めた点Ｐがバウンディングボックスの面ＡＢＣＤに含まれるかを調べることで、面ＡＢＣＤと検出対象線が交差するかを判定する。
上記の計算を、バウンディングボックスのすべての面に対して行ことで、検出対象物体と検出対象線が交差するかを判定する。

ステップＳ２００４では、表示形態判定部１６０３が、利用者の視線と関連仮想物体が交差するかを判定する。
まず、利用者の視線が対応仮想物体と交差するまでの区間を表現するために、半直線Ｓの実数ｔの値に式（７）に示す制限を加える。ｔ’はステップＳ２００３で行った判定で算出したｔのうち、式（４）に代入した際に算出される点ＰがステップＳ２００３で行った判定で作成したバウンディングボックスの面上に存在し、かつ最小のものである。

０＜ｔ＜ｔ’ （７）

また、式（７）の条件を付与した半直線Ｓを、線分Ｓ’とする。

Ｓ’＝ｕ＋ｄｔ （０＜ｔ＜ｔ’） （８）

次に、表示形態判定部１６０３は、関連仮想物体と線分Ｓ’が交差するかを判定する。判定処理は、ステップＳ２００３で説明した処理と同じである。ただし、ステップＳ２００４では検出対象物体に関連仮想物体を、検出対象線に線分Ｓ’を指定する。関連仮想物体と線分Ｓ’が交差していると判定された場合には、ステップＳ２００５の処理に進む。交差していない場合にはステップＳ２００６の処理へ進む。

ステップＳ２００５では、表示形態判定部１６０３が、表示形態保管部８０１に関連仮想物体を半透明にする表示形態を保存する。ステップＳ２００６では、表示形態判定部１６０３が、表示形態保管部８０１に、通常通りの表示形態（例えば、関連仮想物体を不透明にする表示形態）を保存する。

図１８Ａ〜図１８Ｃに判定の例を示す。
図１８Ａでは、利用者が複合現実空間１８０５上で、現実物体１８０３を関連仮想物体１８０２越しに見ている様子を示している。視点位置１８０１から出ている点線で表現されている視線１８０４は、線分Ｓ’に当たるものである。このような場合、線分Ｓ’が関連仮想物体１８０２と交差していると判定するため、表示形態を変更する（関連仮想物体
１８０２を半透明にする）と判定する。

図１８Ｂでは、視線１８０４（線分Ｓ’）は関連仮想物体１８０２と交差していないため、表示形態を変更しないで（関連仮想物体１８０２を不透明にする）を表示する。
図１８Ｃでは、視線１８０４が現実物体１８０３と交差していないため、視線１８０４は半直線Ｓに当たる。現実物体１８０３と半直線Ｓが交差していないため、表示形態を変更しないで表示する。

これにより利用者は、実施形態３で得られる効果に加えて、常に現実物体を視認しながら検証作業を行うことが可能になる。そのため試作品を用いた検証が行いにくい製品の内部で使用する部品など、通常では見えない部分に使用する部品に関してもＭＲ技術を用いて検証を行うことが可能になる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成することもできる。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

２００：画像処理装置、２０１：物体形状取得部、２０２：３Ｄデータ取得部、２０４：縮尺計算部、２０５：仮想物体作成部

Claims (12)

1. 現実物体に重畳表示するための仮想物体のデータを作成する画像処理装置であって、
   前記現実物体の形状から作成された三次元形状データを取得する物体形状取得手段と、
   前記現実物体に対応する三次元モデルを定義するモデルデータを対応データとして取得する対応データ取得手段と、
   前記三次元形状データと前記対応データに基づいて、前記三次元モデルに対する前記現実物体の縮尺を計算する縮尺計算手段と、
   前記縮尺計算手段により計算された縮尺で、前記対応データから仮想物体のデータを作成する仮想物体作成手段と、
   を有することを特徴とする画像処理装置。
2. 前記三次元形状データは、前記現実物体の形状を計測することにより作成されたデータである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記対応データは、前記現実物体の設計データである
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の三次元モデルの夫々のモデルデータを記憶するデータ保管手段をさらに有し、
   前記対応データ取得手段は、前記データ保管手段から、前記三次元形状データで定義される三次元物体と同一又は類似の形状を有する三次元モデルのモデルデータを、前記対応データとして取得する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
5. 複数の三次元モデルの夫々のモデルデータをＩＤと関連付けて記憶するデータ保管手段をさらに有し、
   前記対応データ取得手段は、前記データ保管手段から、前記現実物体に付加されたＩＤと同じＩＤに関連付けられているモデルデータを、前記対応データとして取得する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理装置。
6. 前記縮尺計算手段は、前記三次元形状データで定義される三次元物体のバウンディングボックスの最も長い辺の長さと、前記対応データで定義される三次元モデルのバウンディングボックスの最も長い辺の長さとを比較することにより、前記縮尺を計算する
   ことを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
7. 前記仮想物体のデータに基づき、前記現実物体に重畳表示するための仮想物体の画像を生成する表示制御手段をさらに有する
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
8. 利用者により指示された前記仮想物体の表示形態の情報を取得する表示形態取得手段をさらに有し、
   前記表示制御手段は、前記表示形態の情報に応じて前記仮想物体の画像の表示形態を変更する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記対応データと関連性を有する他のモデルデータを関連データとして取得する関連データ取得手段をさらに有し、
   前記仮想物体作成手段は、前記縮尺計算手段により計算された縮尺で、前記関連データから関連仮想物体のデータを作成し、
   前記表示制御手段は、前記仮想物体のデータおよび前記関連仮想物体のデータに基づき、前記現実物体に重畳表示するための仮想物体の画像、および前記仮想物体と相対位置を合わせて表示するための関連仮想物体の画像を生成する
   ことを特徴とする請求項７に記載の画像処理装置。
10. 利用者の視点の情報と、前記仮想物体の位置および姿勢の情報と、前記関連仮想物体の位置および姿勢の情報と、に基づいて、前記視点からみたときに前記関連仮想物体によって前記仮想物体が隠されるか否かを判定する判定手段をさらに有し、
    前記関連仮想物体によって前記仮想物体が隠されると判定された場合に、前記表示制御手段は、前記関連仮想物体が半透明で表示されるように前記関連仮想物体の表示形態を変更する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 現実物体に重畳表示するための仮想物体のデータを作成する画像処理方法であって、
    前記現実物体の形状から作成された三次元形状データを取得するステップと、
    前記現実物体に対応する三次元モデルを定義するモデルデータを対応データとして取得するステップと、
    前記三次元形状データと前記対応データに基づいて、前記三次元モデルに対する前記現実物体の縮尺を計算するステップと、
    前記計算された縮尺で、前記対応データから仮想物体のデータを作成するステップと、を有することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法の各ステップを実行するためのプログラム。
    

Images