JP2007272623A - 画像合成装置及び画像合成プログラム - Google Patents

Abstract

【課題】使用者が所望の位置に容易に３次元オブジェクトを合成することが出来る画像合成装置および画像合成プログラムを提供することを目的とする。
【解決手段】対象物の少なくとも３箇所に輝点を投影する出射部と、前記輝点が投影された前記対象物を撮影する撮影手段と、所定の３次元オブジェクトを記憶する記憶手段と、前記撮影手段から前記出射部までの距離である出射部距離と、前記撮影手段から前記出射部への方向である出射部方向と、前記出射部から前記輝点への方向である照射方向と、前記撮影手段から前記輝点への方向である輝点方向であって前記撮影手段で撮影した画像の画像認識により求めた前記２次元座標に基づいて算出した前記輝点方向とに基づいて、前記撮影手段により撮影した画像情報と、前記記憶手段に記憶された前記３次元オブジェクトとを合成する。
【選択図】 図６

Description

本発明は、画像合成装置及び画像合成プログラムに関するものである。

従来、画像合成装置として４点以上の特徴点が印刷されたシート状のタグを使用するタイプがある。そのタグを対象物上に載置して画像合成装置でこれを撮影するのである。そのようにして撮影された撮影画像に映されたタグの位置に３次元オブジェクトを合成する画像合成装置が知られている。この場合、撮影画像に映されたタグの特徴点を画像認識により認識して、３次元オブジェクトを配置するための仮想的な平面である合成平面を算出し、撮影画像のタグの付近に３次元オブジェクトの底面と合成平面とを一致させて、合成平面上に３次元オブジェクトを合成する。これにより３次元オブジェクトの仮想的な物体があたかもタグが実際に配置された面に乗っているような合成画像を得ることができる。

図２０及び図２１に３次元オブジェクトを合成する前の撮影画像と、３次元オブジェクトを合成した後の合成画像との一例を示す。図２０は机の上にタグを配置して撮影した撮影画像である。図２１は図２０の撮影画像に基づいて３次元オブジェクトを合成した時の合成画像である。

このように３次元オブジェクトを撮影画像に合成する技術については、例えば特許文献１に記載されている。

特開２０００−３２２６０２号公報

しかしながら、このような画像合成装置は、タグの特徴点に基づく位置に３次元オブジェクトを合成するので、３次元オブジェクトを合成する位置を移動させたい場合、その都度、わざわざタグの配置位置を調整しなおして、再度画像を撮影する必要があった。このため使用者は撮影する対象物とカメラとの間を行ったり来たりする必要があり、合成したい位置に３次元オブジェクトを容易に合成することが困難であった。

本発明は、上述した問題点を解決するためになされたものであり、使用者が所望の位置に３次元オブジェクトを容易に合成することが出来る画像合成装置および画像合成プログラムを提供することを目的とする。

この目的を達成するために、請求項１記載の画像合成装置は、対象物の少なくとも３箇所に輝点を投影する出射部と、前記輝点が投影された前記対象物を撮影する撮影手段と、所定の３次元オブジェクトを記憶する記憶手段と、前記撮影手段から前記出射部までの距離である出射部距離と、前記撮影手段から前記出射部への方向である出射部方向と、前記出射部から前記輝点への方向である照射方向と、前記撮影手段から前記輝点への方向である輝点方向であって前記撮影手段で前記対象物を撮影した画像の画像認識により求めた前記２次元座標に基づいて算出した前記輝点方向とに基づいて、前記輝点の３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段により算出された少なくとも３つの輝点の前記３次元座標に基づいて、前記撮影手段により撮影した前記対象物の画像情報と、前記記憶手段に記憶された前記３次元オブジェクトとを合成する合成手段とを備えたことを特徴とする。

また、請求項２記載の画像合成装置は、請求項１記載の画像合成装置であって、前記撮影画像のサイズを記憶する撮影画像サイズ記憶手段と、前記撮影手段の焦点距離を記憶する焦点距離記憶手段と、前記撮影手段の撮像素子のサイズを記憶する撮像素子サイズ記憶手段とを備え、前記３次元座標算出手段は、前記画像認識により算出された前記２次元座標と、前記撮影画像サイズ記憶手段に記憶されている前記撮影画像のサイズと、前記焦点距離記憶手段に記憶されている前記撮影手段の焦点距離と、前記撮像素子サイズ記憶手段に記憶されている前記撮像素子のサイズとに基づいて、前記輝点方向を算出することを特徴とする。

また、請求項３記載の画像合成装置は、請求項１または請求項２に記載の画像合成装置であって、前記出射部及び前記撮影手段は筐体に固定されており、前記出射部距離を記憶した前記出射部距離記憶手段を備え、前記３次元座標算出手段は、前記出射部距離記憶手段に記憶された前記出射部距離に基づいて前記３次元座標を算出することを特徴とする。

また、請求項４記載の画像合成装置は、請求項１または請求項２に記載の画像合成装置であって、前記出射部と前記撮影手段との距離である出射部距離及び前記撮影手段から前記出射部への方向である出射部方向を測定する距離センサを備え、前記３次元座標算出手段は、前記距離センサにより測定された前記出射部距離及び前記出射部方向に基づいて前記３次元座標を算出するものであることを特徴とする。

また、請求項５記載の画像合成装置は、請求項１から請求項４のいずれかに記載の画像合成装置であって、前記出射部及び前記撮影手段は筐体に固定されており、前記出射部方向を記憶した前記出射部方向記憶手段を備え、前記３次元座標算出手段は、前記出射部方向記憶手段に記憶された前記出射部方向に基づいて前記３次元座標を算出するものであることを特徴とする。

また、請求項６記載の画像合成装置は、請求項１から請求項５のいずれかに記載の画像合成装置であって、前記出射部は輝点を特定の方向に照射するように固定されており、前記固定された照射方向を記憶する照射方向記憶手段を備え、前記３次元座標算出手段は、前記照射方向記憶手段に記憶された前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする。

また、請求項７記載の画像合成装置は、請求項１から請求項５のいずれかに記載の画像合成装置であって、使用者が前記照射方向を入力する照射方向入力手段を備え、前記出射部は、前記照射方向入力手段に入力された前記照射方向に前記輝点を投影し、前記３次元座標算出手段は、前記照射方向入力手段に入力された前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする。

また、請求項８記載の画像合成装置は、請求項１から請求項５のいずれかに記載の画像処理装置であって、前記出射部の方向を検出する照射方向検出手段を備え、前記３次元座標算出手段は、前記照射方向検出手段から得られる前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする。

また、請求項９記載の画像合成装置は、請求項１から請求項８のいずれかに記載の画像処理装置であって、前記合成手段は３つの輝点の３次元座標の中心の位置に前記３次元オブジェクトを合成することを特徴とする。

また、請求項１０記載の画像合成プログラムは、対象物の少なくとも３箇所に輝点を投影する出射部と、前記輝点が投影された前記対象物を撮影する撮影手段と、所定の３次元オブジェクトを記憶する記憶手段とを備えた画像処理装置のコンピュータを、前記撮影手段から前記出射部までの距離である出射部距離と、前記撮影手段から前記出射部への方向である出射部方向と、前記出射部から前記輝点への方向である照射方向と、前記撮影手段から前記輝点への方向である輝点方向であって前記撮影手段で前記対象物を撮影した画像の画像認識により求めた前記２次元座標に基づいて算出した前記輝点方向とに基づいて、前記輝点の３次元座標を算出する３次元座標算出手段と、前記３次元座標算出手段により算出された少なくとも３つの輝点の前記３次元座標に基づいて、前記撮影手段により撮影した前記対象物の画像情報と、前記記憶手段に記憶された前記３次元オブジェクトとを合成する合成手段として機能させることを特徴とする。

請求項１記載の発明によれば、輝点の照射位置に基づく位置に３次元オブジェクトが合成されるので、その照射位置を変更するだけで３次元オブジェクトの合成位置を変更できる。このため、従来のように３次元オブジェクトの合成位置と姿勢を示す特徴点を示すタグを対象物上に載置して、それをいちいち移動させる必要がない。使用者が所望の位置に容易に３次元オブジェクトを合成することが出来る。

また、請求項２記載の発明によれば、請求項１記載の発明が奏する効果に加え、撮影画像サイズ記憶手段と、焦点距離記憶手段と、撮像素子サイズ記憶手段とに予め記憶されている情報に基づいて、前記輝点方向を算出することができる。このため前記輝点方向の算出のための計算量が低減され、合成画像生成における処理時間を短縮することができる。

また、請求項３記載の発明によれば、請求項１または請求項２に記載の発明が奏する効果に加え、予め出射部距離記憶手段に記憶された出射部距離に基づいて前記３次元座標を算出することができる。このため出射部距離検出の為のモジュールが不要となり、装置の小型化が可能となる。

また、請求項４記載の発明によれば、請求項１または請求項２に記載の発明が奏する効果に加え、距離センサにより測定された出射部距離及び出射部方向に基づいて前記３次元座標を算出ことができるので、出射部と撮影手段との位置関係を固定しなくても良い。このため、レーザポインタのような光源を用いて、出射部を本体とは別体にして構成することができる。

また、請求項５記載の発明によれば、請求項１から請求項４のいずれかに記載の発明が奏する効果に加え、予め出射部方向記憶手段に記憶された出射部方向に基づいて３次元座標を算出することができる。このため出射部方向検出の為のモジュールが不要となり、低コストで装置を実現できる。

また、請求項６記載の発明によれば、請求項１から請求項５のいずれかに記載の発明が奏する効果に加え、予め照射方向記憶手段に記憶された照射方向に基づいて３次元座標を算出することができる。このため照射方向変更の為の機構が不要となり、構成が簡単となるので、低コストで装置を実現できる。

また、請求項７記載の発明によれば、請求項１から請求項５のいずれかに記載の発明が奏する効果に加え、照射方向入力手段により使用者が照射方向を設定することができる。よって、各輝点を頂点とする三角形の大きさを変更することができる。このため、使用者は遠方に照射を行う際、三角形を大きくすることでシステムの認識精度を向上させることができる。よって、遠方に照射を行った場合でも、ユーザは適切な合成画像を閲覧することが可能となる。

また、請求項８記載の発明によれば、請求項１から請求項５のいずれかに記載の発明が奏する効果に加え、照射方向検出手段から得られる照射方向に基づいて前記３次元座標を算出することができるので、出射部と撮影手段との位置関係を固定しなくても良い。このため、レーザポインタのような光源を用いて、出射部を本体とは別体にして構成することができる。

また、請求項９記載の発明によれば、請求項１から請求項８のいずれかに記載の発明が奏する効果に加え、３つの輝点の３次元座標の中心の位置に３次元オブジェクトを合成することができる。このため、使用者は輝点位置を見て容易に合成位置を認識できる。

また、請求項１０記載の発明によれば、輝点の照射位置を変更するだけで３次元オブジェクトの合成位置を変更できるので、使用者が所望の位置に容易に３次元オブジェクトを合成することが出来る。

以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施形態である携帯型の画像合成装置１の斜視図である。画像合成装置１は画像を表示するためのディスプレイ１０を備えたディスプレイ部２と各種の操作ボタン４００が備えられた操作部３とからなる。操作ボタン４００としては、後述する電源ボタン４１、シャッターボタン４２、設定ボタン４３、閲覧ボタン４４、照射方向調整ボタン４５等のボタンが存在する。

図２はディスプレイ部２の裏面を模式的に示した模式図である。ディスプレイ部２の裏面の中央には画像を撮影するためのカメラ７０が設けられている。

カメラ７０の紙面上の上方には所定間隔を隔てて出射部９１が設けられている。更に、図２９の紙面上において左右方向から３０°斜め右下に出射部９２が設けられている。更に、紙面上において左右方向から３０°斜め左下に出射部９３が設けられている。以下、出射部９１〜９３をまとめて出射部９０と称す。尚、出射部９０は後述の光源２００からの光を出射する点である。

図３に電気的構成を示すブロック図を示す。画像合成装置には、画像合成装置１の動作を制御するマイコン３０が内蔵されている。マイコン３０はＣＰＵ３１と各種プログラムを記憶したＲＯＭ３２と各種情報を記憶するＲＡＭ３３とから構成されており、ＣＰＵ３１とＲＡＭ３２及びＲＡＭ３３とはバス３４を介して接続されている。

また、外部インターフェース４０は外部装置とのデータの入出力を行なうためのインターフェースであり、バス３４を解してＣＰＵ３１に接続されている。

画像処理回路２０を介してディスプレイ１０がマイコン３０と接続されている。画像処理回路２０はマイコン３０からの指示に従い、ディスプレイ１０に画像を表示させる。

操作ボタン４００（電源ボタン４１、シャッターボタン４２、設定ボタン４３、閲覧ボタン４４、照射方向調整ボタン４５等）は、外部入力インターフェース４０を介してマイコン３０と接続されており、各操作ボタン４００の押下に応じて対応する指令信号をマイコン３０に送信する。

カメラ７０はカメラインタフェース６０を介してマイコン３０と接続されており、カメラ７０により撮影した画像の信号をマイコン３０に送信する。

光源２００はドライバ８０を介してマイコン３０と接続されており、マイコン３０の指示に基づいて発光し、撮影する対象物に輝点を照射する。

モータ２０４は後述するミラー２０１の傾きを調整するための駆動源であり、モータ制御回路２０９を介してマイコン３０と接続されている。モータ制御回路２０９はマイコン３０の指示に基づいて、モータ２０４の動作を制御する。

ここで、輝点の照射方向について説明する。図４は画像合成装置１における輝点の照射方向を説明する模式図である。ここで、出射部９０とカメラ７０とを結ぶ直線と出射部９０と輝点１００とを結ぶ直線とがなす角度を角度γとする。尚、各出射部９１〜９３は全て同じγの値をとる。

照射方向は、後述するメイン処理のＳ１０３において、上述の角度γが変更されることによって調整される。

また、各出射部９１，９２，９３とそれに対応する輝点１０１，１０２，１０３について、出射部９０からカメラ７０へのベクトルと出射部９０から輝点１００へのベクトルとの外積が示す方向と、光軸にそってカメラ７０の向いている方向を示すベクトルとカメラ７０から出射部９０への方向を示すベクトルとの外積が示す方向は、角度γの値によらず常に同じ方向となるように照射方向は変更される。同一平面に輝点が存在するとき、角度γの値が大きくなるほど、各輝点９１，９２，９３を頂点とする三角形は大きくなる。角度γは照射方向調整ボタン４５を操作することにより入力される。

ここで、照射する角度γを変更する機構について簡単に説明する。図５は、画像合成装置１の筐体内部に納められる角度調整機構の構成を模式的に示す模式図である。

図５に示すように、角度調整機構は、出射部９０からの光の照射方向を調整可能に備えられ、光源２００と、角度γを変更するミラー２０１と、ミラー２０１を回動するための駆動源であるモータ２０４とを備える。

モータ２０４は、ウォームギア２０６を備えた回転軸２０６を回転さる。ウォームギア２０６は、ミラー２０１が設置された回転軸２０２に備えられたウォームホイール２０３に、モータ２０４の駆動力を伝える。尚、本実施形態において、ミラー２０１における光源２００からの光が反射される部分を、出射部９０とする。光源２００は各出射部９０に対してそれぞれ設けられる。

また、ディスプレイ部２の裏面から見たときに、カメラ７０と出射部９０とを結ぶ直線と直交する方向を長手方向にして回転軸２０２は備えられている。例えば、出射部９１に対して備えられる回転軸２０２は、カメラ７０と出射部９１とを結ぶ直線と直交する方向を長手方向にして回転軸２０２は備えられる。また、出射部９２に対して備えられる回転軸２０２は、カメラ７０と出射部９２とを結ぶ直線と直交する方向を長手方向にして回転軸２０２は備えられる。出射部９３に対して備えられる回転軸２０２は、カメラ７０と出射部９３とを結ぶ直線と直交する方向を長手方向にして回転軸２０２は備えられる。また、出射部９１〜９３に対応する全ての回転軸２０２は、ディスプレイ部２の裏面に対して平行に備えられる。

モータ２０１を回転させることによって、ミラー２０１の向きを変え、輝点の照射方向を変更する。

このような画像合成装置１において、撮影した撮影画像の一例として、机の上に輝点を照射し撮影した撮影画像を図６に示す。図６に示すように撮影画像中の机の上には出射部９１により照射された輝点１０１、出射部９２により照射された輝点１０２、出射部９３により照射された輝点１０３が撮影されている。本実施形態の画像合成装置によれば、この輝点１０１〜１０３を画像認識により認識し、撮影された輝点１０１〜１０３の位置に３次元オブジェクトを合成し、図２１に示したような合成画像を生成する。

尚、輝点１０１〜１０３の位置は、ユーザが画像合成装置１を傾けるだけで変更することができるので、３次元オブジェクトを合成したい位置に容易に移動することができる。

また、輝点１０１〜１０３の位置は上述したように照射方向調整ボタン４５を操作することにより自由に変更可能であるので、各輝点同士の間隔を自由に広げることができるので、遠くの位置に輝点を照射する場合は間隔を広げて、後述する画像認識を精度よく行なうことができる。

図７にＲＡＭ３３の各記憶領域を模式的に示す構成図を示す。図７に示すように、ＲＡＭ３３には撮影画像サイズ記憶領域３０１、焦点距離記憶領域３０２、視錐台記憶領域３０３、３次元オブジェクトデータ記憶領域３０４、出射部距離記憶領域３０５、出射部方向記憶領域３０６、撮影画像記憶領域３０７、合成パラメータ記憶領域３０８、合成画像記憶領域３０９、照射方向記憶領域３１０、作業領域３１１とを備えている。

撮影画像サイズ記憶領域３０１には、カメラ７０で撮影した撮影画像の予め設定されている縦横サイズが記憶されている。焦点距離記憶領域３０２には、カメラ７０の焦点距離が記憶されている。視錐台記憶領域３０３には、後述するカメラ座標系（におけるカメラの視錐台に関する情報が記憶されている。３次元オブジェクトデータ記憶領域３０４には、カメラ７０で撮影した撮影画像と合成するための３次元オブジェクトのデータである３次元オブジェクトデータが複数記憶されている。出射部距離記憶領域３０５には、カメラ７０から出射部９１〜９３までの距離がそれぞれ記憶されている。出射部方向記憶領域３０６には、カメラ座標系におけるカメラ７０（後述のカメラ原点）から出射部９１〜９３への方向がそれぞれ記憶されている。撮影画像記憶領域３０７は、カメラ７０により撮影した撮影画像が記憶される領域である。合成パラメータ記憶領域３０８は、後述する合成パラメータ算出処理で算出される合成パラメータが記憶される領域である。合成画像記憶領域３０９は、後述する合成処理で作成される合成画像が記憶される領域である。照射方向記憶領域３１０には、照射方向調整ボタン４５で調整される角度γの値と、輝点のカメラ座標系における照射方向のデフォルトの方向と、角度γの値とデフォルトの照射方向とに基づいて算出された調整後の照射方向とを記憶する領域である。尚、調整後の照射方向は後述のＳ１０３において算出される。作業領域３１１は、後述する各処理をＣＰＵ３１が実行する際に使用される領域である。

立体図形である３次元オブジェクトの透視図を、カメラ７０で撮影した撮影画像に合成してコンピュータグラフィックスで表す処理には、種々の座標変換が行われる。公知の技術であるが、この変換に関係する座標系であるワールド座標系とカメラ座標系について簡単に説明する。

ワールド座標系とは、現実の空間をモデル化して、擬似的な３次元の空間を考えたときに、そこに考える座標系をワールド座標系いう。

カメラ座標系とは、ワールド座標系の中に存在する仮想的なカメラを点として考えたときに、その仮想的なカメラを原点とした座標系である。カメラ座標系は、この仮想的なカメラのスクリーンの向きを定義するものである。カメラ座標系は仮想的なカメラの位置を原点とし、仮想的なカメラの向き（スクリーンの向き）をｚ軸方向とする座標系である。

上述の仮想的なカメラはワールド座標系の任意の位置に設置することができるが、カメラ座標系の原点であるカメラ原点の位置をワールド座標系の原点の位置と一致させて、更にｘ軸、ｙ軸、ｚ軸をそれぞれ一致させて考えることで、座標変換の処理を簡単に説明することができる。以下、本実施形態ではこのようにワールド座標系とカメラ座標系とを一致させたものとして説明する。尚、視錐台は一般にワールド座標系で設定されるが本実施形態ではワールド座標系とカメラ座標系とを一致させて考えるので、視錐台記憶領域３０３にはカメラ座標系における視錐台が記憶されている。

図８は、本実施形態におけるカメラ座標系と実際のカメラ７０との位置関係を示す。カメラ７０のレンズ中心を原点とし、ｘ軸がスクリーンの横軸、ｙ軸がスクリーンの縦軸、ｚ軸がカメラ７０の光軸とする。

次に画像合成装置１の動作について説明する。図９は画像合成装置１のＣＰＵ３１が実行するメイン処理のフローチャートである。

電源ボタン４１が押下されるとメイン処理が開始され、先ず初期化処理を実行する（ステップ１０１、以下ステップをＳと称す）。ここで初期化処理とはカメラ７０及びディスプレイ１０を起動し、出射部９０から対象物に輝点１０１〜１０３を投影することである。

次にカメラ７０からの入力画像にディスプレイ１０の表示を切換える（Ｓ１０２）。

次に照射方向調整ボタン４５からの入力を一定時間受け付け、その入力に基づいて輝点１０１〜１０３の照射方向を調整する（Ｓ１０３）。ここで、照射方向調整ボタン４５により、上述の角度γが入力されるが、その入力された角度γと、予め照射方向記憶領域３１０に記憶されている照射方向のデフォルト値に基づいて、調整後の照射方向が算出され、算出されたカメラ座標系における照射方向が照射方向記憶領域３１０に記憶される。

次に、電源ボタン４１が押下されたか否かを判断する（Ｓ１０４）。電源ボタン４１が押下された場合（Ｓ１０４：Ｙｅｓ）、終了処理を実行し（Ｓ１０５）、メイン処理が終了され画像処理装置１の電源がオフ状態になる。ここで終了処理とはカメラ７０及びディスプレイ１０を停止し、パターン光の照射を終了することである。

電源ボタン４１が押下されていないと判断した場合は（Ｓ１０４：Ｎｏ）、シャッターボタン４２が押下されたか否かを判断する（Ｓ１０６）。

シャッターボタン４２が押下されたと判断した場合は（Ｓ１０６：Ｙｅｓ）、後述する認識画像処理を実行し（Ｓ１０７）、Ｓ１０２に戻る。

シャッターボタン４２が押下されていないと判断した場合は（Ｓ１０６：Ｎｏ）、設定ボタン４３が押下されたか否かを判断する（Ｓ１０８）。

設定ボタン４３が押下されたと判断した場合は（Ｓ１０８：Ｙｅｓ）、後述する設定処理を実行し（Ｓ１０９）、Ｓ１０２に戻る。

設定ボタン４３が押下されていないと判断した場合は（Ｓ１０８：Ｎｏ）、閲覧ボタン４４が押下されたか否かを判断する（Ｓ１１０）。

閲覧ボタン４４が押下されたと判断した場合は（Ｓ１１０：Ｙｅｓ）、後述する閲覧処理を実行し（Ｓ１１１）、Ｓ１０２に戻る。閲覧ボタン４４が押下されていないと判断した場合は（Ｓ１１０：Ｎｏ）、そのままＳ１０３に戻る。

次に認識合成処理について説明する。図１０はＣＰＵ３１が実行する認識合成処理のフローチャートである。認識合成処理は上述したように、メイン処理のＳ１０６においてシャッターボタン１０５が押下されたと判断された場合に開始される。

ＣＰＵ３１は認識合成処理を開始すると先ず、カメラ７０で静止画を撮影し、静止画として撮影された撮影画像をＲＡＭ３３に記憶する（Ｓ２０１）。

次に撮影画像から出射部９０より投影された輝点１０１〜１０３について画像認識を行い、撮影画像における３つの輝点の位置を求める（Ｓ２０２）。

ここで、たとえば、図６に示した撮影画像には、机の上には出射部９０により投影された３つの輝点１０１、１０２、１０３が撮影されている。Ｓ２０２ではこの３つの輝点１０１〜１０３の撮影画像上での２次元座標を求める。

次に３つの輝点の認識が成功したか否かを判断する（Ｓ２０３）。Ｓ２０３において３つの輝点のうちいずれか一つでも認識できなかった場合は、認識が成功しなかったと判断し（Ｓ２０３：Ｎｏ）、認識失敗を通知する画像をディスプレイ１０に一定時間表示させ（Ｓ２０４）、メイン処理に戻る
３つの輝点の認識が成功した場合は（Ｓ２０３：Ｙｅｓ）、合成パラメータ算出処理を実行する（Ｓ２０５）。

ここで合成パラメータ算出処理について説明する。図１１に合成パラメータ算出処理のフローチャートを示す。

合成パラメータ算出処理を開始すると先ず、カメラ座標系におけるカメラ原点から輝点１０１〜１０３への方向である輝点方向を算出する（Ｓ３０１）。各輝点１０１〜１０３への方向については、撮影画像サイズ記憶領域３０１に記憶されている撮影画像の縦横のサイズ（例えば３００×４００ｐｉｘｅｌ）と、上述のＳ２０２で算出した２次元座標（例えば左上から縦２５ｐｉｘｅｌ目，横３２０ｐｉｘｅｌ目）と、焦点距離記憶領域３０２に記憶されているカメラ７０の焦点距離に基づいて、ピンホールカメラモデルを用いてカメラ７０から各輝点１０１〜１０３への方向を求めることができる。

次にカメラ７０から各輝点１０１〜１０３までの距離である輝点距離を算出する（Ｓ３０２）。

図１２は、出射部９１とそれに対応する輝点１０１の位置関係を示す。ここで、カメラ７０から輝点１０１までの輝点距離Ｌ_３は、カメラ７０から出射部９１までの距離Ｌ_１と、カメラ７０と輝点１０１とを結んだ直線とカメラ７０から出射部９１とを結んだ直線とがなす角度βと、カメラ７０と出射部９１とを結んだ直線と輝点１０１と出射部９１とを結んだ直線とがなす角度αと、から余弦定理により算出することができる。他の２つの輝点距離についても同様である。

ここで、カメラ７０から輝点１０１までの輝点距離の算出方法について図１３を用いて説明する。図１３はカメラ７０と出射部９１と輝点１０１との位置関係を模式的に示した模式図である。

尚、カメラ７０から出射部９１までの距離をＬ_１とし、出射部９１から輝点１０１までの距離をＬ_２とし、カメラ７０から輝点１０１までの距離をＬ_３とする。また、出射部９１とカメラ７０とを結ぶ直線と出射部９１と輝点１０１とを結ぶ直線とがなす角度をαとし、カメラ７０と輝点１０１とを結ぶ直線とカメラ７０と出射部９１とを結ぶ直線とが成す角度をβとする。

このとき、余弦定理により以下の式が成り立つ。

この２式よりＬ_１、α、βから輝点距離Ｌ_３を導くことができる。ここで、図２に示したようにカメラ７０と出射部９１とは画像合成装置１に固定されているので距離Ｌ_１については予め出射部距離記憶領域３０５に記憶されている値を取得するものとする。

また、角度α及びβについては、予め定め出射部方向記憶領域に記憶されたカメラ座標系におけるカメラ原点から出射部９１への方向と、Ｓ１０３で記憶された輝点１０１の調整後の照射方向と、Ｓ３０１で算出した輝点方向とに基づいて算出することができる。

輝点１０２及び輝点１０３までの輝点距離についても、輝点１０１同様に算出することができる。

このように、輝点方向と輝点距離が求められるので、カメラ座標系における各輝点１０１〜１０３までの各ベクトルａ_１〜ａ_３を算出することができる。よって、Ｓ３０１で算出した輝点方向及びＳ３０２で算出した輝点距離に基づいて、カメラ座標系におけるカメラ原点の位置からカメラ座標系における各輝点１０１〜１０３までのベクトルａ_１〜ａ_３を求め、カメラ座標系におけるにおける各輝点１０１〜１０３の座標を算出する（Ｓ３０２）。

ここで、

とする。

次に、Ｓ３０２で求めたベクトルａ_１〜ａ_３に基づいて合成パラメータを算出する（Ｓ３０３）。ここで、合成パラメータとしては、カメラ座標系における３次元オブジェクトの合成位置を示すベクトルｐと、３次元オブジェクトの正面方向を示すベクトルｆと、３次元オブジェクトの上方向を示すベクトルｕとを算出する。

合成位置を示すベクトルｐは次の式で算出される。

正面方向を示すベクトルｆ、及び、上方向を示すベクトルｕは次の式で算出される。

このように合成パラメータのベクトルｐ、ｕ、ｆを算出し、ＲＡＭ３３に記憶させた後、合成パラメータ算出処理を終了し、認識合成処理へ戻る。

ここで、認識合成処理の説明に戻る。上述のように合成パラメータ算出処理（Ｓ２０５）にて合成パラメータを算出後、合成処理を実行し撮影画像に３次元オブジェクトを合成する（Ｓ２０５）。

ここで、合成処理について説明する。図１４は合成処理のフローチャートである。合成処理を開始すると先ず、Ｓ２０５で算出した合成パラメータと、Ｓ２０１で記憶した撮影画像と、３次元オブジェクトのデータである３次元オブジェクトデータとをＲＡＭ３３から読み出す（Ｓ２６１）。

ここで、３次元オブジェクトデータについて説明する。図１５は一例として立方体の３次元オブジェクトを示す。このように３次元オブジェクトデータには、立方体の底面の中心点Ｐと、立方体の正面方向を示すベクトルｆ_ｏと、立方体の上方向を示すベクトルｕ_ｏとの情報を備えている。

次に、７０の視錐台に関する情報（カメラの焦点距離、アスペクト比等）をＲＡＭ３３から読み出す（Ｓ２６２）。ここでいう視錐台とは、カメラ座標系においておいて見えるもの全てを包含する空間領域のことを指し、「ゲームプログラミングのための３Ｄグラフィックス数学,Ｅｒｉｃ Ｌｅｎｇｙｅｌ 緒 狩野智英 訳, ボーンデジタル, Ｐ.８９−９３」に記載されている。

次に算出された合成パラメータを考慮して、３次元オブジェクトをカメラ座標系（ワールド座標系）で回転させる。ここでは、合成パラメータであるベクトルｕの方向と３次元オブジェクトの上方向を示すベクトルｕｏの方向とを一致させるように回転させた後、合成パラメータであるベクトルｆの方向と３次元オブジェクトの正面方向を示すベクトルｆｏの方向とを一致させるように回転させる（Ｓ２６４）。

３次元オブジェクトの回転方法については、「ゲームプログラミングのための３Ｄグラフィックス数学,Ｅｒｉｃ Ｌｅｎｇｙｅｌ 緒 狩野智英 訳, ボーンデジタル, Ｐ.５８−６２」に記載されているが、ここでは簡単に説明する。

３次元オブジェクトのカメラ座標系（ワールド座標系）における各頂点の座標を（ｘ,ｙ,ｚ）とするとき、単位ベクトルＡ（Ａｘ, Ａｙ, Ａｚ）で示される軸にそって、角度θ回転させた座標である頂点（ｘ',ｙ',ｚ'）は次の行列式で求めることができる。

ここで、S=sinθ、C=cosθである。

ここで軸Ａまわりの正の角度の回転とは、軸Ａが視点側向いているときに反時計回りさせることをいう。

同じことを4x4の座標変換の行列式であらわすと、

ただし、

このように、Ｓ２６４において、３次元オブジェクトを回転させた後、次に、合成パラメータであるベクトルｐを考慮してカメラ座標系（ワールド座標系）における３次元オブジェクトを移動させる（Ｓ２６５）。このとき３次元オブジェクトの底面の中心点ｐ_ｏがベクトルｐの座標と一致するように３次元オブジェクトを移動させる。

そして、Ｓ２６２で読み出した視錐台で、カメラ座標系における３次元オブジェクトをクリップし、撮影画像とクリップした３次元オブジェクトの透視図とを合成し、ＲＡＭ３３の作業領域に合成画像を記憶して（Ｓ２６６）、認識合成処理に戻る。

上述のように合成処理（Ｓ２０６）で合成画像を記憶した後、認識合成処理では、ディスプレイ２の表示をＳ２０６で作成した合成画像の表示に切換える（Ｓ２０７）。

そして、合成画像の保存が選択されるか否かを判断する（Ｓ２０８）。合成画像の保存が選択された場合（Ｓ２０８：Ｙｅｓ）、合成画像をＲＡＭ３３の合成画像記憶領域３０９に記憶して（Ｓ２１０）メイン処理に戻る。

合成画像の保存が選択されなかった場合（Ｓ２０８：Ｎｏ）、合成画像の破棄が選択されるか否かを判断する（Ｓ２０９）。合成画像の破棄が選択されなかった場合（Ｓ２０９：Ｎｏ）、Ｓ２０８へ戻り、合成画像の保存か破棄のいずれかが選択されるまでＳ２０８とＳ２０９を繰り返す。

合成画像の破棄が選択された場合（Ｓ２０９：Ｙｅｓ）、ＲＡＭ３３の作業領域に作成された合成画像を消去して（Ｓ２１１）、メイン処理に戻る。

次に図１６を参照し、設定処理について説明する。図１６は設定処理のフローチャートである。設定処理では合成するオブジェクトを設定する。ここでいう設定とは、３次元オブジェクト記憶領域３０４に複数記憶されている３次元オブジェクトの中から、合成する３次元オブジェクトを設定することをいう。

図１６に示すように、先ず、現在の設定内容（いずれの３次元オブジェクトが設定されているか）をディスプレイ１０に表示させる（Ｓ３３１）。次に設定終了が選択されるか否かを判断する（Ｓ３３２）。

設定終了が選択された場合は（Ｓ３３２：Ｙｅｓ）、設定処理を終了し、メイン処理に戻る。

設定終了が選択されなかった場合は（Ｓ３３２：Ｎｏ）、設定が変更されたか否かを判断する（Ｓ３３３）。設定が変更された場合は（Ｓ３３３：Ｙｅｓ）、変更された設定内容をＲＡＭ３３に記憶して（Ｓ３３４）、Ｓ３３１に戻る。設定が変更されなかった場合は（Ｓ３３３：Ｎｏ）、そのままＳ３３１にもどる。

次に、閲覧処理について説明する。図１７は閲覧処理のフローチャートである。先ず、ＲＡＭ３３の合成画像記憶領域３０９に記憶されている全ての合成画像をディスプレイ１０にリスト表示する（Ｓ４０１）。合成画像がない場合はリストには何も表示しない。

そして、閲覧の終了の操作が行なわれるか否かを判断する（Ｓ４０２）。閲覧の終了の操作が行なわれた場合は（Ｓ４０２：Ｙｅｓ）、メイン処理に戻る。

閲覧の終了の操作が行なわれない場合は（Ｓ４０２：Ｎｏ）、リストから特定の合成画像を選択する操作が行なわれたか否かを判断する（Ｓ４０３）。リストから特定の合成画像を選択する操作が行なわれない場合は（Ｓ４０３：Ｎｏ）、Ｓ４０１に戻る。

リストから特定の合成画像を選択する操作が行なわれた場合は（Ｓ４０３：Ｙｅｓ）、選択された合成画像をディスプレイ１０に表示させる（Ｓ４０４）。

そして、表示した合成画像を削除する操作が行なわれるか否かを判断する（Ｓ４０５）。削除の操作が行なわれた場合は（Ｓ４０５：Ｙｅｓ）、その合成画像をＲＡＭ３３の合成画像記憶領域３１０から消去し（Ｓ４０６）、Ｓ４０１に戻る。

削除の操作が行なわれなかった場合は（Ｓ４０５：Ｎｏ）、ディスプレイ１０の表示をリスト表示の画面に戻す操作が行なわれたか否かを判断する（Ｓ４０７）。

リスト表示の画面に戻す操作が行なわれなかった場合は（Ｓ４０７：Ｎｏ）、Ｓ４０４へ戻る。リスト表示の画面に戻す操作が行なわれた場合は（Ｓ４０７：Ｙｅｓ）、Ｓ４０１へ戻る。

上述の実施形態によれば、従来に比べ、合成位置の指定・変更がより容易となる。輝点の照射方向を変えるだけで容易に位置変更が可能である。また、紙のタグを配置するわけではないので、天井などの手の届かない場所にも合成位置を指定できる。

また、上述の実施形態によれば、３つの輝点の３次元座標の中心に、３次元オブジェクトを合成するものとして説明したが、撮影画像中の３輝点の２次元座標の中心に３次元オブジェクトを合成するようにしても良い。

また、上述の実施形態によれば、出射部９０はユーザが入力した照射方向に輝点を照射し、ユーザが入力した照射方向に基づいて、カメラ座標系における輝点の３次元座標を算出したが、出射部９０の照射方向が予め固定されており、その方向をあらかじめＲＡＭ３３に記憶させておき、ＲＡＭ３３に記憶された照射方向に基づいて輝点の３次元座標を算出するようにしても良い。

また、照射方向については、出射部９０を備えた輝点照射機構とカメラ７０にジャイロセンサ等の角度センサを設置しておき、そのジャイロセンサ等の角度センサの計測値に基づいて照射方向を求め、その照射方向に基づいて輝点の３次元座標を算出するようにしても良い。この場合の角度センサはジャイロセンサ以外であっても良く、図１８に示したような構成にしても良い。図１８は手動で輝点の照射方向γを調整し、手動で調整されたミラー２０１の角度を取得する機構を示した模式図である。図１８に示した機構は、図５で示した機構同様に、光源２００の光の照射方向に配置されたミラー２０１を備えた回転軸２０２を備える。回転軸２０２の一端にはウォームホイール２０３が形成されている。このウォームホイール２０３と接触するウォームギア２０６を備えた回転軸２０５が、所定の方向から見たときに回転軸２０２と略垂直に交わるように配置される。回転軸２０５の一端は画像合成装置１の筐体から突出しており、回転軸２０５の突出した部分に角度調整つまみ２０８が形成されている。ユーザは、この角度調整つまみ２０８を回転させて、回転軸２０５を回転させることにより、ウォームギア２０６、ウォームホイール２０３を介して、ミラー２０１が回転される。これにより、輝点の照射方向を調整することができる。また、回転軸２０７の他端には角度センサ２０７が備えられ、角度調整つまみ２０８により調整されるミラー２０１の傾きを検出することができる。この角度センサ２０７としては、可変抵抗器（ポテンショメータ）を使用する。

また、上述の実施形態によれば、出射部９０とカメラ７０とが筐体に固定されており、予めＲＡＭ３３に記憶されている出射部距離及び出射部方向に基づいて、３次元座標を算出するものとして説明したが、その他の方法により取得した出射部距離及び出射部方向に基づいて３次元座標を算出するようにしても良い。

例えば、出射部距離については、超音波、光などによる距離センサによって距離を測定ようにしてもよい。このようにすれば、出射部を含む装置をカメラを含む装置とは別体に設けることも可能である。また、特開２００３−１３０６２にあるように、出射部を含む装置に画像処理用のマーカを設置し、それをカメラで撮影し画像認識することにより、出射部距離、出射部方向、及び照射方向を求めるようにしてもよい。

図１９は、出射部を含む装置とカメラを含む装置とを別体に設けた場合の実施形態の一例のシステムを示した模式図である。図１９の例では、本システムは、ユーザに画像を提示するＨＭＤ１００２と、ＨＭＤ１００２につけられたカメラ１００１と、ユーザが合成位置を指定するために用いるポインティングデバイス３から成る。ポインティングデバイス３は３つの出射部１０３１〜１０３３を持つとする。

この場合、ユーザはポインティングデバイス３を用いて、望む合成位置に輝点を照射することができる。

また、上述の実施形態では３つの出射部９１〜９３からそれぞれ３つの輝点１０１〜１０３を投影するものとして説明したが、これに限るものではない。たとえば、一つの出射部から、３つの特徴点を備えた所定のパターンを投影し、その３つの特徴点を輝点１０１〜１０３として、３次元オブジェクトを合成するようにしてもよい。

画像合成装置１の斜視図。 ディスプレイ部２の裏面を模式的に示した模式図。 画像合成装置１の電気的構成を示すブロック図。 輝点を照射する方向を示す模式図。 画像合成装置１の筐体内部に納められる角度調整機構の構成を模式的に示す模式図。 机の上に輝点を照射し撮影した撮影画像の一例。 ＲＡＭ３３の各記憶領域を模式的に示す構成図。 本実施形態におけるカメラ座標系の位置関係を示す説明図。 メイン処理のフローチャート。 認識合成処理のフローチャート。 合成パラメータ算出処理のフローチャート。 出射部９１とそれに対応する輝点１０１の位置関係を示す説明図。 カメラ７０と出射部９１と輝点１０１との位置関係を示した模式図。 合成処理のフローチャート。 一例としての立方体の３次元オブジェクトの説明図。 設定処理のフローチャート。 閲覧処理のフローチャート。 手動で輝点の照射方向γを調整し、手動で調整されたミラー２０１の角度を取得する機構を示した模式図。 出射部を含む装置とカメラを含む装置とを別体に設けた場合の実施形態の一例のシステムを示した模式図。 ３次元オブジェクトを合成する前の撮影画像。 ３次元オブジェクトを合成した後の合成画像。

符号の説明

１０ ディスプレイ
２０ 画像処理回路
３０ マイコン
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
４０ 外部入力インターフェース
５０ 外部インターフェース
６０ カメラインタフェース
７０ カメラ
８０ ドライバ
９１、９２、９３ 出射部
１０１、１０２、１０３ 輝点

Claims (10)

1. 対象物の少なくとも３箇所に輝点を投影する出射部と、
   前記輝点が投影された前記対象物を撮影する撮影手段と、
   所定の３次元オブジェクトを記憶する記憶手段と、
   前記撮影手段から前記出射部までの距離である出射部距離と、前記撮影手段から前記出射部への方向である出射部方向と、前記出射部から前記輝点への方向である照射方向と、前記撮影手段から前記輝点への方向である輝点方向であって前記撮影手段で前記対象物を撮影した画像の画像認識により求めた前記２次元座標に基づいて算出した前記輝点方向とに基づいて、前記輝点の３次元座標を算出する３次元座標算出手段と、
   前記３次元座標算出手段により算出された少なくとも３つの輝点の前記３次元座標に基づいて、前記撮影手段により撮影した前記対象物の画像情報と、前記記憶手段に記憶された前記３次元オブジェクトとを合成する合成手段とを備えたことを特徴とする画像合成装置。
2. 前記撮影画像のサイズを記憶する撮影画像サイズ記憶手段と、
   前記撮影手段の焦点距離を記憶する焦点距離記憶手段と、
   前記撮影手段の撮像素子のサイズを記憶する撮像素子サイズ記憶手段とを備え、
   前記３次元座標算出手段は、前記画像認識により算出された前記２次元座標と、前記撮影画像サイズ記憶手段に記憶されている前記撮影画像のサイズと、前記焦点距離記憶手段に記憶されている前記撮影手段の焦点距離と、前記撮像素子サイズ記憶手段に記憶されている前記撮像素子のサイズとに基づいて、前記輝点方向を算出することを特徴とする請求項１記載の画像合成装置。
3. 前記出射部及び前記撮影手段は筐体に固定されており、
   前記出射部距離を記憶した前記出射部距離記憶手段を備え、
   前記３次元座標算出手段は、前記出射部距離記憶手段に記憶された前記出射部距離に基づいて前記３次元座標を算出することを特徴とする請求項１または請求項２に記載の画像合成装置。
4. 前記出射部と前記撮影手段との距離である出射部距離及び前記撮影手段から前記出射部への方向である出射部方向を測定する距離センサを備え、
   前記３次元座標算出手段は、前記距離センサにより測定された前記出射部距離及び前記出射部方向に基づいて前記３次元座標を算出するものであることを特徴とする請求項１または請求項２に記載の画像合成装置。
5. 前記出射部及び前記撮影手段は筐体に固定されており、
   前記出射部方向を記憶した前記出射部方向記憶手段を備え、
   前記３次元座標算出手段は、前記出射部方向記憶手段に記憶された前記出射部方向に基づいて前記３次元座標を算出するものであることを特徴とする請求項１から請求項４のいずれかに記載の画像合成装置。
6. 前記出射部は輝点を特定の方向に照射するように固定されており、
   前記固定された照射方向を記憶する照射方向記憶手段を備え、
   前記３次元座標算出手段は、前記照射方向記憶手段に記憶された前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする請求項１から請求項５のいずれかに記載の画像合成装置。
7. 使用者が前記照射方向を入力する照射方向入力手段を備え、
   前記出射部は、前記照射方向入力手段に入力された前記照射方向に前記輝点を投影し、
   前記３次元座標算出手段は、前記照射方向入力手段に入力された前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする請求項１から請求項５のいずれかに記載の画像合成装置。
8. 前記出射部の方向を検出する照射方向検出手段を備え、
   前記３次元座標算出手段は、前記照射方向検出手段から得られる前記照射方向に基づいて前記３次元座標を算出するものであることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
9. 前記合成手段は３つの輝点の３次元座標の中心の位置に前記３次元オブジェクトを合成することを特徴とする請求項１から請求項８のいずれかに記載の画像処理装置。
10. 対象物の少なくとも３箇所に輝点を投影する出射部と、前記輝点が投影された前記対象物を撮影する撮影手段と、所定の３次元オブジェクトを記憶する記憶手段とを備えた画像処理装置のコンピュータを、
    前記撮影手段から前記出射部までの距離である出射部距離と、前記撮影手段から前記出射部への方向である出射部方向と、前記出射部から前記輝点への方向である照射方向と、前記撮影手段から前記輝点への方向である輝点方向であって前記撮影手段で前記対象物を撮影した画像の画像認識により求めた前記２次元座標に基づいて算出した前記輝点方向とに基づいて、前記輝点の３次元座標を算出する３次元座標算出手段と、
    前記３次元座標算出手段により算出された少なくとも３つの輝点の前記３次元座標に基づいて、前記撮影手段により撮影した前記対象物の画像情報と、前記記憶手段に記憶された前記３次元オブジェクトとを合成する合成手段として機能させることを特徴とする画像合成プログラム。

Images