JP2005267033A - 複合現実感映像蓄積検索方法及び装置 - Google Patents

Abstract

【課題】 複合現実感空間において作業者が観察しているＨＭＤの映像と、作業者が仮想物体に対して行った操作に関する情報と及び仮想物体の状態に関する情報とを対応付けて記録する装置及び方法を提供すること。
【解決手段】 複合現実感空間において作業者が観察しているＨＭＤの映像を、仮想物体の操作情報と関連付けて蓄積する。また、記録したＨＭＤ映像を再生する際に、仮想物体の操作情報を時間軸に沿って可視化することにより、所定の条件を満たすＨＭＤ映像を容易に頭出しできる。
【選択図】 図２

Description

本発明は、複合現実空間内で作業者が行った作業に関する情報を記録、再生するための装置及び方法に関する。

近年、現実世界と仮想世界の継ぎ目のない融合を目指した複合現実感（Mixed Reality：ＭＲ）に関する技術開発が盛んになっている。ＭＲは、従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（Virtual Reality：ＶＲ）の世界と、現実の世界（現実空間）との共存を目的とし、ＶＲを増強する技術として注目されている。

複合現実感を観察者に提示するための装置として代表的な物は、頭部装着型装置（ＨＭＤ：Head Mounted Display）である。ＨＭＤには大きく分けてビデオシースルータイプと光学シースルータイプのＨＭＤが存在する。前者は不透明な（通常の）表示デバイスを用い、ビデオカメラで取得した実写画像（現実空間画像）と、通常コンピュータグラフィックス（ＣＧ）で生成する仮想空間画像と合成した複合現実空間画像を表示デバイスに表示することで、観察者に複合現実感を与える。一方、後者は半透明の表示デバイスを用い、現実空間は表示デバイスを透して観察者が直接観察し、仮想空間画像のみを表示デバイスに表示して、観察者に複合現実感を与える。

特開２０００−９９７６６号公報 特開２００２−３６６０２１号公報

仮想現実感(Virtual Reality)の技術を用いて作業支援（例えば工場における製品の組立手順を疑似体験させるなど）を行なう例として、特許文献１では、仮想物体同士を結合させる動作を支援して結合動作を疑似体験させるシステムについて開示している。特許文献１にはさらに、操作者が仮想物体に対して行った操作履歴情報を蓄積すること、蓄積した操作履歴情報を後から再生することが開示されており、ユーザは操作履歴情報の中に「しおり情報」を設定して、この「しおり情報」を手がかりに操作履歴情報を参照することができる。しかしながら、特許文献１に記載される操作履歴情報は現実世界とつながりのないＶＲ空間での操作履歴であり、現実の映像（実写画像）は用いられていない。また操作履歴情報のインデックスとなる「しおり情報」も、ユーザがマニュアルで設定するもので自動的に生成されるものではない。

特許文献２には、現実世界を模擬する実物大のモックアップを作成し、このモックアップの壁面等にプロジェクターで仮想物を投影するバーチャル現場訓練装置について開示されている。また、特許文献２においては、時刻と共に訓練者の位置、動作、発話、映像などを訓練データとして蓄積し、再生して訓練状況を再評価することが開示されている。ただし、特許文献２での「複合現実感」は実物大モックアップの壁面にプロジェクターでＣＧを重畳表示しているだけで、モックアップとＣＧとの間で三次元的な位置合わせが行われている訳ではない。また作業者の位置を把握することは述べられているが、具体的な動作把握の手段や仮想物とのインタラクションを行う手段については述べられていない。また現実世界の映像を記録する監視映像も用いられているが、上記データとの関連付けや再生の際にどのように利用するのかは記述されていない。

一方、動画像データを蓄積して再生する動画像データベースの分野では、画像処理によりシーンチェンジの部分を検出したり、画像認識によって特定の対象物を検出したりすることによって動画像のインデックスを自動的に生成する試みが行われてきたが、画像認識技術の限界により、どのような状況でも安定して検出することは困難である。また画像以外の情報、例えば音声の区間により動画像にインデックスをつけたり、位置／姿勢制御可能なカメラのパラメータなどをキーにしてインデックスを生成するなどの試みもあるが、これらの情報は必ずしも動画像の内容の重要度とは一致しておらず、有効な検索の手立てとはなっていない。

本発明は、このような従来技術の課題に鑑みてなされたもので、その主な目的の１つは、複合現実感空間において作業者が観察しているＨＭＤの映像と、作業者が仮想物体に対して行った操作に関する情報と及び仮想物体の状態に関する情報とを対応付けて記録する装置及び方法を提供することにある。

本発明の他の主な目的は、記録された映像のなかで、ユーザが所望の操作や仮想物体の状態などを満たす映像を容易に見つけ出すことができる装置及び方法を提供することにある。

上述の目的は、現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成工程と、複合現実空間画像を観察する作業者が仮想物体に対して行った操作に関する情報及び、仮想物体の状態に関する情報を取得する情報取得工程と、複合現実空間画像と、操作に関する情報と、仮想物体の状態に関する情報と、時刻情報とを対応付けて記録装置に記録する記録工程とを有することを特徴とする記録方法によって達成される。

また、上述の目的は、現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、複合現実空間画像を観察した作業者が仮想物体に対して行った操作に関する情報と、仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置から、複合現実空間画像を再生表示する再生方法であって、記録装置に記録された複合現実空間画像と、操作に関する情報と、仮想物体の状態に関する情報とを、時刻情報に基づいて再生表示する再生工程とを有することを特徴とする再生方法によっても達成される。

また、上述の目的は、現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成手段と、複合現実空間画像を観察する作業者が仮想物体に対して行った操作に関する情報及び、仮想物体の状態に関する情報を取得する情報取得手段と、複合現実空間画像と、操作に関する情報と、仮想物体の状態に関する情報と、時刻情報とを対応付けて記録する記録手段とを有することを特徴とする記録装置によっても達成される。

また、上述の目的は、現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、複合現実空間画像を観察した作業者が仮想物体に対して行った操作に関する情報と、仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置と、記録装置に記録された複合現実空間画像と、操作に関する情報と、仮想物体の状態に関する情報とを、時刻情報に基づいて再生表示する再生手段とを有することを特徴とする再生装置によっても達成される。

また、上述の目的は、本発明の記録方法と再生方法の少なくとも一方をコンピュータに実行させるプログラム、又はこのプログラムを格納するコンピュータ読み取り可能な記録媒体によっても達成される。

本発明によれば、複合現実感空間において作業者が観察しているＨＭＤの映像と、作業者が仮想物体に対して行った操作に関する情報とを対応付けた記録が実現される。また、記録された映像のなかで、ユーザが所望の操作や仮想物体の状態などを満たす映像を容易に見つけ出すことが可能となる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。なお、ここでは記録装置の実施形態の一例であると共に、再生装置の実施形態の一例でもある複合現実感映像蓄積検索システムについて説明するが、これは本発明において記録機能と再生機能の両方が必須であることを意味するものではない。

●（第１の実施形態）
図１は、本実施形態に係る複合現実感映像蓄積検索システムの機能構成例を示すブロック図である。本実施形態に係る複合現実感映像蓄積検索システムは、頭部装着型表示装置（ＨＭＤ）２０と、複合現実感映像蓄積検索装置１０とから構成される。

ＨＭＤ２０は、カメラ２２と３次元位置姿勢センサ２１と表示器２３とを有する、所謂ビデオシースルータイプの頭部装着型表示装置であり、通常、ＨＭＤ２０を装着した作業者は所定範囲の現実空間内で複合現実感を体感することが可能である。ＨＭＤ２０には、例えば磁気を利用して位置姿勢を計測する３次元位置姿勢センサ２１と、ＨＭＤ２０の装着者が観察する現実空間を撮像し、現実空間画像を取得するカメラ２２と、複合現実感映像蓄積再生装置１０から受信した画像をＨＭＤ２０の装着者眼前に提示するための、例えばカラー液晶ディスプレイである表示器２３とが設けられている。

３次元位置姿勢センサ２１とカメラ２２の相対的な位置関係はあらかじめ計測され、既知であるとともに不変であるとする。３次元位置姿勢センサ２１からは計測結果である位置姿勢信号が後述の位置姿勢計測部１１へ出力され、カメラ２２からは撮像結果が後述する画像入力部１２へ出力される。表示器２３は、入力として画像信号を受け画像を表示する装置であり、画像合成部１５から画像信号を受けその内容を表示する。

複合現実感映像蓄積検索装置１０において、位置姿勢計測部１１は、ＨＭＤ２０の３次元位置姿勢センサ２１から出力される３次元位置姿勢信号を受けて、既知である相対位置関係からカメラ２２の位置姿勢を表すカメラ位置姿勢データ（位置姿勢情報）を生成する。位置姿勢計測部１１にはまた、仮想物体に対してインタラクションを行なう操作手段としてのスタイラス４１が接続されている。スタイラス４１には３次元位置姿勢センサ２１と同様の位置姿勢センサが内蔵され、スタイラス４１の３次元位置姿勢信号が得られる。このスタイラス４１には入力装置、本実施形態においてはボタンが付属しており、マウスボタンと同様なクリック操作が可能である。

位置姿勢制御部１１は、カメラ２２の位置姿勢情報の他、記録用にスタイラス４１から得られる位置姿勢データそのものも出力する。画像生成部１３は、位置姿勢計測部１１で求められた位置姿勢データと、スタイラス４１の３次元位置姿勢データから、予め記憶されている仮想物体の位置情報及びモデル情報（形状やテクスチャなどの情報）を用い、カメラ２２で撮影される現実空間画像と位置関係が合った、またスタイラス４１による仮想物体の操作を反映した仮想空間画像をコンピュータグラフィックス技術によって生成する。一方、画像入力部１２は、カメラ２２から受信した実写映像の信号に、例えばディジタル化処理などの所定の処理を行い、現実空間画像として画像合成部１５へ供給する。

画像合成部１５は、画像入力部１２を通して得たカメラ２２からの現実空間画像上に、画像生成部１３により生成された仮想空間画像を合成し、複合現実空間画像を生成する。そして、複合現実空間画像を、ＨＭＤ２０の表示器２３へ出力する。ＨＭＤ２０の装着者は、カメラ２２で撮像されたリアルタイム画像の上に、計測されたカメラ位置姿勢及びスタイラス４１の操作に基づいた仮想空間画像が重畳表示された複合現実空間画像を観察することで、複合現実感を体験する。

制御部１６は、例えばＣＰＵであって、図示しない記憶装置に記録されたプログラムを図示しないＲＡＭに展開、実行することにより、複合現実感映像蓄積検索装置１０内の各要素を制御し、後述する各種処理を実現する。タイマ１７は例えば制御部１６が用いるクロックを利用して動作する時計である。

なお、ここでは説明を簡単にするため、１系統の処理を行うものとして説明したが、実際にはＨＭＤ２０に視差画像を表示し、３次元の複合現実空間を体験させるため、現実空間画像の取得、仮想空間画像の生成及び複合現実空間画像の生成に至る処理は右目用、左目用の２系統の処理を行う。

具体的には、カメラ２２はＨＭＤの左右に２台設けられ、位置姿勢計測部１１は３次元位置センサとそれぞれのカメラの既知の位置関係から各カメラの位置姿勢データを求める。そして、画像生成部１３は個々の位置姿勢データに基づいて右目用、左目用の仮想空間画像を生成する。また、画像合成部１５は、左右のカメラ２２から画像入力部１２を介して得られる２つの現実空間画像に対し、左目用、右目用の仮想空間画像を合成し、左目用及び右目用の複合現実空間画像を生成して、表示器２３の左目用表示デバイスと右目用表示デバイスへ出力する。

画像合成部１５で生成される複合現実空間画像は、蓄積部１４にも出力され、複合現実空間画像に対応する、スタイラス４１の位置姿勢データや、タイマ１７の時刻を用いて得られる時間情報と合わせて蓄積される。蓄積部１４に蓄積されたこれらのデータは、例えばマウスやキーボード、ジョグダイヤル等の入力装置を少なくとも１つを有する入力部３３からの入力に従い、制御部１６が同期制御することによりＣＲＴや液晶ディスプレイ等の表示装置３１へ時系列的に再生表示される。ここで、蓄積部１４に蓄積する位置姿勢情報や複合現実空間画像は、上述した視差画像生成過程で得られる左右２系統の情報の両方であっても、一方のみであってもよい。

なお、このような複合現実映像蓄積検索装置１０は、例えばビデオ入出力機能を有する汎用コンピュータにおいて、後述する機能を実現するアプリケーションプログラムを実行することにより実現することが可能である。また、本実施形態においては、グラフィカルユーザインタフェース（ＧＵＩ）を用いるオペレーティングシステム（ＯＳ）上でアプリケーションプログラムが動作するものとし、本システムのユーザは入力部３３によって表示装置３１の画面に表示されるＧＵＩを操作することによって各種の指示を装置に入力する。このようなＧＵＩ表示は、例えばアプリケーションプログラムがＯＳのＡＰＩ(Application Programming Interface)を利用することによって実現できる。

●（全体的な処理の説明）
次に、図２を用いて、本実施形態のシステムの全体的な処理の概要を説明する。本実施形態では、図２（ａ）に示すように、ＨＭＤの装着者（作業者）４０が現実空間の中に置かれた仮想物体４２、４３に対し、スタイラス４１を用いて作業を行う過程を記録、蓄積するものとする。現実空間には図示するような直交座標系である世界座標系（ｘ，ｙ，ｚ）が設定されており、ＨＭＤの位置姿勢がリアルタイムで検出されるため、この座標系に置かれた仮想物体４２、４３は、現実空間と矛盾のない位置関係で観察されるように現実空間画像上に描画され、ＨＭＤに表示される。

上述のように、スタイラス４１にも３次元位置姿勢センサが内蔵もしくは装着されており、スタイラス４１の位置姿勢もまたリアルタイムで検出できるので、スタイラス４１でこれらの仮想物体に対する作業、例えば選択して移動させるというインタラクションが可能である。具体的には、作業者４０がスタイラス４１で仮想物体に触れ、スタイラス４１のボタンをクリックすると触れた仮想物体が選択される。そして、ボタンをクリックしたままスタイラス４１を移動すると仮想物体も移動し、所望の地点でスタイラスのボタンをリリースするとその位置に仮想物体が置かれる。

このような仮想物体の操作を含め、複合現実感空間で作業者４０が観察していたＨＭＤの映像（作業者に提示されていた複合現実空間画像）が、仮想物体の操作情報（スタイラス４１の位置姿勢データや仮想物体の位置に関する情報など）と共に蓄積部１４に記録される。これら蓄積されたデータは、入力部３３の操作によって表示装置３１に時系列的に再生、表示することが可能である。

本実施形態において、蓄積部１４に記録されたデータは、表示装置３１に表示される例えば図２（ｂ）に示すような再生画面で再生される。
動画再生領域６０には、作業者がＨＭＤを通して観察していた映像が表示される。この図の例では、スタイラス４１、仮想物体４２、４３が映像に含まれている。スライドバー６１は、動画再生領域６０における動画表示を制御するとともに、動画再生時点を示す。仮想物体把持情報表示領域６５は、作業者４０がスタイラス４１で仮想物体を把持（仮想物体を選択した状態でボタンをクリック）していた時間帯を、仮想物体ごとに時間軸の帯で表す。この図の例では、横線で示される領域が仮想物体４２をスタイラスで把持していた時間帯を、縦線で示される領域が仮想物体４３を把持していた時間帯をそれぞれ表し、空白の部分はどの仮想物体も把持していなかった時間帯を表す。

スタイラス−仮想物体距離情報表示領域６６、６７は、スタイラス４１とそれぞれの仮想物体４２、４３との距離を示す領域である。ここでは、距離が遠い場合には濃く、近い場合には薄く、距離が０で接触している場合には白と言うように、距離を濃淡で表現している。この図の例では領域６６が仮想物体４２とスタイラス４１との距離、領域６７が仮想物体４３とスタイラス４１との距離を表している。

仮想物体視野（見え）情報表示領域６８、６９は、各仮想物体４２、４３が作業者４０のＨＭＤの視野領域に入った時間帯を仮想物体ごとに時間軸の帯で示している。ここでは、黒い領域は仮想物体がＨＭＤの視野領域になかった時間帯、白い領域が仮想物体がＨＭＤの視野にあった時間帯として示している。この図の例では領域６８が仮想物体４２の、領域６９が仮想物体４３の視野情報である。

各表示領域６５〜６９は動画スライドバー６１と共通の時間スケールで表示されるので、記録された作業時間全般にわたっての仮想物体に対する作業状況が一目で把握できる。ＨＭＤ映像（複合現実空間画像）の再生中は、各表示領域６５〜６９と動画スライドバー６１とに垂直に交わる直線状の再生位置インディケータ６２がスライドバー６１の再生位置に同期して移動するようになっており、再生時点での仮想物体の操作状況及び視野情報が容易に把握できる。

再生画面をこのように構成することにより、作業者は、映像を再生することなく、表示領域６５〜６９の情報から、仮想物体に対してなされた操作や、仮想物体がＨＭＤの視野に含まれているかどうかといった所望の条件を満たす部分を容易に特定し、再生することができる。具体的には、通常の動画プレーヤアプリケーションと同様に、入力部３３のマウスでスライドバー６１をドラッグして再生を開始したい位置に移動させ、再生画面中の再生ボタン（図示せず）を、例えばマウスでクリックすることにより、スライドバー６１の位置に対応する時点からの映像が再生される。

なお、スライドバー６１をドラッグしてＨＭＤ映像の再生開始時点に移動させずに、直接再生開始時点の位置をマウスで指定して、スライドバー６１をその位置に移動させても良い。また、再生位置インディケータ６２を操作可能とし、再生位置インディケータ６２を所望の位置に移動させて再生開始位置を指定するように構成することも可能である。

●（記録処理）
次に、作業データの記録処理について図面を用いてさらに詳細に説明する。
図３は、複合現実感作業空間での作業データを蓄積する記録処理のフローチャートである。この処理が開始される前に、予めシステムのユーザから、これから記録する作業データの名前が指定されているものとする。また、記録処理の開始は、ユーザが入力部から指示しても良いし、作業者４０が例えば入力部３１の一部を構成するスイッチ等を用いて指示しても良い。

まず、ステップＳ１００では、初期化処理として、作業に用いる仮想物体の情報がセットされる。通常、仮想物体の情報は、形状、色、位置座標、カメラ視点などの情報を含み一般的にはシーングラフとよばれる階層的なデータ構造を有する。また処理全体で用いられるグローバルな変数である「操作Ｆｌａｇ」をＯｆｆに、「操作対象仮想物体」をクリアする。

また、ユーザが指定した名前で蓄積するファイルがオープンされる。次のステップＳ１０５では、変数Sequence#に「０」がセットされ次のステップに移る。ステップＳ１１０では、ＨＭＤ２０に設けられた３次元位置姿勢センサ２１と、スタイラス４１に設けられた３次元位置姿勢センサからの信号が位置姿勢計測部１１に入力され、世界座標系（図２に図示されているような現実世界に固定され設定された座標系）における６パラメータの組としてのセンサ位置姿勢データ（ｘ，ｙ，ｚ，α，β，γ）が生成される。ここでαはｘ軸中心の回転角、βはｙ軸中心の回転角、γはｚ軸中心の回転角を表す。

すなわち、上述のように、本実施形態では、作業者が装着するＨＭＤと、作業者が用いるスタイラスのそれぞれに３次元位置姿勢センサが装着されており、各センサからＨＭＤとスタイラスの位置／姿勢が６パラメータの組として出力され、位置姿勢計測部１１でＨＭＤとスタイラスの位置／姿勢を取得する。

次のステップＳ１２０では、予め測定したセンサ位置とカメラ位置との関係から、センサ位置姿勢データをカメラ視点の位置姿勢座標（本実施形態ではＨＭＤの位置姿勢座標と同義とする）における位置姿勢データ（カメラ位置姿勢データ）に変換する。上述したように、センサとカメラの位置関係は固定なので、あらかじめキャリブレーションを行なって座標変換式を求めておくことができる。そして、この座標変換式を用いてセンサ位置姿勢データをカメラ位置姿勢データに変換する。ステップＳ１３０では、カメラ２２からの画像が画像入力部１２を経て画像合成部１５に書き込まれる。ステップＳ１４０では後述する「操作Ｆｌａｇ」の値を参照して、この値がＯｎであればステップＳ１５０へ、ＯｆｆであればステップＳ１６０に進む。ステップＳ１５０では、現在のスタイラス位置に操作対象の仮想物体を移動するように仮想物体のシーングラフの値を変更する。

ステップＳ１６０では画像生成部１３において、予め用意された、仮想物体の世界座標系で表される位置と形状データを用い、ステップＳ１２０で求められたカメラ位置姿勢のビューから仮想物体の画像（仮想空間画像）を描画して、画像合成部１５に書き込まれたカメラ２２からの撮像画像に上書き合成することにより、複合現実空間画像が得られる。

次のステップＳ１７０ではこの複合現実空間画像を表示器２３に表示する。ステップＳ２００では、画像合成部１５が出力する複合現実空間画像や、スタイラス位置姿勢データなどを経過時間情報と共にファイルに書き込む。ステップＳ３００では、例えば表示画面操作入力部３３からの終了キーの入力をチェックし、入力が確認できればステップＳ３８０へ、そうでなければステップＳ３５０で変数Sequence#を１だけインクリメントしてステップＳ１１０へ進み、処理を繰り返す。ステップＳ３８０では上述の処理で書込みが行なわれたファイルをクローズし処理を終了する。
なお、上述したように、記録するデータは左右の視差画像の一方又は両方、カメラ位置姿勢データの一方又は両方のうちから任意に設定可能である。

次にステップＳ２００のファイル書込み処理の詳細を図４、図５を用いて説明する。ファイル書込み処理では例えば図５に示すような管理テーブルのファイルを作成する。なお、ここでは便宜上、テーブルの一行をレコード、レコードに含まれる各種のデータ書き込み領域（テーブルの各列）をフィールドと呼ぶ。図５において、Sequence#フィールドは、上述した記録処理で用いられている変数Sequence#の値が、経過時間フィールドには変数Sequence#の値が０の画像記録処理での書き込み時点を０とする経過時間がそれぞれ格納される。

次の、仮想物体Ａ距離フィールドから仮想物ｎ距離フィールドは、仮想物体とスタイラスとの距離が仮想物体ごとに記録される。Ｓｔｙｌｕｓ把持フィールドは各Sequence #の時点で、作業者がどの仮想物体を把持していたかの情報を格納する。図５の例ではSequence #が１と２の時点で仮想物体Ａが把持されたことを示している。カメラ視野フィールドは各Sequence #の時点でどの仮想物体がＨＭＤの視野に含まれていたか、すなわち作業者から見えていたかの情報を格納する。図５の例ではSequence #が０、１、２の時点では仮想物体Ａが、Sequence #がｎの時点では仮想物体Ａ、Ｂが見えていたことを表している。スタイラスの位置／姿勢フィールド(Stylus位置／姿勢フィールド）には、位置姿勢計測部１１がスタイラス４１の３次元位置姿勢センサから取得した、前述の６パラメータの値がsequenceごとに格納されている。

レコードの最後のフィールドは複合現実空間画像データファイルへのポインタ（例えばファイルのパスやフレーム番号など）を格納するポインタフィールドである。画像データは容量が大きく、また圧縮すると可変長データとなるので、画像データ用に別なファイルを生成して管理テーブルからポインタでアクセスできるようにしておく。そして、このような構成のレコードが記録処理のサイクル毎に順次追加され、Sequence#を主キーとして時間経過に従って記録される。

このような管理テーブルファイルへの書き込み処理の手順を示すフローチャートが図４である。
まず、ステップＳ２１０では新しいレコードを作成し、変数Sequence#の現在の値をSequence#フィールドに書き込む。なお、最初のレコードSequence #＝０の場合には、基準時刻としてタイマ１７の値を記憶し、管理テーブルの経過時間フィールドに０（０：００：００）を書き込む。Sequence #＝１以上の場合には、タイマ１７から現在時刻を取得し、Sequence #が０の時点との差を取って経過時間に変換して管理テーブルの経過時間フィールドに書き込む。

ステップＳ２２０では、センサから読み込まれたスタイラス４１の位置／姿勢を表す６パラメータの値を、Stylus位置／姿勢フィールドに書き込む。ステップＳ２３０では後述する「操作Ｆｌａｇ」をチェックしＯｎであればステップＳ２３５へ、ＯｆｆであればステップＳ２４０へ進む。ステップＳ２３５では、管理テーブルのスタイラス把持フィールドに現在操作対象となっている仮想物体を特定可能な情報（ＩＤ）を変数「操作対象仮想物体」を参照して書き込む。

ステップＳ２４０からステップＳ２９０までは、複合現実空間作業場を形成する全ての仮想物体に対しての処理が繰り返し行われる。ステップＳ２５０では、スタイラスから仮想物体までの距離が計算される。これは世界座標系における仮想物体の位置／姿勢（シーングラフに格納）と、３次元位置姿勢センサの出力から得られるスタイラス４１の位置とから計算することができる。ステップＳ２６０では画像合成部１５で生成された複合現実空間画像データを蓄積部１４内の別ファイルに格納し、その先頭を示すポインタをポインタフィールドへ書き込む。

ステップＳ２７０では、世界座標系でのカメラ位置／姿勢と仮想物体の位置関係とから仮想物体の見え（ＨＭＤの視野に含まれるか否か）を調べる。これは例えば図６に示すように、カメラの（視点）位置、姿勢とカメラパラメータ（焦点距離：カメラ視点位置からカメラ画像面までの距離、ｘ、ｙ方向のそれぞれの画角、世界座標系でのカメラ視点位置／姿勢）に基づいて求まるカメラ画像面に、仮想物体が投影されているか否か判定することによって調べることができる。

図６の例では、世界座標系で（ｘ_１、ｙ_１、ｚ_１）に存在する仮想物体の点はカメラ画像面内の（ｕ_ｘ、ｕ_ｙ）に投影されているので視野に入っているが、（ｘ_２、ｙ_２、ｚ_２）に存在する仮想物体の点はカメラ画像面内に投影されていないので視野に入っていないと判定できる。これはカメラパラメータと仮想物体の世界座標系での位置／姿勢が既知であることから、透視投影変換のモデルを用いて判定することができる。

ステップＳ２８０では、ステップＳ２７０においてカメラの視野内に含まれると判定された場合にはステップＳ２８５へ、そうでなければステップＳ２９０へ進む。ステップＳ２８５では管理テーブルのカメラ視野フィールドに、現在処理対象となっている仮想物体のＩＤを書き込む。このようにして、複合現実空間内の全ての仮想物体に対してステップＳ２４０からステップＳ２９０までの処理を行ったならばファイル書き込み処理を終了する。以上の処理を実行することにより、作業者４０が観察するＨＭＤ映像と、仮想物体操作情報とが関連付けられてファイルに記録、蓄積される。

●（スタイラスのボタン操作に応じた処理）
次に、スタイラス４１のボタン操作に応じた処理について説明する。まず、図７のフローチャートを用いてスタイラス４１のボタンがクリックされた時に起動されるスタイラスボタンクリック処理について説明し、次いで図８のフローチャートを用いてスタイラス４１のボタンがリリースされた時に起動されるスタイラスボタンリリース処理について説明する。これら２つの処理は図３に示される記録処理のコールバック関数として実装することにより、ボタンクリック／ボタンリリースのイベントが発生した時に例えばＯＳからそれぞれの処理が呼び出され、処理が終了した時点で元の処理に復帰するように構成することができる。

図７のステップＳ６１０では、スタイラスの位置／姿勢データを、図３のステップＳ１１０で取得した値としてセットする。ステップＳ６２０では、取得したスタイラスの位置から最も近い距離にある仮想物体を見つけるため、すべての仮想物体のシーングラフを検索し、仮想物体とスタイラス４１との距離を計算する。シーングラフには仮想物体の形状や位置情報が格納されているので、スタイラスから仮想物体までの世界座標系での距離が計算できる。

ステップＳ６３０では、計算された距離を調べ、距離が０（スタイラスと仮想物体が接触している状態）あるいは０以下（スタイラスが仮想物体の中に存在する状態）である仮想物体を操作対象とし、ステップＳ６４０へ進む。距離が０より大きな仮想物体しか存在しない場合は操作対象仮想物体は存在しないと判定してボタンクリック処理を終了する。ステップＳ６４０では「操作Ｆｌａｇ」をＯｎにし、操作対象の仮想物体のＩＤを変数「操作対象仮想物体」に代入し、ボタンクリック処理を終了する。

次に図８のスタイラスボタンリリース処理を説明する。ステップＳ７１０では、「操作Ｆｌａｇ」をＯｆｆにし、変数「操作対象仮想物体」をクリアして処理を終了する。

●（再生画面生成処理）
以上、作業者４０が複合現実空間にて行った作業を記録する処理について説明したが、蓄積部１４に記録された情報から、図２（ｂ）に示したような再生画面を生成する処理について簡単に説明する。なお、複合現実空間画像の再生に先立ってユーザは蓄積されているファイル名を例えば上述したようにＧＵＩを入力部で操作することによって指定しておくものとする。

まず、制御部１６は、指定されたファイル（管理テーブル）や、複合現実空間画像が記録されている画像ファイルなどを図示しないメモリに読み込む。上述したように仮想物体操作情報表示領域６５、６６、６７、６８、６９はそれぞれ、再生する画像ファイルの総時間によって定まる共通の大きさ（ここでは横方向の長さ）を有するため、単位時間あたりの横方向表示画素数は「表示領域の横方向の画素数（ドット）／トータル経過時間（秒）」で求めることができる。ここで、トータル経過時間とは、再生対象の画像ファイルの総蓄積時間（＝総再生時間）である。

操作物把持情報表示領域６５の場合は、管理テーブルのＳｔｙｌｕｓ把持フィールドの欄を参照して、把持されている仮想物体が存在した場合には対応する経過時間（Sequence #の期間）に相当する表示領域を仮想物体ＩＤに対応する所定のパターンで塗りつぶす。スタイラス−仮想物体距離情報表示領域６６は、管理テーブルの「仮想物体Ａ距離」フィールドを参照しながら、距離０を「濃度０」に、予め定めた作業者の移動範囲において定まる最大の距離を「濃度２５５」に（濃度が８ビット（２５６階調）の場合）、その間の距離は線形補間した濃度に割り当て、各Sequence #の期間に対応する幅の領域を塗りつぶすことにより、図２（ｂ）に示す濃淡の時間軸情報を構成することができる。操作物距離情報表示領域６７は管理テーブルの「仮想物体Ｂ距離」フィールドの情報を用いてスタイラス−仮想物体距離情報表示領域６６と同様に構成することができる。

仮想物体視野（見え）情報表示領域６８、６９は、管理テーブルの「カメラ視野」フィールドを参照して、仮想物体Ａが該当欄に記入されていれば表示領域６８の対応する時間領域を所定のパターン（ここでは濃度２５５である黒）で塗りつぶし、仮想物体Ｂが記入されていれば、表示領域６９の対応する時間領域を所定のパターン（ここでは濃度２５５である黒）で塗りつぶすことで構成可能である。

●（再生画面の操作による処理）
以上の処理によって作成された図２（ｂ）の再生画面で、ユーザは入力部３３を用いてスライドバー６１を操作し、所望の条件を満たすＨＭＤ映像（複合現実空間画像）の頭出しもしくは検索を行なうことができる。

すなわち、ユーザにより動画スライドバー６１が移動されて位置が確定すると、制御部１６はスライドバー６１の位置を表示装置３１の画素位置として読み出す。この画素位置から、スライドバー全体における相対的な位置（例えば開始時点となる左端から何％進んだか）がわかるので、全体の時間とこの相対的な位置から経過時間を求めることができる。この経過時間をもとに制御部１６は管理テーブルの経過時間フィールドｔ（ｉ）を参照して、経過時間≧ｔ（ｉ）を満たす最大のｔ（ｉ）に対応するSequence#の値ｉを求める。そして、Sequence#の値ｉを有するレコードのポインタフィールドを参照し、蓄積部１４から対応する動画フレーム（複合現実空間画像）を読み出し、動画表示領域６１に表示する。このように、ユーザは全体の時間における大まかな経過時間をスライドバー６１の位置として認識することができ、大まかな経過時間に対応する映像の頭出しができる。ユーザは頭出しされたシーンから再生ボタン（図示せず）を用いて映像を連続再生することもできる。

また、上述したように、スライドバー６１をドラッグしてＨＭＤ映像の再生開始時点に移動させずに、直接再生開始時点の位置をマウスで指定して、スライドバー６１をその位置に移動させても良い。また、再生位置インディケータ６２を操作可能とし、再生位置インディケータ６２を所望の位置に移動させて再生開始位置を指定するように構成することも可能である。

さらに、表示領域６５〜６９についても、マウスで位置を指定可能とし、表示領域中でクリック（又はダブルクリック）された位置に対応する経過時間を上述した方法で求め、映像の頭出しを行うことができるように構成することも可能である。

このように、本実施形態によれば、複合現実空間内で作業者が仮想物体に行った操作に関する情報を記録することで、作業記録を様々な用途に利用することが可能になる。

また、作業記録を、操作内容や仮想物体の状態と関連付けて視覚的に表現することにより、記録した映像を最初から再生することなく、所定の条件を満たす映像を容易に見つけ出すことが可能になる。さらに、複合現実空間での行った作業が視覚的に把握でき、作業内容の把握や分析を容易に行なうことが可能となる。

●（第２の実施形態）
第１の実施形態では蓄積されたＨＭＤ映像と仮想物体の操作情報を図２（ｂ）に示すような再生画面で表示し、ユーザが表示領域６５〜６９における表示を手がかりにして所望の映像を探しだす場合を想定していたが、ユーザが条件を与え、その条件を満たすSeqence #を装置側で検索して映像を提示する（データベースのクエリー形式で利用する）ように構成することも可能である。

このような、明示的な検索条件を与えるためのＧＵＩの例を図９に示す。図９において、図２（ｂ）と共通する要素には同じ参照数字を付し、重複する説明を省略する。
例えば、図９（ａ）の例では、仮想物体の把持情報と視野（見え）情報に関するクエリーをプルダウンメニューを用いて実現したものである。この図において動画再生領域６０とスライドバー６１は図２（ｂ）の構成と同じで、その下がクエリー（検索条件）指定領域になっている。仮想物体指定メニュー７１は、検索対象となる仮想物体を指定する領域で、この例では仮想物体ＡまたはＢを指定できるようになっている。ここで指定された仮想物体に対して満たすべき状態を指定するのが右側の仮想物体状態指定ニュー７２である。この例では、指定された仮想物体を「掴んだ時点」、「離した時点」、「見え始めた時点」「見えなくなった時点」の４つの状態を指定できる。

これらメニュー７１、７２を操作し、ユーザは所望の条件を指定して下部にある検索開始ボタン７３をクリックすることにより指定条件での検索実行を指示する。制御部１６は、検索開始ボタン７３のクリックを検知すると、メニュー７１、７２の内容を取得し、検索処理を行う。

この検索処理は図５の管理テーブルを用いて容易に実現することができる。仮想物体を「掴んだ時点」、「離した時点」の検索条件は、管理テーブルの「Ｓｔｙｌｕｓ把持」フィールドを、現在スライドバーが存在する位置に対応する経過時間より後のレコードについて順次参照し、前者は対象の仮想物体が最初に現れたSequence #の経過時間ｔ（ｉ）を、後者は把持していた仮想物体が欄から消えたSequence #の経過時間ｔ（ｉ）を取得する。そして、経過時間の位置へスライドバーを移動させ、動画ポインタをたどって頭出し画像を動画表示領域６１へ表示する。「見え始めた時点」、「見えなくなった時点」についてもこの管理テーブルの「カメラ視野」フィールドを参照することで、「掴んだ時点」、「離した時点」と同様にして検索を行い、ＨＭＤ映像の頭出しを行うことができる。

このような検索処理によって、頭出しされた映像の先頭フレーム画像が動画表示領域６０に表示され、スライドバーが対応する位置に移動する。また、再び検索開始ボタン７３を押すと現在のスライドバーに対応する時点以降で最初に条件を満たす時点が検索され、条件を満たす部分があれば、表示画像及びスライドバーの位置が変化する。動画の頭出しが終了した状態からユーザが動画再生ボタン（図示せず）を押すと、この時点からの動画像が再生される。このようにして、ユーザが仮想物体の把持情報と視野（見え）の情報に関する条件を満たす動画の頭出しを容易に行うことを可能にする。

図９（ａ）の例では、仮想物体の状態を指定して検索を行う場合を説明したが、仮想物体とスタイラスとの距離を指定して検索を行う場合のＧＵＩの例を図９（ｂ）に示す。

この図において動画表示領域６０とスライドバー６１、スタイラス−仮想物体距離情報表示領域６６、６７は図２の構成と同じで、その下がクエリー指定領域になっている。スタイラス−仮想物体距離入力領域７４には仮想物体とスタイラスとの距離を指定することができる。また、スタイラスー仮想物体距離値域指定メニュー７５では、スタイラス−仮想物体距離入力領域７４の入力された値「に等しい時間帯」、「以下の時間帯」、「以上の時間帯」のいずれかの条件を指定することができる。

これらメニュー７４、７５を操作し、ユーザは所望の条件を指定して下部にある検索開始ボタン７３をクリックすることにより指定条件での検索実行を指示する。制御部１６は、検索開始ボタン７３のクリックを検知すると、メニュー７４、７５の内容を取得し、検索処理を行う。

制御部１６は管理テーブルの仮想物体Ａ距離〜仮想物体ｎ距離フィールド（本実施形態では仮想物体Ｂ距離フィールドまで）を参照し、指定された条件を満たすSequence #を検索する。そして、仮想物体毎に、条件を満たす時間帯をそれぞれスタイラス−仮想物体距離情報表示領域６６、６７に破線で囲まれた矩形領域として表示する。ユーザはこの表示情報をもとにスライドバー６１を移動させながらＨＭＤ映像の所望の部分を頭出しし、再生することができる。

なお、本実施形態では、仮想物体とその状態、仮想物体の距離に関してそれぞれ独立にクエリーを行なう例を示したが、これらの検索項目の論理積、論理和、否定などの論理演算を画面上で行なえるような構成も可能である。

このように、本実施形態においても、ユーザは所望の条件を満たす映像を容易に頭出しすることが可能である。

●（他の実施形態）
上述の実施形態においては、作業者がスタイラスを用いて仮想物体に対する操作を行う場合について説明したが、位置及び姿勢が検出可能であれば、どのような物を用いて操作を行ってもよい。また、作業者の手の平の位置姿勢を検出するようにして、作業者が自分の手で仮想物体の操作を行うようにしても良い。この場合、スタイラスに設けたボタンのオン、オフと同様の信号を発生させるための構成は任意である。例えば、仮想物体の操作は一方の手で、行い、ボタンのオン・オフは他方の手でスイッチを操作するようにしてもよいし、作業者の身振り、手振りや音声指示などでボタンのオン・オフに相当する信号を発生するようにすることもできる。

また、上述の実施形態においては、スタイラスとの距離が０又は負である仮想物体を操作対象の仮想物体であるとしたが、スタイラスを向けた方向に存在する最も手前の仮想物体を操作対象（選択状態）とするなど、他の任意の条件で操作対象となる仮想物体を判定しても良い。

上述の複合現実感映像蓄積検索装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態における複合現実感映像蓄積検索装置とＨＭＤの機能構成例を示すブロック図である。 複合現実感空間の様子と複合現実感映像蓄積検索装置の再生画面例を示す図である。 本発明の実施形態における複合現実感映像蓄積検索装置の記録処理のフローチャートである。 図３のファイル書き込み処理ステップＳ２００の処理の詳細を示すフローチャートである。 本発明の実施形態における複合現実感映像蓄積検索装置で用いる管理テーブルの例を示す図である。 カメラの視野を説明する図である。 本発明の実施形態におけるスタイラスボタンクリック処理の詳細を示すフローチャートである。 本発明の実施形態におけるスタイラスボタンリリース処理の詳細を示すフローチャートである。 本発明の第２の実施形態における複合現実感映像蓄積検索装置の再生画面例を示す図である。

符号の説明

１０ 複合現実感映像蓄積検索装置
１１ 位置姿勢計測部
１２ 画像入力部
１３ 画像生成部
１４ 蓄積部
１５ 画像合成部
１６ 制御部
２０ ＨＭＤ (Head Mounted Display)
２１ ３次元位置姿勢センサ
２２ カメラ
２３ 表示器
３１ 表示装置
３３ 入力部
４０ 作業者
４１ スタイラス
４２、４３ 作業対象仮想物体
６０ 動画表示領域
６１ スライドバー
６２ 再生位置インディケータ
６５ 仮想物体把持情報表示領域
６６、６７ スタイラス−仮想物体距離情報表示領域
６８、６９ 仮想物体視野（見え）情報表示領域
７１ 仮想物体指定メニュー
７２ 仮想物体の状態指定メニュー
７３ 検索開始ボタン
７４ スタイラス−仮想物体距離入力領域
７５ スタイラス−仮想物体距離値域指定メニュー

Claims (12)

1. 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成工程と、
   前記複合現実空間画像を観察する作業者が前記仮想物体に対して行った操作に関する情報及び、前記仮想物体の状態に関する情報を取得する情報取得工程と、
   前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とを対応付けて記録装置に記録する記録工程とを有することを特徴とする記録方法。
2. 前記操作に関する情報が、前記作業者が用いる操作手段の位置姿勢に関する情報を含むことを特徴とする請求項１記載の記録方法。
3. 前記仮想物体の状態に関する情報が、前記仮想物体が操作されているか否か、前記仮想物体が前記観察者の視野に含まれるか否か、前記仮想物体と前記操作手段との距離の少なくとも１つを含むことを特徴とする請求項１又は請求項２記載の記録方法。
4. 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、前記複合現実空間画像を観察した作業者が前記仮想物体に対して行った操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置から、前記複合現実空間画像を再生表示する再生方法であって、
   前記記録装置に記録された前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報とを、前記時刻情報に基づいて再生表示する再生工程とを有することを特徴とする再生方法。
5. 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
   前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記操作に関する情報を表示するための操作情報表示領域と、前記仮想物体の状態に関する情報を表示するための状態表示領域とを有し、
   前記操作情報表示領域と、前記状態表示領域とが、前記再生を行う前記複合現実空間画像の総再生時間によって定まる共通の長さを有することを特徴とする請求項４記載の再生方法。
6. 前記操作情報表示領域と、前記状態表示領域とが、所定の塗りつぶしパターンによって前記操作に関する情報と前記仮想物体の状態に関する情報を表示することを特徴とする請求項５記載の再生方法。
7. 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
   前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記仮想物体の状態についての検索条件を指定する検索条件指定領域を有し、
   さらに、前記記録装置を参照し、前記検索条件指定領域に指定された前記検索条件を満たす時間帯を取得するとともに、前記時間帯に対応する前記複合現実空間画像を取得し、前記動画表示領域に提示する検索工程を有することを特徴とする請求項４記載の再生方法。
8. 前記再生工程が、所定の再生画面を通じて前記再生を行うと共に、
   前記再生画面が、前記複合現実空間画像を表示するための動画表示領域と、前記操作に関する情報についての検索条件を指定する検索条件指定領域を有し、
   さらに、前記記録装置を参照し、前記検索条件指定領域に指定された前記検索条件を満たす時間帯を取得するとともに、前記時間帯を前記操作情報表示領域に提示する検索工程を有することを特徴とする請求項４記載の再生方法。
9. 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を、位置合わせして合成することにより複合現実空間画像を生成する画像合成手段と、
   前記複合現実空間画像を観察する作業者が前記仮想物体に対して行った操作に関する情報及び、前記仮想物体の状態に関する情報を取得する情報取得手段と、
   前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とを対応付けて記録する記録手段とを有することを特徴とする記録装置。
10. 現実空間を撮影して得られる現実空間画像に、仮想物体の画像を位置合わせして合成して得られる複合現実空間画像と、前記複合現実空間画像を観察した作業者が前記仮想物体に対して行った操作に関する情報と、前記仮想物体の状態に関する情報と、時刻情報とが対応付けられて記録された記録装置と、
    前記記録装置に記録された前記複合現実空間画像と、前記操作に関する情報と、前記仮想物体の状態に関する情報とを、前記時刻情報に基づいて再生表示する再生手段とを有することを特徴とする再生装置。
11. 請求項１乃至請求項３のいずれか１項に記載の記録方法と、請求項４乃至請求項８のいずれか１項に記載の再生方法の少なくとも一方をコンピュータに実行させるプログラム。
12. 請求項１１記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images