JP2001005998A - 情報視覚化システム - Google Patents

Abstract

(57)【要約】 【課題】 軽量な処理で３次元ウォークスルーおよびハ
イパーリンク操作を行うことができ、経路等の変更を自
動的に映像に反映することのできる情報視覚化システム
を提供する。 【解決手段】 部分映像生成手段15は、３次元空間形状
情報102とウォークスルー経路情報101からウォークスル
ー映像を生成し、これを分岐点で分割した複数の部分映
像112に変換する。分岐情報生成手段14は、部分映像の
分岐情報111を生成する。ハイパーリンク情報生成手段1
6は、３次元空間上の視覚化オブジェクト情報103を基に
ハイパーリンク情報113を生成する。部分映像選択手段2
4は、利用者の経路選択に応じて部分映像を切り換える
ための部分映像切換指示122を送出する。部分映像連結
再生手段23は、部分映像切換指示122に応じて部分映像
選択指示131を送出すると同時に、切り換えられた部分
映像を円滑に連結再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機によって仮
想的に生成した空間映像の所望の位置に各種情報を視覚
的オブジェクトとして埋め込むことによって、利用者に
情報提示を行ない、軽量な処理で３次元ウォークスルー
することのできる情報視覚化システムに関する。

【０００２】

【従来の技術】従来、情報処理学会研究報告96-IM-28-7
の報告を始めとして、計算機を用いた情報視覚化システ
ムにおいて、計算機によって生成した3次元コンピュー
タグラフィックス(3次元CG)映像の所望の位置に各種情
報(コンテンツ)を視覚的オブジェクトとして埋め込むこ
とによって、情報提示環境を構築する情報視覚化システ
ムがある。

【０００３】これらのシステムでは、前記情報提示環境
において利用者が3次元空間映像における仮想的な視点
を変更する操作や、前記情報提示環境において前記視覚
的オブジェクトに対して選択あるいは移動などの操作を
行なうことによって、視覚的オブジェクトを順次画面に
表示し、そこに埋め込まれた情報を利用者が選択的に獲
得することができる。

【０００４】さらに、視覚化された情報の関連情報(例
えば対象が図書であればその書誌情報や同じ著者の図書
一覧など)を利用者に提示するシステムが多く実現され
ており、画面内で視覚的オブジェクトの一つを直接的な
ポインティングで選択することによって、それと関連し
た情報を追加表示する方式や、画面内のアイコンやメニ
ュー選択によって関連情報を追加表示する方式などが広
く一般的に用いられている。

【０００５】これらのシステムにおいて、利用者が3次
元空間映像における仮想視点を移動するインタフェース
としては、あたかも歩いている様な感覚で情報を検索す
ることのできるウォークスルーインタフェースが直感性
に優れたものとして広く用いられている。

【０００６】特に、利用者がその都度自由に仮想視点の
移動方向を決定し、システムがそれに応じた空間映像を
逐一表示することのできる方式は、利用者が思い通りに
ウォークスルーして所望の検索を行うことが可能であり
有効である。

【０００７】しかし、これらのウォークスルー映像を生
成するためには、多量な3次元CG演算を行う必要があ
り、例えば、利用者の操作に応じて実時間でウォークス
ルー映像を生成するには、3次元CG処理のための専用の
ハードウェアを必要とする。以上を第一の従来技術と呼
ぶこととする。

【０００８】これに対して、3次元CG専用のハードウェ
アを用いずに上記の情報視覚化を可能とする方式とし
て、Apple社QuickTimeVR方式を始めとしたムービーファ
イルを用いる方式が広く知られている。この従来技術に
よれば、例えば利用者は、ウォークスルーする経路を予
め想定した映像をムービーファイルとして生成してお
き、実行時には、ムービーファイルを再生することで、
利用者にウォークスルー映像を提示することが可能であ
る。

【０００９】ここで、ムービーファイルを生成する際に
は、上記の３次元CG処理と同様の多大な処理が必要であ
るが、一旦ムービーファイルを生成してしまえば、その
後のムービーファイルの再生は比較的少ない処理量で実
現することが可能である。さらに、この方式では、ムー
ビーファイル中に複数経路の映像を埋め込み、利用者が
選択的に再生することが可能である。すなわち、利用者
は完全に自由ではないが、ある程度思い通りのウォーク
スルーを行うことができる。以上を第二の従来技術と呼
ぶこととする。

【００１０】また、これとは別に、ムービーファイルの
各場面において表示された物体と、別途格納された関連
情報との対応づけを管理するための、いわゆるハイパー
リンク情報を生成し、ムービーファイルの所定の場面の
所定の位置をマウスなどで選択した場合に、それと関連
づけられた情報を呼出表示する技術としては、情報処理
学会第49回全国大会論文集1W-7で提案された方式が知ら
れている。

【００１１】この技術を用いることで、利用者がムービ
ーファイルを用いたウォークスルーをしながら空間映像
中に表示された特定の物体を選択することによって、そ
れと関連する情報を獲得することのできる、いわゆるハ
イパーリンクインタフェースを実現することが可能であ
る。以上を第三の従来技術と呼ぶこととする。

【００１２】

【発明が解決しようとする課題】しかし、これらの従来
技術には、次のような問題があった。すなわち、上記Qu
ickTimeVRを始めとする第二の従来技術によれば、第一
の従来技術における３次元CG専用のハードウェアを用い
ずに、予め決められた複数経路上を選択的にウォークス
ルーしつつ、空間映像中に埋め込まれた各種情報を獲得
することが可能であるが、これらのウォークスルー映像
を作成するには各経路のムービーファイルを生成した上
で、さらに手作業でそれらのムービーファイル間の関連
付けを行う必要があった。

【００１３】さらに、ムービーファイル間の関連付け情
報や、複数のムービーファイルを最終的に一つのファイ
ルに結合した形で生成するために、ウォークスルー経路
の追加や一部の変更などの小規模な変更を行う場合に
も、ムービーファイル全体を再生成する必要があり、し
かもこの作業を前述の通り手作業により行わなければな
らない。このように、第二の従来技術による方式では、
最初にムービーファイルを生成する際にも、ムービーフ
ァイルの関連付けを行う際にも、後になってウォークス
ルー経路の追加変更があった場合に、この追加変更を反
映したウォークスルー映像を再生成する際にも、人手に
より多大な作業が必要となるという問題があった。

【００１４】さらに、第三の従来技術によれば、ウォー
クスルー映像のムービーファイルの各場面において、そ
こに表示されているコンテンツとその関連情報の間のハ
イパーリンク情報のオーサリングを手動で行う必要があ
り、そのためハイパーリンク情報を生成する際に多大な
作業を要することに加えて、ムービーファイル生成後に
仮想空間の内容やハイパーリンク情報が更新された場合
に、自動的にそれらの更新を反映した空間映像を利用者
に提示することができないという第二の問題があった。

【００１５】本発明は、上記の問題を解決するためにな
されたもので、その第一の目的は、利用者が３次元空間
において複数経路を選択的にウォークスルーすることが
可能な情報視覚化システムを、３次元ＣＧ専用のハード
ウェアを用いることなく実現し、なおかつ３次元空間情
報やウォークスルー経路等が変更された場合に、それら
を自動的にウォークスルー映像に反映することのできる
システムを提供することである。

【００１６】本発明の第二の目的は、情報視覚化システ
ムにおいて、ウォークスルー映像の各場面において、そ
こに表示されているコンテンツとその関連情報との間の
ハイパーリンク情報を自動的に生成することである。

【００１７】

【課題を解決するための手段】本発明による情報視覚化
システムは、前記第一の問題を解決するための手段とし
て、３次元空間情報および分岐情報を含むウォークスル
ー経路情報を基に、ウォークスルー経路に沿った３次元
ＣＧ映像を生成し、この３次元ＣＧ映像をムービ形式の
ウォークスルームービー映像に変換し、さらにこのウォ
ークスルームービー映像をウォークスルー経路の分岐点
で分割し、ムービー形式の複数の部分映像を生成する部
分映像生成手段と、この部分映像生成手段によって生成
された各部分映像の間の分岐接続（ウォークスルー経路
上での位置関係）に関する分岐情報を生成する分岐情報
生成手段と、この分岐情報生成手段によって生成された
分岐情報を一旦格納する分岐情報格納手段と、前記部分
映像生成手段によって生成された部分映像を一旦格納
し、後述する部分映像連結再生手段によって送出される
部分映像選択指示に応じた特定の部分映像を送出する部
分映像格納手段と、この部分映像格納手段に格納された
部分映像を、利用者の経路選択操作に応じて切り換える
ための部分映像切換指示を送出する部分映像選択手段
と、この部分映像選択手段が送出する部分映像切換指示
に応じて前記部分映像選択指示を送出すると同時に、前
記特定の部分映像を連結再生する部分映像連結再生手段
とを有する。

【００１８】上記構成は、３次元空間情報およびウォー
クスルー経路の情報から自動的に生成されるムービー形
式の部分映像を用いて、利用者が選択的にウォークスル
ーできることを特徴とする。また、３次元空間情報やウ
ォークスルー経路が変更された場合にも、この変更を自
動的に反映することが可能な点を特徴とする。

【００１９】さらに、ウォークスルームービーを部分映
像に分割して用いているため、３次元空間情報やウォー
クスルー経路が変更された場合には、すべての部分映像
ではなく、その変更に関連する部分映像のみを再生成す
ればよい点も特徴である。

【００２０】なお、上記の分岐情報生成手段における３
次元ＣＧ処理は、利用者の操作とは関係なく事前に行う
処理であるため、実時間で処理する必要はない。そのた
め、本発明においては、３次元ＣＧ処理のための専用ハ
ードウェアを用いることなく、本発明を効果的に実施す
ることが可能である。

【００２１】すなわち、３次元ＣＧ専用のハードウェア
を用いずにウォークスルーを実現し、なおかつ、ウォー
クスルー映像生成時や映像更新時の作業量を、前記第二
の従来技術と比較して格段に少なくすることが可能であ
る。

【００２２】本発明による情報視覚化システムは、前記
第二の問題を解決するための手段として、上記第一の問
題を解決するための手段に加えて、３次元空間において
視覚化されるコンテンツ（視覚化オブジェクト）につい
ての３次元形状情報、３次元位置情報および前記コンテ
ンツ（視覚化オブジェクト）の関連情報へのリンク情報
を基に、それぞれの部分映像において前記コンテンツ
（視覚化オブジェクト）がどの場面のどの位置に表示さ
れており、さらに利用者がそのコンテンツ映像（視覚化
オブジェクト）を選択した際に、利用者に提示すべき関
連情報が何であるかを示すハイパーリンク情報を生成す
るハイパーリンク情報生成手段をさらに有する。

【００２３】上記構成は、ムービー形式の部分映像を用
いて、利用者が選択的にウォークスルーをしながら、画
面に表示された視覚化オブジェクトを選択することによ
って、選択された視覚化オブジェクトに関連するコンテ
ンツ(関連情報)を利用者に提示することができるという
ハイパーリンク機能を、利用者に提供することが可能で
あり、さらに、前記ハイパーリンク機能のためのハイパ
ーリンク情報を、３次元空間情報、ウォークスルー経路
情報および視覚化オブジェクト情報から自動的に生成で
きることを特徴とする。

【００２４】従って、ハイパーリンク情報の生成に必要
な作業量を、前記第三の従来技術と比較して格段に少な
くすることが可能である。さらに、ムービーファイル生
成後に仮想空間の内容やハイパーリンク情報が更新され
た場合にも、自動的にそれらの更新を反映した空間映像
を利用者に提示することが可能である。

【００２５】

【発明の実施の形態】図１は本発明によるところの情報
視覚化システムを説明するための構成図である。この情
報視覚化システムは、空間映像生成装置1と、空間映像
再生装置装置2と、各種関連情報を格納するコンテンツ
格納手段5と、空間映像再生装置装置2で生成されたハイ
パーリンク情報113を一旦格納し、必要に応じてハイパ
ーリンク情報124として送出するハイパーリンク情報格
納手段6と、ハイパーリンク処理を行い空間映像126上に
関連情報129の映像を合成して出力映像128として送出す
るハイパーリンク処理手段4と、出力映像128を表示する
映像出力装置7と、利用者の操作を入力する利用者操作
手段3とで構成される。

【００２６】空間映像生成装置1は、ウォークスルーの
経路情報101を格納する経路情報格納装置11と、３次元
空間形状情報102を格納する３次元空間形状情報格納手
段12と、視覚化対象のオブジェクトの情報103を格納す
る視覚化オブジェクト情報格納手段13と、３次元空間形
状情報102および視覚化オブジェクト情報103から３次元
ＣＧによる空間映像を生成すると同時に、ウォークスル
ーの経路情報101に基づき分岐点間の経路ごとの部分的
な空間映像を部分映像112として出力する部分映像生成
手段15と、生成された部分映像における各分岐点でのフ
レーム番号情報104と経路情報との対応づけを管理する
ための分岐情報111を生成する分岐情報生成手段14と、
視覚化オブジェクト情報103に含まれる視覚化オブジェ
クトの３次元空間での位置情報を基にして、該視覚化オ
ブジェクトが部分映像中に表示されている場合の画面上
での２次元位置情報と、その時点の映像の時間的な位置
情報（例えばフレーム番号）を対応づけたものをハイパ
ーリンク情報113として生成するハイパーリンク情報生
成手段16とで構成される。

【００２７】空間映像再生装置2は、分岐情報111を一旦
格納する分岐情報格納手段21と、分割して格納された部
分映像を利用者の経路選択操作に応じて切り換えるため
の部分映像切換指示122を送出する部分映像選択手段24
と、複数の部分映像112を一旦格納しておき部分映像選
択指示131に基づいて指示された部分映像123を送出する
部分映像格納手段22と、部分映像切換指示122に応じて
部分映像選択指示131を送出すると同時に、切り換えら
れた部分映像を空間映像126として円滑に連結再生する
部分映像連結再生手段23とで構成される。

【００２８】図1、図5および図6を用いて、経路情報格
納手段11および経路情報101について説明する。図5は３
次元空間における視点の移動経路を説明する図である。
ここでは、３次元空間上の地点P1を始点として、地点P2
およびP3で分岐する移動経路を示しており、図中の括弧
内は対応する地点の３次元座標値である。この時、この
ような移動経路を表現するために、経路情報格納手段11
に格納される経路情報101は、例えば図6に示す地点情報
テーブルと経路情報テーブルによって実現される。地点
情報テーブルは、それぞれの地点番号と対応する３次元
座標値を格納し、経路情報テーブルは分岐点で区分され
る各経路の情報を、前記地点番号を用いて表現するもの
である。例えば、区間1はP1→P2→P3→P4の各地点を順
にたどる経路であり、区間10は地点P2で区間１から分岐
したP2→P5の経路である。ここで区分された各経路を部
分経路と呼ぶ。

【００２９】次に、図1および図2を用いて視覚化オブジ
ェクト情報格納手段13と、視覚化オブジェクト情報103
について説明する。ここで、視覚化オブジェクトとは、
視覚化対象の情報を３次元空間において視覚的に表現す
るものであり、視覚化対象の情報を直接視覚化オブジェ
クトとする場合や、視覚化対象の情報を象徴的に表現す
る３次元オブジェクトを視覚化オブジェクトとして用い
る場合が考えられる。

【００３０】視覚化対象の情報が、例えば３次元形状情
報であれば、それを直接３次元空間内で視覚化オブジェ
クトとすることが効果的であり、視覚化対象の情報が、
例えばテキスト情報であれば、それを象徴的に表現する
３次元物体（例えば書籍の３次元モデル）を視覚化オブ
ジェクトとして３次元空間に配置することが効果的であ
る。

【００３１】図2は、視覚化オブジェクト情報格納手段1
3において管理される視覚化オブジェクト情報103の一例
である。視覚化オブジェクト情報103は、視覚化オブジ
ェクトを一意に識別するための視覚化オブジェクト名、
視覚化オブジェクトの３次元形状情報を格納したファイ
ルを指定する３次元形状モデル、視覚化オブジェクトの
３次元空間における位置を示す３次元座標、視覚化オブ
ジェクトと関連づけられる関連情報へのリンク情報から
成る。

【００３２】ここで関連情報リンクとは、例えば視覚化
オブジェクトが情報Aを象徴的に表現している場合に、
情報Aを参照するための手段あるいは情報Aの格納場所な
ど、情報Aを参照するのに必要な情報である。例えば図2
では、視覚化オブジェクトBird＃1は、視覚化対象の情
報である「鳥類．txt」を３次元空間の（10，20，30）
において象徴的に表現しているものと考えることができ
る。

【００３３】なお、関連情報リンクは前記のものに限定
されることなく、視覚化オブジェクトが視覚化対象の情
報を直接表現しているか、象徴的に表現しているかにか
かわらず、その情報に何らかの関連のある情報へのリン
クを広い意味での関連情報へのリンクとして格納する場
合もある。

【００３４】次に、図1、図7および図8を用いて、部分
映像生成手段14、部分映像生成手段15、ハイパーリンク
情報生成手段16について説明する。ここで、以下で用い
る「フレーム」とは、映像を静止画の連続と見なした時
の、各静止画のことであり、「フレーム番号」とは、映
像の先頭からのフレームの番号を意味している。

【００３５】まず、部分映像生成手段15においては、視
覚化オブジェクト情報103と３次元空間形状情報102と経
路情報101とを基に、従来の３次元ＣＧ技術を用いて経
路情報101で示される経路上を網羅するウォークスルー
映像を生成する。ここで、生成されるウォークスルー映
像は、１フレームずつ３次元ＣＧ技術におけるレンダリ
ング処理を行った結果として生成された映像である。部
分映像生成手段15においては、この映像を生成すると同
時に、逐一ムービー形式（例えばMicrosoft社提唱によ
るAVI形式）に変換する。変換された映像をウォークス
ルームービーと呼ぶ。

【００３６】さらに、部分映像生成手段15においては、
経路情報101から得られるウォークスルー経路の分割情
報を基に、前記ウォークスルームービーを各部分経路に
合わせて複数のムービーに分割する。分割されたムービ
ーは、部分映像112として送出される。すなわち、一つ
の部分経路をウォークスルーする映像が一つの部分映像
として送出される。

【００３７】例えば、図5および図6に示した経路情報で
あれば、区間1、区間10、区間20のそれぞれについての
部分映像が生成送出される。

【００３８】また、例えば、図2に示した視覚化オブジ
ェクト情報が定義されていた場合の部分映像の一場面を
図7に示す。図7の例では、表示画面31上に、House＃2に
対応する視覚化オブジェクト33と、Bird＃1に対応する
視覚化オブジェクト34とが埋め込まれた３次元空間32の
映像が表示される。

【００３９】分岐情報生成手段14では、前記の部分映像
生成手段15において生成されたフレーム番号情報104
と、経路情報101とを用いて分岐情報111を生成する。

【００４０】ここで、分岐情報111は、どの部分映像の
どのフレームを再生している時に、利用者がどのような
経路選択操作を行えば、次にどの経路へ分岐するかを管
理するための情報であり、また、本実施形態では、分岐
するか否かの選択は、映像が分岐点に近づいた際に、利
用者が分岐方向に対応する画面の領域をポインティング
するか否かによって行うこととする。

【００４１】この時、画面上の分岐方向に対応する領域
のことを分岐路選択領域と呼ぶ。分岐路選択領域は、例
えば左方向に分岐路が存在する場合は、画面の概ね左半
分にその領域を設定することなどが考えられる。

【００４２】なお、前記の「分岐するか否かの選択」方
法によって、本発明が限定されるものではなく、この他
に、キーボードを用いて、予め分岐方向と対応づけられ
たキーを押すことによって分岐する方法、利用者が音声
によって「右」「左」などと指定する方法など、本方式
の実施者が任意の手段を利用者に提供することが可能で
ある。

【００４３】また、前記のポインティングによる「分岐
するか否かの選択」方法を用いる場合の、分岐路選択領
域を設定する実施方法についても、利用者が自然に分岐
方向と対応づけて意識することのできる方法であれば、
領域のサイズや形状は問わない。さらに、同方法におい
て、分岐路選択領域の存在を利用者に提示する方法につ
いても、視覚的に矢印を表示する方法、文字を表示する
方法、領域の形状をそのまま表示する方法、聴覚的に音
の定位方向で提示する方法、音声で「右」や「左」と提
示する方法など、本方式の実施者が任意の手段を用いる
ことが可能である。

【００４４】次に、分岐情報111の実施の例を図4を用い
て説明する。図4において、各行の情報それぞれが分岐
点に対応しており、部分映像番号は対応する分岐点での
映像を含む部分映像の指定、開始点座標は対応する分岐
点に関する分岐路選択領域が最初に画面上に出現する際
の、画面上での位置情報（この例では、分岐路選択領域
を示す矩形領域の左上座標と右下座標の組）、最終点座
標は対応する分岐点に関する分岐路選択領域が最後に画
面上に出現する際（すなわち消滅する直前）の画面上で
の位置情報（この例では、分岐路選択領域を示す矩形領
域の左上座標と右下座標の組）、開始フレームは分岐路
選択領域が最初に出現する時点の映像のフレーム番号、
最終フレームは分岐路選択領域が最後に出現する（消滅
する直前）時点の映像のフレーム番号、接続先部分映像
番号は分岐する先の経路に対応する部分映像を指定する
映像番号情報である。

【００４５】図4の１行目の情報は、区間１から区間10
へ分岐する地点に関する情報であり、最初に出現する分
岐路選択領域が300番目のフレームの左上座標（10，1
0）、右下座標（400，700）の領域であり、消滅する直
前の分岐路選択領域が400番目のフレームの左上座標（1
10，10）、右下座標（500，700）の領域であることを示
している。

【００４６】本実施形態では、開始フレームと最終フレ
ームの間のフレームにおける分岐路選択領域について
は、後述の空間映像再生装置2において、開始フレーム
と最終フレームでの右上座標と左下座標の値から適宜算
出することができる。例えば、開始フレームと最終フレ
ームでの各座標値をその間のフレーム数で等分する方法
がある。

【００４７】また、別の実施形態として、上記算出を分
岐情報生成手段14において行い、生成した各フレームで
の分岐路選択領域の座標値を分岐情報111に含めること
も可能である。

【００４８】次に、分岐情報生成手段14において、分岐
情報111を生成するための処理について図5および図10を
用いて説明する。分岐情報生成手段14は、図5に示した
経路情報101と、部分映像生成手段からのフレーム番号
情報104を受け取る。ここでフレーム番号情報104は、部
分映像において、各分岐点に対応する時点の映像のフレ
ーム番号である。

【００４９】例えば、図5の区間1の部分映像を例とする
と、P1，P2，P3，P4での映像を表示する時点のフレーム
番号である。ここで、P1，P4は図中では分岐点ではない
が、図示した以外の経路との接続が存在することを考え
れば分岐点である。また、ここで得られたフレーム番号
情報は、各分岐点を丁度通り過ぎる時点のフレーム番号
を示しており、この値を図4における分岐情報111の最終
フレーム情報とする。

【００５０】次に、各分岐点へ到達する一定間隔前の地
点から、利用者は分岐するか否かの選択を行うことが適
当である。例えば、図10に示すように区間１の部分映像
を表示している場合には、P1からP2に到達する少し前の
地点であるP1’を過ぎたP1’→P2の区間において、区間
10へ分岐するか否かの選択を行うことが考えられる。そ
こで、各分岐点の一定間隔前の地点のフレーム番号を図
4の分岐情報における開始フレーム情報として算出す
る。図10の例では、P1’，P2’の各地点でのフレーム番
号がこれに相当する。この時の間隔の大きさについて
は、本方式を実施する際に適宜決定すれば良い。分岐路
選択領域の開始点座標および最終点座標については、経
路情報を基に現在表示している部分映像に対して分岐路
がどちらの方向にあるかを算出し、その結果に応じた画
面上の位置に分岐路選択領域を設定することが有効であ
る。

【００５１】例えば、図10におけるP1’→P2の区間で
は、分岐路選択領域は図9（a）に示すように画面上左側
に設定し、図10におけるP2'→P3の区間では分岐路選択
領域は図9（b）に示すように画面上右側に設定すること
が有効である。ここで、各座標値の算出方法としては、
分岐方向が右か左かで予め分岐路選択領域の座標を決め
ておく方法、経路情報から分岐先経路との角度を算出
し、その結果に応じて分岐路選択領域を設定する方法、
分岐先経路上に適当な目標地点を設定し、画面上でその
地点を中心に分岐路選択領域を設定する方法などが考え
られる。この算出方法については、前述した通り、利用
者が自然に分岐方向と対応づけて意識することのできる
方法であれば、詳細は問わない。

【００５２】次に、ハイパーリンク情報生成手段16で
は、視覚化オブジェクト情報103と、前記の部分映像生
成手段15において生成された視覚化オブジェクト選択領
域情報105とを用いて、ハイパーリンク情報113を生成す
る。ここでいうハイパーリンク情報とは、どの部分映像
のどのフレームを再生している時に、画面上のどの領域
に視覚化オブジェクトが存在するかを示す情報であり、
さらに、その視覚化オブジェクトが選択された場合に参
照する関連情報、すなわちハイパーリンクのリンク先に
関する情報をも含んでいる。

【００５３】なお、ここでは画面上の視覚化オブジェク
トの表示位置に対応する領域を視覚化オブジェクト選択
領域と呼び、利用者が然るべき操作（例えばマウスによ
るポインティング操作）によって視覚化オブジェクト選
択領域を選択することによって、視覚化オブジェクトに
対応する関連情報が利用者に提示される。ここで、視覚
化オブジェクト選択領域は、図8における視覚化オブジ
ェクト34に対するバウンディングボックス35の様な領域
とすることも可能であるし、より詳細に画素単位で視覚
化オブジェクトが表示されているか否かによって設定
（すなわち、視覚化オブジェクトの形状に一致する領
域）しても構わない。

【００５４】図3にハイパーリンク情報113の例を示す。
図3において視覚化オブジェクト名は対応する視覚化オ
ブジェクトを指定する情報、部分映像番号は該視覚化オ
ブジェクトが表示される部分映像を指定する情報、開始
フレームは視覚化オブジェクトが最初に画面上に出現す
る時点のフレーム番号、最終フレームは視覚化オブジェ
クトが最後に画面上に出現する時点（消失する直前）の
フレーム番号、開始点座標は開始フレームの時点での視
覚化オブジェクト選択領域の位置情報、最終点座標は最
終フレームの時点での視覚化オブジェクト選択領域の位
置情報、関連情報リンクは該視覚化オブジェクトに関連
付けられた関連情報へのリンク情報である。

【００５５】図3の例では、区間1に対応する部分映像に
おける視覚化オブジェクトBird＃1の関連情報のリンク
先が「鳥類．txt」であることと、視覚化オブジェクト
が100番から200番フレームまで画面上に表示されてお
り、100番フレーム時点では、左上座標（100，150）、
右下座標（180，200）で示される矩形領域が視覚化オブ
ジェクト選択領域であり、200番目のフレームの時点で
は左上座標（150，150）、右下座標（230，200）で示さ
れる矩形領域が視覚化オブジェクト選択領域であること
を示している。

【００５６】次にハイパーリンク情報113の算出方法に
ついて説明する。前述した通り部分映像生成手段15にお
いては、視覚化オブジェクト情報103と３次元空間形状
情報102と経路情報101とを基に、従来の３次元ＣＧ技術
を用いて３次元空間の部分映像を生成する。この時、視
覚化オブジェクトについても、図8に示す様に、３次元
空間映像の一部として画面に表示される。したがって、
部分映像生成手段においては、部分映像112を分割生成
すると同時に、視覚化オブジェクト情報103に含まれる
視覚化オブジェクトの３次元座標と３次形状モデルの内
容から、部分映像の各フレームにおいて視覚化オブジェ
クトが画面上に表示されているか否かに関する情報や、
表示されている場合に画面上のどの位置に表示されてい
るかに関する情報を算出することが可能であり、これら
の情報を視覚化オブジェクト選択情報領域情報105とし
て送出する。なお、送出する視覚化オブジェクト選択情
報領域情報105には、その時点のフレーム番号情報と対
応する視覚化オブジェクト名に関する情報も含む。

【００５７】次に、ハイパーリンク情報生成手段におい
ては、視覚化オブジェクト選択情報領域情報105を逐一
受信し、その情報を基に、図3における開始フレーム、
最終フレーム、両フレームにおける視覚化オブジェクト
選択領域の位置に関する情報（すなわち、開始点座標お
よび最終点座標）を算出し、さらに、視覚化オブジェク
ト選択情報領域情報105に含まれる視覚化オブジェクト
名を基に、それに応じた関連リンク情報を視覚化オブジ
ェクト情報格納手段13から獲得することによって、ハイ
パーリンク情報113を生成する。

【００５８】ここで、部分映像生成手段15において、視
覚化オブジェクトに関して第一に生成される情報は各フ
レームでの視覚化オブジェクト映像の表示の有無に関す
る情報と、表示されている場合の位置に関する情報であ
るので、これをハイパーリンク情報113とするために
は、最初に視覚化オブジェクトが出現した時点のフレー
ム番号（すなわち開始フレームの番号）の抽出、最後に
表示された時点のフレーム番号（すなわち最終フレーム
の番号）の抽出、視覚化オブジェクトの映像に対応する
視覚化オブジェクト選択領域の生成（例えば視覚化オブ
ジェクト映像のバウンディングボックスの生成）を行う
必要があるが、これらのハイパーリンク情報113とする
ための処理は、部分映像生成手段15において実施するこ
とも可能であるし、ハイパーリンク情報生成手段16おい
て実施することも可能である。

【００５９】例えば、部分映像生成手段15において実施
する場合には、上記の処理を行った後の情報である開始
フレーム番号、最終フレーム番号、開始フレーム時点で
の視覚化オブジェクト選択領域の位置情報（すなわち、
図3における開始点座標）、最終フレーム時点での視覚
化オブジェクト選択領域の位置情報（すなわち、図3に
おける終了点座標）を視覚化オブジェクト選択情報領域
情報105として送出し、ハイパーリンク情報生成手段16
においては、それらの情報をそのままハイパーリンク情
報113とする。

【００６０】一方、ハイパーリンク情報生成手段16にお
いて実施する場合には、例えば部分映像生成手段15は各
フレーム毎の視覚化オブジェクト映像の表示の有無に関
する情報と、表示されている場合の位置に関する情報を
視覚化オブジェクト選択情報領域情報105として送出
し、ハイパーリンク情報生成手段16においては、送られ
てくる一連の情報を参照することによって、上記のハイ
パーリンク情報113とするための処理を行うことが考え
られる。

【００６１】また、これらの中間的な方法として、一部
を部分映像生成手段15において実施し、残りをハイパー
リンク情報生成手段16おいて実施することも可能であ
る。

【００６２】以上によって、空間映像生成装置1は、経
路情報101および３次元空間形状情報102および視覚化オ
ブジェクト情報103を基に、経路に沿ったすべての区間
に対応する部分映像112および分岐情報111およびハイパ
ーリンク情報113を生成することが可能である。

【００６３】また、以上の処理はすべて人手を介すこと
なく自動的に処理することが可能であり、経路や３次元
空間形状や視覚化オブジェクトが更新された場合には、
それに応じて最新の状態を反映した部分映像112および
分岐情報111およびハイパーリンク情報113を生成するこ
とが可能である。さらに、これらの情報の生成は、経路
や３次元空間形状や視覚化オブジェクトの更新された部
分に関連する箇所のみ行うことが可能である。

【００６４】次に、空間映像生成装置2の各部の処理に
ついて詳細に説明する。まず、分岐情報格納手段21につ
いて、図1および図4を用いて詳細に説明する。分岐情報
格納手段21は、分岐情報生成手段14で生成される分岐情
報111（図4を参照）を一旦格納し、部分映像選択手段か
らの分岐情報選択指示130に応じて、要求された分岐情
報121を送出する。ここで、分岐情報121は内容的には格
納前の分岐情報111と同一である。

【００６５】部分映像格納手段22について、図1および
図5を用いて詳細に説明する。部分映像格納手段22は、
部分映像生成手段15において生成される複数の部分映像
を一旦格納し、部分映像連結再生手段からの部分映像選
択指示131に応じて選ばれた部分映像123を送出する。部
分映像格納手段に格納される部分映像は、経路情報101
で示される各区間ごとに分割され、保存される。例え
ば、図5の経路情報が用いられる場合には、部分映像は
区間1、区間10、区間20のそれぞれに対応する３つの部
分映像となる。

【００６６】ここで、部分映像123の送出については、
部分映像連結再生手段での再生状況にかかわらず一括し
て送出する方式とすることも、部分映像連結再生手段で
の再生とタイミングを合わせて部分映像の先頭から順次
送出する方式とすることも可能である。

【００６７】また、部分映像を格納する方式としては、
計算機上のムービーファイル（例えばMicrosoft社のAVI
形式など）として保存する方法や、ビデオディスク装置
の他、ＶＴＲ装置などの各種映像記録装置を用いること
が可能であるが、本発明を効果的に実施するためには、
部分映像選択指示131に瞬時に応答する必要があり、映
像へのランダムアクセス性に優れる計算機上のムービー
ファイルやビデオディスク装置などを用いることが望ま
しい。

【００６８】部分映像選択手段24は、利用者が利用者操
作手段3を介して、ウォークスルー操作すなわち経路選
択操作を行った際に、その時点で再生中の部分映像に対
応する分岐情報121を参照することによって、次に再生
すべき部分映像を決定し、その部分映像への切り換えを
指示するための部分映像切換指示122を送出する機能を
有する。また、分岐情報121を参照する際には、分岐情
報格納手段21に対して分岐情報選択指示130を行う。

【００６９】部分映像連結再生手段23について、図1、
図4および図10を用いて詳細に説明する。部分映像連結
再生手段23は、部分映像選択手段24からの部分映像切換
指示122に応じて、次に再生する必要のある部分映像を
部分映像選択指示131によって部分映像格納手段22から
受け取り、切換前後の部分映像を連結再生し空間映像12
6として送出する。ここで、部分映像連結再生手段23
は、部分映像を切り換え時に利用者が感じる違和感を低
減するために、切り換え前後の部分映像を円滑に連結再
生する機能を有する。

【００７０】例えば、図4および図10の分岐点P1におい
て、区間1の部分映像（部分映像Aとする）から区間10の
部分映像（部分映像Bとする）に切り換える場合を考え
る。ここで、部分映像Aの310番目のフレームを再生して
いる時点で、部分映像Bへの切り換えを指示する部分映
像切換指示122が届いた場合に、瞬時に部分映像Aの再生
を中断して部分映像Bへ切り換え再生したとすると、図1
0に示したところのP1'近くの点（すなわち部分映像Aの
フレーム番号310の地点）の映像から、突然P2地点の映
像（すなわち部分映像Bの最初のフレーム）に切り替わ
ることになり、利用者に３次元空間での視点が不連続的
に移動した違和感を与えることとなる。

【００７１】そこで、本発明における部分映像連結手段
23では、部分映像Aの310番目のフレームを再生している
時点で、部分映像Bへの切り換えを指示する部分映像切
換指示122が届いた場合でも、瞬時に部分映像の切り換
えを行わずに、部分映像Aを最終フレーム（ここでは40
0）まで再生した後、部分映像Bの再生を開始する機能を
有する。

【００７２】これによって、部分映像Aと部分映像Bは、
図10の経路上のP1地点で連続的に切り替わることにな
り、部分映像の継ぎ目における上記の違和感を確実に低
減することが可能となる。この時、部分映像Aの最終フ
レームの値は、分岐情報格納手段21からの分岐情報121
を参照することによって知ることができ、部分映像Aの
現在再生中のフレーム番号は、部分映像連結再生手段23
の内部情報として知ることができる（部分映像Aの先頭
から、何フレーム再生したかを計数しておけば良い）。

【００７３】さらに、部分映像Aから部分映像Bに切り換
える際に、部分映像格納手段23から部分映像Bを受け取
るまでに一定以上の時間を必要とする場合には、部分映
像Aを最終フレームまで再生した後も、部分映像Bを再生
開始することができず、空間映像126において何も映像
が存在しない状態（ブランク状態）を生じる可能性があ
る。

【００７４】このような場合、部分映像連結再生手段23
においては、分岐情報121を参照することで部分映像Aに
おける分岐点までのフレーム数を算出し、その間の部分
映像Aの再生速度を通常より落すことによってブランク
状態の発生を防ぐこと、あるいはブランク状態の期間を
短縮することが可能である。

【００７５】なお、映像切り換え時の違和感を低減する
方法として、映像スイッチャ等で広く用いられるワイプ
やフェードインといった映像効果を用いることも可能で
あるが、これらは元々関連のない２つの映像を連結再生
する際に効果的な方法である。しかしながら、本発明に
よるところの部分映像格納手段22に格納されている複数
の部分映像は、元々一連の経路上をウォークスルーした
映像を分岐点で分割したものであり、この場合はワイプ
やフェードインではなく、上記で述べた方式、すなわち
部分映像切換指示を受けたタイミングにかかわらず、必
ず部分映像の最終フレームで連結する方式の方がより効
果的である。

【００７６】以上によって、空間映像再生装置2は、前
記空間映像生成装置1において生成された部分映像112お
よび分岐情報111を一旦格納し、これらの情報を参照し
つつ、利用者のウォークスルー操作に応じた経路選択操
作情報125に応じて、複数の部分映像を違和感無く連結
再生することによって、利用者が複数経路の中から所望
の経路をウォークスルーすることを可能とする。この空
間映像再生装置2における処理は、計算機性能としては
一般の計算機が備えるムービーファイルの再生機能によ
って実現可能であり、３次元ＣＧのための専用ハードウ
ェアなどの高価な装置を用いる必要はない。

【００７７】

【発明の効果】第１の効果は、３次元ＣＧ専用のハード
ウェアを用いていないにもかかわらず、3次元空間情報
およびウォークスルー経路の情報から、自動的にウォー
クスルー映像を、自動的に生成されるムービー形式の部
分映像を用いて、利用者が選択的にウォークスルーでき
ることに加えて、３次元空間情報やウォークスルー経路
が変更された場合に、それを自動的に部分映像に反映す
ることができる。

【００７８】さらに、ウォークスルームービーを部分映
像に分割して用いているため、３次元空間情報やウォー
クスルー経路が変更された場合には、すべての部分映像
ではなく、その変更に関連する部分映像のみを再生成す
ればよい。これらによって、ウォークスルー映像生成時
や映像更新時の作業量を従来技術と比較して格段に少な
くすることが可能である。

【００７９】第２の効果は、ムービーファイルの映像に
含まれる視覚化オブジェクトと関連情報の関連を示すハ
イパーリンク情報を自動的に生成できることにある。こ
れは、視覚化オブジェクトを含むウォークスルー映像を
自動生成する際に、各フレームにおいて、視覚化オブジ
ェクトが表示映像に含まれているか否かと、含まれてい
る場合には画面上での位置に関する情報をも自動的に生
成する手段を備えているからである。

【図面の簡単な説明】

【図１】 本発明による情報視覚化システムの構成図。

【図２】 視覚化オブジェクト情報の説明図。

【図３】 ハイパーリンク情報の説明図。

【図４】 分岐情報の説明図。

【図５】 経路の説明図。

【図６】 経路情報の説明図。

【図７】 ３次元空間映像の説明図。

【図８】 視覚化オブジェクトとバウンディングボック
スの説明図。

【図９】 分岐路選択領域の説明図。

【図１０】 分岐点とフレーム番号の説明図。

【符号の説明】 1…空間映像生成装置 2…空間映像再生装置 3…利用者操作手段 4…ハイパーリンク処理手段 5…コンテンツ格納手段 6…ハイパーリンク情報格納手段 7…映像出力装置 11…経路情報格納手段 12…３次元空間形状情報格納手段 13…視覚化オブジェクト情報格納手段 14…分岐情報生成手段 15…部分映像生成手段 16…ハイパーリンク情報生成手段 21…分岐情報格納手段 22…部分映像格納手段 23…部分映像連結再生手段 24…部分映像選択手段 31…表示画面 32…３次元空間 33…視覚化オブジェクト 34…視覚化オブジェクト 35…バウンディングボックス 41…分岐路選択領域 42…分岐路選択領域 101…経路情報 102…３次元空間形状情報 103…視覚化オブジェクト情報 104…フレーム番号情報 105…視覚化オブジェクト選択領域情報 111…分岐情報 112…部分映像 113…ハイパーリンク情報 121…分岐情報 122…部分映像切換指示 123…部分映像 124…ハイパーリンク情報 125…経路選択操作情報 126…空間映像 127…視覚化オブジェクト選択操作情報 128…出力映像 129…関連情報 130…分岐情報選択指示 131…部分映像選択指示

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA07 BA08 BA09 BA10 CA04 CA07 DA10 EA05 EA07 EA12 EA19 EA24 EA26 FA02 FA09 FA10 FA19

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ３次元空間情報および分岐情報を含むウ
   ォークスルー経路情報を基に、ウォークスルー経路に沿
   った３次元ＣＧ映像を生成し、この３次元ＣＧ映像をム
   ービ形式のウォークスルームービー映像に変換し、さら
   にこのウォークスルームービー映像をウォークスルー経
   路の分岐点で分割し、ムービー形式の複数の部分映像を
   生成する部分映像生成手段と、 この部分映像生成手段によって生成された各部分映像の
   間の分岐接続に関する分岐情報を生成する分岐情報生成
   手段と、 この分岐情報生成手段によって生成された分岐情報を格
   納する分岐情報格納手段と、 前記部分映像生成手段によって生成された部分映像を格
   納し、後述する部分映像連結再生手段によって送出され
   る部分映像選択指示に応じた特定の部分映像を送出する
   部分映像格納手段と、 この部分映像格納手段に格納された部分映像を、利用者
   の経路選択操作に応じて切り換えるための部分映像切換
   指示を送出する部分映像選択手段と、 この部分映像選択手段が送出する部分映像切換指示に応
   じて前記部分映像選択指示を送出すると同時に、前記特
   定の部分映像を連結再生する部分映像連結再生手段とを
   有することを特徴とする情報視覚化システム。
2. 【請求項２】 ３次元空間において視覚化されるコンテ
   ンツについての３次元形状情報、３次元位置情報および
   前記コンテンツの関連情報へのリンク情報を基に、それ
   ぞれの部分映像において前記コンテンツがどの場面のど
   の位置に表示されており、さらに利用者がそのコンテン
   ツ映像を選択した際に、利用者に提示すべき関連情報が
   何であるかを示すハイパーリンク情報を生成するハイパ
   ーリンク情報生成手段をさらに有することを特徴とする
   請求項１に記載の情報視覚化システム。