JP2000048226A

JP2000048226A - 情報提示装置

Info

Publication number: JP2000048226A
Application number: JP11155110A
Authority: JP
Inventors: Kazuo Kunieda; 和雄國枝; Toshiyuki Kamiya; 俊之神谷; Toshihiko Hiroake; 敏彦広明; San Ro; 山呂
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-06-02
Filing date: 1999-06-02
Publication date: 2000-02-18

Abstract

(57)【要約】【課題】計算機を用いたマルチメディア情報提示シス
テムにおいて、３次元ＣＧ画像と実写映像データおよび
音声データの臨場感ある合成を可能とする。【解決手段】３次元ＣＧ画像と実写映像データを合成
表示可能な情報提示システム３と、実写映像から写され
ている物体の３次元情報を抽出した内容を３次元ＣＧ画
像の座標系に統合し、その結果に基づいて、３次元ＣＧ
画像と実写映像データの連続感を高める演出映像の生成
や画像合成の制御を行う動画像演出装置１によって違和
感のない合成表示を可能とする。さらに、データと関連
した音声を情報提示空間に合わせた音量や定位で出力す
ることで、画面の表示範囲に存在しないデータの存在を
も利用者に認知させる音声演出装置２によって、情報提
示空間に対する検索などの利用者操作をより円滑なもの
とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機を用いて３
次元空間映像の所望の位置にデータを配置することによ
って検索などを目的としたデータ表示を行う機能を備え
た情報提示装置に関し、特に、表示すべきデータが動画
像である時に該動画像内部の空間と周辺の３次元空間映
像とを連続した空間として管理する機能と、死角にある
データの存在を音声によって利用者に認知させる機能と
を備えることを特徴とする情報提示装置に関する。

【０００２】

【従来の技術】従来、計算機において臨場感ある映像出
力を行う方式として、３次元空間モデルに基づく透視変
換によって出力するＣＧ映像を決定する表示方式が知ら
れている。さらに、このＣＧ映像表示方式に実写動画像
を合成表示する方式として、３次元空間モデルに基づい
て表現されたＣＧ画像空間内の一つの平面あるいは曲面
図形に動画像を張り付けて表示する動画像テクスチャマ
ッピング方式が知られている（以下、従来方式１）。

【０００３】さらに、従来、計算機を用いた情報提示シ
ステムにおいて、計算機によって生成した３次元空間映
像の所望の位置に検索対象データを埋め込むことによっ
て視覚的な検索環境を構築し、該検索環境において利用
者が視点変更操作を行い３次元空間内を移動することに
よって検索を行うことのできるシステムが例えば「電子
図書館システム『ＶｉｒｔｕａｌＬｉｂｒａｒｙ』の
ユーザインタフェース」（第４８回情報処理学会全国大
会予稿集一分冊，ｐｐ．３４３−３４４）が知られてい
る（以下、従来方式２）。

【０００４】

【発明が解決しようとする課題】第１に、従来方式１に
示されるところの方式では、ＣＧ映像と動画像を合成を
制御するのは計算機上のプログラムである。この計算機
上のプログラムにおいては、動画像に映し出される物体
や空間の情報を抽出して合成方法を決定する処理は行わ
れておらず、もっぱらプログラム内部の状態に基づいて
合成方法（動画像の表示位置、表示サイズ、表示形状な
ど）を決定している。したがって、ＣＧ映像と動画像の
３次元空間的な特性（傾き、縮尺、明るさなど）に格差
が大きい場合には、合成後の映像を見る利用者に大きな
違和感を生じさせるという第１の問題があった。本発明
の第１の目的は、動画像の内容に含まれる３次元空間情
報を抽出し、その情報を合成方法を決定する判断基準に
加えることによって、ＣＧ映像と動画像のより自然な合
成を可能とし、さらに、ＣＧ映像と動画像の連続性を演
出する画像を生成して画像合成することによって、確実
に違和感の少ないＣＧ映像と動画像の合成を行うことに
ある。

【０００５】

【課題を解決するための手段】本発明の第１の発明の情
報提示装置では上述した第１の問題点を解決するため
に、３次元空間モデルに基づいた情報提示空間を管理す
る情報提示空間管理手段と、前記情報提示空間管理手段
からの管理情報に基づいて提示すべきデータを含んだＣ
Ｇによる空間映像を生成する空間映像生成手段と、前記
提示すべきデータが動画像である場合に、前記動画像デ
ータを生成する動画像信号生成手段と、前記ＣＧによる
空間映像と前記動画像データを合成する画像合成手段
と、合成されたデータを表示する画像表示装置と、利用
者が操作入力を行う利用者操作入力手段とで構成され、
計算機内に蓄積されたデータと動画像データを３次元空
間モデルに基づいた空間表現を用いて提示する計算機シ
ステムの情報提示装置において、前記動画像データの内
容から前記動画像データで表現されている映像の３次元
情報を抽出する３次元情報抽出手段と、前記抽出した空
間情報を基に実写動画像の空間を３次元空間として前記
３次元空間モデルに統合する空間情報統合手段と、前記
統合した空間情報に基づいて情報提示空間と動画像空間
との連続性を演出する画像を生成する演出画像生成手段
と、から構成される動画像演出装置を備えたことを特徴
とし、ＣＧによる情報提示空間と動画像空間を違和感な
く合成表示することを可能とする。

【０００６】第１の発明の演出画像によって、利用者に
対して実写動画像と情報提示ＣＧ空間との連続性を印象
づけることが可能となり、情報提示空間と実写動画像の
合成表示において確実に違和感の少ない情報提示を行う
ことが可能となる。

【０００７】

【発明の実施の形態】ここで、本発明の実施例について
説明する。

【０００８】図１は本発明における情報提示装置を説明
するための構成の一実施例を表す構成図である。本発明
によるところの情報提示装置は、従来方式１による情報
提示手法を基本として画像合成方式を拡張した情報提示
基本装置３と、本発明の第１の発明によるところの動画
像と情報提示空間の連続性を演出する映像を生成するた
めの動画像演出装置１と、本発明の第２の発明によると
ころの表示範囲に存在しないデータの存在を音声の有無
や定位方向によって表現を可能とする音声演出装置２と
で構成される。

【０００９】動画像演出装置１は、実写動画像データ３
０１からその画像の３次元空間情報である動画像空間情
報１０１を抽出する３次元情報抽出手段１１と、３次元
情報抽出手段１１から得られる動画像空間情報１０１を
情報提示空間情報３０７に統合し統合空間情報１０２と
して送信すると同時に統合空間情報１０２に基づいた画
像合成指示１０４を送信する空間情報統合手段１２と、
ＣＧ情報提示空間画像３０４と実写動画像データ３０１
との連続性を効果的に表現する演出画像１０３を統合空
間情報１０２に基づいて生成する演出画像生成手段１３
とで構成される。ここで、動画像空間情報１０１とは、
実写動画像データ３０１に撮影されている空間や物体の
位置、大きさ、傾き、陰影の方向（すなわち光源との位
置関係）、明るさなどの要素を含むものとする。

【００１０】音声演出装置２は、音によって利用者にデ
ータを連想させることが可能なように、ＣＧや実写によ
る画像データと関連の深い音声データを蓄積しておくた
めの音声データ蓄積手段２１と、情報提示空間の情報提
示空間情報３０７に基づいて効果音生成指示２０４と音
声加工指示２０５を生成する音声演出制御手段２５と、
効果音生成指示２０４に応じて蓄積音声２０１を読み出
し演出効果音２０２を生成する効果音生成手段２２と、
音声加工指示２０５に基づいて演出効果音２０２を加工
する音声加工手段２３と、演出加工後音声２０３を出力
するための音声出力装置２４とで構成される。ここで、
音声加工手段２３としては、音声の定位、残響、周波数
特性、音量などを制御することのできる装置を用いるこ
とができる。

【００１１】情報提示基本装置３は、従来方式１で用い
られるところの従来型情報提示基本装置４を一部拡張し
たものである。まず、図５を用いて従来型情報提示基本
装置４について説明する。

【００１２】従来型情報提示基本装置４は、３次元空間
モデル情報を蓄積する３次元空間モデル蓄積手段３３
と、実写動画像を除く提示すべきデータを格納するデー
タ蓄積手段３２と、利用者が画面上でのポインティング
などの操作を行うための利用者操作入力手段３７と、空
間モデル情報３０３を基に構築した仮想的な情報提示空
間の状態を管理すると同時に利用者操作入力３０５に応
じて該情報提示空間の状態を更新した結果を情報提示空
間情報３０７として送出する情報提示空間管理手段３５
と、情報提示空間情報３０７から透視変換などによって
実際に画面に表示する空間映像を算出すると同時に画面
の表示範囲に含まれるデータを表示対象データ３０２と
してデータ蓄積手段３２から取り出し空間映像の所望の
位置に配置することによってＣＧ情報提示空間画像３０
４を生成すると同時に空間内に提示すべき動画像データ
がある場合に該動画像データを送出するための動画像制
御指示３０８を送信する空間映像生成手段３４と、実写
動画像データ３０１を生成する動画像信号生成手段３１
と、ＣＧ情報提示空間画像３０４と実写動画像を合成し
表示画像３０６とする画像合成手段３６と、画像表示装
置３８とで構成される。

【００１３】動画像信号生成手段３１としては、ビデオ
カメラなどの実時間映像入力装置や、ビデオディスクな
どの蓄積映像再生装置などを用いることが可能である。
また、空間映像生成手段３４における空間映像の算出方
式としては、透視変換以外にも３次元情報を２次元平面
に射影変換する一般的な手法（例えば正射影）を用いる
ことが可能である。

【００１４】図１と図５を用いて本発明における情報提
示基本装置３の構成について説明する。従来型情報提示
基本装置４では、画像合成手段３６における合成方法
（動画像の表示位置、表示サイズ、表示形状など）は、
空間映像生成手段３４からの画像合成指示３０９によっ
て決定される。一方、情報提示基本装置３では、合成方
法の判断基準の一つとして動画像に含まれる３次元情報
を用いるために、合成方法は動画像演出装置１からの画
像合成指示１０４によって決定される。さらに、情報提
示基本装置３では、画像合成手段３６は、ＣＧ情報提示
空間画像３０４と実写動画像データ３０２の合成に加え
て動画像演出装置１からの演出画像１０３をも合成する
機能を備える。

【００１５】次に、従来型情報提示基本装置４の処理に
ついて図５と図２を用いて詳細に説明する。図２は、情
報提示空間管理手段３５と空間映像生成手段３４と画像
合成手段３６とにおいて、蓄積されたデータを仮想的な
情報提示空間に配置し、実際に画面に表示する画像を算
出した後、実写動画像を合成する処理の一つの実施例を
示すものである。３次元空間モデル５２は、３次元空間
モデル蓄積手段３３に格納されるものであり、情報提示
空間の初期状態がこれによって定義される（ここでは、
３次元空間は道と樹木から成っている）。データベース
５１は、基本的なデータ管理手段の例として関係データ
ベースを用いた場合を示しており、情報提示空間管理手
段３５から参照可能な任意の場所に格納されているもの
とする。情報提示空間管理手段３５は、３次元空間モデ
ル５２で定義される空間に、データベース５１の各デー
タを配置することによって情報提示空間５３を構成す
る。データの配置は、利用者がより理解しやすくなるこ
とを目的として決定する。例えばここでは、「生物」と
いうデータベースの各データを、「種別」という属性を
基準に哺乳類と鳥類を道の左右に分けて配置している。
さらに、情報提示空間管理手段３５は、ポインティング
などによる利用者操作入力３０５から仮想的な視点およ
び視野を決定する。図１において情報提示空間管理手段
３５が送出するところの情報提示空間情報３０７は、情
報提示空間５３の情報と仮想的な視点および視野の情報
で構成される。次に、空間映像生成手段３４では、まず
情報提示空間情報３０７を基にＣＧ空間画像５４を算出
し、さらにＣＧ空間画像５４に含まれるべきデータの内
でデータ蓄積手段３２に格納されているもの、すなわち
図５における表示対象データ３０２からＣＧデータ画像
５５を生成し、ＣＧ空間画像５４の所望の位置にＣＧデ
ータ画像５５を配置してＣＧ情報提示空間画像３０４と
する。

【００１６】図２の実施例では、ＣＧデータ画像５５は
「ハト」を表現するＣＧ画像である。また、ＣＧ空間画
像５４の範囲に実写動画像データが含まれる場合には、
空間映像生成手段３４からの動画像制御指示３０８によ
って、該当する実写動画像データ３０１が動画像信号生
成手段３１より送信される。ここで、画像合成装置３６
では、空間映像生成手段からの画像合成指示３０９（例
えば、動画像の表示位置、表示サイズ、表示形状などの
情報を含む）に基づいて、図５における実写動画像デー
タ３０１を図２の実写動画像５６の様にＣＧ情報提示空
間画像３０４と合成し表示画像３０６を生成する。図２
の実施例では、実写動画像データ３０１は「ツバメ」を
撮影した実写動画像であり、表示画像３０６上に動画像
ウィンドウとして表示されている。

【００１７】また、本発明によるところの情報提示基本
装置３の処理は、画像合成装置３６に対する画像合成指
示の送信元が動画像演出装置１の内部となることを除い
て従来型情報提示基本装置４の場合と同様である。

【００１８】次に動画像演出装置１の処理について図３
を用いて詳細に説明する。図３（ａ）は本発明の第１の
発明による一実施例を示しており、３次元空間モデルに
基づいて表現されたＣＧ情報提示空間画像３０４と、該
ＣＧ情報提示空間内の所望の位置に配置された実写動画
像データ３０１との画像合成において実写動画像データ
３０１とＣＧ情報提示空間画像３０４の空間的な連続感
を演出するための演出画像４３を用いた様子を示してい
る。図３（ｂ）および図３（ｃ）は、従来方式によって
実写動画像データ３０１とＣＧ情報提示空間画像３０４
を合成した場合の例を示している。図３の例では（ａ）
（ｂ）（ｃ）いずれの場合も、ＣＧ情報提示空間画像３
０４の空間内に樹木を表現するＣＧ画像４４と樹木の陰
影４２が存在する状態において、陰影と重なる位置に実
写動画像データ３０１がウィンドウ表示されている。こ
こで、図３（ｂ）の従来例１は、オーバレイ方式によっ
て実写動画像データ３０１を表示した状態を示してお
り、実写動画像を表示するウィンドウと重なる領域のＣ
Ｇ画像はすべて隠されてしまう。図３（ｃ）の従来例２
は、アンダーレイ方式による画像合成の様子を示してい
る。この場合には、ＣＧによる陰影４２を実写動画像デ
ータ３０１の上に重ねて表示することが可能であるが、
従来方式では実写動画像データ３０１の空間情報をＣＧ
画像の３次元空間に統合する処理が行われていないた
め、実写動画像データの中に立体的な物体（この例では
建物）が存在するにもかかわらず、陰影４２は平坦な地
面に影を落とした状態となっている。このように従来方
式を用いた場合には、いずれの場合にも動画像データ３
０１とＣＧ情報提示空間画像３０４の連続感が表現され
ないため違和感のある表示画像となる。

【００１９】一方、本発明による実施例である図３
（ａ）では、３次元情報抽出手段１１において実写動画
像データ３０１に映された建物の立体的な情報（例え
ば、建物の各部の３次元座標値）を抽出し、これを空間
情報統合手段１２においてＣＧ情報提示空間画像３０４
の空間座標と統合し統合空間情報１０２とする。座標系
の統合は、例えば、３次元情報抽出手段１１において抽
出した３次元情報とまったく同じ３次元情報を持つＣＧ
立体図形を、ＣＧ情報提示空間内に仮に定義することに
より可能となる。図３（ａ）の例では、実写の建物と同
様のＣＧによる建物が、実写建物と同様の位置に存在す
るものとして仮に定義する。次に、演出画像生成手段１
３では、統合空間情報１０２を用いて例えば陰影計算を
行うことによって、統合された空間での陰影画像（すな
わち演出画像）を算出することができる。図３（ａ）の
例では、統合空間での陰影計算によって建物の壁に写っ
た形状の陰影画像を演出映像４３として得ている。この
演出映像４３を、従来例１と同様の方式によって合成さ
れた動画像データ３０１とＣＧ情報提示空間画像３０４
の合成画像の上に、従来例２の方式によってさらに合成
することによって図３（ａ）に示す表示画像を出力する
ことが可能となる。これによって、ＣＧ情報提示空間と
実写動画像の空間があたかも連続したものであるかのよ
うな視覚的な効果が得られる。ここで、３次元情報抽出
手段１１における３次元情報の抽出方式としては、画像
認識によって抽出する方式や、蓄積動画像を対象として
予め時系列に沿って画像に写っている物体や空間の３次
元空間情報を手動や半手動で抽出しておき、実行時には
時間をパラメータとして３次元空間情報を得る方式や、
カメラで同時に撮影している場合にカメラを固定あるい
は半固定方式として撮影の対象を限定し、それによって
撮影される映像の３次元情報を予め算出しておく方式な
どがある。

【００２０】連続感を演出する演出画像１０３の別の実
施例としては、動画像データ３０１とＣＧ情報提示空間
画像３０４の明るさに格差がある場合に、両画像の境界
領域に明るさを段階的に変化させたＣＧ画像を演出画像
１０３として表示することによって連続感を演出する方
式がある。

【００２１】また、画像合成指示１０４を用いて連続感
を演出する実施例として、動画像データ３０１とＣＧ情
報提示空間画像３０４の双方に本来同程度の大きさの物
体が、それぞれまったく異なる大きさで表示されている
場合（例えば双方に大きさの格差の大きい人間が表示さ
れている場合）に、画像合成指示１０４によって実写動
画像を拡大あるいは縮小して双方の物体の大きさを同程
度に合わせてから画像合成する方式がある。

【００２２】また、画像合成指示１０４を用いて連続感
を演出する実施例として、動画像データ３０１とＣＧ情
報提示空間画像３０４に表示される光線の方向（あるい
は、陰影の伸びる方向）が食い違っている場合に、画像
合成指示１０４によって実写同画像データ３０１の向き
を変換することによって、両者の差を軽減する方式があ
る。

【００２３】次に、音声演出装置２の処理について図
１、図２、図４を用いて詳細に説明する。ここでは、音
声加工手段２３としては音声の定位を制御する装置を用
いるものとする。

【００２４】図２に示すように、情報提示基本装置３で
は対象データを例えばデータの属性値を基準として情報
提示空間内に配置する。ここで、利用者がポインティン
グなどの利用者操作入力３０５によってこの空間内での
視点の位置を変化させることによって対象データを捜す
処理、すなわち視覚的な操作による検索処理を行うこと
が考えられる。本発明の第２の発明における音声演出装
置２は、このような検索処理において視覚的には提示さ
れていない情報を音声によって利用者に伝えることを可
能とするものである。音声演出制御手段２５は、現在の
情報提示空間を表現する情報提示空間情報３０７を受け
取ることによって、画面の状態を知ることができる。そ
こで、音声演出制御手段２５は、画面の状態と予め決め
られた基準とを比較評価することによって、音声演出を
行うか否かを決定する。予め決める基準としては、例え
ば、利用者操作入力に伴う画面の移動において、ある区
間を一定回数以上繰り返し往復移動しているか否かとい
う条件が挙げられる。この場合、一定回数以上往復して
いれば利用者が迷っていることが推定されるので、音声
演出を行うことが適当であると判断できる。

【００２５】例えば、図２の表示画像３０６では「ライ
オン」のデータは画面左方の表示範囲外に配置されてい
る状態であり、ここで音声演出を行うと決定した場合を
考える。この場合には、音声演出制御手段２５は効果音
生成指示２０４を効果音生成手段２２に対して送る。図
４の実施例においては、効果音生成指示２０４は「ライ
オン」を印象付ける音声（例えばライオンの鳴き声）を
音声データ蓄積手段２１から取り出すことを効果音生成
手段２２に対して指示するものとなる。また音声演出制
御手段２５は、これと並行して音声加工手段２３に対し
て音声加工指示２０５を送信する。図４の実施例におい
ては、音声加工指示２０５は、「ライオン」の鳴き声を
画面左方に定位させるような指示となる。これによっ
て、演出加工後音声２０３は「ライオン」の鳴き声を画
面左方へ定位させた音声となる。以上の処理を行うこと
により、例えば利用者が「ライオン」のデータを捜して
いれば、左方から聴こえる該演出音声を手がかりとして
容易に「ライオン」のデータの位置を知ることができ、
円滑に視点を左方向へ移動することが可能となる。

【００２６】

【発明の効果】以上、詳細に説明したように、３次元情
報抽出手段１１と空間情報統合手段１２によって、実写
動画像の空間情報を情報提示空間の３Ｄ空間モデルに統
合し、演出画像生成手段１３によって実写動画像で表示
された物体が情報提示空間に平面ではなく立体的なもの
として存在していることを示す演出画像を生成する。こ
れによって、利用者に対して実写動画像と情報提示ＣＧ
空間との連続性を印象づけることが可能となり、情報提
示空間と実写動画像の合成表示において確実に違和感の
少ない情報提示を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明による情報提示装置の構成の一実施例を
示す構成図

【図２】本発明の情報提示基本装置の処理を説明する図

【図３】本発明の動画像演出装置を説明する図

【図４】本発明の音声演出装置を説明する図

【図５】従来技術の情報提示基本装置を説明する構成
図。

【符号の説明】

１動画像演出装置２音声演出装置３情報提示基本装置４従来型情報提示基本装置１１３次元情報抽出手段１２空間情報統合手段１３演出画像生成手段２１音声データ蓄積手段２２効果音生成手段２３音声加工手段２４音声出力装置２５音声演出制御手段３１動画像信号生成手段３２データ蓄積手段３３３次元空間モデル蓄積手段３４空間映像生成手段３５情報提示空間管理手段３６画像合成手段３７利用者操作入力手段３８画像表示装置４２陰影４３演出画像４４ＣＧ画像５１データベース５２３次元空間モデル５３情報提示空間５４ＣＧ空間画像５５ＣＧデータ画像５６実写動画像１０１動画像空間情報１０２統合空間情報１０３演出画像１０４画像合成指示２０１蓄積音声２０２演出効果音２０３演出加工後音声２０４効果音生成指示２０５音声加工指示３０１実写動画像データ３０２表示対象データ３０３空間モデル情報３０４ＣＧ情報提示空間画像３０５利用者操作入力３０６表示画像３０７情報提示空間情報３０８動画像制御指示３０９画像合成指示

───────────────────────────────────────────────────── フロントページの続き (72)発明者広明敏彦東京都港区芝五丁目７番１号日本電気株式会社内 (72)発明者呂山東京都港区芝五丁目７番１号日本電気株式会社内

Claims

【特許請求の範囲】

【請求項１】計算機内に蓄積されたデータと動画像デー
タを３次元空間モデルに基づいた空間表現を用いて提示
する計算機システムの情報提示装置において、前記動画像データの内容から前記動画像データで表現さ
れている映像の３次元情報を抽出する３次元情報抽出手
段と、前記抽出した空間情報を基に実写動画像の空間を３次元
空間として前記３次元空間モデルに統合する空間情報統
合手段と、前記統合した空間情報に基づいて情報提示空間と動画像
空間との連続性を演出する画像を生成する演出画像生成
手段と、から構成される動画像演出装置を備えたことを特徴とす
る情報提示装置。
【請求項２】前記演出画像生成手段が生成する連続性を
演出する画像が、陰影計算を行うことにより、前記情報
提示空間と前記動画像空間との間の連続性を演出した陰
影画像であることを特徴とする請求項１記載の情報提示
装置。
【請求項３】前記演出画像生成手段が生成する連続性を
演出する画像が、前記情報提示空間と前記動画像空間の
画像の明るさに格差がある場合に、両画像の境界領域に
明るさを段階的に変化させた画像であることを特徴とす
る請求項１記載の情報提示装置。