JP2001265812A - 映像の３ｄブラウジング装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 利用者が欲している映像データがどのあたり
に保存されているか感覚的に判断することができ、かつ
当該映像データに容易に到達することができる映像の３
Ｄブラウジング装置及び方法を提供する。 【解決手段】 映像データ、映像データの表示用映像ア
イコン、及び映像データの物理的な映像特徴量及び感性
的な映像特徴量を保存し、映像特徴量に基づいて映像空
間座標データを生成し、映像空間座標データを格納する
とともに、映像アイコン及び映像空間座標データに基づ
いて、映像空間上における映像データの位置を表示し、
映像空間上の座標を指示し、指定された入力座標に最も
近接する空間座標に位置する映像データを再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示装置上におい
て、音響と動画像を一組として構成される大量の映像デ
ータを表示し、必要とする映像データを選択して再生す
るための映像の３Ｄブラウジング装置及び方法に関す
る。

【０００２】

【従来の技術】近年のマルチメディア関連技術の急速な
発展、及び家庭用パーソナルコンピュータの急速な普
及、性能向上等に伴って、テレビ番組等を録画した映像
データについて、個人が取り扱う機会が増大している。

【０００３】かかる映像データは、その内容を確認する
ために普通は撮影されたときと同じ速度で見るしかな
い。すなわち、「流し見ることができない」、「確認に
相当の時間が必要」という特質を有し、利用者が自分の
欲する映像データを大量の映像データの中から選択する
ことは非常に煩雑な作業となっている。

【０００４】大量の映像データの中からでも、確実に自
分の欲する映像データを抽出することができるように、
例えば映像データのダイジェストを準備して映像データ
検索のインデックスとして用いる方法や、映像データの
再生速度を速めて目視による確認時間を短縮するといっ
た方法も考えられている。

【０００５】しかし、ダイジェスト映像を用いる方法で
は、映像データが大量にある場合には、結局は一つ一つ
のデータを一つずつ確認していくことに代わりはないた
め、大幅な検索時間の短縮は望めない。また、再生速度
を速めて確認する方法では、画像にノイズが発生して見
にくくなったり、あるいは速すぎるために重要な映像を
見過ごしてしまうこともあり、実際に利用するには困難
を伴う。

【０００６】そこで、映像データの抽出を短時間で効率
的に行うべく、特開平８−８７５２５号公報において
は、３Ｄ空間に映像データをアイコンとして配置し、各
映像データへのアクセス手段を提供する空間配置の構成
手法が開示されている。

【０００７】実際にケーブルテレビ放送においては、二
次元平面に各チャンネルの放送内容を縮小表示する番組
選択用チャンネルが提供されている。これは、放送局側
が用意した組合せ映像であるが、利用者にとっての選択
ガイドとして有用性を示すものである。

【０００８】

【発明が解決しようとする課題】しかし、衛星デジタル
放送や地上波デジタル放送、あるいは通信ネットワーク
における映像配信等、各種の映像サービスの普及によっ
て、一般利用者の扱う映像量は、今後、爆発的に増大す
るものと予想される。このため、３Ｄ映像ブラウザにお
いては、大量の映像データをスムーズに表示・再生する
技術が重要となる。

【０００９】このような３Ｄ映像ブラウザを実現すると
き、人間が目視で確認できる映像データの数には限度が
あり、また多くの動画像を同時に確認することは、利用
者にとって必ずしも確認しやすい表示方法であるとも言
えない点に注意が必要である。つまり、特に注意を向け
ていない画像についてまで動画像として再生することに
より、多くの必要性の乏しい画像まで動画像として認識
するというのは人間にとっては苦痛であり、映像検索効
率上も問題である。

【００１０】本発明は、上記問題点を解決すべく、利用
者が欲している映像データがどのあたりに保存されてい
るか感覚的に判断することができ、かつ熟練を要するこ
となく、容易に欲する映像データを抽出・再生すること
ができる映像の３Ｄブラウジング装置及び方法を提供す
ることを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に本発明にかかる映像の３Ｄブラウジング装置は、映像
データ、映像データの表示用映像アイコン、及び映像デ
ータの物理的な映像特徴量及び感性的な映像特徴量を保
存する映像データ格納装置と、映像特徴量に基づいて映
像空間座標データを生成する映像空間座標データ生成装
置と、映像空間座標データを格納する映像空間座標デー
タ格納装置と、映像アイコン及び映像空間座標データに
基づいて、映像空間上における映像データの位置を表示
する映像アイコン多重表示装置と、映像空間上の座標を
指示する映像空間座標入力装置と、映像データを再生す
る映像データ再生装置とを含み、映像空間座標入力装置
において指定された座標に最も近接する空間座標に位置
する映像データを映像データ再生装置において再生する
ことを特徴とする。

【００１２】かかる構成により、大量の映像データにつ
いて立体的に空間表示することで、映像データ相互間の
位置等を確認しながら求めるべき映像データを探索する
ことが可能となる。また、映像データの特徴量に応じて
映像アイコンの大きさ、あるいは映像データに付された
音響データの音量を増減させることで、カーソルの動き
に応じて欲する映像データを探索することが可能とな
る。

【００１３】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像空間座標入力部で入力された映像空間
上の座標と映像データの座標間距離に応じて、映像アイ
コンの表示サイズを変更することが好ましい。映像空間
上でのポインタ移動によって、動的に映像データを探索
するためである。

【００１４】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像空間を格子状に分割し、各格子空間と
格子空間に含まれる映像データとの対応関係に基づい
て、映像空間座標入力装置から入力された映像空間上の
座標が存在する格子空間及びその近傍の格子空間に存在
する映像データのみ映像空間上における座標間距離計算
の対象とすることが好ましい。空間上の距離計算の対象
となる映像データを絞り込むことができることから、計
算機資源の無駄を省いて、効率的な映像データの検索を
行うことが可能となるからである。

【００１５】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像空間座標入力装置から入力された映像
空間上の座標が存在する格子空間とその近傍の格子空間
に存在する映像データをすべて映像データ再生装置にお
いて再生し、かつ映像空間上における座標間距離に応じ
て表示濃度を変更することが好ましい。複数の映像を表
示することで、利用者の欲する映像データに近づきつつ
あるのか否かの判断を容易ならしめるためである。

【００１６】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、ネットワークを介して提供される映像スト
リームを映像データとして用いることが好ましい。リア
ルタイムで送信されてくる映像情報にも適用することが
できるからである。なお、ネットワークとは、インター
ネット接続網以外に、有線式のケーブル放送網や無線式
の地上波／衛星放送網も含み、家庭内や企業内における
ローカルネットワークをも含む広い概念である。

【００１７】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像データが、画像データと音響データと
で構成され、画像データの再生時に、音響データも併せ
て再生する３Ｄ音響混合再生部をさらに含むことが好ま
しい。音響データも併せて再生することで、より効率よ
く求める映像データを検索することができるからであ
る。

【００１８】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、画像データと音響データとを同期させて再
生する同期再生モードと、画像データ及び音響データの
一方を独立して再生する独立再生モードとを有し、映像
中の任意の時点における画像データと音響データの同期
を管理するとともに、同期再生モードと独立再生モード
の切替を自由に行うことができることが好ましい。特に
動画像においては、同期がとれていないと映像データと
して確認しづらいからである。

【００１９】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像空間座標入力装置において入力された
座標と映像データの空間座標との映像空間上の座標間距
離が、所定のしきい値以下である映像データに付される
音響データをリストアップする音響データリストアップ
装置と、再生すべき音響データを一時的に格納する音響
データバッファ装置と、音響データバッファ装置に格納
されている音響データを更新する音響データバッファ更
新装置と、音響データバッファ装置に格納されている音
響データを繰り返し再生する音響データループ再生装置
をさらに含むことが好ましい。静止画像に音響データが
付されている場合に対応できるようにするためである。

【００２０】また、本発明にかかる映像の３Ｄブラウジ
ング装置は、映像データの映像特徴量から得られた空間
配置を事前に保存した上で、さらに利用者が映像アイコ
ンを３Ｄ空間上で移動させることで自由に空間配置をカ
スタマイズでき、保存することができることが好まし
い。自分に適した形態でデジタル放送のブラウジング選
択用の空間配置を保存し、再利用することができるから
である。

【００２１】また、本発明は、上記のような映像の３Ｄ
ブラウジング装置の機能をコンピュータの処理ステップ
として実行するソフトウェアを特徴とするものであり、
具体的には、映像データ、映像データの表示用映像アイ
コン、及び映像データの物理的な映像特徴量及び感性的
な映像特徴量を保存する工程と、映像特徴量に基づいて
映像空間座標データを生成する工程と、映像空間座標デ
ータを格納する工程と、映像アイコン及び映像空間座標
データに基づいて、映像空間上における映像データの位
置を表示する工程と、映像空間上の座標を指示する工程
と、映像データを再生する工程とを含み、指定された入
力座標に最も近接する空間座標に位置する映像データを
再生する映像の３Ｄブラウジング方法並びにそのような
工程をプログラムとして記録したコンピュータ読み取り
可能な記録媒体であることを特徴とする。

【００２２】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、大量の映像デ
ータについて立体的に空間表示することで、映像データ
相互間の位置等を確認しながら求めるべき映像データを
探索することが可能となる。また、映像データの特徴量
に応じて映像アイコンの大きさ、あるいは映像データに
付された音響データの音量を増減させることで、カーソ
ルの動きに応じて欲する映像データを探索することがで
きる映像の３Ｄブラウジング装置を実現することが可能
となる。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態にかか
る映像の３Ｄブラウジング装置について、図面を参照し
ながら説明する。図１は本発明の実施の形態にかかる映
像の３Ｄブラウジング装置の構成図である。図１におい
て、１１は映像データ格納部を、１２は映像空間座標デ
ータ生成部を、１３は映像空間座標データ格納部を、１
４は映像アイコン生成部を、１５は映像アイコン多重表
示部を、１６は映像空間座標入力部を、１７は３Ｄ音響
混合再生部を、１８は映像データ再生部を、それぞれ示
す。

【００２４】図１において、映像データ格納部１１に
は、静止画像や動画像と音響データを一組とした映像デ
ータ、当該映像データをブラウザ画面に表示する際に使
用するアイコン画像、及び当該映像データに関する映像
特徴量の３種類のデータを一組として格納する。

【００２５】映像特徴量とは、映像データに関する輝度
やスペクトル等の物理的な特徴量だけではなく、人が映
像を見ることで感じとることができる感性的な特徴量、
例えば「快い」、「迫力のある」、「怖い」等の程度を
示す特徴量も含むものを意味している。

【００２６】映像空間座標データ生成部１２において、
映像特徴量に基づいて検索用に３次元で表される映像空
間における当該映像データの座標データを生成する。す
なわち、表示される映像空間において当該映像データへ
のポインタがどの位置に表示されるべきかを算出する。

【００２７】具体的には、まず映像空間自体を作成しな
ければならない。映像空間を作成するためには、複数の
評価語を用いて評価尺度を構成する。例えば、感性語で
ある「面白い」、「迫力ある」、「楽しい」等の評価語
を用いて、様々な映像についてどの程度の寄与率を有す
るのかを評価する。ここで寄与率とは、相関行列から得
られる固有値の総和に対する各固有値の比率を意味し、
寄与率の評価自体は評価者自身の感性に基づいて評価さ
れる。したがって、寄与率が高いほど、当該評価語に近
い感性を有する映像であると判断できる。

【００２８】ただ、このままでは、評価語の数が多いと
それだけ評価次元が高次となるので、表示を簡単にする
ために分析するための因子となりうる感性量を決定し
て、各評価語ごとの因子分析を行う。したがって、ｎ個
の評価語を用いた映像データを数個の因子で構成される
空間上に写像させることが可能となる。

【００２９】次に、各評価語についての因子分析を行っ
て、因子ごとの負荷量を算出することで、各因子を軸と
した映像空間上のどの位置に当該映像データが位置する
のか求めることができる。本実施の形態においては、因
子を３つとしていることから、三次元空間座標に表示す
ることが可能となる。

【００３０】例えば、第１因子軸を右方向、第２因子軸
を上方向、第３因子軸を前方向とする右手基準系での配
置を考えると、因子軸の座標値を手がかりとして評価対
象となる映像データを探索することが可能となる。

【００３１】なお、ここでは因子分析を用いた映像空間
作成について説明したが、特にこれに限定されるもので
はなく、例えば二次元空間として映像データ分布を表示
しておき、映像データの作成日付等のナビゲーション軸
を一つ加えることで擬似的に三次元空間を生成する方法
でも良い。

【００３２】そして、映像空間座標データ生成部１２で
生成された映像空間座標データは、映像検索用の３Ｄブ
ラウザ画面に表示するべく映像空間座標データ格納部１
３に格納され、映像データのポインタを映像アイコンと
して３Ｄブラウザ画面に表示する際に参照される。ま
た、映像データ自体の再生時においても、再生すべき映
像データの選定及び再生画像の大小を決定する際に参照
される。なお、本実施の形態においては映像空間座標デ
ータと映像データを別々に格納しているが、別々に格納
せずに同一のデータベースに格納しても良い。

【００３３】次に、３Ｄブラウザ画面に実際に表示すべ
き映像アイコンは、映像特徴量に基づいて映像アイコン
生成部１４において自動生成される。具体的には、映像
アイコン画像の一つ一つが当該映像データを表示するウ
ィンドウとなっていることが望ましい。また、映像アイ
コンの大小によって、３Ｄブラウザ画面における利用者
の視点位置を含む任意のポインタとの遠近を表示するこ
とも可能である。したがって、映像アイコンの大きさは
固定ではなく可変であることが必要である。

【００３４】本実施の形態においては、映像アイコン自
体は映像データを直接表示する一つのウィンドウ画面と
して生成する。ただし、データ量を考慮する場合は、対
象となる映像データの最初から最後まで全てを映像アイ
コンとして用いる必要はなく、トピックとなるべき場面
についてのみ映像データを抽出しておき、映像アイコン
を表示する場合には、抽出されたトピック映像をループ
再生し続けるものとする。

【００３５】なお、映像アイコン生成部１４で生成され
た表示用の映像アイコンは、映像データ格納部１１にお
いて当該映像データを表示するポインタとして用いる映
像アイコンとして格納される。

【００３６】映像データ、映像アイコン、映像空間座標
データの３つが整えば、当該映像データを映像アイコン
多重表示部１５において表示することができる。映像ア
イコン多重表示部１５では、例えば図２に示すような映
像空間上に映像アイコン生成部１４において生成した映
像アイコンを表示することで、映像データの存在する位
置を確認することができるとともに、欲する映像データ
を探索することができる。なお、図２においては新たに
生成された映像アイコンを用いて表示していないが、実
際には図２で楕円形状に表示されているアイコンが映像
データのトピック画像をループ再生し続けるウィンドウ
アイコンに置換されて表示される。

【００３７】利用者が映像データを再生する場合には、
従来は表示されている映像データのアイコンを選択し
て、一つ一つ再生していく必要があった。本実施の形態
においては、まず利用者は映像空間座標入力部１６から
映像空間座標を指定する。入力にはキーボード等の入力
媒体による数値入力でも良いが、一般にはマウス等の入
力媒体によるポインタ入力が主流である。

【００３８】映像空間座標入力部１６から映像空間座標
が入力されたら、３Ｄ音響混合再生部１７において、入
力された空間座標と映像データの有する映像空間座標と
を対比して、入力された空間座標と一定のしきい値以下
の距離にある映像データを再生し、かつその距離の大小
に応じて再生する映像の大きさを増減させる。

【００３９】この場合、映像データと時系列にリンクし
ている音響データについても、入力された空間座標と映
像データの有する映像空間座標とを対比して、入力され
た空間座標と一定のしきい値以下の距離にある映像デー
タについての音響データを再生し、かつその距離の大小
に応じて再生する音量を大小させるものとする。

【００４０】そして、映像データ再生部１８において、
入力された映像空間座標に応じた映像データを再生する
ことが可能となる。この場合、マウス等を連続的に移動
させれば、再生すべき映像データも連続して変化する。
すなわち、再生される映像データの大きさが変化した
り、同時に再生される音響データの音量が増減したり、
あるいは再生される映像データ自体が変更される。

【００４１】また、映像空間上の座標間距離が最も短い
映像データのみを再生の対象としても良いし、座標間距
離が一定範囲内である映像データについてはすべて再生
の対象とするものであっても良い。ただし、その場合に
は座標間距離が短いほど明確に表示するようにするた
め、座標間距離が短いほど表示濃度を濃くする等の手段
を講じておく必要がある。

【００４２】次に、本発明の実施例にかかる映像の３Ｄ
ブラウジング装置について、図面を参照しながら説明す
る。図３に本発明の実施例にかかる映像の３Ｄブラウジ
ング装置の構成図を示す。図３において、３１は映像デ
ータ格納装置を、３２は映像空間座標データ生成装置
を、３３は映像空間座標データ格納装置を、３４は映像
アイコン生成装置を、３５は映像アイコン多重表示装置
を、３６は映像空間座標入力装置を、３７は３Ｄ音響混
合再生装置を、３８は映像データ再生装置を、それぞれ
示す。

【００４３】図３は、基本的に図１と同様の構成である
が、映像空間座標入力装置３６にはキーボードやマウス
等の入力媒体を、３Ｄ音響混合再生装置３７にはサウン
ドボードを経由したスピーカやヘッドホンを用いてい
る。映像空間座標入力装置３６によって、映像アイコン
多重表示装置３５に表示されている映像空間の視点移動
操作を行うことができ、リアルタイムで映像空間表示を
変化させることが可能となる。

【００４４】また、映像アイコン多重表示装置３５や映
像データ再生装置３８には、ＣＲＴやＬＣＤ等のディス
プレイ装置を用いる。なお、映像アイコン多重表示装置
３５と映像データ再生装置３８とは別個のディスプレイ
装置に限定されるものではなく、同一のディスプレイ装
置上で別個のウィンドウ等によって表示されるものであ
っても良い。

【００４５】図３において、映像データ格納装置３１に
は、静止画像や動画像と音響データを一組とした映像デ
ータ、当該映像データをブラウザ画面に表示する際に使
用するアイコン画像、及び当該映像データに関する映像
特徴量の３種類のデータを一組として格納する。

【００４６】そして、映像空間座標データ生成装置３２
において、映像特徴量に基づいて検索用に３次元で表さ
れる映像空間における当該映像データの座標データを生
成する。すなわち、表示される映像空間において当該映
像データへのポインタがどの位置に表示されるべきかを
算出する。

【００４７】本実施例においては、映像空間を作成する
べく、感性語である「面白い」、「迫力ある」、「楽し
い」等の評価語を用いて、因子分析によって因子負荷量
を求めている。映像空間の軸となるべき第１、第２、第
３の因子をなるべく少数の評価変数によって説明できる
ように、換言すれば少数の評価変数がなるべく３つの因
子軸に重なるようにバリマックス回転を行う。

【００４８】このように因子分析を行った上で、第１因
子軸を右方向、第２因子軸を上方向、第３因子軸を前方
向とする右手基準系での配置を考えると、因子軸の座標
値を手がかりとして評価対象となる映像データを探索す
ることが可能となる。

【００４９】そして、映像空間座標データ生成装置３２
で生成された映像空間座標データは、画面に表示するべ
く映像空間座標データ格納装置３３に格納され、映像デ
ータのポインタを映像アイコンとして３Ｄブラウザ画面
に表示する際に参照される。また、映像データ自体の再
生時においても、再生すべき映像データの選定及び再生
画像の大小を決定する際に参照される。なお、本実施例
においては映像空間座標データと映像データを別々に格
納しているが、別々に格納せずに同一のデータベースに
格納しても良い。

【００５０】次に、３Ｄブラウザ画面に実際に表示すべ
き映像アイコンは、映像特徴量に基づいて映像アイコン
生成装置３４において自動生成される。具体的には、映
像アイコン画像の一つ一つが当該映像データを表示する
ウィンドウとなっていることが望ましい。また、映像ア
イコンの大小によって、３Ｄブラウザにおける利用者の
視点位置との遠近、あるいは３Ｄブラウザ画面上でのポ
インタとの遠近を表示することも可能である。したがっ
て、映像アイコンの大きさは固定ではなく可変であるこ
とが必要である。

【００５１】本実施例においては、映像アイコン自体は
映像データを直接表示する一つのウィンドウ画面として
生成する。ただし、データ量を考慮する場合は、対象と
なる映像データの最初から最後まで全てを映像アイコン
として用いる必要はなく、トピックとなるべき場面につ
いてのみ映像データを抽出しておき、映像アイコンを表
示する場合には、抽出されたトピック映像をループ再生
し続けるものとする。

【００５２】なお、映像アイコン生成装置３４で生成さ
れた表示用の映像アイコンは、映像データ格納装置３１
において当該映像データを表示するポインタとして用い
る映像アイコンとして格納される。

【００５３】映像データ、映像アイコン、映像空間座標
データの３つが整えば、当該映像データを映像アイコン
多重表示装置３５において表示することができる。映像
アイコン多重表示装置３５では、例えば図２に示すよう
な映像空間上に映像アイコン生成装置３４において生成
した映像アイコンを表示することで、映像データの存在
する位置を確認することができるとともに、欲する映像
データを探索することができる。なお、図２においては
新たに生成された映像アイコンを用いて表示していない
が、実際には図４に示すような複数の画像ウィンドウア
イコンによって映像データのトピック画像がループ再生
し続けるイメージとなる。

【００５４】利用者が映像データを再生する場合には、
従来は表示されている映像データのアイコンを選択し
て、一つ一つ再生していく必要があった。本実施例にお
いては、まず利用者は映像空間座標入力装置３６から映
像空間座標を指定する。入力にはキーボード等の入力媒
体による数値入力でも良いが、一般にはマウス等の入力
媒体によるポインタ入力が主流である。

【００５５】映像空間座標入力装置３６から映像空間座
標が入力されたら、３Ｄ音響混合再生装置３７におい
て、入力された空間座標と映像データの有する映像空間
座標とを対比して、入力された空間座標と一定のしきい
値以下の距離にある映像データを抽出し、かつその距離
の大小に応じて再生する映像の大きさの大小を調節す
る。

【００５６】この場合、映像データと時系列にリンクし
ている音響データについても、入力された空間座標と映
像データの有する映像空間座標とを対比して、入力され
た空間座標と一定のしきい値以下の距離にある映像デー
タについての音響データを再生し、かつその距離の大小
に応じて再生する音量を大小させるものとする。

【００５７】音響データの再生には様々な方法が考えら
れるが、本実施例が動画のみならず静止画も表示の対象
としていることから、静止画を表示する場合には音響デ
ータをループ再生する必要がある。音響データを映像デ
ータと時系列にリンクすることができないからである。

【００５８】そこで、図５に示すように、音響データバ
ッファ装置５１を用いて静止画再生時の音響データ再生
にも対応可能とする。図５において、５１は音響データ
バッファ装置を、５２は音響データリストアップ装置
を、５３は音響データバッファ更新装置を、５４は音響
データ・ループ再生装置を、それぞれ示す。

【００５９】音響データバッファ装置５１は、音響デー
タリストアップ装置５２によってリストアップされた映
像データにリンクしている音響データを一時的に格納す
る記憶領域である。また、音響データリストアップ装置
５２は、映像空間座標入力装置３６によって入力された
空間座標と各映像データの映像空間座標とに基づいて空
間距離を算出し、近接していると判断される映像データ
を距離の近い順に抽出して、各々にリンクしている音響
データを再生すべき音響データとして任意の数だけリス
トアップする機能を有している。

【００６０】さらに、音響データバッファ更新装置５３
は、リストアップされた音響データを再生の対象とする
べく音響データバッファ装置５１へ上書き更新するため
のものであり、音響データ・ループ再生装置５４は、音
響データバッファ装置５１が空になるまで格納されてい
る音響データをループ再生するためのものである。

【００６１】そして、映像データ再生装置３８におい
て、入力された映像空間座標に応じて抽出された映像デ
ータを再生する。具体的には、映像アイコン多重表示装
置１５とは別個に設置されたディスプレイ装置上に表示
することもできるし、同一のディスプレイ装置上におけ
る別個のウィンドウとして表示することも可能である。
また、同時に再生すべき音響データについては、サウン
ドボード等を設置し、接続されたスピーカやヘッドホン
を通じて再生することで、「聞く」すなわち聴覚系での
認識が可能となる。

【００６２】また、マウス等を連続的に移動させれば、
再生すべき映像データも連続して変化する。すなわち、
再生される映像データの大きさが変化したり、同時に再
生される音響データが増減したり、あるいは再生される
映像データ自体が変更される。

【００６３】次に、本発明にかかる映像の３Ｄブラウジ
ング装置が対象としている映像データは、大量に存在し
ていることを前提としている。したがって、空間座標内
のすべての映像データについて距離計算の対象とする
と、その演算処理時間は無視できないオーダーとなって
しまう。そこで、計算対象となる映像データを絞り込む
工夫が必要となる。

【００６４】そこで、図６に示すように、映像空間を格
子空間に細分化し、映像空間座標入力装置３６によって
入力された空間座標の存在する格子空間及びその近傍の
格子空間に存在する映像データのみを演算対象とする。

【００６５】具体的には、映像空間を格子状に分割し、
入力された空間座標の存在する格子空間とその前後左右
上下斜めにある格子空間をも加えた合計２７個の格子空
間内にある映像データを演算の対象とするものである。

【００６６】また、動画像と音響データとの同期再生に
も工夫が必要となる。動画像データと音響データは共に
時系列を有するデータであるので、同期再生しなければ
利用者にとって確認映像として用いることが困難となる
からである。

【００６７】具体的には、動画像データ及び音響データ
の双方を一定時間間隔のフレーム単位に分割し、フレー
ムのカウンタ等を設けることで、どの時制における動画
像データであるか、あるいは音響データであるかを調節
することが考えられる。ただし、この方法に特に限定さ
れるものではなく、動画像データと音響データの同期を
取るための方法で有れば何でも良い。

【００６８】動画像と音響の同期再生機能によって、利
用者の視点移動に伴って、例えば映像が利用者の視点の
左から前方に移動する場合に、左から音響が聞こえ、音
響が前方へ移動するとともに、利用者の視野角に入ると
映像アイコンが出現し、動画像が音響と同期して再生さ
れる、といった柔軟な再生処理を実現することが可能と
なる。

【００６９】さらに、ポインタのかわりに実際の利用者
の視点を用いることも考えられる。例えば図７に示すよ
うなヘッドマウント装置を用いることによって、マウス
等による空間座標指定の代わりに、利用者の視点位置を
検出することで、同様の処理を行うものである。

【００７０】図７においては、ヘッドマウント装置７を
利用者の頭に装着し、視点検出部７１を通して３Ｄブラ
ウザ画面を見ることで、空間座標入力を代行する。再生
される音響データは左右に位置するスピーカ７２によっ
て確認することができる。これによって、実際に利用者
が見たい画像を直接的に確認することができ、大量の画
像データの中から利用者の欲する画像データを抽出する
ことがより容易となる。

【００７１】また、抽出した映像データを複数個別個格
納しておき、それらをミキシングすることも考えられ
る。これは今までの用途とは１８０度異なり、抽出した
映像データを全く新たな映像空間へ配置していき、新た
な映像空間上でその配置を自由に変化させることで、全
く新しい映像空間を形成することができるようにしたも
のである。こうすることで、利用者にとって、より検索
のしやすい映像検索空間を形成することが可能となる。

【００７２】さらに、映像データ入力として、格納され
ている映像データのみならず、ネットワーク等を通じて
リアルタイムで配信されている映像ストリームについて
も入力の対象とすることが考えられる。

【００７３】一般に、動画像データと音響データで構成
される映像データを対象とする３Ｄブラウジング装置に
ついて、利用者層と映像メディア形態とに基づいて、以
下のように分類することができる。

【００７４】まず、利用者層については、一般ユーザ、
制作者、放送事業者といった分類が可能である。そし
て、映像メディア形態については、（１）ローカルに保
存した映像データを各々独立したデータとして利用する
場合、（２）ネットワーク上から映像データを取得し、
一旦ローカルに保存した後で利用する場合、（３）ネッ
トワーク上から取得した映像データを、手元にファイル
として保存することなく、リアルタイムで利用する場
合、の３つに分類することが可能である。

【００７５】一般に、（３）の場合をストリーム再生方
式と呼び、取り扱うデータを映像ストリームと呼んでい
る。ストリーム再生方式では、映像データがユーザの手
元に残らないこと、映像再生までの待ち時間が少なくて
すむこと、等の理由から、一方向の情報伝送メディアで
ある放送サービスとの相性が良いと考えられている。

【００７６】次に、利用者層が一般ユーザである場合の
映像利用について考えると、代表的な利用態様としては
以下の４つが考えられる。すなわち、自分で撮影した
映像データを管理する、ＴＶ番組等の個人用録画映像
データを管理する、連続して録画した（例えば１日中
録画した）ＴＶ放送の内容確認に利用する、多チャン
ネル放送の聴取時の選択に用いる、の４つである。

【００７７】また、利用者層が映像制作者である場合の
映像利用について考えると、代表的な利用態様としては
以下の２つが考えられる。すなわち、自社の映像資産
を利用する、他社の映像コンテンツサービスを利用す
る、といった利用態様である。

【００７８】この中で及びは、元々ローカルなファ
イルであることを意識して利用する場合である。及び
はデータがローカルに蓄積されるが、ユーザは個々の
ファイル構成は意識する必要はない。及びについて
は、ローカルなファイル蓄積は行われない。

【００７９】かかる利用態様のすべてについて統一的な
ブラウジング処理を行うためには、ローカルな映像ファ
イルだけではなく、ネットワーク上で得た映像ストリー
ムについてもスムーズに再生する工夫が必要となる。

【００８０】そこで、本実施例においては、ブラウジン
グ用のコンピュータに保存されているローカルファイ
ル、あるいはＬＡＮ等のネットワークを介してアクセス
可能なファイルであれば、ファイルポインタを介して、
映像の特定の部分を直接描画することができるようにし
て対応している。そして、３Ｄブラウジング時には、音
響のみ、あるいは音響及び動画像を同時、という２種の
再生モードが必要となる。前者は静止画像を映像アイコ
ンとしている場合に相当し、後者は動画像を映像アイコ
ンとしている場合に相当する。ここで、ローカルファイ
ルに映像データが存在する場合は、映像データからの音
響データ部分の抽出を事前に済ませておくことも可能で
ある。

【００８１】しかし、ネットワーク上でリアルタイムに
流れてくる映像ストリームの場合は、映像データに付さ
れた音響データ部分をリアルタイムで抽出して音響再生
するモード、あるいは得られた映像ストリームを加工す
ることなく音響データの付された動画として再生するモ
ードの２つを、動的に切り替えることが必要となる。

【００８２】さらに切り替えを滑らかに実現するため
に、各映像ストリームに対して、図８に示すように音響
データ再生用バッファ８１と映像データ再生用バッファ
８２を用意することも考えられる。

【００８３】こうすることで、映像ストリームから映像
データ及びそれに付された音響データをリアルタイムに
抽出した上で、音響データ再生用バッファ８１と映像デ
ータ再生用バッファ８２の２者間で同期をとりながら再
生することが可能となる。映像データが静止画像の場合
には音響データ再生用バッファ８１に基づいて音響デー
タのみを再生すれば足りる。

【００８４】具体的には、映像ストリームを提供してい
るデジタル放送番組を、一括して検索して、利用者の欲
する番組を検索する装置として用いることで、提供番組
数の急増に対する利用者の番組選択ツールとして多大な
効果が期待できる。

【００８５】また、特にデジタル放送の３Ｄブラウジン
グにおいて、利用者個々の好み等に応じて空間配置を自
由にカスタマイズでき、かかる空間配置を適宜保存でき
ることが好ましい。すなわち、デジタル放送の場合に
は、同系列の複数チャンネルを組み合わせる形で番組用
の帯域を増やし、放送品質を向上させる場合がある。よ
って、デジタル放送のチャンネル選択用に３Ｄブラウザ
を用いる場合には、かかる放送チャンネルの動的変化に
追従して自動再配置を行う、あるいはユーザが配置をカ
スタマイズして、自動再配置は行わない等の機能を有す
ることが必要となるからである。

【００８６】図９は、本発明の他の実施例にかかる映像
の３Ｄブラウジング装置の構成図である。図９において
は、映像空間データ・カスタマイズ装置９１を含んでい
る点に特徴を有する。

【００８７】図９において、映像空間座標入力装置３６
は、主として映像ブラウジング時の視点入力に用いられ
るが、映像アイコン多重表示装置３５に配置されている
映像アイコンを移動させる操作にも用いることができ
る。

【００８８】すなわち、映像アイコン多重表示装置３５
において、映像アイコンの移動操作が行われると、空間
座標等の更新情報が映像空間データ・カスタマイズ装置
９１に送られる。映像空間データ・カスタマイズ装置９
１は、映像空間座標データ格納装置３３から３Ｄブラウ
ジング用の空間配置データを取得し、空間座標等の更新
情報に基づいて映像空間データをカスタマイズし、映像
空間座標データ格納装置３３に上書き保存する。こうす
ることで、映像アイコンの移動操作による映像アイコン
の描画や音響再生の変化を即座に反映させることが可能
となる。

【００８９】なお、映像アイコンの移動操作は、映像空
間データ・カスタマイズ装置９１に付随する映像空間デ
ータ変更履歴に記録される。記録方式はスタック、キュ
ー等であれば何でも良く、特に限定されるものではな
い。保存された変更履歴に対して、例えばブックマーク
式の管理を行うことで、映像アイコンの移動作業中の空
間配置についても、自由に再現することが可能となる。
また、変更履歴中の任意の映像空間データを補完する形
で、別途アニメーション表示等を行うことも可能とな
る。

【００９０】実装上は、デジタル放送データに加えて、
ＣＤ音楽データ、ウェブの静止画像といった任意のデー
タを含むことができる。配置のカスタマイズ機能によっ
て、放送チャンネル自身の映像アイコンと、放送内容に
関連のある映像データを、３Ｄブラウザ上で関連させて
配置し、自由に再利用することも可能となる。

【００９１】以上のように本実施の形態によれば、大量
の映像データについて立体的に空間表示することで、映
像データ相互間の位置等を確認しながら求めるべき映像
データを探索することが可能となる。また、映像データ
の特徴量に即したアイコン表示とすることで、３Ｄブラ
ウザ上に示されている映像アイコンの一つ一つの映像に
ついて再生することなく、求めるべき映像データを探索
することも可能となる。

【００９２】次に、本発明の実施の形態にかかる映像の
３Ｄブラウジング装置を実現するプログラムの処理の流
れについて説明する。図１０に本発明の実施の形態にか
かる映像の３Ｄブラウジング装置を実現するプログラム
の処理の流れ図を示す。

【００９３】図１０において、まず映像空間を生成する
べく、既存の各映像データについて、その感性的又は物
理的な映像特徴量を確定する（オペレーション１０
１）。そして、映像空間座標データを生成・保存すると
共に（オペレーション１０２）、静止画あるいは動画像
を表示する映像アイコンを生成する（オペレーション１
０３）。そして、画面上に映像空間を表示すると共に、
各映像データについても映像アイコンによってその位置
を表示する（オペレーション１０４）。

【００９４】次に、映像空間座標をマウス等から入力す
る（オペレーション１０５）。入力した映像空間座標の
近傍に映像データが存在する場合には（オペレーション
１０６：Ｙｅｓ）該当する映像データが複数個存在する
か否か判断する（オペレーション１０７）。

【００９５】該当する映像データが複数個存在する場合
には（オペレーション１０７：Ｙｅｓ）、再生すべき映
像データを特定すると共に、入力座標と該当する映像デ
ータとの距離と方向に応じた画面の大きさと定位を確定
する（オペレーション１０８）。そして、映像データを
表示画面等に再生する（オペレーション１０９）。

【００９６】本発明の実施の形態にかかる映像の３Ｄブ
ラウジング装置を実現するプログラムを記憶した記録媒
体は、図１１に示す記録媒体の例に示すように、ＣＤ−
ＲＯＭ１１２−１やフロッピー（登録商標）ディスク１
１２−２等の可搬型記録媒体１１２だけでなく、通信回
線の先に備えられた他の記憶装置１１１や、コンピュー
タ１１３のハードディスクやＲＡＭ等の記録媒体１１４
のいずれでも良く、プログラム実行時には、プログラム
はローディングされ、主メモリ上で実行される。

【００９７】また、本発明の実施の形態にかかる映像の
３Ｄブラウジング装置により生成された映像データの空
間座標等を記録した記録媒体も、図１１に示す記録媒体
の例に示すように、ＣＤ−ＲＯＭ１１２−１やフロッピ
ーディスク１１２−２等の可搬型記録媒体１１２だけで
なく、通信回線の先に備えられた他の記憶装置１１１
や、コンピュータ１１３のハードディスクやＲＡＭ等の
記録媒体１１４のいずれでも良く、例えば本発明にかか
る映像の３Ｄブラウジング装置を利用する際にコンピュ
ータ１１３により読み取られる。

【００９８】

【発明の効果】以上のように本発明にかかる映像の３Ｄ
ブラウジング装置によれば、大量の映像データについて
立体的に空間表示することで、映像データ相互間の位置
等を確認しながら求めるべき映像データを探索すること
が可能となる。また、映像データの特徴量に即したアイ
コン表示とすることで、再生することなく求めるべき映
像データを探索することも可能となる。

【図面の簡単な説明】

【図１】 本発明の実施の形態にかかる映像の３Ｄブラ
ウジング装置の構成図

【図２】 本発明の実施の形態にかかる映像の３Ｄブラ
ウジング装置におけるアイコン表示の例示図

【図３】 本発明の一実施例にかかる映像の３Ｄブラウ
ジング装置の構成図

【図４】 本発明の一実施例にかかる映像の３Ｄブラウ
ジング装置における映像アイコンの表示例示図

【図５】 本発明の他の実施例にかかる映像の３Ｄブラ
ウジング装置の構成図

【図６】 本発明の一実施例にかかる映像の３Ｄブラウ
ジング装置における格子分割の説明図

【図７】 本発明の一実施例にかかる映像の３Ｄブラウ
ジング装置におけるヘッドマウント装置の概略図

【図８】 本発明の他の実施例にかかる映像の３Ｄブラ
ウジング装置の構成図

【図９】 本発明の他の実施例にかかる映像の３Ｄブラ
ウジング装置の構成図

【図１０】 本発明の実施の形態にかかる映像の３Ｄブ
ラウジング装置における処理の流れ図

【図１１】 記録媒体の例示図

【符号の説明】

７ ヘッドマウント装置 １１ 映像データ格納部 １２ 映像空間座標データ生成部 １３ 映像空間座標データ格納部 １４ 映像アイコン生成部 １５ 映像アイコン多重表示部 １６ 映像空間座標入力部 １７ ３Ｄ音響混合再生部 １８ 映像データ再生部 ３１ 映像データ格納装置 ３２ 映像空間座標データ生成装置 ３３ 映像空間座標データ格納装置 ３４ 映像アイコン生成装置 ３５ 映像アイコン多重表示装置 ３６ 映像空間座標入力装置 ３７ ３Ｄ音響混合再生装置 ３８ 映像データ再生装置 ７１ 視点検出部 ７２ スピーカ ８１ 音響データ再生用バッファ ８２ 映像データ再生用バッファ ９１ 映像空間データ・カスタマイズ装置 １１１ 回線先の記憶装置 １１２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型
記録媒体 １１２−１ ＣＤ−ＲＯＭ １１２−２ フロッピーディスク １１３ コンピュータ １１４ コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/00 ５３０ Ｇ０９Ｇ 5/00 ５３０Ｚ ５Ｅ５０１ 5/36 ５１０ 5/36 ５１０Ｖ Ｈ０４Ｎ 5/44 Ｈ０４Ｎ 5/44 Ｈ Ｚ 5/445 5/445 Ｚ 5/76 5/76 Ｂ 5/91 5/91 Ｚ Ｆターム(参考） 5B075 ND16 NK06 PP02 PP03 PP13 PP30 PQ02 PQ46 PQ48 PQ60 PR06 QM08 UU34 5C025 AA23 AA30 BA11 BA25 BA27 BA28 BA30 CA02 CA10 CA11 CB10 DA01 DA04 DA05 DA10 5C052 AA01 AC08 CC20 DD10 5C053 FA30 JA01 JA21 KA01 KA24 KA30 5C082 AA01 AA02 BA12 BA46 BB42 CA52 CA56 CB05 DA42 MM09 MM10 5E501 AB15 AC16 AC33 BA03 DA14 DA15 EA11 EB05 FA04 FA15 FA32 FA37 FB04

Claims (11)

【特許請求の範囲】
1. 【請求項１】 映像データ、前記映像データの表示用映
   像アイコン、及び前記映像データの物理的な映像特徴量
   及び感性的な映像特徴量を保存する映像データ格納装置
   と、 前記映像特徴量に基づいて映像空間座標データを生成す
   る映像空間座標データ生成装置と、 前記映像空間座標データを格納する映像空間座標データ
   格納装置と、 前記映像アイコン及び前記映像空間座標データに基づい
   て、映像空間上における前記映像データの位置を表示す
   る映像アイコン多重表示装置と、 映像空間上の座標を指示する映像空間座標入力装置と、 前記映像データを再生する映像データ再生装置とを含
   み、 前記映像空間座標入力装置において指定された座標に最
   も近接する空間座標に位置する前記映像データを前記映
   像データ再生装置において再生することを特徴とする映
   像の３Ｄブラウジング装置。
2. 【請求項２】 前記映像空間座標入力部で入力された前
   記映像空間上の座標と前記映像データの座標間距離に応
   じて、前記映像アイコンの表示サイズを変更する請求項
   １記載の映像の３Ｄブラウジング装置。
3. 【請求項３】 前記映像空間を格子状に分割し、各格子
   空間と前記格子空間に含まれる映像データとの対応関係
   に基づいて、前記映像空間座標入力装置から入力された
   前記映像空間上の座標が存在する格子空間及びその近傍
   の格子空間に存在する前記映像データのみ前記映像空間
   上における座標間距離計算の対象とする請求項１記載の
   映像の３Ｄブラウジング装置。
4. 【請求項４】 前記映像空間座標入力装置から入力され
   た前記映像空間上の座標が存在する格子空間とその近傍
   の格子空間に存在する前記映像データをすべて前記映像
   データ再生装置において再生し、かつ前記映像空間上に
   おける座標間距離に応じて表示濃度を変更する請求項３
   記載の映像の３Ｄブラウジング装置。
5. 【請求項５】 ネットワークを介して提供される映像ス
   トリームを前記映像データとして用いる請求項１記載の
   映像の３Ｄブラウジング装置。
6. 【請求項６】 前記映像データが、画像データと音響デ
   ータとで構成され、前記画像データの再生時に、前記音
   響データも併せて再生する３Ｄ音響混合再生部をさらに
   含む請求項１記載の映像の３Ｄブラウジング装置。
7. 【請求項７】 前記画像データと前記音響データとを同
   期させて再生する同期再生モードと、 画像データ及び音響データの一方を独立して再生する独
   立再生モードとを有し、 映像中の任意の時点における前記画像データと前記音響
   データの同期を管理するとともに、前記同期再生モード
   と前記独立再生モードの切替を自由に行うことができる
   請求項６記載の映像の３Ｄブラウジング装置。
8. 【請求項８】 前記映像空間座標入力装置において入力
   された座標と前記映像データの空間座標との前記映像空
   間上の座標間距離が、所定のしきい値以下である前記映
   像データに付される前記音響データをリストアップする
   音響データリストアップ装置と、 再生すべき前記音響データを一時的に格納する音響デー
   タバッファ装置と、 前記音響データバッファ装置に格納されている前記音響
   データを更新する音響データバッファ更新装置と、 前記音響データバッファ装置に格納されている前記音響
   データを繰り返し再生する音響データループ再生装置を
   さらに含む請求項６記載の映像の３Ｄブラウジング装
   置。
9. 【請求項９】 前記映像データの前記映像特徴量から得
   られた空間配置を事前に保存した上で、さらに利用者が
   前記映像アイコンを３Ｄ空間上で移動させることで自由
   に空間配置をカスタマイズでき、保存することができる
   請求項５記載の映像の３Ｄブラウジング装置。
10. 【請求項１０】 映像データ、前記映像データの表示用
    映像アイコン、及び前記映像データの物理的な映像特徴
    量及び感性的な映像特徴量を保存する工程と、 前記映像特徴量に基づいて映像空間座標データを生成す
    る工程と、 前記映像空間座標データを格納する工程と、 前記映像アイコン及び前記映像空間座標データに基づい
    て、映像空間上における前記映像データの位置を表示す
    る工程と、 映像空間上の座標を指示する工程と、 前記映像データを再生する工程とを含み、 指定された入力座標に最も近接する空間座標に位置する
    前記映像データを再生することを特徴とする映像の３Ｄ
    ブラウジング方法。
11. 【請求項１１】 映像データ、前記映像データの表示用
    映像アイコン、及び前記映像データの物理的な映像特徴
    量及び感性的な映像特徴量を保存するステップと、 前記映像特徴量に基づいて映像空間座標データを生成す
    るステップと、 前記映像空間座標データを格納するステップと、 前記映像アイコン及び前記映像空間座標データに基づい
    て、映像空間上における前記映像データの位置を表示す
    るステップと、 映像空間上の座標を指示するステップと、 前記映像データを再生するステップとを含み、 指定された入力座標に最も近接する空間座標に位置する
    前記映像データを再生することを特徴とするコンピュー
    タに実行させるプログラムを記録したコンピュータ読み
    取り可能な記録媒体。