JP2007049739A - メディアシーンの属性情報を格納する情報格納装置、情報表示装置、および情報格納方法 - Google Patents

Abstract

【課題】映像データや音声データなどのメディアデータに対し、その一部分のシーンに付随させた情報を登録し管理したいという要求があるが、従来はシーン情報を後から登録したり削除することができず、シーン情報の関連性も把握し難い。本発明は、メディアデータに対してシーンの情報を登録するにあたり、シーン情報間の関連性をより簡単に把握可能にすること、及び、より容易にシーン情報を編集可能にすることを目的とする。
【解決手段】複数のメディアシーン情報間の時間関係や関連付けや属性情報について条件を設定し、条件ごとに情報を識別表示しながら情報を加工する。例えば、画面上でシーン情報を選択したとき、そのシーン情報に関連するシーン情報例えば属性情報などを他のシーン情報と識別可能なように表示する。また、指定した条件を満足するシーン情報を抽出したとき、他のシーン情報と識別可能なように表示する。
【選択図】図５

Description

本発明は、メディアシーン情報表示編集装置、方法、および該方法に係るプログラムを記憶した記憶媒体に関する。

近年、大容量ハードディスクの低価格化、ＰＣの処理性能の向上、様々な映像・音声圧縮技術の登場、およびビデオオンデマンドの浸透などにより、映像データや音声データなどのメディアデータをコンピュータ上で容易に管理・検索・視聴できるようになってきた。また、このようなメディアデータを、コンピュータの特色を生かして効率よく管理・検索・視聴したいというニーズが増えてきている。従来のメディアデータの管理方法は、メディアデータファイルや映像・音声テープに簡単なキーワードやタイトル、作者名などをつけて検索するといった、データボリューム単位の情報管理が基本であった。しかし、ユーザが望むメディアデータの情報は、単純に映画の監督やテープタイトルなどのボリューム情報だけではなく、そのボリュームの中のいつどこで誰が写っているかあるいは話しているかなどの細かい単位の情報である場合も多い。近年、このような理由から、メディアデータ全体に情報を登録するだけでなく、メディアデータ中のシーンと呼ばれる内部単位にまでも情報を登録し管理できるシステムが望まれている。

なお、本願において、「メディアデータ」とは、映像データや音声データだけでなく、静止画像に時間情報がついたスライドショーデータや、テキストデータに時間情報がついたクローズド・キャプション（字幕）データなど、時間情報を持ったデータ全体を指すものとする。メディアデータの一部分区間を切り出したものを「シーン」と呼び、またメディアデータの一部分に付随させた情報を「メディアシーン情報」、または単に「シーン情報」と呼ぶ。また「属性」とは時間情報を持たない付加的な情報の一般名称として用いる。なお、後述する発明の実施の形態においては、「部分空間」を主にビデオ形式のメディアデータのシーンを現す用語として用いるものとする。

これまで、メディアデータ中のシーンの単位までデータを扱えるシステムとしては、映像の場合、映像編集ソフトや、映像内容を自動的に解析してシーン情報を登録する自動インデキシングシステムなどが存在している。

従来の代表的な映像編集ソフトとしては、複数のメディアデータを繋ぎあわせて新しい１本のメディアデータを作成するソフトが知られている。このようなソフトでは、画面上に映画のフィルムに似せたメディアデータ表現を複数本表示し、このフィルム状メディアデータをユーザがマウスなどを用いて直接画面上で操作することにより、映像の再生時点や２本のフィルム状メディアデータ間の特殊効果付けなどを指示することができる（特開平07-046462号など）。

自動インデキシングシステムの代表的なものとして、たとえばシーン情報を登録したいメディアデータを指定すると、自動的に映像内容を解析し、その解析結果とそれに付随する時間情報を表形式で表示するものがある。

上記の従来技術では、与えられたメディアデータに対してメディアデータ内のシーンの情報を登録・管理するにあたり、次のような課題が残されている。

上記の映像編集ソフトでは、複数のシーン間の時間的配置を容易に把握できるが、複数のメディアデータを組み合わせて１本のメディアデータを作成するソフトであるため、ユーザが既に所有しているメディアデータに対して後からシーン情報だけを登録したり削除したりすることができない。

上記の自動インデキシングシステムでは、メディアデータからシーン情報だけを自動的に抽出し登録できるが、自動抽出が難しい登場人物名や人物の年齢など、ユーザ独自のシーン情報を自由に追加したり削除したりできない。また、これらのデータは主に表形式で表現されているため、複数のシーン情報間の相互関係を把握しにくいという課題がある。たとえば、表形式のシーン情報の表現の場合、複数の人物が同時に現れるシーンなどといった、シーン情報間の時間的な相関関係や、ドラマの中にオープニング、本編、ＣＭ、およびエンディングというシーンが含まれているなどといったシーンの包含関係を簡潔に表示できないため、シーン情報を把握しにくい。

本発明の目的は、メディアデータに対して該メディアデータ中のシーンの情報を登録するにあたり、シーン情報間の関連性をより簡単に把握可能にすること、および、より容易にシーン情報を編集可能にすることにある。

上記目的を達成するため、本発明は以下の構成を採る。まず、メディアシーン情報のデータ構造としては、たとえば、時間情報を有したデータ（メディアデータ）の部分単位であるシーンの集合と、ユーザが登録する属性情報の集合と、これらシーンと属性情報との間の関連付けであるリンク情報の集合をメディアシーン情報として定義する。

本発明に係る装置には、まずメディアデータ自身を格納するメディアデータ格納手段と、メディアシーン情報を格納するメディアシーン情報格納手段を用意する。これらの格納手段に情報を格納するには、本発明の実施の形態で述べるシステムを用いてユーザが手作業で情報を登録する方法以外にも、ビデオサーバやファイルシステムに格納されたメディアデータファイルおよびメディアシーン情報ファイルを読み込んでも良いし、さらには、膨大なメディアシーン情報データベースからある検索条件によって抽出されたメディアシーン情報を格納しても良い。

次に、これらメディアシーン情報を表示するためのディスプレイ手段を有する。次に、表示されたメディアシーン情報から任意のメディアシーン情報を選択する選択手段を設ける。あるいはメディアシーン情報を抽出する条件を指定する抽出条件指定手段を設ける。抽出条件指定手段の実現方法としては、装置の起動時に固定の抽出条件を定めても良いし、実行時にユーザからの指示により抽出条件を動的に定めても良い。このメディアシーン情報抽出手段によって、ユーザは必要な時期に必要な分だけのデータ抽出条件を指定することができるようになり、より効率的なメディアシーン情報の内容確認や編集作業を行うことができる。

さらに、選択されたメディアシーン情報に関連付けされているメディアシーン情報を抽出し、あるいは指定された条件にしたがってメディアシーン情報を抽出するメディアシーン情報抽出手段を用意する。本手段を用いることにより、メディアシーン情報間の複雑な関連性をわかりやすく表現したり、膨大なメディアシーン情報からユーザが実際に編集したい情報だけを画面上に表示することにより、従来難しかったメディアシーン情報の編集作業を容易にすることができる。

本発明では、さらに、該メディアシーン情報抽出手段により抽出されたメディアシーン情報をディスプレイ手段上に表示するため、メディアシーン情報表示制御手段を設ける。これにより、抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別（区別）可能なように表示する。具体的には、後述する発明の実施の形態のように、選択状態に応じて色を変えて表示したり、ユーザが指定した様々な検索条件ごとに別々の色で表示することにより、ユーザが画面を見た際に一目でメディアシーン情報の種別を確認できるようにする。さらに抽出表示されたメディアシーン情報を加工できるメディアシーン情報加工手段を設ける。

本発明では、メディアシーン情報間の関連性をより分かりやすく表現するため、以下の３つのメディアシーン情報の表現形式を提供することもできる。

１つ目は、メディアシーン情報の時間的な相関関係を表現するためのタイムライン表現形式である。この表現形式では、メディアシーン情報を、ディスプレイ手段上に定められた時間軸方向に沿って、そのメディアシーン情報が有する時間情報に従った画面位置に表示する。

２つ目は、複数のメディアシーン情報の構成要素を視覚的に一覧表示するアイコン表示形式である。この表現形式では、１つ１つのメディアシーン情報を視覚的に分かりやすいアイコン形式で画面内に配置することにより、メディアシーン情報の構成要素を一目で把握することができる。

３つ目は、複数のメディアシーン情報の詳細な内容を表示することが可能なテーブル表現である。この表現形式を用いると、先の２つの表示形式では表示しきれなかった属性名や属性値などの情報を表示できる。また本表示形式を用いれば、属性名や属性値を直接選択できるので、これらの値を簡単に修正することができる。

その他の本発明の特徴的なメディアシーン情報表示・編集方法および装置などは、明細書中の記載から自ずと明らかになるであろう。

本発明を用いることにより、与えられたメディアデータに対してメディアデータ中のシーンの情報を登録・管理する作業を次のように効率よく行うことができる。まず、既にユーザが所持しているメディアデータに対してユーザが後から属性情報を容易に登録でき、従来の映像編集ソフトなどのように、メディアデータ自身を変更することなく、簡単にユーザ固有情報を登録できる。メディアシーン情報間の複雑な時間情報、関連づけ情報、および属性情報を画面上で視覚的に表現できるため、メディアシーン情報の内容把握およびメディアシーン情報の加工が大幅に容易になる。具体的には、メディアシーン情報の時間的な前後関係をたとえば実施の形態で説明したようなタイムライン表示形式により明確に表示できる。また、従来は画面に表示されていなかったメディアシーン情報間の関連付け情報や、属性情報の存在位置を、色などを用いて一目で識別可能な表示を行うことができる。その他、表形式やアイコン形式を用いることにより、ユーザが確認したい情報量に応じて、メディアシーンの表示密度を変更できる。さらに本発明では、これらの視覚的に分かりやすい表現形式上でメディアシーン情報を直接操作によって検索・選択・編集できるため、従来より簡単な編集を行うことができる。

以下、本発明の実施の形態を図１から図１５までを用いて説明する。まず図１を用いて本実施形態で用いるコンピュータ装置を説明する。次に図２、図３、および図４を用いて本実施形態におけるデータ構造を説明する。図５および図１１は本実施形態におけるメディアシーン情報表示編集装置の実行画面である。最後に図６〜図１５の構造化フローチャートなどを用いて本実施形態の処理方式を説明する。

なお、本実施形態では説明を簡単にするため、映像データにユーザの作成した属性情報を付加する映像シーン情報表示方法について述べるが、本システムは、映像データだけでなく、音声データやスライドショーデータなど時間情報を有した他形式のメディアデータにも容易に適用できる。

まず図１を用いて、本発明の一実施形態で用いるコンピュータ装置を説明する。１０１はコンピュータ装置の本体であり、内部にＣＰＵ装置１１０とメモリ装置１１１を有する。また本コンピュータ装置本体１０１には、外部入出力手段として、キーボードやマウスなどのユーザからの入力を受け取る入力装置１１５と、ＣＰＵ装置１１０で処理した内容をユーザに表示するためのディスプレイ装置１１３が用意されている。また本コンピュータ装置では、必要に応じて補助記憶装置１１４から、本実施形態の装置で用いるメディアシーン情報を読み込んだり格納したりすることができる。

本実施形態では、メモリ装置１１１または補助記憶装置１１４を用いて、メディアデータとメディアシーン情報群を格納している。また、ＣＰＵ装置１１０とメモリ装置１１１により、メディアシーン情報群を抽出してディスプレイ装置１１３上に表示するメディアシーン情報抽出手段とメディアシーン情報表示制御手段、メディアシーン情報を加工するメディアシーン情報加工手段、およびユーザ入力に従った表示の変更を行うユーザ指示解析手段を実現している。

図２は、本実施形態で用いるメディアシーン情報のデータ構造の概念図である。本実施形態でのメディアシーン情報は、大きく分けて３つの部分から構成されている。１つ目は、時間情報を有したメディアデータである映像データ２０１の部分単位であるシーン、すなわち映像２０１中の部分であるシーンの時間存在位置を示す２１１，２１２，２１３などのデータである。これは、ユーザが属性情報を登録したい部分映像データ（シーン）を直接定義する情報である。２つ目は、ユーザが映像データ中のシーンに対して実際に登録したい属性情報２２１，２２２，２２３である。３つ目は、これら映像データの時間情報２１１，２１２，２１３とユーザが作成した属性情報２２１，２２２，２２３とを関連付けるためのリンク情報２３１〜２３４である。このように２つの情報の間をリンクで結ぶというデータ構造を用いることにより、すでにある映像データに対して、ユーザが後から簡単に属性情報を加えることが可能となる。

なお、本実施形態では、２１１，２１２，２１３のような映像データ（または一般的にメディアデータ）に直接関わるデータを「部分空間」（シーン）と呼ぶ。これは、本発明の方式で属性を付加できる映像データの部分は、図２のような時間的な区切りで区切った部分だけでなく、映像データの画面中の一部分に写っている人物の座標位置や３次元ＣＧ映像中の一部分である一つの球体の領域など、ＸＹ座標空間（３次元の場合はＸＹＺ座標空間）における部分領域も指定可能なためである。本実施の形態では、映像データの時間的な部分を例に説明するので、映像データの時間的な区間を「部分空間」と呼ぶ。

図２内の符号について簡単に説明する。映像データ２０１は、人のシーン、車のシーン、および家と人のシーンの３つのシーンから構成されている。従来は、これらのシーンの内容を確認するには、映像データ２０１を再生するしか手段がなかった。また従来は、これらシーンに登場する人物の名前や年齢などのシーン情報を確認する手段はなかった。

本実施形態のシステムでは、このような映像データ２０１に、たとえばシーン情報として、人物Ａの情報２２１を後から登録できる。人物Ａの情報２２１（本実施形態では「属性情報」と呼ぶ）には、現在、人物の名前が「Ａ」であり、人物の年齢が２６歳であることが記録されている。またこの人物は、映像データ２０１のうち、０：００から０：０１までの「部分空間１」（またはシーン１）２１１と、０：０５から０：０６までの「部分空間３」（またはシーン３）に登場している。このため、本実施形態のシステムでは、属性情報「Ａさん」２２１と「部分空間１」２１１との間、および属性情報「Ａさん」２２１と「部分空間３」２１３との間に、リンク情報「登場」２３１，２３２を付加している。

なお、属性情報としては、先の「Ａさん」などの文字列以外にも、属性情報２２２のように「c:/car.doc」などと外部ファイルのリンク情報を埋め込んでもよいし、その他にも車や背景の色情報を光の３元色値（ＲＧＢ値）で表現した情報や、あるアプリケーションだけが解釈できる特殊なバイト列データなどを埋め込んでも良い。

図３は、図２の概念的なデータ構造を、図１のコンピュータ装置１０１で実際に扱えるように変換したデータ構造の一例である。本実施形態では、１つの部分空間に関する情報や、１つの属性情報などを、Ｃ＋＋プログラミング言語などで用いるオブジェクトデータとして扱う。Ｃ＋＋のオブジェクトデータでは、複数の変数をまとめて管理できる。たとえば部分空間２１１の情報は、オブジェクトデータ３１１として表現される。部分空間の開始時間「０：００」はオブジェクト内の変数ｂｅｇｉｎに、終了時間「０：０１」は同じく変数ｅｎｄに、部分空間のもととなる映像データ２０１の情報は同じく変数ｆｉｌｅ「sample.mpg」に、展開される。同様に、部分空間２１２，２１３も部分空間のオブジェクト３１２，３１３として表現される。

属性情報２２１は、オブジェクトデータ３３１に変換される。ただし属性情報２２１は複数の（属性名，属性値）の組を有するため、本実施形態では属性集合オブジェクトの中に「ｍｅｔａ(属性名，属性値)」という別オブジェクトを複数持つ構造をとっている。同様にして、属性情報２２２，２２３は、属性情報オブジェクト３３２，３３３に変換される。

図２のリンク情報は、本実施形態では簡単のため、１本のリンクに対し、１つのリンクオブジェクトを用意している。リンクオブジェクトには、リンクの種別ｔｙｐｅ、リンク元オブジェクトの参照情報ｓｒｃ、リンク先オブジェクトの参照情報ｄｓｔを登録できる。たとえば図２のリンク２３１は、リンクオブジェクト３２１に変換されている。リンク２３１の名称「登場」は、リンクオブジェクト３２１内の変数ｔｙｐｅに格納される。リンクオブジェクト３２１の変数ｓｒｃには、リンク２３１のリンク元である属性情報２２１を図３のオブジェクトに変換した属性情報オブジェクト３３１が登録される。本図では、リンク先を分かりやすく図示するために、ｓｒｃの値を属性情報３３１の変数ｉｄである「Ａさん」としているが、実際は属性情報オブジェクト３３１のメモリ上のアドレス値など、コンピュータ処理に向いた値を登録する。リンクオブジェクト３２１の変数ｄｓｔも同様に、リンク２３１の先に示されている「部分空間１」に対応する部分空間オブジェクト３１１を示すことになる。以下同様にして、図２のリンク２３２，２３３，２３４は、リンクオブジェクト３２２，３２３，３２４に変換される。

最後に、本実施形態のシステムでは、それぞれ複数個ある部分空間オブジェクト３１１〜３１３、リンクオブジェクト３２１〜３２４、および属性オブジェクト３３１〜３３３を、部分空間の集合データ３０１、リンクの集合データ３０２、および属性の集合データ３０３に格納している。これら集合データを実現するには、C++ Standard Template Libraryなどに含まれているSet型を用いれば良い。これらのライブラリを用いれば、集合データから要素を一つずつ取り出す処理や、和や差などの集合演算の処理を簡単に実現できる。

なお、図２の概念図で示したリンクの実現方法については、本実施形態のリンクオブジェクトを作成する方法以外も適用できる。たとえば、属性情報オブジェクトに、部分空間オブジェクトを参照するポインタを配列として持たせる方法を用いても良い。同様に部分空間オブジェクトにも属性情報をポイントする逆参照を持たせても良い。

図４は、図３に示したデータ構造の仕様をより詳しく説明した図であり、オブジェクトのクラスの関連を表す図である。ここでのクラスとはＣ＋＋のクラスなどオブジェクト指向プログラミングで用いる用語と同一である。また本図で示したクラスの表記方法は、ＵＭＬ（Uniformed Modeling Laguage）図式に基づいている。

図４において、図３の部分空間オブジェクトのクラスは、本実施形態ではクラス「Ｆｒａｇ」４０４になる。また属性情報オブジェクトのクラスは、クラス「Ａｔｔｒ」４０５になる。リンクオブジェクトのクラスは、クラス「Ｌｉｎｋ」４０３になる。なお、本実施形態では簡単のため、これらＦｒａｇとＡｔｔｒのクラスオブジェクトを統一的に扱えるスーパークラス「Ｏｂｊｅｃｔ」４０２を用意する。Ｏｂｊｅｃｔを設けることにより、図３の部分空間の集合３０１と属性の集合３０３とを１つの集合として簡単に扱うことができる。Ｏｂｊｅｃｔクラス４０２には、オブジェクトのクラスがＡｔｔｒかＦｒａｇを区別するためのメンバ変数ｃｌａｓｓと、オブジェクトに名前をつけるためのメンバ変数ｉｄがある。

また、本実施形態では、オブジェクトの選択状態に応じてオブジェクトごとに色をつけて表示できるようにするため、ｓｅｌｅｃｔＣｏｌｏｒ変数も設けている。なおｓｅｌｅｃｔＣｏｌｏｒを設ける方法以外に、選択状態変数ｓｅｌｅｃｔなどを設けて、オブジェクト表示時に選択状態に従って色を選ぶ方法を採っても良い。本実施形態では、さらに、ｓｅｌｅｃｔＣｏｌｏｒ変数をリスト型として実現することにより、１つのオブジェクトに複数の色を同時に登録できるようにしている。これにより、マウス選択状態の色だけでなく、選択されたオブジェクトに関連づけられている部分空間や属性情報などを別色で画面上に表示したり、ユーザが指定した様々な検索条件ごとに別々の色を登録することもでき、ユーザが画面を見た際に一目でオブジェクトの種別を確認できるようになっている。

Ｆｒａｇクラス４０４のメンバ変数には、図３で説明したｂｅｇｉｎ，ｅｎｄ，ｆｉｌｅがある。クラス「Ｍｅｔａ」４０６は、複数の（属性名，属性値）の情報をＡｔｔｒクラス４０５に持たせるためにある。Ｍｅｔａクラス４０６には、属性名を表すメンバ変数ｎａｍｅと属性値を表すメンバ変数ｃｏｎｔｅｎｔｓがある。Ａｔｔｒクラス４０５では、このＭｅｔａクラスオブジェクトを複数持つために、集合型のメンバ変数ｍｌｉｓｔを持っている。

Ｌｉｎｋクラス４０３のメンバ変数には、図３で説明したｔｙｐｅ，ｓｒｃ，ｄｓｔがある。ｓｒｃとｄｓｔは、共にＯｂｊｅｃｔクラスオブジェクトを参照できる。

最後にクラス「本システム」４０１について説明する。クラス「本システム」４０１には、表示・編集する対象となるシーン情報として、部分空間と属性情報の集合であるメンバ変数Ｓと、リンクの集合であるメンバ変数Ｌとを有している。

図５は、本実施形態のシステムの実行画面の一例である。メインウィンドウ５０１の中には、シーン情報を分かりやすく表示するための３つの（サブ）ウィンドウが表示されている。１つ目はタイムライン表示ウィンドウ５０２、２つ目はアイコン表示ウィンドウ５０４、３つ目はテーブル表示ウィンドウ５０３である。なお、これら以外にもシーン情報を画面上に表現できる手段があれば、これら３種類のウィンドウは表示しなくとも良い。また逆に、これらウィンドウはそれぞれ１枚だけでなくとも、それぞれ複数枚設けても良い。複数枚ウィンドウを設ければ、一つのシーン情報をより多面的に把握することが可能となる。

メインウィンドウ５０１には、メインメニュー５０６が設けられており、これによりシーン情報のファイルの読み書きや、編集操作、検索操作などを指示することができる。

以降では、タイムライン表示ウィンドウ５０２、アイコン表示ウィンドウ５０４、およびテーブル表示ウィンドウ５０３の順に内容を説明する。その後、ユーザの操作方法について説明する。

タイムライン表示ウィンドウ５０２では、画面上の横向きの時間軸に沿ってシーン情報を表示することにより、シーン情報間の時間的な関係を一見にして把握できる。本実施形態では、タイムライン表示ウィンドウ５０２に、属性付けの対象となる映像データ５１１、該映像に付随する音声データ５１２、およびユーザが付加した属性情報や部分空間などの情報を情報の種別ごとに表示したユーザデータ５１３，５１４，５１５が表示されている。なお、タイムライン表示ウィンドウ５０２では、ユーザデータが１本だけ時間軸上に表示されていれば良く（たとえば５１３だけ）、他のデータ５１１，５１２，５１４，５１５などは表示されていなくとも良い。また、時間軸の向きは画面内で設定されていれば、横向きだけでなく、縦向きでも、３次元表示中の奥行き方向でも構わない。図５では、時間として０：００から０：０６まで時間区間のシーン情報を表示している。映像データ５１１では、該時間区間中のフレーム画像を表示している。音声データ５１２では、該時間区間中の音声波形グラフを表示している。

ユーザデータのうち「部分空間一覧」５１３では、本システムが格納しているシーン情報のうち、複数の部分空間オブジェクトを時間軸上に表現している。たとえば、図３「部分空間１」３１１は、時間０：００から０：０１までの情報を表すデータであるが、この情報は図５では画面上の０：００から０：０１までに表示されている部分空間バー５２１として表現される。同様に、図３の「部分空間２」３１２，「部分空間３」３１３は、部分空間バー５２２，５２３として表現される。このように部分空間オブジェクトは、メンバ変数ｂｅｇｉｎ，ｅｎｄの値に応じた画面上の座標位置に表示される。この時間座標変換は、タイムライン表示ウィンドウ５０２の位置と幅、および同ウィンドウ内の表示開始時間と終了時間から、単純な比例関係により計算できる。

なお、ユーザデータを「部分空間一覧」５１３、「字幕一覧」５１４、および「ズーム一覧」５１５のように分類して表示するためには、「部分空間一覧」用と「字幕一覧」用と「ズーム一覧」用の３つのシーン情報データを用意し、それぞれに対応するタイムライン表示ウィンドウを別途作成すれば良い。シーン情報データを別々に用意する簡単な方法としては、３つのシーン情報ファイルを開いたり、１つのシーン情報ファイル中に３つのパートを設けたりする方法がある。その他の方法としては、１つのシーン情報データから、「字幕一覧」に関する情報だけを検索し抽出することとしても良い。これは言い換えると、シーン情報データを図３に示したような集合として考えた場合、「部分空間一覧」用部分集合、「字幕一覧」用部分集合、「ズーム一覧」用部分集合を、抽出・表示することに相当する。

なお、これら複数の部分集合は、互いに背反でなくとも良く、共通部分を持っても良い。たとえば、図３の集合に対し、「Ａさん一覧」部分集合と「家一覧」部分集合を定義した場合、「部分空間３」３１３はどちらの部分空間にも属する。タイムライン表示ウィンドウにて「Ａさん一覧」部分集合と、「家一覧」部分集合とを別々に表示すると、「部分空間３」の部分空間バーは、どちらの表示にも現れることになる。

アイコン表示ウィンドウ５０４は、シーン情報に含まれる部分空間オブジェクト、または属性オブジェクトを、アイコン形式で視覚的に列挙表示するウィンドウである。本ウィンドウを用いることにより、シーン情報に含まれる複数のオブジェクトを視覚的に一覧表示でき、ユーザは一見にしてシーン情報の内容を把握できる。タイムライン表示では全体のうちある時間区間の間のデータしか表示できないが、アイコン表示ウィンドウであれば、ある条件に従ったシーン情報を時間を無視して列挙でき、より少ない画面スペースで多くのシーン情報を閲覧できる。

本実施形態では、アイコン表示ウィンドウに、図３の例で示した３つの部分空間、すなわち「部分空間１」３１１、「部分空間２」３１２、および「部分空間３」３１３の情報を、アイコン５４１，５４２，５４３として表示している。本実施形態の場合、アイコンは、オブジェクトの中身を視覚的に表現する画像データと、それに付随する文字列から構成されている。本実施形態では、部分空間オブジェクトのアイコンの場合、この画像データとして、メンバ変数ｂｅｇｉｎの時間位置での、映像データのフレーム画像を用いている。これにより、部分空間の内容を視覚的に把握できる。属性オブジェクトを表すアイコンの場合や、音声データに対する部分空間を表すアイコンの場合は、映像データから簡単に画像を取得できないので、ある決まった図柄データを用いればよい。

なお、アイコン画像は、１枚の静止画でなくとも良い。たとえばアイコンに動画を用いる場合、部分空間のｂｅｇｉｎからｅｎｄまでの映像を常時再生すれば良い。その他、部分空間のｂｅｇｉｎからｅｎｄまでの任意の４枚程度の画像を並べたり切り換えたりして１つのアイコン画像としても良い。

テーブル表示ウィンドウ５０３は、シーン情報に含まれる部分空間オブジェクト、属性オブジェクト、およびリンクオブジェクトの内容（内容＝メンバ変数の値）を表形式で表示するウィンドウである。本ウィンドウにより、タイムライン表示やアイコン表示では表示しきれなかった詳細な属性情報をより多く表示することができる。ここでは処理方法の詳細を説明しないが、本ウィンドウを用いて、ユーザは、内容の確認だけでなく属性値の追加、削除、および変更などを行うこともできる。

図５は、「部分空間３」５２３をマウス５０５で選択したときの画面であり、「部分空間３」に関連する情報がテーブル表示ウィンドウ５０３にすべて表示されている。たとえば５３１は、「Ａさん」の属性として、「名前がＡ」で「年齢が２６」であることを表している。５３２は「家」の属性情報を表している。

なお、本ウィンドウ５０３に属性情報ではなく部分空間オブジェクトの情報を表示する場合は、部分空間の名前と、メンバ変数ｂｅｇｉｎ，ｅｎｄ，ｓｒｃなどの値を表示すれば良い。本ウィンドウ５０３にリンク情報を表示する場合は、メンバ変数ｔｙｐｅ，ｓｒｃ，ｄｓｔの値などを表示すれば良い。なお、部分空間オブジェクトやリンクオブジェクトの詳細を表示すると、表が大きくなり分かり難くなるので、属性情報だけを表に表示するようなオプションを用意しても良い。

また、表を見やすくするために、表の横にツリー構造の表示を追加しても良い。たとえば、現在５３１では、「ａｔｔｒ，Ａさん」の行の下にそのまま「名前」と「年齢」を表示しているが、ツリー構造の表示であれば、「ａｔｔｒ，Ａさん」を親ノードとし、「名前」と「年齢」をその子ノードとすれば、より分かりやすい表示となる。同様にリンクオブジェクトを親ノードとし、リンク先データを子ノードとして表示すれば、ツリー構造表示の操作だけで、リンク先の詳細な内容を確認できるようになる。

図５の最後の説明として、ユーザの操作方法について簡単に説明する。以降ではまずクリック時の選択操作を述べ、次に編集操作方法について述べる。

ユーザは、視覚的に表現されたシーン情報をマウス５０５を用いて操作することができる。たとえばユーザが「部分空間３」に対応するタイムライン表示（部分空間バー）５２３をクリックすると、部分空間バー５２３が選択表示される。この際、本実施形態では、アイコン表示ウィンドウ５０４に表示されている同一データ５４３も選択表示される。またこの際、本実施形態では、選択されたオブジェクト自身とそれに関連する属性情報オブジェクトが、テーブル表示ウィンドウ５０３に表示されるようになっている。

また、本実施形態では、オブジェクトがクリックされて選択状態になると、そのオブジェクトに関連する（すなわち、リンクが張られた）オブジェクトが、関連選択表示という、選択表示とは違う色で表現される。たとえば、「部分空間３」５２３と「字幕３」５５１および「ズーム２」５５２とに「包含」関係のリンクが張られていたとすると、「字幕３」５５１および「ズーム２」５５２は、選択中の「部分空間３」５２３とは別色で表示される。

また、本実施形態では、ある条件に従ったシーン情報だけを別の色で表現することもできる。たとえば、Ａさんが現れるシーンを青色に、またあるＣＭ映像だけを緑色に、またエンディングシーンを非表示に（透明に）、またあるシーンに登場する(と関連付けられている)人物をすべて赤色に、それぞれ表示することもできる。この具体的な操作方法や実現方法は、後の構造化フローチャートにて説明する。

以上のように本実施形態では、シーン情報中の複雑な関連情報を色分けして表示することにより、シーン情報をより簡単に把握することができる。

次に、本実施形態のシステムにおける編集操作方法について簡単に説明する。タイムライン表示ウィンドウ５０２では、ユーザはウィンドウ内の一時間点を指定して部分空間を追加・削除できる。また部分空間バーの時間位置をマウスのドラッグにより変更できる。また複数の部分空間を選択してリンクを設定することができる。アイコン表示ウィンドウ５０４では、部分空間や属性情報を追加・削除できる。テーブル表示ウィンドウ５０３では、属性値を変更することができる。部分空間、属性情報、あるいはリンク情報を追加・削除した場合は、図３で示した集合３０１，３０２，３０３に対して要素の追加・削除を行えば良い。オブジェクトの値を変更する場合は、ユーザが選択した座標位置から対応オブジェクト集合を探し出して、オブジェクトの値を変更すれば良い。より具体的な編集操作の実現方法については、図１５の構造化フローチャートなどを用いて説明する。

次に、図６、図７、図８、図９、および図１０の構造化フローチャートを用いて本実施形態における画面表示の処理方式を説明する。図６は、本実施形態のシステムのメイン処理である。図７は、タイムライン表示処理である。図８は、アイコン表示処理である。図９は、テーブル表示処理とそれに関わるサブルーチンである。図１０は、ユーザマウスクリック時の選択処理とそれに関わるサブルーチンである。

まず図６の本実施形態のシステムのメイン処理６００を説明する。

システムが起動されると、まずステップ６０１で、本システムが持つメンバ変数であるＯｂｊｅｃｔの集合Ｓ０（＝部分空間の集合∪属性の集合）とＬｉｎｋの集合Ｌ０を初期化する。この初期化の方法としては、次のようにする。新規作成の場合、Ｓ０＝Ｌ０＝φとして初期化すれば良い。ファイルから読み込む場合は、ユーザが指定したシーン情報のファイルを読み込み、Ｓ０とＬ０に代入すれば良い。その他の方法としては、ＤＢの映像検索結果をシーン情報としてＳ０とＬ０に代入したり、(株)日立製作所製の映像解析ライブラリMediachef Componentを用いて解析した映像データのシーン情報をＳ０とＬ０に追加したりしても良い。なお、このＳ０とＬ０を合わせたものが本実施形態でのメディアシーン情報全体であり、Ｓ０とＬ０を格納するメモリ領域がメディアシーン情報格納手段となっている。

次にステップ６０２にて、画面の表示処理やマウスの選択処理などで用いるマウス選択オブジェクト集合ＳＳ、および関連オブジェクト集合ＳＲと、検索処理で用いる登録条件リストＣＬを空集合φで初期化する。

次にステップ７００にて、タイムライン表示ウィンドウ５０２を作成して、タイムライン表示処理DrawTimeLine(S0, L0)を呼び出すことにより、タイムライン表示ウィンドウ５０２を初期描画する。ステップ８００にて、アイコン表示ウィンドウ５０４を作成して、アイコン表示処理DrawIcon(S0, L0)を呼び出すことにより、アイコン表示ウィンドウ５０４を初期描画する。ステップ９００にて、テーブル表示ウィンドウ５０３を作成して、テーブル表示処理DrawTable(SS, L0)を呼び出すことにより、テーブル表示ウィンドウ５０３を初期描画する。本実施形態では、DrawTableのパラメタとして現在選択されているシーン情報の集合ＳＳを渡している。これにより、テーブル表示ウィンドウ５０３では、現在選択中のシーン情報だけについて詳細な内容を表示することができる。

なお、図５の説明でも述べたように、これら３種類のウィンドウは複数作成しても良いし、別の表示手段を用いる場合は表示しなくとも良い。

次にループ処理６０３にて、ユーザ終了指示があるまで、ステップ６２１以降のユーザ操作解析処理を繰り返す。ユーザ操作解析処理では、ステップ６２１で、入力装置１１５からのユーザ指示を待ち、次にステップ６２２にて、ユーザ指示に従ったユーザ操作処理を行う。ユーザがマウスなどをクリックした場合は、ステップ１０００にて選択処理を呼び出す。ユーザが部分空間や属性情報やリンク情報などのオブジェクトの追加・削除・変更指示をした場合は、ステップ１５００にて、その編集指示に従った編集処理を行う。ユーザが検索メニューを選択した場合は、ステップ６３２にて検索処理を行う。なお、検索処理６３２のフローチャートについては、検索メニューのうち、条件の登録メニューと、既に登録された条件のメニューのみについて後述する。

次に図７を用いて、タイムライン表示処理DrawTimeLine(S,L)（ステップ７００）を説明する。DrawTimeLine()の入力パラメタとして、表示対象となるＯｂｊｅｃｔの集合Ｓ（＝部分空間の集合∪属性の集合）とＬｉｎｋの集合Ｌが渡される。

まずステップ７０１では、部分空間と属性情報からなるオブジェクトの集合Ｓから、部分空間だけからなる集合を抽出するために、集合Ｓの全要素を調べ、集合Ｓの要素ｅのメンバ変数classの値が"frag"である要素だけを取り出し、それを集合Ｆに追加する処理を行う。なお、処理の効率化のため、あらかじめ集合Ｓを部分空間の集合Ｆと属性の集合とに分割しておいても良い。次に部分空間の集合Ｆの全ての要素ｅに対して、タイムライン表示の部分空間バーを表示するため、ループ処理７０２を行う。

ループ処理７０２の中では、まずステップ７１１にて、e.beginの時間値とe.endの時間値を、画面上の時間軸の座標位置ｂｘ，ｅｘに変換する。ある時間ｔを画面上の座標ｘに変換するには、
座標ｘ＝時間to座標変換（ｔ）
＝（ｔ−画面上の時間軸の開始時間）÷
（画面上の時間軸の終了時間−開始時間）×
画面上の時間軸の幅＋画面上の時間軸開始座標
とすれば良い。

次にステップ７１２にて、部分空間バーの外枠を描画するために、左上座標（ｂｘ，０）、右下座標（ｅｘ，１０）の四角形を描画する。次に部分空間バーの中に部分空間の名称e.idを表示する。場所は（ｂｘ，０）とする。次にステップ７１３にて、部分空間バーの先頭位置に小さなアイコン画像を表示する。これにより、部分空間バーだけを見てもどのような内容の映像データかを瞬時に確認できるようになる。画像は、e.fileに指定された映像ファイルを開き、その中の時間位置e.beginにあるフレーム画像を表示する。画像の表示位置は座標（ｂｘ，３０）とし、先の文字列より若干下に表示する。

最後にステップ７１４にて、ステップ７１２で表示した四角形を、オブジェクトの表示色情報である、e.selectColorを用いて表示する。たとえば、e.selectColorの色を、図５の選択状態の部分空間５２３のように四角形の塗りつぶし色として表示しても良いし、同図の関連選択中の部分空間５５１のように、四角形の枠の色として表示しても良い。なお、selectColorには複数の色が同時に登録されている場合があるが、この場合は、部分空間を複数の別々の色枠で囲ったり、部分空間の上部に小さな旗のようなカラーのアイコンを色の数だけ並べるなどの画面上で識別可能な方法を取れば良い。その他にも、selectColorの色リストが空の場合や、ある決められた透明色などが設定されていた場合は、該当する部分空間を表示しない方法でもよい。加えて言えば、オブジェクトの選択状態や検索結果状態を示すselectColorを、現在は色を用いて画面上のオブジェクトと多重表示させているが、色以外にも画面上で識別可能な表現形式を用いて、これらの識別状態を表現しても良い。たとえば、部分空間の塗りつぶし模様を選択状態によって変化させたり、識別番号や識別文字列や識別アイコンなどを用いた小さな旗状のアイコンを識別状態ごとに画面上に表示しても良い。

なお、図７のタイムライン表示処理７００では、部分空間のみをタイムライン表示の対象としたが、属性についても次の方法によりタイムライン表示を適用することができる。そのためにはまず、ある属性ａにリンクされているオブジェクトの集合を後述(ステップ９０２)の関数GetLinkedObj( a, L0 )で取り出した後、この集合を新しいＳとして、ステップ７０１およびループ処理７０２を行えば良い。表示対象が複数の属性からなる集合の場合は、先の一属性の表示処理を全属性分だけ繰り返せば良い。

次に図８を用いて、アイコン表示処理DrawIcon(S,L)（ステップ８００）を説明する。DrawIcon()の入力パラメタには、ステップ７００のDrawTimeLine()と同様のＯｂｊｅｃｔの集合ＳとＬｉｎｋの集合Ｌが渡される。

まずステップ８０１では、ステップ７０１と同様の方法により、集合Ｓから部分空間の集合Ｆを抽出する。次にステップ８０２で、アイコンの表示座標ｘ，ｙを左上座標（０，０）に初期化する。次に部分空間の集合Ｆの全ての要素ｅに対して、アイコンを表示するため、ループ処理８０３を行う。

ループ処理８０３の中では、まずステップ８１１にて、映像データe.fileのe.beginの時間位置のフレーム画像を、座標（ｘ，ｙ）に表示する。次にステップ８１２にて、部分空間の名前e.id、開始時間e.begin、および終了時間e.endを文字列にて表示する。文字列の表示位置は画像の下とするため、座標（ｘ，ｙ＋画像の高さ）とする。次にステップ８１３にて、画像と文字列のある所をオブジェクトの選択状態の色e. selectColorを用いて表示する。

次に、アイコンの表示位置を変更する処理を行う。ステップ８１４では、次のアイコンを右横に表示するため、ｘにアイコンの幅と、アイコン間のスペースの幅（隙間幅）を足す。この際、ｘがアイコン表示ウィンドウ５０４の幅を超えた場合（条件８１５）、ステップ８２１にて、ｘの位置を左に戻し、表示位置を改行すため、ｘ←０とし、ｙにアイコンの高さ（画像と文字列の高さ）と縦方向スペースの高さを足す。もちろん、ｙ座標がアイコン表示ウィンドウ５０４の高さを超えた場合はループ８０３を停止する処理を入れても良い。

本実施形態のアイコン表示処理８００は、部分空間のみを表示対象としていたが、以下の処理を追加することにより、属性情報やリンク情報もアイコン表示することが可能である。たとえばステップ８０３の後に、オブジェクトの集合Ｓから属性情報の集合Ａだけを抜き出す処理（Ａ←Ｓ−Ｆ）を行い、抜き出した全ての属性情報に対して、一属性情報のアイコン表示処理を繰り返せば良い。一属性情報をアイコンとして表す場合、アイコン画像として、属性を表す既定の図形を用い、アイコン文字列として、属性情報が有するｍｅｔａ情報（＝(属性名,属性値)の集合）を用いれば良い。

表示処理の説明の最後として、図９を用いて、テーブル表示処理DrawTable(S,L)（ステップ９００）と、それに関わるサブルーチンを説明する。テーブル表示処理DrawTable()の入力パラメタには、ステップ７００のDrawTimeLine()と同じ、Ｏｂｊｅｃｔの集合ＳとＬｉｎｋの集合Ｌが渡される。

まずステップ９０１では、オブジェクトの集合Ｓに関連付けられているオブジェクトをすべて抽出する関数GetLinkedObjSet()を用いて、現在の選択状態Ｓに関連するオブジェクトを集合Ｒに代入する。次にループ処理９０２にて、関連オブジェクトの集合Ｒのすべての要素ｅに対して、その内容をテーブルの行として出力する処理を繰り返す。

ループ処理９０２では、まず条件ステップ９１１にて、オブジェクトの種別ごとのテーブル出力処理を行う。要素ｅの種別が属性情報の場合（e.class="attr"の場合）、ステップ９２１以降にて属性情報の詳細を出力する処理を行う。まずループ処理９２１で、属性情報ｅが持つ（属性名，属性値）のｍｅｔａ集合を出力するため、ｍｅｔａ集合e.mlistの全ての要素ｍに対して、ステップ９２２の処理を行う。ステップ９２２では、１つのｍｅｔａオブジェクトｍをテーブルに追加するために、表の行オブジェクトを作成し、行の「ID」欄をe.id、行の「名前」欄をm.name、行の「値」欄をm.contentsとし、最後にこの行オブジェクトをテーブルに追加している。なお、図５のテーブル表示ウィンドウ５０３では、「ID」欄を表示していない。

条件ステップ９１１にて、要素ｅの種別が部分空間であった場合、ステップ９２５にて３つの行を追加する。ステップ９２５で表に追加される行は、映像ファイル名（e.id, "file", e.file）と、開始時間(e.id, "begin", e.begin)と、終了時間(e.id, "end", e.end)である。

ステップ９１２では、今回ステップ９２２や９２５で追加したテーブルの行をオブジェクトの選択状態の色e.selectColorを用いて表示する。

次にサブルーチン関数であるステップ９０１のGetLinkedObjSet(S,L)の詳細を説明する。この関数の入力パラメタはオブジェクトの集合Ｓとリンクの集合Ｌであり、この関数のリターン値は、オブジェクトの集合Ｓに関連付けられているオブジェクトをすべて抽出した集合である。この処理では、まずステップ９４１でリターン値となる集合Ｒを空集合φで初期化し、次に集合Ｓの全ての要素ｅに対してループ処理９４２を行うことにより、結果集合Ｒを求めていく。ループ処理９４２では、まずステップ９５１にて、要素ｅに関連付けられているＯｂｊｅｃｔの集合をGetLinkedObj(e,L)により求め、ＳＬに代入する。次のステップ９５２では、求めた集合ＳＬを結果集合Ｒに追加する。最後にステップ９４３にて、全ての要素に対して求めた関連オブジェクトの集合Ｒをリターンする。

図９の最後として、サブルーチンGetLinkedObj(e,L) （ステップ９５１）の詳細を説明する。この関数の入力パラメタは１つのオブジェクトｅとリンクの集合Ｌであり、この関数のリターン値は、１つのオブジェクトｅに関連付けられているオブジェクトをすべて抽出した集合である。この処理では、まずステップ９７１で、リターン値となる集合ＳＬを空集合φで初期化し、次にリンク集合Ｌの全ての要素ｌｉｎｋに対してループ処理９７２を行うことにより、結果集合ＳＬを求めていく。ループ処理９７２では、まずステップ９８１にて、リンクｌｉｎｋの内容を調べる。リンクｌｉｎｋのリンク元が自オブジェクトｅの場合、結果集合ＳＬにリンク先のオブジェクトlink.dstを加える（ステップ９８３）。リンクｌｉｎｋのリンク先が自オブジェクトｅの場合、結果集合ＳＬにリンク元のオブジェクトlink.srcを加える（ステップ９８５）。最後にステップ９７３にて、全てのリンク要素に対して求めた関連オブジェクトの集合ＳＬをリターンする。

図１０は、ユーザのクリック入力に対する選択処理（ステップ１０００）の詳細である。この処理の入力は、ユーザがクリックした座標位置(x,y)である。

まずステップ１００１にて、ユーザがクリックした位置の現在の表示形式を調べる。

表示形式がタイムライン表示の場合、ステップ１０１１以降にて、選択された部分空間を特定する処理を行う。まずステップ１０１１にて、クリック位置ｘの座標値を画面時間軸上の時間値に変更し、選択時間ｔに代入する。この計算は、ステップ７１１で説明した関数である時間to座標変換(t)の逆関数を用いれば良い。次にステップ１０１２にて、選択時間ｔを含む部分空間オブジェクトをオブジェクトの集合Ｓ０から抽出するため、関数FindObject()を呼び出し、その結果を新しい選択集合ＳＳｎｅｗに代入する。FindObject関数では、検索条件としてユーザがクリックした時間位置ｔを含むことを表す条件関数Within(*,t,t)をパラメタとして指定している。この指定は、区間ｔ〜ｔ、つまり時点ｔを含むオブジェクトの抽出を行なうことを指定するものである。条件関数の利用方法およびその定義の詳細は、後述の検索処理の実現方法にて説明する。

ステップ１００１において、クリックした位置の表示形式がアイコンであった場合、ステップ１０１４にて、選択されたアイコンからそれに対応する部分空間オブジェクトを取得し、それを新しい選択集合ＳＳｎｅｗに設定する。これを実現するには、アイコンを描画する際に、アイコンの表示位置や画像を覚えておく表示用アイコン情報の中に、対応する部分空間オブジェクトを登録しておけば良い。

ステップ１００１において、クリックした位置の表示形式がテーブルであった場合、ステップ１０１７にて、クリックされた行のみを選択表示し、ステップ１０１８にて、本選択処理１０００を終了する。ここで関数を終了する理由は、他の表示形式と同様にクリック時に選択状態を変更してしまうと、テーブルをクリックしただけで、後の表示の更新処理にて自分自身のテーブルの表示内容が変更されてしまい、正しく情報を操作できないためである。ここでは、テーブルをクリックした場合だけ、選択状態を変更しないようにしている。

ステップ１００２では、ユーザが選択したオブジェクトの集合ＳＳｎｅｗに関連付けられているオブジェクトの集合を、GetLinkedObject(SSnew,L0)により求めて、関連集合ＳＲｎｅｗに代入する。最後にステップ１００３にて、マウスの選択状態を本関数で求めたＳＳｎｅｗとＳＲｎｅｗで更新する。

ステップ１００３のマウス選択の更新処理NewSelectionについて詳しく説明する。本関数のパラメタは、新しい選択オブジェクトの集合ＳＳｎｅｗと、新しい関連オブジェクトの集合ＳＲｎｅｗである。

まずステップ１０５１にて、現在選択されているオブジェクトに登録されているマウス選択色とマウス選択関連色を取り除く。具体的には、グローバル変数ＳＳ（選択状態の集合）とＳＲ（関連選択状態の集合）に含まれる全てのオブジェクトｏｂｊに対してループを行い、選択色リストobj.selectColorから、マウス選択色とマウス関連選択色を削除する。

次にステップ１０５２と１０５３にて、新しい選択状態オブジェクトと新しい関連選択状態オブジェクトのそれぞれに、マウス選択色とマウス関連色を登録する。具体的には、ＳＳｎｅｗとＳＲｎｅｗのそれぞれの集合ごとに要素を取り出し、該当するオブジェクトのselectColorに該当する色情報を追加する。

最後にステップ１０５４にて新しい色情報を用いて画面の再表示を行い、ステップ１０５５にてグローバル変数ＳＳとＳＲに新しい選択情報ＳＳｎｅｗとＳＲｎｅｗを登録する。

次に図１１から図１４までを用いて、本実施形態のシステムにおける検索処理を説明する。図１１は、検索処理の実行画面である。図１２および図１３は、検索処理の構造化フローチャートである。図１４は、検索処理で用いる検索条件関数の実現方法を示す表である。

まず図１１を参照して、検索処理の実行画面について説明する。検索処理は、メインメニュー５０６のうち、検索メニューを選択することにより行う。検索メニューの中には、検索のための条件の登録を行うメニュー１１０１と、既に登録された条件を一覧表示するメニュー１１０２が表示される。条件の登録メニュー１１０１を選択すると、１１０５に示すような条件の登録画面が表示される。

条件の登録画面１１０５では、検索結果の表示方法と検索条件とを指定できる。これらの情報を設定した後、検索ボタン１１５１を押すことにより、検索処理を実行できる。検索結果は、本条件登録画面で指定した色で画面上に表示される。具体的には、メディア情報に含まれるすべてのオブジェクトのうち、本条件登録画面で指定された条件を満足するオブジェクトだけが、本条件登録画面で指定した色情報で、メインウィンドウ５０１上に表示される。なお、キャンセルボタン１１５２を押すと、本検索処理は打ち切られる。

本条件登録画面１１０５で指定できる検索結果の表示方法では、検索条件の名称１１１１と検索結果の表示色１１１２が指定できる。検索条件の名称１１１１は、後に本条件が検索メニューに登録される際に表示される名称である。また検索結果の表示色１１１２は、検索条件を満足するオブジェクトを表示する際に用いる色である。この色の選択は、たとえば１１１２をクリックすることによって決められた色が順々に表れるようにして行うことができる。また応用例として、この選択色の中に透明色を指定可能にしても良い。たとえば透明色が指定された場合、検索結果を表示しないこととなり、ユーザは画面上の冗長なシーン情報を本検索処理によって非表示にすることが可能になり、シーン情報の確認・編集作業をより効率化できる。

本条件登録画面１１０５で指定できる検索条件としては、ある時間範囲で検索する方法と、ある属性名だけを検索する方法と、ある属性値だけを検索する方法を指定できる。これらは時間検索のチェックボックス１１２１、属性名検索のチェックボックス１１３１、および属性値検索のチェックボックス１１４１を用いて、複数同時に指定することができる。本実施形態では、複数条件が指定された場合、それらの条件はＡＮＤ条件で結合されていると考える。なお、各チェックボックスがＯＮの場合、それらに対応する条件値として、時間区間の開始位置１１２２や終了位置１１２３、属性名１１３２、および属性値１１４２の入力領域がそれぞれ有効になり、値を設定できるようになる。

なお、時間の開始位置１１２２および終了位置１１２３を指定する別の方法として、図５のタイムライン表示５０２の画面上に表示時間位置を変更するためのスクロールバーを取りつけ、スクロールバーの移動操作により、検索すべき時間範囲の指定を行う方法を採っても良い。また、逆に言えば、タイムライン表示５０２とは、ユーザに指定された表示開始時間と表示終了時間に挟まれたシーン情報を検索・表示するためのユーザ操作画面であると考えても良い。また同様に、図１０で述べたユーザ選択処理を、ユーザが選択したオブジェクトに関連するオブジェクトを動的に検索するユーザ操作方法と考えても良い。

なお、ここで述べた内容は本発明の一実施形態であり、他にも様々な条件や設定項目を指定させることもできる。たとえば検索条件として、複数の検索条件のＯＲを取ったり、複合検索条件式を入力したり、ある検索結果に関連付けられるオブジェクトだけを抜き出したり(図９のサブルーチン９０１GetLinkedObjSet()を用いる)、関連オブジェクトの検索の際に関連名称を指定したり、さらには部分空間に登録されているメディアデータのファイルを開いて該当する建物が現れた瞬間を含むシーンを画像解析を用いて検索することなどを指定できるようにしても良い。このような場合、検索条件の一覧リストを表示し動的に検索条件を追加できるようにした方が、処理の実現上、かつ操作性の観点上望ましい。

本実施形態では、検索ボタン１１５１により検索を行うと、検索されたオブジェクトが、１１１２で指定した色で表示されると同時に、編集操作対象としてマウス選択状態となる。ユーザは必要に応じて検索結果の更新や削除を行うことができる。また、本実施形態では、検索を行うと過去数件分の検索条件が保存され、検索メニュー上に検索条件名が検索結果表示色と共に表示される。ユーザは検索メニューを見ることにより、画面上のどの色のオブジェクトがどのような条件を満足するオブジェクトであるか、検索結果後に確認できる。また、このメニューを選択することにより、前回指定した検索条件を用いて再度検索処理を実行することができる。

なお、検索操作方法の応用例として、検索メニューに「次の検索結果オブジェクトへ」というメニューを追加しても良い。この場合、検索結果を一度に表示するのではなく、このメニューを何度も選択することにより、ユーザは検索結果のオブジェクトを１つずつ確認しながら編集処理を行うことができる。このメニューはさらに、先述の特定の物体を画像解析手法を用いて検索する場合に非常に有効である。なぜなら、検索実行時にメディアデータを全て解析する必要がなく、ユーザが次の検索結果を望んだ時点で、逐一画像解析を部分的に適用すれば良く、ユーザの待ち時間を大幅に短縮することができるからである。

図１２および図１３は、本実施形態での検索処理の構造化フローチャートである。ここでは検索メニューのうち「条件の登録」メニュー１１０１と登録された条件のメニュー１１０２の処理について述べる。

ステップ１２００は、条件の登録メニュー１１０１が選択された際の処理である。ステップ１２１１では、まず検索条件の登録画面１１０５を表示し、ユーザに検索条件を登録させる。次にステップ１２１２〜１２１５で、検索条件式を条件関数のリストfuncListとして組み立て、ステップ１２０２で、組み立てた条件関数のリストfuncListを用いて検索を実行し、検索結果を条件の登録画面１１０５に指定された色で表示する。最後にステップ１２１６で、今回指定された検索条件の情報（条件名や色や条件関数リスト）などをグローバル変数である登録条件リストＣＬに追加し、またステップ１２１７で、メインメニュー５０６の検索メニューに今回の条件名と色情報を追加する。

次に検索条件式の実現方法と組み立て方法について説明する。条件関数リストfuncListに登録される条件関数は、メモリ上では（関数アドレス，ユーザパラメタ値）により表現される。本実施形態では、関数アドレスとして、図１４に示す条件関数の先頭アドレスを登録可能である。また、これらの条件関数を実行するには、関数パラメタとして、ここで指定されたユーザパラメタ値と共に、条件を判定したいメディアシーン情報オブジェクトのアドレスを追加して、指定された関数アドレスを呼出せば良い。関数の結果は集合値として呼出し処理にリターンされるよう定義する(条件不成立ならφ、成立ならφ以外)。

図１４に示した条件関数を用いて、ステップ１２１２〜１２１５の条件関数式の組み立て処理を詳しく説明する。まずステップ１２１２にて、条件関数リストfuncListを空にする。次にステップ１２１３にて、条件登録画面１１０５でユーザが時間の検索を指定しているか否か調べ、時間の指定がある場合、ステップ１２２１にて条件関数リストfuncListに時間条件関数Within()を追加する。この際、条件関数Withinのユーザパラメタとして、ユーザが指定した開始時間と、同終了時間を登録する。属性名の検索についても同様に、ステップ１２１４にてユーザの検索指示の有無を判別し、属性名検索を行う場合は、ステップ１２２３にてfuncListに条件関数SameName()を登録する。この際のユーザパラメタは、ユーザが指定した属性名である。属性値の検索についても同様に、ステップ１２１５にてユーザの検索指示の有無を判別し、属性値検索を行う場合は、ステップ１２２３にてfuncListに条件関数SameValue()を登録する。この際のユーザパラメタは、ユーザが指定した属性値である。

本実施形態では時間、属性名、および属性値の検索条件について述べたが、その他の条件についても同様に拡張できる。基本的に検索条件を追加する場合は、検索条件ごとに、個別条件設定手段と、オブジェクトとユーザパラメタを入力して集合値を返す条件関数を用意すればよい。検索条件モジュールでは、必要に応じて設定画面を提供し、ユーザから該当する条件指定の有無や詳細な条件値の設定を行えるようにすればよい。

次に検索メニューのうち、すでに登録された検索条件のメニューが選択された場合の処理１２０１について説明する。検索条件がすでに登録されている場合、ユーザが指定したメニューの番号値などを用いて検索条件リストCLから該当する検索条件の情報condを取得する（ステップ１２３１）。検索条件情報condの中には検索の実行に必要な検索条件リストと、検索結果の表示に必要な色情報が含まれているので、これらの値を用いて検索実行処理１２０２を呼び出せば、ユーザが以前設定した条件のままで検索を再実行することができる（ステップ１２０２）。

最後に検索実行処理１２０２について説明する。本処理の入力パラメタは、先に設定した検索条件関数のリストと検索結果の表示色からなる。まず検索にあたって、ステップ１２４１にて、検索結果集合Ｓｒを検索対象集合Ｓ０で初期化する。本例では検索条件リストをＡＮＤ条件の並びとして検索するため、Ｓｒはまず全オブジェクトを現すグローバル変数Ｓ０としている。次に検索条件リストfuncListに含まれる全検索条件関数funcについてループし（ステップ１２４２）、ステップ１３００のFindObject()処理を用いて、検索条件関数funcで結果集合Ｓｒを絞り込んでいく。ループ処理１２４２が終了した段階で、すべての検索条件についてＡＮＤをとった条件を満たすオブジェクトの集合がＳｒに格納される。

次に検索結果Ｓｒの全要素objについてループ処理１２４３を行い、指定された検索結果色colorをオブジェクトの選択表示色リストselectColorに追加する（ステップ１２５２）。最後にステップ１２４４にて、後の編集のために検索結果をマウス選択状態と同一に扱えるよう、マウス選択の更新処理を行う。なお、マウス選択更新の処理内にて画面の再描画も行っているため、ループ処理１２４３で設定した検索結果色も画面に表示される。

次に図１３を参照して、ステップ１３００の検索条件を満足するオブジェクトの抽出処理FindObject()について説明する。本関数の入力は、検索対象オブジェクトの集合Ｓと、１つの検索条件関数f()である。また本関数の出力は、Ｓのうち検索条件関数f()を満足するオブジェクトの集合である。

本関数では、まず検索結果の集合Ｓｒを空にし（ステップ１３１０）、次にループ処理１３１１にて、Ｓ中のすべての検索対象オブジェクトobjについて条件の判定を行う。条件の判定には、オブジェクトobjが検索条件を満たすかどうか調べるために、条件関数f(obj)を呼び出す（ステップ１３２１）。この際あらかじめ図１２のステップ１２２１などで設定されたユーザパラメタも同時に渡されるものとする。条件関数の判定結果が真である場合、条件関数の結果として検索結果集合Ｓｒに追加すべきオブジェクト集合が返されるので、Ｓｒに追加する。なお、判定結果が偽の場合、判定関数の結果は空集合φが返されるものとする。ループ処理１３１１が終了した段階で検索結果がＳｒに格納されているので、これを本処理の戻り値として設定し、本処理を終了する。

図１４は、検索処理で用いる検索条件関数の実現方法を示す表である。

まず、ある時区間を含むオブジェクトを判別する条件関数Within()１４０１を説明する。Within()は、開始時間tbと終了時間teをユーザパラメタとして持つ。その結果は、関数パラメタとして指定されたオブジェクトが部分空間であり(object.class="flag")、かつ、実数集合[object.begin, object.end]と実数集合[tb,te]とが重なる場合、抽出結果として追加すべき内容として集合{ object }を返す。つまり区間[tb,te]の一部でも部分空間objectが触れたら{ object }を返す。なお、オブジェクトが属性情報の場合は、空集合φを返す。

次に属性名が同一であるかを判定する条件関数SameName()１４０２について説明する。SameName()のユーザパラメタは属性名nameである。本関数が成立する条件は、関数パラメタとして指定されたオブジェクトが属性であり(object.class="attr")、かつ、その属性オブジェクトが持つMetaクラスリストmlistのいずれか一つのmetaについて属性名meta.nameがnameと等しい場合とし、戻り値として{ object }を返す。

同様に、属性値が同一であるかを判定する条件関数SameValue()１４０３の場合、ユーザパラメタは属性値contentsであり、関数パラメタとして指定されたオブジェクトが属性であり、かつその属性値meta.contents=contentsとなるmetaがMetaクラスリストに一つ以上存在すれば{ object }を返す。なお、SameName()とSameValue()は、上述した条件が不成立の場合、または、関数パラメタとして指定されたオブジェクトが部分空間の場合は、空集合φとする。

最後に条件関数の応用例として、人物が画面内に入った瞬間の部分空間であれば、その瞬間の部分空間を返す条件関数GotIt()を説明する。GotIt()では、関数パラメタとして指定されたobjectが部分空間の場合、object.fileに示される映像ファイルをオープンし、映像を画像処理を用いて解析し、人物が画面内に入ったことを認識したら、新たに部分空間オブジェクトnewObjを生成し、人物の出現時間をnewObj.beginとnewObj.endに指定し、{ newObj }を返す。この画像処理の実現には、たとえば特開平８−２２１５７７号の「移動体検出・抽出装置及び方法」に示す画像認識アルゴリズムを用いればよい。もちろん、複数の人物を検出したら複数の部分空間の要素からなる集合を返してもよい。

図１５は、本実施形態における編集処理の構造化フローチャートである。本実施形態では、編集処理として、選択されたオブジェクトを削除する処理と、選択されたすべての部分空間の時間位置をある決まった時間分だけ移動する時間移動処理について、説明する。

まずステップ１５０１にて、ユーザの編集指示内容を判断する。指示内容が削除の場合、グローバル変数にある選択オブジェクトの集合ＳＳに含まれるすべてのオブジェクトobjについてループ処理１５１０を行い、オブジェクトobjを全オブジェクトの集合Ｓ０と全リンクの集合Ｌ０から削除する（ステップ１５１３）。また編集指示内容が時間移動の場合、まずステップ１５２０にてユーザに移動時間量dtを指定してもらう。その後、すべての選択オブジェクトＳＳについてループ処理１５２１を行い、オブジェクトが部分空間であれば（ステップ１５３０）、その部分空間の開始時間と終了時間をともにdt分だけ移動する（ステップ１５３３）。

ここでオブジェクトの削除１５１３について説明する。まずループ処理１５５０にてすべてのリンクlinkを調べて、リンクの先端または末尾が削除対象オブジェクトobjであるものを探し、該当するリンクlinkを見つけたら（条件判定ステップ１５６０）、その場でlinkをリンクの集合Ｌから削除する（ステップ１５６３）。ループ処理１５５０が終了したら、最後に全オブジェクトの集合Ｓから該当するオブジェクトobjを削除する（ステップ１５５１）。

メディアシーン表示編集装置の一実現例を示す図。 本実施形態で用いるメディアシーン情報のデータ構造の概念図。 図２の概念的なデータ構造に対応する実際のデータ構造の例を示す図。 図３のデータ構造の詳細（クラス）を示す図。 実施形態の実行画面を示す図。 本実施形態のシステムのメイン処理を示す図。 本実施形態のタイムライン表示処理を示す図。 本実施形態のアイコン表示処理を示す図。 本実施形態のテーブル表示処理を示す図。 本実施形態のユーザー選択処理を示す図。 本実施形態の検索処理実行画面を示す図。 本実施形態の検索メニュー処理を示す図。 本実施形態の検索条件実行処理を示す図。 本実施形態の検索条件関数一覧を示す図。 本実施形態の編集処理を示す図。

符号の説明

501…メインウィンドウ、502…タイムライン表示ウィンドウ、503…テーブル表示ウィンドウ、504…アイコン表示ウィンドウ、505…マウスポインタ、506…メインメニュー、511…ビデオのタイムライン表示、512…オーディオのタイムライン表示、513〜515…ユーザデータのタイムライン表示、521,522…部分空間のバー表示、523…選択状態の部分空間バー、531,532…選択状態の部分空間に関連した属性情報、541,542…部分空間のアイコン表示、543…選択状態の部分空間アイコン、551,552…選択された部分空間に関連した部分空間、1101…検索条件の登録メニュー、1102…すでに登録されている検索条件とその表示色、1105…検索条件登録画面。

Claims (13)

1. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集装置において、
   メディアデータを格納するメディアデータ格納手段と、
   メディアシーン情報を格納するメディアシーン情報格納手段と、
   上記メディアシーン情報を表示するディスプレイ手段と、
   表示されたメディアシーン情報から任意のメディアシーン情報を選択する選択手段と、
   選択されたメディアシーン情報に関連付けされているメディアシーン情報を抽出するメディアシーン情報抽出手段と、
   抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するメディアシーン情報表示制御手段と
   を備えたことを特徴とするメディアシーン情報表示編集装置。
2. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集装置において、
   メディアデータを格納するメディアデータ格納手段と、
   メディアシーン情報を格納するメディアシーン情報格納手段と、
   上記メディアシーン情報を表示するディスプレイ手段と、
   上記メディアシーン情報格納手段からメディアシーン情報を抽出する条件を指定する抽出条件指定手段と、
   指定された抽出条件を満足するメディアシーン情報を、上記メディアシーン情報格納手段から抽出するメディアシーン情報抽出手段と、
   抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するメディアシーン情報表示制御手段と
   を備えたことを特徴とするメディアシーン情報表示編集装置。
3. 請求項１または２に記載のメディアシーン情報表示編集装置において、
   前記ディスプレイ手段は、時間軸を表示するとともに、各メディアシーン情報を表示する位置をそのメディアシーン情報が持つ情報の開始時間に対応する時間軸上の位置に表示するタイムライン表示画面で表示することを特徴とするメディアシーン情報表示編集装置。
4. 請求項１または２に記載のメディアシーン情報表示編集装置において、
   前記ディスプレイ手段は、メディアシーン情報をアイコン表示するアイコン表示画面で表示することを特徴とするメディアシーン情報表示編集装置。
5. 請求項３または４に記載のメディアシーン情報表示編集装置において、
   前記タイムライン表示画面またはアイコン表示画面で表示されたメディアシーン情報から何れかのメディアシーン情報を選択すると、該選択されたメディアシーン情報に関連するメディアシーン情報の内容を表形式で一覧表示するテーブル表示画面を設けたことを特徴とするメディアシーン情報表示編集装置。
6. 請求項２に記載のメディアシーン情報表示編集装置において、
   前記抽出条件指定手段は、前記ディスプレイ手段にメディアシーン情報抽出のための条件を登録する画面を表示し、該画面によりユーザに条件を設定させることを特徴とするメディアシーン情報表示編集装置。
7. 請求項２に記載のメディアシーン情報表示編集装置において、
   前記抽出条件指定手段は、メディアシーン情報中に含まれる検索文字列を指定するものであり、
   前記メディアシーン情報抽出手段は、指定された検索文字列を含むメディアシーン情報を抽出するものである
   ことを特徴とするメディアシーン情報表示編集装置。
8. 請求項２に記載のメディアシーン情報表示編集装置において、
   前記メディアシーン情報抽出手段は、抽出するか否かを判断する対象のメディアシーン情報に対し、該メディアシーン情報に関連するメディアデータを直接解析し、その結果をもとにメディアシーン情報が条件を満たすか満たさないかの判断を行なうものであることを特徴とするメディアシーン情報表示編集装置。
9. 請求項１または２に記載のメディアシーン情報表示編集装置において、
   前記抽出されたメディアシーン情報を加工するためのメディアシーン情報加工手段をさらに備えたことを特徴とするメディアシーン情報表示編集装置。
10. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集方法であって、
    メディアシーン情報を表示するステップと、
    表示されたメディアシーン情報から任意のメディアシーン情報を選択するステップと、
    選択されたメディアシーン情報に関連付けされているメディアシーン情報を抽出するステップと、
    抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するステップと
    を備えたことを特徴とするメディアシーン情報表示編集方法。
11. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集方法であって、
    メディアシーン情報を表示するステップと、
    メディアシーン情報を抽出する条件を指定するステップと、
    指定された条件に応じてメディアシーン情報を抽出するステップと、
    抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するステップと
    を備えたことを特徴とするメディアシーン情報表示編集方法。
12. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集プログラムを記憶した記憶媒体であって、
    該メディアシーン情報表示編集プログラムは、
    メディアシーン情報を表示するステップと、
    表示されたメディアシーン情報から任意のメディアシーン情報を選択するステップと、
    選択されたメディアシーン情報に関連付けされているメディアシーン情報を抽出するステップと、
    抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するステップと
    を備えているものであることを特徴とする記憶媒体。
13. 時間情報を有するデータであるメディアデータの部分単位であるシーンに対して属性情報を関連付けたデータであるメディアシーン情報を、表示・加工するメディアシーン情報表示編集プログラムを記憶した記憶媒体であって、
    該メディアシーン情報表示編集プログラムは、
    メディアシーン情報を表示するステップと、
    メディアシーン情報を抽出する条件を指定するステップと、
    指定された条件に応じてメディアシーン情報を抽出するステップと、
    抽出されたメディアシーン情報を他のメディアシーン情報と画面上で識別可能なように表示するステップと
    を備えているものであることを特徴とする記憶媒体。

Images