JP2002359777A - 時空間領域情報処理方法及び時空間領域情報処理システム - Google Patents

Abstract

(57)【要約】 【課題】 時空間領域情報の入力編集を効率的に行うこ
とを可能にする時空間領域情報処理方法を提供するこ
と。 【解決手段】 映像情報記憶部１は、映像データを記憶
する。時空間領域情報記憶部２は、映像データ中の任意
の領域の任意の複数フレームにわたる推移を表すものと
して、該領域を示す所定の近似図形の各代表点ごとに、
当該代表点の時間軸方向の軌跡について特定可能な情報
を記述した時空間領域情報を記憶する。時空間領域情報
編集処理部５は、編集対象の時空間領域情報に基づいて
代表点ごとの軌跡を求め、表示部３にて、代表点ごとの
軌跡を３次元空間表示し、入力部４にて、３次元空間表
示された軌跡の形状に対する所定の修正操作を入力し、
入力された修正操作に基づいて、対象の時空間領域情報
を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中の任意の時
空間領域形状をＸ、Ｙ、時間の３次元空間中に表示し、
表示された形状を３次元空間中で操作することによって
時空間領域情報を入力、修正することを特徴とする時空
間領域情報処理方法及び時空間領域情報処理システムに
関する。

【０００２】

【従来の技術】近年、映像画像処理技術の急速な発展に
より、映像や画像をデジタルデータとして扱うことが一
般化してきている。このデジタル化によりデータ量が大
きい映像画像データを効率的に圧縮する技術が確立され
た。また、インターネットや衛星放送・ＣＡＴＶなどの
ネットワーク技術の発展に伴い、大量の映像データを扱
うことができるようになってきており、映像や画像情報
を蓄積しておいてニーズに合わせて取り出し利用する映
像画像データベースやビデオオンデマンドが実用の段階
に入ろうとしている。他にも遠隔地からの自動監視シス
テムもメジャーなものになってきている。このように映
像や画像を利用しようとするとき、画面内になにがある
かを認識したり、逆に望む物体があるような映像を検索
抽出をしたり、映像を分類したいという要望がある。

【０００３】このような要望に答えるため、映像中の複
数フレームに渡る任意の時空間領域情報を効率よく記述
するための手法が既に提案されている（例えば、特開２
００１−１１８０７５号公報，特開２００１−１１１９
９６号公報）。

【０００４】

【発明が解決しようとする課題】ところが、新たに時空
間領域情報を入力したり、既にある時空間領域情報を編
集しようと考えたときには情報を数値入力したり、フレ
ーム単位に入力・編集していたため、前後のフレームや
時空間領域の全時間における形状を考慮しながら時空間
領域情報を入力したり、編集したりすることが困難であ
った。

【０００５】本発明は、上記事情を考慮してなされたも
ので、時空間領域形状の全体もしくは一部を参照しなが
ら効率的に時空間領域情報を入力・編集可能な時空間領
域情報処理方法及び時空間領域情報処理システムを提供
することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、映像データ中
における任意の領域の複数フレームにわたる推移を表す
ものとして記述された、該領域を示す近似図形の代表点
の軌跡を特定可能な時空間領域情報を対象にし、該時空
間領域情報に修正を施す処理を行うための時空間領域情
報処理方法であって、対象にした前記領域の前記時空間
領域情報に基づいて、前記代表点の前記軌跡を求め、求
められた前記代表点の前記軌跡を、画面上に表示し、画
面上に表示された前記軌跡の形状の修正操作の入力を受
け付け、入力された前記修正操作に基づいて、前記時空
間領域情報を修正することを特徴とする。

【０００７】本発明によれば、Ｘ、Ｙ、時間の３次元空
間中に代表点の軌跡を表示し、表示された代表点の軌跡
を３次元空間中でユーザが操作する機能を持ち、３次元
空間中に各代表点の軌跡を操作することによって、時空
間領域情報を入力、修正することができるようになる。

【０００８】好ましくは、前記修正操作に基づいて前記
時空間領域情報を修正した場合に、修正後の時空間領域
情報に基づいて、あらためて、前記代表点の前記軌跡の
画面上への表示を行い、さらなる前記所定の修正操作の
入力を行うようにしてもよい。

【０００９】好ましくは、前記代表点の前記軌跡を画面
上に表示するに際して、該軌跡上の所定箇所に、修正操
作用のポイントを表示し、前記修正操作用のポイントに
対してなされる修正操作の入力を受け付け、入力された
前記修正操作に基づいて、前記時空間領域情報を修正す
るようにしてもよい。

【００１０】これによって、３次元空間中のポイントを
操作することによって、関数補間された代表点の軌跡に
よって表現された時空間領域情報を入力、修正すること
ができるようになる。

【００１１】好ましくは、前記修正操作は、表示された
任意の前記修正操作用のポイントに対する任意の方向の
移動、または新たな前記修正操作用のポイントの追加も
しくは既存の前記修正操作用のポイントの削除であるよ
うにしてもよい。

【００１２】好ましくは、前記代表点の前記軌跡を画面
上に表示するに際して、前記映像データの所定のフレー
ムを併せて表示するようにしてもよい。

【００１３】これによって、映像データを参照しながら
時空間領域情報を入力、修正することができるようにな
る。

【００１４】好ましくは、前記映像データの所定のフレ
ームを表示するにあたっては、表示すべき当該フレーム
における前記近似図形の内部と外部とで異なる表示形態
により表示するようにしてもよい。好ましくは、前記近
似図形の内部に対する表示形態と外部に対する表示形態
とは、前記映像データに対する加工の有無、または前記
映像データに対する加工の内容が異なるものであるよう
にしてもよい。

【００１５】好ましくは、前記代表点の軌跡を特定可能
な情報は、当該代表点の位置データをフレームの進行に
沿って並べたときの軌跡を所定の関数で近似し、該関数
のパラメータを用いて記述されたものであるようにして
もよい。また、好ましくは、前記代表点の軌跡を特定可
能な情報は、当該代表点の基準となるフレームにおける
位置データから、他のフレームにおける位置データへの
領域変換を示す変換パラメータを求め、該変換パラメー
タについて、該変換パラメータをフレームの進行に沿っ
て並べたときの軌跡を所定の関数で近似し、該関数のパ
ラメータを用いて記述されたものであるようにしてもよ
い。また、好ましくは、前記代表点のうちの少なくとも
一つについて、当該代表点についての前記位置データが
用いられる代わりに、同一フレームにおける他の代表点
を基準としたときの当該代表点の相対的な位置を示すデ
ータが用いられているようにしてもよい。

【００１６】好ましくは、前記代表点の前記軌跡を画面
上に表示するにあたっては、前記フレームに係る２次元
座標軸及び時間軸からなる３次元空間中に該軌跡を配置
する形態で３次元表示するようにしてもよい。

【００１７】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。また、装置または方法に係る本発明
は、コンピュータに当該発明に相当する手順を実行させ
るための（あるいはコンピュータを当該発明に相当する
手段として機能させるための、あるいはコンピュータに
当該発明に相当する機能を実現させるための）プログラ
ムとしても成立し、該プログラムを記録したコンピュー
タ読取り可能な記録媒体としても成立する。

【００１８】本発明によれば、映像データ中の複数フレ
ームにわたる任意の時空間領域や、これに加えて適宜映
像データの任意フレームの画像を３次元空間中に表示す
ることによって、時空間領域形状自体や映像データとの
関係を容易に把握することができるようになり、時空間
領域情報の編集作業を効率的にすることが可能になる。

【００１９】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。

【００２０】本発明の一実施形態に係る時空間領域情報
処理システムは、ユーザが時空間領域情報に対して編集
等の処理を行うための機能を有するシステムである。

【００２１】最初に、時空間領域情報について簡単に説
明する。

【００２２】なお、時空間領域情報の内容、生成方法、
利用方法などについては、例えば、特開２００１−１１
８０７５号公報や特開２００１−１１１９９６号公報な
どに詳しく開示されている（それらに開示されている物
体領域データが、この時空間領域情報の一形態に相当す
る）。

【００２３】まず、時空間領域情報の内容や、生成方法
について簡単に説明する。

【００２４】時空間領域情報は、種々の目的のために表
示画面（例えばＧＵＩ画面）上に設けられる特定の領域
の出現から消失までの時間的空間的領域（例えば各フレ
ームにおける２次元的領域の時間的推移）を示す情報で
ある。また、時空間領域情報は、通常、映像（あるいは
動画像）データ（映像データの内容そのものは、実写し
たもの、実写したものを加工したもの、ＣＧ、アニメー
ション、それらを組み合わせたもの等、どのようなコン
テンツでもよい）に付随する情報である。なお、動画像
データは、複数のフレームからなるものを想定して説明
する。

【００２５】この特定の領域は、例えば、映像データ中
に存在する特定の物体（オブジェクト）を示す領域とし
て利用することができる。この場合、あるフレームにお
けるその特定の領域の形状が、そのフレームにおけるそ
の特定の物体領域を表す（もしくは近似して表す）もの
である。ここで、物体領域とは、映像中における一纏ま
りの領域部分であり、例えば、人、動物、植物、車、建
物、道、川、太陽、雲など（あるいはその一部分、例え
ば人の頭、車のボンネット、建物の玄関など）、オブジ
ェクトとして把握し得るものならどのようなものでも扱
うことができる。また、独立したものであってもよい
し、ものの一部（例えば人の頭、車のボンネット、建物
の玄関）であってもよいし、ものの集合（例えば鳥や魚
の群）であってもよい。

【００２６】次に、図１、図２を参照しながら、１つの
物体領域に対する時空間領域情報の生成について簡単に
説明する。

【００２７】まず、時空間領域情報の生成は、概略的に
は、例えば次のような手順によって行うことができる。
なお、いずれの手順も自動化可能であり、またユーザの
手作業を介入させることも可能である。 （１）映像データの所定のフレームから、対象となる物
体の物体領域を抽出する。 （２）その物体領域を、所定の図形により近似する。 （３）その近似図形を特定する代表点を抽出する。１〜
３の手順は、当該物体領域に対する近似図形を出現させ
るフレームから消失させるフレームにわたって、全フレ
ームまたはサンプリングした複数のフレームについて行
われる。 （４）各代表点について、その位置（またはこれを特定
可能とする量）の時系列を、時間ｔ（例えば映像に付与
されているタイムスタンプ）もしくはフレーム番号ｆな
どの関数（近似関数）により近似表現する。この近似表
現したときの関数のパラメータの値が、求める値であ
る。この関数は、各代表点ごと別々に、かつ、Ｘ座標と
Ｙ座標で別々に表現される。

【００２８】１〜４の手順は、対象となる各々の物体領
域について行われる。

【００２９】なお、近似図形には、例えば、辺の数がパ
ラメータになる多角形、辺の数が固定された矩形などの
多角形、円、楕円など、種々のものがある。また、代表
点には、例えば、多角形の頂点、矩形の４つもしくは３
つの頂点、円の中心と円周上の一点もしくは直径の両端
点、楕円の外接矩形の４つもしくは３つの頂点または２
つの焦点と楕円上の１点など、図形の種類に応じて、種
々のものがある。

【００３０】この関数のパラメータを保存しておけば、
該パラメータから該関数が求められ、該関数をもとに所
望の時間ｔもしくはフレーム番号ｆなどにおける各代表
点のＸＹ座標値が求められ、該各代表点のＸＹ座標値か
ら、当該所望の時間ｔもしくはフレーム番号ｆなどにお
ける近似図形の領域を求めることができる。

【００３１】図１、図２は、物体領域に対する近似図形
に多角形を利用し、代表点を多角形の頂点とし、各頂点
の時間軸方向の軌跡に対する近似関数として２次の多項
式スプライン関数を利用し、画像中のオブジェクト
「魚」に対する時空間領域情報を生成する例である。

【００３２】図１（ａ）において、２００は処理対象と
なっている映像中の１フレームを示している。２０１は
抽出対象となっている物体の領域を示している。２０２
は物体の領域を近似した近似多角形を示している。

【００３３】図１（ｂ）は、複数のフレームにわたる近
似図形の代表点、すなわちこの例における近似多角形２
０２及びその各頂点の推移、それらのうちの１つの頂点
（Ｖ ₀）の近似曲線を表現したものである。

【００３４】図１（ｃ）の２０４は、代表点Ｖ₀ につい
て求められた関数の例である（ここでは基準代表点Ｖ₀
の１つの座標軸についてのみ示している）。この例は、
近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分割され
た場合を示している。

【００３５】図２は、代表点Ｖ₀ のＸ座標の値を近似す
る関数を求めている例である。図中の２１１は物体の存
在している時間区間を表しており、黒い点（２１２）が
代表点Ｖ₀ のＸ座標の値である。２１３がその近似関数
である。Ｙ座標に対しても、同様にして近似関数が求め
られる。近似関数として多項式スプライン関数を用いて
いるので、図１（ｃ）の２０４では節点と呼ばれる点に
より分割された時間区間ごとに多項式が定義されてい
る。ここでは、ｔ＝０，５，１６がそれぞれ節点時刻と
なる。

【００３６】代表点Ｖ₀ 以外の代表点についてもそれぞ
れ同様である。

【００３７】一方、代表点Ｖ₀ 以外の代表点について
は、当該代表点を当該代表点とは別の代表点からの相対
的関係、例えば差分ベクトルによって表し、そのベクト
ルの軌跡により記述する方法もある。図３は、その一例
として、近似多角形において、基準とする代表点Ｖ
₀ と、その他の代表点を表すための差分ベクトルの各々
を説明している図である。図４の黒い点列（２２２）
は、各時刻におけるベクトルＶ _0,1 のＸ成分の値を表し
ている。

【００３８】また、上記では、各フレームにおける代表
点の位置又は差分ベクトルの軌跡を近似したが、ある基
準となるフレームにおける代表点の位置又は差分ベクト
ルを各フレームにおける代表点の位置又は差分ベクトル
に変換する関数のパラメータの軌跡を近似する方法もあ
る。あるいは、先行するフレームにおける代表点の位置
又は差分ベクトルを後続するフレームにおける代表点の
位置又は差分ベクトルに変換する関数のパラメータの軌
跡を近似する方法もある。

【００３９】その他にも、時空間領域情報の形態には、
種々のバリエーションがあり、本発明は、どのような形
態の時空間領域情報にも適用可能である。また、時空間
領域情報には、例えば、各物体領域に対応する各代表点
ごとで且つ各フレームごと、あるいは各物体領域ごとで
且つ各フレームごと、あるいは各物体領域の各代表点ご
と、あるいは各物体領域ごとなどの所定の単位で、所定
の属性情報もしくは関連情報などが付加されることもあ
る。本発明は、このような時空間領域情報にも適用可能
である。

【００４０】図５に、本実施形態の説明で用いる時空間
領域情報のデータ構造の一例を示す。図５に示されるよ
うに、本例の時空間領域情報は、時空間領域情報識別情
報（以下、ＩＤ番号）１０１、先頭時刻１０２、最終時
刻１０３、形状フラグ１０４、軌跡データ１０５を含む
ものである。

【００４１】ＩＤ番号１０１は、時空間領域ごとに付与
される識別番号である。

【００４２】先頭時刻１０２と最終時刻１０３は、当該
ＩＤ番号の時空間領域が存在する先頭と最終の時刻であ
る。先頭時刻と最終時刻はタイムスタンプによって表現
してもよいし、フレーム番号で表現してもよい。

【００４３】形状フラグ１０４は、領域形状がどのよう
に表現されているかを示すものである。領域形状は、例
えば、矩形、楕円、多角形などで表現されているため、
それらを一意に区別するような情報が記述される。多角
形の場合には、頂点数情報も形状フラグに付加される。

【００４４】軌跡データ１０５は、時空間領域を表現す
るためのパラメータデータである。これは、先頭時刻か
ら最終時刻までの時空間領域形状が決定できるようなも
のである。例えば、領域形状が矩形や多角形の場合にお
ける、各頂点の軌跡を関数近似したときのパラメータ、
領域形状が楕円の場合における、楕円の外接矩形頂点の
軌跡を関数近似したときのパラメータなどである。１０
６のように、軌跡データ１０５は、１つの代表点につい
て、Ｘ座標軌跡とＹ座標軌跡を別々に記述するため、軌
跡データは、代表点数×２だけ存在する。

【００４５】図６に、図５の時空間領域情報における各
々の軌跡データ１０５のデータ構造の一例を示す。これ
は、スプライン関数などで関数補間された連続する軌跡
を表すためのもので、時間とＸ座標やＹ座標などのパラ
メータとの関係を格納するためのものである。

【００４６】節点数１５１は、スプライン関数の節点の
数を表しており、節点数−１個の多項式のデータ１５６
があることを示している。スプライン関数は、隣接する
節点の間の区間ごとにそれぞれ別の多項式で表現される
ため、節点の数に対応した数の多項式が必要となる。し
たがって、節点フレーム番号、多項式の係数などを含む
データ１５６は、複数繰り返し記述される。

【００４７】先頭節点時刻１５２は、スプライン関数の
最初の節点の時刻を表す。

【００４８】節点時刻１５３は、当該多項式データの終
わりの節点時刻を表しており、この節点時刻まで多項式
のデータ１５６が有効であることを示している。これは
フレーム番号の代わりにタイムスタンプによって記述し
てもよい。多項式の係数データの数は、スプライン関数
の最高次数により変化する（最高次数をＫとすると、係
数データの数はＫ＋１となる）。そのため、係数データ
数を多項式次数１５４に保存してある。多項式次数１５
４の後には多項式次数＋１個に相当する数の多項式係数
１５５が続く。

【００４９】次に、このような時空間領域情報の利用方
法について簡単に説明する。

【００５０】映像データを表示する機能及び該映像デー
タに付随する時空間領域情報を利用する機能を有するシ
ステムでは、時空間領域情報に基づいて対象となるフレ
ームにおける物体領域の近似図形の各代表点を求め（１
つのフレームに複数の物体領域の近似図形が存在するこ
ともある）、該物体領域の近似図形の各代表点から該フ
レームにおける該近似図形の領域を求め、そして、映像
データ上に該近似図形の外形を表示したり、あるいは映
像データのうち近似図形の内部に相当する範囲を特定の
表示形態で表示したり、あるいはユーザが画面上に表示
中の映像上をマウスなどのポインティングデバイス等で
指示した場合に例えばその時刻（フィールド）に物体領
域の近似図形が存在し且つ指示位置が近似図形の内部で
あればその対象物体が指示されたと判断し何らかの処理
を行うなどによって、効果的なシステムあるいはグラフ
ィカル・ユーザ・インタフェース（ＧＵＩ）などを提供
することができる。

【００５１】例えば、時空間領域情報に関連情報（例え
ば、文字、音声、静止画、動画等、あるいはそれらを適
宜組み合わせたもの、またはその格納アドレスを示すポ
インタ情報）が付加されている場合あるいは時空間領域
情報とは別に各ＩＤ番号の情報に関連する関連情報を含
むデータベースが存在するなどの場合に、ハイパーメデ
ィアや物体検索に用いることができる。例えば、ユーザ
が当該物体（又は当該物体及びその近傍）をマウス等で
指定することにより、指定された時刻・場所が物体領域
の内部であるか外部であるかを判定し、内部であると判
定されれば、その物体に関する関連情報を検索させた
り、表示させたりすることができる。例えば、映像が映
画などのコンテンツ、物体が俳優等の登場人物もしくは
他の登場物体、関連情報がその俳優もしくはその役柄等
に関する説明であれば、映画を視聴している視聴者は、
所望の俳優に関する説明をその俳優の画像をクリックす
るだけで閲覧することができる。同様に、電子百科事
典、電子カタログ等のあらゆる電子コンテンツに適用可
能である。

【００５２】また、関連情報は、例えば、プログラムも
しくは計算機の動作を記述したデータまたはその格納ア
ドレスを示すポインタ情報であってもよい。この場合に
は、ユーザが当該物体を指定することにより、計算機に
所定の動作を行わせることができる。

【００５３】また、例えば、物体検索では、物体の通過
位置、非通過位置、ある位置における大きさ、ある位置
における滞在時間などを検索キーとして条件に合う物体
を検索することができる。いずれの検索キーに対して
も、物体の存在する時間区間に対して逐次代表点座標を
取り出し、任意の点が代表点で構成される図形の内部か
外部かを判定したり、面積を計算することにより条件を
満たすかどうかが判断できる。また、例えば、関連情報
にキーワードを記述しておけば、物体をキーワード検索
することができる。さらに、関連情報にその物体から抽
出した、シェープ、テクスチャ、アクティビティ、カラ
ーなどの特徴量を記述しておけば、そのような特徴量を
もとにオブジェクト検索することができる。また、例え
ば、時空間領域情報を解析することにより得られる、物
体のシェープ、テクスチャ、アクティビティ、カラーな
どの特徴量に基づいて、不審な人物等の監視を行う、監
視システムを実現することができる。

【００５４】次に、映像データや時空間領域情報の提供
方法について説明する。

【００５５】作成者が作成した時空間領域情報がユーザ
の用に供される場合には、作成者側からユーザ側に何ら
かの方法で時空間領域情報を提供する必要がある。この
提供の方法としても以下に例示するように種々の形態が
考えられる。 （１）映像データとその時空間領域情報を同時に提供す
る形態 （２）映像データを単独で提供し、別途、時空間領域情
報を提供する形態 （３）上記の（１）または（２）の方法で、映像データ
とその時空間領域情報を提供し、上記の（１）または
（２）のいずれかの提供時に同時に、またはそれらとは
独立して、関連情報等を提供する形態 データや情報を提供する手段としては、例えば、１つま
たは複数の記録媒体に記録して提供する方法や、ネット
ワーク経由等で提供する（あるいはユーザが取得する）
方法や、それらを併用する方法などがある。

【００５６】なお、本実施形態の時空間領域情報処理シ
ステムは、作成者側のシステムに搭載することもできる
し、ユーザ側のシステムに搭載することもできる。ま
た、時間領域情報を生成する機能を有するシステムに搭
載して、当該システムで生成された時間領域情報を編集
対象とすることもできるし、時間領域情報を生成する機
能を有するシステム又は時間領域情報を生成する機能を
有しないシステムに搭載して、外部から読み込んだ時間
領域情報を編集対象とすることもできる。

【００５７】さて、以下では、本実施形態の時空間領域
情報処理システムについて詳しく説明する。

【００５８】ここでは、図５及び図６の時空間領域情報
を編集対象とする場合を例にとって説明する。

【００５９】図７に、本実施形態に係る時空間領域情報
処理装置の構成例を示す。図７に示されるように、本時
空間領域情報処理装置は、映像情報記憶部１、時空間領
域情報記憶部２、表示部３、入力部４、時空間領域情報
編集処理部５を備えている。

【００６０】この時空間領域情報処理装置は、計算機上
でプログラムを実行する形で実現することができる。ま
た、そのプログラムを、他のソフトウェアの一機能とし
て組み込むようにすることも可能である。また、必要に
応じて、その計算機に、所望の機能を有するＯＳやドラ
イバソフト、パケット通信用ソフト、暗号ソフト等とい
ったソフトウェア、あるいは通信インタフェース装置や
外部記憶装置や入出力装置等といったハードウェアを搭
載あるいは接続することができる。

【００６１】映像情報記憶部１は、映像データが記憶さ
れているもので、例えばハードディスクや光ディスク、
半導体メモリなどで構成される。

【００６２】時空間領域情報記憶部２は、映像情報記憶
部１に保存されている映像データにおける（例えば物体
領域を示す近似矩形もしくは近似多角形の各頂点の軌跡
や近似楕円に外接する矩形の各頂点の軌跡などによって
表された）時空間領域情報が記憶されている。時空間領
域情報記憶部２は、例えば、ハードディスクや光ディス
ク、半導体メモリなどで構成される。前述したように、
ここでは、時空間領域情報としては、例えば図５及び図
６に示されるようなデータ構造を持つものを例にとって
いる。

【００６３】なお、映像情報記憶部１と時空間領域情報
記憶部２は、同じ物理デバイス上に存在していても、違
う物理デバイス上に存在していてもよい。

【００６４】時空間領域情報編集処理部５は、映像情報
や時空間領域情報の表示に関する処理や、時空間領域情
報の修正に関する処理などを行う。

【００６５】表示部３は、映像情報や時空間領域情報な
どに関する表示を行うためのものであり、入力部４は、
ユーザからの指示入力や選択入力等を入力するためのも
のである。なお、ここでは、表示部３及び入力部４によ
りグラフィカル・ユーザ・インタフェースを構成するも
のとしている。

【００６６】詳しくは後述するが、時空間領域情報は、
物体領域を示す図形の各代表点（例えば、物体領域を示
す近似矩形もしくは近似多角形の各頂点の軌跡や近似楕
円に外接する矩形の各頂点）の軌跡などとして、｛Ｘ、
Ｙ、時間｝の３次元空間中に配置され表示される。ま
た、当該時空間領域情報に対応する映像情報は、適宜、
その全部又は一部のフレームの画像が、処理されてまた
は処理されずに、３次元空間中に表示される（表示しな
いことも可能である）。

【００６７】なお、この時空間領域情報処理装置は、図
７の構成に更に、時空間領域情報を生成するための時空
間領域情報生成処理部６を備えてもよい。この場合の構
成例を図８に示す。なお、時空間領域情報生成処理部６
としては、例えば、特開２００１−１１８０７５号公報
や特開２００１−１１１９９６号公報などに開示された
構成を用いることができる。

【００６８】表示部３への時空間領域情報の表示では、
３次元空間を表示することが必要となるが、この表示の
ための処理には、ホログラフ技術やバーチャルリアリテ
ィ技術など３次元空間を表示可能な技術を適用した処理
が利用可能である。また、３次元空間を２次元平面に投
影して表示することによって通常のディスプレイなどで
表示してもよい。ただし、この場合には、投影による隠
れなどが発生し得るため、視点や注視点を移動するため
のインターフェースを設けると好ましい。

【００６９】入力部４には、キーボードやマウスを利用
することができる。また、空間で操作する３次元マウス
等の入力デバイスを利用することも可能である。

【００７０】図９に、時空間領域情報及び映像情報に関
する表示方法の一例を示す。

【００７１】時空間領域情報編集処理部５は、編集対象
となる時空間領域情報に基づいて、物体領域を示す図形
の代表点の軌跡を求め、代表点軌跡１６１のように曲線
として表示する。代表点軌跡１６１の表示形態は、例え
ば、代表点軌跡ごとに色分けして表示したり、実線や破
線などの線種で分けて表示するようにしてもよい（どの
ように表示するかについて、予め設定してもよいし、ユ
ーザが任意に設定できるようにしてもよい）。

【００７２】また、時空間領域情報編集処理部５は、代
表点軌跡１６１を特定するための点として、節点座標１
６２とコントロールポイント１６３を表示する。節点座
標１６２は、時空間領域情報に記述されているものであ
る。コントロールポイント１６３は、節点座標以外で代
表点軌跡１６１上に位置するポイントであり、コントロ
ールポイント１６３をどのように設けるかに応じて、時
空間領域情報に基づいて算出する（コントロールポイン
ト１６３をどのように設けるかについては後述する）。
節点座標１６２とコントロールポイント１６３は、容易
に区別できるような色や形で表示すると好ましい。図９
においては、節点座標１６２は「・」で、コントロール
ポイント１６３は「×」で表示されている（それらを区
別して表示する場合には、区別可能であればどのような
表示形態でも構わない）。なお、節点座標１６２とコン
トロールポイント１６３の全部又は一部を表示しない方
法もある。また、ユーザーが節点座標１６２とコントロ
ールポイント１６３を表示するかどうかあるいは表示す
る場合の表示方法を切り替えられるようにしてもよい。

【００７３】この節点座標１６２やコントロールポイン
ト１６３は、ユーザが時空間領域情報に対する修正内容
を入力するためのものであり、本時空間領域情報処理シ
ステムでは、ユーザは、時空間領域情報を修正したい場
合には、例えばマウスなどを用いてドラッグ・アンド・
ドロップ操作などにより、節点座標１６２やコントロー
ルポイント１６３を任意に選択し、それを任意の方向
（Ｘ方向又はＹ方向又は時間方向のうち任意の１次元で
もよいし、任意の２次元でもよいし、３次元でもよい）
へ任意の量だけ移動させる（すなわち、任意の移動ベク
トルを入力する）ことによって、時空間領域情報に対す
る修正指示を入力する。節点座標１６２やコントロール
ポイント１６３をドラッグ・アンド・ドロップ操作など
により移動させる場合に、節点座標１６２又はコントロ
ールポイント１６３を１つずつ選択して移動させるもの
としてもよいし、複数の節点座標１６２及び又はコント
ロールポイント１６３を選択して一括してそれらを移動
させることをも可能にしてもよい。

【００７４】なお、節点座標１６２とコントロールポイ
ント１６３の全部又は一部を表示しない場合には、例え
ば、ユーザがマウスなどを用いて指示した位置の直近の
節点座標１６２又はコントロールポイント１６３が選択
されたものとして扱うようにすればよい。

【００７５】そして、本時空間領域情報処理システムで
は、この節点座標１６２やコントロールポイント１６３
がユーザにより移動された後の位置に対応する時空間領
域情報を計算することになる。

【００７６】さて、図６に示されるように、１本の代表
点軌跡は、ある節点時刻から次の節点時刻までの補間関
数の集合として表される。そのため、１本の代表点軌跡
を特定するためには、すべての節点時刻と、節点間の補
間関数のパラメータが特定できればよい。

【００７７】ある代表点軌跡が、 （Ｘ，Ｙ，時間）＝（ｆx（ｔ），ｆy（ｔ），ｔ） で表されていて（ここで、ｆx（ｔ），ｆy（ｔ）は、ス
プライン関数など）、節点時刻が、 ｔ０，ｔ１，…，ｔｋ であったとすると、この代表点軌跡の節点座標１６２
は、 （ｆx（ｔ0），ｆy（ｔ0），ｔ0），（ｆx（ｔ1），ｆy
（ｔ1），ｔ1），…，（ｆx（ｔk），ｆy（ｔk），ｔ
k）である。

【００７８】節点座標１６２は、節点時刻における代表
点軌跡の座標を表す。ユーザは、節点座標１６２の位置
により、節点時刻と節点時刻における座標を知ることが
できる。

【００７９】節点間の補間関数が１次関数によって補間
されている場合には、この節点座標１６２の座標を表示
することによって、代表点軌跡１６１の形状を一意に特
定することができる（なお、コントロールポイント１６
３を必要最低限の数のみ表示する場合には、補間関数が
１次関数のときは、コントロールポイント１６３は表示
されないことになる）。

【００８０】しかし、節点間の補間関数が２次以上の関
数で補間されている場合には、節点座標１６２のみでは
補間関数の形状を一意に特定することができない。この
ような場合には、コントロールポイント１６３を表示し
て、補間関数の形状を一意に特定できるようにする。

【００８１】コントロールポイント１６３は、補間関数
形状を一意に決定できユーザがわかりやすいものであれ
ばどのような座標に表示してもよい。例えば、ｎ次多項
式によって補間されている際には、ｎ＋１個の座標がわ
かれば補完関数形状を一意に決定できる。補間関数の開
始時刻における座標と終了時刻における座標は、節点座
標１６２によって表示されているため、それ以外のｎ−
１個の座標をコントロールポイントとして表示すること
によって補間関数形状を一意に決定することができる。

【００８２】ｎ−１個の座標位置をどのように設定する
かについては、種々のバリエーションが可能であるが、
コントロールポイント間があまりにも近いと、ユーザー
にとってわかりにくいだけではなく、操作する際にも困
難になるため、例えば、開始時刻から終了時刻を等分し
てコントロールポイントを配置するようにしてもよい。

【００８３】例えば、ある節点座標が存在するフレーム
（以下、キーフレームと呼ぶ）の時間がｔ１で、次のキ
ーフレームの時間がｔ２であったとする。ｔ１からｔ２
において代表点軌跡が、 （Ｘ，Ｙ，時間）＝（ｆx（ｔ），ｆy（ｔ），ｔ） で表されていたとする。ただし、ｆx（ｔ）とｆy（ｔ）
は時間ｔのｎ次多項式であるとする。このとき、キーフ
レームにおける座標１６２は、 （ｆx（ｔ1），ｆy（ｔ1），ｔ1）と（ｆx（ｔ2），ｆy
（ｔ2），ｔ2） である。コントロールポイント１６３は、ｎ−１点必要
となり、ｔ1〜ｔ2を等分して座標を決定するとすると、
コントロールポイント１６３の座標は、 (ｆx((ｔ2−ｔ1)*ｉ/ｎ+ｔ1),ｆy((ｔ2−ｔ1)*ｉ/ｎ+ｔ
1),(ｔ2-ｔ1)*ｉ/ｎ+ｔ1) （ｉ＝１，２，…，ｎ
−１） となる。

【００８４】コントロールポイントを配置する方法に
は、均等分割する方法の他に、例えば、曲線の変化の激
しい部分ほど密にコントロールポイントを配置する方法
もある。

【００８５】なお、配置するコントロールポイントの数
は、補完関数形状を一意に決定するｎ＋１個よりも多い
数とする方法も可能である。この場合には、例えば、修
正後の補完関数形状を一意に決定するためのｎ＋１個を
ユーザが選択するようにしてもよいし、あるいはシステ
ム側で選択するようにしてもよい（ただし、表示されて
いるｎ＋１個よりも多い数の全コントロールポイント
を、修正後の補完関数形状を一意に決定するためのコン
トロールポイントとして用いる方法も可能である）。

【００８６】また、コントロールポイントの時刻を、フ
レームの持つ時刻と一致させるようにする方法と、フレ
ームの時刻に限定せずに設定する方法とがある。前者の
場合には、例えば、先に所定のアルゴリズムでコントロ
ールポイントの時刻を算出してしまい、それがフレーム
の持つ時刻と一致しない場合に、算出されたあるいは指
示されたコントロールポイント時刻の直近のフレーム時
刻を、そのコントロールポイントの時刻とすればよい。

【００８７】一方、映像情報１６４は、当該時空間領域
情報に関連する映像の画像情報を表示する。例えば、映
像の全フレームもしくは任意のフレームの画像を３次元
空間中の時間軸に垂直で、表示するフレームの時刻の位
置にある平面に表示する。表示するフレームは、例え
ば、数フレームおきであるとか、節点が存在するフレー
ムのみなど予め定められた基準に従ってシステム側で決
定するようにしてもよいし、表示するフレームの選択方
法をユーザが適宜指定できるようにしてもよい。また、
表示画面への表示対象に入っている節点座標及びコント
ロールポイントの時刻と同じ時刻を持つフレームは少な
くとも表示するようにしてもよい。

【００８８】なお、フレーム画像を時間軸に３次元空間
中の垂直な面に表示する以外にも、映像情報を（Ｘ，
Ｙ，時間）のボクセル情報と考えて、任意の平面におけ
る断面図を表示してもよい。例えば、（Ｘ，時間）平面
や、（Ｙ，時間）平面の断面図を表示することによって
時間的な映像の動きを容易に知ることができる。このよ
うに任意の断面図を表示する際にも、どの断面図を表示
するかはシステム側で決定してもよいし、ユーザに指定
させてもよい。

【００８９】このように、映像情報１６４を表示するこ
とによって映像に何が描かれているかを参照しながら時
空間領域を編集することが容易となる。例えば、映像中
に描かれているある物体の領域情報を時空間領域情報と
して修正・入力する際には、上記のように映像情報１６
４を表示することによって、正確に物体の領域情報を取
り出すことができる。

【００９０】また、映像情報１６４を表示する際に、映
像情報を加工せずに表示してもよいが、映像情報になん
らかの加工を施して表示してもよい。例えば、フレーム
画像を透明化・半透明化したり、指定された色で塗りつ
ぶししたり、輝度を変えたり、白黒表示したり、解像度
を変えたり、モザイクやその他の画像処理を行ってもよ
い。また、その際に、映像データのうち当該フレームに
おける物体領域を示す近似図形の内部に相当する範囲
と、外部に相当する範囲とで、加工を施すか否かあるい
は加工を施す場合における加工の内容（例えば、半透明
の程度、塗りつぶす色、輝度、解像度など）を異ならせ
るようにしてもよい。また、当該フレームにおける物体
領域を示す近似図形の形状に従い縁取りすることによっ
て、当該フレームにおける領域の形状を表示してもよ
い。また、これらの画像処理は複数個組み合わせて利用
してもよい。

【００９１】例えば、表示画面上に同時に数多くのフレ
ームの画像を表示した際には、表示する画像の枚数が多
くなり、ある画像によって他の画像が隠れてしまうこと
があり得る。このような場合に、フレームの画像を半透
明にすることによって、隠れた画像を参照することが容
易となる。また、領域の外部を透明にして表示すること
によって、時空間領域以外の画像が表示されなくなるた
め時空間領域形状を分かりやすく表示することが可能と
なる。

【００９２】また、例えば、本時空間領域情報は、映像
を視聴する際に映像の一部に特殊加工を施して再生する
ための用途に利用することができる。見たくない物体や
見せたくない物が映像中に含まれているときに、それに
モザイクを掛けて表示したり、色あいを変えて不快感を
やわらげたりするための用途に使用することができる。
このように、映像の特殊加工をするための領域を編集す
る際などに、映像情報１６４にも映像視聴時と同様な特
殊加工を施すことによって、映像がどのように表示され
るかを参照しながら時空間領域情報を編集することがで
きる。

【００９３】図１０に、３次元空間を２次元平面に投影
して表示する場合のグラフィカル・ユーザ・インタフェ
ース（ＧＵＩ）の画面の一例を示す。

【００９４】図１０に示されるように、このＧＵＩは、
３次元空間投影部３１、ステータス部３２、画像特殊表
示ボタン３３、画像表示密度ボタン３４、画像表示位置
ボタン３５、ズームボタン３６、注視点移動ボタン３
７、視点移動ボタン３８を持つ。

【００９５】３次元空間投影部３１は、図９で示される
時空間領域情報を３次元空間中に表示したものを、指定
された投影方法によって２次元平面に投影した画像を表
示するための部分である。

【００９６】ステータス部３２は、時空間領域や映像の
情報や、節点座標・コントロールポイントを選択した際
にその座標情報などを表示するための部分である。入力
部４によって、ステータス部の情報が書き換えられた場
合には、当該時空間領域情報もそれに従って書き換えら
れる。

【００９７】画像特殊表示ボタン３３は、映像情報１６
４を表示する際に、その加工方法（例えば、領域の内部
や外部を半透明や透明にしたり特殊加工して表示する方
法）を選択するためのボタンである。これはダイアログ
を新たに表示して選択させてもよいし、押すたびに表示
方法が変わるようなインターフェースなど、加工方法が
変更できるようなものであればどのようなものでも構わ
ない。

【００９８】画像表示密度ボタン３４と画像表示位置ボ
タン３５は、映像情報１６４を表示する際に、どのフレ
ームの画像を表示するかをユーザーが指定するためのも
のである。画像表示密度ボタン３４で何フレームおきに
表示するかを指定し、画像表示位置ボタン３５で表示し
はじめるフレーム位置を指定する。表示しはじめるフレ
ーム位置がｈフレーム目で、ｉフレームおきに表示する
設定のときには、表示されるフレームは、 ｈフレーム、ｈ＋ｉフレーム、ｈ＋（ｉ＊２）フレー
ム、… となる。画像表示密度ボタン３４と画像表示位置ボタン
３５は、このような設定方法以外でも、どのフレームを
表示するかが設定できるようなものであればどのような
ものでも構わない。

【００９９】ズームボタン３６、注視点移動ボタン３
７、視点移動ボタン３８は、３次元空間投影部３１に表
示する際に、３次元空間から２次元平面にどのように投
影するかを設定するボタンである。視点移動ボタン３８
で３次元空間における視点を、注視点移動ボタン３７で
３次元空間における注視点を、ズームボタン３６で３次
元空間における画角を設定する。これは図１０に示され
るインターフェース構成以外にも、投影パラメータが指
定できるようなものであればどのようなものでも構わな
い。

【０１００】次に、時空間領域情報の修正について説明
する。

【０１０１】前述したように、ユーザは、ＧＵＩに表示
された代表点軌跡の節点座標１６２やコントロールポイ
ント１６３を操作して、時空間領域情報の修正（のため
の入力）を行う。

【０１０２】修正の基本的なものには、例えば、（１）
コントロールポイントの移動（時間軸方向の移動も含
む）、（２）節点座標の時間軸方向の位置を変えない範
囲での節点座標の移動、（３）時間軸方向の位置の変化
を含む節点座標の移動、（４）代表点の軌跡の近似関数
の次数の増加または減少を伴う修正（例えば、コントロ
ールポイントの追加または削除）、（５）節点座標の追
加または削除（すなわち、近似区間の分離または統
合）、などがある。

【０１０３】すなわち、代表点軌跡は、隣接する２つの
節点座標１６２と所定数のコントロールポイント１６３
の座標により一意に決定される。したがって、節点座標
１６２を追加または削除することによって、代表点軌跡
の節点数を変更することができる。また、節点座標１６
２の座標位置を時間方向に変更することにより、節点時
刻を変更することができる。

【０１０４】また、コントロールポイント１６３を追加
または削除することによって、補間関数の次数を変える
ことができる。例えば、２次関数で補間されていて、コ
ントロールポイントが１つ表示されている節点間に新た
にコントロールポイントを１つ追加すると３次関数補間
に変更できる。

【０１０５】また、節点座標１６２とコントロールポイ
ント１６３を（Ｘ，Ｙ）に水平な平面上で動かすことに
よって、代表点軌跡の補間関数形状を変更することがで
きる。このように、節点座標１６２とコントロールポイ
ント１６３の追加または削除と座標位置の変更により、
任意の代表点軌跡形状の変更処理が可能となる。

【０１０６】なお、ある代表点のある節点を時間軸方向
に移動された場合には、他の代表点の同じ時刻情報を持
つ節点にも同じ修正が加えられたものとして扱うように
してもよい。同様に、ある代表点について１つの節点が
追加または削除された場合には、他の代表点についても
同じ時刻情報を持つ節点が追加または削除されたものと
して扱うようにしてもよい（ただし、代表点によって節
点が異なってもよいようなデータ構造を持つ時空間領域
情報では、そのような場合に、他の代表点について同じ
修正が加えられたものとして扱わないようにする方法も
可能である）。

【０１０７】ユーザにより時空間領域情報の修正のため
の入力が行われた場合には、修正内容に応じて、修正が
波及する時空間領域情報の範囲を特定し、該当する部分
を計算して、修正の反映された時空間領域情報を求め
る。

【０１０８】例えば、上記の（１）の修正では、修正が
波及する箇所は、該当する代表点のＸＹ各座標の軌跡デ
ータ（図５の１０５）のうち、修正されたコントロール
ポイントを含む近似区間の多項式係数（図６の１５５）
となる。

【０１０９】また、例えば、上記の（２）の修正では、
節点座標をＸＹ平面内で移動させることによって、修正
された当該節点座標を含む２つの隣接する近似区間に修
正が波及し、修正が波及する箇所は、該当する代表点の
ＸＹ各座標の軌跡データ（図５の１０５）のうち、修正
された節点座標を含む各近似区間の多項式係数（図６の
１５５）となる。

【０１１０】また、例えば、上記の（３）の修正では、
節点座標について時間軸方向成分を含む移動をさせるこ
とによって、当該節点座標を含む２つの隣接する近似区
間に修正が波及し、上記の（２）に図６の節点時刻１５
３の修正が加わる。

【０１１１】また、例えば、上記の（４）の修正では、
修正が波及する箇所は、該当する代表点のＸＹ各座標の
軌跡データ（図５の１０５）のうち、修正されたコント
ロールポイントを含む近似区間の多項式次数（図６の１
５４）、多項式係数（図６の１５５）となる。

【０１１２】（１）〜（４）のそれぞれのケースにおい
て、時空間領域情報編集処理部５は、修正後の節点座標
１６２とコントロールポイント１６３により特定される
代表点軌跡（に対応する近似関数のパラメータ）を求
め、該当するＸ座標の軌跡データとＹ座標の軌跡データ
を修正する。

【０１１３】また、例えば、上記の（５）の修正では、
節点座標の増加の場合には、該当する代表点のＸＹ各座
標の軌跡データ（図５の１０５）のうち、新たに節点座
標が付加された近似区間のデータ（図６の１５６）に修
正が波及し、該近似区間が分割され、近似区間のデータ
（図６の１５６）が１つ増加することになる。時空間領
域情報編集処理部５は、時空間領域情報のうち、該する
近似区間のデータ（図６の１５６）の前または後ろに、
１つの近似区間のデータ（図６の１５６）を挿入し、分
割により発生した新たな２つの近似区間について、それ
ぞれ、修正後の節点座標１６２とコントロールポイント
１６３により特定される代表点軌跡（に対応する近似関
数のパラメータ）を求め、該当するＸ座標の軌跡データ
とＹ座標の軌跡データを修正する。

【０１１４】また、例えば、上記の（５）の修正では、
節点座標の減少の場合には、該当する代表点のＸＹ各座
標の軌跡データ（図５の１０５）のうち、削除された節
点座標を含んでいた２つの近似区間のデータ（図６の１
５６）に修正が波及し、該近似区間が統合され、近似区
間のデータ（図６の１５６）が１つ減少することにな
る。時空間領域情報編集処理部５は、時空間領域情報の
うち、該する近似区間のデータ（図６の１５６）のいず
れか１つを削除し、分割により発生した新たな１つの近
似区間について、修正後の節点座標１６２とコントロー
ルポイント１６３により特定される代表点軌跡（に対応
する近似関数のパラメータ）を求め、該当するＸ座標の
軌跡データとＹ座標の軌跡データを修正する。

【０１１５】また、複数の修正入力を行った後に一括し
て時空間領域情報を修正する場合にも、同様にして、時
空間領域情報のうち修正が波及する部分について修正後
の値を計算し、該当するＸ座標の軌跡データとＹ座標の
軌跡データを修正する。

【０１１６】なお、修正内容によっては、図５の先頭時
刻１０２、最終時刻１０３、図６の節点数１５１、先頭
節点時刻１５２が修正されることもある。

【０１１７】また、図５の形状フラグ１０４を（メニュ
ー選択などによって）修正指示可能としてもよい。

【０１１８】なお、図１０のＧＵＩにおいては、上記の
ような節点座標１６２やコントロールポイント１６３の
追加や削除や座標位置の変更によって時空間領域情報が
変化したときには、直ちに表示画面に変更された時空間
領域情報に対する表示を行うとよい。常に最新の時空間
領域情報を表示することによって、直感的な操作が可能
となる。

【０１１９】節点座標１６２とコントロールポイント１
６３の追加削除や座標位置の変更は、マウスやキーボー
ドなど情報が入力できるものであればどのようなものに
よってもよい。ただし、これら座標の変更は３次元空間
中における移動をサポートする必要があるため、通常の
マウスなど２次元移動しか行えないようなポインティン
グデバイスによって入力を行う際には、ＸＹ方向と時間
方向の移動操作を分けるなど、なんらかの３次元的移動
が行えるようにすればよい。例えば、マウスを利用して
座標位置を変更したいときには、通常のマウスの移動で
は（Ｘ，Ｙ）平面上での移動になり、マウスのあるボタ
ンやキーボードのあるボタンを押しながらマウスを移動
させたときには時間方向の移動になるなどの方法があ
る。また、３次元マウスを利用してもよい。

【０１２０】ところで、（ある代表点について節点を追
加することによって他の代表点にも節点を追加する場合
に）節点を追加する際には、節点時刻における領域形状
を正確にできるだけ推定することによって、その後の修
正作業量を大幅に減らすことが可能となる。すなわち、
追加する初期形状が正確なほど効率的に作業が行える。
そのため、現在までに入力された代表点軌跡形状から節
点時刻における代表点座標を推定して初期形状とすると
好ましい。節点時刻における代表点座標を推定する手法
はどのようなものでもよいが、例えば、追加する節点時
刻に最も近い既にある代表点軌跡関数から、節点時刻に
おける座標を算出し、その座標を追加する代表点座標の
初期値とすればよい。その他にも、他の代表点軌跡情報
を利用して、極端な誤差をなくしたり、映像情報の輝度
エッジに近づけるなどの処理を行ってもよい。

【０１２１】このように、時空間領域情報を３次元空間
中に表示することで、時空間領域形状を全体的に把握す
ることが容易となる。これにより前後フレームの関係を
見ながら時空間領域形状を編集することが簡単にできる
という利点がある。

【０１２２】ところで、図１０のＧＵＩの例では、１つ
の物体領域を示す近似図形の各代表点の時間的推移の軌
跡を表示し、１つの近似図形についての時空間領域情報
を修正対象とした。図１０のＧＵＩの例において、表示
対象範囲に複数の時空間領域情報が存在する場合には、
例えば、時空間領域情報をユーザが選択可能とし、ユー
ザが編集対象として選択した１つの時空間領域情報につ
いて表示し、該１つの時空間領域情報を修正対象とする
ようにしてもよい。

【０１２３】また、表示対象範囲に複数の時空間領域情
報が存在する場合に、複数の時空間領域情報についての
表示を同時に行い、例えばユーザが選択した１又は複数
の時空間領域情報あるいは表示されているすべての時空
間領域情報を修正可能とすることも可能である。

【０１２４】また、同時に複数の時空間領域情報を表示
する場合に、すべての時空間領域情報について近似曲線
（及び映像情報（例えば、キーフレーム））を表示する
ようにしてもよいが、例えばユーザが選択した１又は複
数の時空間領域情報についてのみ近似曲線（及び映像情
報（例えば、キーフレーム））を表示し、他の時空間領
域情報については映像情報（例えば、キーフレーム）の
み表示するようにしてもよい。

【０１２５】また、同時に複数の時空間領域情報を表示
する場合に、各時空間領域情報に関する表示を、色ある
いは線種などで分けて表示するようにしてもよい。

【０１２６】また、同時に複数の時空間領域情報を表示
する場合に、これまのでように同一の３次元空間投影部
３１に、複数の時空間領域情報に関する表示を行うので
はなく、３次元空間投影部３１を複数設け、複数の時空
間領域情報に関する表示を、それぞれ別々の３次元空間
投影部３１にて行うようにしてもよい。

【０１２７】もちろん、図１０のＧＵＩは一例であり、
その他にも、種々のバリエーションが可能である。

【０１２８】図１１に、本時空間領域情報処理システム
の時空間領域情報編集処理部５の処理手順の一例を示
す。

【０１２９】まず、時空間領域情報記憶部２に記憶され
ている時空間領域情報を読み込むとともに、当該時空間
領域情報に関連する映像情報を映像情報記憶部１から読
み込む（ステップＳ１）。

【０１３０】次に、所定の表示方法で３次元空間投影部
３１に時空間領域情報を表示するための処理を行う（ス
テップＳ２）。例えば、近似図形の外形や近似図形の代
表点軌跡や節点座標やコントロールポイントの算出や表
示が行われる。また、所定の表示方法で３次元空間投影
部３１に映像情報を表示する（ステップＳ３）。すなわ
ち、必要に応じて施す透明・半透明処理あるいはモザイ
クなどの特殊加工や表示が行われる。なお、ステップＳ
２とステップＳ３は、逆の順序で行ってもよいし、同時
に行ってもよい。

【０１３１】次に、ユーザからの入力を受け付ける（ス
テップＳ４，Ｓ５）。

【０１３２】ユーザから表示方法に関する入力（例え
ば、図１０の画像特殊表示ボタン３３、画像表示密度ボ
タン３４、画像表示位置ボタン３５、ズームボタン３
６、注視点移動ボタン３７、視点移動ボタン３８などの
入力）があった場合には（ステップＳ６）、表示方法の
設定を変更し（ステップＳ７）、変更した表示方法の設
定に従って、ステップＳ２及び又はステップＳ３を再度
行う。そして、再度、ユーザからの入力待ち状態に戻る
（ステップＳ４，Ｓ５）。

【０１３３】ユーザから修正に関する入力（例えば、前
述したような図１０の３次元空間投影部３１での入力、
ステータス部３２での入力）があった場合には（ステッ
プＳ８）、時空間領域情報の修正の処理を行い（ステッ
プＳ９）、そして、ステップＳ２及び又はステップＳ３
を再度行う。そして、再度、ユーザからの入力待ち状態
に戻る（ステップＳ４，Ｓ５）。

【０１３４】また、その他の入力があった場合には（ス
テップＳ１０）、該当する処理を行って（ステップＳ１
１）、必要に応じてステップＳ２及び又はステップＳ３
を行い、そして、ユーザからの入力待ち状態に戻る（ス
テップＳ４，Ｓ５）。

【０１３５】そして、例えばマウスにより終了ボタンが
押され、あるいは終了コマンドが入力されるなどによっ
て、この編集の終了の指示が入力された場合には（ステ
ップＳ１０）、修正した時空間領域情報を、時空間領域
情報記憶部２に保存する（ステップＳ１２）。

【０１３６】ところで、ステップＳ９の時空間領域情報
の修正の処理においては、１つの節点座標やコントロー
ルポイントの修正が入力されたときに、直ちに、修正さ
れた時空間領域情報を求め、表示に反映させる方法と、
節点座標やコントロールポイントの修正が任意に繰り返
し（このときは、節点座標やコントロールポイントの移
動だけ表示に反映させる）、その後に、決定を示す入力
がなされたときに、一括して、修正された時空間領域情
報を求め、修正後の代表点軌跡の曲線などを表示に反映
させる方法などがある。

【０１３７】図１２に、前者の場合のステップＳ９の処
理手順の一例を示す。この場合、修正指示の内容を取得
し（ステップＳ２１）、時空間領域情報のうち修正が波
及する箇所を特定し（ステップＳ２２）、時空間領域情
報の該当部分を計算する（ステップＳ２３）。この場合
には、次のステップＳ２及び又はステップＳ３におい
て、修正後の時空間領域情報に基づいた表示が行われ
る。

【０１３８】また、図１３に、後者の場合のステップＳ
９の処理手順の一例を示す。この場合、修正内容の指示
ならば（ステップＳ３１）、修正指示の内容を取得して
保持しておき（ステップＳ３２）、決定の指示ならば
（ステップＳ３１）、保持されている全修正内容によっ
て時空間領域情報のうち修正が波及する箇所を特定し
（ステップＳ３３）、時空間領域情報の該当部分を計算
する（ステップＳ３４）。この場合には、決定の指示が
入力されたときに、修正後の時空間領域情報に基づいた
表示が行われる。

【０１３９】なお、決定の指示を入力するまでは、例え
ば修正後の節点座標やコントロールポイントの位置など
が画面に表示されるが、その際に、修正前の節点座標や
コントロールポイントをも表示して修正内容が分かるよ
うにする方法や、修正前の節点座標やコントロールポイ
ントは画面では消去する方法などがある（前者の場合に
は、修正前後の節点座標やコントロールポイントが区別
できるように異なる形態で表示すると好ましい）。

【０１４０】また、例えば、ユーザが節点座標やコント
ロールポイントをマウス等で選択して移動させている際
に、リアルタイムで、節点座標やコントロールポイント
を当該位置に移動させたとしたときの軌跡を計算して
（例えば現在の軌跡とは異なる表示形態で）表示するよ
うにしてもよい。

【０１４１】なお、上記の手順では、一連の処理が終了
する際に、ステップＳ１２で修正後の時空間領域情報を
時空間領域情報記憶部２に保存したが、ステップＳ９に
おいて修正後の時空間領域情報を時空間領域情報記憶部
２に保存してしまう方法もある。

【０１４２】また、この修正について、いわゆるアンド
ゥー、リドゥーを任意に可能としてもよい。

【０１４３】もちろん、これまで説明した手順は一例で
あり、その他にも種々のバリエーションが可能である。

【０１４４】さて、前述したように、本発明は、種々の
データ構造の時空間領域情報に適用可能である。

【０１４５】以下では、図５及び図６とは異なるデータ
構造の時空間領域情報に本発明を適用した場合について
説明する。

【０１４６】図１４に、時空間領域情報のデータ構造の
他の例を示す。図１４に示されるように、本例の時空間
領域情報は、ＩＤ番号３０１、先頭時刻３０２、最終時
刻３０３、参照領域フラグ３０４、参照領域形状情報３
０５、変換形式フラグ３０６、軌跡データ３０７を含む
ものである。

【０１４７】ＩＤ番号３０１と、先頭時刻３０２と、最
終時刻３０３とは、図５におけるＩＤ番号１０１、先頭
時刻１０２、最終時刻１０３のそれぞれと同等の意味を
持つ。

【０１４８】参照領域フラグ３０４は、参照領域の形状
がどのように表現されているかを示すものである。参照
領域の形状は、例えば、矩形、楕円、多角形などで表現
されているため、それらを一意に区別するような情報が
記述される。多角形の場合は、頂点数情報も参照領域フ
ラグに付加される。

【０１４９】参照領域形状情報３０５は、参照領域形状
を格納するためのものである。例えば、参照領域形状が
矩形や多角形のときは、各頂点の座標、参照領域形状が
楕円のときは、外接矩形の頂点座標や、中心点、長軸短
軸の長さなどのパラメータが格納される。

【０１５０】変換形式フラグ３０６は、参照領域から各
フレームにおける時空間領域情報への領域変換を示す変
換パラメータがどのような形式で示されているかを示す
ものである。領域変換を示す変換パラメータの形式に
は、例えば、平行移動、一次変換、アフィン変換などが
あるため、それらを一意に区別するような情報が記述さ
れる。

【０１５１】軌跡データ３０７は、参照領域から各フレ
ームにおける時空間領域情報への領域変換を示す変換パ
ラメータのそれぞれの軌跡を記述するためのものであ
る。これは例えば図６に示されるような軌跡データのデ
ータ構造を持つ。変換パラメータは複数持つことが多い
ため、軌跡データも変換パラメータの数だけ記述され
る。軌跡データの数は、変換形式フラグ６０７によって
一意に決まり、例えば、平行移動のときは２つ、一次変
換の時は４つ、アフィン変換のときは６つである。軌跡
データの順番は、変換パラメータの意味によって決めて
おき、例えば、以下のようにする。時刻ｔの関数である
パラメータの軌跡データがｚ1（ｔ），ｚ2（ｔ），…と
並んでいるとき、参照領域上のある点ｐ＝（ｐx，ｐy）
が領域変換によって変換された軌跡を、Ｐ（ｔ）＝（Ｐ
x（ｔ），Ｐy（ｔ））とすると、 １： 平行移動のとき Ｐx（ｔ）＝ｐx＋ｚ1（ｔ） Ｐy（ｔ）＝ｐy＋ｚ2（ｔ） ２： 一次変換のとき Ｐx（ｔ）＝ｐx＊ｚ1（ｔ）＋ｐy＊ｚ2（ｔ） Ｐy（ｔ）＝ｐx＊ｚ3（ｔ）＋ｐy＊ｚ4（ｔ） ３： アフィン変換のとき Ｐx（ｔ）＝ｐx＊ｚ1（ｔ）＋ｐy＊ｚ2（ｔ）＋ｚ3
（ｔ） Ｐy（ｔ）＝ｐx＊ｚ4（ｔ）＋ｐy＊ｚ5（ｔ）＋ｚ6
（ｔ） パラメータの軌跡データｚ1（ｔ），ｚ2（ｔ），…が、
ｎ次多項式で表されているとき、上式よりＰx（ｔ），
Ｐy（ｔ）もやはりｎ次多項式で表すことが可能とな
る。

【０１５２】この場合の時空間領域情報処理装置の構成
例は、図７や図８で示される構成例と同様である。以下
では、先に説明したような図５及び図６のデータ構造の
時空間領域情報に本発明を適用した場合の構成例と相違
する点について説明する。

【０１５３】時空間領域情報編集処理部５は、本例の時
空間領域情報を表示するために、基本的には前述したも
のと同様の機能を持つが、時空間領域情報のデータ構造
が異なるため、上式より代表点軌跡に変換してから表示
することになる。ユーザにより代表点軌跡のキーフレー
ムにおける節点座標１６２やコントロールポイント１６
３が移動された場合には、各変換パラメータを算出し
て、変更された変換パラメータに従ってすべての代表点
軌跡を変更する。

【０１５４】この場合の処理手順例は、図１１や図１２
あるいは図１３と同様である。

【０１５５】このようにすることにより、参照領域と参
照領域から該フレームにおける時空間領域情報への領域
変換を示す変換パラメータにより記述した時空間領域情
報においても、各代表点の軌跡として記述された時空間
領域情報と同様に編集を行うことができる。

【０１５６】もちろん、本時空間領域情報処理システム
は、複数種類のデータ構造の時空間領域情報を扱うよう
にすることもできる。この場合には、時空間領域情報
に、データ構造を識別するための識別情報を付加し、時
空間領域情報処理システムは、時空間領域情報を処理す
るに際して、その識別情報を参照して、データ構造を特
定し、そのデータ構造に応じた処理を行うようにすれば
よい。

【０１５７】さて、以下では、さらに、本発明を適用す
る時空間領域情報のバリエーションについていくつか説
明する。

【０１５８】まず、表示フラグを付加したデータ構造を
持つ時空間領域情報について説明する。

【０１５９】まず、この表示フラグを含む時空間領域情
報について説明する。

【０１６０】この時空間領域情報は、映像中の物体につ
いて、画面上でその物体（またはその一部）が見えてい
る状態にあるか、他の物体の陰に隠れているなどして見
えていない状態にあるかを示す表示フラグに関する表示
フラグ情報を含むものである。

【０１６１】例えば図１５の（ａ）〜（ｃ）のように、
映像中に複数の物体が存在している場合、ある物体２１
０１が別の物体２１０２によって隠れたり、現れたりす
るということがよくある。この状態を記述するため、時
空間領域情報に表示フラグ情報を追加する。

【０１６２】表示フラグは、対象物体ごとに与える方法
と、対象物体の近似図形の代表点毎に与える方法があ
る。

【０１６３】表示フラグを対象物体ごとに与える場合、
表示フラグが立っているときは、その物体が隠れていな
いことを示し、再生時には、その物体を表示する。表示
フラグが立っていないときは、その物体が隠れているこ
とを示し、再生時には、その物体を表示しない。

【０１６４】表示フラグを対象物体の近似図形の代表点
ごとに与える場合、１つの対象物体の近似図形における
全ての代表点の表示フラグが同一の状態ならば上記と同
様であるが、表示フラグが立っている代表点と、表示フ
ラグが立っていない代表点が混在するならば、その状況
を考慮して当該物体の表示を行う（例えば当該物体の該
当する一部分のみ表示する）。

【０１６５】表示フラグは、各キーポイント間ごとに設
定され、物体領域の代表点軌跡データを作成するときに
同時に決定される。なお、キーポイントは、近似関数の
節点と無関係に設けられてもよいが、キーポイントは必
ず節点になるようにしてもよい。例えば、キーポイント
が発生した場合には、強制的にその時点を節点とする方
法がある。

【０１６６】表示フラグを対象物体ごとに与える場合、
キーポイントは、物体が現れている状態から隠れてる状
態に移るときと、隠れている状態から現れている状態に
移るときに設定される。図１５の例において、物体２２
０１は、フレームｉまでは現れていて、フレームｉから
ｊは隠れ、フレームｊ以降はまた現れるとき、フレーム
ｉとｊにキーポイントを置き、フレームｉからｊまでの
表示フラグには隠れ状態を、それ以外のフレームの表示
フラグには現れ状態を設定する。表示フラグを対象物体
の近似図形の代表点ごとに与える場合も同様である。

【０１６７】代表点軌跡データ作成時は、全フレームに
渡って物体が現れているものとして作成し、物体が隠れ
ているため代表点の情報がわからない場合は、分かって
いる前後の代表点の情報より補完することによって、代
表点軌跡データを作成する。そして、代表点軌跡データ
を作成した後、物体が現れているか隠れているかに応じ
て表示フラグを設定する。このため、一つの物体に関し
ては物体が隠れたり現れたりしても一連の代表点軌跡デ
ータで表現することが可能となる。

【０１６８】以下、表示フラグ情報のバリエーションに
ついて説明する。

【０１６９】通常、表示フラグは各キーポイント間ごと
に設定されるが、表示フラグ自体に開始タイムスタンプ
と終了タイムスタンプを付加してもよい。この場合は、
表示される範囲や隠れる範囲がキーポイントと独立に設
定できるというメリットがある。

【０１７０】表示フラグは、１つの物体内で１つの表示
フラグを持っていてもよいし、各代表点軌跡データごと
に独立して持っていてもよい。例えば、物体が多角形で
表現されていて、その各頂点を代表点として軌跡データ
で表現した場合には、代表点軌跡データごとに独立して
表示フラグを持つことによって、物体の一部のみの隠れ
などを表現することが可能となる。

【０１７１】また、表示フラグは、現れているか隠れて
いるかだけではなく、優先度として整数の値をとるよう
にしてもよい。物体同士が重なったときは、優先度の低
い物体が優先度の高い物体に隠れていることを示し、優
先度の高い物体のみを表示する。また、優先度が０の時
は他の物体に関係なく物体は隠れているものとする。表
示フラグを上記のように整数値でとることによって、映
像中に他の物体を合成したときなどにも、物体同士の隠
れの問題を解決できるという利点がある。表示フラグを
整数値でとった場合も、１つの物体内で１つの表示フラ
グを持っていてもよいし、各代表点軌跡データごとに独
立して持っていてもよい。

【０１７２】図１７、図１８は、図５のデータ構造に表
示フラグを付加した時空間領域情報の例である。

【０１７３】図１７は、対象物体に対して表示フラグを
付加する場合における、図５及び図６の時空間領域情報
に対して「表示フラグ情報」７０６を付加した例であ
る。

【０１７４】図１８は、「表示フラグ情報」７０５の構
造例である。

【０１７５】この例は、各表示フラグ（２３０４）に、
開始タイムスタンプ（２３０２）と終了タイムスタンプ
（２３０３）を持っている。表示フラグ数（２３０１）
は表示フラグの総数で開始タイムスタンプ（２３０２）
と終了タイムスタンプ（２３０３）を利用しない場合
は、キーポイント数−１個の表示フラグを持つため、表
示フラグ数（２３０１）を省略してもよい。表示フラグ
（２３０４）は現れているか隠れているかを０か１かで
記録するが、優先度として整数値をとってもよい。

【０１７６】また、物体の近似図形の各代表点に対して
表示フラグをそれぞれ付加する場合には、例えば、時空
間領域情報の各代表点軌跡ごとに「表示フラグ情報」を
付加する。

【０１７７】図１９は、図５の時空間領域情報の各代表
点軌跡ごとに「表示フラグ情報」を付加した場合の代表
点軌跡のデータ構造の例である。図１９の「表示フラ
グ」９００の構造例は、上記と同様である。

【０１７８】さて、この場合において、ユーザが、節点
座標やコントロールポイントの移動や追加あるいは削除
などの修正を行ったときに、時空間領域情報編集処理部
５が時空間領域情報に修正を施した結果、あるフレーム
において、映像中に存在するある物体が修正前には別の
物体によって隠されていなかったのが修正後には隠され
るようになったり、その逆に修正前には別の物体によっ
て隠されていたのが修正後には隠されないようになった
りすることがあり得る。このような場合には、時空間領
域情報編集処理部５は、例えば当該フレームの前後にお
ける各時空間領域情報のフラグ情報を参照、比較するな
どによって、割り当てるべきフラグ情報の内容を決定
し、時空間領域情報をも修正するようにすればよい。な
お、その際に、例えば図１８の表示フラグの内容が更新
されるだけの場合もあれば、図１８の開始／終了タイム
の区間の分割が発生する場合もある。また、時空間領域
情報編集処理部５のみでなくユーザが介在して割り当て
るべきフラグ情報の内容を決定するようにしてもよい。

【０１７９】また、ユーザが、ステータス部３２などを
使ってフラグ情報を直接修正可能としてもよい。

【０１８０】また、ＧＵＩ画面に時空間領域情報の表示
を行う際に、表示フラグ情報の内容をもユーザに呈示す
るようにしてもよい。例えば、各近似図形の外枠もしく
は各近似図形の内部あるいは各近似図形の各代表点を、
その表示フラグ情報の内容に応じて、色、輝度、解像度
などの違いによって、識別可能に表示するようにしても
よい。

【０１８１】次に、映像中の物体が画面上に出現してか
ら消失するまでに通過した画面上での範囲を示す情報
（以下、物体通過範囲情報と呼ぶ）を含む時空間領域情
報について説明する。

【０１８２】まず、物体通過範囲情報について説明す
る。

【０１８３】物体を物体領域の代表点軌跡データで表す
とき、通常は１つの物体に対し複数の軌跡データを利用
して表現することになる。ところが、指定した点を通過
した物体を検索したい場合などには、複数の軌跡データ
から物体領域を計算することなく、物体通過範囲を表現
できれば便利である。

【０１８４】そこで、本時空間領域情報では、物体の軌
跡全体を囲むような最小の長方形または多角形の物体通
過範囲情報を生成し、これを時空間領域情報に付帯させ
るようにする。

【０１８５】長方形を利用する場合、傾きを持つ長方形
を利用してもよいし、傾きを持たない長方形を利用して
もよい。傾きを持つ長方形を利用する場合には、物体領
域の軌跡を誤差が少なく近似できる利点がある。傾きを
持たない長方形を利用する場合には、長方形のパラメー
タ計算が簡単であるという利点がある。

【０１８６】図２０（ａ）において、２４０２は物体２
４０１の軌跡領域を傾きのない長方形で近似したものの
例を示す。

【０１８７】図２０（ｂ）において、２４０３は物体２
４０１の軌跡領域を傾きのある長方形で近似したものの
例を示す。

【０１８８】図２０（ｃ）において、２４０４は物体２
４０１の軌跡領域を多角形で近似したものの例を示す。

【０１８９】物体の軌跡全体を囲むような最小の長方形
または多角形を計算するときは、各フレームにおける領
域を求めた後、全フレームに渡って領域の論理和を計算
し、得られた論理和の領域を最小の長方形または多角形
で近似する。

【０１９０】また、物体の軌跡全体を囲むような最小の
長方形または多角形を計算する際に、既に計算されてい
るフレームに関する当該物体領域の軌跡全体を囲む最小
の長方形または多角形と、新しく追加すべきフレームに
おける当該物体領域との論理和の領域を最小の長方形ま
たは多角形で近似するようにしてもよい。

【０１９１】また、物体の軌跡全体を囲むような最小の
長方形または多角形を計算する際に、各代表点の軌跡を
囲むような最小の長方形または多角形を計算し、全軌跡
に渡って得られた長方形または多角形の領域の論理和に
ついて、それを囲むような最小の長方形または多角形を
計算するようにしてもよい。

【０１９２】図２１に、物体領域情報に付帯する物体通
過範囲情報の記述例を示す。外接図形タイプ３４０１
は、外接図形のタイプを示す。例えば、０は図２０の
（ａ）に示す傾きのない長方形、１は図２０の（ｂ）に
示す傾きのある長方形、２は図２０の（ｃ）に示す多角
形を示す。外接図形タイプが０の場合は頂点数Ｎが２、
１の場合は頂点数Ｎが３、２の場合は頂点数Ｎが任意の
数となる。物体が奥行き情報を持っている場合は、同様
に奥行きの軌跡情報を加えて３次元の外接図形を考える
ことができる。その場合、図２２に示すように、奥行き
情報のＺに関する情報が追加される。

【０１９３】このように物体の軌跡全体を囲むような最
小の長方形または多角形の情報を付帯することによっ
て、物体の通過範囲を効率よく表現でき、ある座標を物
体の物体が通過するかどうか判定することなどが簡単に
行えるようになる。

【０１９４】さて、この場合においては、ＧＵＩ画面に
おいて、物体通過範囲情報をも表示するようにすればよ
い。なお、物体通過範囲情報は、例えば、近似図形を表
示するフレームすべてにおいて表示するようにしてもよ
いし、選択した１又は複数のフレームにおいてのみ表示
するようにしてもよい。

【０１９５】ユーザが、節点座標やコントロールポイン
トの移動や追加あるいは削除などの修正を行ったとき
に、時空間領域情報編集処理部５が時空間領域情報に修
正を施した結果、物体通過範囲情報が変化することがあ
り得る。このような場合には、時空間領域情報編集処理
部５は、物体通過範囲情報をも修正するようにすればよ
い。

【０１９６】また、ユーザが、表示された物体通過範囲
情報の図形を、直接、修正できるようにしてもよい。こ
の場合には、時空間領域情報編集処理部５は、ユーザの
修正の通りに、物体通過範囲情報を修正すればよい。

【０１９７】次に、モザイキングに係る時空間領域情報
について説明する。

【０１９８】まず、この時空間領域情報について説明す
る。

【０１９９】モザイキングとは、撮影範囲が一部重なる
ように撮影された複数の画像を貼り合わせ、１枚の広範
囲を撮影した画像を合成する手法である。このようにし
て合成された画像はパノラマ画像などとも呼ばれる。複
数の画像からモザイキングによりパノラマ画像を作成す
る手法は複数の提案がされている（Ｍ． Ｉｒａｎｉ，
Ｐ． Ａｎａｎｄａｎ， “Ｖｉｄｅｏ Ｉｎｄｅｘ
ｉｎｇ Ｂａｓｅｄｏｎ Ｍｏｓａｉｃ Ｒｅｐｒｅｓ
ｅｎｔａｔｉｏｎｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏ
ｆ ｔｈｅ ＩＥＥＥ， Ｖｏｌ． ８６， Ｎｏ．
５， ｐｐ．９０５−９２１， Ｍａｙ １９９８．
など）。

【０２００】本時空間領域情報は、これまでのように各
フレームにおける物体領域の近似図形の代表点の位置デ
ータをもとに近似を行うのではなく、パノラマ画像にお
ける各物体領域の近似図形の代表点の位置データをもと
に近似を行うものである。

【０２０１】図２３に、この方法を説明するための図を
示す。

【０２０２】なお、パノラマ画像はそれ自体で１つの画
像であり、合成前の各々の静止画像の各画素は、パノラ
マ画像におけるある基準点（例えば、フレーム中で左下
の点）を原点として、座標が変換されることになる。し
たがって、各静止画像における物体領域の近似図形の各
代表点は、パノラマ画像の座標系におけるＸ座標やＹ座
標についての系列となる。ここでは、各静止画像におけ
る物体領域の近似図形の各代表点のＸ座標やＹ座標につ
いての系列を、これまでのようにして、関数近似するも
のである。その際に、例えば、１つの静止画像内で差分
ベクトルをとり、あるいは静止画像間で差分ベクトルを
とって、この差分ベクトルの系列を関数近似する。

【０２０３】まず、入力された複数の静止画像からパノ
ラマ画像を作成する。これらの入力画像群は、図２３
（ａ）では２０００〜２００５に相当し、移動する物体
をカメラを移動させながら撮影した画像である。２００
６は画像内の物体で、２０００〜２００５内には同じ物
体が撮影されている。これらの画像群は動画中の連続す
るフレームや、撮影範囲を重なるようにカメラを移動し
ながら撮影した静止画であることが多いが、パノラマ画
像を作成できるような入力画像であれば何でもよい。

【０２０４】これらの入力画像群より合成されたパノラ
マ画像が図２３（ｂ）の２００７である。

【０２０５】次に、合成されたパノラマ画像内に存在す
る個々の物体領域を図形により近似する。なお、パノラ
マ画像作成と物体領域の図形近似は逆の順序で行っても
よい。ただし、パノラマ画像を合成する際の変換によっ
ては、物体領域の近似図形種の変更を必要とする場合が
ある。例えば、物体領域を矩形で近似する場合、アフィ
ン変換によりパノラマ画像の合成を行うと合成後の物体
領域は必ずしも矩形とはならない。その場合はパノラマ
画像の作成を先に行うか、パノラマ画像合成の変換後に
修正を行う。

【０２０６】次に、求められた物体領域の近似図形の代
表点や特徴点の軌跡を関数により近似する。物体領域の
軌跡は基準となる物体領域を定め、そこからの各物体領
域の変化量により求める。例えば、図２３（ｂ）におい
て、第１入力画像の物体領域２００８を基準とし、それ
に続く物体領域の変化を軌跡２００９とする。この例で
は、物体領域の重心を代表点としているが、矩形や楕円
など他の近似図形の代表点を用いる場合やその他の特徴
点を代表点として用いる場合であっても同様である。

【０２０７】基準点からの変化量の求め方は、基準点に
対する差分を用いる場合と直前の物体領域からの差分を
用いる場合があるが、これらの変化量は同様に関数近似
を行うことができる。また、基準点からの変化を代表点
や特徴点の移動ではなく、平行・回転移動やアフィン変
換などの動きモデルで近似し、その変換係数の軌跡とし
て物体の移動を記述することができる。この場合も変換
係数の軌跡を関数近似することによって適用することが
できる。

【０２０８】次に、求められた軌跡を近似する関数のパ
ラメータを前述のデータ構造体のフォーマットに従って
記述を行う。

【０２０９】また、入力画像群の個々の画像をパノラマ
画像として合成する際の諸パラメータも入力画像全体を
物体領域とみなすことにより、同様に記述することがで
きる。

【０２１０】図２４に、物体領域情報に付帯する諸パラ
メータの記述例を示す。諸パラメータは作成されたパノ
ラマ画像の座標系を、作成に用いた映像フレームの座標
とその映像フレームからパノラマ画像への変換パラメー
タによって記述するものである。ここで、どこを原点と
しても良いが、映像フレームの座標が左下に原点がある
とする。そして、モザイキングに利用されたフレームの
縦横の長さが同一で既知であるとする。統合座標フラグ
３６０１は、このようなパノラマ画像の座標系を用いた
物体の記述かどうかのフラグであり、フラグが０の時は
通常の座標系（つまり、すべての映像フレームで左下原
点）で、１の時はフレームがパノラマに統合された座標
系を示す。モデルタイプＭ３６０２は、各フレームをパ
ノラマ画像に変換したときの変換モデルのタイプを示す
ものである。例えば、モデルタイプＭが０の時は変換な
し、２の時は平行移動で、４の時は回転・拡大縮小で、
６の時はアフィンで、８の時は透視変換で、１２の時は
２次射影変換を表す。各モデルにおいて、モデルタイプ
Ｍの値と同数のパラメータがある。

【０２１１】 平行移動：Ｖx（ｘ，ｙ）＝ａ₁ Ｖy（ｘ，ｙ）＝ａ₂ 回転・拡大縮小： Ｖx（ｘ，ｙ）＝ａ₁＋ａ₃＋ａ₄ｙ Ｖy（ｘ，ｙ）＝ａ₂−ａ₄＋ａ₃ｙ アフィン変換： Ｖx（ｘ，ｙ）＝ａ₁＋ａ₃＋ａ₄ｙ Ｖy（ｘ，ｙ）＝ａ₂＋ａ₅＋ａ₆ｙ 透視変換： Ｖx（ｘ，ｙ）＝（ａ₁＋ａ₃＋ａ₄ｙ）／（１＋ａ₇＋ａ₈
ｙ） Ｖy（ｘ，ｙ）＝（ａ₂＋ａ₅＋ａ₆ｙ）／（１＋ａ₇＋ａ₈
ｙ） ２次射影変換： Ｖx（ｘ，ｙ）＝ａ₁＋ａ₃＋ａ₄ｙ＋ａ₇ｘｙ＋ａ₉ｘ²＋
ａ₁₀ｙ² Ｖx（ｘ，ｙ）＝ａ₂＋ａ₅＋ａ₆ｙ＋ａ₈ｘｙ＋ａ₁₁ｘ²＋
ａ₁₂ｙ² ここで、変換を行うための原点をＸ原点３６０３、Ｙ原
点３６０４で与える。この原点は元映像フレームの座標
系を持ち手示す。このように変換のための原点を与える
のは、変換時に生じる誤差を少なくするためである。変
換パラメータ数Ｎ３６０５は、パノラマに用いるフレー
ム数Ｎと同じである。フレーム毎に変換パラメータが必
要となる。フレーム時間３６０６は、初期フレームから
のフレーム間時間で、パラメータセット３６０７は、返
還のモデルタイプに応じてＭ個のパラメータを記述す
る。各フレーム中のオブジェクトの軌跡もこのパラメー
タセットを用いて返還され記述される。

【０２１２】このようにすれば、カメラが物体領域を追
いかけながら撮影している場合には、連続するフレーム
を画像変換を施してつながるように貼り合わせるモザイ
キングによるパノラマ画像を作成し、その作成された画
像上での物体の領域情報を記述することにより、カメラ
が移動していてもモザイキング画像のある点を基点とし
た座標系で物体の領域情報を一意に記述することができ
る。

【０２１３】さて、この場合においては、ＧＵＩ画面に
おいて、これまでのように３次元表示して時空間領域情
報を表示するようにしてもよいし、その代わりに例えば
図２３（ｂ）のようにしてパノラマ表示して、時空間領
域情報を表示するようにしてもよい。

【０２１４】ユーザが、節点座標やコントロールポイン
ト等の修正を行ったときに、時空間領域情報編集処理部
５は、該当する時空間領域情報を修正するようにすれば
よい。

【０２１５】なお、以上の各機能は、ソフトウェアとし
て実現可能である。また、本実施形態は、コンピュータ
に所定の手段を実行させるための（あるいはコンピュー
タを所定の手段として機能させるための、あるいはコン
ピュータに所定の機能を実現させるための）プログラム
として実施することもでき、該プログラムを記録したコ
ンピュータ読取り可能な記録媒体として実施することも
できる。

【０２１６】なお、この発明の実施の形態で例示した構
成は一例であって、それ以外の構成を排除する趣旨のも
のではなく、例示した構成の一部を他のもので置き換え
たり、例示した構成の一部を省いたり、例示した構成に
別の機能あるいは要素を付加したり、それらを組み合わ
せたりすることなどによって得られる別の構成も可能で
ある。また、例示した構成と論理的に等価な別の構成、
例示した構成と論理的に等価な部分を含む別の構成、例
示した構成の要部と論理的に等価な別の構成なども可能
である。また、例示した構成と同一もしくは類似の目的
を達成する別の構成、例示した構成と同一もしくは類似
の効果を奏する別の構成なども可能である。また、この
発明の実施の形態で例示した各種構成部分についての各
種バリエーションは、適宜組み合わせて実施することが
可能である。また、この発明の実施の形態は、個別装置
としての発明、関連を持つ２以上の装置についての発
明、システム全体としての発明、個別装置内部の構成部
分についての発明、またはそれらに対応する方法の発明
等、種々の観点、段階、概念またはカテゴリに係る発明
を包含・内在するものである。従って、この発明の実施
の形態に開示した内容からは、例示した構成に限定され
ることなく発明を抽出することができるものである。

【０２１７】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。

【０２１８】

【発明の効果】本発明によれば、時空間領域形状の全体
もしくは一部を参照しながら効率的に時空間領域情報を
入力・編集することが可能になる。

【図面の簡単な説明】

【図１】映像中の物体の領域を物体領域データで記述す
るための処理の概要を説明するための図

【図２】基準代表点のＸ座標の値を近似する関数を求め
る例を説明するための図

【図３】基準代表点以外の代表点を表すための差分ベク
トルの一例を説明するための図

【図４】基準代表点以外の代表点を表すための差分ベク
トルのＸ成分の値を近似する関数を求める例を説明する
ための図

【図５】時空間領域情報のデータ構造の一例を示す図

【図６】軌跡データのデータ構造の一例を示す図

【図７】時空間領域情報処理装置の構成例を示す図

【図８】時空間領域情報処理装置の他の構成例を示す図

【図９】表示方法の一例を示す図

【図１０】ユーザーインターフェースの一例を示す図

【図１１】処理手順の一例を示すフローチャート

【図１２】処理手順の一例を示すフローチャート

【図１３】処理手順の一例を示すフローチャート

【図１４】本発明の第２の実施形態に係る時空間領域情
報のデータ構造の一例を示す図

【図１５】表示フラグについて説明するための図

【図１６】代表点軌跡データ作成について説明するため
の図

【図１７】物体領域データのデータ構造のさらに他の例
を示す図

【図１８】表示フラグ情報のデータ構造の一例を示す図

【図１９】物体領域データ中の代表点軌跡データのデー
タ構造のさらに他の例を示す図

【図２０】物体通過範囲情報について説明するための図

【図２１】物体通過範囲情報のデータ構造の一例を示す
図

【図２２】物体通過範囲情報のデータ構造の他の例を示
す図

【図２３】モザイキングを用いた物体領域情報記述方法
の処理手順の一例を示すフローチャート

【図２４】モザイキングを用いた物体領域情報記述方法
について説明するための図

【符号の説明】

１…映像情報記憶部 ２…時空間領域情報記憶部 ３…表示部 ４…入力部 ５…時空間領域情報編集処理部 ６…時空間領域情報生成処理部 ３１…３次元空間投影部 ３２…ステータス部 ３３…画像特殊表示ボタン ３４…画像表示密度ボタン ３５…画像表示位置ボタン ３６…ズームボタン ３７…注視点移動ボタン ３８…視点移動ボタン

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 敏充 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C023 AA03 AA04 AA10 AA38 AA40 BA01 CA02 DA04 DA08 5L096 CA04 DA01 FA09 HA02

Claims (25)

【特許請求の範囲】
1. 【請求項１】映像データ中における任意の領域の複数フ
   レームにわたる推移を表すものとして記述された、該領
   域を示す近似図形の代表点の軌跡を特定可能な時空間領
   域情報を対象にし、該時空間領域情報に修正を施す処理
   を行うための時空間領域情報処理方法であって、 対象にした前記領域の前記時空間領域情報に基づいて、
   前記代表点の前記軌跡を求め、 求められた前記代表点の前記軌跡を、画面上に表示し、 画面上に表示された前記軌跡の形状の修正操作の入力を
   受け付け、 入力された前記修正操作に基づいて、前記時空間領域情
   報を修正することを特徴とする時空間領域情報処理方
   法。
2. 【請求項２】前記修正操作に基づいて前記時空間領域情
   報を修正した場合に、修正後の時空間領域情報に基づい
   て、あらためて、前記代表点の前記軌跡の画面上への表
   示を行い、さらなる前記所定の修正操作の入力を行うこ
   とを特徴とする請求項１に記載の時空間領域情報処理方
   法。
3. 【請求項３】前記代表点の前記軌跡を画面上に表示する
   に際して、該軌跡上の所定箇所に、修正操作用のポイン
   トを表示し、 前記修正操作用のポイントに対してなされる修正操作の
   入力を受け付け、 入力された前記修正操作に基づいて、前記時空間領域情
   報を修正することを特徴とする請求項１に記載の時空間
   領域情報処理方法。
4. 【請求項４】前記修正操作は、表示された任意の前記修
   正操作用のポイントに対する任意の方向の移動、または
   新たな前記修正操作用のポイントの追加もしくは既存の
   前記修正操作用のポイントの削除であることを特徴とす
   る請求項３に記載の時空間領域情報処理方法。
5. 【請求項５】前記軌跡が関数補間されたものである場合
   に、前記修正操作用のポイントとして、当該補間関数を
   一意に決定する個数のポイントを表示し、 前記移動または追加もしくは削除された後のポイントの
   位置により一意に決定される前記補間関数に基づいて、
   前記時空間領域情報を修正することを特徴とする請求項
   ４に記載の時空間領域情報処理方法。
6. 【請求項６】前記軌跡が関数補間されたものであって且
   つその近似区間が複数の区間からなる場合に、前記修正
   操作として前記近似区間の節点に相当するポイントにつ
   いての移動または追加もしくは削除がなされたときに
   は、該移動または追加もしくは削除がなされた後の近似
   区間に基づいて、前記時空間領域情報を修正することを
   特徴とする請求項４に記載の時空間領域情報処理方法。
7. 【請求項７】前記軌跡が関数補間されるものであって且
   つその近似区間が複数の区間からなる場合に、前記修正
   操作として前記近似区間の節点に相当するポイントにつ
   いての追加がなされたときには、前記時空間領域情報か
   ら追加するポイントの節点時刻における前記近似図形の
   形状を推定することを特徴とする請求項４に記載の時空
   間領域情報処理方法。
8. 【請求項８】前記軌跡が関数補間されたものであって且
   つその近似区間が複数の区間からなる場合に、前記修正
   操作用のポイントとして、近似区間毎に当該補間関数を
   一意に決定する個数のポイントを表示するとともに、該
   ポイントのうち近似区間の節点に相当するポイントと、
   それ以外のポイントとを、区別可能な表示形態で表示す
   ることを特徴とする請求項４に記載の時空間領域情報処
   理方法。
9. 【請求項９】前記代表点の前記軌跡を画面上に表示する
   に際して、前記映像データの所定のフレームを併せて表
   示することを特徴とする請求項１に記載の時空間領域情
   報処理方法。
10. 【請求項１０】前記映像データの所定のフレームを表示
    するにあたっては、表示すべき当該フレームを半透明に
    して表示することを特徴とする請求項９に記載の時空間
    領域情報処理方法。
11. 【請求項１１】前記映像データの所定のフレームを表示
    するにあたっては、表示すべき当該フレームにおける前
    記近似図形の外形をも認識可能な表示形態で表示するこ
    とを特徴とする請求項９に記載の時空間領域情報処理方
    法。
12. 【請求項１２】前記映像データの所定のフレームを表示
    するにあたっては、表示すべき当該フレームにおける前
    記近似図形の内部と外部とで異なる表示形態により表示
    することを特徴とする請求項９に記載の時空間領域情報
    処理方法。
13. 【請求項１３】前記代表点の軌跡を特定可能な情報は、
    当該代表点の位置データをフレームの進行に沿って並べ
    たときの軌跡を所定の関数で近似し、該関数のパラメー
    タを用いて記述されたものであることを特徴とする請求
    項１ないし１２のいずれか１項に記載の時空間領域情報
    処理方法。
14. 【請求項１４】前記代表点の軌跡を特定可能な情報は、
    当該代表点の基準となるフレームにおける位置データか
    ら、他のフレームにおける位置データへの領域変換を示
    す変換パラメータを求め、該変換パラメータについて、
    該変換パラメータをフレームの進行に沿って並べたとき
    の軌跡を所定の関数で近似し、該関数のパラメータを用
    いて記述されたものであることを特徴とする請求項１な
    いし１２のいずれか１項に記載の時空間領域情報処理方
    法。
15. 【請求項１５】前記代表点のうちの少なくとも一つにつ
    いて、当該代表点についての前記位置データが用いられ
    る代わりに、同一フレームにおける他の代表点を基準と
    したときの当該代表点の相対的な位置を示すデータが用
    いられていることを特徴とする請求項１３または１４に
    記載の時空間領域情報処理方法。
16. 【請求項１６】前記代表点の前記軌跡を画面上に表示す
    るにあたっては、前記フレームに係る２次元座標軸及び
    時間軸からなる３次元空間中に該軌跡を配置する形態で
    ３次元表示することを特徴とする請求項１ないし１５の
    いずれか１項に記載の時空間領域情報処理方法。
17. 【請求項１７】前記時空間領域情報は、前記近似図形ま
    たは前記代表点ごとに、当該近似図形または当該代表点
    について表示の有無に関する制御のためのフラグ情報を
    含むものであり、 画面上に表示された前記軌跡の形状に対して入力された
    前記所定の修正操作に基づいて前記時空間領域情報を修
    正するに際して、前記フラグ情報が示す内容に修正の影
    響が及ぶ場合には、該フラグ情報をも修正することを特
    徴とする請求項１ないし１６の１項に記載の時空間領域
    情報処理方法。
18. 【請求項１８】前記フラグ情報は、前記近似図形または
    前記代表点が見えている状態にあるフレーム区間および
    見えていない状態にあるフレーム区間を特定可能とする
    情報、または前記近似図形または前記代表点についての
    各フレーム区間における表示に関する優先度を示す情報
    であることを特徴とする請求項１７に記載の時空間領域
    情報処理方法。
19. 【請求項１９】前記時空間領域情報は、前記近似図形が
    前記複数フレームにおいて存在した範囲を包含する領域
    を示す存在範囲近似図形に関する情報をも含むものであ
    り、 画面上に表示された前記軌跡の形状に対して入力された
    前記所定の修正操作に基づいて前記時空間領域情報を修
    正するに際して、前記存在範囲近似図形が示す内容に修
    正の影響が及ぶ場合には、該存在範囲近似図形に関する
    情報をも修正することを特徴とする請求項１ないし１６
    の１項に記載の時空間領域情報処理方法。
20. 【請求項２０】前記代表点の前記軌跡を画面上に表示す
    るに際して、前記存在範囲近似図形を併せて表示するこ
    とを特徴とする請求項１９に記載の時空間領域情報処理
    方法。
21. 【請求項２１】画面上に表示された前記存在範囲近似図
    形に対する所定の修正操作の入力を受け付け可能とし、 入力された前記修正操作に基づいて、前記存在範囲近似
    図形を修正することを特徴とする請求項２０に記載の時
    空間領域情報処理方法。
22. 【請求項２２】前記時空間領域情報は、映像データ中の
    任意の連続する複数フレームについて隣接フレームをそ
    の重複部分を重ねるように次々と連結して生成されるパ
    ノラマ画像中を推移する任意の物体の領域に関する情報
    を表すために、映像データ中の対象物体の領域を、該対
    象物体の領域に対する近似図形で特定し、該パノラマ画
    像中を推移する該近似図形の複数の代表点を抽出し、該
    近似図形の代表点の該パノラマ画像中における位置デー
    タまたはこれを特定可能なデータをフレームの進行に沿
    って並べたときの軌跡を所定の関数で近似し、該関数の
    パラメータを用いて該対象物体の領域に関する情報を記
    述したものであることを特徴とする請求項１ないし１６
    の１項に記載の時空間領域情報処理方法。
23. 【請求項２３】前記映像データをパノラマ表示するとと
    もに、該パノラマ表示上に前記時空間領域情報に基づい
    て得られる前記軌跡を表示することを特徴とする請求項
    ２２に記載の記載の時空間領域情報処理方法。
24. 【請求項２４】映像データ中における任意の領域の複数
    フレームにわたる推移を表すものとして記述された、該
    領域を示す近似図形の代表点の軌跡を特定可能な時空間
    領域情報を対象にし、該時空間領域情報に修正を施す処
    理を行うための時空間領域情報処理システムであって、 対象にした前記領域の前記時空間領域情報に基づいて、
    前記代表点の前記軌跡を求めるための手段と、 求められた前記代表点の前記軌跡を、画面上に表示する
    ための手段と、画面上に表示された前記軌跡の形状の修
    正操作の入力を受け付けるための手段と、 入力された前記修正操作に基づいて、前記時空間領域情
    報を修正するための手段とを備えたことを特徴とする時
    空間領域情報入力システム。
25. 【請求項２５】映像データ中における任意の領域の複数
    フレームにわたる推移を表すものとして記述された、該
    領域を示す近似図形の代表点の軌跡を特定可能な時空間
    領域情報を対象にし、該時空間領域情報に修正を施す処
    理を行うための時空間領域情報処理システムとしてコン
    ピュータを機能させるためのプログラムであって、 対象にした前記領域の前記時空間領域情報に基づいて、
    前記代表点の前記軌跡を求めるための機能と、 求められた前記代表点の前記軌跡を、画面上に表示する
    ための機能と、 画面上に表示された前記軌跡の形状の修正操作の入力を
    受け付けるための機能と、 入力された前記修正操作に基づいて、前記時空間領域情
    報を修正するための機能とをコンピュータに実現させる
    ためのプログラム。