JP2012008683A - メタデータ付与装置、映像検索装置、方法およびプログラム - Google Patents

Abstract

【課題】被写体の動作に基づいた映像検索を実現するために映像にメタデータを付与する。
【解決手段】メタデータ付与装置１は、カメラ２によって撮影された被写体の映像を取得する映像取得部１０と、撮影時に被写体に装着されたセンサノード３によって計測されたセンサデータを取得するセンサデータ取得部１２と、被写体に関する事象を表す事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書１７と、センサデータ取得部１２が取得したセンサデータに該当する物理量表現を持つ事象が事象記述子辞書１７に登録されている場合に、この事象を表す事象記述子をメタデータとし、映像取得部１０が取得した映像にメタデータを付与するメタデータ付与部１６とを備える。
【選択図】 図２

Description

本発明は、センサおよびセンサネットワークの技術を用いて映像に言語化されたメタデータを付与するメタデータ付与装置、および検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力として、当該事象を含む映像を検索する映像検索装置に関するものである。

映像を検索する仕組みとして、これまで様々な方式が考案されている。その代表的な方式の一つは、映像区間そのものを検索鍵（目的信号）として別の映像集合（蓄積信号）から同一、もしくは類似した映像を検索する方法である（非特許文献１参照）。このような方式の場合は処理の高速化を実現するため、映像を直接比較するのではなく、目的信号と蓄積信号とから特徴の抽出を行い、特徴量を比較することで検索することが多い。また、うまく特徴を抽出することで、歪みやノイズに対してある程度の耐性を持たせることができる。

他に考えられる方式は、画像処理技術などを用いてコンテンツの内容を解釈することで映像を検索する方法である。簡易的には音声の情報によりシーンの盛り上がり状況を判別する方式がある。人手でコンテンツの内容を確認することで、コンテンツに対して場面毎にメタデータを付与して検索する方式などが考えられる。

黒住隆行，永野秀尚，柏野邦夫，"実環境で収録された映像断片をキーとする一致映像探索"，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９０−Ｄ，Ｎｏ．８，ｐｐ．２２２３−２２３１，２００７

非特許文献１に開示された、映像そのものを検索鍵（目的信号）として検索する方式では、映像の表面的な比較を行っており、内容については解釈を行っていない。そのため、映像の中で何が起きているかなどと言う内容に踏み込んだ映像検索を行うことができないという問題点があった。
また、音声を用いる方法では、特定の場面（例えばスポーツ中継など）でしか映像を判別することができないという問題点があった。人手でメタデータを付与する方式は、人手がかかりすぎるため、現実的ではない。

本発明は、上記課題を解決するためになされたもので、被写体の動作に基づいた映像検索を実現するために、映像にメタデータを付与することができるメタデータ付与装置、方法およびプログラムを提供することを目的とする。
また、本発明は、被写体の動作に基づいた映像検索を実現することができる映像検索装置、方法およびプログラムを提供することを目的とする。

本発明のメタデータ付与装置は、カメラによって撮影された被写体の映像を取得する映像取得手段と、前記撮影時に被写体に装着されたセンサによって計測されたセンサデータを取得するセンサデータ取得手段と、被写体に関する事象を表す事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書と、前記センサデータ取得手段が取得したセンサデータに該当する物理量表現を持つ事象が前記事象記述子辞書に登録されている場合に、この事象を表す事象記述子をメタデータとし、前記映像取得手段が取得した映像に前記メタデータを付与するメタデータ付与手段とを備えることを特徴とするものである。

また、本発明の映像検索装置は、被写体に起きた事象を表すメタデータが付与された映像を予め記憶する記憶手段と、検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力とし、この検索鍵の種別を判定する鍵種別判定手段と、被写体に関する事象を表す事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書と、前記検索鍵が事象をセンサデータで表現した検索鍵であって、このセンサデータに該当する物理量表現を持つ事象が前記事象記述子辞書に登録されている場合に、この事象を表す事象記述子をメタデータとして抽出するメタデータ抽出手段と、前記検索鍵が事象をキーワードで表現した検索鍵であって、当該検索鍵が前記事象記述子辞書に登録されている事象記述子以外のキーワードである場合には、当該検索鍵に対応する事象記述子を入力メタデータとし、当該検索鍵が前記事象記述子辞書に登録されている事象記述子である場合には、当該事象記述子を入力メタデータとし、前記検索鍵が事象をセンサデータで表現した検索鍵である場合には、前記メタデータ抽出手段が抽出したメタデータを入力メタデータとし、入力メタデータと一致するメタデータが付与された映像を、前記記憶手段に記憶された映像の中から検索する検索手段とを備えることを特徴とするものである。

また、本発明のメタデータ付与方法は、カメラによって撮影された被写体の映像を取得する映像取得ステップと、前記撮影時に被写体に装着されたセンサによって計測されたセンサデータを取得するセンサデータ取得ステップと、被写体に関する事象を表す事象記述子とセンサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書に、前記センサデータ取得ステップで取得したセンサデータに該当する物理量表現を持つ事象が登録されている場合に、この事象を表す事象記述子をメタデータとし、前記映像取得ステップで取得した映像に前記メタデータを付与するメタデータ付与ステップとを備えることを特徴とするものである。

また、本発明の映像検索方法は、検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力とし、この検索鍵の種別を判定する鍵種別判定ステップと、前記検索鍵が事象をセンサデータで表現した検索鍵であって、被写体に関する事象を表す事象記述子とセンサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書に、前記検索鍵のセンサデータに該当する物理量表現を持つ事象が登録されている場合に、この事象を表す事象記述子をメタデータとして抽出するメタデータ抽出ステップと、前記検索鍵が事象をキーワードで表現した検索鍵であって、当該検索鍵が前記事象記述子辞書に登録されている事象記述子以外のキーワードである場合には、当該検索鍵に対応する事象記述子を入力メタデータとし、当該検索鍵が前記事象記述子辞書に登録されている事象記述子である場合には、当該事象記述子を入力メタデータとし、前記検索鍵が事象をセンサデータで表現した検索鍵である場合には、前記メタデータ抽出ステップで抽出したメタデータを入力メタデータとし、入力メタデータと一致するメタデータが付与された映像を、記憶手段に記憶されたメタデータ付映像の中から検索する検索ステップとを備えることを特徴とするものである。
また、本発明のプログラムは、メタデータ付与方法または映像検索方法の各ステップをコンピュータに実行させることを特徴とするものである。

本発明によれば、カメラによって撮影された被写体の映像を取得すると同時に、被写体に装着されたセンサによって計測されたセンサデータを取得し、センサデータ取得手段が取得したセンサデータに該当する物理量表現を持つ事象が事象記述子辞書に登録されている場合に、この事象を表す事象記述子をメタデータとし、映像取得手段が取得した映像にメタデータを付与することにより、メタデータの付与を人手をかけることなく自動的に実現することができる。その結果、本発明では、映像の中に映っている被写体の動作に基づいた映像検索を実現することができる。

また、本発明では、検索鍵が事象をキーワードで表現した検索鍵であって、当該検索鍵が事象記述子辞書に登録されている事象記述子以外のキーワードである場合には、当該検索鍵に対応する事象記述子を入力メタデータとし、当該検索鍵が事象記述子辞書に登録されている事象記述子である場合には、当該事象記述子を入力メタデータとし、検索鍵が事象をセンサデータで表現した検索鍵であって、センサデータに該当する物理量表現を持つ事象が事象記述子辞書に登録されている場合には、事象を表す事象記述子を入力メタデータとして抽出し、入力メタデータと一致するメタデータが付与された映像を、記憶手段に記憶された映像の中から検索することにより、従来の手法では実現できなかった被写体の動作に基づいた映像検索を実現することができる。

センサデータと映像との関係を示す図である。 本発明の実施の形態に係るメタデータ付与装置の構成を示すブロック図である。 本発明の実施の形態に係るメタデータ付与装置の動作を示すフローチャートである。 本発明の実施の形態に係るメタデータ付与装置の事象記述子辞書の具体例を示す説明図である。 本発明の実施の形態に係るメタデータ付与装置の事象記述子辞書の具体例を示す説明図である。 本発明の実施の形態に係る映像検索装置の構成を示すブロック図である。 本発明の実施の形態に係る映像検索装置の動作を示すフローチャートである。 本発明の実施の形態に係る映像検索処理を説明する図である。

本発明は、センサ及びセンサネットワークの技術を用いて、言語化されたメタデータをコンテンツに付与するメタデータ付与装置、及び、メタデータ付与装置で生成したメタデータが付与されたコンテンツを用いて、所望の事象を表す言語情報または所望の事象を含む映像を検索キーとして、当該事象を含む蓄積信号中の区間を検索する映像検索装置を提供する。以下、一定の時間単位を区間と呼び、メタデータの付与および映像の検索は、この区間単位で行われるものとする。

映像を撮影する際に、その映像に写っている物や人にセンサを取り付けることで、映像と同時にセンサデータを取得し、映像とその中に写っている物や人の動きに関するセンサデータとを関連づけたものを記憶部に記憶しておく。

本発明では、センサデータで取得した単なる時系列の波形そのものをメタデータとして映像に付与するのではなく、センサデータの内容を解釈することによりセンサデータの示す事象を言語化したものをメタデータとして映像に付与し、その上で言語化されたメタデータを用いて映像を検索することを特徴としている。

例えば通常状態であれば常にかかっている重力加速度がかからない状態を判別すると、その状態は物体が落下している状態と判定することができる。また、言葉で表現しにくいような動作であっても動作で表現することで検索が可能になる。
図１にセンサデータと映像との関係を示す。図１における１００〜１０３は、後述するセンサノードが装着された物体を人が下に落とす様子を撮影した一連の映像を示している。図１の１０４は、この一連の動きに対してセンサノードから出力されるセンサデータを示している。このセンサデータを解析した結果、映像を撮影した区間で起きた事象が判定され、この事象を表す言葉（例えば「fall-vertically」）がメタデータとして得られる。

［メタデータ付与装置］
次に、映像とセンサデータ（波形）から、センサデータを言語化したメタデータを抽出して、メタデータを映像に付与するメタデータ付与装置について詳細に説明する。図２は本発明の実施の形態に係るメタデータ付与装置の構成を示すブロック図である。メタデータ付与装置１は、映像取得部１０と、蓄積信号記憶部１１と、センサデータ取得部１２と、蓄積センサデータ記憶部１３と、事象区間検出部１４と、データ補正部１５と、メタデータ付与部１６と、事象記述子辞書１７と、メタデータ付蓄積信号記憶部１８とを有する。

図３はメタデータ付与装置１の動作を示すフローチャートである。まず、映像取得部１０は、カメラ２によって撮影された検索対象となる映像を取得し、この映像を蓄積信号として蓄積信号記憶部１１に蓄積する（図３ステップＳ１００）。このとき、被写体となる物体や人にはセンサノード３が装着されている。センサノード３は、加速度センサ、照度センサ、方位センサ等のセンサと、ＣＰＵと、メモリと、無線でデータ通信を行う通信機能部などを備えている。センサノード３のＣＰＵは、センサで計測されたセンサデータを、通信機能部を通じてセンサネットワーク４に送信する。

センサデータ取得部１２は、映像取得部１０による映像の取得と同時に、被写体の状態を示すセンサデータをセンサノード３からセンサネットワーク４を通じて取得し、このセンサデータを蓄積センサデータ記憶部１３に蓄積する（図３ステップＳ１０１）。

被写体に取り付けられた加速度センサなどを考えると、被写体が動いた場合にのみセンサが反応するため、多くの時間帯でセンサが動作していないことが多い。そのため、映像を撮影している全ての区間でどのような事象（イベント）が起きているかを判定することはロスが多い。よって、本実施の形態のメタデータ付与装置１において、事象区間検出部１４は、蓄積センサデータ記憶部１３に記憶されたセンサデータを解析し、事象が起きている区間を事象区間として検出する（図３ステップＳ１０２）。

事象区間検出部１４は、例えばセンサデータが示す物理量の値が所定のしきい値以上のときに、事象が起きていると判断すればよい。例えば加速度センサの場合には、加速度がしきい値以上のときに、事象が起きていると判断すればよい。また、物理量の単位時間あたりの変化が所定のしきい値以上のときに、事象が起きていると判断してもよい。

加速度センサは３軸（Ｘ軸、Ｙ軸、Ｚ軸）の情報を持っているが、センサノード３が被写体に装着されている方向が不明である。そこで、重力加速度を用いて、実際に加速度センサがどの方向を向いているかを補正する必要がある。また、センサから出力されるセンサデータにはノイズが乗っていることが多いので、できるだけノイズを除去する。具体的には、データ補正部１５は、３軸の加速度データに含まれているノイズを例えばフィルタ処理によって除去する。さらに、データ補正部１５は、ノイズ除去後の３軸の加速度データを基に重力加速度を検出して加速度センサがどの方向に傾いているかを検出し、検出した加速度センサの向きとノイズ除去後の３軸の加速度データとから、鉛直方向の加速度データとそれに垂直な水平面内での加速度データとを計算する（図３ステップＳ１０３）。こうして、データを補正することができる。なお、加速度センサ以外の他のセンサのセンサデータについては、ノイズ除去を行えばよい。

次に、メタデータ付与部１６は、事象区間検出部１４で検出した事象区間を対象として、実際にどのような事象が起きたかを判定する（図３ステップＳ１０４）。事象を判定する方法については、例えば特開２００７−３０４６９２号公報に開示されている。以下、特開２００７−３０４６９２号公報に開示された技術を基に、事象を判定する方法について説明する。

事象記述子辞書１７は、人や物体に関する事象を示す動詞からなる述語と、当該述語が属するグループを示すラベルからなる事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現とを対応付けて予め記憶するデータベースである。
図４を参照して、事象記述子辞書１７について詳細に説明する。図４は事象記述子辞書１７の具体例を示す説明図である。

事象記述子辞書１７は、次のようにして予め生成される。まず、シソーラス体系を用いて、「運動」に関係する基本的な動詞と「スカラー物理量」に関係する基本的な動詞とを種として、シソーラスの関係にあるリンクを辿っていき、物理現象と対応付けできる述語を可能な限り集める。
ここでは、英語の電子シソーラス体系ＷｏｒｄＮｅｔ（例えば文献「C.Fellbaut，WordNet：an electronic lexical database，MIT Press，1998」参照）を利用して、「運動」に関係する動詞「move,reach,pass,exit,touch,enter」と、「スカラー物理量」に関係する動詞「rise,drop,increase,keep,remain」とを種として、シソーラスの関係にあるリンクを次々に辿っていき、物理現象と対応付けできる述語をすべて集める。

その際、厳密に同一の意味を持つ複数の述語は１つのグループとして、ＷｏｒｄＮｅｔ中に記載されているその意味を表現する節を利用してそのグループにラベル付けする。例えば、動詞「shift,dislodge,reposition」は、「change direction（方向を変える）」という共通の意味を持つ１つのグループを形成し、そのグループに対して「change-direction」というラベルを付ける。このようにして、ラベル付けされた述語グループをそれぞれ作成する。

次に、これら述語グループごとに、他動詞か自動詞かの区別をして、ラベルに補助記号を導入する。例えば、ラベル「change-location」については、他動詞「move,travel,locomote,go」のグループの場合、「change-location(a,o)」のように２つの引数を付け、引数aが他動詞における主語を表現し、引数oが目的語を表現できるようにする。一方、自動詞の場合は、「change-location(o)」と主語のみを明示できるようにするか、あるいはそれを省略して「change-location」と表現する。

さらに、時間や場所などの情報をその意味として内包する単語があり、それらの単語群に対するラベルにその情報を明示する引数を付与する表現を導入する。すなわち、「reach-destination」というラベルを貼られた自動詞単語群「read,arrive at,gain」は、到達すべき「場所」あるいは「物体」があることをその意味に内包しているので、「reach-destination(b:object)」、あるいは正確には「(reach-destination(o))(b:object)」と表記する。この引数を持ったラベルを事象記述子と呼び、事象記述子をアルファベット順に並べて電子化した事象記述子辞書１７を作成する。また、そのラベルに対する単語群はその事象記述子に関連付けられる。

事象記述子辞書１７においては、図４に示すように、対象となる人や物体に関する事象を示す述語１７Ａに対して、事象記述子１７Ｂと物理量表現１７Ｃが対応付けられている。物理量表現１７Ｃは、当該事象を時間分割して設けたそれぞれの区間を示す時間制約式からなる時間制約式部１７Ｅと、当該区間における当該事象を３次元座標や速度、温度、湿度、加速度などの任意の物理量で表現した物理式（P1,P2,P3）からなる物理式部１７Ｄとの組から構成されている。

例えば、図４（Ａ）の例では、「move,travel,locomote」という各述語１７Ａに対して、「change-location(a,o)」という事象記述子１７Ｂと、
P1:do not care (tO≦t＜t1),
P2:|v|＞0 (t1≦t≦t2),
P3:do not care (t2＜t≦t3).
という物理量表現１７Ｃとが関連付けられている。ここで、物理量表現１７Ｃのうち、時間制約式部１７Ｅにおけるt0,t1,t2,t3は実数値を取る時刻を表わすパラメータであり、時刻t1が当該事象の発生時刻に相当し、時刻t2が当該事象の終了時刻に相当する。

したがって、物理式部１７Ｄのうち式P1が事象発生直前の区間における対象物の状態を示し、式P2が事象発生中の区間における対象物の状態を示し、式P3が事象発生直後の区間における対象物の状態を示している。
図４（Ａ）の例では、時刻t1から時刻t2の事象発生中区間における条件として、対象物oの速度ベクトルvの大きさ|v|が０より大きいという条件、すなわち対象物oが移動していることが物理式部１７Ｄで規定されていることになる。

また、図４（ｂ）の例では、「move」という述語１７Ａに対して、「(go-from-region-to-region(o))(r1:region,r2:region)」という事象記述子１７Ｂと、
D(x,r1)＝0 (t0≦t＜t1),
|v|＞0 & D(x,r2)＞0 (t1≦t≦t2),
D(x,r2)＝0 (t2＜t≦t3).
という物理量表現１７Ｃとが関連付けられている。ここで、物理量表現１７Ｃのうち、xは対象物oの３次元座標であり、D(r1,r2)は、r1とr2のユークリッド距離を表わし、vは対象物oの速度ベクトルを表わす。この場合、対象物oは時刻t1以前の区間において領域region1にあり、時刻t1から動きが始まって時刻t2で領域region2に到達し、時刻t2より後の区間ではregion2にあることを表現している。&は論理積を示す。

また、図４（ｃ）の例では、「drop」という述語１７Ａに対して、「fall-vertically(o)」という事象記述子１７Ｂと、
do not care (tO≦t＜t1),
(v/|v|)・(g/|g|)＝1 & a＝9 (t1≦t≦t2),
do not care (t2＜t≦t3).
という物理量表現１７Ｃとが関連付けられている。ここで、物理量表現１７Ｃのうち、gは重力定数ベクトル、「・」は内積、aは対象物oの加速度を表わす。この場合、対象物oは時刻t1から時刻t2の区間において加速度gで鉛直下に向かって動いていることを表している。このようにして、各述語１７Ａを代表する事象記述子１７Ｂの各々についての物理量表現１７Ｃを策定し、事象記述子辞書１７に保存しておく。図５は、事象記述子と物理量表現の具体例を示す説明図である。

メタデータ付与部１６は、以上のような事象記述子辞書１７を参照し、事象区間検出部１４で検出した事象区間内のセンサデータに該当する物理量表現を持つ事象が事象記述子辞書１７に登録されている場合には、当該事象が事象区間内で起きたと判定する（図３ステップＳ１０４）。

例えば図５に示すように「drop」という述語に対して、「fall-vertically(o)」という事象記述子と、
do not care (tO≦t＜t1);0＜t1-t0,
(v/|v|)・(g/|g|)＝1 & a＝g (t1≦t≦t2);200msec≦t2-t1＜800msec,
do not care (t2＜t≦t3);0＜t3-t2.
という物理量表現とが関連付けられて事象記述子辞書１７に登録されているとする。ここで、データ補正部１５によって補正された、事象区間内のセンサデータに、２００ｍｓｅｃから８００ｍｓｅｃ未満の経過時間で加速度gで鉛直下に向かって動いたことを示すセンサデータが含まれている場合、図５に示した物理量表現に該当するので、メタデータ付与部１６は、「fall-vertically(o)」という事象記述子で表現される事象、すなわち「落ちる」という言葉で表現される事象が事象区間内で起きたと判定する。

なお、条件「(v/|v|)・(g/|g|)＝1 & a＝g」が成立するかどうかを判定するためには、速度ベクトルvが必要である。速度ベクトルvを算出するには、初速を「０（ゼロ）」とおいて、加速度を数値積分することにより各時刻における速度ベクトルvを算出することができる。

次に、メタデータ付与部１６は、事象区間内で起きた事象を判定できた場合に、この事象を表す言葉（例えば「fall-vertically」という事象記述子）をメタデータとして、このメタデータを当該事象区間に相当する時間区間の蓄積信号に付与し、メタデータを付与した蓄積信号をメタデータ付蓄積信号記憶部１８に蓄積する（図４ステップＳ１０５）。
以上で、メタデータ付与装置１の処理が終了する。

［映像検索装置］
次に、メタデータ付与装置１で生成されたメタデータ付蓄積信号を用いて、映像検索を行う映像検索装置について説明する。図６は本発明の実施の形態に係る映像検索装置の構成を示すブロック図である。映像検索装置５は、メタデータ付蓄積信号記憶部５０と、映像取得部５１と、センサデータ取得部５２と、検索鍵入力部５３と、鍵種別判定部５４と、メタデータ抽出部５５と、事象記述子辞書５６と、蓄積信号検索部５７と、出力部５８とを有する。

図７は映像検索装置５の動作を示すフローチャートである。メタデータ付蓄積信号記憶部５０には、メタデータ付与装置１で生成されたメタデータ付蓄積信号が格納される。
検索鍵入力部５３には、映像検索装置５の使用者によって検索鍵が入力される（図７ステップＳ２００）。検索鍵としては、（１）人や物体の検索したい動きを言葉で表現したもの、（２）人や物体の検索したい動きを映像とセンサデータとの組で表現したもの、が考えられる。

検索鍵として人や物体の検索したい動きを言葉で表現したキーワードを用いる場合には、例えば「drop」や「fall-vertically」といったキーワードを検索鍵として検索を行うことで、人や物体が「落ちる」動作をしている蓄積信号中の区間を検索することができる。

また、検索鍵として人や物体の検索したい動きを映像とセンサデータとの組で表現したものを用いる場合には、映像検索装置５の使用者が例えばカメラの前でセンサノードを付けた状態で検索したい動作を実際に行い、取得した映像とセンサデータとを検索鍵とする。この場合は、映像取得部５１がカメラ２によって撮影された映像を取得すると同時に、センサデータ取得部５２がセンサデータをセンサノード３からセンサネットワーク４を通じて取得する。これにより、使用者が行った動作に類似する動作を含む蓄積信号中の区間を検索することができる。なお、検索鍵として、メタデータ付蓄積信号記憶部５０に記憶された一区間の蓄積信号とセンサデータとを利用しても良い。（１）、（２）のどちらの場合でも、全く同じ映像を検索するというよりは、検索鍵で指定された動きと同じような動きを含む映像を探索することができることが本実施の形態の特徴である。

続いて、鍵種別判定部５４は、検索鍵入力部５３から入力された検索鍵の種別が、上記の（１）人や物体の検索したい動きを言葉で表現したもの、（２）人や物体の検索したい動きを映像とセンサデータとの組で表現したもののどちらであるかを判別する（図７ステップＳ２０１）。鍵種別判定部５４は、入力された検索鍵が、人や物体の検索したい動きを言葉で表現したキーワード（たとえば「drop」）であれば、この検索鍵を対応する事象記述子（例えば「fall-vertically」）に変換した上で、メタデータとして蓄積信号検索部５６へ送信する（図７ステップＳ２０２）。なお、検索鍵が事象記述子の場合には、変換は必要ないのでそのままメタデータとして蓄積信号検索部５６へ送信してよい。また、鍵種別判定部５４は、入力された検索鍵が、人や物体の検索したい動きを映像とセンサデータとの組で表現したものであれば、この検索鍵をメタデータ抽出部５５へ送信する（図７ステップＳ２０３）。

メタデータ抽出部５５は、鍵種別判定部５４から入力された検索鍵であるセンサデータの区間を事象区間として、メタデータ付与装置１におけるデータ補正部１５およびメタデータ付与部１６と同様の処理を行い、検索鍵であるセンサデータに対応する事象を判定して、この事象を表す言葉をメタデータとして蓄積信号検索部５６へ送信する（図７ステップＳ２０４）。具体的には、メタデータ抽出部５５は、センサデータに対してデータ補正部１５と同様のノイズ除去処理および補正処理を行った後、事象記述子辞書５６を参照し、補正したセンサデータに該当する物理量表現を持つ事象が事象記述子辞書５６に登録されている場合には、当該事象が事象区間内で起きたと判定し、この事象を表す言葉をメタデータとする。

蓄積信号検索部５６は、鍵種別判定部５４またはメタデータ抽出部５５から入力されたメタデータを用いて、メタデータ付蓄積信号記憶部５０に記憶された蓄積信号を検索する（図７ステップＳ２０５）。具体的には、蓄積信号検索部５６は、入力されたメタデータと一致するメタデータが付与された時間区間の蓄積信号を、メタデータ付蓄積信号記憶部５０から検索し、検索した時間区間の蓄積信号を検索結果の映像として出力部５８へ出力する。出力部５８は、この検索結果の映像を表示する。
以上で、映像検索装置５の処理が終了する。

以上の検索処理のイメージを図８に示す。図８の８００は、センサノードが装着された物体を人が下に落とす様子を撮影した映像を示している。図８の８０１は、この動きに対してセンサノード３から出力されたセンサデータを示している。メタデータ付与装置１がセンサデータを解析した結果、映像を撮影した区間で起きた事象が判定され、この事象を表す「fall-vertically」というメタデータが得られ、このメタデータが映像に付与される。メタデータが付与された映像は、メタデータ付与装置１を通じて映像検索装置５のメタデータ付蓄積信号記憶部５０に格納される。

次に、図８の８０２は、センサノードを手に装着した使用者が検索鍵を入力するために振り上げた手を下げる様子を撮影した映像を示している。図８の８０３は、この動きに対してセンサノード３から出力されたセンサデータを示している。映像検索装置５がセンサデータを解析した結果、映像を撮影した区間で起きた事象が判定され、この事象を表す「fall-vertically」というメタデータが得られる。蓄積信号検索部５６は、このメタデータを用いて、メタデータ付蓄積信号記憶部５０に記憶された蓄積信号を検索する。

以上のように本実施の形態では、映像にメタデータを自動的に付与することができ、また映像にメタデータを付与することにより、従来の手法では実現できなかった被写体の動作に基づいた映像検索を実現することができる。

なお、本実施の形態のメタデータ付与装置１と映像検索装置５の各々は、それぞれＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。各々の装置のＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明した処理を実行する。
また、本実施の形態では、メタデータ付与装置１と映像検索装置５とを別々の装置としているが、メタデータ付与装置１と映像検索装置５とを一体の装置としてもよい。

本発明は、センサおよびセンサネットワークの技術を用いて映像に言語化されたメタデータを付与する技術、および検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力として、当該事象を含む映像を検索する技術に適用することができる。

１…メタデータ付与装置、２…カメラ、３…センサノード、４…センサネットワーク、５…映像検索装置、１０…映像取得部、１１…蓄積信号記憶部、１２…センサデータ取得部、１３…蓄積センサデータ記憶部、１４…事象区間検出部、１５…データ補正部、１６…メタデータ付与部、１７…事象記述子辞書、１８…メタデータ付蓄積信号記憶部、５０…メタデータ付蓄積信号記憶部、５１…映像取得部、５２…センサデータ取得部、５３…検索鍵入力部、５４…鍵種別判定部、５５…メタデータ抽出部、５６…事象記述子辞書、５７…蓄積信号検索部、５８…出力部。

Claims (5)

1. カメラによって撮影された被写体の映像を取得する映像取得手段と、
   前記撮影時に被写体に装着されたセンサによって計測されたセンサデータを取得するセンサデータ取得手段と、
   被写体に関する事象を表す事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書と、
   前記センサデータ取得手段が取得したセンサデータに該当する物理量表現を持つ事象が前記事象記述子辞書に登録されている場合に、この事象を表す事象記述子をメタデータとし、前記映像取得手段が取得した映像に前記メタデータを付与するメタデータ付与手段とを備えることを特徴とするメタデータ付与装置。
2. 被写体に起きた事象を表すメタデータが付与された映像を予め記憶する記憶手段と、
   検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力とし、この検索鍵の種別を判定する鍵種別判定手段と、
   被写体に関する事象を表す事象記述子と、センサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書と、
   前記検索鍵が事象をセンサデータで表現した検索鍵であって、このセンサデータに該当する物理量表現を持つ事象が前記事象記述子辞書に登録されている場合に、この事象を表す事象記述子をメタデータとして抽出するメタデータ抽出手段と、
   前記検索鍵が事象をキーワードで表現した検索鍵であって、当該検索鍵が前記事象記述子辞書に登録されている事象記述子以外のキーワードである場合には、当該検索鍵に対応する事象記述子を入力メタデータとし、当該検索鍵が前記事象記述子辞書に登録されている事象記述子である場合には、当該事象記述子を入力メタデータとし、前記検索鍵が事象をセンサデータで表現した検索鍵である場合には、前記メタデータ抽出手段が抽出したメタデータを入力メタデータとし、入力メタデータと一致するメタデータが付与された映像を、前記記憶手段に記憶された映像の中から検索する検索手段とを備えることを特徴とする映像検索装置。
3. カメラによって撮影された被写体の映像を取得する映像取得ステップと、
   前記撮影時に被写体に装着されたセンサによって計測されたセンサデータを取得するセンサデータ取得ステップと、
   被写体に関する事象を表す事象記述子とセンサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書に、前記センサデータ取得ステップで取得したセンサデータに該当する物理量表現を持つ事象が登録されている場合に、この事象を表す事象記述子をメタデータとし、前記映像取得ステップで取得した映像に前記メタデータを付与するメタデータ付与ステップとを備えることを特徴とするメタデータ付与方法。
4. 検索したい事象をキーワードもしくはセンサデータで表現した検索鍵を入力とし、この検索鍵の種別を判定する鍵種別判定ステップと、
   前記検索鍵が事象をセンサデータで表現した検索鍵であって、被写体に関する事象を表す事象記述子とセンサデータを用いた式で表現した当該事象の物理量表現との対応関係を予め記憶する事象記述子辞書に、前記検索鍵のセンサデータに該当する物理量表現を持つ事象が登録されている場合に、この事象を表す事象記述子をメタデータとして抽出するメタデータ抽出ステップと、
   前記検索鍵が事象をキーワードで表現した検索鍵であって、当該検索鍵が前記事象記述子辞書に登録されている事象記述子以外のキーワードである場合には、当該検索鍵に対応する事象記述子を入力メタデータとし、当該検索鍵が前記事象記述子辞書に登録されている事象記述子である場合には、当該事象記述子を入力メタデータとし、前記検索鍵が事象をセンサデータで表現した検索鍵である場合には、前記メタデータ抽出ステップで抽出したメタデータを入力メタデータとし、入力メタデータと一致するメタデータが付与された映像を、記憶手段に記憶されたメタデータ付映像の中から検索する検索ステップとを備えることを特徴とする映像検索方法。
5. 請求項３または４に記載の各ステップをコンピュータに実行させることを特徴とするプログラム。