JP2009128946A - メタデータ付与装置及び方法 - Google Patents

Abstract

【課題】 コンテンツデータの内容からは想像し難いメタデータを自動的に付与することができ、これによってユーザのメタデータ作成負荷を軽減することができるメタデータ付与装置及び方法を提供する。
【解決手段】 記憶装置１０６は、コンテンツデータと、そのコンテンツデータについてのメタデータで構成される付属データとのセットを複数記憶している。入力装置１０４を介して、第１のコンテンツデータ及びこれに付随する第１の付属データが入力されると、その第１の付属データに基づいて、記憶装置から、第１のコンテンツデータと関連性を有する第２のコンテンツデータが抽出される。さらに、抽出された第２のコンテンツデータに付随する第２の付属データに含まれ第１の付属データには含まれない所定のメタデータが、第１の付属データに追記される。
【選択図】 図１

Description

本発明は、コンテンツデータにメタデータを付与する技術に関する。

映像や音声などのコンテンツデータは一般に、それに付随する付属データによって検索が可能になっている。例えば、近年のデジタルカメラで撮影された画像データは、社団法人電子情報技術産業協会（ＪＥＩＴＡ）が策定したＥｘｉｆ規格に準拠した付属データと共に記憶媒体に記録される。撮影画像データに付与されるメタデータはユーザにとって有効なデータ管理のための重要な役割を担っている。一方、記憶媒体の容量の増加により撮影画像の記録可能枚数は増大し続けており、ユーザの手によって個々の画像データに対して検索に有効なメタデータを一つ一つ付与することは困難な状況になってきている。

特許文献１は、ユーザによるメタデータ作成の負荷を軽減させるためのデータ付与方法を提案している。この提案においては、メタデータ付与対象のファイルに関連するファイルから時間情報及び非時間情報メタデータを取得する。そして、取得したメタデータから推定される予め定義されたメタデータ一覧の中から付与確率の高いメタデータ候補を表示し、必要なものをユーザに選択させることで、メタデータ作成負荷を軽減させる、というものである。

特開２００５−６５１２１号公報

しかしながら、従来の方法は、撮影画像データの内容をユーザが直接確認しながら必要なメタデータを付与する方法であったため、画像の内容からは想像し難いメタデータを付与することは困難であった。例えば、複数人で旅行に出掛けた時の参加者の名前によってその旅行中に撮影した風景画像を検索することは困難であった。

そこで、本発明は、コンテンツデータの内容からは想像し難いメタデータを自動的に付与することができ、これによってユーザのメタデータ作成負荷を軽減することができるメタデータ付与装置及び方法を提供することを目的とする。

本発明の一側面によれば、映像及び音声の少なくともいずれか一方を含むコンテンツデータと、前記コンテンツデータについてのメタデータで構成される付属データとのセットを複数記憶する記憶手段と、第１のコンテンツデータ及びこれに付随する第１の付属データを入力する入力手段と、前記入力手段により入力された前記第１の付属データに基づいて、前記記憶手段から、前記第１のコンテンツデータと関連性を有する第２のコンテンツデータを抽出する抽出手段と、前記抽出手段により抽出された前記第２のコンテンツデータに付随する第２の付属データに含まれ前記第１の付属データには含まれない所定のメタデータを、前記第１の付属データに追記する第１の追記手段とを備えることを特徴とするメタデータ付与装置が提供される。

本発明によれば、コンテンツデータの内容からは想像し難いメタデータを自動的に付与することができ、これによってユーザのメタデータ作成負荷を軽減することができる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

図１は、本実施形態におけるメタデータ付与装置の構成を示すブロック図である。なお、本発明は、映像及び音声の少なくともいずれか一方を含むコンテンツデータに対するメタデータを管理する手法に関するものであるが、以下の実施形態では、コンテンツデータの一例として画像データを取り扱う。

同図において、１０１はＣＰＵ（中央演算装置）であり、画像表示のための演算・論理判断等を行い、バス１０８を介して後述する各構成要素を制御する。１０２はＣＰＵ１０１によって実行される制御プログラムや各種データをはじめ、図示のメタデータ管理プログラムを記憶しているＲＯＭ、１０３は処理中の各種制御のための一時記憶用のワークエリアとして使用されるＲＡＭである。１０４は入力装置であり、キーボード、マウス等から構成される。１０５は表示装置であり、液晶ディスプレイ等で構成される。１０６は記憶装置であり、ハードディスクやフラッシュメモリ等から構成され、処理中のデータや画像データ、メタデータ等を記憶する。１０７は通信装置で、ＵＳＢ等の外部入出力機器やモデム等の有線あるいは無線通信機器から構成され、外部機器とのデータ交換を行う。１０８はバスであり、１０１から１０７までの構成要素間で各種プログラムやデータのやり取りを行うものである。

記憶装置１０６は、例えば、入力装置１０４からの指令に応答して、画像データ、表示用のサムネイル画像データ、画像データについてのメタデータで構成される付属データのセットを複数記憶することができる。メタデータ付与装置には、例えば通信装置１０７を介して、第１のコンテンツデータとしての画像データ及びこれに付随する第１の付属データを入力することができる。これらが入力されると、その入力された画像データと記憶装置１０６に格納されている画像データとの間で関連性が判定され、関連性のある第２のコンテンツデータとしての画像データが抽出される。その後、その抽出された関連画像データに付随する第２の付属データに含まれる所定のメタデータが、上記入力した画像データに流用される。

そして、入力装置１０４を介して入力されたユーザの画像表示要求あるいは画像検索要求に応答して、メタデータを用いた画像又は表示用サムネイルの検索が可能になっている。ユーザは検索結果から所望の画像を選択でき、選択された画像データを表示装置１０５に表示させることができる。以上の機能は、ＲＯＭ１０２あるいはバス１０８を介して外部からＲＡＭ１０３に転送された制御プログラムやメタデータ管理プログラムをＣＰＵ１０１が処理することで実現される。

図２−図７は、本発明の一実施形態に係るメタデータ付与装置において登録された画像に対して関連性判定を行い、関連画像データから流用されたメタデータを付与する処理を行う例を示す図である。

図２は、本実施形態におけるメタデータ付与装置に予め登録されている画像データと、今回メタデータ付与対象となる画像データを示したものである。図示されている３枚の画像データのうち、２０１は画像内に複数の人物を含む人物画像であり、２０２及び２０３は人物を含まない風景画像である。２０１及び２０２は登録済み画像データであり、同一の動画データから抽出されたシーン画像である。また、２０４、２０５はそれぞれ２０１、２０２の画像データに付随する、メタデータで構成される付属データである。すなわち２０１、２０２は同じ動画に含まれるという関連性が存在する。これらのメタデータはシーン画像解析機能によって予め自動的に付与されているものとする。この例では、これらの画像データ及び付属データを記憶装置１０６に格納している。

２０３は本実施形態において今回メタデータ付与対象となる登録画像データであり、動画データから抽出された画像データ２０１，２０２とは別に撮影された静止画像データである。２０６は画像データ２０３の付属データであり、「撮影機器」、「撮影日」、「撮影時刻」のメタデータ項目は撮影機器に搭載された機能によって自動的に付与されている。また、「撮影場所」についてもＧＰＳ機能を搭載した機器での撮影によって撮影場所の緯度、経度から自動的に付与されている。この例では、この画像データ２０３は、入力装置１０４を介して登録される。

図３は、メタデータ流用項目をフィルタリングするためのメタデータ流用対象外の項目リストである。メタデータ項目には「イベント」のように流用することによって本発明による効果が得られるものと、「撮影機器」、「撮影日」、「撮影時刻」のように既に個々の機器で付与されるために流用する必要のないものが存在する。図３は、流用する必要がないメタデータ項目を列挙したものである。例えば「撮影場所」については各機器がＧＰＳ機能を持つ場合にはメタデータの流用項目から除外するなどの選択を行う。流用対象に含めない項目についてはリスト３０１に設定し、記憶装置１０６に予め記憶しておく。

３０１は画像データ２０１と２０２の関係における流用対象外リストであり、３０２は画像データ２０２と２０３の関係における流用対象外リストである。この場合、両者の画像の類似性に基づく判定を行うため、多くのメタデータが流用可能である。そのため「撮影機器」、「撮影日」、「撮影時刻」のみを流用対象外とし、他の項目は流用対象としている。また、３０２は画像データ２０１と２０３の関係における流用対象外リストである。この場合は両者が同一画像群に属する関係であるため、「撮影機器」、「撮影日」、「撮影時刻」に加え、「撮影場所」も流用対象外としている。

図４は、図２で示した３つの画像データ間の関連性の判定とメタデータ流用の関係を図示したものである。画像データ２０１、２０２及びそれらの付属データ２０４、２０５が予め動画４０１の各シーンとして記憶装置１０６に記録されている。ユーザによって入力装置１０４に新規登録データとして画像データ２０３が入力されると、画像データ間の関連性４０２を特定するために、まずメタデータ比較によって対象画像データの絞込みを行う。これには例えば、画像データ２０３に予め付与された付属データ２０６におけるメタデータ「撮影日」、「撮影時刻」（すなわち、コンテンツデータの作成日時）を用いる。具体的には、この作成日時をクエリーとし、記憶装置１０６に記憶されている画像データの中から当該作成日時に対して所定の時間範囲内にある作成日時のメタデータを含んだ付属データに関連付けられる画像データを抽出する。ここで、上記所定の時間範囲の定義は予め記憶装置１０６に保持しておく。またその定義は、画像データ２０３入力時の入力パラメータとしてユーザに指定させるようにしてもよい。

次に、類似画像の判定を上記のメタデータ検索結果によって絞り込まれた画像データに対して行い、例えば、最も関連度の高い画像データ２０２が特定される。このように高速なメタデータ比較で絞り込んだ後、負荷の高い類似性判定処理を行うことにより、現実的な時間で精度の高い類似画像判定を実現できる。

次に、もう１つの画像データの関連性４０４を特定する。この特定処理は、関連性４０２によって抽出された画像データ２０２が第１のシーン画像データとして属する動画データ内の別のシーン画像を抽出するものである。図４の例では、この特定処理によって画像データ２０１が第２のシーン画像データとして特定される。もちろん動画が複数のシーンを持つときは、２０１に該当する画像データは複数特定されることがある。

ここで、上記関連性４０２については、その判定方法から、関連画像間での意味的結びつきが強い。一方、上記関連性４０４については４０２に比べると画像として表現されている被写体に関する結びつきは強くないため、流用できるメタデータは比較的抽象度の高いものになると言える。

４０３はメタデータ流用処理である。まず、関連性４０２によって関連付けられた画像データ２０２の付属データ２０５からメタデータ流用対象外の項目リスト３０１に含まれない項目、この例では「イベント」、「撮影場所」を抽出する。一方、「撮影機器」、「撮影日」、「撮影時刻」についてはリスト３０１に含まれるため抽出されない。次に画像データ２０３の付属データ２０６との内容を比較し、「イベント」、「撮影場所」が付属データ２０６に含まれていない場合にはこれらを付属データ２０６に追記する（第１の追記処理）。また、逆に付属データ２０６にしか含まれないメタデータ項目の画像データ２０１へのメタデータ流用も行う。図４の例では、付属データ２０６にしか含まれない「天候」の項目を、画像データ２０２の付属データ２０５に追記している。

４０５は更なるメタデータ流用処理である。関連性４０４によって間接的に関連付けられた画像データ２０１の付属データ２０４（第３の付属データ）から、メタデータ流用対象外の項目リスト３０２に含まれない項目、この例では「イベント」、「同行者」を抽出する。一方、「撮影機器」、「撮影日」、「撮影時刻」、「撮影場所」についてはリスト３０１に含まれるため抽出されない。

次に、画像データ２０３の付属データ２０６との内容を比較し、「イベント」、「同行者」が付属データ２０６に含まれていない場合にはこれらを付属データ２０６に追記する（第２の追記処理）。また、逆に付属データ２０６にしか含まれないメタデータ項目の画像データ２０１へのメタデータ流用も行う。図４の例では、付属データ２０６にしか含まれない「天候」の項目を付属データ２０４に追記している。

このように、本実施形態によれば、１つの撮影機器が備える機能によって自動付与されたメタデータ項目が、その機能を持たない他の機器で撮影した画像データの付属データに自動的に流用される。

図５は、本実施形態に係るメタデータ付与装置において、ユーザの指示に基づいて撮影画像を登録する登録処理の一例を示すフローチャートである。

まず、ステップＳ５０１において、登録対象の画像データＡを、例えば通信装置１０７を介して入力する。

次いで、画像データＡのメタデータ項目「撮影日時」を基に、記憶装置１０６に記憶されている画像データの中から近接する撮影日時のメタデータを持つ画像データを絞り込むことで画像の関連性の判定を行う（ステップＳ５０２）。その後、画像の関連性の判定により登録対象画像に最も関連すると判定された関連画像データＢを取得する（ステップＳ５０３）。

次いで、ステップＳ５０４において、画像データＡ−Ｂ間でのメタデータ流用処理を行う。ステップＳ５０４の詳細は図６を参照して後述する。

次いで、ステップＳ５０５において、画像データＢが含まれる画像群から関連画像データ一覧を取得する。

次いで、ステップＳ５０６において、ステップＳ５０５の結果から取得した画像データを評価対象画像データＣに設定する。

次いで、ステップＳ５０７において、画像データＡ−Ｃ間でのメタデータ流用処理を行う。ステップＳ５０７の詳細は図７を参照して後述する。

次いで、ステップＳ５０８において、画像データとメタデータを記憶装置１０６に保存し処理を終了する。

図６は、画像データＡ−Ｂ間でのメタデータ流用処理（ステップＳ５０４）の詳細手順を示すフローチャートである。

まず、ステップＳ６０１において、流用対象外メタデータ項目リストを取得する。次いで、ステップＳ６０２にて、画像データＢから流用可能なメタデータ項目を取得する。

次いで、ステップＳ６０３において、画像データＢが画像データＡのメタデータに含まれない流用可能メタデータ項目を持つかを判定する。項目ありの場合にはステップＳ６０４において、該当する画像データＢの流用メタデータ項目を画像データＡのメタデータに付与する。

次いで、ステップＳ６０５では、ステップＳ６０３とは逆に画像データＡが画像データＢのメタデータに含まれない流用可能メタデータ項目を持つかを判定する。項目ありの場合にはステップＳ６０６において、該当する画像データＡの流用メタデータ項目を画像データＢのメタデータに付与する。

図７は画像データＡ−Ｃ間でのメタデータ流用処理（ステップＳ５０７）の詳細手順を示すフローチャートである。

まず、ステップＳ７０１において、流用対象外メタデータ項目リストを取得する。次いで、ステップＳ７０２にて、画像データＣから流用可能なメタデータ項目を取得する。

次いで、ステップＳ７０３において、画像データＣが画像データＡのメタデータに含まれない流用可能メタデータ項目を持つかを判定する。項目ありの場合にはステップＳ７０４において、該当する画像データＣの流用メタデータ項目を画像データＡのメタデータに付与する。

次いで、ステップＳ７０５では、ステップＳ７０３とは逆に、画像データＡが画像データＣのメタデータに含まれない流用可能メタデータ項目を持つかを判定する。項目ありの場合にはステップＳ７０６において、該当する画像データＡの流用メタデータ項目を画像データＣのメタデータに付与する。

次に、第２の関連画像データが複数存在する場合（ステップＳ７０７、ＹＥＳ）、ステップＳ７０８において、次の評価対象シーン画像に切り替え、ステップＳ７０２に戻って処理を繰り返す。すべての評価対象に関する処理が終了すると（ステップＳ７０７、ＮＯ）、処理を終了する。

なお、上述した実施形態においては、登録対象画像との関連性の判定対象を動画像から抽出したシーン画像を対象としていたが、予め関連性を定義した画像グループを対象にして行うことも可能である。

（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してコンピュータ読み取り可能なＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。

実施形態におけるメタデータ付与装置の構成を示すブロック図である。 実施形態におけるメタデータの一例を示す図である。 実施形態におけるメタデータ流用対象外項目リストの一例を示す図である。 実施形態におけるメタデータの付与関係の一例を示す図である。 実施形態におけるメタデータ付与処理手順を示すフローチャートである。 実施形態におけるメタデータ流用処理手順を示すフローチャートである。 実施形態におけるメタデータ流用処理手順を示すフローチャートである。

符号の説明

１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：入力装置
１０５：表示装置
１０６：記憶装置
１０７：通信装置
１０８：バス

Claims (12)

1. 映像及び音声の少なくともいずれか一方を含むコンテンツデータと、前記コンテンツデータについてのメタデータで構成される付属データとのセットを複数記憶する記憶手段と、
   第１のコンテンツデータ及びこれに付随する第１の付属データを入力する入力手段と、
   前記入力手段により入力された前記第１の付属データに基づいて、前記記憶手段から、前記第１のコンテンツデータと関連性を有する第２のコンテンツデータを抽出する抽出手段と、
   前記抽出手段により抽出された前記第２のコンテンツデータに付随する第２の付属データに含まれ前記第１の付属データには含まれない所定のメタデータを、前記第１の付属データに追記する第１の追記手段と、
   を備えることを特徴とするメタデータ付与装置。
2. 前記第１の追記手段は、更に、前記第１の付属データに含まれ前記第２の付属データには含まれない所定のメタデータを、前記第２の付属データに追記することを特徴とする請求項１に記載のメタデータ付与装置。
3. 前記第２のコンテンツデータが動画データにおける第１のシーン画像データである場合、前記動画データにおける第２のシーン画像データを取得し、取得した前記第２のシーン画像データに付随する第３の付属データに含まれ前記第１の付属データには含まれない所定のメタデータを、前記第１の付属データに追記する第２の追記手段を更に備えることを特徴とする請求項１又は２に記載のメタデータ付与装置。
4. 前記第２の追記手段は、更に、前記第１の付属データに含まれ前記第３の付属データには含まれない所定のメタデータを、前記第３の付属データに追記することを特徴とする請求項３に記載のメタデータ付与装置。
5. 前記抽出手段は、前記第１の付属データから、前記第１のコンテンツデータの作成日時を示すメタデータを読み出し、前記記憶手段から、当該作成日時に対して所定の時間範囲内にある作成日時のメタデータを含んだ付属データに関連付けられるコンテンツデータを、前記関連性を有する第２のコンテンツデータとして抽出することを特徴とする請求項１から４までのいずれか１項に記載のメタデータ付与装置。
6. 映像及び音声の少なくともいずれか一方を含むコンテンツデータと、前記コンテンツデータについてのメタデータで構成される付属データとのセットを複数記憶する記憶手段を備えるメタデータ付与装置によって実行されるメタデータ付与方法であって、
   第１のコンテンツデータ及びこれに付随する第１の付属データを入力する入力ステップと、
   前記入力ステップで入力された前記第１の付属データに基づいて、前記記憶手段から、前記第１のコンテンツデータと関連性を有する第２のコンテンツデータを抽出する抽出ステップと、
   前記抽出ステップで抽出された前記第２のコンテンツデータに付随する第２の付属データに含まれ前記第１の付属データには含まれない所定のメタデータを、前記第１の付属データに追記する第１の追記ステップと、
   を備えることを特徴とするメタデータ付与方法。
7. 前記第１の追記ステップは、更に、前記第１の付属データに含まれ前記第２の付属データには含まれない所定のメタデータを、前記第２の付属データに追記することを特徴とする請求項６に記載のメタデータ付与方法。
8. 前記第２のコンテンツデータが動画データにおける第１のシーン画像データである場合、前記動画データにおける第２のシーン画像データを取得し、取得した前記第２のシーン画像データに付随する第３の付属データに含まれ前記第１の付属データには含まれない所定のメタデータを、前記第１の付属データに追記する第２の追記ステップを更に備えることを特徴とする請求項６又は７に記載のメタデータ付与方法。
9. 前記第２の追記ステップは、更に、前記第１の付属データに含まれ前記第３の付属データには含まれない所定のメタデータを、前記第３の付属データに追記することを特徴とする請求項８に記載のメタデータ付与方法。
10. 前記抽出ステップは、前記第１の付属データから、前記第１のコンテンツデータの作成日時を示すメタデータを読み出し、前記記憶手段から、当該作成日時に対して所定の時間範囲内にある作成日時のメタデータを含んだ付属データに関連付けられるコンテンツデータを、前記関連性を有する第２のコンテンツデータとして抽出することを特徴とする請求項６から９までのいずれか１項に記載のメタデータ付与方法。
11. 請求項６から１０までのいずれか１項に記載のメタデータ付与方法をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images