JP2004228780A - 情報処理装置 - Google Patents

Abstract

【課題】マルチメディア・コンテンツの編集において、メタデータの種類によらず、正確なメタデータの利用が可能な情報処理装置を提供することを目的とする。
【解決手段】メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、編集操作の操作情報を受け付ける工程と（ステップＳ５−２）、編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む工程と（ステップＳ５−５）、前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程（ステップＳ５−５）とを実行する。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディア・コンテンツについて、編集などの処理を行うための情報処理技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルデータで供給される映像や音声などからなる高品位のコンテンツが供給されるようになるとともに、それらが混在したマルチメディア・コンテンツが流布されるようになってきた。特に、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及等により、これらのコンテンツが簡単に入手でき、また、楽しめる時代になってきた。
【０００３】
さらに、情報の流通や発信を行うためのインフラの拡大により、個人でも情報発信を行える時代になってきており、動画や音声を中心とした様々なマルチメディア・コンテンツの発信が始まりつつある。そこで、このようなコンテンツをつくるために、例えば、ビデオカメラで撮影した動画を簡単に編集・加工するための技術が求められている。
【０００４】
動画データや音声データなどを、利用者の手を煩わせることなく、簡単に編集・加工等を行うためには、計算機がコンテンツを自動的に認識することが必要となってくるが、情報量が多く時間経過によって変化する内容を記録した動画などの情報は、その内容について自動的に認識することが、もともと非常に難しい。同じデジタルデータであっても、文書データなどであれば、文字や単語を指示すれば、それを含む部分を判別することは、計算機にとっては難しいことではないが、動画や音声などで表現されている内容を計算機が理解することは、技術的に非常に困難である。
【０００５】
そこで、このような動画、静止画、音声などからなるマルチメディア・コンテンツに対して、その内容や特徴をキーワードや説明文などにより記述した言語的な情報や、計算機が処理しやすい形式の画像や音声により特徴を記述した非言語的な情報を、メタデータとして付与しておくことで、その認識を容易にするという方法が採られている。そして、ＭＰＥＧ−７などにより、メタデータ自身の共通フォーマット化の動きも始まっている。
【０００６】
つまり、肥大化したマルチメディア・コンテンツに対して、検索や編集等を容易に行えるようにするために、その巨大なコンテンツの中身を解釈するのではなく、その特徴や特性などをメタデータとして、コンテンツの内部または外部に保持し、その情報を利用することで、簡単にマルチメディア・コンテンツの編集処理を行うことが可能な機能を実現するわけである。
【０００７】
一例として、特開平０８−０７７１１６号公報には、オブジェクト指向のデータの管理方式を用いている場合に、負荷分散を行うために、オブジェクト（データ）と属性（メタデータ）とを用いて、その属性や各種状態に応じて判断する中心的な処理装置が開示されており、該処理装置により適切な処理を適切な処理部分に指示可能である旨の記載がなされている。
【０００８】
【特許文献１】
特開平０８−７７１１６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、マルチメディア・コンテンツの編集において、上述のように、メタデータを使用する場合、以下のような問題がある。
【００１０】
第一に、メタデータは多種多様であり、マルチメディア・コンテンツの編集時に、すべての情報処理装置が、メタデータを認識できるわけではない。このため、メタデータが認識されることなく編集が行われた場合、編集後のマルチメディア・コンテンツにはメタデータはコピーされず、編集後のマルチメディア・コンテンツについての、メタデータの利用が不可能となってしまう。
【００１１】
第二に、マルチメディア・コンテンツの編集時に、情報処理装置がメタデータを認識できた場合であっても、編集に伴って、マルチメディア・コンテンツが変更されると、当該メタデータは、当該変更後のマルチメディア・コンテンツの属性を示すメタデータとしては、不適切なものとなる。このため、編集後のマルチメディア・コンテンツの利用に際して、当該メタデータを用いた場合、正しい利用ができないこととなってしまう。
【００１２】
つまり、上記従来技術では、マルチメディア・コンテンツの編集に伴って、その後のメタデータの正確な利用ができなくなってしまうという問題があった。
【００１３】
本発明は、上記課題に鑑みてなされたものであり、マルチメディア・コンテンツの編集がなされた場合であっても、メタデータの種類によらず、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用を可能とすることを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む手段と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する手段とを備える。
【００１５】
【発明の実施の形態】
はじめに本発明の概略について説明する。本発明によれば、動画などのコンテンツにメタデータを付与すると同時に、そのメタデータの有する特性（コンテンツに編集等の処理を行った場合に、メタデータの信頼性がどの程度まで低下するかという特性）をメタメタデータとして付与し、その両方を一緒に各装置などで利用することができる。これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することになるが、そのメタメタデータの情報を利用することで、コンテンツの編集・加工が行われた場合に、編集・加工後のコンテンツにおいても、そのメタデータが利用可能であるかどうかを、各装置が判定することができる。
【００１６】
そして、利用可能でないと判定した場合には、メタデータを編集・加工後のコンテンツにコピーしないようにすることで、利用不可能なメタデータがコンテンツに付加されることを防ぐ。なお、かかる判定は、メタメタデータに基づいて行われるため、メタデータの内容を認識することができない装置でも可能になる。
【００１７】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、先願発明（特開平０８−０７７１１６号公報）と異なり、中心的に処理を支持する部分を保有しないが、処理の分散化が可能という特徴も有することとなる。以下、本発明に係る実施形態について、図面を参照して詳細に説明する。
【００１８】
［第１の実施形態］
図１は、本発明の一実施形態に係る情報処理装置を備える情報処理システムの全体構成の一例を示す図である。
【００１９】
図示の構成において、１１はマイクロプロセッサ（ＣＰＵ）であり、各種処理のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭ１２やＲＡＭ１３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００２０】
アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行う。
【００２１】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。ＲＯＭには、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００２２】
１３は書込み可能なランダムアクセスメモリ（ＲＡＭ）であって、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１１以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００２３】
これらのＲＯＭ１２やＲＡＭ１３などの記憶媒体には、本実施形態を実現する計算機プログラムやデータなどがあり、これらの記憶媒体に格納されたプログラムコードを、そのシステムあるいは装置のコンピュータが、読み出し実行することによって機能が実現される。
【００２４】
また、本発明に係わるプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭ１３などの書き換え可能な記憶媒体上に前記の記録媒体から、そのプログラムがＲＡＭ１３上にコピーされる可能性があるが、その記録媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、メモリカード、光磁気ディスクなどを用いることができるが、いずれの方式においても、本発明は達成されうる。
【００２５】
図２はその一例であり、本実施形態を実現する計算機プログラムを格納した記録媒体（２−ｃ）から、当該計算機プログラムを読み込むことが可能であり、この計算機プログラムを格納した記録媒体も本実施形態として含まれるものである。なお、図２中、２−ａは図１で示される装置、２−ｂは記録媒体を読み出すドライブ装置を示す。
【００２６】
図１の説明に戻って、１４はハードディスク（ＤＩＳＫ）であり、さまざまな計算機プログラムやデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）１４は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種計算機プログラムやデータ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１３上に完全もしくは部分的に呼び出される。
【００２７】
１５はメモリカード（ＭｅｍＣａｒｄ）であり、着脱型の記憶媒体である。この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００２８】
１６はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスを含むこともできる。
【００２９】
１７はカーソルレジスタ（ＣＲ）である。ＣＰＵ１１により、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣ１９は、ここに蓄えられたアドレスに対する表示装置ＣＲＴ２０上の位置にカーソルを表示する。
【００３０】
１８は表示用バッファメモリ（ＤＢＵＦ）で、表示すべきデータのパターンを蓄える。
【００３１】
１９はＣＲＴコントローラ（ＣＲＴＣ）であり、表示用バッファＤＢＵＦ１８に蓄えられた内容を表示装置ＣＲＴ２０に表示する役割を担う。
【００３２】
２０は陰極線管等を用いた表示装置（ＣＲＴ）であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ１９で制御する。
【００３３】
２１はキャラクタジェネレータ（ＣＧ）であって、表示装置ＣＲＴ２０に表示する文字、記号のパターンを記憶するものである。
【００３４】
２２は他のコンピュータ装置等と通信を行うための通信デバイス（ＮＣＵ）であり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でも構わない。なお、ネットワークの種類などは何でも構わないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでも構わない。
【００３５】
２３は人工衛星などを利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ）で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
【００３６】
上記の構成よりなる本実施形態の情報処理装置に於いて、動画や静止画などのマルチメディア・コンテンツに対し、編集・加工を行うとともに、そのメタデータについて操作を行う機能を実現する。まず、コンテンツとそのメタデータは通常、図１のＤＩＳＫ１４やＭｅｍＣａｒｄ１５などの記憶装置や、図１のＮＣＵ２２やＤＴＵ２３を介して外部の記憶装置にあるものとする。コンテンツは、動画や静止画など何であっても良く、そのコンテンツの記録形式はいかなる形式であっても構わない。メタデータも同様で、本発明の情報（メタメタデータ）を保有していれば、いかなる記述形式、記録形式であっても構わない。
【００３７】
図３は、マルチメディア・コンテンツの一例であるビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００３８】
３−ａはメタデータが３−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報が記述される場合もあるので、その区別のために記述されているものである。そして、３−ｙはメタデータの記述の終了を記述したものであり、３−ｂから３−ｘがメタデータであることがわかるようになっている。
【００３９】
メタデータの中身としては、まず、３−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。
【００４０】
３−ｘはこの付与範囲の適用対象の終了を示すもので、これにより、３−ｗまでが、この付与範囲の対象となることがわかる。
【００４１】
３−ｃから３−ｉまでがその範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたことを記述した部分であり、３−ｃがそのメタデータの開始を記述しており、３−ｉがその記述の終了を記述している。
【００４２】
３−ｈはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。３−ｄから３−ｇは本発明のメタメタデータであり、３−ｄはそのメタメタデータの記述の開始を示し、３−ｇはその記述の終了を示している。
【００４３】
３−ｅはメタメタデータの中身であり、このメタデータの付与範囲内での編集操作として色変更の操作が行われると、この代表色のメタデータの信頼度が３０％に低下することを示している。同様に、３−ｆは、ビデオ編集での切り貼りが、このメタデータの付与範囲内で行われると、この代表色のメタデータの信頼度が０％に低下、すなわちまったく信頼できなくなることを示している。
【００４４】
３−ｊから ３−ｏまでが、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり。３−ｎに台詞が「こんにちは」という内容であり、３−ｌの本発明のメタメタデータでビデオコンテンツの前記付与範囲内で音声情報の変更が行われると、このメタデータが信頼できなくなることを示している。
【００４５】
３−ｑから３−ｗまでも同様であり、３−ｔから３−ｖまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、３−ｒのメタメタデータは、どんな操作が行われても、このメタデータの信頼度が変化しないことを意味している。
【００４６】
本発明は、動画などのコンテンツにメタデータを付与すると同時に、そのメタデータの有する特性をメタメタデータとして付与し、その両方を各機器で利用する。これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することになるが、そのメタメタデータの情報を利用することで、コンテンツの編集・加工が行われた場合に、編集・加工後のコンテンツにおいても、そのメタデータが利用可能であるかどうかを、各装置が判定することができる。また、そのメタデータの内容を認識できない装置でも、その判定が可能になる。
【００４７】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、中心的に処理を支持する部分を保有しないが、処理の分散化が可能であるという特徴がある。
【００４８】
図４は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００４９】
４−１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、４−２はツールバーと呼ばれる部分で、このウィンドウ内の主な機能を簡単に呼び出せるようにするものである。
【００５０】
４−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００５１】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見ることができるようになっている。これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとしてを選ぶことができる。
【００５２】
４−４は、４−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。４−４に示す部分を利用して、利用者は自分が選択したシーンの内容を把握できる。
【００５３】
４−５は、４−３、４−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、４−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【００５４】
４−６は、編集・加工されたビデオデータを、整列してビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。４−６１は出力形式を指定する部分で、４−６２は、４−３、４−４、４−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【００５５】
４−７は、４−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【００５６】
ビデオデータとして区間指定して、編集・加工などの指示が行われた場合の処理の手順の概略を図示したものが図５である。図５の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【００５７】
以下、図５で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示が行われた場合に（編集・加工操作の操作情報を受け付けた場合に）、ステップＳ５−１から処理が開始される。
【００５８】
ステップＳ５−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集・加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。
【００５９】
ステップＳ５−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【００６０】
ステップＳ５−４は、ステップＳ５−４で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ５−６へ移動する。
【００６１】
ステップＳ５−５は、検索されたメタデータがあった場合で、個々のメタデータに対して、そのメタメタデータと編集・加工の処理内容とを比べて信頼度を計算し、そのメタデータを、区間に切り出されたビデオデータに付与するかどうかを判断する工程である。
【００６２】
ここで、図３のようなメタデータとメタメタデータを有する区間において、編集・加工処理として、古い写真のようにひなびた色調に変化させるセピア処理と、音声情報を書き直すアフレコ処理を行った場合に、その個々のメタデータを残すかどうか（コピーするかどうか）を、その信頼度を計算して求めた結果が、図６に示す表である。
【００６３】
セピア処理は、全体的に色調変更を加えるため、本来、もとのメタデータはそのままでは使用できなくなるものの、明暗の傾向は残っているため、セピア処理後であってもまったく信用できないわけではない。したがって、図６に示すように、代表色メタデータの信頼度は低下するが、「残す」（＝コピーする）と判断されることとなる。また、音声や写っている物や構図などの情報は変更されないので、台詞のメタデータ、撮影対象のメタデータとも「残す」（＝コピーする）と判断されることとなる。
【００６４】
一方、アフレコ処理では動画部分は変更されないが、台詞が変更されてしまうかなくされてしまうので、台詞のメタデータはそのまま使用できなくなる。このため、台詞メタデータは「残さない」（＝コピーしない）と判断されこととなる。また、それ以外のメタデータは信用でき、利用可能であるため、「残す」（＝コピーする）と判断されこととなる。
【００６５】
このように、編集・加工処理の内容によって、利用可能なメタデータとそうでないメタデータとがあるとともに、編集・加工により、まったく利用できなくなるわけではなく、メタデータの値の傾向や特徴がある程度残り、ある程度利用できる場合がある。本実施形態では、このような場合でも、信頼度に応じて、メタデータをコピーするか否かを判定することができる。
【００６６】
なお、算出された信頼度に基づいて、利用可能／不可能を判断するにあたっては、その方法は何でも構わない。本実施形態では、あらかじめ定められた信頼度と比較し、その信頼度より大きい場合には利用可能と判断することとする。
【００６７】
再び図５に戻る。ステップＳ５−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【００６８】
ステップＳ５−７は、ステップＳ５−５、ステップＳ５−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままでよいと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ５−８は、本処理の終了を示すものである。
【００６９】
以上の説明から明らかなように、本実施形態によれば、メタデータが付与されたマルチメディア・コンテンツに対して、編集・加工などの処理が行われた場合に、編集・加工後に利用不可能となるメタデータがコピーされることを防ぐことが可能となる。この結果、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【００７０】
また、利用可否の判断にあたっては、編集・加工後のメタデータの信頼度についての情報を、メタメタデータに記載しておくことで、メタデータの内容を認識することができない装置であっても、編集後のマルチメディア・コンテンツにメタデータをコピーするか否かを、信頼度に応じて判定することが可能となる。
【００７１】
［第２の実施形態］
上記実施形態においては、ビデオコンテンツ内の区間を指定したうえで、編集・加工処理を行っているが、メタデータによっては、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまう場合がある。
【００７２】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【００７３】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。その結果、利用不可能なメタデータが、操作後のマルチメディア・コンテンツにコピーされることを防ぐことが可能となる。
【００７４】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある、しかし、この場合であっても、上記第１の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかを記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【００７５】
［第３の実施形態］
上記各実施形態では、編集等の処理に対するメタデータの信頼度の変化を、メタメタデータとして直接記載することとしたが、これに限られない。メタデータの編集内容に対する信頼度の変化についての情報の格納先を記載してもよい。以下、図７を用いて、本実施形態について説明する。
【００７６】
図７は、ビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００７７】
７−ａはメタデータが７−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報も記述される場合もあるので、その区別のために記述したものであり、７−ｂから７−ｘがメタデータであることがわかるようになっている。
【００７８】
メタデータの中身としては、まず、７−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。７−ｗはこの付与範囲の適用対象の終了を示すもので、これにより、７−ｖまでが、この付与範囲の対象となることがわかる。
【００７９】
７−ｃから７−ｈまでがその前記範囲のビデオコンテンツの動画部分のないようの代表色がメタデータとして付与されたものを記述した部分であり、７−ｃがそのメタデータの開始を記述しており、７−ｈがその記述の終了を記述している。
【００８０】
７−ｇはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。７−ｄから７−ｆは本発明のメタメタデータであり、７−ｄはそのメタメタデータの記述の開始を記述し、７−ｆはその記述の終了を示している。
【００８１】
７−ｅはメタメタデータの中身であり、このメタデータのビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化取得するために必要な情報が格納されており、当該信頼度の変化をネットワークを介して入手する際の識別情報となるＵＲＬが記述されている。本発明においては、この部分に記述される情報は、ＵＲＬに限られず、信頼度の変化に関する情報の格納先が記述されていれば、何でも構わない。
【００８２】
７−ｉから７−ｎ迄が、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり、７−ｎに台詞が「こんにちは」という内容であり、７−ｍの本発明のメタメタデータで、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、このメタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００８３】
７−ｏから７−ｖまでも同様であり、７−ｓから７−ｕまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、７−ｑの本発明のメタメタデータとして、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００８４】
本発明は、動画などのコンテンツやデータにメタデータを付与すると同時に、そのメタデータの有する特性をメタメタデータとして付与し、その両方を一緒に各装置で利用する。これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することになるが、そのメタメタデータの情報を利用することで、コンテンツの編集・加工が行われた場合に、編集・加工後のコンテンツにおいてもそのメタデータが利用可能であるかどうかを、各装置が判定することができる。また、そのメタデータの内容を認識できない装置でも、その判定が可能になる。
【００８５】
さらに、その判定の処理は各装置内で行われるために、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタデータから決定するのである。かくして、中心的に処理を支持する部分を保有しないが、処理の分散化が可能という特徴がある。
【００８６】
図８は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００８７】
８−１はタイトルバーと呼ばれるもので、このウインドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、８−２はツールバーと呼ばれる部分で、このウインドウ内の主な機能を簡単に呼び出せるようにするものである。
【００８８】
８−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００８９】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見れるようになっている。
【００９０】
これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとして選ぶことができる。
【００９１】
８−４は、８−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。８−４に示す部分を利用して利用者は、自分が選択したシーンの内容を把握できる。
【００９２】
８−５は、８−３、８−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、８−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【００９３】
８−６は、編集・加工されたビデオデータを、整列して、ビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。８−６１は出力形式を指定する部分で、８−６２は、８−３、８−４、８−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【００９４】
８−７は、８−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【００９５】
ビデオデータとして区間指定して、編集・加工などの指示を行われた場合の処理の手順の概略を図示したものが図９である。図９の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【００９６】
以下、図９で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示を行われた場合に、ステップＳ９−１から処理が開始される。
【００９７】
ステップＳ９−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。ここで、メタメタデータのＵＲＬ情報に従い、インターネットなどを使用して、このメタデータの付与範囲でどのような操作が行われると、このメタデータの信頼度が変化するかという情報を入手しておく。
【００９８】
ステップＳ９−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【００９９】
ステップＳ９−４は、ステップＳ９−４で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ９−６へ移動する。
【０１００】
ステップＳ９−５は、検索されたメタデータがあった場合で、個々のメタデータに対して、そのメタメタデータと編集・加工の処理内容とを比べて信頼度を計算し、そのメタデータを、区間に切り出されたビデオデータに付与するかどうかを判断する工程である。
【０１０１】
ここで、図７のようなメタデータとメタメタデータを有する区間において、編集・加工処理として、古い写真のようにひなびた色調に変化させるセピア処理と、音声情報を書き直すアフレコ処理を行った場合に、その個々のメタデータを残すかどうか（コピーするかどうか）を、その信頼度を計算して求めた結果が、図１０に示す表である。
【０１０２】
セピア処理は、全体的に色調変更を加えるため、本来、もとのメタデータはそのままでは使用できなくなるものの、明暗の傾向は残っているため、セピア処理後であってもまったく信用できないわけではない。したがって、図１０に示すように、代表色メタデータの信頼度は低下するが、「残す」（＝コピーする）と判断されることとなる。また、音声や写っている物や構図などの情報は変更されないので、台詞のメタデータ、撮影対象のメタデータとも「残す」（＝コピーする）と判断されることとなる。
【０１０３】
一方、アフレコ処理では動画部分は変更されないが、台詞が変更されてしまうかなくされてしまうので、台詞のメタデータはそのまま使用できなくなる。このため、台詞メタデータは「残さない」（＝コピーしない）と判断されこととなる。また、それ以外のメタデータは信用でき、利用可能であるため、「残す」（＝コピーする）と判断されこととなる。
【０１０４】
このように、編集・加工処理の内容によって、利用可能なメタデータとそうでないメタデータとがあるとともに、編集・加工により、まったく利用できなくなるわけではなく、メタデータの値の傾向や特徴がある程度残り、ある程度利用できる場合がある。本実施形態では、このような場合でも、信頼度に応じて、メタデータをコピーするか否かを判定することができる。
【０１０５】
なお、算出された信頼度に基づいて、利用可能／不可能を判断するにあたっては、その方法は何でも構わない。本実施形態では、あらかじめ定められた信頼度と比較し、その信頼度より大きい場合には利用可能と判断することとする。
【０１０６】
再び図９に戻る。ステップＳ９−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【０１０７】
ステップＳ９−７は、ステップＳ９−５、ステップＳ９−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままで良いと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ９−８は、本処理の終了を示すものである。
【０１０８】
以上の説明から明らかなように、メタデータの編集内容に対する信頼度の変化についての情報の格納先をメタメタデータとし記載することによっても、上記第１の実施形態と同様の効果を得ることが可能となる。
【０１０９】
［第４の実施形態］
上記第３の実施形態においても、ビデオコンテンツ内の区間を指定しているが、第１の実施形態同様、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまうメタデータもある。
【０１１０】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【０１１１】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。その結果、利用不可能なメタデータが、操作後のマルチメディア・コンテンツにコピーされることを防ぐことが可能となる。
【０１１２】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある。しかし、この場合であっても、上記第３の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかについての情報の格納先を記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【０１１３】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。 また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１１４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
なお、本発明に係る実施態様の例を以下に列挙する。
【０１１９】
［実施態様１］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む工程と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と
を備えることを特徴とする情報処理方法。
【０１２０】
［実施態様２］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む工程と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加する工程と
を備えることを特徴とする情報処理方法。
【０１２１】
［実施態様３］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記編集操作の操作情報と、前記取得された信頼性情報とに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と
を備えることを特徴とする情報処理方法。
【０１２２】
［実施態様４］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記編集操作の操作情報と、前記取得された信頼性情報とに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加する工程と
を備えることを特徴とする情報処理方法。
【０１２３】
［実施態様５］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む手段と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する手段と
を備えることを特徴とする情報処理装置。
【０１２４】
［実施態様６］ メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータを読み込む手段と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する手段と、
前記編集操作の操作情報と、前記取得された信頼性情報とに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判断する手段と
を備えることを特徴とする情報処理装置。
【０１２５】
［実施態様７］ 実施態様１乃至４のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【０１２６】
【発明の効果】
以上説明したように、本発明によれば、マルチメディア・コンテンツの編集がなされた場合であっても、メタデータの種類によらず、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報処理装置を備える情報処理システムの全体構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる情報処理装置において、計算機プログラムなどを格納した媒体から、計算機プログラムなどやデータなどを読みこむ実現形態を示す図である。
【図３】本発明の第１の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータの図である。
【図４】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の画面を示す図である。
【図５】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図６】本発明の第１の実施形態にかかる情報処理装置において、図３のメタデータとメタメタデータを図５の処理手段で処理した場合の、各メタデータに対する計算と判断結果を示した図である。
【図７】本発明の第３の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータの図である。
【図８】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の図面を示す図である。
【図９】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図１０】本発明の第３の実施形態にかかる情報処理装置において、、図７のメタデータとメタメタデータを図９の処理手段で処理した場合の、各メタデータに対する計算と判断結果を示した図である。

Claims (1)

1. メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
   編集操作の操作情報を受け付ける手段と、
   編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータを読み込む手段と、
   前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する手段と
   を備えることを特徴とする情報処理装置。

Images