JP2004227164A

JP2004227164A - Information processor

Info

Publication number: JP2004227164A
Application number: JP2003012513A
Authority: JP
Inventors: Tomomi Takada; 智美高田; Hidetomo Soma; 英智相馬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-01-21
Filing date: 2003-01-21
Publication date: 2004-08-12
Anticipated expiration: 2023-01-21
Also published as: JP4366083B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processor which can use accurate metadata for the edition of multimedia contents. <P>SOLUTION: The information processor is provided for editing multimedia contents including metadata. The information processor executes a step (step S5-2) which accepts operation information on editing operation, and a step (step S5-5) which adds the operation information as the operation history to the metadata describing a change in the reliability of the metadata which accompanies the editing operation. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディア・コンテンツに対する各種処理を行うための情報処理技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルデータで供給される映像や音声などからなる高品位のコンテンツが供給されるようになるとともに、それらが混在したマルチメディア・コンテンツが流布されるようになってきた。特に、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及等により、これらのコンテンツが簡単に入手でき、また、楽しめる時代になってきた。
【０００３】
そして、今後急速に増え続けるであろうマルチメディア・コンテンツの効率的な利用をめざし、利用者が望むコンテンツを高速に検索するための技術が求められている。
【０００４】
しかし、動画データや音声データなどの検索を行うためには、計算機がコンテンツを自動的に認識することが必要であるが、情報量が多く時間経過によって変化する内容を記録した動画などの情報は、その内容について自動的に認識することが、もともと非常に難しい。同じデジタルデータであっても、文書データなどであれば、文字や単語を指示すれば、それを含む部分を検索することは計算機にとって難しいことではないが、動画データや音声データなどで表現されている内容を計算機が理解することは、技術的に非常に困難である。
【０００５】
このため、このような動画データ、静止画データ、音声データなどからなるマルチメディア・コンテンツに対して、その内容や特徴をキーワードや説明文などにより記述した言語的な情報や、計算機が処理しやすい形式の画像や音声により特徴を記述した非言語的な情報を、メタデータとして付与しておくことで、その認識を容易にするという方法が採られている。そして、現在ではＭＰＥＧ−７などにより、メタデータ自身の共通フォーマット化の動きも始まっている。
【０００６】
つまり、肥大化したマルチメディア・コンテンツに対して、検索等を容易に行えるようにするために、その巨大なコンテンツの中身を解釈するのではなく、その特徴や特性などをメタデータとして、コンテンツの内部または外部に保持し、その情報を利用することで、簡単にマルチメディア・コンテンツの検索処理を行うことが可能となるわけである。
【０００７】
一例として、特開平０８−０７７１１６号公報には、オブジェクト指向のデータの管理方式において、負荷分散を行うために、オブジェクト（データ）と属性（メタデータ）とを用いて、その属性や各種状態に応じて各種処理の判断をする中心的な処理装置が開示されており、該処理装置により適切な処理を適切な処理部分に指示可能である旨の記載がなされている。
【０００８】
【特許文献１】
特開平０８−７７１１６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、マルチメディア・コンテンツの検索において、上述のように、メタデータを使用する場合の問題として、メタデータの信頼性が常に高いとは限らないということが挙げられる。つまり、当該メタデータが付加されたマルチメディア・コンテンツが、過去に編集等がなされ、内容が変更されていた場合に、当該メタデータは、当該変更されたマルチメディア・コンテンツの属性を示すメタデータとしては、不適切なものとなっていることがある。このため、例えば編集後のマルチメディア・コンテンツの検索に際して、当該メタデータを用いた場合、正しい検索結果が得られないこととなってしまう。
【００１０】
つまり、上記従来技術では、マルチメディア・コンテンツの編集に伴って、その後のメタデータの正確な利用ができなくなってしまうという問題があった。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、メタデータを有するマルチメディア・コンテンツに対して編集がなされた場合であっても、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用を可能とすることを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、マルチメディア・コンテンツの編集において、本発明に係る情報処理装置は以下のような構成を備える。即ち、
メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する手段とを備える。
【００１３】
【発明の実施の形態】
はじめに本発明の概略について説明する。本発明によれば、動画などのコンテンツにメタデータを付与すると同時に、そのメタデータの有する特性（コンテンツに編集等の処理を行った場合に、メタデータの信頼性がどの程度まで低下するかという特性）をメタメタデータとして付与し、さらに、編集等の処理を行った場合に、その操作履歴をメタメタデータに記録することができる。
【００１４】
これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することとなるが、メタメタデータの情報を利用することで、編集操作後のコンテンツにおけるメタデータの信頼度を算出することができる。
【００１５】
この結果、例えば、コンテンツの検索においてメタデータを用いる場合、検索されたメタデータのうち、算出された信頼度を用いて信頼度の低いメタデータを利用不可能と判定し、検索結果から除外するなどの措置をとることが可能となり、より正確なメタデータの利用が図られることとなる。
【００１６】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、先願発明（特開平０８−０７７１１６号公報）と異なり、中心的に処理を支持する部分を保有しないが、処理の分散化が可能という特徴も有することとなる。以下、本発明に係る実施形態について、図面を参照して詳細に説明する。
【００１７】
［第１の実施形態］
図１は、本発明の一実施形態に係る情報処理装置を備える情報処理システムの全体構成の一例を示す図である。
【００１８】
図示の構成において、１１はマイクロプロセッサ（ＣＰＵ）であり、各種処理のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭ１２やＲＡＭ１３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００１９】
アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行う。
【００２０】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。ＲＯＭには、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００２１】
１３は書込み可能なランダムアクセスメモリ（ＲＡＭ）であって、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１１以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００２２】
これらのＲＯＭ１２やＲＡＭ１３などの記憶媒体には、本実施形態を実現する計算機プログラムやデータなどがあり、これらの記憶媒体に格納されたプログラムコードを、そのシステムあるいは装置のコンピュータが、読み出し実行することによって機能が実現される。
【００２３】
また、本発明に係わるプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭ１３などの書き換え可能な記憶媒体上に前記の記録媒体から、そのプログラムがＲＡＭ１３上にコピーされる可能性があるが、その記録媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、メモリカード、光磁気ディスクなどを用いることができ、いずれの方式においても、本発明は達成されうる。
【００２４】
図２はその一例であり、本実施形態を実現する計算機プログラムを格納した記録媒体（２−ｃ）から、当該計算機プログラムを読み込むことが可能であり、この計算機プログラムを格納した記録媒体も本実施形態として含まれるものである。なお、図２中、２−ａは図１で示される装置、２−ｂは記録媒体を読み出すドライブ装置を示す。
【００２５】
図１の説明に戻って、１４はハードディスク（ＤＩＳＫ）であり、さまざまな計算機プログラムやデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）１４は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種計算機プログラムやデータ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１３上に完全もしくは部分的に呼び出される。
【００２６】
１５はメモリカード（ＭｅｍＣａｒｄ）であり、着脱型の記憶媒体である。この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００２７】
１６はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスを含むこともできる。
【００２８】
１７はカーソルレジスタ（ＣＲ）である。ＣＰＵ１１により、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣ１９は、ここに蓄えられたアドレスに対する表示装置ＣＲＴ２０上の位置にカーソルを表示する。
【００２９】
１８は表示用バッファメモリ（ＤＢＵＦ）で、表示すべきデータのパターンを蓄える。
【００３０】
１９はＣＲＴコントローラ（ＣＲＴＣ）であり、表示用バッファＤＢＵＦ１８に蓄えられた内容を表示装置ＣＲＴ２０に表示する役割を担う。
【００３１】
２０は陰極線管等を用いた表示装置（ＣＲＴ）であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ１９で制御する。
【００３２】
２１はキャラクタジェネレータ（ＣＧ）であって、表示装置ＣＲＴ２０に表示する文字、記号のパターンを記憶するものである。
【００３３】
２２は他のコンピュータ装置等と通信を行うための通信デバイス（ＮＣＵ）であり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でも構わない。なお、ネットワークの種類などは何でも構わないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでも構わない。
【００３４】
２３は人工衛星などを利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ）で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
【００３５】
上記の構成よりなる本実施形態の情報処理装置に於いて、動画や静止画などのマルチメディア・コンテンツに対し、編集・加工を行うとともに、そのメタデータについて検索などの操作を行う機能を実現する。まず、コンテンツとそのメタデータは通常、図１のＤＩＳＫ１４やＭｅｍＣａｒｄ１５などの記憶装置や、図１のＮＣＵ２２やＤＴＵ２３を介して外部の記憶装置にあるものとする。コンテンツは、動画や静止画など何であっても良く、そのコンテンツの記録形式はいかなる形式であっても構わない。メタデータも同様で、本発明の情報（メタメタデータ）を保有していれば、いかなる記述形式、記録形式であっても構わない。
【００３６】
図３は、マルチメディア・コンテンツの一例であるビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００３７】
３−ａはメタデータが３−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報が記述される場合もあるので、その区別のために記述されているものである。そして、３−ｙはメタデータの記述の終了を記述したものであり、３−ｂから３−ｘがメタデータであることがわかるようになっている。
【００３８】
メタデータの中身としては、まず、３−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。
【００３９】
３−ｘはこの付与範囲の適用対象の終了を示すもので、これにより、３−ｗまでが、この付与範囲の対象となることがわかる。
【００４０】
３−ｃから３−ｊまでがその範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたことを記述した部分であり、３−ｃがそのメタデータの開始を記述しており、３−ｊがその記述の終了を記述している。
【００４１】
３−ｉにはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。３−ｄから３−ｈは本発明のメタメタデータであり、３−ｄはそのメタメタデータの記述の開始を示し、３−ｈはその記述の終了を示している。
【００４２】
３−ｅはメタメタデータの中身であり、このメタデータの付与範囲内での編集操作として色変更の操作が行われると、この代表色のメタデータの信頼度が３０％に低下することを示している。同様に、３−ｆは、ビデオ編集での切り貼りが、このメタデータの付与範囲内で行われると、この代表色のメタデータの信頼度が０％に低下、すなわちまったく信頼できなくなることを示している。
【００４３】
３−ｇはメタメタデータの一部であるが、マルチメディア・コンテンツの編集・加工等の処理が行われる前にはなかった記載である。つまり、マルチメディア・コンテンツの編集・加工等の処理が行われた際に、編集・加工等の操作情報を操作履歴として付加したものである。本実施形態では、編集・加工等の処理として「ＣｏｌｏｒＣｈａｎｇｅ」（色変更）の操作が行われたことを示している。
【００４４】
３−ｋから３−ｑまでが、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり。３−ｐは台詞が「こんにちは」という内容であることを示しており、３−ｍに示すメタメタデータには、ビデオコンテンツの前記付与範囲内で音声情報の変更が行われると、このメタデータが信頼できなくなることが示されている。
【００４５】
また、３−ｎは上記代表色の場合と同様、「ＡｕｄｉｏＣｈａｎｇｅ」（音声変更）の操作が行われたことを示す操作履歴である。
【００４６】
３−ｒから３−ｗまでも同様であり、３−ｓから３−ｖまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、３−ｔのメタメタデータは、どんな操作が行われても、このメタデータの信頼度が変化しないことを意味している。
【００４７】
図４は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００４８】
４−１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、４−２はツールバーと呼ばれる部分で、このウィンドウ内の主な機能を簡単に呼び出せるようにするものである。
【００４９】
４−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００５０】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見ることができるようになっている。これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとしてを選ぶことができる。
【００５１】
４−４は、４−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。４−４に示す部分を利用して、利用者は自分が選択したシーンの内容を把握できる。
【００５２】
４−５は、４−３、４−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、４−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【００５３】
４−６は、編集・加工されたビデオデータを、整列してビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。４−６１は出力形式を指定する部分で、４−６２は、４−３、４−４、４−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【００５４】
４−７は、４−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【００５５】
ビデオデータとして区間指定して、編集・加工などの指示が行われた場合の処理の手順の概略を図示したものが図５である。図５の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【００５６】
以下、図５で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示が行われた場合に（編集・加工操作の操作情報を受け付けた場合に）、ステップＳ５−１から処理が開始される。
【００５７】
ステップＳ５−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集・加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。
【００５８】
ステップＳ５−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【００５９】
ステップＳ５−４は、ステップＳ５−３で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ５−６へ移動する。
【００６０】
ステップＳ５−５は、ステップＳ５−４で検索されたメタデータ内のメタメタデータに、編集・加工の処理内容を操作履歴として付加する（図３の３−ｇおよび３−ｎは、ステップＳ５−５の工程において、付加されたものである）。
【００６１】
ステップＳ５−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【００６２】
ステップＳ５−７は、ステップＳ５−５、ステップＳ５−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままでよいと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ５−８は、本処理の終了を示すものである。
【００６３】
次に図６で示される、メタデータの検索手順について説明する。本実施形態で、ビデオデータとして区間指定して、検索などの指示が行われた場合に、ステップＳ６−１から処理が開始される。なお、ここでは検索を例にあげるが、本発明では、メタデータに関するいかなる操作であっても構わない。
【００６４】
ステップＳ６−２は、本処理で処理対象となるメタデータ及びそのメタメタデータの検索ができるように、あらかじめ準備しておく工程である。
【００６５】
ステップＳ６−３は、検索条件で指示された区間やメタデータの種類などに従い、該当するメタデータを検索する工程である。
【００６６】
ステップＳ６−４は、今回の検索結果となるメタデータの候補があったかどうかを調べる工程で、この結果、候補となるメタデータがない場合には、ステップＳ６−６へ移動する。
【００６７】
一方、今回の検索結果となるメタデータの候補があった場合にはステップＳ６−５に進み、その個々のメタデータに対して、そのメタメタデータを調べて、そのメタデータの信頼度の計算を行い利用可能かどうかを判断し、利用可能でない場合には、検索結果の候補から除外する。
【００６８】
ここで、図３を用いて、ステップＳ６−５の詳細を説明する。同図に示すようなメタデータとメタメタデータがあった場合には、代表色のメタデータは、そのメタメタデータとして、色変更の操作が行われると信頼度が３０％に低下することが３−ｅに記述されており、３−ｇに操作履歴として、過去に色変更の操作が行われたことが記録されている。
【００６９】
そこで、ステップＳ６−５では、まず、３−ｇに記載された操作履歴と、３−ｅに記載されたメタデータの信頼性の変化についての情報とに基づいて、当該メタデータの現時点での信頼度（つまり、色変更が行われた後の信頼度）を算出する。
【００７０】
次に、同ステップでは、算出された信頼度に基づいて、当該メタデータが利用可能であるか否かを判定する。判定は、あらかじめ信頼度についての閾値を設定しておき、当該閾値と比較することにより行うものとする。判定の結果、利用できないと判断された場合には、当該メタデータを検索結果から除外する。
【００７１】
同様に、台詞のメタデータには、メタメタデータとして、音声変更の操作が行われると、信頼度が０％に低下することが図３の３−ｍに記載されている。したがって、色変更の操作が行われても、台詞のメタデータの信頼度は変化しないが、音声変更の操作が行われると信頼度が０％になる。図３に示すメタメタデータには、３−ｎに音声変更が行われたことを示す操作履歴が記載されているため、台詞のメタデータの信頼度は０％と算出され、利用不可能と判定される。その結果、当該メタデータは検索結果から除外される。
【００７２】
さらに、撮影対象のメタデータには、操作履歴のメタメタデータがないので、これは利用可能と判断され、当該メタデータは検索結果として出力される。
【００７３】
より具体的な例として、色変更の操作である、古い写真のようにひなびた色調に変化させるセピア処理と、音声情報を書き直すアフレコ処理とをそれぞれ施したビデオコンテンツについて、そのメタデータを検索する場合の処理について説明する。
【００７４】
所定の検索条件に従い、メタデータを検索した結果、図３に示すメタデータ（代表色メタデータ、台詞メタデータ、撮影対象メタデータ）が検索された場合について考える。
【００７５】
セピア処理は、全体的に色調変更を加えるため、本来、もとのメタデータはそのままでは使用できなくなるものの、明暗の傾向は残っているため、セピア処理後であってもまったく信用できないわけではなく、３０％の信頼度を有することとなる。このため、利用可能と判断される。また、セピア処理が行われても、音声や写っている物や構図などの情報は変更されないので、同様に利用可能と判断される。このため、セピア処理が施されたビデオコンテンツについては、検索結果として、代表色メタデータ、台詞メタデータ、撮影対象メタデータが出力される。
【００７６】
一方、アフレコ処理は、動画部分は変更されないが、台詞が変更されてしまうか、なくされてしまうので、台詞メタデータの信頼度は０％となってしまう。このため、台詞メタデータは、利用不可能と判断される。なお、アフレコ処理が行われても、色調や写っている物や構図などの情報は変更されないので、利用可能と判断される。この結果、アフレコ処理が施されたビデオコンテンツについては、検索結果として、代表色メタデータと撮影対象メタデータとが出力されることとなる。
【００７７】
このように、ビデオコンテンツには編集・加工処理された内容によって、利用可能なメタデータとそうでないメタデータとがあるとともに、編集・加工により、まったく利用できなくなるわけではなく、メタデータの値の傾向や特徴がある程度残り、ある程度利用できる場合がある。本実施形態では、このような場合に、信頼度に応じて、メタデータの検索結果から除外することができる。
【００７８】
再び図６に戻る。ステップＳ６−６は、本処理の終了を示すものである。
【００７９】
以上の説明から明らかなように、本実施形態によれば、編集・加工等に伴うメタデータの変化を記載したメタメタデータを有するマルチメディア・コンテンツに対して、編集・加工などの処理を行った場合に、操作情報を操作履歴としてメタメタデータに記載することが可能である。
【００８０】
それにより、編集・加工後のマルチメディア・コンテンツについて、メタデータの検索を行った場合において、検索されたメタデータについて、信頼度の算出を行い、信頼度の低いメタデータを利用不可能と判定し、検索結果から除外することが可能となる。つまり、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【００８１】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、中心的に処理を支持する部分を保有しないが、処理の分散化が可能であるという特徴がある。
【００８２】
［第２の実施形態］
上記実施形態においては、ビデオコンテンツ内の区間を指定したうえで、編集・加工処理を行っているが、メタデータによっては、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまう場合がある。
【００８３】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【００８４】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。
【００８５】
そして、ビデオコンテンツ内の区間を指定した場合に、当該操作が操作履歴としてメタメタデータに記載されると、操作後のビデオコンテンツに対して、メタデータの検索を行っても、検索結果として代表色メタデータおよび台詞メタデータは除外されることとなる。
【００８６】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある、しかし、この場合であっても、上記第１の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかを記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【００８７】
［第３の実施形態］
上記各実施形態では、編集等の処理に対するメタデータの信頼度の変化を、メタメタデータとして直接記載しておくこととしたが、これに限られない。メタデータの編集内容に対する信頼度の変化についての情報（信頼性情報）の格納先を記載してもよい。以下、図７を用いて、本実施形態について説明する。
【００８８】
図７は、ビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００８９】
７−ａはメタデータが７−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報も記述される場合もあるので、その区別のために記述したものであり、７−ｂから７−ｗがメタデータであることがわかるようになっている。
【００９０】
メタデータの中身としては、まず、７−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。７−ｗはこの付与範囲の適用対象の終了を示すもので、これにより、７−ｗまでが、この付与範囲の対象となることがわかる。
【００９１】
７−ｃから７−ｈまでが付与範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたものを記述した部分であり、７−ｃがそのメタデータの開始を記述しており、７−ｈがその記述の終了を記述している。
【００９２】
７−ｇにはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。７−ｄから７−ｆは本発明のメタメタデータであり、７−ｄはそのメタメタデータの記述の開始を記述し、７−ｆはその記述の終了を示している。
【００９３】
７−ｅはメタメタデータの中身であり、このメタデータのビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化取得するために必要な情報が格納されており、当該信頼度の変化をネットワークを介して入手する際の識別情報となるＵＲＬが記述されている。本発明においては、この部分に記述される情報は、ＵＲＬに限られず、信頼度の変化に関する情報の格納先が記述されていれば、何でも構わない。
【００９４】
７−ｉから７−ｎ迄が、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり、７−ｎは台詞が「こんにちは」という内容であることを示しており、７−ｍに示すメタメタデータには、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、このメタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００９５】
７−ｏから７−ｖまでも同様であり、７−ｓから７−ｕまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、７−ｑの本発明のメタメタデータとして、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００９６】
図８は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００９７】
８−１はタイトルバーと呼ばれるもので、このウインドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、８−２はツールバーと呼ばれる部分で、このウインドウ内の主な機能を簡単に呼び出せるようにするものである。
【００９８】
８−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００９９】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見れるようになっている。
【０１００】
これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとして選ぶことができる。
【０１０１】
８−４は、８−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。８−４に示す部分を利用して利用者は、自分が選択したシーンの内容を把握できる。
【０１０２】
８−５は、８−３、８−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、８−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【０１０３】
８−６は、編集・加工されたビデオデータを、整列して、ビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。８−６１は出力形式を指定する部分で、８−６２は、８−３、８−４、８−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【０１０４】
８−７は、８−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【０１０５】
ビデオデータとして区間指定して、編集・加工などの指示を行われた場合の処理の手順の概略を図示したものが図９である。図９の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【０１０６】
以下、図９で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示を行われた場合に、ステップＳ９−１から処理が開始される。
【０１０７】
ステップＳ９−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。ここで、メタメタデータのＵＲＬ情報に従い、インターネットなどを使用して、このメタデータの付与範囲でどのような操作が行われると、このメタデータの信頼度が変化するかという情報を入手しておく。
【０１０８】
ステップＳ９−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【０１０９】
ステップＳ９−４は、ステップＳ９−４で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ９−６へ移動する。
【０１１０】
ステップＳ９−５は、ステップＳ５−４で検索されたメタデータ内のメタメタデータに、編集・加工の処理内容を操作履歴として付加する。
【０１１１】
ステップＳ９−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【０１１２】
ステップＳ９−７は、ステップＳ９−５、ステップＳ９−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままで良いと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ９−８は、本処理の終了を示すものである。
【０１１３】
以上の説明から明らかなように、メタデータの編集内容に対する信頼度の変化についての情報の格納先をメタメタデータとし記載することによっても、上記第１の実施形態と同様の効果を得ることが可能となる。
【０１１４】
［第４の実施形態］
上記第３の実施形態においても、ビデオコンテンツ内の区間を指定しているが、第２の実施形態同様、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまうメタデータもある。
【０１１５】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【０１１６】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。
【０１１７】
そして、ビデオコンテンツ内の区間を指定した場合に、当該操作が操作履歴としてメタメタデータに記載されると、操作後のビデオコンテンツに対して、メタデータの検索を行っても、検索結果として代表色メタデータおよび台詞メタデータは除外されることとなる。
【０１１８】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある、しかし、この場合であっても、上記第３の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかを記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【０１１９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１２２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２４】
なお、本発明に係る実施態様の例を以下に列挙する。
【０１２５】
［実施態様１］メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する工程と
を備えることを特徴とする情報処理方法。
【０１２６】
［実施態様２］前記メタメタデータを読み込む工程と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、を更に備え、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加することを特徴とする実施態様１に記載の情報処理方法。
【０１２７】
［実施態様３］メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理方法であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する工程と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載したメタメタデータを読み込む工程と、
前記メタメタデータに記載された操作履歴と前記信頼性の変化とに基づいて、前記検索されたメタデータの信頼度を算出する工程と、
前記算出された信頼度が、所定の信頼度以上であったメタデータを検索結果として出力する工程と
を備えることを特徴とする情報処理方法。
【０１２８】
［実施態様４］メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータに、前記操作情報を操作履歴として付加する工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と
を備えることを特徴とする情報処理方法。
【０１２９】
［実施態様５］前記メタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記編集操作の操作情報と、前記取得された信頼性情報とに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、を更に備え、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加することを特徴とする実施態様４に記載の情報処理方法。
【０１３０】
［実施態様６］メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理方法であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する工程と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記メタメタデータに記載された操作履歴と前記取得された信頼性情報とに基づいて、前記検索されたメタデータの信頼度を算出する工程と、
前記算出された信頼度が所定の信頼度以上であったメタデータを検索結果として出力する工程と
を備えることを特徴とする情報処理方法。
【０１３１】
［実施態様７］メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する手段と
を備えることを特徴とする情報処理装置。
【０１３２】
［実施態様８］メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理装置であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する手段と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載したメタメタデータを読み込む手段と、
前記メタメタデータに記載された操作履歴と前記信頼性の変化とに基づいて、前記検索されたメタデータの信頼度を算出する手段と、
前記算出された信頼度が、所定の信頼度以上であったメタデータを検索結果として出力する手段と
を備えることを特徴とする情報処理装置。
【０１３３】
［実施態様９］実施態様１乃至６のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【０１３４】
【発明の効果】
以上説明したように、本発明によれば、メタデータを有するマルチメディア・コンテンツに対して編集がなされた場合であっても、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報処理装置を備える情報処理システムの全体構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる情報処理装置において、計算機プログラムなどを格納した媒体から、計算機プログラムなどやデータなどを読みこむ実現形態を示す図である。
【図３】本発明の第１の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータを示す図である。
【図４】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の画面を示す図である。
【図５】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図６】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツに対する、メタデータの検索を行った場合の処理の流れを示すフローチャートである。
【図７】本発明の第３の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータを示す図である。
【図８】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の図面を示す図である。
【図９】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図１０】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツに対する、メタデータの検索を行った場合の処理の流れを示すフローチャートである。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing technique for performing various processes on multimedia contents.
[0002]
[Prior art]
2. Description of the Related Art In recent years, high-quality contents including video and audio supplied by digital data have been supplied, and multimedia contents in which these have been mixed have been distributed. In particular, with the spread of the Internet, which is a global computer network, in recent years, the era of these contents has become easier to obtain and enjoy.
[0003]
In addition, there is a need for a technology for quickly searching for the content desired by a user, with the aim of efficiently using multimedia content that will continue to increase rapidly in the future.
[0004]
However, in order to search for video data, audio data, etc., it is necessary for the computer to automatically recognize the content. However, information such as a video that records a large amount of information and changes over time is not available. Originally, it is very difficult to automatically recognize the contents. Even if the same digital data is document data, if a character or word is specified, it is not difficult for a computer to search for a part containing the character or word, but it is expressed in moving image data, audio data, etc. It is technically very difficult for a computer to understand what is being done.
[0005]
For this reason, for multimedia contents including such moving image data, still image data, audio data, and the like, linguistic information in which the contents and characteristics are described by keywords, explanatory sentences, and the like, and a computer are easy to process. A method has been adopted in which non-verbal information in which features are described by images or sounds in a format is added as metadata to facilitate the recognition. At present, a common format of metadata itself has been started by MPEG-7 or the like.
[0006]
In other words, in order to make it easy to search for bloated multimedia content, rather than interpreting the contents of the huge content, its features and characteristics are used as metadata, By holding the information internally or externally and using the information, it is possible to easily perform a multimedia content search process.
[0007]
As an example, Japanese Patent Application Laid-Open No. 08-077116 discloses that in an object-oriented data management method, in order to perform load distribution, objects (data) and attributes (metadata) are used to manage attributes and various states. A central processing device that determines various processes in accordance with the disclosure is disclosed, and describes that an appropriate process can be instructed to an appropriate processing portion by the processing device.
[0008]
[Patent Document 1]
JP-A-08-77116
[0009]
[Problems to be solved by the invention]
However, in the search for multimedia content, as described above, a problem when using metadata is that the reliability of metadata is not always high. In other words, if the multimedia content to which the metadata has been added has been edited in the past and the content has been changed, the metadata is metadata indicating the attribute of the changed multimedia content. May be inappropriate. For this reason, for example, when searching for multimedia content after editing, if the metadata is used, a correct search result cannot be obtained.
[0010]
In other words, in the above-described related art, there is a problem in that the subsequent use of the metadata cannot be accurately used with the editing of the multimedia content.
[0011]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and even when editing is performed on multimedia content having metadata, use of accurate metadata in the edited multimedia content is enabled. The purpose is to enable.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, in editing multimedia content, an information processing apparatus according to the present invention has the following configuration. That is,
An information processing device for editing multimedia content having metadata, comprising:
Means for receiving operation information of the editing operation;
Means for adding the operation information as operation history to metadata that describes a change in the reliability of the metadata accompanying an editing operation.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
First, the outline of the present invention will be described. Advantageous Effects of Invention According to the present invention, at the same time as adding metadata to content such as a moving image, the characteristics of the metadata (how much the reliability of the metadata decreases when processing such as editing is performed on the content) When a characteristic is added as meta-metadata and further processing such as editing is performed, the operation history can be recorded in the meta-metadata.
[0014]
As a result, each content has a redundant portion called the metadata, but the reliability of the metadata in the content after the editing operation can be calculated by using the information of the metadata.
[0015]
As a result, for example, when the metadata is used in the content search, among the searched metadata, the metadata with low reliability is determined to be unusable using the calculated reliability, and is excluded from the search result. And other measures can be taken, and more accurate use of metadata can be achieved.
[0016]
Further, since the determination processing is performed in each device, the processing work can be distributed. That is, in the decentralized processing devices, the processing on the metadata is determined from the metadata for the metadata. Thus, unlike the prior invention (Japanese Patent Application Laid-Open No. 08-077116), it does not have a portion that supports processing centrally, but has a feature that processing can be distributed. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0017]
[First Embodiment]
FIG. 1 is a diagram illustrating an example of an overall configuration of an information processing system including an information processing apparatus according to an embodiment of the present invention.
[0018]
In the configuration shown in the figure, reference numeral 11 denotes a microprocessor (CPU), which performs operations for various processes, makes logical decisions, and the like, and is connected to these buses via an address bus AB, a control bus CB, and a data bus DB. Control each component. The contents of the work are instructed by a program on a ROM 12 or a RAM 13 described later. Also, a plurality of computer programs can be operated in parallel by the function of the CPU itself or the mechanism of the computer program.
[0019]
The address bus AB transfers an address signal indicating a component to be controlled by the CPU 11. The control bus CB transfers and applies a control signal of each component to be controlled by the CPU 11. The data bus DB performs data transfer between the components.
[0020]
Reference numeral 12 denotes a read-only fixed memory (ROM), which stores a control program such as a processing program executed in the present embodiment. The ROM stores a computer program area and a data area in which control procedures by the microprocessor CPU 11 are stored.
[0021]
Reference numeral 13 denotes a writable random access memory (RAM), which is also used as a computer program area and a data area in which the control procedure by the microprocessor CPU 11 is stored, and various computer programs from each component other than the CPU 11 It is also used as a temporary storage area for various data.
[0022]
The storage media such as the ROM 12 and the RAM 13 include computer programs and data for realizing the present embodiment, and the computer of the system or the apparatus reads out and executes the program codes stored in the storage media. The function is realized by.
[0023]
Further, a recording medium storing the program and data according to the present invention may be supplied to a system or an apparatus, and the program may be copied onto the RAM 13 from the recording medium on a rewritable storage medium such as the RAM 13. However, as the recording medium, a CD-ROM, a floppy (registered trademark) disk, a hard disk, a memory card, a magneto-optical disk, or the like can be used, and the present invention can be achieved by any method.
[0024]
FIG. 2 is an example, and the computer program can be read from a recording medium (2-c) storing a computer program for realizing the present embodiment. The recording medium storing the computer program is also used in this embodiment. It is included as a form. In FIG. 2, 2-a indicates the device shown in FIG. 1, and 2-b indicates a drive device for reading a recording medium.
[0025]
Returning to the description of FIG. 1, a hard disk (DISK) 14 functions as an external memory for storing various computer programs, data, and the like. The hard disk (DISK) 14 has a built-in storage medium capable of reading and writing a large amount of information at a relatively high speed, and can store and retrieve various computer programs, data, and the like as needed. The stored computer programs and data are completely or partially called up on the RAM 13 when necessary according to instructions from a keyboard or instructions from various computer programs.
[0026]
Reference numeral 15 denotes a memory card (MemCard), which is a removable storage medium. By storing information in this storage medium and connecting the storage medium to another device, it is possible to refer to and transfer the stored information.
[0027]
Reference numeral 16 denotes a keyboard (KB) having various function keys such as an alphabet key, a hiragana key, a katakana key, a character symbol input key such as a period mark, a cursor movement key for instructing a cursor movement, and the like. Note that a pointing device such as a mouse may be included.
[0028]
17 is a cursor register (CR). The CPU 11 can read and write the contents of the cursor register. A CRT controller CRTC 19 described later displays a cursor at a position on the display device CRT 20 with respect to the address stored here.
[0029]
Reference numeral 18 denotes a display buffer memory (DBUF) for storing data patterns to be displayed.
[0030]
Reference numeral 19 denotes a CRT controller (CRTC), which plays a role of displaying the contents stored in the display buffer DBUF18 on the display device CRT20.
[0031]
Reference numeral 20 denotes a display device (CRT) using a cathode ray tube or the like. A display pattern of a dot configuration and a display of a cursor on the display device CRT are controlled by a CRT controller 19.
[0032]
Reference numeral 21 denotes a character generator (CG) for storing character and symbol patterns to be displayed on the display device CRT20.
[0033]
Reference numeral 22 denotes a communication device (NCU) for communicating with another computer device or the like, and by using this, the program and data of the present embodiment can be shared with other devices. In FIG. 1, a personal computer (PC), a receiving / accumulating / displaying device (TV / VR) for television broadcasts and images taken by himself / herself via a network (LAN), a home-use gaming computer (GC) It is connected to these and can freely exchange information with them. Needless to say, any device may be connected to the apparatus of the present invention via the network. The type of network may be anything, and the network may not be a closed network as shown in the figure, but may be a network connected to an external network.
[0034]
Reference numeral 23 denotes a receiving device (DTU) for realizing a broadcast-type communication receiving function using an artificial satellite or the like. It has a function of retrieving the stored data. There are various forms of broadcast communication, such as those broadcasted by terrestrial radio waves, those broadcasted by a coaxial cable or an optical cable, those distributed by the LAN or a large-scale network, and the like. Although various forms are conceivable, any type of broadcast communication can be adopted.
[0035]
In the information processing apparatus according to the present embodiment having the above-described configuration, a function of editing and processing multimedia contents such as a moving image and a still image and performing an operation such as a search on the metadata is realized. . First, it is assumed that the content and its metadata are usually stored in a storage device such as the DISK 14 or MemCard 15 in FIG. 1 or an external storage device via the NCU 22 or DTU 23 in FIG. The content may be anything such as a moving image or a still image, and the recording format of the content may be any format. The same applies to metadata, and any description format or recording format may be used as long as the information (meta metadata) of the present invention is held.
[0036]
FIG. 3 describes metadata for video content, which is an example of multimedia content, in XML format. The details will be described below.
[0037]
3-a describes that the metadata continues after 3-a. When the data is described in the XML format, information other than the metadata may be described. It is described. 3-y describes the end of the description of the metadata, and it can be seen from 3-b that 3-x is the metadata.
[0038]
As the contents of the metadata, first, a range to which the metadata is assigned is specified in 3-b, and the time range from 0:02:12 to 0:04:34 in the video content associated with the metadata. Are described as the assigned range, and the contents of the metadata assigned to the assigned range are described from the line onward.
[0039]
3-x indicates the end of the application range of this application range, and it is understood that up to 3-w is the application range of this application range.
[0040]
3-c to 3-j are portions describing that the representative color of the content of the moving image portion of the video content in the range is added as metadata, and 3-c describes the start of the metadata. 3-j describes the end of the description.
[0041]
In 3-i, the representative color is described by RGB values. This representative color is used for searching in video content and the like, and is a type of metadata. 3-d to 3-h are the metadata of the present invention, 3-d indicates the start of the description of the metadata, and 3-h indicates the end of the description.
[0042]
3-e indicates the content of the metadata, and indicates that when a color change operation is performed as an editing operation within the metadata addition range, the reliability of the metadata of the representative color is reduced to 30%. ing. Similarly, 3-f indicates that the reliability of the metadata of the representative color is reduced to 0% when the cut and paste in the video editing is performed within the range where the metadata is added, that is, the reliability becomes completely unreliable. ing.
[0043]
3-g is a part of meta-metadata, but is a description that did not exist before processing such as editing and processing of multimedia contents was performed. That is, when processing such as editing and processing of multimedia content is performed, operation information such as editing and processing is added as an operation history. In the present embodiment, it is indicated that an operation of “ColorChange” (color change) has been performed as a process such as editing and processing.
[0044]
From 3-k to 3-q are the metadata of the dialogue performed within the above-mentioned assignment range. The description structure is the same as in the case of the representative color. 3-p indicates that speech is the content of "hello", the Metameta data shown in 3-m, when change of the audio information within the granted range of video content is performed, the metadata It has been shown to be unreliable.
[0045]
Also, 3-n is an operation history indicating that the operation of "AudioChange" (voice change) has been performed, as in the case of the representative color.
[0046]
The same applies to 3-r to 3-w, and from 3-s to 3-v, a person is photographed in the moving image in the target section as metadata of the photographing target, which is referred to as "Ichiro Suzuki". And the metadata of 3-t means that no matter what operation is performed, the reliability of this metadata does not change.
[0047]
FIG. 4 shows a scene in which video data is actually edited and processed for video content. This is an example of a screen when a window system is used, and is displayed on the CRT 20 via the CRTC 19 and the CG 21 in FIG.
[0048]
4-1 is a title bar, which is a part for operating the entire window, for example, moving and changing the size, and 4-2 is a part called a toolbar, which is used to simply carry out the main functions in this window. Is to be called.
[0049]
4-3 is a portion for selecting a moving image scene or a still image to be edited or processed at present. The scene in the moving image file "Yamada-kun's wedding.mpg" recorded by a video camera is selected. I am working on it.
[0050]
Here, by operating the slider on the knob using an input device such as the KB 16 in FIG. 1, it is possible to specify an arbitrary section in the moving image and select a scene. The picture part in the bold frame is the first shot (one frame) of the currently selected scene, and the same scene can be seen before and after it. This allows the user to select a section in the video content that he / she wants to edit / process as one scene.
[0051]
Reference numeral 4-4 denotes a portion for reproducing and viewing the scene selected in 4-3. By operating a knob or the like called a slider, an arbitrary shot or frame in the scene can be freely moved and viewed. be able to. Also, if there is information such as the time when this scene was photographed, it is displayed therein. Using the portion shown in 4-4, the user can grasp the contents of the scene selected by himself / herself.
[0052]
Reference numeral 4-5 denotes a portion for instructing editing, processing, effects, and the like for the sections cut out in 4-3 and 4-4. Here, when one of the editing, processing, and effect is selected and the add button is pressed, the specified processing (editing, processing, and effect) is performed, and additionally registered in 4-62. At this time, metadata processing using the metadata of the present invention is performed. The contents of this processing will be described later.
[0053]
Reference numeral 4-6 denotes a part for displaying edited and processed video data as video data. The video data to be output is stored with metadata and metadata added as video content that can be used by this apparatus. 4-61 is a part for designating the output format, and 4-62 is where the video data created in 4-3, 4-4 and 4-5 are arranged. Here, by changing the order, the order in the final video content can be designated and changed.
[0054]
4-7 is a part for instructing to output the video data arranged in 4-6 as one video content.
[0055]
FIG. 5 schematically shows a processing procedure when an instruction such as editing or processing is performed by designating a section as video data. The processing in FIG. 5 is realized as a computer program as an example of realizing this processing, and may partially or entirely operate on the same or a plurality of devices. These may operate in parallel at the same time.
[0056]
Hereinafter, the processing contents and procedure shown in FIG. 5 will be described. In the present embodiment, when a section is designated as video data and an instruction such as editing / processing is performed (when operation information of an editing / processing operation is received), processing is started from step S5-1. .
[0057]
Step S5-2 is a step of preparing in advance so that the metadata to be processed in the present process, the metadata, and the information on the contents of the specified editing and processing can be used.
[0058]
Step S5-3 is a step of searching whether there is metadata assigned to the section of the content to be edited / processed.
[0059]
Step S5-4 is a step of confirming the number of metadata searched in step S5-3. As a result, if there is no searched metadata, the process moves to step S5-6.
[0060]
In step S5-5, the processing contents of editing and processing are added as operation histories to the metadata in the metadata searched in step S5-4 (3-g and 3-n in FIG. No. 5).
[0061]
Step S5-6 is a step of determining not to copy such metadata so that the metadata other than the section cut out at the time of editing and processing is not added to the cut out video data. .
[0062]
In step S5-7, based on the determinations in steps S5-5 and S5-6, it has been determined that the individual metadata can be added to the video data of the section cut out at the time of editing and processing. This is a step of adding only the metadata to the clipped video data. Step S5-8 indicates the end of this process.
[0063]
Next, the metadata search procedure shown in FIG. 6 will be described. In the present embodiment, when an instruction such as a search is specified by designating a section as video data, processing is started from step S6-1. Here, a search is described as an example, but any operation regarding metadata may be performed in the present invention.
[0064]
Step S6-2 is a step of preparing in advance so that metadata to be processed in this processing and the metadata can be searched.
[0065]
Step S6-3 is a step of searching for the corresponding metadata according to the section or the type of metadata specified by the search condition.
[0066]
Step S6-4 is a step of checking whether or not there is a metadata candidate serving as a search result this time. If there is no metadata serving as a candidate as a result, the process proceeds to step S6-6.
[0067]
On the other hand, if there is a metadata candidate that is the search result this time, the process proceeds to step S6-5, the metadata is checked for the individual metadata, and the calculation of the reliability of the metadata is performed. Judgment is made as to whether or not the search result can be used.
[0068]
Here, the details of step S6-5 will be described with reference to FIG. If there is metadata as shown in the figure and the metadata of the representative color, the reliability of the metadata of the representative color may be reduced to 30% as the metadata when the color change operation is performed. The operation history of the color change is recorded in 3-g as the operation history.
[0069]
Therefore, in step S6-5, first, based on the operation history described in 3-g and the information on the change in the reliability of the metadata described in 3-e, the current The reliability (that is, the reliability after the color change is performed) is calculated.
[0070]
Next, in the same step, it is determined based on the calculated reliability whether or not the metadata is available. The determination is made by setting a threshold value for the reliability in advance and comparing with the threshold value. If it is determined that the metadata cannot be used, the metadata is excluded from the search results.
[0071]
Similarly, in the metadata of the dialog, 3-m in FIG. 3 describes that the reliability decreases to 0% when an operation of voice change is performed as metadata. Therefore, even if the operation of changing the color is performed, the reliability of the dialogue metadata does not change, but the reliability of the voice changing operation becomes 0%. In the metadata shown in FIG. 3, since the operation history indicating that the voice change has been performed is described in 3-n, the reliability of the speech metadata is calculated as 0%, and it is determined that the speech cannot be used. Is done. As a result, the metadata is excluded from the search results.
[0072]
Further, since there is no metadata of the operation history in the metadata of the shooting target, it is determined that the metadata can be used, and the metadata is output as a search result.
[0073]
As a more specific example, metadata of video content that has been subjected to a sepia process for changing a color tone like an old photograph and an after-recording process for rewriting audio information, which are color changing operations, are searched for the metadata. The processing in this case will be described.
[0074]
Consider a case in which the metadata (representative color metadata, dialogue metadata, shooting target metadata) shown in FIG. 3 has been searched as a result of metadata search according to predetermined search conditions.
[0075]
Originally, the original metadata cannot be used as it is because the sepia processing adds a color change as a whole, but since there is a tendency for light and dark, even after the sepia processing is not completely unreliable , 30% reliability. Therefore, it is determined that it can be used. In addition, even if the sepia processing is performed, the information such as the sound, the photographed object, and the composition is not changed, so that it is similarly determined that the information can be used. For this reason, for the video content that has undergone the sepia processing, representative color metadata, speech metadata, and shooting target metadata are output as search results.
[0076]
On the other hand, in the post-recording processing, the moving image portion is not changed, but the dialogue is changed or eliminated, so that the reliability of the dialogue metadata is 0%. For this reason, the speech metadata is determined to be unusable. Note that even if the post-recording process is performed, the information such as the color tone, the imaged object, and the composition is not changed, so that it is determined that the information can be used. As a result, for the video content on which the post-recording processing has been performed, the representative color metadata and the shooting target metadata are output as search results.
[0077]
As described above, depending on the contents edited and processed, there are metadata that can be used and metadata that is not, and editing and processing do not mean that the video content cannot be used at all. Some trends and features remain and may be available to some extent. In the present embodiment, in such a case, it can be excluded from the metadata search result according to the reliability.
[0078]
Returning to FIG. Step S6-6 indicates the end of this process.
[0079]
As is apparent from the above description, according to the present embodiment, processing such as editing and processing is performed on multimedia content having metadata that describes changes in metadata accompanying editing and processing. In this case, the operation information can be described in the metadata as an operation history.
[0080]
As a result, when the metadata is searched for the edited / edited multimedia content, the reliability of the searched metadata is calculated, and the metadata with low reliability is determined to be unusable. Then, it can be excluded from the search results. That is, accurate metadata can be used in the edited multimedia content.
[0081]
Further, since the determination processing is performed in each device, the processing work can be distributed. That is, in the decentralized processing devices, the processing on the metadata is determined from the metadata for the metadata. Thus, although there is no central part supporting the processing, the processing is decentralized.
[0082]
[Second embodiment]
In the above embodiment, the editing / processing is performed after specifying the section in the video content. However, depending on the metadata, it is determined whether the metadata can be used only by such an operation (that is, whether or not the operation is performed). (Reliability of later metadata) may change.
[0083]
For example, when only a part of the assigned section is designated as the section for editing and processing the video content, the representative color metadata and the dialogue metadata cannot be used.
[0084]
However, even in such a case, the metadata of the imaging target can be used. Therefore, when only a part of the video content is designated as the editing / processing section, the fact that the reliability changes to 0% is recorded in the metadata for the representative color metadata and the speech metadata, and the shooting target is recorded. With regard to the metadata of, the fact that the reliability does not change may be recorded in the metadata.
[0085]
When a section in the video content is specified and the operation is described in the metadata as an operation history, even if the metadata of the operated video content is searched, the representative color is obtained as a search result. Metadata and dialogue metadata will be excluded.
[0086]
Further, depending on the metadata, the availability may change depending on the cutting method in which a part such as the front / rear is cut. However, even in this case, similar to the first embodiment, If you use metadata and record how much the reliability of the metadata changes for such operations, you can calculate the reliability of the metadata and determine whether it is available .
[0087]
[Third Embodiment]
In each of the above embodiments, the change in the reliability of the metadata with respect to the processing such as editing is directly described as the metadata, but the present invention is not limited to this. The storage location of information (reliability information) on a change in the degree of reliability with respect to the edited contents of the metadata may be described. Hereinafter, this embodiment will be described with reference to FIG.
[0088]
FIG. 7 describes metadata for video content in XML format. The details will be described below.
[0089]
7-a describes that the metadata continues after 7-a. When data is described in such an XML format, information other than the metadata may be described. It is described, and it can be seen that 7-b to 7-w are metadata.
[0090]
As the contents of the metadata, first, a range to which the metadata is assigned is specified in 7-b, and from 0 hour 2:12 seconds to 0:04:34 in the video content associated with the metadata. Are described as the assigned range, and the contents of the metadata assigned to the assigned range are described from the line onward. 7-w indicates the end of the application target of the application range, and it is understood that up to 7-w is the object of the application range.
[0091]
7-c to 7-h are portions in which the representative color of the content of the moving image portion of the video content in the addition range is described as metadata, and 7-c describes the start of the metadata. 7-h describes the end of the description.
[0092]
In 7-g, the representative color is described by RGB values. This representative color is used for searching in video content and the like, and is a type of metadata. 7-d to 7-f are metadata of the present invention, 7-d describes the start of the description of the metadata, and 7-f indicates the end of the description.
[0093]
7-e is the content of the metadata, and stores information necessary for acquiring a change in the reliability of the metadata when editing / processing is performed within the above-described range of the video content of the metadata. The URL is described as identification information when the change in reliability is obtained via a network. In the present invention, the information described in this portion is not limited to the URL, and any information may be used as long as the storage destination of the information regarding the change in the reliability is described.
[0094]
7-i to 7-n are the metadata of the dialogue performed within the above-described range. Structure description is similar to that of the representative color, 7-n indicates that speech is the content of "hello", the Metameta data shown in 7-m, the applied range of the video content Information necessary for acquiring information on a change in the reliability of the metadata when editing, processing, or the like is performed in the URL is described in a URL.
[0095]
The same applies to 7-o to 7-v, and in 7-s to 7-u, a human being is captured in a moving image in this target section as metadata of the capturing target, which is referred to as "Ichiro Suzuki". And the change in the reliability of the metadata when editing / processing is performed within the above-described range of the video content as the 7-q metadata of the present invention. Information necessary for acquiring the information is described in a URL.
[0096]
FIG. 8 shows a scene in which video data is actually edited and processed for video content. This is an example of a screen when a window system is used, and is displayed on the CRT 20 via the CRTC 19 and the CG 21 in FIG.
[0097]
Reference numeral 8-1 denotes a part called a title bar, which is used to operate the entire window, for example, move or change the size. Reference numeral 8-2 denotes a part called a toolbar, which is used to simplify the main functions in the window. Is to be called.
[0098]
8-3 is a part for selecting a moving image scene or a still image to be edited or processed at present. The scene in the moving image file "Yamada-kun's wedding.mpg" recorded by a video camera is selected. I am working on it.
[0099]
Here, by operating the slider on the knob using an input device such as the KB 16 in FIG. 1, it is possible to specify an arbitrary section in the moving image and select a scene. The picture portion in the thick frame is the first shot (one frame) of the currently selected scene, and the same scene can be seen before and after that.
[0100]
This allows the user to select a section in the video content that he / she wants to edit / process as one scene.
[0101]
Reference numeral 8-4 denotes a portion for reproducing and viewing the scene selected in 8-3. By operating a knob called a slider, an arbitrary shot or frame in this scene can be freely moved and viewed. be able to. Also, if there is information such as the time when this scene was photographed, it is displayed therein. The user can grasp the contents of the scene selected by using the part shown in 8-4.
[0102]
Reference numeral 8-5 denotes a portion for instructing editing, processing, effects, and the like for the sections cut out in 8-3 and 8-4. Here, when one of edit, process, and effect is selected and the add button is pressed, the designated process (edit, process, and effect) is performed, and the process is additionally registered in 8-62. At this time, metadata processing using the metadata of the present invention is performed. The contents of this processing will be described later.
[0103]
Reference numeral 8-6 denotes a part for aligning and displaying the edited and processed video data as video data. The video data to be output is stored with metadata and metadata added as video content that can be used by this apparatus. 8-61 is a part for designating the output format, and 8-62 is where the video data created in 8-3, 8-4 and 8-5 are arranged. Here, by changing the order, the order in the final video content can be designated and changed.
[0104]
8-7 is a part for instructing to output the video data arranged in 8-6 as one video content.
[0105]
FIG. 9 schematically shows the procedure of processing when an instruction such as editing or processing is given by designating a section as video data. The processing in FIG. 9 is an example of a case in which this processing is realized as a case where the processing is realized as a computer program, and may partially or wholly operate on the same or a plurality of devices. These may operate in parallel at the same time.
[0106]
Hereinafter, the processing contents and procedure shown in FIG. 9 will be described. In the present embodiment, when an instruction such as editing or processing is given by designating a section as video data, processing is started from step S9-1.
[0107]
Step S9-2 is a step of preparing in advance so that the metadata to be processed in the present process, the metadata, and the information on the contents of the specified editing process can be used. Here, according to the URL information of the metadata, using the Internet or the like, information is obtained as to what operation is performed in the range in which the metadata is assigned to change the reliability of the metadata. .
[0108]
Step S9-3 is a step of searching whether there is metadata assigned to the section of the content to be edited / processed.
[0109]
Step S9-4 is a step of checking the number of metadata searched in step S9-4. As a result, if there is no searched metadata, the process moves to step S9-6.
[0110]
A step S9-5 adds the contents of the editing / processing as the operation history to the metadata found in the metadata searched in the step S5-4.
[0111]
Step S9-6 is a step of determining not to copy such metadata so that the metadata other than the section cut out at the time of editing and processing is not added to the cut out video data. .
[0112]
In step S9-7, based on the determinations in step S9-5 and step S9-6, it is determined that the individual metadata can be left attached to the video data of the section cut out during editing and processing. This is a step of adding only the metadata to the clipped video data. Step S9-8 indicates the end of this process.
[0113]
As is apparent from the above description, the same effect as in the first embodiment can be obtained by describing the storage location of the information about the change in the reliability of the edited content of the metadata as the metadata. It becomes.
[0114]
[Fourth embodiment]
In the third embodiment, the section in the video content is specified. However, as in the second embodiment, it is determined whether the metadata can be used only by such an operation (that is, whether the metadata after the operation is used). For some metadata, the reliability of the metadata may change.
[0115]
For example, when only a part of the assigned section is designated as the section for editing and processing the video content, the representative color metadata and the dialogue metadata cannot be used.
[0116]
However, even in such a case, the metadata of the imaging target can be used. Therefore, when only a part of the video content is designated as the editing / processing section, the fact that the reliability changes to 0% is recorded in the metadata for the representative color metadata and the speech metadata, and the shooting target is recorded. With regard to the metadata of, the fact that the reliability does not change may be recorded in the metadata.
[0117]
When a section in the video content is specified and the operation is described in the metadata as an operation history, even if the metadata of the operated video content is searched, the representative color is obtained as a search result. Metadata and dialogue metadata will be excluded.
[0118]
Further, depending on the metadata, the availability may change depending on the cutting method for cutting out a part such as the front / rear, but even in this case, as in the third embodiment, If you use metadata and record how much the reliability of the metadata changes for such operations, you can calculate the reliability of the metadata and determine whether it is available .
[0119]
[Other embodiments]
The present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but may be a device including one device (for example, a copying machine, a facsimile machine, etc.). May be applied. Further, an object of the present invention is to provide a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a system or an apparatus, and a computer (or CPU or MPU) of the system or apparatus to store the storage medium. It is needless to say that the present invention can also be achieved by reading and executing the program code stored in the program.
[0120]
In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
[0121]
As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
[0122]
When the computer executes the readout program code, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. It goes without saying that a part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing.
[0123]
Further, after the program code read from the storage medium is written into a memory provided on a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that a CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
[0124]
Examples of the embodiment according to the present invention are listed below.
[0125]
Embodiment 1 An information processing method for editing multimedia content having metadata, comprising:
A step of receiving operation information of the editing operation;
A step of adding the operation information as an operation history to metadata that describes a change in the reliability of the metadata accompanying an editing operation; and
An information processing method comprising:
[0126]
[Embodiment 2] a step of reading the metadata;
Determining, based on the operation information of the editing operation and the read metadata, whether or not the metadata is available in the multimedia content after the editing operation. Prepare,
The information processing method according to claim 1, wherein the metadata is added to the multimedia content after the editing operation only when it is determined that the multimedia content is available.
[0127]
[Embodiment 3] An information processing method for searching for predetermined metadata in multimedia content having metadata,
Searching metadata of the multimedia content based on a predetermined search condition;
A step of reading metadata that describes a change in the reliability of the metadata associated with a predetermined operation, having the searched metadata,
Based on the operation history and the change in the reliability described in the metadata, a step of calculating the reliability of the searched metadata,
A step of outputting, as a search result, metadata in which the calculated reliability is equal to or higher than a predetermined reliability.
An information processing method comprising:
[0128]
[Embodiment 4] An information processing method for editing multimedia content having metadata, comprising:
A step of receiving operation information of the editing operation;
A step of adding the operation information as an operation history to metadata that describes a storage location of reliability information that describes a change in reliability of the metadata due to an editing operation,
A step of acquiring the reliability information based on the read metadata;
An information processing method comprising:
[0129]
[Embodiment 5] A step of reading the meta-metadata,
A step of acquiring the reliability information based on the read metadata;
Determining whether the metadata is available in the multimedia content after the editing operation based on the operation information of the editing operation and the obtained reliability information. In addition,
The information processing method according to embodiment 4, wherein the metadata is added to the multimedia content after the editing operation only when it is determined that the multimedia content can be used.
[0130]
Embodiment 6 An information processing method for searching for predetermined metadata in multimedia content having metadata,
Searching metadata of the multimedia content based on a predetermined search condition;
Reading the metadata that describes the storage location of the reliability information that describes the change in the reliability of the metadata associated with a predetermined operation that the searched metadata has,
A step of acquiring the reliability information based on the read metadata;
Based on the operation history and the obtained reliability information described in the metadata, a step of calculating the reliability of the searched metadata,
Outputting the metadata whose calculated reliability is equal to or higher than a predetermined reliability as a search result;
An information processing method comprising:
[0131]
[Embodiment 7] An information processing apparatus for editing multimedia content having metadata, comprising:
Means for receiving operation information of the editing operation;
Means for adding the operation information as an operation history to metadata that describes a change in the reliability of the metadata associated with an editing operation;
An information processing apparatus comprising:
[0132]
Embodiment 8 An information processing apparatus for searching for predetermined metadata in multimedia content having metadata,
Means for searching for metadata of the multimedia content based on predetermined search conditions;
Means for reading metadata that describes a change in the reliability of the metadata associated with a predetermined operation, which the searched metadata has,
Means for calculating the reliability of the searched metadata, based on the operation history and the change in reliability described in the metadata,
Means for outputting, as a search result, metadata in which the calculated reliability is equal to or higher than a predetermined reliability.
An information processing apparatus comprising:
[0133]
Ninth Embodiment A control program for causing a computer to implement the information processing method according to any one of the first to sixth embodiments.
[0134]
【The invention's effect】
As described above, according to the present invention, even when multimedia content having metadata is edited, accurate metadata can be used in the edited multimedia content. Become.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of an information processing system including an information processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an embodiment in which a computer program and the like and data and the like are read from a medium storing the computer program and the like in the information processing apparatus according to the first embodiment of the present invention.
FIG. 3 is a diagram illustrating metadata used in the information processing apparatus according to the first embodiment of the present invention and data of an XML description as one example of the metadata;
FIG. 4 is a diagram showing a screen when editing and processing video content in the information processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating the contents and procedure of processing for metadata when a section of a video content is designated and edited / processed in the information processing apparatus according to the first embodiment of the present invention; It is a flowchart showing the outline.
FIG. 6 is a flowchart illustrating a flow of processing when a search for metadata is performed on video content in the information processing apparatus according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating metadata used in an information processing apparatus according to a third embodiment of the present invention and data of an XML description given as an example of the metadata.
FIG. 8 is a diagram showing a drawing when editing and processing video content in an information processing apparatus according to a third embodiment of the present invention.
FIG. 9 is a diagram illustrating a content and a procedure of processing on metadata when a section of a video content is designated and edited / processed in the information processing apparatus according to the third embodiment of the present invention; It is a flowchart showing the outline.
FIG. 10 is a flowchart illustrating a flow of processing when a metadata search is performed on video content in the information processing apparatus according to the third embodiment of the present invention.

Claims

An information processing device for editing multimedia content having metadata, comprising:
Means for receiving operation information of the editing operation;
Means for adding the operation information as operation history to metadata that describes a change in the reliability of the metadata accompanying an editing operation.