JP2004221712A - 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 - Google Patents
情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 Download PDFInfo
- Publication number
- JP2004221712A JP2004221712A JP2003003980A JP2003003980A JP2004221712A JP 2004221712 A JP2004221712 A JP 2004221712A JP 2003003980 A JP2003003980 A JP 2003003980A JP 2003003980 A JP2003003980 A JP 2003003980A JP 2004221712 A JP2004221712 A JP 2004221712A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- related information
- extracting
- embedding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】編集作業の容易化等を図る。
【解決手段】オブジェクト抽出部２１は、オブジェクトを抽出し、関連情報抽出部２２は、オブジェクト抽出部２１で抽出されたオブジェクトに関連する音声情報や文字情報などの関連情報を抽出する。そして、埋め込みエンコード部１６は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する。
【選択図】 図２
【解決手段】オブジェクト抽出部２１は、オブジェクトを抽出し、関連情報抽出部２２は、オブジェクト抽出部２１で抽出されたオブジェクトに関連する音声情報や文字情報などの関連情報を抽出する。そして、埋め込みエンコード部１６は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体に関し、特に、例えば、編集を容易に行うことができるようにする情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体に関する。
【０００２】
【従来の技術】
従来においては、コンテンツを構成する画像信号や、音声信号、文字情報は、それぞれ別のメディアとして扱われ、それぞれ異なる信号として記録されていた。
【０００３】
また、例えば、特許文献１においては、素材データを識別するために、その素材データに、識別コードをウォータマークとして挿入する方法が開示されている。
【０００４】
【特許文献１】
特開２００１−２１６７６３号公報。
【０００５】
【発明が解決しようとする課題】
上述のように、コンテンツを構成する画像信号や、音声信号、文字情報が、それぞれ別のメディアとして扱われる場合、ユーザは、コンテンツを編集するのに、メディア毎に編集を行わなければならず、編集作業が大変であった。
【０００６】
即ち、コンテンツ中のあるオブジェクト （画像信号と音声信号（文字）が一体となってオブジェクトとして成立しているもの）として、例えば、映画中のある俳優が、声を発しながら騒音の中を歩いている等のシチュエーションにおける、その俳優のオブジェクトに注目し、その注目オブジェクトを、同一のコンテンツ中の他の時間の所に移動させる編集作業は、次のようにして行われていた。
【０００７】
まず画像信号というメディアについて、注目オブジェクトの画像信号を切り出して、バッファにためておいてから、移動先（他の時間）の画像信号上に合成する。又、オブジェクトを切り出した元には、その穴を埋める画像編集作業を行う。次に、音声信号というメディアについて、注目オブジェクトの音声信号のみを騒音の中から切り出して、バッファにためておいてから、移動先の音声信号上に重畳する。
【０００８】
以上のように、従来においては、オブジェクトを構成する異なるメディアの信号について、メディア毎に編集を行う必要があった。
【０００９】
また、ユーザは、コンテンツの中から任意のオブジェクトに関する情報（画像、音声、文字等）だけを抽出して、オブジェクト単位で編集することが困難であった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、例えば、編集作業の容易化を図ること等ができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の第１の情報処理装置は、オブジェクトを抽出するオブジェクト抽出手段と、オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段とを備えることを特徴とする。
【００１２】
本発明の第１の情報処理方法は、オブジェクトを抽出するオブジェクト抽出ステップと、オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップとを備えることを特徴とする。
【００１３】
本発明の第１のプログラムは、オブジェクトを抽出するオブジェクト抽出ステップと、オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップとを備えることを特徴とする。
【００１４】
本発明のデータ構造は、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備えることを特徴とする。
【００１５】
本発明の記録媒体は、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備えるデータ構造のデータが記録されていることを特徴とする。
【００１６】
本発明の第２の情報処理装置は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得手段と、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出手段と、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段とを備えることを特徴とする。
【００１７】
本発明の第２の情報処理方法は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出ステップと、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップとを備えることを特徴とする。
【００１８】
本発明の第２のプログラムは、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出ステップと、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップとを備えることを特徴とする。
【００１９】
本発明の第３の情報処理装置は、オブジェクトを抽出するオブジェクト抽出手段と、オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段と、オブジェクト統合信号を取得するオブジェクト統合信号取得手段と、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出手段と、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段とを備えることを特徴とする。
【００２０】
本発明の第１の情報処理装置および情報処理方法、並びにプログラムにおいては、オブジェクトと、そのオブジェクトに関連する関連情報が抽出され、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が生成される。
【００２１】
本発明のデータ構造および記録媒体においては、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備える。
【００２２】
本発明の第２の情報処理装置および情報処理方法、並びにプログラムにおいては、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が取得され、そのオブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とが抽出される。そして、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声が合成されて再生される。
【００２３】
本発明の第３の情報処理装置においては、オブジェクトと、そのオブジェクトに関連する関連情報が抽出され、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が生成される。さらに、オブジェクト統合信号が取得され、そのオブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とが抽出される。そして、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声が合成されて再生される。
【００２４】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００２５】
記録装置１は、例えば、映画などのコンテンツからオブジェクトを抽出するとともに、各オブジェクトに関連する関連情報を抽出し、各オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、各オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト単位のオブジェクト統合信号を生成する。さらに、記録装置１は、オブジェクト統合信号を、例えば、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、半導体メモリなどの記録媒体３に記録する。
【００２６】
再生装置２は、記録媒体３からオブジェクト統合信号を取得し、そのオブジェクト統合信号から、各オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する。さらに、再生装置２は、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する。
【００２７】
なお、記録装置１においては、オブジェクト統合信号を、記録媒体３に記録するのではなく、例えば、電話回線や、ＣＡＴＶ（Ｃａｂｌｅ Ｔｅｌｅｖｉｓｉｏｎ）網、衛星回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、バスなどの伝送媒体４を介して、再生装置２に伝送することが可能である。
【００２８】
次に、図２は、図１の記録装置１の構成例を示している。
【００２９】
画像データ入力部１１は、例えば、映画などの所定のコンテンツの（動）画像データ（画像情報）を、データ処理部１４に入力する。音声データ入力部１２は、所定のコンテンツの音声データ（音声情報）を、データ処理部１４に入力する。文字データ入力部１３は、所定のコンテンツの文字データ（文字情報）を、データ処理部１４に入力する。
【００３０】
データ処理部１４は、オブジェクト抽出部２１と関連情報抽出部２２から構成され、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクトと、そのオブジェクトに関連する関連情報を抽出する。
【００３１】
即ち、オブジェクト抽出部２１は、画像データ入力部１１から入力される所定のコンテンツの画像データから、例えば、前景となっている人物等のオブジェクト（の画像情報）を抽出する。
【００３２】
関連情報抽出部２２は、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクト抽出部２１で抽出されたオブジェクトに関連する関連情報を抽出する。
【００３３】
具体的には、関連情報抽出部２２は、例えば、画面上でのオブジェクトの位置を表す位置情報、オブジェクトの動きを表す動き情報、オブジェクトの変形の仕方を表す変形情報、オブジェクトから発せられる音声（音）の音声情報、オブジェクトを説明する文字情報などを、オブジェクトに関連する関連情報として抽出する。
【００３４】
ここで、オブジェクトの位置情報としては、例えば、そのオブジェクトの画面上における座標などを採用することができる。オブジェクトの動き情報としては、例えば、そのオブジェクトの各フレームにおける動きベクトルなどを採用することができる。オブジェクトの変形情報としては、例えば、オブジェクトの画像情報のフレーム間差分などを採用することができる。オブジェクトの音声情報としては、例えば、そのオブジェクトが人物である場合には、その人物が発する音声などを採用することができる。オブジェクトの文字情報としては、例えば、そのオブジェクトが人物である場合には、その人物の名前や、その人物を演じている俳優の名前などを採用することができる。
【００３５】
ここで、オブジェクト抽出部２１は、画像データ入力部１１から入力される所定のコンテンツの画像データから、前景の他、背景も、オブジェクトとして抽出する。さらに、関連情報抽出部２２は、前景であるオブジェクトのいずれにも関連しない音声情報と文字情報を、背景であるオブジェクトに関連する関連情報として抽出する。
【００３６】
オブジェクト抽出部２１で抽出された各オブジェクト（の画像情報）と、関連情報抽出部２２で抽出された各オブジェクトに関連する関連情報は、インデックス作成部１５および埋め込みエンコード部１６に供給される。
【００３７】
インデックス作成部１５は、オブジェクト抽出部２１から供給されるオブジェクト（の画像情報）や、関連情報抽出部２２から供給される関連情報を用い、オブジェクト抽出部２１で抽出された各オブジェクトについて、そのインデックスとなるインデックス情報を作成し、記録データ作成部１７に供給する。
【００３８】
ここで、インデックス情報としては、例えば、オブジェクトを識別するのに役立つ情報を採用することができる。即ち、オブジェクトのインデックス情報としては、例えば、そのオブジェクトが人物である場合には、その人物の名前を表す文字情報や、その人物を演じている俳優の名前を表す文字情報、その人物のせりふの一部の音声情報、さらには、例えば、オブジェクトが人物の顔の画像である旨の情報や、オブジェクトの画像情報の画素を間引いて、いわゆるサムネイルとした画像情報などを採用することができる。
【００３９】
埋め込みエンコード部１６は、オブジェクト抽出部２１から供給される各オブジェクト（の画像情報）に関連する関連情報を、関連情報抽出部２２から供給される関連情報の中から選択する。さらに、埋め込みエンコード部１６は、各オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成し、記録データ作成部１７に供給する。
【００４０】
ここで、埋め込みエンコード部１６は、オブジェクト（の画像情報）に、他の情報である関連情報を埋め込み、オブジェクトと同一のデータ量のオブジェクト統合信号を生成する。このようにデータ量が不変の埋め込みの方法としては、例えば、オブジェクトとしての画像の画素値の下位１ビットや数ビットを、関連情報にしたがって変更する方法がある。この場合、オブジェクト統合信号のデコード時には、そのオブジェクト統合信号の下位１ビットや数ビットが関連情報として抽出されるとともに、オブジェクト統合信号が、そのまま、元のオブジェクトとして抽出される。従って、この埋め込み方法では、オブジェクト統合信号のデコードにより得られるオブジェクトとしての画像の画質は、多少なりとも劣化する。
【００４１】
そこで、埋め込みエンコード部１６では、データ量が不変の埋め込み方法として、例えば、オブジェクト統合信号と、オブジェクトおよび関連情報との間の可逆変換が可能な、後述する埋め込み方法を採用することができる。
【００４２】
記録データ作成部１７は、埋め込みエンコード部１６から供給される各オブジェクトについてのオブジェクト統合信号と、インデックス作成部１５から供給されるインデックス情報とを配置したデータ構造の記録データを作成する。さらに、記録データ作成部１７は、記録データに、オブジェクト統合信号の配置位置を表す位置情報を含め、その記録データを、記録部１８に供給する。
【００４３】
記録部１８は、記録データを、記録媒体３に記録する。なお、記録部１８では、記録データを、伝送媒体４（図１）を介して伝送するようにすることも可能である。
【００４４】
次に、図３を参照して、図２の記録装置１が行う、データを記録媒体３に記録する記録処理について説明する。
【００４５】
記録処理では、まず最初に、ステップＳ１において、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれが、例えば、映画などの所定のコンテンツの画像情報、音声情報、文字情報を、データ処理部１４に入力し、ステップＳ２に進む。ステップＳ２では、データ処理部１４において、オブジェクト抽出部２１が、画像データ入力部１１から入力される画像情報から、オブジェクトを抽出するとともに、関連情報抽出部２２が、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクト抽出部２１で抽出されたオブジェクトに関連する関連情報を抽出する。
【００４６】
オブジェクト抽出部２１で抽出された各オブジェクト（の画像情報）と、関連情報抽出部２２で抽出された各オブジェクトに関連する関連情報は、インデックス作成部１５および埋め込みエンコード部１６に供給される。
【００４７】
そして、ステップＳ３に進み、埋め込みエンコード部１６が、オブジェクト抽出部２１から供給される各オブジェクトに、関連情報抽出部２２から供給される、そのオブジェクトに関連する関連情報を埋め込み、これにより、オブジェクト統合信号を生成して、記録データ作成部１７に供給する。さらに、ステップＳ３では、インデックス作成部１５が、オブジェクト抽出部２１から供給されるオブジェクトや、関連情報抽出部２２から供給される関連情報を用い、オブジェクト抽出部２１で抽出された各オブジェクトについて、インデックス情報を作成し、記録データ作成部１７に供給して、ステップＳ４に進む。
【００４８】
ステップＳ４では、記録データ作成部１７は、埋め込みエンコード部１６から供給される各オブジェクトについてのオブジェクト統合信号と、インデックス作成部１５から供給されるインデックス情報とを配置したデータ構造の記録データを作成する。さらに、ステップＳ４では、記録データ作成部１７は、記録データに、オブジェクト統合信号の配置位置を表す位置情報を含め、その記録データを、記録部１８に供給して、ステップＳ５に進む。ステップＳ５では、記録部１８が、記録データ作成部１７から供給される記録データを、記録媒体３に記録して、記録処理を終了する。
【００４９】
なお、記録部１８では、オブジェクト統合信号だけを記録媒体３に記録するようにすることが可能である。また、記録部１８では、オブジェクト統合信号と、その記録媒体３上の位置を表すアドレスなどの位置情報だけを記録媒体３に記録するようにすることも可能である。さらに、記録部１８では、オブジェクト統合信号とインデックス情報だけを記録媒体３に記録するようにすることも可能である。
【００５０】
次に、図４は、図２の記録データ作成部１７が作成する記録データのフォーマットを示している。
【００５１】
記録データは、インデックス情報格納部と統合信号格納部とから構成される。
【００５２】
インデックス情報格納部には、各オブジェクトのオブジェクト統合信号の位置情報としてのアドレスと、そのオブジェクトのインデックス情報とのセットが、オブジェクトの数だけ繰り返し配置される。統合信号格納部には、オブジェクト単位のオブジェクト統合信号が、オブジェクトの数だけ繰り返し配置される。
【００５３】
なお、インデックス情報格納部に配置されるオブジェクト統合信号の位置情報となるアドレスとしては、例えば、そのオブジェクト統合信号が記録される記録媒体３上の論理的または物理的なアドレス（例えば、セクタナンバなど）などを採用することができる。
【００５４】
また、記録データのフォーマットは、図４に示したものに限定されるものではない。
【００５５】
次に、図５のフローチャートを参照して、図３のステップＳ２で行われるオブジェクトと関連情報の抽出処理（オブジェクト／関連情報抽出処理）について、さらに説明する。
【００５６】
なお、ここでは、関連情報として、例えば、オブジェクトの画面内での位置情報、オブジェクトの動き情報、およびオブジェクトの変形情報を抽出するものとして説明を行う。
【００５７】
まず最初に、ステップＳ１１において、オブジェクト抽出部２１は、画像データ入力部１１から入力されるコンテンツの画像情報の中の、例えば、先頭フレームなどの所定の１フレームを注目フレームとし、その注目フレームの中から、オブジェクトが表示されている領域であるオブジェクト領域を抽出する。
【００５８】
ここで、オブジェクト領域の抽出方法としては、例えば、画像情報における輝度や、色、エッジの情報を用いて、注目フレームを小さな領域に分割する領域分割を行い、その分割された各領域が、他の領域とともに同一のオブジェクトを形成するかどうかを判定（連結判定）し、同一のオブジェクトを形成する領域どうしを連結することにより、１つのオブジェクトのオブジェクト領域を抽出する方法がある。なお、同一のオブジェクトの領域は、その他、例えば、ユーザによって指定してもらっても良い。さらに、オブジェクト領域の抽出は、例えば、ユーザに、オブジェクトの輪郭を指定してもらうことによって行うようにすることも可能である。
【００５９】
ステップＳ１１においてオブジェクト領域を抽出した後は、ステップＳ１２に進み、オブジェクト抽出部２１は、ステップＳ１１で抽出したオブジェクト領域のオブジェクトの全体を含む、例えば、矩形領域を抽出する。
【００６０】
ここで、オブジェクトを含む矩形領域の抽出方法としては、注目フレーム上にｘｙ平面を定義し、そのｘｙ平面において、オブジェクト領域のｘ座標の最大値と最小値、およびｙ座標の最大値と最小値を求める方法がある。即ち、この場合、最大値のｘ座標とｙ座標で表される点と、最小値のｘ座標とｙ座標で表される点とを結ぶ線分を対角線とする長方形の領域を、オブジェクトを含む矩形領域として抽出することができる。
【００６１】
ステップＳ１２においてオブジェクトを囲む矩形領域を抽出した後は、ステップＳ１３に進み、オブジェクト抽出部２１は、その矩形領域を、オブジェクトの画像情報として一時記憶するとともに、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ１４に進む。
【００６２】
ステップＳ１４では、オブジェクト抽出部２１は、オブジェクトを含む矩形領域（以下、適宜、オブジェクト矩形領域という）の重心、即ち、例えば、オブジェクト矩形領域としての長方形の対角線どうしの交点を算出し、ステップＳ１５に進む。ステップＳ１５では、オブジェクト抽出部２１は、オブジェクト矩形領域の重心の位置を、そのオブジェクト矩形領域に含まれるオブジェクトの位置情報として一時記憶するとともに、関連情報の１つとして、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ１６に進む。
【００６３】
ステップＳ１６では、オブジェクト抽出部２１は、ステップＳ１２で抽出したオブジェクト矩形領域をテンプレート（標準パターン）として、画像データ入力部１１から入力されたコンテンツの画像情報の注目フレーム以外のフレームを対象に、テンプレートマッチングを行い、各フレームから、オブジェクト矩形領域にマッチングした領域（マッチング領域）を抽出する。
【００６４】
ここで、オブジェクト矩形領域をテンプレートとして、画像データ入力部１１から入力されたコンテンツの画像情報の注目フレーム以外のフレームを対象に、テンプレートマッチングを行い、各フレームから、オブジェクト矩形領域にマッチングしたマッチング領域を抽出することは、オブジェクト矩形領域に含まれるオブジェクトの位置を、時間方向に、いわばトラッキングしているということができる。
【００６５】
ステップＳ１６においてマッチング領域を抽出した後は、ステップＳ１７に進み、オブジェクト抽出部２１は、ステップＳ１６で各フレームから抽出したマッチング領域の重心を、例えば、ステップＳ１４でオブジェクト矩形領域の重心を求めた場合と同様にして求め、各フレームのマッチング領域の位置情報として一時記憶して、ステップＳ１８に進む。
【００６６】
ステップＳ１８では、オブジェクト抽出部２１は、オブジェクト矩形領域について求められた各フレームのマッチング領域の位置情報のうちの、隣接するフレームのものどうしの差分である動きベクトルを、オブジェクト矩形領域に含まれるオブジェクトの動き情報として求め、ステップＳ１９に進む。ステップＳ１９では、オブジェクト抽出部２１は、ステップＳ１８で求められた動きベクトルを一時記憶するとともに、関連情報の１つとして、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ２０に進む。
【００６７】
ステップＳ２０では、オブジェクト抽出部２１は、オブジェクト矩形領域と、そのオブジェクト矩形領域について各フレームから抽出されたマッチング領域との差分を求め、ステップＳ２１に進む。ステップＳ２１では、オブジェクト抽出部２１は、オブジェクト矩形領域と、そのオブジェクト矩形領域について各フレームから抽出されたマッチング領域との差分それぞれを、そのオブジェクト矩形領域に含まれるオブジェクトの変形情報として一時記憶するとともに、関連情報として、インデックス作成部１５および埋め込みエンコード部１６に供給し、オブジェクト／関連情報抽出処理を終了する。
【００６８】
なお、図５のオブジェクト／関連情報抽出処理は、例えば、注目フレームに存在するすべてのオブジェクトを対象に行われる。
【００６９】
次に、図６は、図１の再生装置２の第１の構成例を示している。
【００７０】
データ読み込み部３１は、記録媒体３から各オブジェクトのオブジェクト統合信号を読み出し、各オブジェクト統合信号取得部３２および背景統合信号取得部３３に供給する。なお、データ読み込み部３１は、例えば、記録媒体３に記録されている図４に示したデータのうちのアドレスに基づいて、各オブジェクトのオブジェクト統合信号が記録されている記録媒体３の位置を認識する。
【００７１】
各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、前景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５１に供給する。背景統合信号取得部３３は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、背景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５２に供給する。
【００７２】
埋め込みデコード部３４は、埋め込みデコーダ５１と５２から構成され、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号をデコードし、埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号をデコードする。
【００７３】
即ち、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号から、前景であるオブジェクト（の画像情報）と、その関連情報を抽出し、オブジェクトデータ蓄積部３５に供給する。埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号から、背景であるオブジェクト（の画像情報）と、その関連情報を抽出し、背景データ蓄積部３６に供給する。
【００７４】
オブジェクトデータ蓄積部３５は、蓄積部５３と５４から構成され、蓄積部５３は、埋め込みデコーダ５１から供給される前景である各オブジェクト（の画像情報）を一時記憶し、蓄積部５４は、埋め込みデコーダ５１から供給される各オブジェクトの関連情報を一時記憶する。背景データ蓄積部３６は、蓄積部５５と５６から構成され、蓄積部５５は、埋め込みデコーダ５２から供給される背景であるオブジェクト（の画像情報）を一時記憶し、蓄積部５４は、埋め込みデコーダ５２から供給されるオブジェクトの関連情報を記憶する。なお、上述したように、背景であるオブジェクトの関連情報は、ここでは、前景であるオブジェクトのいずれにも関連しない音声情報と文字情報である。
【００７５】
オブジェクト合成部３７は、画像信号合成部５７と音声信号合成部５８から構成され、オブジェクトデータ蓄積部３５と背景データ蓄積部３６それぞれから、オブジェクトおよび関連情報を読み出し、そのオブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する。
【００７６】
即ち、画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から前景の各オブジェクト（の画像情報）を読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から各オブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、各オブジェクトと、その位置情報、動きベクトル、および変形情報を用いて、各フレームの前景の画像を構成する。さらに、画像信号合成部５７は、背景データ蓄積部３６の蓄積部５５から背景のオブジェクト（の画像情報）を読み出し、各フレームの背景の画像を構成する。そして、画像信号合成部５７は、各フレームの前景と背景の画像を合成し、これにより、一連の動画像を再生して、画像信号出力部３８に供給する。
【００７７】
音声信号合成部５８は、オブジェクトデータ蓄積部３５の蓄積部５４から前景の各オブジェクトの関連情報のうちの音声情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの音声情報を読み出し、その音声情報を、例えばフレーム単位で合成して、音声信号出力部３９に供給する。
【００７８】
画像信号出力部３８は、例えば、ディスプレイなどで構成され、オブジェクト合成部３７の画像信号合成部５７から供給される各フレームの画像情報を表示（出力）する。音声信号出力部３９は、例えば、スピーカなどで構成され、オブジェクト合成部３７の音声信号合成部５８から供給される各フレームの音声情報を出力する。文字情報出力部４０は、例えば、ディスプレイなどで構成され、オブジェクトデータ蓄積部３５の蓄積部５４から前景のオブジェクトの関連情報のうちの文字情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの文字情報を読み出し、必要に応じて表示（出力）する。
【００７９】
次に、図７のフローチャートを参照して、図６の再生装置２が行う、画像や音声等の再生処理について説明する。
【００８０】
再生処理では、まず最初に、ステップＳ３１において、データ読み込み部３１が、記録媒体３から各オブジェクトのオブジェクト統合信号を読み出し、各オブジェクト統合信号取得部３２および背景統合信号取得部３３に供給して、ステップＳ３２に進む。ステップＳ３２では、背景統合信号取得部３３が、データ読み込み部３１から供給されるオブジェクト統合信号の中から、背景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５２に供給して、ステップＳ３３に進む。ステップＳ３３では、埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号をデコードすることにより、背景であるオブジェクトと、その関連情報を抽出し、背景データ蓄積部３６に供給して、ステップＳ３４に進む。
【００８１】
ステップＳ３４では、背景データ蓄積部３６の蓄積部５５が、埋め込みデコーダ５２から供給される背景であるオブジェクトを一時記憶し、ステップＳ３５に進む。ステップＳ３５では、背景データ蓄積部３６の蓄積部５４が、埋め込みデコーダ５２から供給されるオブジェクトの関連情報（前景であるオブジェクトのいずれにも関連しない音声情報と文字情報）を記憶して、ステップＳ３６に進む。
【００８２】
ステップＳ３６では、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、ある前景のオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５１に供給し、ステップＳ３７に進む。ステップＳ３７では、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号をデコードすることにより、前景であるオブジェクトと、その関連情報を抽出し、オブジェクトデータ蓄積部３５に供給して、ステップＳ３８に進む。ステップＳ３８では、オブジェクトデータ蓄積部３５の蓄積部５３が、埋め込みデコーダ５１から供給される前景のオブジェクトを一時記憶し、ステップＳ３９に進む。ステップＳ３９では、オブジェクトデータ蓄積部３５の蓄積部５４が、埋め込みデコーダ５１から供給されるオブジェクトの関連情報を一時記憶し、ステップＳ４０に進む。
【００８３】
ステップＳ４０では、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したかどうかを判定する。ステップＳ４０において、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を、まだ取得していないと判定された場合、ステップＳ３６に戻り、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、まだ取得していない前景のオブジェクトについてのオブジェクト統合信号を取得し、以下、同様の処理を繰り返す。
【００８４】
また、ステップＳ４０において、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したと判定された場合、ステップＳ４１に進み、オブジェクト合成部３７の画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から、ある前景のオブジェクトを読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から、そのオブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、オブジェクトと、その位置情報、動きベクトル、および変形情報を用いて、各フレームの前景の画像を構成する。即ち、画像信号合成部５７は、例えば、位置情報が表す先頭フレームの位置にオブジェクトの画像情報を配置し、以降のフレームについては、先頭フレームのオブジェクトの画像情報に変形情報を加算することによって、各フレームのオブジェクトの画像情報を生成する。そして、画像信号合成部５７は、各フレームのオブジェクトの画像情報を、先頭フレームの位置から動きベクトルに対応する分だけ移動した位置に配置し、これにより、各フレームの前景の画像を構成する。
【００８５】
ステップＳ４１では、さらに、画像信号合成部５７は、各フレームの前景の画像を、その内蔵するバッファ（図示せず）に記憶している各フレームの画像にそれぞれ合成し、ステップＳ４２に進む。ステップＳ４２では、画像信号合成部５７は、ステップＳ４１で合成した各フレームの画像を、その内蔵するバッファに上書きする形で記憶し、ステップＳ４３に進む。
【００８６】
ステップＳ４３では、オブジェクト合成部３７の音声信号合成部５８が、オブジェクトデータ蓄積部３５の蓄積部５３から、画像信号合成部５７が読み出したオブジェクトの関連情報のうちの音声情報を読み出し、その内蔵するバッファ（図示せず）に記憶している各フレームの音声情報に合成して、ステップＳ４４に進む。ステップＳ４４では、音声信号合成部５８は、ステップＳ４３で合成した各フレームの音声を、その内蔵するバッファに上書きする形で記憶し、ステップＳ４５に進む。
【００８７】
ステップＳ４５では、オブジェクト合成部３７が、すべての前景のオブジェクトについての画像の合成（ステップＳ４１）と音声の合成（ステップＳ４３）が完了したかどうかを判定する。ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が、まだ完了していないと判定された場合、ステップＳ４１に戻り、画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から、まだ読み出していない前景のオブジェクトを読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から、そのオブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、以下、ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定されるまで、ステップＳ４１乃至Ｓ４５の処理が繰り返される。
【００８８】
ここで、画像信号合成部５７は、ステップＳ４１の処理を最初に行う場合、背景データ蓄積部３６の蓄積部５５から背景のオブジェクトを読み出し、その内蔵するバッファに記憶する。従って、画像信号合成部５７の内蔵するバッファには、まず背景が記憶され、その後、ステップＳ４１乃至Ｓ４５の処理が繰り返されることにより、背景に対して、順次、前景のオブジェクトが重畳されていく。
【００８９】
また、音声信号合成部５８は、ステップＳ４３の処理を最初に行う場合、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報としての音声情報を読み出し、その内蔵するバッファに記憶する。従って、音声信号合成部５８の内蔵するバッファには、まず背景の音声情報が記憶され、その後、ステップＳ４１乃至Ｓ４５の処理が繰り返されることにより、背景の音声情報に対して、順次、前景のオブジェクトの音声情報が重畳されていく。
【００９０】
その後、ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定された場合、ステップＳ４６に進み、オブジェクト合成部３７は、所定のフレーム（最初にステップＳ４６の処理が行われるときには、例えば、先頭フレーム）を注目フレームとして、その注目フレームについて、画像信号合成部５７の内蔵するバッファに記憶された画像情報と、音声信号合成部５８に記憶された音声情報との同期をとり、ステップＳ４７，Ｓ４８に順次進む。ステップＳ４７では、画像信号合成部５７が、注目フレームの画像情報を画像信号出力部３８に供給し、ステップＳ４８では、音声信号合成部５８が、注目フレームの音声情報を音声信号出力部３９に供給して、ステップＳ４９に進む。これにより、画像信号出力部３８において、注目フレームの画像が表示されるとともに、その画像の表示に同期しながら、音声信号出力部３９において、注目フレームの音声が出力される。
【００９１】
ステップＳ４９では、文字情報出力部４０が、文字情報を出力するかどうかを判定し、文字情報を出力すると判定した場合、即ち、例えば、文字情報を出力するように、再生装置２の設定が、ユーザによって行われている場合、ステップＳ５０に進み、文字情報出力部４０は、オブジェクトデータ蓄積部３５の蓄積部５４から前景のオブジェクトの関連情報のうちの文字情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの文字情報を読み出して表示し、ステップＳ５１に進む。
【００９２】
なお、文字情報は、画像信号出力部３８とは別の文字情報出力部４０を設けて表示する他、例えば、画像信号出力部３８において、いわゆるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示することも可能である。
【００９３】
ステップＳ５１では、オブジェクト合成部３７が、すべてのフレームの再生が終了したか、または再生を終了するように、ユーザから指示があったかどうかを判定する。ステップＳ５１において、すべてのフレームの再生が、まだ終了していないし、また、再生を終了する旨の指示もないと判定された場合、ステップＳ４６に戻り、オブジェクト合成部３７は、いま注目フレームとなっているフレームの次のフレームを、新たな注目フレームとして、その注目フレームについて、画像信号合成部５７の内蔵するバッファに記憶された画像情報と、音声信号合成部５８の内蔵するバッファに記憶された音声情報との同期をとる。そして、以下、同様の処理が繰り返される。
【００９４】
また、ステップＳ５１において、すべてのフレームの再生が終了したか、または、再生を終了する旨の指示があったと判定された場合、再生処理を終了する。
【００９５】
以上の再生処理によれば、元のコンテンツと同一のコンテンツが再生される。
【００９６】
次に、図８は、図１の再生装置２の第２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図８の再生装置２は、インデックス情報取得部４１、インデックス情報蓄積部４２、インデックス情報提示部４３、およびユーザ入力部４４が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【００９７】
図８の実施の形態では、データ読み込み部３１は、記録媒体３からオブジェクト統合信号の他、インデックス情報も読み出し、その記録媒体３から読み出したデータを、各オブジェクト統合信号取得部３２および背景統合信号取得部３３の他、インデックス情報取得部４１にも供給する。
【００９８】
インデックス情報取得部４１は、データ読み込み部３１から供給されるデータからインデックス情報を取得し、インデックス情報蓄積部４２に供給する。インデックス情報蓄積部４２は、インデックス情報取得部４１から供給されるインデックス情報を一時記憶する。インデックス情報提示部４３は、例えばディスプレイやスピーカなどで構成され、インデックス情報蓄積部３２に記憶されたインデックス情報の一覧を提示（画像として表示、または音声として出力）する。さらに、インデックス情報提示部４３は、ユーザ入力部４４からの、インデックス情報の選択指示を受信し、その選択指示によって選択されたインデックス情報に対応するオブジェクトを表す情報を、オブジェクトデータ蓄積部３５に供給する。
【００９９】
ユーザ入力部４４は、例えば、マウスや、キーボード、マイク（マイクロフォン）などのユーザの指示を入力することのできるＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）で構成され、ユーザの指示を、インデックス情報提示部４３に供給する。
【０１００】
次に、図９のフローチャートを参照して、図８の再生装置２が行う再生処理について説明する。
【０１０１】
図９では、ステップＳ６１乃至Ｓ７０において、図７のステップＳ３１乃至Ｓ４０における場合とそれぞれ同様の処理が行われる。但し、ステップＳ６１では、データ読み込み部３１は、記録媒体３から各オブジェクトのオブジェクト統合信号の他、各オブジェクトのインデックス情報も読み出し、各オブジェクト統合信号取得部３２、背景統合信号取得部３３、およびインデックス情報取得部４１に供給する。
【０１０２】
ステップＳ７０において、対応する図７のステップＳ４０における場合と同様に、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したかどうかが判定され、取得したと判定された場合、ステップＳ７１に進み、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、ある前景のオブジェクトについてのインデックス情報を取得し、インデックス情報蓄積部４２に供給して、ステップＳ７２に進む。ステップＳ７２では、インデックス情報蓄積部４２が、インデックス情報取得部４１から供給されるインデックス情報を一時記憶して、ステップＳ７３に進む。
【０１０３】
ステップＳ７３では、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を取得したかどうかを判定する。ステップＳ７３において、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を、まだ取得していないと判定された場合、ステップＳ７１に戻り、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、まだ取得していない前景のオブジェクトについてのインデックス情報を取得し、以下、同様の処理を繰り返す。
【０１０４】
また、ステップＳ７３において、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を取得したと判定された場合、ステップＳ７４に進み、インデックス情報提示部４３は、インデックス情報蓄積部４２に記憶されたインデックス情報の一覧を提示し、ステップＳ７５に進む。
【０１０５】
ステップＳ７５では、ユーザ入力部４４が、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力が、ユーザからあったかどうかを判定し、なかったと判定した場合、ステップＳ７５に戻り、以下、同様の処理を繰り返す。
【０１０６】
また、ステップＳ７５において、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力があったと判定された場合、ステップＳ７６乃至Ｓ７９に順次進み、図７のステップＳ４１乃至Ｓ４４における場合とそれぞれ同様の処理、即ち、画像と音声の合成が行われる。
【０１０７】
但し、ステップＳ７６乃至Ｓ７９では、すべてのオブジェクトではなく、ユーザ入力部４４によって選択指示がされた前景のオブジェクトと、背景のオブジェクトを対象に、処理が行われる。従って、ステップＳ７６乃至Ｓ７９では、ユーザ入力部４４によって選択されなかったオブジェクトについては、処理は行われない。
【０１０８】
ステップＳ７９の処理後は、ステップＳ８０に進み、オブジェクト合成部３７は、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成（ステップＳ７６）と音声の合成（ステップＳ７８）が完了したかどうかを判定する。ステップＳ７９において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が、まだ完了していないと判定された場合、ステップＳ７６に戻り、以下、ステップＳ８０において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定されるまで、ステップＳ７６乃至Ｓ８０の処理が繰り返される。
【０１０９】
そして、ステップＳ８０において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定された場合、ステップＳ８１に進み、以下、ステップＳ８１乃至Ｓ８６において、図７のステップＳ４６乃至Ｓ５１における場合とそれぞれ同様の処理が行われ、再生処理を終了する。
【０１１０】
以上の再生処理によれば、元のコンテンツに存在する前景のオブジェクトのうち、ユーザ入力部４４によって選択指示がされたオブジェクトが存在し、選択指示がされなかったオブジェクトが存在しないコンテンツが再生される。
【０１１１】
なお、図９の実施の形態では、埋め込みデコーダ５１において、すべての前景のオブジェクトについてのオブジェクト統合信号がデコードされるが、埋め込みデコーダ５１においては、その他、例えば、ユーザ入力部４４によって選択指示のあったインデックス情報に対応する前景のオブジェクトのオブジェクト統合信号だけを選択してデコードするようにすることが可能である。後述する図１１の実施の形態においても、同様である。
【０１１２】
次に、図１０は、図１の再生装置２の第３の構成例を示している。なお、図中、図６または図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１０の再生装置２は、編集部４５、オブジェクトデータ更新部４６、編集履歴蓄積部４７、および記録部４８が新たに設けられている他は、基本的に、図８における場合と同様に構成されている。
【０１１３】
図１０の再生装置２においては、コンテンツの再生の他、コンテンツの編集を行うことができるようになっており、さらに、その編集後のコンテンツの再生を行うことができるようになっている。
【０１１４】
即ち、図１０の再生装置２では、ユーザ入力部４４から、インデックス情報の選択指示の他、コンテンツに対する編集指示を入力することができるようになっており、編集指示は、編集部４５に供給される。
【０１１５】
編集部４５は、ユーザ入力部４４からの編集指示にしたがい、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）や、その関連情報を編集し、その編集履歴を、オブジェクトデータ更新部４６と編集履歴蓄積部４７に供給する。
【０１１６】
オブジェクトデータ更新部４６は、編集部４５から供給される編集履歴にしたがって、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報が編集後のものとなる。
【０１１７】
編集履歴蓄積部４７は、編集部４５から供給される編集履歴を一時記憶する。記録部４８は、編集履歴蓄積部４７に記憶された編集履歴を読み出し、例えば、記録媒体３に記録する。
【０１１８】
次に、図１１のフローチャートを参照して、図１０の再生装置２が行う再生処理について説明する。
【０１１９】
図１１では、ステップＳ９１乃至Ｓ１０５において、図９のステップＳ６１乃至Ｓ７５における場合とそれぞれ同様の処理が行われる。
【０１２０】
そして、ステップＳ７５において、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力がユーザからあったかどうかを、ユーザ入力部４４が判定し、あったと判定した場合、ステップＳ１０６に進み、編集部４５は、ユーザ入力部４４によって選択指示がされた前景のオブジェクトとその関連情報を、オブジェクトデータ蓄積部３５から読み出すことで取得し、ステップＳ１０７に進む。ステップＳ１０７では、編集部４５が、ユーザ入力部４４から編集指示が入力されるのを待って、その編集指示にしたがい、ステップＳ１０７で取得したオブジェクトやその関連情報を編集する。
【０１２１】
即ち、ステップＳ１０７では、例えば、オブジェクトの画像情報が変更される。また、ステップＳ１０７では、例えば、オブジェクトの関連情報のうちの位置情報が変更される。この場合、オブジェクトが表示される画面上の位置が変更されることになる。その他、ステップＳ１０７では、オブジェクトの他の関連情報、即ち、動きベクトル（動き情報）や、変形情報、音声情報、文字情報を、編集によって変更することができる。
【０１２２】
なお、ここでは、前景のオブジェクトとその関連情報を編集の対象とするようにしたが、その他、背景のオブジェクトやその関連情報、さらには、インデックス情報も、編集の対象とするようにすることが可能である。
【０１２３】
編集部４５は、ステップＳ１０７において編集を行うと、その編集履歴を、オブジェクトデータ更新部４６および編集履歴蓄積部４７に供給して、ステップＳ１０８に進む。ステップＳ１０８では、編集履歴蓄積部４７が、編集部４５から供給される編集履歴を記憶し、ステップＳ１０９に進む。
【０１２４】
ステップＳ１０９では、オブジェクトデータ更新部４６が、編集部４５から供給された編集履歴にしたがって、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１２５】
その後、ステップＳ１１０に進み、以下、ステップＳ１１０乃至Ｓ１２０において、図７のステップＳ４１乃至Ｓ５１における場合とそれぞれ同様の処理が行われる。
【０１２６】
なお、図１１の実施の形態では、ステップＳ１０９において、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報が編集後のものとされているので、ステップＳ１１６，Ｓ１１７、またはＳ１１９では、その編集後の画像、音声、または文字が出力される。
【０１２７】
ステップＳ１２０において、図７のステップＳ５１における場合と同様に、すべてのフレームの再生が終了したか、または再生を終了するように、ユーザから指示があったかどうかが判定され、すべてのフレームの再生が終了したか、または、再生を終了する旨の指示があったと判定された場合、ステップＳ１２１に進み、記録部４８が、編集履歴蓄積部４７に記憶された編集履歴を、記録媒体３に記録し、再生処理を終了する。
【０１２８】
以上の再生処理によれば、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１２９】
なお、図１１の実施の形態では、すべてのオブジェクトが存在するコンテンツを再生するようにしたが、その他、例えば、図９の実施の形態における場合のように、ユーザ入力部４４によって選択指示がされたオブジェクトが存在し、選択指示がされなかったオブジェクトは存在しないコンテンツを再生するようにすることが可能である。この場合、再生されるコンテンツには、元のコンテンツに存在する前景のオブジェクトのうち、編集されたものだけが存在することになる。
【０１３０】
ところで、図１０の記録部４８においては、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録することができる。
【０１３１】
そこで、図１２は、編集履歴が、図４に示したデータとは別個独立に記録されている場合の記録媒体３の再生を行う図１の再生装置２の構成例を示している。なお、図中、図６または図１０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２の再生装置２は、編集履歴取得部６１と、図１０に示したオブジェクトデータ更新部４６とが、新たに設けられている他は、図６における場合と同様に構成されている。
【０１３２】
図１２の実施の形態においては、データ読み込み部３１が、記録媒体３から、オブジェクト統合信号の他、編集履歴も読み出し、各オブジェクト統合信号取得部３２、背景統合信号取得部３３、および編集履歴取得部６１に供給するようになっている。
【０１３３】
編集履歴取得部６１は、データ読み込み部３１から供給されるデータの中から、編集履歴を取得し、オブジェクトデータ更新部４６に供給する。
【０１３４】
オブジェクトデータ更新部４６は、編集履歴取得部６１から供給される編集履歴にしたがい、図１０および図１１で説明したように、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１３５】
そして、図１２の再生装置２では、以下、図６における場合と同様にして、コンテンツが再生される。
【０１３６】
従って、図１２の再生装置２においては、図１１における場合と同様に、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１３７】
ところで、図１０の記録部４８において、上述のように、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録する場合には、その新たに記録する編集履歴のデータ量の分だけ、記録媒体３の空き領域が必要となる。
【０１３８】
従って、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録する場合には、記録媒体３の空き領域がないと、編集履歴を記録媒体３に記録することができないことになる。
【０１３９】
そこで、図１３は、記録媒体３に空き領域がなくても、編集履歴を、記録媒体３に記録することができる図１０の記録部４８の構成例を示している。
【０１４０】
データ読み込み部７１は、記録媒体３に記録されたデータを読み出し、各オブジェクト統合信号取得部７２に供給する。各オブジェクト統合信号取得部７２は、データ読み込み部７１から供給されるデータの中から、図６の各オブジェクト信号取得部３２における場合と同様に、前景のオブジェクトのオブジェクト統合信号を取得し、埋め込みエンコード部７３に供給する。
【０１４１】
埋め込みエンコード部７３には、各オブジェクト統合信号取得部７２から前景のオブジェクトのオブジェクト統合信号が供給される他、図１０の編集履歴蓄積部４７に記憶された編集履歴が供給されるようになっている。そして、埋め込みエンコード部７３は、図２の記録装置１における埋め込みエンコード部１６が、オブジェクトに関連情報を埋め込むのと同様にして、各オブジェクト統合信号取得部７２から供給されるオブジェクト統合信号におけるオブジェクトの画像情報に、編集履歴を埋め込み、これにより、新たなオブジェクト統合信号を生成する。
【０１４２】
ここで、オブジェクト統合信号におけるオブジェクトには、例えば、そのオブジェクトおよびそのオブジェクトの関連情報に対する編集履歴を埋め込むようにすることができる。
【０１４３】
埋め込みエンコード部７３で得られた新たなオブジェクト統合信号は、記録部７４に供給され、記録部７４は、埋め込みエンコード部７３から供給される新たなオブジェクト統合信号を、記録媒体３上の元のオブジェクト統合信号に上書きする形で記録する。
【０１４４】
以上のように、埋め込みエンコード部７３では、図２の埋め込みエンコード部１６における場合と同様に、データ量を増加させずに、オブジェクト統合信号におけるオブジェクトの画像情報に、編集履歴が埋め込まれるので、記録媒体３に空き領域がなくても、編集履歴を、記録媒体３に記録することができる。
【０１４５】
次に、図１４は、図１３で説明したように、編集履歴を、オブジェクト統合信号におけるオブジェクトの画像情報に埋め込んで記録した場合の記録媒体３の再生を行う図１の再生装置２の構成例を示している。なお、図中、図６または図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４の再生装置２は、編集履歴取得部６１が設けられていない他は、基本的に、図１２における場合と同様に構成されている。
【０１４６】
図１４の実施の形態においては、埋め込みデコード部３４において、埋め込みデコーダ５１が、各オブジェクト統合信号取得部３２から供給されるオブジェクト統合信号をデコードすることにより、前景であるオブジェクトおよびその関連情報の他、編集履歴も抽出する。即ち、本実施の形態では、オブジェクト統合信号におけるオブジェクトの画像情報に、関連情報の他、編集履歴が埋め込まれているので、埋め込みデコーダ５１では、オブジェクト統合信号から、オブジェクトおよびその関連情報の他、編集履歴も抽出する。
【０１４７】
埋め込みデコーダ５１で抽出された編集履歴は、オブジェクトデータ更新部４６に供給され、オブジェクトデータ更新部４６は、埋め込みデコーダ５１から供給される編集履歴にしたがい、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１４８】
そして、図１４の再生装置２では、以下、図６における場合と同様にして、コンテンツが再生される。
【０１４９】
従って、図１４の再生装置２においても、図１２の再生装置２と同様に、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１５０】
以上のように、オブジェクトの画像情報と、そのオブジェクトに関連する関連情報としての音声情報や文字情報などとの複数のメディアの情報を、埋め込みによって１つのオブジェクト統合信号として扱うようにしたので、ユーザは、コンテンツを編集する際に、メディアごとの編集を行わずに済み、コンテンツの編集作業を、容易に行うことが可能となる。
【０１５１】
また、ユーザは、コンテンツの中から所望のオブジェクトだけの画像情報や、音声情報、文字情報を抽出して編集することも可能であり、これにより、あるコンテンツを元に、新たなコンテンツ制作を行うことが可能となる。
【０１５２】
以上のように、ユーザは、容易に、オリジナルコンテンツの編集、さらには再編集を行うことが可能となり、例えば、複数のコンテンツのオブジェクトを合成して得られる新しいコンテンツの制作などを、容易に行うことが可能となる。
【０１５３】
次に、図２の埋め込みエンコード部１６や、図１３の埋め込みエンコード部７３で行われる、オブジェクトの画像情報に、関連情報や編集情報を埋め込む埋め込みエンコード処理と、図６の埋め込みデコーダ５１と５２で行われる、オブジェクト統合信号から、オブジェクトの画像情報と、そこに埋め込まれた情報を抽出する埋め込みデコード処理について説明する。
【０１５４】
まず、図１５のフローチャートを参照して、埋め込みエンコード処理について説明する。なお、ここでは、例えば、図２の埋め込みエンコード部１６が埋め込みエンコード処理を行うものとする。
【０１５５】
埋め込みエンコード部１６は、データ処理部１４から供給されるオブジェクトの画像情報と、そのオブジェクトの関連情報とを、その内蔵するバッファ（図示せず）に記憶する。
【０１５６】
ここで、埋め込みエンコード処理においては、ある情報に、他の情報（ある情報の一部であっても良い）が埋め込まれるが、ある情報に埋め込まれる他の情報を、以下、適宜、埋め込み情報という。
【０１５７】
埋め込みエンコード部１６は、ステップＳ１３１において、その内蔵するバッファに記憶した埋め込み情報としての関連情報から、まだ、オブジェクトの画像情報に埋め込んでいない１ビットの埋め込み情報を、注目埋め込み情報として選択するとともに、その１ビットの注目埋め込み情報を埋め込む処理の対象とする画素を、その内蔵するバッファに記憶したオブジェクトの画像情報のうちの、まだ埋め込み情報が埋め込まれていないものの中から、処理対象画素として選択する。
【０１５８】
ここで、本実施の形態では、例えば、図１６に示すように、埋め込みエンコード部１６の内蔵するバッファに記憶されたオブジェクトの画像情報から、五の目格子状に、処理対象画素が選択される。即ち、埋め込みエンコード部１６では、ステップＳ１３１の処理が行われるごとに、図１６において、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択される。なお、図１６におけるｐ（ｘ，ｙ）は、左からｘ番目の、上からｙ番目の画素を表している（後述する図１９においても同様）。
【０１５９】
その後、埋め込みエンコード部１６は、ステップＳ１３２において、注目埋め込み情報が１または０のうちのいずれであるかを判定する。ステップＳ１３２において、埋め込み情報が、１または０のうちの、例えば０であると判定された場合、ステップＳ１３１に戻る。即ち、埋め込みエンコード部１６は、埋め込み情報が０である場合には、処理対象画素に、何らの処理も施さずに（所定の定数としての０を加算し）、ステップＳ１３１に戻り、新たな注目埋め込み情報と、新たな処理対象画素を選択し、以下、同様の処理を繰り返す。
【０１６０】
また、ステップＳ１３２において、埋め込み情報が、１または０のうちの、例えば１であると判定された場合、ステップＳ１３３に進み、埋め込みエンコード部１６は、処理対象画素に対して、所定の処理を施す。即ち、埋め込みエンコード部１６は、所定の定数としての、例えば、２の、画素に割り当てられているビット数−１乗を、処理対象画素の画素値に加算する。
【０１６１】
従って、オブジェクトの画像情報を構成する画素の画素値として、例えば、８ビットが割り当てられている場合には、ステップＳ１３３では、２７が、処理対象画素の画素値に加算されることになる。
【０１６２】
なお、この加算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、加算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。
【０１６３】
ステップＳ１３３において、処理対象画素の画素値に、２７が加算された後は、ステップＳ１３４に進み、埋め込みエンコード部１６は、その加算結果がオーバフローしているかどうかを判定する。ステップＳ１３４において、加算結果がオーバフローしていないと判定された場合、ステップＳ１３５をスキップして、ステップＳ１３６に進み、埋め込みエンコード部１６は、その加算結果を、処理対象画素の画素値として、その内蔵するバッファに上書きする形で書き込み、ステップＳ１３１に戻る。ステップＳ１３１では、新たな注目埋め込み情報と、新たな処理対象画素が選択され、以下、同様の処理が繰り返される。
【０１６４】
また、ステップＳ１３４において、加算結果がオーバフローしていると判定された場合、即ち、加算結果が、２８以上となった場合、ステップＳ１３５に進み、その加算値の補正が行われる。即ち、ステップＳ１３５では、オーバフローした加算値が、例えば、そのオーバフローした分（オーバフローした加算値から２８を減算した値）に補正される。そして、ステップＳ１３６に進み、埋め込みエンコード部１６は、その補正後の加算結果を、処理対象画素の画素値として、その内蔵するバッファに上書きする形で書き込み、ステップＳ１３１に戻る。ステップＳ１３１では、新たな注目埋め込み情報と、新たな処理対象画素が選択され、以下、同様の処理が繰り返される。
【０１６５】
埋め込みエンコード部１６は、以上のステップＳ１３１乃至Ｓ１３６の処理を繰り返し、これにより、オブジェクトの画像情報に埋め込み情報を埋め込んで得られる画像情報を、オブジェクト統合信号として出力する。
【０１６６】
ここで、図１５の埋め込みエンコード処理は、オブジェクト単位で行われる。即ち、図１５の埋め込みエンコード処理は、あるオブジェクトについては、そのオブジェクトの画像情報に対して埋め込むべき埋め込み情報がなくなった時点で終了し、次のオブジェクトについて開始される。
【０１６７】
なお、図２の埋め込みエンコード部１６では、図１５の埋め込みエンコード処理が、オブジェクトの関連情報だけを埋め込み情報として行われるが、図１３の埋め込みエンコード部７３では、オブジェクトの関連情報と編集履歴を埋め込み情報として行われる。即ち、埋め込みエンコード部７３は、例えば、オブジェクトに関連情報を埋め込むことによって得られたオブジェクト統合信号を、一旦、オブジェクトと関連情報にデコードし、デコードされたオブジェクトに対して、デコードされた関連情報と編集履歴を、埋め込み情報として埋め込む。
【０１６８】
以上のように、オブジェクトの画像情報を構成する一部の画素を選択し、その選択した画素に対して、埋め込み情報に対応した処理であって、画像の相関性を利用して元に戻すことができるものを施すことにより、画素に、埋め込み情報を埋め込むことで、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に埋め込み情報を埋め込むことができる。
【０１６９】
即ち、埋め込み情報が埋め込まれた画素は、画像の相関性、即ち、ここでは、埋め込み情報が埋め込まれなかった画素との間の相関を利用することにより、後述するように、オーバヘッドなしで、元の画素と埋め込み情報にデコード（戻す）ことができる。従って、その結果得られるオブジェクトのデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０１７０】
次に、オブジェクト統合信号から、オブジェクトの画像情報と、そこに埋め込まれた埋め込み情報を抽出する埋め込みデコード処理について説明する。なお、ここでは、図６の埋め込みデコーダ５１が埋め込みデコード処理を行うものとする。
【０１７１】
埋め込みデコーダ５１は、オブジェクト統合信号を、画像の相関性を利用して元のオブジェクトの画像情報と埋め込み情報にデコードする。具体的には、埋め込みデコーダ５１は、埋め込み情報が埋め込まれた画像情報であるオブジェクト統合信号を構成する一部の画素を、処理対象画素として選択し、図１７に示すように、その処理対象画素に対して、埋め込みエンコード部１６が施した処理と逆の処理を施すことで、その画素値を変更する。さらに、図１７に示すように、埋め込みデコーダ５１は、画素値の変更前の処理対象画素と、その周辺画素（図１７の実施の形態では、左右に隣接する画素）との相関値Ｒ１を演算するとともに、画素値の変更された処理対象画素と、その画素の周辺画素との相関値Ｒ２を演算し、その相関値Ｒ１とＲ２とを比較する。そして、埋め込みデコーダ５１は、その比較結果に基づいて、画素値の変更前または変更後の処理対象画素のうちのいずれか一方を、その処理対象画素のデコード結果とするとともに、その処理対象画素に埋め込まれた埋め込み情報（ここでは、１ビットの１または０のうちのいずれか一方）をデコードする。
【０１７２】
次に、図１８のフローチャートを参照して、埋め込みデコード処理について説明する。
【０１７３】
埋め込みデコーダ５１は、あるオブジェクトのオブジェクト統合信号を、その内蔵するバッファ（図示せぬ）に記憶し、ステップＳ１４１において、その内蔵するバッファに記憶したオブジェクト統合信号である、埋め込み情報が埋め込まれた画像情報を構成する画素のうちの、まだ処理対象画素としていない画素の中から、デコードを行う処理の対象とする画素を、処理対象画素として選択する。
【０１７４】
ここで、埋め込みデコーダ５１では、図６の埋め込みエンコード部１６と同様に、その内蔵するバッファに記憶されたオブジェクト統合信号（埋め込み情報が埋め込まれた画像情報）から、五の目格子状に、画素が選択される。即ち、埋め込みデコーダ５１では、ステップＳ１４１の処理が行われるごとに、上述の図１６に示した、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択される。
【０１７５】
その後、ステップＳ１４２に進み、埋め込みデコーダ５１は、処理対象画素に対し、図６の埋め込みエンコード部１６が行った処理と逆の処理を施す。即ち、埋め込みエンコード部１６は、所定の定数としての、例えば、２の、画素に割り当てられているビット数−１乗を、処理対象画素の画素値から減算する。
【０１７６】
従って、上述したように、画像を構成する画素の画素値として、例えば、８ビットが割り当てられている場合においては、ステップＳ１４２では、２７が、処理対象画素の画素値から減算されることになる。
【０１７７】
なお、この減算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、減算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。但し、ステップＳ１４２における減算は、図１５のステップＳ１３３における加算が行われたものと同一のものに対して行う必要がある。即ち、画素値が、例えば、ＹＵＶなどで表現されており、図１５のステップＳ１３３３における加算が、ＹＵＶのうちの、例えば、Ｙ成分に対して行われた場合には、ステップＳ１４２における減算は、やはり、Ｙ成分に対して行う必要がある。
【０１７８】
ステップＳ１４２において、処理対象画素の画素値から、２７が減算された後は、ステップＳ１４３に進み、埋め込みデコーダ５１は、その減算結果がアンダフローしているかどうかを判定する。ステップＳ１４３において、減算結果がアンダフローしていないと判定された場合、ステップＳ１４４をスキップして、ステップＳ１４５に進む。
【０１７９】
また、ステップＳ１４３において、減算結果がアンダフローしていると判定された場合、即ち、加算結果が、０未満となった場合、ステップＳ１４４に進み、埋め込みデコーダ５１は、その減算値の補正を行う。即ち、ステップＳ１４４では、アンダフローした減算値が、例えば、その減算値に２８を加算した値に補正され、ステップＳ１４５に進む。
【０１８０】
ステップＳ１４５では、埋め込みデコーダ５１は、処理対象画素の画素値（ステップＳ１４２で２７を減算していないもの）（以下、適宜、第１の画素値という）Ｐ１と、その画素値から２７を減算した減算値（以下では、ステップＳ１４４で補正されたものも含むものとする）（以下、適宜、第２の画素値という）Ｐ２のそれぞれについて、処理対象画素の周辺画素としての、例えば、その左右に隣接する画素との間の相関値を演算する。
【０１８１】
即ち、ステップＳ１４５では、例えば、処理対象画素の第１の画素値Ｐ１と、その左右の画素それぞれの画素値との差分の絶対値が演算され、その２つの絶対値の加算値が、処理対象画素の第１の画素値Ｐ１についての相関値Ｒ１として求められる。さらに、ステップＳ１４５では、処理対象画素の第２の画素値Ｐ２についても、その左右の画素それぞれの画素値との差分の絶対値どうしの加算値が演算され、それが、処理対象画素の第２の画素値Ｐ２の相関値Ｒ２として求められる。
【０１８２】
なお、ステップＳ１４５において、処理対象画素との間の相関を求めるのに用いる画素は、その左右に隣接する画素に限定されるものではなく、上下に隣接する画素であっても良い。また、必ずしも、空間的に隣接する画素である必要もない。但し、処理対象画素との相関を求めるにあたっては、図１６において、斜線を付した画素、即ち、埋め込み情報が埋め込まれていない画素を用いるのが望ましい。これは、処理対象画素について、埋め込み情報が埋め込まれた画素との相関を求めても、元の画像についての相関を得ることができず、従って、画像の相関性を利用することができないため、埋め込み情報が埋め込まれた画素から、元の画素値および埋め込み情報を、正確にデコードするのが困難となるからである。また、画像の相関性を利用して、処理対象画素をデコードする以上、処理対象画素との相関値を求めるのに用いる画素は、その処理対象画素との空間的距離が近いものであるのが望ましい。
【０１８３】
第１の画素値Ｐ１についての相関値Ｒ１、および第２の画素値Ｐ２についての相関値Ｒ２の算出後は、ステップＳ１４６に進み、埋め込みデコーダ５１は、その相関値Ｒ１とＲ２とを比較する。
【０１８４】
ステップＳ１４６において、相関値Ｒ１が、相関値Ｒ２より大きい（以上である）と判定された場合、ステップＳ１４７に進み、埋め込みデコーダ５１は、埋め込み情報のデコード結果として、０を出力し、ステップＳ１４１に戻る。そして、この場合、埋め込みデコーダ５１は、その内蔵するバッファに記憶している処理対象画素の画素値を書き換えず、従って、処理対象画素の画素値のデコード結果は、その画素値Ｐ１のままとされる。
【０１８５】
即ち、第１の画素値Ｐ１についての相関値Ｒ１の方が、第２の画素値Ｐ２についての相関値Ｒ２より大きいということは、処理対象画素の画素値としては、画素値Ｐ２よりも、画素値Ｐ１の方が確からしいこととなるので、処理対象画素の画素値のデコード結果は、その確からしい画素値Ｐ１とされる。さらに、画素値Ｐ１は、ステップＳ１４２で２７が減算されていないものであるから、図１５のステップＳ１３３で２７が加算されていないものである。そして、図１５の埋め込みエンコード処理では、埋め込み情報が０の場合には、２７を加算しないこととしているから、第１の画素値Ｐ１についての相関値Ｒ１の方が大きく、画素値Ｐ１が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた埋め込み情報は０ということになる。
【０１８６】
一方、ステップＳ１４６において、相関値Ｒ２が、相関値Ｒ１より大きい（以上である）と判定された場合、ステップＳ１４８に進み、埋め込みデコーダ５１は、その内蔵するバッファに記憶している処理対象画素の画素値を、その画素値から２７を減算した減算値、即ち、第２の画素値Ｐ２に書き換える。従って、この場合、処理対象画素の画素値のデコード結果は、その画素値Ｐ２とされる。そして、ステップＳ１４９に進み、埋め込みデコーダ５１は、埋め込み情報のデコード結果として、１を出力し、ステップＳ１４１に戻る。
【０１８７】
即ち、第２の画素値Ｐ２についての相関値Ｒ２の方が、第１の画素値Ｐ１についての相関値Ｒ１より大きいということは、処理対象画素の画素値としては、画素値Ｐ１よりも、画素値Ｐ２の方が確からしいこととなるので、処理対象画素の画素値のデコード結果は、その確からしい画素値Ｐ２とされる。さらに、画素値Ｐ２は、ステップＳ１４２で、画素値Ｐ１から２７が減算されたものであるから、図１５のステップＳ１３３で、元の画素値に２７が加算されたものである。そして、図１５の埋め込みエンコード処理では、埋め込み情報が１の場合には、２７を加算することとしているから、第２の画素値Ｐ２についての相関値Ｒ２の方が大きく、画素値Ｐ２が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた埋め込み情報は１ということになる。
【０１８８】
ここで、上述のようにして求められる相関値Ｒ１とＲ２との差分が小さい場合には、画素値Ｐ１とＰ２のうちのいずれが、処理対象画素の画素値として確からしいかは、一概にはいえないこともありうる。そこで、このような場合には、処理対象画素の左右に隣接する画素だけでなく、他の画素をも用いて、画素値Ｐ１，Ｐ２それぞれについての相関値を求め、その相関値を比較することで、画素値Ｐ１，Ｐ２のうちのいずれが、処理対象画素の画素値として確からしいかを決定することができる。
【０１８９】
以上のように、埋め込み情報が埋め込まれた画像情報であるオブジェクト統合信号を、画像の相関性を利用して、元のオブジェクトの画像情報と埋め込み情報にデコードするようにしたので、そのデコードのためのオーバヘッドがなくても、オブジェクト統合信号を、元の画像情報と埋め込み情報にデコードすることができる。従って、そのデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０１９０】
なお、上述の場合には、処理対象画素と、他の画素との相関値として、それらの画素値の差分の絶対値を用いるようにしたが、相関値は、これに限定されるものではない。
【０１９１】
また、上述の場合には、図１６に示したように、オブジェクトの画像情報から、五の目格子状に、画素を選択し、その画素に、埋め込み情報を埋め込むようにしたが、埋め込み情報を埋め込む画素の選択パターンは、これに限定されるものではない。但し、埋め込み情報を埋め込んだ画素のデコードにあたっては、上述したように、埋め込み情報が埋め込まれていない画素を用いて相関を求めるのが望ましく、また、画素どうしの相関は、基本的に、それらの間の空間的距離が離れるほど小さくなっていく。従って、正確なデコードを行う観点からは、埋め込み情報を埋め込む画素は、空間的に、いわゆる疎らになるように選択するのが望ましい。一方、多くの埋め込み情報を埋め込む観点からは、埋め込み情報を埋め込む画素は、ある程度多くする必要がある。従って、埋め込み情報を埋め込む画素は、デコードの正確さと、埋め込み情報のデータ量とをバランスさせて選択するのが望ましい。
【０１９２】
さらに、上述の場合には、処理対象画素として選択された１画素に、１ビットの埋め込み情報を埋め込むようにしたが、１画素に、２ビット以上の埋め込み情報を埋め込むようにすることも可能である。例えば、１画素に、２ビットの埋め込み情報を埋め込む場合には、その２ビットの埋め込み情報にしたがって、例えば、０，２６，２７，２６＋２７のうちのいずれかを、画素値に加算するようにすれば良い。
【０１９３】
また、上述の場合には、画素値に、０または２７のうちのいずれかを加算することで（画素値に、２７を加算しないか、または加算することで）、埋め込み情報を埋め込むようにしたが、画素値に加算する値は、２７に限定されるものではない。但し、画素値の下位ビットにしか影響を与えないような値を加算する場合には、その加算値と、元の画素値とが、あまり異なったものとならず、従って、図１８のステップＳ１４５で求められる相関値Ｒ１とＲ２も、あまり異なったものとならなくなる。これは、画素値および埋め込み情報のデコード結果の精度を劣化させることとなるから、埋め込み情報にしたがって、画素値に加算する値は、元の画素値の上位ビットに影響を与えるような値とするのが望ましい。
【０１９４】
さらに、上述の場合には、画素値に、所定値を加算することで、埋め込み情報の埋め込みを行うようにしたが、埋め込み情報の埋め込みは、加算以外の操作（例えば、ビット反転など）を、画素値に施すことによって行うことも可能である。但し、上述したように、画素値および埋め込み情報のデコード結果の精度の劣化を防止する観点から、画素値に施す操作は、元の画素値についての相関と、操作を施した画素値についての相関とが大きく異なるようなものであることが望ましい。
【０１９５】
また、上述の場合には、処理対象画素として選択された１画素に、１ビットの埋め込み情報を埋め込むようにしたが、複数画素に、１ビットの埋め込み情報を埋め込むようにすることも可能である。即ち、例えば、図１９において○印で示す位置関係にある４画素に、１ビットの埋め込み情報を埋め込むようにすることなどが可能である。
【０１９６】
具体的には、例えば、図１９において、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）に注目した場合、埋め込み時には、１ビットの埋め込み情報にしたがい、画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値に対して、同一の操作を施すことで、１ビットの埋め込み情報を埋め込む。一方、デコード時には、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについて、上述したような第１および第２の画素値Ｐ１，Ｐ２の相関値Ｒ１，Ｒ２を求め、その相関値Ｒ１，Ｒ２の大小関係を比較する。そして、その比較結果の多数決などによって、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、埋め込み情報のデコード結果を決定すれば良い。あるいは、また、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについての第１の画素値Ｐ１の相関値Ｒ１の総和と、第２の画素値Ｐ２の相関値Ｒ２の総和とを求め、その２つの総和の大小関係などに基づいて、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、埋め込み情報のデコード結果を決定しても良い。
【０１９７】
ここで、図１６に示したように、処理対象画素として、画像から、五の目格子状に、画素を選択し、その選択された各画素に、１ビットの埋め込み情報を埋め込むようにした場合には、画像の画素数の約半分のビット数の埋め込み情報を埋め込むことができるが、上述したように、４画素に、１ビットの埋め込み情報を埋め込む場合には、画像に埋め込むことのできる埋め込み情報は、その画像の画素数の約半分の１／４のビット数となる。
【０１９８】
なお、以上のように、画素値に対して、埋め込み情報に応じた操作を施すことによって、オブジェクトの画像情報に埋め込み情報を埋め込む埋め込み方法の詳細については、例えば、特開２０００−０５９７４３号公報に記載されている。
【０１９９】
また、オブジェクトの画像情報に埋め込み情報を埋め込む埋め込み方法は、画素値に対して、埋め込み情報に応じた操作を施す方法に限定されるものではなく、例えば、特開２０００−１８４１８１号公報に記載されている方法などを採用することが可能である。
【０２００】
特開２０００−１８４１８１号公報に記載されている方法では、オブジェクトの画像情報を構成する、例えば、水平ラインが、上から順に、注目ラインとされ、その注目ラインが、埋め込み情報に対応する画素数分だけ、水平方向にローテーションされる。
【０２０１】
即ち、例えば、いま、図２０Ａに示すように、第Ｎライン（上からＮ番目の水平ライン）が注目ラインとされているとすると、その第Ｎラインは、埋め込み情報の値と同一の画素数だけ、水平方向である左または右方向のうちの、例えば右方向にスライドされ、そのスライドにより、右にはみ出した第Ｎラインの部分は、図２０Ｃに示すように、その第Ｎラインの左側にはめ込まれる。
【０２０２】
従って、例えば、図２１Ａに示すようなオブジェクトの画像情報に、埋め込み情報として、１０，１５０，２００，・・・を埋め込む場合においては、図２１Ｂに示すように、第１ラインは、そのままとされ、第２ラインは、最初の埋め込み情報と同一の値である１０画素だけ、右方向にローテーションされる。さらに、第３ラインは、２番目の埋め込み情報と同一の値である１５０画素だけ、右方向にローテーションされ、第４ラインは、３番目の埋め込み情報と同一の値である２００画素だけ、右方向にローテーションされる。第５ライン以降も、同様に、埋め込み情報に対応する画素数だけ、右方向にローテーションされていく。ここで、第１ラインをローテーションせずにそのままとする理由については、後述する。
【０２０３】
以上のように、水平ラインを、埋め込み情報に対応した画素数だけ、右方向にローテーションすることにより、各水平ラインに、埋め込み情報を埋め込む場合には、その逆のローテーションを行うことで、元の画像にデコードすることができ、さらに、その逆のローテーションを行ったときのローテーション量が埋め込み情報となる。従って、画像の画質を劣化させずに、かつデータ量を増加せずに、画像に埋め込み情報を埋め込むことができる。
【０２０４】
即ち、埋め込み情報が埋め込まれた水平ラインとしてのローテーションされた水平ラインは、画像の相関性、即ち、ここでは、正しい位置にあるラインとの間の相関を利用することにより、オーバヘッドなしで、正しい位置のラインと埋め込み情報にデコード（戻す）ことができる。従って、その結果得られるデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０２０５】
なお、以上のように、オブジェクトの画像情報の各水平ラインを、埋め込み情報に応じた画素数だけローテンションすることにより、オブジェクトの画像情報に埋め込み情報を埋め込んだオブジェクト統合信号を生成する場合、そのオブジェクト統合信号に、正しい位置にある水平ラインが存在しないと、上述のように画像の相関性を利用して、画像と埋め込み情報をデコードするのは困難である。そこで、オブジェクトの画像情報の、例えば、最上行の水平ラインなどの、少なくとも１以上の水平ラインには、埋め込み情報を埋め込まないで（ローテーションしないで）、そのまま、オブジェクト統合信号とするのが望ましい。
【０２０６】
以上のように、水平ラインをローテーションすることによって得られたオブジェクト統合信号のデコードは、そのオブジェクト統合信号の水平ラインを、１画素ずつ右または左のうちのいずれか一方向にローテーションしながら、例えば、そのローテーション後のラインと、その１つ上の行のラインとの間の相関値を演算することによって行うことができる。即ち、図２２Ａに示すように、オブジェクト統合信号を構成する、水平ラインを、例えば上から順に、注目ラインとし、その１ライン上の水平ライン（この水平ラインは、注目ラインをデコードするための、いわばキーとなるため、以下、適宜、キーラインという）との相関値を計算する。さらに、図２２Ｂに示すように、注目ラインを、１画素だけ右または左のうちのいずれかにローテーションし（図２２では、図２０で説明した場合の逆方向である左方向にローテーションしている）、そのローテーション後の注目ラインとキーラインラインとの間の相関値を演算する。以下、同様にして、注目ラインが、オブジェクト統合信号における元の位置に戻るまで、注目ラインをローテーションしながら、キーラインとの間の相関値を計算する。そして、最大の相関値が得られたときの位置に、注目ラインをローテーションすることにより、その注目ラインを、オブジェクトの画像情報における元の位置に戻すことができ、さらに、そのときの注目ラインのローテーション量が、その注目ラインに埋め込まれていた埋め込み情報となる。
【０２０７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０８】
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２１０】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２１１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２１２】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２を内蔵している。ＣＰＵ１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、ＣＰＵ１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４にロードして実行する。これにより、ＣＰＵ１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１３】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１４】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１５】
【発明の効果】
以上の如く、本発明によれば、編集作業の容易化を図ること等が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
【図２】記録装置１の構成例を示すブロック図である。
【図３】記録装置１による記録処理を説明するフローチャートである。
【図４】記録装置１が記録する記録データのフォーマットを示す図である。
【図５】オブジェクト／関連情報抽出処理を説明するフローチャートである。
【図６】再生装置２の第１の構成例を示すブロック図である。
【図７】再生装置２による再生処理を説明するフローチャートである。
【図８】再生装置２の第２の構成例を示すブロック図である。
【図９】再生装置２による再生処理を説明するフローチャートである。
【図１０】再生装置２の第３の構成例を示すブロック図である。
【図１１】再生装置２による再生処理を説明するフローチャートである。
【図１２】再生装置２の第４の構成例を示すブロック図である。
【図１３】記録部４８の構成例を示すブロック図である。
【図１４】再生装置２の第５の構成例を示すブロック図である。
【図１５】埋め込みエンコード処理を説明するフローチャートである。
【図１６】処理対象画素の選択方法を説明するための図である。
【図１７】相関値の計算を説明するための図である。
【図１８】埋め込みでコード処理を説明するフローチャートである。
【図１９】処理対象画素の選択方法を説明するための図である。
【図２０】水平ラインのローテーションによる埋め込み方法を説明するための図である。
【図２１】水平ラインのローテーションによる埋め込みの具体例を示す図である。
【図２２】水平ラインのローテーションによる埋め込みのデコードを説明するための図である。
【図２３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 記録装置， ２ 再生装置， ３ 記録媒体， ４ 伝送媒体， １１ 画像データ入力部， １２ 音声データ入力部， １３ 文字データ入力部， １４ データ処理部， １５ インデックス作成部， １６ 埋め込みエンコード部， １７ 記録データ作成部， １８ 記録部， ２１ オブジェクト抽出部， ２２ 関連情報抽出部， ３１ データ読み込み部， ３２ 各オブジェクト統合信号取得部， ３３ 背景統合信号取得部， ３４ 埋め込みデコード部， ３５ オブジェクトデータ蓄積部， ３６ 背景データ蓄積部， ３７ オブジェクト合成部， ３８ 画像信号出力部， ３９ 音声信号出力部， ４０ 文字情報出力部， ４１ インデックス情報取得部， ４２ インデックス情報蓄積部， ４３ インデックス情報提示部， ４４ ユーザ入力部， ４５編集部， ４６ オブジェクトデータ更新部， ４７ 編集履歴蓄積部， ４８ 記録部， ５１，５２ 埋め込みデコーダ， ５３乃至５６ 蓄積部， ５７ 画像信号合成部， ５８ 音声信号合成部， ６１ 編集履歴取得部， ７１ データ読み込み部， ７２ 各オブジェクト統合信号取得部， ７３ 埋め込みエンコード部， ７４ 記録部， １０１ バス， １０２ ＣＰＵ， １０３ ＲＯＭ， １０４ ＲＡＭ， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体に関し、特に、例えば、編集を容易に行うことができるようにする情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体に関する。
【０００２】
【従来の技術】
従来においては、コンテンツを構成する画像信号や、音声信号、文字情報は、それぞれ別のメディアとして扱われ、それぞれ異なる信号として記録されていた。
【０００３】
また、例えば、特許文献１においては、素材データを識別するために、その素材データに、識別コードをウォータマークとして挿入する方法が開示されている。
【０００４】
【特許文献１】
特開２００１−２１６７６３号公報。
【０００５】
【発明が解決しようとする課題】
上述のように、コンテンツを構成する画像信号や、音声信号、文字情報が、それぞれ別のメディアとして扱われる場合、ユーザは、コンテンツを編集するのに、メディア毎に編集を行わなければならず、編集作業が大変であった。
【０００６】
即ち、コンテンツ中のあるオブジェクト （画像信号と音声信号（文字）が一体となってオブジェクトとして成立しているもの）として、例えば、映画中のある俳優が、声を発しながら騒音の中を歩いている等のシチュエーションにおける、その俳優のオブジェクトに注目し、その注目オブジェクトを、同一のコンテンツ中の他の時間の所に移動させる編集作業は、次のようにして行われていた。
【０００７】
まず画像信号というメディアについて、注目オブジェクトの画像信号を切り出して、バッファにためておいてから、移動先（他の時間）の画像信号上に合成する。又、オブジェクトを切り出した元には、その穴を埋める画像編集作業を行う。次に、音声信号というメディアについて、注目オブジェクトの音声信号のみを騒音の中から切り出して、バッファにためておいてから、移動先の音声信号上に重畳する。
【０００８】
以上のように、従来においては、オブジェクトを構成する異なるメディアの信号について、メディア毎に編集を行う必要があった。
【０００９】
また、ユーザは、コンテンツの中から任意のオブジェクトに関する情報（画像、音声、文字等）だけを抽出して、オブジェクト単位で編集することが困難であった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、例えば、編集作業の容易化を図ること等ができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の第１の情報処理装置は、オブジェクトを抽出するオブジェクト抽出手段と、オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段とを備えることを特徴とする。
【００１２】
本発明の第１の情報処理方法は、オブジェクトを抽出するオブジェクト抽出ステップと、オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップとを備えることを特徴とする。
【００１３】
本発明の第１のプログラムは、オブジェクトを抽出するオブジェクト抽出ステップと、オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップとを備えることを特徴とする。
【００１４】
本発明のデータ構造は、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備えることを特徴とする。
【００１５】
本発明の記録媒体は、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備えるデータ構造のデータが記録されていることを特徴とする。
【００１６】
本発明の第２の情報処理装置は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得手段と、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出手段と、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段とを備えることを特徴とする。
【００１７】
本発明の第２の情報処理方法は、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出ステップと、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップとを備えることを特徴とする。
【００１８】
本発明の第２のプログラムは、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出ステップと、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップとを備えることを特徴とする。
【００１９】
本発明の第３の情報処理装置は、オブジェクトを抽出するオブジェクト抽出手段と、オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段と、オブジェクト統合信号を取得するオブジェクト統合信号取得手段と、オブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する抽出手段と、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段とを備えることを特徴とする。
【００２０】
本発明の第１の情報処理装置および情報処理方法、並びにプログラムにおいては、オブジェクトと、そのオブジェクトに関連する関連情報が抽出され、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が生成される。
【００２１】
本発明のデータ構造および記録媒体においては、抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号と、オブジェクトのインデックスとなる、作成されたインデックス情報とを備える。
【００２２】
本発明の第２の情報処理装置および情報処理方法、並びにプログラムにおいては、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が取得され、そのオブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とが抽出される。そして、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声が合成されて再生される。
【００２３】
本発明の第３の情報処理装置においては、オブジェクトと、そのオブジェクトに関連する関連情報が抽出され、オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号が生成される。さらに、オブジェクト統合信号が取得され、そのオブジェクト統合信号から、オブジェクトと、そのオブジェクトに関連する関連情報とが抽出される。そして、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声が合成されて再生される。
【００２４】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００２５】
記録装置１は、例えば、映画などのコンテンツからオブジェクトを抽出するとともに、各オブジェクトに関連する関連情報を抽出し、各オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、各オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト単位のオブジェクト統合信号を生成する。さらに、記録装置１は、オブジェクト統合信号を、例えば、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、半導体メモリなどの記録媒体３に記録する。
【００２６】
再生装置２は、記録媒体３からオブジェクト統合信号を取得し、そのオブジェクト統合信号から、各オブジェクトと、そのオブジェクトに関連する関連情報とを抽出する。さらに、再生装置２は、オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する。
【００２７】
なお、記録装置１においては、オブジェクト統合信号を、記録媒体３に記録するのではなく、例えば、電話回線や、ＣＡＴＶ（Ｃａｂｌｅ Ｔｅｌｅｖｉｓｉｏｎ）網、衛星回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、バスなどの伝送媒体４を介して、再生装置２に伝送することが可能である。
【００２８】
次に、図２は、図１の記録装置１の構成例を示している。
【００２９】
画像データ入力部１１は、例えば、映画などの所定のコンテンツの（動）画像データ（画像情報）を、データ処理部１４に入力する。音声データ入力部１２は、所定のコンテンツの音声データ（音声情報）を、データ処理部１４に入力する。文字データ入力部１３は、所定のコンテンツの文字データ（文字情報）を、データ処理部１４に入力する。
【００３０】
データ処理部１４は、オブジェクト抽出部２１と関連情報抽出部２２から構成され、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクトと、そのオブジェクトに関連する関連情報を抽出する。
【００３１】
即ち、オブジェクト抽出部２１は、画像データ入力部１１から入力される所定のコンテンツの画像データから、例えば、前景となっている人物等のオブジェクト（の画像情報）を抽出する。
【００３２】
関連情報抽出部２２は、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクト抽出部２１で抽出されたオブジェクトに関連する関連情報を抽出する。
【００３３】
具体的には、関連情報抽出部２２は、例えば、画面上でのオブジェクトの位置を表す位置情報、オブジェクトの動きを表す動き情報、オブジェクトの変形の仕方を表す変形情報、オブジェクトから発せられる音声（音）の音声情報、オブジェクトを説明する文字情報などを、オブジェクトに関連する関連情報として抽出する。
【００３４】
ここで、オブジェクトの位置情報としては、例えば、そのオブジェクトの画面上における座標などを採用することができる。オブジェクトの動き情報としては、例えば、そのオブジェクトの各フレームにおける動きベクトルなどを採用することができる。オブジェクトの変形情報としては、例えば、オブジェクトの画像情報のフレーム間差分などを採用することができる。オブジェクトの音声情報としては、例えば、そのオブジェクトが人物である場合には、その人物が発する音声などを採用することができる。オブジェクトの文字情報としては、例えば、そのオブジェクトが人物である場合には、その人物の名前や、その人物を演じている俳優の名前などを採用することができる。
【００３５】
ここで、オブジェクト抽出部２１は、画像データ入力部１１から入力される所定のコンテンツの画像データから、前景の他、背景も、オブジェクトとして抽出する。さらに、関連情報抽出部２２は、前景であるオブジェクトのいずれにも関連しない音声情報と文字情報を、背景であるオブジェクトに関連する関連情報として抽出する。
【００３６】
オブジェクト抽出部２１で抽出された各オブジェクト（の画像情報）と、関連情報抽出部２２で抽出された各オブジェクトに関連する関連情報は、インデックス作成部１５および埋め込みエンコード部１６に供給される。
【００３７】
インデックス作成部１５は、オブジェクト抽出部２１から供給されるオブジェクト（の画像情報）や、関連情報抽出部２２から供給される関連情報を用い、オブジェクト抽出部２１で抽出された各オブジェクトについて、そのインデックスとなるインデックス情報を作成し、記録データ作成部１７に供給する。
【００３８】
ここで、インデックス情報としては、例えば、オブジェクトを識別するのに役立つ情報を採用することができる。即ち、オブジェクトのインデックス情報としては、例えば、そのオブジェクトが人物である場合には、その人物の名前を表す文字情報や、その人物を演じている俳優の名前を表す文字情報、その人物のせりふの一部の音声情報、さらには、例えば、オブジェクトが人物の顔の画像である旨の情報や、オブジェクトの画像情報の画素を間引いて、いわゆるサムネイルとした画像情報などを採用することができる。
【００３９】
埋め込みエンコード部１６は、オブジェクト抽出部２１から供給される各オブジェクト（の画像情報）に関連する関連情報を、関連情報抽出部２２から供給される関連情報の中から選択する。さらに、埋め込みエンコード部１６は、各オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより、オブジェクトと、そのオブジェクトに関連する関連情報とを統合したオブジェクト統合信号を生成し、記録データ作成部１７に供給する。
【００４０】
ここで、埋め込みエンコード部１６は、オブジェクト（の画像情報）に、他の情報である関連情報を埋め込み、オブジェクトと同一のデータ量のオブジェクト統合信号を生成する。このようにデータ量が不変の埋め込みの方法としては、例えば、オブジェクトとしての画像の画素値の下位１ビットや数ビットを、関連情報にしたがって変更する方法がある。この場合、オブジェクト統合信号のデコード時には、そのオブジェクト統合信号の下位１ビットや数ビットが関連情報として抽出されるとともに、オブジェクト統合信号が、そのまま、元のオブジェクトとして抽出される。従って、この埋め込み方法では、オブジェクト統合信号のデコードにより得られるオブジェクトとしての画像の画質は、多少なりとも劣化する。
【００４１】
そこで、埋め込みエンコード部１６では、データ量が不変の埋め込み方法として、例えば、オブジェクト統合信号と、オブジェクトおよび関連情報との間の可逆変換が可能な、後述する埋め込み方法を採用することができる。
【００４２】
記録データ作成部１７は、埋め込みエンコード部１６から供給される各オブジェクトについてのオブジェクト統合信号と、インデックス作成部１５から供給されるインデックス情報とを配置したデータ構造の記録データを作成する。さらに、記録データ作成部１７は、記録データに、オブジェクト統合信号の配置位置を表す位置情報を含め、その記録データを、記録部１８に供給する。
【００４３】
記録部１８は、記録データを、記録媒体３に記録する。なお、記録部１８では、記録データを、伝送媒体４（図１）を介して伝送するようにすることも可能である。
【００４４】
次に、図３を参照して、図２の記録装置１が行う、データを記録媒体３に記録する記録処理について説明する。
【００４５】
記録処理では、まず最初に、ステップＳ１において、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれが、例えば、映画などの所定のコンテンツの画像情報、音声情報、文字情報を、データ処理部１４に入力し、ステップＳ２に進む。ステップＳ２では、データ処理部１４において、オブジェクト抽出部２１が、画像データ入力部１１から入力される画像情報から、オブジェクトを抽出するとともに、関連情報抽出部２２が、画像データ入力部１１、音声データ入力部１２、文字データ入力部１３それぞれから入力される画像データ、音声データ、文字データから、オブジェクト抽出部２１で抽出されたオブジェクトに関連する関連情報を抽出する。
【００４６】
オブジェクト抽出部２１で抽出された各オブジェクト（の画像情報）と、関連情報抽出部２２で抽出された各オブジェクトに関連する関連情報は、インデックス作成部１５および埋め込みエンコード部１６に供給される。
【００４７】
そして、ステップＳ３に進み、埋め込みエンコード部１６が、オブジェクト抽出部２１から供給される各オブジェクトに、関連情報抽出部２２から供給される、そのオブジェクトに関連する関連情報を埋め込み、これにより、オブジェクト統合信号を生成して、記録データ作成部１７に供給する。さらに、ステップＳ３では、インデックス作成部１５が、オブジェクト抽出部２１から供給されるオブジェクトや、関連情報抽出部２２から供給される関連情報を用い、オブジェクト抽出部２１で抽出された各オブジェクトについて、インデックス情報を作成し、記録データ作成部１７に供給して、ステップＳ４に進む。
【００４８】
ステップＳ４では、記録データ作成部１７は、埋め込みエンコード部１６から供給される各オブジェクトについてのオブジェクト統合信号と、インデックス作成部１５から供給されるインデックス情報とを配置したデータ構造の記録データを作成する。さらに、ステップＳ４では、記録データ作成部１７は、記録データに、オブジェクト統合信号の配置位置を表す位置情報を含め、その記録データを、記録部１８に供給して、ステップＳ５に進む。ステップＳ５では、記録部１８が、記録データ作成部１７から供給される記録データを、記録媒体３に記録して、記録処理を終了する。
【００４９】
なお、記録部１８では、オブジェクト統合信号だけを記録媒体３に記録するようにすることが可能である。また、記録部１８では、オブジェクト統合信号と、その記録媒体３上の位置を表すアドレスなどの位置情報だけを記録媒体３に記録するようにすることも可能である。さらに、記録部１８では、オブジェクト統合信号とインデックス情報だけを記録媒体３に記録するようにすることも可能である。
【００５０】
次に、図４は、図２の記録データ作成部１７が作成する記録データのフォーマットを示している。
【００５１】
記録データは、インデックス情報格納部と統合信号格納部とから構成される。
【００５２】
インデックス情報格納部には、各オブジェクトのオブジェクト統合信号の位置情報としてのアドレスと、そのオブジェクトのインデックス情報とのセットが、オブジェクトの数だけ繰り返し配置される。統合信号格納部には、オブジェクト単位のオブジェクト統合信号が、オブジェクトの数だけ繰り返し配置される。
【００５３】
なお、インデックス情報格納部に配置されるオブジェクト統合信号の位置情報となるアドレスとしては、例えば、そのオブジェクト統合信号が記録される記録媒体３上の論理的または物理的なアドレス（例えば、セクタナンバなど）などを採用することができる。
【００５４】
また、記録データのフォーマットは、図４に示したものに限定されるものではない。
【００５５】
次に、図５のフローチャートを参照して、図３のステップＳ２で行われるオブジェクトと関連情報の抽出処理（オブジェクト／関連情報抽出処理）について、さらに説明する。
【００５６】
なお、ここでは、関連情報として、例えば、オブジェクトの画面内での位置情報、オブジェクトの動き情報、およびオブジェクトの変形情報を抽出するものとして説明を行う。
【００５７】
まず最初に、ステップＳ１１において、オブジェクト抽出部２１は、画像データ入力部１１から入力されるコンテンツの画像情報の中の、例えば、先頭フレームなどの所定の１フレームを注目フレームとし、その注目フレームの中から、オブジェクトが表示されている領域であるオブジェクト領域を抽出する。
【００５８】
ここで、オブジェクト領域の抽出方法としては、例えば、画像情報における輝度や、色、エッジの情報を用いて、注目フレームを小さな領域に分割する領域分割を行い、その分割された各領域が、他の領域とともに同一のオブジェクトを形成するかどうかを判定（連結判定）し、同一のオブジェクトを形成する領域どうしを連結することにより、１つのオブジェクトのオブジェクト領域を抽出する方法がある。なお、同一のオブジェクトの領域は、その他、例えば、ユーザによって指定してもらっても良い。さらに、オブジェクト領域の抽出は、例えば、ユーザに、オブジェクトの輪郭を指定してもらうことによって行うようにすることも可能である。
【００５９】
ステップＳ１１においてオブジェクト領域を抽出した後は、ステップＳ１２に進み、オブジェクト抽出部２１は、ステップＳ１１で抽出したオブジェクト領域のオブジェクトの全体を含む、例えば、矩形領域を抽出する。
【００６０】
ここで、オブジェクトを含む矩形領域の抽出方法としては、注目フレーム上にｘｙ平面を定義し、そのｘｙ平面において、オブジェクト領域のｘ座標の最大値と最小値、およびｙ座標の最大値と最小値を求める方法がある。即ち、この場合、最大値のｘ座標とｙ座標で表される点と、最小値のｘ座標とｙ座標で表される点とを結ぶ線分を対角線とする長方形の領域を、オブジェクトを含む矩形領域として抽出することができる。
【００６１】
ステップＳ１２においてオブジェクトを囲む矩形領域を抽出した後は、ステップＳ１３に進み、オブジェクト抽出部２１は、その矩形領域を、オブジェクトの画像情報として一時記憶するとともに、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ１４に進む。
【００６２】
ステップＳ１４では、オブジェクト抽出部２１は、オブジェクトを含む矩形領域（以下、適宜、オブジェクト矩形領域という）の重心、即ち、例えば、オブジェクト矩形領域としての長方形の対角線どうしの交点を算出し、ステップＳ１５に進む。ステップＳ１５では、オブジェクト抽出部２１は、オブジェクト矩形領域の重心の位置を、そのオブジェクト矩形領域に含まれるオブジェクトの位置情報として一時記憶するとともに、関連情報の１つとして、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ１６に進む。
【００６３】
ステップＳ１６では、オブジェクト抽出部２１は、ステップＳ１２で抽出したオブジェクト矩形領域をテンプレート（標準パターン）として、画像データ入力部１１から入力されたコンテンツの画像情報の注目フレーム以外のフレームを対象に、テンプレートマッチングを行い、各フレームから、オブジェクト矩形領域にマッチングした領域（マッチング領域）を抽出する。
【００６４】
ここで、オブジェクト矩形領域をテンプレートとして、画像データ入力部１１から入力されたコンテンツの画像情報の注目フレーム以外のフレームを対象に、テンプレートマッチングを行い、各フレームから、オブジェクト矩形領域にマッチングしたマッチング領域を抽出することは、オブジェクト矩形領域に含まれるオブジェクトの位置を、時間方向に、いわばトラッキングしているということができる。
【００６５】
ステップＳ１６においてマッチング領域を抽出した後は、ステップＳ１７に進み、オブジェクト抽出部２１は、ステップＳ１６で各フレームから抽出したマッチング領域の重心を、例えば、ステップＳ１４でオブジェクト矩形領域の重心を求めた場合と同様にして求め、各フレームのマッチング領域の位置情報として一時記憶して、ステップＳ１８に進む。
【００６６】
ステップＳ１８では、オブジェクト抽出部２１は、オブジェクト矩形領域について求められた各フレームのマッチング領域の位置情報のうちの、隣接するフレームのものどうしの差分である動きベクトルを、オブジェクト矩形領域に含まれるオブジェクトの動き情報として求め、ステップＳ１９に進む。ステップＳ１９では、オブジェクト抽出部２１は、ステップＳ１８で求められた動きベクトルを一時記憶するとともに、関連情報の１つとして、インデックス作成部１５および埋め込みエンコード部１６に供給し、ステップＳ２０に進む。
【００６７】
ステップＳ２０では、オブジェクト抽出部２１は、オブジェクト矩形領域と、そのオブジェクト矩形領域について各フレームから抽出されたマッチング領域との差分を求め、ステップＳ２１に進む。ステップＳ２１では、オブジェクト抽出部２１は、オブジェクト矩形領域と、そのオブジェクト矩形領域について各フレームから抽出されたマッチング領域との差分それぞれを、そのオブジェクト矩形領域に含まれるオブジェクトの変形情報として一時記憶するとともに、関連情報として、インデックス作成部１５および埋め込みエンコード部１６に供給し、オブジェクト／関連情報抽出処理を終了する。
【００６８】
なお、図５のオブジェクト／関連情報抽出処理は、例えば、注目フレームに存在するすべてのオブジェクトを対象に行われる。
【００６９】
次に、図６は、図１の再生装置２の第１の構成例を示している。
【００７０】
データ読み込み部３１は、記録媒体３から各オブジェクトのオブジェクト統合信号を読み出し、各オブジェクト統合信号取得部３２および背景統合信号取得部３３に供給する。なお、データ読み込み部３１は、例えば、記録媒体３に記録されている図４に示したデータのうちのアドレスに基づいて、各オブジェクトのオブジェクト統合信号が記録されている記録媒体３の位置を認識する。
【００７１】
各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、前景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５１に供給する。背景統合信号取得部３３は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、背景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５２に供給する。
【００７２】
埋め込みデコード部３４は、埋め込みデコーダ５１と５２から構成され、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号をデコードし、埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号をデコードする。
【００７３】
即ち、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号から、前景であるオブジェクト（の画像情報）と、その関連情報を抽出し、オブジェクトデータ蓄積部３５に供給する。埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号から、背景であるオブジェクト（の画像情報）と、その関連情報を抽出し、背景データ蓄積部３６に供給する。
【００７４】
オブジェクトデータ蓄積部３５は、蓄積部５３と５４から構成され、蓄積部５３は、埋め込みデコーダ５１から供給される前景である各オブジェクト（の画像情報）を一時記憶し、蓄積部５４は、埋め込みデコーダ５１から供給される各オブジェクトの関連情報を一時記憶する。背景データ蓄積部３６は、蓄積部５５と５６から構成され、蓄積部５５は、埋め込みデコーダ５２から供給される背景であるオブジェクト（の画像情報）を一時記憶し、蓄積部５４は、埋め込みデコーダ５２から供給されるオブジェクトの関連情報を記憶する。なお、上述したように、背景であるオブジェクトの関連情報は、ここでは、前景であるオブジェクトのいずれにも関連しない音声情報と文字情報である。
【００７５】
オブジェクト合成部３７は、画像信号合成部５７と音声信号合成部５８から構成され、オブジェクトデータ蓄積部３５と背景データ蓄積部３６それぞれから、オブジェクトおよび関連情報を読み出し、そのオブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する。
【００７６】
即ち、画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から前景の各オブジェクト（の画像情報）を読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から各オブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、各オブジェクトと、その位置情報、動きベクトル、および変形情報を用いて、各フレームの前景の画像を構成する。さらに、画像信号合成部５７は、背景データ蓄積部３６の蓄積部５５から背景のオブジェクト（の画像情報）を読み出し、各フレームの背景の画像を構成する。そして、画像信号合成部５７は、各フレームの前景と背景の画像を合成し、これにより、一連の動画像を再生して、画像信号出力部３８に供給する。
【００７７】
音声信号合成部５８は、オブジェクトデータ蓄積部３５の蓄積部５４から前景の各オブジェクトの関連情報のうちの音声情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの音声情報を読み出し、その音声情報を、例えばフレーム単位で合成して、音声信号出力部３９に供給する。
【００７８】
画像信号出力部３８は、例えば、ディスプレイなどで構成され、オブジェクト合成部３７の画像信号合成部５７から供給される各フレームの画像情報を表示（出力）する。音声信号出力部３９は、例えば、スピーカなどで構成され、オブジェクト合成部３７の音声信号合成部５８から供給される各フレームの音声情報を出力する。文字情報出力部４０は、例えば、ディスプレイなどで構成され、オブジェクトデータ蓄積部３５の蓄積部５４から前景のオブジェクトの関連情報のうちの文字情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの文字情報を読み出し、必要に応じて表示（出力）する。
【００７９】
次に、図７のフローチャートを参照して、図６の再生装置２が行う、画像や音声等の再生処理について説明する。
【００８０】
再生処理では、まず最初に、ステップＳ３１において、データ読み込み部３１が、記録媒体３から各オブジェクトのオブジェクト統合信号を読み出し、各オブジェクト統合信号取得部３２および背景統合信号取得部３３に供給して、ステップＳ３２に進む。ステップＳ３２では、背景統合信号取得部３３が、データ読み込み部３１から供給されるオブジェクト統合信号の中から、背景であるオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５２に供給して、ステップＳ３３に進む。ステップＳ３３では、埋め込みデコーダ５２は、背景統合信号取得部３３から供給される背景であるオブジェクトについてのオブジェクト統合信号をデコードすることにより、背景であるオブジェクトと、その関連情報を抽出し、背景データ蓄積部３６に供給して、ステップＳ３４に進む。
【００８１】
ステップＳ３４では、背景データ蓄積部３６の蓄積部５５が、埋め込みデコーダ５２から供給される背景であるオブジェクトを一時記憶し、ステップＳ３５に進む。ステップＳ３５では、背景データ蓄積部３６の蓄積部５４が、埋め込みデコーダ５２から供給されるオブジェクトの関連情報（前景であるオブジェクトのいずれにも関連しない音声情報と文字情報）を記憶して、ステップＳ３６に進む。
【００８２】
ステップＳ３６では、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、ある前景のオブジェクトについてのオブジェクト統合信号を取得し、埋め込みデコード部３４の埋め込みデコーダ５１に供給し、ステップＳ３７に進む。ステップＳ３７では、埋め込みデコーダ５１は、各オブジェクト統合信号取得部３２から供給される前景であるオブジェクトについてのオブジェクト統合信号をデコードすることにより、前景であるオブジェクトと、その関連情報を抽出し、オブジェクトデータ蓄積部３５に供給して、ステップＳ３８に進む。ステップＳ３８では、オブジェクトデータ蓄積部３５の蓄積部５３が、埋め込みデコーダ５１から供給される前景のオブジェクトを一時記憶し、ステップＳ３９に進む。ステップＳ３９では、オブジェクトデータ蓄積部３５の蓄積部５４が、埋め込みデコーダ５１から供給されるオブジェクトの関連情報を一時記憶し、ステップＳ４０に進む。
【００８３】
ステップＳ４０では、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したかどうかを判定する。ステップＳ４０において、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を、まだ取得していないと判定された場合、ステップＳ３６に戻り、各オブジェクト統合信号取得部３２は、データ読み込み部３１から供給されるオブジェクト統合信号の中から、まだ取得していない前景のオブジェクトについてのオブジェクト統合信号を取得し、以下、同様の処理を繰り返す。
【００８４】
また、ステップＳ４０において、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したと判定された場合、ステップＳ４１に進み、オブジェクト合成部３７の画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から、ある前景のオブジェクトを読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から、そのオブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、オブジェクトと、その位置情報、動きベクトル、および変形情報を用いて、各フレームの前景の画像を構成する。即ち、画像信号合成部５７は、例えば、位置情報が表す先頭フレームの位置にオブジェクトの画像情報を配置し、以降のフレームについては、先頭フレームのオブジェクトの画像情報に変形情報を加算することによって、各フレームのオブジェクトの画像情報を生成する。そして、画像信号合成部５７は、各フレームのオブジェクトの画像情報を、先頭フレームの位置から動きベクトルに対応する分だけ移動した位置に配置し、これにより、各フレームの前景の画像を構成する。
【００８５】
ステップＳ４１では、さらに、画像信号合成部５７は、各フレームの前景の画像を、その内蔵するバッファ（図示せず）に記憶している各フレームの画像にそれぞれ合成し、ステップＳ４２に進む。ステップＳ４２では、画像信号合成部５７は、ステップＳ４１で合成した各フレームの画像を、その内蔵するバッファに上書きする形で記憶し、ステップＳ４３に進む。
【００８６】
ステップＳ４３では、オブジェクト合成部３７の音声信号合成部５８が、オブジェクトデータ蓄積部３５の蓄積部５３から、画像信号合成部５７が読み出したオブジェクトの関連情報のうちの音声情報を読み出し、その内蔵するバッファ（図示せず）に記憶している各フレームの音声情報に合成して、ステップＳ４４に進む。ステップＳ４４では、音声信号合成部５８は、ステップＳ４３で合成した各フレームの音声を、その内蔵するバッファに上書きする形で記憶し、ステップＳ４５に進む。
【００８７】
ステップＳ４５では、オブジェクト合成部３７が、すべての前景のオブジェクトについての画像の合成（ステップＳ４１）と音声の合成（ステップＳ４３）が完了したかどうかを判定する。ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が、まだ完了していないと判定された場合、ステップＳ４１に戻り、画像信号合成部５７は、オブジェクトデータ蓄積部３５の蓄積部５３から、まだ読み出していない前景のオブジェクトを読み出すとともに、オブジェクトデータ蓄積部３５の蓄積部５４から、そのオブジェクトの関連情報のうちの位置情報、動きベクトル、変形情報を読み出し、以下、ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定されるまで、ステップＳ４１乃至Ｓ４５の処理が繰り返される。
【００８８】
ここで、画像信号合成部５７は、ステップＳ４１の処理を最初に行う場合、背景データ蓄積部３６の蓄積部５５から背景のオブジェクトを読み出し、その内蔵するバッファに記憶する。従って、画像信号合成部５７の内蔵するバッファには、まず背景が記憶され、その後、ステップＳ４１乃至Ｓ４５の処理が繰り返されることにより、背景に対して、順次、前景のオブジェクトが重畳されていく。
【００８９】
また、音声信号合成部５８は、ステップＳ４３の処理を最初に行う場合、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報としての音声情報を読み出し、その内蔵するバッファに記憶する。従って、音声信号合成部５８の内蔵するバッファには、まず背景の音声情報が記憶され、その後、ステップＳ４１乃至Ｓ４５の処理が繰り返されることにより、背景の音声情報に対して、順次、前景のオブジェクトの音声情報が重畳されていく。
【００９０】
その後、ステップＳ４５において、すべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定された場合、ステップＳ４６に進み、オブジェクト合成部３７は、所定のフレーム（最初にステップＳ４６の処理が行われるときには、例えば、先頭フレーム）を注目フレームとして、その注目フレームについて、画像信号合成部５７の内蔵するバッファに記憶された画像情報と、音声信号合成部５８に記憶された音声情報との同期をとり、ステップＳ４７，Ｓ４８に順次進む。ステップＳ４７では、画像信号合成部５７が、注目フレームの画像情報を画像信号出力部３８に供給し、ステップＳ４８では、音声信号合成部５８が、注目フレームの音声情報を音声信号出力部３９に供給して、ステップＳ４９に進む。これにより、画像信号出力部３８において、注目フレームの画像が表示されるとともに、その画像の表示に同期しながら、音声信号出力部３９において、注目フレームの音声が出力される。
【００９１】
ステップＳ４９では、文字情報出力部４０が、文字情報を出力するかどうかを判定し、文字情報を出力すると判定した場合、即ち、例えば、文字情報を出力するように、再生装置２の設定が、ユーザによって行われている場合、ステップＳ５０に進み、文字情報出力部４０は、オブジェクトデータ蓄積部３５の蓄積部５４から前景のオブジェクトの関連情報のうちの文字情報を読み出すとともに、背景データ蓄積部３６の蓄積部５６から背景のオブジェクトの関連情報のうちの文字情報を読み出して表示し、ステップＳ５１に進む。
【００９２】
なお、文字情報は、画像信号出力部３８とは別の文字情報出力部４０を設けて表示する他、例えば、画像信号出力部３８において、いわゆるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示することも可能である。
【００９３】
ステップＳ５１では、オブジェクト合成部３７が、すべてのフレームの再生が終了したか、または再生を終了するように、ユーザから指示があったかどうかを判定する。ステップＳ５１において、すべてのフレームの再生が、まだ終了していないし、また、再生を終了する旨の指示もないと判定された場合、ステップＳ４６に戻り、オブジェクト合成部３７は、いま注目フレームとなっているフレームの次のフレームを、新たな注目フレームとして、その注目フレームについて、画像信号合成部５７の内蔵するバッファに記憶された画像情報と、音声信号合成部５８の内蔵するバッファに記憶された音声情報との同期をとる。そして、以下、同様の処理が繰り返される。
【００９４】
また、ステップＳ５１において、すべてのフレームの再生が終了したか、または、再生を終了する旨の指示があったと判定された場合、再生処理を終了する。
【００９５】
以上の再生処理によれば、元のコンテンツと同一のコンテンツが再生される。
【００９６】
次に、図８は、図１の再生装置２の第２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図８の再生装置２は、インデックス情報取得部４１、インデックス情報蓄積部４２、インデックス情報提示部４３、およびユーザ入力部４４が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【００９７】
図８の実施の形態では、データ読み込み部３１は、記録媒体３からオブジェクト統合信号の他、インデックス情報も読み出し、その記録媒体３から読み出したデータを、各オブジェクト統合信号取得部３２および背景統合信号取得部３３の他、インデックス情報取得部４１にも供給する。
【００９８】
インデックス情報取得部４１は、データ読み込み部３１から供給されるデータからインデックス情報を取得し、インデックス情報蓄積部４２に供給する。インデックス情報蓄積部４２は、インデックス情報取得部４１から供給されるインデックス情報を一時記憶する。インデックス情報提示部４３は、例えばディスプレイやスピーカなどで構成され、インデックス情報蓄積部３２に記憶されたインデックス情報の一覧を提示（画像として表示、または音声として出力）する。さらに、インデックス情報提示部４３は、ユーザ入力部４４からの、インデックス情報の選択指示を受信し、その選択指示によって選択されたインデックス情報に対応するオブジェクトを表す情報を、オブジェクトデータ蓄積部３５に供給する。
【００９９】
ユーザ入力部４４は、例えば、マウスや、キーボード、マイク（マイクロフォン）などのユーザの指示を入力することのできるＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）で構成され、ユーザの指示を、インデックス情報提示部４３に供給する。
【０１００】
次に、図９のフローチャートを参照して、図８の再生装置２が行う再生処理について説明する。
【０１０１】
図９では、ステップＳ６１乃至Ｓ７０において、図７のステップＳ３１乃至Ｓ４０における場合とそれぞれ同様の処理が行われる。但し、ステップＳ６１では、データ読み込み部３１は、記録媒体３から各オブジェクトのオブジェクト統合信号の他、各オブジェクトのインデックス情報も読み出し、各オブジェクト統合信号取得部３２、背景統合信号取得部３３、およびインデックス情報取得部４１に供給する。
【０１０２】
ステップＳ７０において、対応する図７のステップＳ４０における場合と同様に、データ読み込み部３１から供給されるオブジェクト統合信号の中から、すべての前景のオブジェクトについてのオブジェクト統合信号を取得したかどうかが判定され、取得したと判定された場合、ステップＳ７１に進み、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、ある前景のオブジェクトについてのインデックス情報を取得し、インデックス情報蓄積部４２に供給して、ステップＳ７２に進む。ステップＳ７２では、インデックス情報蓄積部４２が、インデックス情報取得部４１から供給されるインデックス情報を一時記憶して、ステップＳ７３に進む。
【０１０３】
ステップＳ７３では、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を取得したかどうかを判定する。ステップＳ７３において、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を、まだ取得していないと判定された場合、ステップＳ７１に戻り、インデックス情報取得部４１は、データ読み込み部３１から供給されるデータの中から、まだ取得していない前景のオブジェクトについてのインデックス情報を取得し、以下、同様の処理を繰り返す。
【０１０４】
また、ステップＳ７３において、データ読み込み部３１から供給されるデータの中から、すべての前景のオブジェクトについてのインデックス情報を取得したと判定された場合、ステップＳ７４に進み、インデックス情報提示部４３は、インデックス情報蓄積部４２に記憶されたインデックス情報の一覧を提示し、ステップＳ７５に進む。
【０１０５】
ステップＳ７５では、ユーザ入力部４４が、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力が、ユーザからあったかどうかを判定し、なかったと判定した場合、ステップＳ７５に戻り、以下、同様の処理を繰り返す。
【０１０６】
また、ステップＳ７５において、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力があったと判定された場合、ステップＳ７６乃至Ｓ７９に順次進み、図７のステップＳ４１乃至Ｓ４４における場合とそれぞれ同様の処理、即ち、画像と音声の合成が行われる。
【０１０７】
但し、ステップＳ７６乃至Ｓ７９では、すべてのオブジェクトではなく、ユーザ入力部４４によって選択指示がされた前景のオブジェクトと、背景のオブジェクトを対象に、処理が行われる。従って、ステップＳ７６乃至Ｓ７９では、ユーザ入力部４４によって選択されなかったオブジェクトについては、処理は行われない。
【０１０８】
ステップＳ７９の処理後は、ステップＳ８０に進み、オブジェクト合成部３７は、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成（ステップＳ７６）と音声の合成（ステップＳ７８）が完了したかどうかを判定する。ステップＳ７９において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が、まだ完了していないと判定された場合、ステップＳ７６に戻り、以下、ステップＳ８０において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定されるまで、ステップＳ７６乃至Ｓ８０の処理が繰り返される。
【０１０９】
そして、ステップＳ８０において、ユーザ入力部４４によって選択指示がされたすべての前景のオブジェクトについての画像の合成と音声の合成が完了したと判定された場合、ステップＳ８１に進み、以下、ステップＳ８１乃至Ｓ８６において、図７のステップＳ４６乃至Ｓ５１における場合とそれぞれ同様の処理が行われ、再生処理を終了する。
【０１１０】
以上の再生処理によれば、元のコンテンツに存在する前景のオブジェクトのうち、ユーザ入力部４４によって選択指示がされたオブジェクトが存在し、選択指示がされなかったオブジェクトが存在しないコンテンツが再生される。
【０１１１】
なお、図９の実施の形態では、埋め込みデコーダ５１において、すべての前景のオブジェクトについてのオブジェクト統合信号がデコードされるが、埋め込みデコーダ５１においては、その他、例えば、ユーザ入力部４４によって選択指示のあったインデックス情報に対応する前景のオブジェクトのオブジェクト統合信号だけを選択してデコードするようにすることが可能である。後述する図１１の実施の形態においても、同様である。
【０１１２】
次に、図１０は、図１の再生装置２の第３の構成例を示している。なお、図中、図６または図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１０の再生装置２は、編集部４５、オブジェクトデータ更新部４６、編集履歴蓄積部４７、および記録部４８が新たに設けられている他は、基本的に、図８における場合と同様に構成されている。
【０１１３】
図１０の再生装置２においては、コンテンツの再生の他、コンテンツの編集を行うことができるようになっており、さらに、その編集後のコンテンツの再生を行うことができるようになっている。
【０１１４】
即ち、図１０の再生装置２では、ユーザ入力部４４から、インデックス情報の選択指示の他、コンテンツに対する編集指示を入力することができるようになっており、編集指示は、編集部４５に供給される。
【０１１５】
編集部４５は、ユーザ入力部４４からの編集指示にしたがい、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）や、その関連情報を編集し、その編集履歴を、オブジェクトデータ更新部４６と編集履歴蓄積部４７に供給する。
【０１１６】
オブジェクトデータ更新部４６は、編集部４５から供給される編集履歴にしたがって、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報が編集後のものとなる。
【０１１７】
編集履歴蓄積部４７は、編集部４５から供給される編集履歴を一時記憶する。記録部４８は、編集履歴蓄積部４７に記憶された編集履歴を読み出し、例えば、記録媒体３に記録する。
【０１１８】
次に、図１１のフローチャートを参照して、図１０の再生装置２が行う再生処理について説明する。
【０１１９】
図１１では、ステップＳ９１乃至Ｓ１０５において、図９のステップＳ６１乃至Ｓ７５における場合とそれぞれ同様の処理が行われる。
【０１２０】
そして、ステップＳ７５において、インデックス情報提示部４３で提示されたインデックス情報のいずれか１以上の選択を指示する選択指示の入力がユーザからあったかどうかを、ユーザ入力部４４が判定し、あったと判定した場合、ステップＳ１０６に進み、編集部４５は、ユーザ入力部４４によって選択指示がされた前景のオブジェクトとその関連情報を、オブジェクトデータ蓄積部３５から読み出すことで取得し、ステップＳ１０７に進む。ステップＳ１０７では、編集部４５が、ユーザ入力部４４から編集指示が入力されるのを待って、その編集指示にしたがい、ステップＳ１０７で取得したオブジェクトやその関連情報を編集する。
【０１２１】
即ち、ステップＳ１０７では、例えば、オブジェクトの画像情報が変更される。また、ステップＳ１０７では、例えば、オブジェクトの関連情報のうちの位置情報が変更される。この場合、オブジェクトが表示される画面上の位置が変更されることになる。その他、ステップＳ１０７では、オブジェクトの他の関連情報、即ち、動きベクトル（動き情報）や、変形情報、音声情報、文字情報を、編集によって変更することができる。
【０１２２】
なお、ここでは、前景のオブジェクトとその関連情報を編集の対象とするようにしたが、その他、背景のオブジェクトやその関連情報、さらには、インデックス情報も、編集の対象とするようにすることが可能である。
【０１２３】
編集部４５は、ステップＳ１０７において編集を行うと、その編集履歴を、オブジェクトデータ更新部４６および編集履歴蓄積部４７に供給して、ステップＳ１０８に進む。ステップＳ１０８では、編集履歴蓄積部４７が、編集部４５から供給される編集履歴を記憶し、ステップＳ１０９に進む。
【０１２４】
ステップＳ１０９では、オブジェクトデータ更新部４６が、編集部４５から供給された編集履歴にしたがって、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１２５】
その後、ステップＳ１１０に進み、以下、ステップＳ１１０乃至Ｓ１２０において、図７のステップＳ４１乃至Ｓ５１における場合とそれぞれ同様の処理が行われる。
【０１２６】
なお、図１１の実施の形態では、ステップＳ１０９において、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報が編集後のものとされているので、ステップＳ１１６，Ｓ１１７、またはＳ１１９では、その編集後の画像、音声、または文字が出力される。
【０１２７】
ステップＳ１２０において、図７のステップＳ５１における場合と同様に、すべてのフレームの再生が終了したか、または再生を終了するように、ユーザから指示があったかどうかが判定され、すべてのフレームの再生が終了したか、または、再生を終了する旨の指示があったと判定された場合、ステップＳ１２１に進み、記録部４８が、編集履歴蓄積部４７に記憶された編集履歴を、記録媒体３に記録し、再生処理を終了する。
【０１２８】
以上の再生処理によれば、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１２９】
なお、図１１の実施の形態では、すべてのオブジェクトが存在するコンテンツを再生するようにしたが、その他、例えば、図９の実施の形態における場合のように、ユーザ入力部４４によって選択指示がされたオブジェクトが存在し、選択指示がされなかったオブジェクトは存在しないコンテンツを再生するようにすることが可能である。この場合、再生されるコンテンツには、元のコンテンツに存在する前景のオブジェクトのうち、編集されたものだけが存在することになる。
【０１３０】
ところで、図１０の記録部４８においては、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録することができる。
【０１３１】
そこで、図１２は、編集履歴が、図４に示したデータとは別個独立に記録されている場合の記録媒体３の再生を行う図１の再生装置２の構成例を示している。なお、図中、図６または図１０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２の再生装置２は、編集履歴取得部６１と、図１０に示したオブジェクトデータ更新部４６とが、新たに設けられている他は、図６における場合と同様に構成されている。
【０１３２】
図１２の実施の形態においては、データ読み込み部３１が、記録媒体３から、オブジェクト統合信号の他、編集履歴も読み出し、各オブジェクト統合信号取得部３２、背景統合信号取得部３３、および編集履歴取得部６１に供給するようになっている。
【０１３３】
編集履歴取得部６１は、データ読み込み部３１から供給されるデータの中から、編集履歴を取得し、オブジェクトデータ更新部４６に供給する。
【０１３４】
オブジェクトデータ更新部４６は、編集履歴取得部６１から供給される編集履歴にしたがい、図１０および図１１で説明したように、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１３５】
そして、図１２の再生装置２では、以下、図６における場合と同様にして、コンテンツが再生される。
【０１３６】
従って、図１２の再生装置２においては、図１１における場合と同様に、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１３７】
ところで、図１０の記録部４８において、上述のように、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録する場合には、その新たに記録する編集履歴のデータ量の分だけ、記録媒体３の空き領域が必要となる。
【０１３８】
従って、編集履歴を、図４に示したデータとは別個独立に、記録媒体３に記録する場合には、記録媒体３の空き領域がないと、編集履歴を記録媒体３に記録することができないことになる。
【０１３９】
そこで、図１３は、記録媒体３に空き領域がなくても、編集履歴を、記録媒体３に記録することができる図１０の記録部４８の構成例を示している。
【０１４０】
データ読み込み部７１は、記録媒体３に記録されたデータを読み出し、各オブジェクト統合信号取得部７２に供給する。各オブジェクト統合信号取得部７２は、データ読み込み部７１から供給されるデータの中から、図６の各オブジェクト信号取得部３２における場合と同様に、前景のオブジェクトのオブジェクト統合信号を取得し、埋め込みエンコード部７３に供給する。
【０１４１】
埋め込みエンコード部７３には、各オブジェクト統合信号取得部７２から前景のオブジェクトのオブジェクト統合信号が供給される他、図１０の編集履歴蓄積部４７に記憶された編集履歴が供給されるようになっている。そして、埋め込みエンコード部７３は、図２の記録装置１における埋め込みエンコード部１６が、オブジェクトに関連情報を埋め込むのと同様にして、各オブジェクト統合信号取得部７２から供給されるオブジェクト統合信号におけるオブジェクトの画像情報に、編集履歴を埋め込み、これにより、新たなオブジェクト統合信号を生成する。
【０１４２】
ここで、オブジェクト統合信号におけるオブジェクトには、例えば、そのオブジェクトおよびそのオブジェクトの関連情報に対する編集履歴を埋め込むようにすることができる。
【０１４３】
埋め込みエンコード部７３で得られた新たなオブジェクト統合信号は、記録部７４に供給され、記録部７４は、埋め込みエンコード部７３から供給される新たなオブジェクト統合信号を、記録媒体３上の元のオブジェクト統合信号に上書きする形で記録する。
【０１４４】
以上のように、埋め込みエンコード部７３では、図２の埋め込みエンコード部１６における場合と同様に、データ量を増加させずに、オブジェクト統合信号におけるオブジェクトの画像情報に、編集履歴が埋め込まれるので、記録媒体３に空き領域がなくても、編集履歴を、記録媒体３に記録することができる。
【０１４５】
次に、図１４は、図１３で説明したように、編集履歴を、オブジェクト統合信号におけるオブジェクトの画像情報に埋め込んで記録した場合の記録媒体３の再生を行う図１の再生装置２の構成例を示している。なお、図中、図６または図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４の再生装置２は、編集履歴取得部６１が設けられていない他は、基本的に、図１２における場合と同様に構成されている。
【０１４６】
図１４の実施の形態においては、埋め込みデコード部３４において、埋め込みデコーダ５１が、各オブジェクト統合信号取得部３２から供給されるオブジェクト統合信号をデコードすることにより、前景であるオブジェクトおよびその関連情報の他、編集履歴も抽出する。即ち、本実施の形態では、オブジェクト統合信号におけるオブジェクトの画像情報に、関連情報の他、編集履歴が埋め込まれているので、埋め込みデコーダ５１では、オブジェクト統合信号から、オブジェクトおよびその関連情報の他、編集履歴も抽出する。
【０１４７】
埋め込みデコーダ５１で抽出された編集履歴は、オブジェクトデータ更新部４６に供給され、オブジェクトデータ更新部４６は、埋め込みデコーダ５１から供給される編集履歴にしたがい、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクト（の画像情報）やその関連情報を更新し、これにより、オブジェクトデータ蓄積部３５に記憶された前景のオブジェクトやその関連情報を編集後のものとする。
【０１４８】
そして、図１４の再生装置２では、以下、図６における場合と同様にして、コンテンツが再生される。
【０１４９】
従って、図１４の再生装置２においても、図１２の再生装置２と同様に、元のコンテンツを編集した、その編集後のコンテンツが再生される。
【０１５０】
以上のように、オブジェクトの画像情報と、そのオブジェクトに関連する関連情報としての音声情報や文字情報などとの複数のメディアの情報を、埋め込みによって１つのオブジェクト統合信号として扱うようにしたので、ユーザは、コンテンツを編集する際に、メディアごとの編集を行わずに済み、コンテンツの編集作業を、容易に行うことが可能となる。
【０１５１】
また、ユーザは、コンテンツの中から所望のオブジェクトだけの画像情報や、音声情報、文字情報を抽出して編集することも可能であり、これにより、あるコンテンツを元に、新たなコンテンツ制作を行うことが可能となる。
【０１５２】
以上のように、ユーザは、容易に、オリジナルコンテンツの編集、さらには再編集を行うことが可能となり、例えば、複数のコンテンツのオブジェクトを合成して得られる新しいコンテンツの制作などを、容易に行うことが可能となる。
【０１５３】
次に、図２の埋め込みエンコード部１６や、図１３の埋め込みエンコード部７３で行われる、オブジェクトの画像情報に、関連情報や編集情報を埋め込む埋め込みエンコード処理と、図６の埋め込みデコーダ５１と５２で行われる、オブジェクト統合信号から、オブジェクトの画像情報と、そこに埋め込まれた情報を抽出する埋め込みデコード処理について説明する。
【０１５４】
まず、図１５のフローチャートを参照して、埋め込みエンコード処理について説明する。なお、ここでは、例えば、図２の埋め込みエンコード部１６が埋め込みエンコード処理を行うものとする。
【０１５５】
埋め込みエンコード部１６は、データ処理部１４から供給されるオブジェクトの画像情報と、そのオブジェクトの関連情報とを、その内蔵するバッファ（図示せず）に記憶する。
【０１５６】
ここで、埋め込みエンコード処理においては、ある情報に、他の情報（ある情報の一部であっても良い）が埋め込まれるが、ある情報に埋め込まれる他の情報を、以下、適宜、埋め込み情報という。
【０１５７】
埋め込みエンコード部１６は、ステップＳ１３１において、その内蔵するバッファに記憶した埋め込み情報としての関連情報から、まだ、オブジェクトの画像情報に埋め込んでいない１ビットの埋め込み情報を、注目埋め込み情報として選択するとともに、その１ビットの注目埋め込み情報を埋め込む処理の対象とする画素を、その内蔵するバッファに記憶したオブジェクトの画像情報のうちの、まだ埋め込み情報が埋め込まれていないものの中から、処理対象画素として選択する。
【０１５８】
ここで、本実施の形態では、例えば、図１６に示すように、埋め込みエンコード部１６の内蔵するバッファに記憶されたオブジェクトの画像情報から、五の目格子状に、処理対象画素が選択される。即ち、埋め込みエンコード部１６では、ステップＳ１３１の処理が行われるごとに、図１６において、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択される。なお、図１６におけるｐ（ｘ，ｙ）は、左からｘ番目の、上からｙ番目の画素を表している（後述する図１９においても同様）。
【０１５９】
その後、埋め込みエンコード部１６は、ステップＳ１３２において、注目埋め込み情報が１または０のうちのいずれであるかを判定する。ステップＳ１３２において、埋め込み情報が、１または０のうちの、例えば０であると判定された場合、ステップＳ１３１に戻る。即ち、埋め込みエンコード部１６は、埋め込み情報が０である場合には、処理対象画素に、何らの処理も施さずに（所定の定数としての０を加算し）、ステップＳ１３１に戻り、新たな注目埋め込み情報と、新たな処理対象画素を選択し、以下、同様の処理を繰り返す。
【０１６０】
また、ステップＳ１３２において、埋め込み情報が、１または０のうちの、例えば１であると判定された場合、ステップＳ１３３に進み、埋め込みエンコード部１６は、処理対象画素に対して、所定の処理を施す。即ち、埋め込みエンコード部１６は、所定の定数としての、例えば、２の、画素に割り当てられているビット数−１乗を、処理対象画素の画素値に加算する。
【０１６１】
従って、オブジェクトの画像情報を構成する画素の画素値として、例えば、８ビットが割り当てられている場合には、ステップＳ１３３では、２７が、処理対象画素の画素値に加算されることになる。
【０１６２】
なお、この加算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、加算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。
【０１６３】
ステップＳ１３３において、処理対象画素の画素値に、２７が加算された後は、ステップＳ１３４に進み、埋め込みエンコード部１６は、その加算結果がオーバフローしているかどうかを判定する。ステップＳ１３４において、加算結果がオーバフローしていないと判定された場合、ステップＳ１３５をスキップして、ステップＳ１３６に進み、埋め込みエンコード部１６は、その加算結果を、処理対象画素の画素値として、その内蔵するバッファに上書きする形で書き込み、ステップＳ１３１に戻る。ステップＳ１３１では、新たな注目埋め込み情報と、新たな処理対象画素が選択され、以下、同様の処理が繰り返される。
【０１６４】
また、ステップＳ１３４において、加算結果がオーバフローしていると判定された場合、即ち、加算結果が、２８以上となった場合、ステップＳ１３５に進み、その加算値の補正が行われる。即ち、ステップＳ１３５では、オーバフローした加算値が、例えば、そのオーバフローした分（オーバフローした加算値から２８を減算した値）に補正される。そして、ステップＳ１３６に進み、埋め込みエンコード部１６は、その補正後の加算結果を、処理対象画素の画素値として、その内蔵するバッファに上書きする形で書き込み、ステップＳ１３１に戻る。ステップＳ１３１では、新たな注目埋め込み情報と、新たな処理対象画素が選択され、以下、同様の処理が繰り返される。
【０１６５】
埋め込みエンコード部１６は、以上のステップＳ１３１乃至Ｓ１３６の処理を繰り返し、これにより、オブジェクトの画像情報に埋め込み情報を埋め込んで得られる画像情報を、オブジェクト統合信号として出力する。
【０１６６】
ここで、図１５の埋め込みエンコード処理は、オブジェクト単位で行われる。即ち、図１５の埋め込みエンコード処理は、あるオブジェクトについては、そのオブジェクトの画像情報に対して埋め込むべき埋め込み情報がなくなった時点で終了し、次のオブジェクトについて開始される。
【０１６７】
なお、図２の埋め込みエンコード部１６では、図１５の埋め込みエンコード処理が、オブジェクトの関連情報だけを埋め込み情報として行われるが、図１３の埋め込みエンコード部７３では、オブジェクトの関連情報と編集履歴を埋め込み情報として行われる。即ち、埋め込みエンコード部７３は、例えば、オブジェクトに関連情報を埋め込むことによって得られたオブジェクト統合信号を、一旦、オブジェクトと関連情報にデコードし、デコードされたオブジェクトに対して、デコードされた関連情報と編集履歴を、埋め込み情報として埋め込む。
【０１６８】
以上のように、オブジェクトの画像情報を構成する一部の画素を選択し、その選択した画素に対して、埋め込み情報に対応した処理であって、画像の相関性を利用して元に戻すことができるものを施すことにより、画素に、埋め込み情報を埋め込むことで、画像の画質の劣化を極力なくし、かつデータ量を増加せずに、画像に埋め込み情報を埋め込むことができる。
【０１６９】
即ち、埋め込み情報が埋め込まれた画素は、画像の相関性、即ち、ここでは、埋め込み情報が埋め込まれなかった画素との間の相関を利用することにより、後述するように、オーバヘッドなしで、元の画素と埋め込み情報にデコード（戻す）ことができる。従って、その結果得られるオブジェクトのデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０１７０】
次に、オブジェクト統合信号から、オブジェクトの画像情報と、そこに埋め込まれた埋め込み情報を抽出する埋め込みデコード処理について説明する。なお、ここでは、図６の埋め込みデコーダ５１が埋め込みデコード処理を行うものとする。
【０１７１】
埋め込みデコーダ５１は、オブジェクト統合信号を、画像の相関性を利用して元のオブジェクトの画像情報と埋め込み情報にデコードする。具体的には、埋め込みデコーダ５１は、埋め込み情報が埋め込まれた画像情報であるオブジェクト統合信号を構成する一部の画素を、処理対象画素として選択し、図１７に示すように、その処理対象画素に対して、埋め込みエンコード部１６が施した処理と逆の処理を施すことで、その画素値を変更する。さらに、図１７に示すように、埋め込みデコーダ５１は、画素値の変更前の処理対象画素と、その周辺画素（図１７の実施の形態では、左右に隣接する画素）との相関値Ｒ１を演算するとともに、画素値の変更された処理対象画素と、その画素の周辺画素との相関値Ｒ２を演算し、その相関値Ｒ１とＲ２とを比較する。そして、埋め込みデコーダ５１は、その比較結果に基づいて、画素値の変更前または変更後の処理対象画素のうちのいずれか一方を、その処理対象画素のデコード結果とするとともに、その処理対象画素に埋め込まれた埋め込み情報（ここでは、１ビットの１または０のうちのいずれか一方）をデコードする。
【０１７２】
次に、図１８のフローチャートを参照して、埋め込みデコード処理について説明する。
【０１７３】
埋め込みデコーダ５１は、あるオブジェクトのオブジェクト統合信号を、その内蔵するバッファ（図示せぬ）に記憶し、ステップＳ１４１において、その内蔵するバッファに記憶したオブジェクト統合信号である、埋め込み情報が埋め込まれた画像情報を構成する画素のうちの、まだ処理対象画素としていない画素の中から、デコードを行う処理の対象とする画素を、処理対象画素として選択する。
【０１７４】
ここで、埋め込みデコーダ５１では、図６の埋め込みエンコード部１６と同様に、その内蔵するバッファに記憶されたオブジェクト統合信号（埋め込み情報が埋め込まれた画像情報）から、五の目格子状に、画素が選択される。即ち、埋め込みデコーダ５１では、ステップＳ１４１の処理が行われるごとに、上述の図１６に示した、斜線を付していない画素が、例えば、ラインスキャン順に、順次、処理対象画素として選択される。
【０１７５】
その後、ステップＳ１４２に進み、埋め込みデコーダ５１は、処理対象画素に対し、図６の埋め込みエンコード部１６が行った処理と逆の処理を施す。即ち、埋め込みエンコード部１６は、所定の定数としての、例えば、２の、画素に割り当てられているビット数−１乗を、処理対象画素の画素値から減算する。
【０１７６】
従って、上述したように、画像を構成する画素の画素値として、例えば、８ビットが割り当てられている場合においては、ステップＳ１４２では、２７が、処理対象画素の画素値から減算されることになる。
【０１７７】
なお、この減算は、画素値が、例えば、ＹＵＶなどで表現されている場合には、輝度成分Ｙ、または色成分Ｕ，Ｖのいずれに対して行っても良い。また、減算は、画素値が、例えば、ＲＧＢで表現されている場合には、Ｒ，Ｇ，Ｂのいずれに対して行っても良い。但し、ステップＳ１４２における減算は、図１５のステップＳ１３３における加算が行われたものと同一のものに対して行う必要がある。即ち、画素値が、例えば、ＹＵＶなどで表現されており、図１５のステップＳ１３３３における加算が、ＹＵＶのうちの、例えば、Ｙ成分に対して行われた場合には、ステップＳ１４２における減算は、やはり、Ｙ成分に対して行う必要がある。
【０１７８】
ステップＳ１４２において、処理対象画素の画素値から、２７が減算された後は、ステップＳ１４３に進み、埋め込みデコーダ５１は、その減算結果がアンダフローしているかどうかを判定する。ステップＳ１４３において、減算結果がアンダフローしていないと判定された場合、ステップＳ１４４をスキップして、ステップＳ１４５に進む。
【０１７９】
また、ステップＳ１４３において、減算結果がアンダフローしていると判定された場合、即ち、加算結果が、０未満となった場合、ステップＳ１４４に進み、埋め込みデコーダ５１は、その減算値の補正を行う。即ち、ステップＳ１４４では、アンダフローした減算値が、例えば、その減算値に２８を加算した値に補正され、ステップＳ１４５に進む。
【０１８０】
ステップＳ１４５では、埋め込みデコーダ５１は、処理対象画素の画素値（ステップＳ１４２で２７を減算していないもの）（以下、適宜、第１の画素値という）Ｐ１と、その画素値から２７を減算した減算値（以下では、ステップＳ１４４で補正されたものも含むものとする）（以下、適宜、第２の画素値という）Ｐ２のそれぞれについて、処理対象画素の周辺画素としての、例えば、その左右に隣接する画素との間の相関値を演算する。
【０１８１】
即ち、ステップＳ１４５では、例えば、処理対象画素の第１の画素値Ｐ１と、その左右の画素それぞれの画素値との差分の絶対値が演算され、その２つの絶対値の加算値が、処理対象画素の第１の画素値Ｐ１についての相関値Ｒ１として求められる。さらに、ステップＳ１４５では、処理対象画素の第２の画素値Ｐ２についても、その左右の画素それぞれの画素値との差分の絶対値どうしの加算値が演算され、それが、処理対象画素の第２の画素値Ｐ２の相関値Ｒ２として求められる。
【０１８２】
なお、ステップＳ１４５において、処理対象画素との間の相関を求めるのに用いる画素は、その左右に隣接する画素に限定されるものではなく、上下に隣接する画素であっても良い。また、必ずしも、空間的に隣接する画素である必要もない。但し、処理対象画素との相関を求めるにあたっては、図１６において、斜線を付した画素、即ち、埋め込み情報が埋め込まれていない画素を用いるのが望ましい。これは、処理対象画素について、埋め込み情報が埋め込まれた画素との相関を求めても、元の画像についての相関を得ることができず、従って、画像の相関性を利用することができないため、埋め込み情報が埋め込まれた画素から、元の画素値および埋め込み情報を、正確にデコードするのが困難となるからである。また、画像の相関性を利用して、処理対象画素をデコードする以上、処理対象画素との相関値を求めるのに用いる画素は、その処理対象画素との空間的距離が近いものであるのが望ましい。
【０１８３】
第１の画素値Ｐ１についての相関値Ｒ１、および第２の画素値Ｐ２についての相関値Ｒ２の算出後は、ステップＳ１４６に進み、埋め込みデコーダ５１は、その相関値Ｒ１とＲ２とを比較する。
【０１８４】
ステップＳ１４６において、相関値Ｒ１が、相関値Ｒ２より大きい（以上である）と判定された場合、ステップＳ１４７に進み、埋め込みデコーダ５１は、埋め込み情報のデコード結果として、０を出力し、ステップＳ１４１に戻る。そして、この場合、埋め込みデコーダ５１は、その内蔵するバッファに記憶している処理対象画素の画素値を書き換えず、従って、処理対象画素の画素値のデコード結果は、その画素値Ｐ１のままとされる。
【０１８５】
即ち、第１の画素値Ｐ１についての相関値Ｒ１の方が、第２の画素値Ｐ２についての相関値Ｒ２より大きいということは、処理対象画素の画素値としては、画素値Ｐ２よりも、画素値Ｐ１の方が確からしいこととなるので、処理対象画素の画素値のデコード結果は、その確からしい画素値Ｐ１とされる。さらに、画素値Ｐ１は、ステップＳ１４２で２７が減算されていないものであるから、図１５のステップＳ１３３で２７が加算されていないものである。そして、図１５の埋め込みエンコード処理では、埋め込み情報が０の場合には、２７を加算しないこととしているから、第１の画素値Ｐ１についての相関値Ｒ１の方が大きく、画素値Ｐ１が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた埋め込み情報は０ということになる。
【０１８６】
一方、ステップＳ１４６において、相関値Ｒ２が、相関値Ｒ１より大きい（以上である）と判定された場合、ステップＳ１４８に進み、埋め込みデコーダ５１は、その内蔵するバッファに記憶している処理対象画素の画素値を、その画素値から２７を減算した減算値、即ち、第２の画素値Ｐ２に書き換える。従って、この場合、処理対象画素の画素値のデコード結果は、その画素値Ｐ２とされる。そして、ステップＳ１４９に進み、埋め込みデコーダ５１は、埋め込み情報のデコード結果として、１を出力し、ステップＳ１４１に戻る。
【０１８７】
即ち、第２の画素値Ｐ２についての相関値Ｒ２の方が、第１の画素値Ｐ１についての相関値Ｒ１より大きいということは、処理対象画素の画素値としては、画素値Ｐ１よりも、画素値Ｐ２の方が確からしいこととなるので、処理対象画素の画素値のデコード結果は、その確からしい画素値Ｐ２とされる。さらに、画素値Ｐ２は、ステップＳ１４２で、画素値Ｐ１から２７が減算されたものであるから、図１５のステップＳ１３３で、元の画素値に２７が加算されたものである。そして、図１５の埋め込みエンコード処理では、埋め込み情報が１の場合には、２７を加算することとしているから、第２の画素値Ｐ２についての相関値Ｒ２の方が大きく、画素値Ｐ２が、処理対象画素の画素値として確からしい場合には、そこに埋め込まれた埋め込み情報は１ということになる。
【０１８８】
ここで、上述のようにして求められる相関値Ｒ１とＲ２との差分が小さい場合には、画素値Ｐ１とＰ２のうちのいずれが、処理対象画素の画素値として確からしいかは、一概にはいえないこともありうる。そこで、このような場合には、処理対象画素の左右に隣接する画素だけでなく、他の画素をも用いて、画素値Ｐ１，Ｐ２それぞれについての相関値を求め、その相関値を比較することで、画素値Ｐ１，Ｐ２のうちのいずれが、処理対象画素の画素値として確からしいかを決定することができる。
【０１８９】
以上のように、埋め込み情報が埋め込まれた画像情報であるオブジェクト統合信号を、画像の相関性を利用して、元のオブジェクトの画像情報と埋め込み情報にデコードするようにしたので、そのデコードのためのオーバヘッドがなくても、オブジェクト統合信号を、元の画像情報と埋め込み情報にデコードすることができる。従って、そのデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０１９０】
なお、上述の場合には、処理対象画素と、他の画素との相関値として、それらの画素値の差分の絶対値を用いるようにしたが、相関値は、これに限定されるものではない。
【０１９１】
また、上述の場合には、図１６に示したように、オブジェクトの画像情報から、五の目格子状に、画素を選択し、その画素に、埋め込み情報を埋め込むようにしたが、埋め込み情報を埋め込む画素の選択パターンは、これに限定されるものではない。但し、埋め込み情報を埋め込んだ画素のデコードにあたっては、上述したように、埋め込み情報が埋め込まれていない画素を用いて相関を求めるのが望ましく、また、画素どうしの相関は、基本的に、それらの間の空間的距離が離れるほど小さくなっていく。従って、正確なデコードを行う観点からは、埋め込み情報を埋め込む画素は、空間的に、いわゆる疎らになるように選択するのが望ましい。一方、多くの埋め込み情報を埋め込む観点からは、埋め込み情報を埋め込む画素は、ある程度多くする必要がある。従って、埋め込み情報を埋め込む画素は、デコードの正確さと、埋め込み情報のデータ量とをバランスさせて選択するのが望ましい。
【０１９２】
さらに、上述の場合には、処理対象画素として選択された１画素に、１ビットの埋め込み情報を埋め込むようにしたが、１画素に、２ビット以上の埋め込み情報を埋め込むようにすることも可能である。例えば、１画素に、２ビットの埋め込み情報を埋め込む場合には、その２ビットの埋め込み情報にしたがって、例えば、０，２６，２７，２６＋２７のうちのいずれかを、画素値に加算するようにすれば良い。
【０１９３】
また、上述の場合には、画素値に、０または２７のうちのいずれかを加算することで（画素値に、２７を加算しないか、または加算することで）、埋め込み情報を埋め込むようにしたが、画素値に加算する値は、２７に限定されるものではない。但し、画素値の下位ビットにしか影響を与えないような値を加算する場合には、その加算値と、元の画素値とが、あまり異なったものとならず、従って、図１８のステップＳ１４５で求められる相関値Ｒ１とＲ２も、あまり異なったものとならなくなる。これは、画素値および埋め込み情報のデコード結果の精度を劣化させることとなるから、埋め込み情報にしたがって、画素値に加算する値は、元の画素値の上位ビットに影響を与えるような値とするのが望ましい。
【０１９４】
さらに、上述の場合には、画素値に、所定値を加算することで、埋め込み情報の埋め込みを行うようにしたが、埋め込み情報の埋め込みは、加算以外の操作（例えば、ビット反転など）を、画素値に施すことによって行うことも可能である。但し、上述したように、画素値および埋め込み情報のデコード結果の精度の劣化を防止する観点から、画素値に施す操作は、元の画素値についての相関と、操作を施した画素値についての相関とが大きく異なるようなものであることが望ましい。
【０１９５】
また、上述の場合には、処理対象画素として選択された１画素に、１ビットの埋め込み情報を埋め込むようにしたが、複数画素に、１ビットの埋め込み情報を埋め込むようにすることも可能である。即ち、例えば、図１９において○印で示す位置関係にある４画素に、１ビットの埋め込み情報を埋め込むようにすることなどが可能である。
【０１９６】
具体的には、例えば、図１９において、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）に注目した場合、埋め込み時には、１ビットの埋め込み情報にしたがい、画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値に対して、同一の操作を施すことで、１ビットの埋め込み情報を埋め込む。一方、デコード時には、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについて、上述したような第１および第２の画素値Ｐ１，Ｐ２の相関値Ｒ１，Ｒ２を求め、その相関値Ｒ１，Ｒ２の大小関係を比較する。そして、その比較結果の多数決などによって、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、埋め込み情報のデコード結果を決定すれば良い。あるいは、また、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれについての第１の画素値Ｐ１の相関値Ｒ１の総和と、第２の画素値Ｐ２の相関値Ｒ２の総和とを求め、その２つの総和の大小関係などに基づいて、４つの画素ｐ（１，４），ｐ（５，４），ｐ（１，８），ｐ（５，８）それぞれの画素値と、埋め込み情報のデコード結果を決定しても良い。
【０１９７】
ここで、図１６に示したように、処理対象画素として、画像から、五の目格子状に、画素を選択し、その選択された各画素に、１ビットの埋め込み情報を埋め込むようにした場合には、画像の画素数の約半分のビット数の埋め込み情報を埋め込むことができるが、上述したように、４画素に、１ビットの埋め込み情報を埋め込む場合には、画像に埋め込むことのできる埋め込み情報は、その画像の画素数の約半分の１／４のビット数となる。
【０１９８】
なお、以上のように、画素値に対して、埋め込み情報に応じた操作を施すことによって、オブジェクトの画像情報に埋め込み情報を埋め込む埋め込み方法の詳細については、例えば、特開２０００−０５９７４３号公報に記載されている。
【０１９９】
また、オブジェクトの画像情報に埋め込み情報を埋め込む埋め込み方法は、画素値に対して、埋め込み情報に応じた操作を施す方法に限定されるものではなく、例えば、特開２０００−１８４１８１号公報に記載されている方法などを採用することが可能である。
【０２００】
特開２０００−１８４１８１号公報に記載されている方法では、オブジェクトの画像情報を構成する、例えば、水平ラインが、上から順に、注目ラインとされ、その注目ラインが、埋め込み情報に対応する画素数分だけ、水平方向にローテーションされる。
【０２０１】
即ち、例えば、いま、図２０Ａに示すように、第Ｎライン（上からＮ番目の水平ライン）が注目ラインとされているとすると、その第Ｎラインは、埋め込み情報の値と同一の画素数だけ、水平方向である左または右方向のうちの、例えば右方向にスライドされ、そのスライドにより、右にはみ出した第Ｎラインの部分は、図２０Ｃに示すように、その第Ｎラインの左側にはめ込まれる。
【０２０２】
従って、例えば、図２１Ａに示すようなオブジェクトの画像情報に、埋め込み情報として、１０，１５０，２００，・・・を埋め込む場合においては、図２１Ｂに示すように、第１ラインは、そのままとされ、第２ラインは、最初の埋め込み情報と同一の値である１０画素だけ、右方向にローテーションされる。さらに、第３ラインは、２番目の埋め込み情報と同一の値である１５０画素だけ、右方向にローテーションされ、第４ラインは、３番目の埋め込み情報と同一の値である２００画素だけ、右方向にローテーションされる。第５ライン以降も、同様に、埋め込み情報に対応する画素数だけ、右方向にローテーションされていく。ここで、第１ラインをローテーションせずにそのままとする理由については、後述する。
【０２０３】
以上のように、水平ラインを、埋め込み情報に対応した画素数だけ、右方向にローテーションすることにより、各水平ラインに、埋め込み情報を埋め込む場合には、その逆のローテーションを行うことで、元の画像にデコードすることができ、さらに、その逆のローテーションを行ったときのローテーション量が埋め込み情報となる。従って、画像の画質を劣化させずに、かつデータ量を増加せずに、画像に埋め込み情報を埋め込むことができる。
【０２０４】
即ち、埋め込み情報が埋め込まれた水平ラインとしてのローテーションされた水平ラインは、画像の相関性、即ち、ここでは、正しい位置にあるラインとの間の相関を利用することにより、オーバヘッドなしで、正しい位置のラインと埋め込み情報にデコード（戻す）ことができる。従って、その結果得られるデコード画像（再生画像）には、基本的に、埋め込み情報を埋め込むことによる画質の劣化は生じない。
【０２０５】
なお、以上のように、オブジェクトの画像情報の各水平ラインを、埋め込み情報に応じた画素数だけローテンションすることにより、オブジェクトの画像情報に埋め込み情報を埋め込んだオブジェクト統合信号を生成する場合、そのオブジェクト統合信号に、正しい位置にある水平ラインが存在しないと、上述のように画像の相関性を利用して、画像と埋め込み情報をデコードするのは困難である。そこで、オブジェクトの画像情報の、例えば、最上行の水平ラインなどの、少なくとも１以上の水平ラインには、埋め込み情報を埋め込まないで（ローテーションしないで）、そのまま、オブジェクト統合信号とするのが望ましい。
【０２０６】
以上のように、水平ラインをローテーションすることによって得られたオブジェクト統合信号のデコードは、そのオブジェクト統合信号の水平ラインを、１画素ずつ右または左のうちのいずれか一方向にローテーションしながら、例えば、そのローテーション後のラインと、その１つ上の行のラインとの間の相関値を演算することによって行うことができる。即ち、図２２Ａに示すように、オブジェクト統合信号を構成する、水平ラインを、例えば上から順に、注目ラインとし、その１ライン上の水平ライン（この水平ラインは、注目ラインをデコードするための、いわばキーとなるため、以下、適宜、キーラインという）との相関値を計算する。さらに、図２２Ｂに示すように、注目ラインを、１画素だけ右または左のうちのいずれかにローテーションし（図２２では、図２０で説明した場合の逆方向である左方向にローテーションしている）、そのローテーション後の注目ラインとキーラインラインとの間の相関値を演算する。以下、同様にして、注目ラインが、オブジェクト統合信号における元の位置に戻るまで、注目ラインをローテーションしながら、キーラインとの間の相関値を計算する。そして、最大の相関値が得られたときの位置に、注目ラインをローテーションすることにより、その注目ラインを、オブジェクトの画像情報における元の位置に戻すことができ、さらに、そのときの注目ラインのローテーション量が、その注目ラインに埋め込まれていた埋め込み情報となる。
【０２０７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０８】
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２１０】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２１１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２１２】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２を内蔵している。ＣＰＵ１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、ＣＰＵ１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４にロードして実行する。これにより、ＣＰＵ１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１３】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１４】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１５】
【発明の効果】
以上の如く、本発明によれば、編集作業の容易化を図ること等が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
【図２】記録装置１の構成例を示すブロック図である。
【図３】記録装置１による記録処理を説明するフローチャートである。
【図４】記録装置１が記録する記録データのフォーマットを示す図である。
【図５】オブジェクト／関連情報抽出処理を説明するフローチャートである。
【図６】再生装置２の第１の構成例を示すブロック図である。
【図７】再生装置２による再生処理を説明するフローチャートである。
【図８】再生装置２の第２の構成例を示すブロック図である。
【図９】再生装置２による再生処理を説明するフローチャートである。
【図１０】再生装置２の第３の構成例を示すブロック図である。
【図１１】再生装置２による再生処理を説明するフローチャートである。
【図１２】再生装置２の第４の構成例を示すブロック図である。
【図１３】記録部４８の構成例を示すブロック図である。
【図１４】再生装置２の第５の構成例を示すブロック図である。
【図１５】埋め込みエンコード処理を説明するフローチャートである。
【図１６】処理対象画素の選択方法を説明するための図である。
【図１７】相関値の計算を説明するための図である。
【図１８】埋め込みでコード処理を説明するフローチャートである。
【図１９】処理対象画素の選択方法を説明するための図である。
【図２０】水平ラインのローテーションによる埋め込み方法を説明するための図である。
【図２１】水平ラインのローテーションによる埋め込みの具体例を示す図である。
【図２２】水平ラインのローテーションによる埋め込みのデコードを説明するための図である。
【図２３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 記録装置， ２ 再生装置， ３ 記録媒体， ４ 伝送媒体， １１ 画像データ入力部， １２ 音声データ入力部， １３ 文字データ入力部， １４ データ処理部， １５ インデックス作成部， １６ 埋め込みエンコード部， １７ 記録データ作成部， １８ 記録部， ２１ オブジェクト抽出部， ２２ 関連情報抽出部， ３１ データ読み込み部， ３２ 各オブジェクト統合信号取得部， ３３ 背景統合信号取得部， ３４ 埋め込みデコード部， ３５ オブジェクトデータ蓄積部， ３６ 背景データ蓄積部， ３７ オブジェクト合成部， ３８ 画像信号出力部， ３９ 音声信号出力部， ４０ 文字情報出力部， ４１ インデックス情報取得部， ４２ インデックス情報蓄積部， ４３ インデックス情報提示部， ４４ ユーザ入力部， ４５編集部， ４６ オブジェクトデータ更新部， ４７ 編集履歴蓄積部， ４８ 記録部， ５１，５２ 埋め込みデコーダ， ５３乃至５６ 蓄積部， ５７ 画像信号合成部， ５８ 音声信号合成部， ６１ 編集履歴取得部， ７１ データ読み込み部， ７２ 各オブジェクト統合信号取得部， ７３ 埋め込みエンコード部， ７４ 記録部， １０１ バス， １０２ ＣＰＵ， １０３ ＲＯＭ， １０４ ＲＡＭ， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (24)
- オブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、
前記オブジェクトに、そのオブジェクトに関連する前記関連情報を埋め込むことにより、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段と
を備えることを特徴とする情報処理装置。 - 前記オブジェクト統合信号を、記録媒体に記録する記録手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。 - 前記記録手段は、前記オブジェクト単位のオブジェクト統合信号を、前記記録媒体に記録する
ことを特徴とする請求項２に記載の情報処理装置。 - 前記オブジェクト抽出手段は、所定のコンテンツから、画像のオブジェクトを抽出する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記関連情報抽出手段は、前記オブジェクトの動きを表す動き情報、前記オブジェクトに付随する音声情報、または前記オブジェクトを説明する文字情報を、前記関連情報として抽出する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記オブジェクトのインデックスとなるインデックス情報を作成するインデックス情報作成手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。 - 各オブジェクトについてのオブジェクト統合信号と、
各オブジェクトについての前記オブジェクト統合信号の配置位置を表す位置情報と、
各オブジェクトについての前記インデックス情報と
を配置したデータ構造のデータを作成するデータ作成手段をさらに備える
ことを特徴とする請求項６に記載の情報処理装置。 - オブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、
前記オブジェクトに、そのオブジェクトに関連する前記関連情報を埋め込むことにより、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップと
を備えることを特徴とする情報処理方法。 - コンピュータに実行させるプログラムにおいて、
オブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクトに関連する関連情報を抽出する関連情報抽出ステップと、
前記オブジェクトに、そのオブジェクトに関連する前記関連情報を埋め込むことにより、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込みステップと
を備えることを特徴とするプログラム。 - コンピュータが読みとり可能なデータ構造において、
抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号と、
前記オブジェクトのインデックスとなる、作成されたインデックス情報と
を備えることを特徴とするデータ構造。 - コンピュータが読みとり可能なデータ構造のデータが記録された記録媒体において、
抽出されたオブジェクトに、そのオブジェクトに関連する、抽出された関連情報が埋め込まれることにより生成された、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号と、
前記オブジェクトのインデックスとなる、作成されたインデックス情報と
を備えるデータ構造のデータが記録されている
ことを特徴とする記録媒体。 - オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得手段と、
前記オブジェクト統合信号から、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを抽出する抽出手段と、
前記オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段と
を備えることを特徴とする情報処理装置。 - 前記オブジェクト統合信号が記録された記録媒体から、前記オブジェクト統合信号を読み出す読み出し手段をさらに備える
ことを特徴とする請求項１２に記載の情報処理装置。 - 前記関連情報は、前記オブジェクトの動きを表す動き情報、前記オブジェクトに付随する音声情報、または前記オブジェクトを説明する文字情報である
ことを特徴とする請求項１２に記載の情報処理装置。 - 前記オブジェクトのインデックスとなるインデックス情報を取得するインデックス情報取得手段と、
前記インデックス情報を提示するインデックス情報提示手段と
をさらに備える
ことを特徴とする請求項１２に記載の情報処理装置。 - 前記オブジェクト統合信号と、
前記オブジェクト統合信号の配置位置を表す位置情報と、
前記オブジェクトについての前記インデックス情報と
を配置したデータ構造のデータが記録された記録媒体から、前記オブジェクト統合信号およびインデックス情報を読み出す読み出し手段をさらに備える
ことを特徴とする請求項１５に記載の情報処理装置。 - 前記オブジェクトまたは関連情報を編集する編集手段と、
前記編集手段による編集にしたがい、前記オブジェクトまたは関連情報を更新する更新手段と
をさらに備え、
前記再生手段は、前記更新手段による更新後の前記オブジェクトおよび関連情報を用いて、画像と音声を再生する
ことを特徴とする請求項１２に記載の情報処理装置。 - 前記編集手段による編集の履歴である編集履歴を記録する記録手段をさらに備える
ことを特徴とする請求項１７に記載の情報処理装置。 - 前記記録手段は、前記オブジェクト統合信号が記録された記録媒体に、前記編集履歴を記録する
ことを特徴とする請求項１８に記載の情報処理装置。 - 前記オブジェクト統合信号とされた前記オブジェクトに、前記編集履歴を埋め込むことにより、前記オブジェクトと、前記関連情報および編集履歴とを統合した新たなオブジェクト統合信号を生成する編集履歴埋め込み手段をさらに備え、
前記記録手段は、前記新たなオブジェクト統合信号を記録する
ことを特徴とする請求項１８に記載の情報処理装置。 - 前記オブジェクト統合信号は、前記オブジェクトに、前記関連情報の他、前記オブジェクトまたは関連情報の編集の履歴である編集履歴をさらに埋め込んだものとなっており、
前記編集履歴にしたがい、前記オブジェクトまたは関連情報を更新する更新手段をさらに備え
前記再生手段は、前記更新手段による更新後の前記オブジェクトおよび関連情報を用いて、画像と音声を再生する
ことを特徴とする請求項１２に記載の情報処理装置。 - オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、
前記オブジェクト統合信号から、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを抽出する抽出ステップと、
前記オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップと
を備えることを特徴とする情報処理方法。 - コンピュータに実行させるプログラムにおいて、
オブジェクトに、そのオブジェクトに関連する関連情報を埋め込むことにより生成された、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を取得するオブジェクト統合信号取得ステップと、
前記オブジェクト統合信号から、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを抽出する抽出ステップと、
前記オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生ステップと
を備えることを特徴とするプログラム。 - 第１の装置と第２の装置とからなる情報処理装置において、
前記第１の装置は、
オブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクトに関連する関連情報を抽出する関連情報抽出手段と、
前記オブジェクトに、そのオブジェクトに関連する前記関連情報を埋め込むことにより、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを統合したオブジェクト統合信号を生成する関連情報埋め込み手段と
を有し、
前記第２の装置は、
前記オブジェクト統合信号を取得するオブジェクト統合信号取得手段と、
前記オブジェクト統合信号から、前記オブジェクトと、そのオブジェクトに関連する前記関連情報とを抽出する抽出手段と、
前記オブジェクトおよび関連情報を用いて、オブジェクト単位の画像と音声を合成して再生する再生手段と
を有する
ことを特徴とする情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003003980A JP2004221712A (ja) | 2003-01-10 | 2003-01-10 | 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003003980A JP2004221712A (ja) | 2003-01-10 | 2003-01-10 | 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004221712A true JP2004221712A (ja) | 2004-08-05 |
Family
ID=32895085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003003980A Pending JP2004221712A (ja) | 2003-01-10 | 2003-01-10 | 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004221712A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155483A (ja) * | 2004-12-01 | 2006-06-15 | Tokai Rika Co Ltd | 物体検知装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023116A (ja) * | 1998-07-01 | 2000-01-21 | Hitachi Ltd | オブジェクト識別子処理方法および該方法を実現する記録媒体 |
| JP2000059743A (ja) * | 1998-08-06 | 2000-02-25 | Sony Corp | 画像処理装置および画像処理方法、並びに提供媒体 |
| JP2000069442A (ja) * | 1998-08-24 | 2000-03-03 | Sharp Corp | 動画システム |
| JP2000285253A (ja) * | 1999-01-28 | 2000-10-13 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| JP2001069457A (ja) * | 1999-08-27 | 2001-03-16 | Canon Inc | データ処理方法及びその装置 |
| JP2001094761A (ja) * | 1999-09-24 | 2001-04-06 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
| JP2001268479A (ja) * | 2000-03-16 | 2001-09-28 | Nippon Hoso Kyokai <Nhk> | 動画像検索装置 |
| JP2002320163A (ja) * | 2001-04-20 | 2002-10-31 | Sharp Corp | メタ情報と映像時間位置情報を利用した映像視聴装置 |
| JP2002335442A (ja) * | 2001-05-11 | 2002-11-22 | Nippon Hoso Kyokai <Nhk> | シーン記述プログラム |
| JP2002351878A (ja) * | 2001-05-18 | 2002-12-06 | Internatl Business Mach Corp <Ibm> | デジタルコンテンツ再生装置、データ取得システム、デジタルコンテンツ再生方法、メタデータ管理方法、電子透かし埋め込み方法、プログラム及び記録媒体 |
| JP2003009102A (ja) * | 2001-04-18 | 2003-01-10 | Victor Co Of Japan Ltd | オブジェクトデータの符号化方法、オブジェクトデータの伝送方法、オブジェクトデータの復号方法、オブジェクトデータ符号化装置、オブジェクトデータ生成装置、オブジェクトデータ復号装置、オブジェクトデータ符号化用プログラム、オブジェクトデータ復号用プログラム、及びオブジェクトデータ記録媒体 |
-
2003
- 2003-01-10 JP JP2003003980A patent/JP2004221712A/ja active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023116A (ja) * | 1998-07-01 | 2000-01-21 | Hitachi Ltd | オブジェクト識別子処理方法および該方法を実現する記録媒体 |
| JP2000059743A (ja) * | 1998-08-06 | 2000-02-25 | Sony Corp | 画像処理装置および画像処理方法、並びに提供媒体 |
| JP2000069442A (ja) * | 1998-08-24 | 2000-03-03 | Sharp Corp | 動画システム |
| JP2000285253A (ja) * | 1999-01-28 | 2000-10-13 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| JP2001069457A (ja) * | 1999-08-27 | 2001-03-16 | Canon Inc | データ処理方法及びその装置 |
| JP2001094761A (ja) * | 1999-09-24 | 2001-04-06 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
| JP2001268479A (ja) * | 2000-03-16 | 2001-09-28 | Nippon Hoso Kyokai <Nhk> | 動画像検索装置 |
| JP2003009102A (ja) * | 2001-04-18 | 2003-01-10 | Victor Co Of Japan Ltd | オブジェクトデータの符号化方法、オブジェクトデータの伝送方法、オブジェクトデータの復号方法、オブジェクトデータ符号化装置、オブジェクトデータ生成装置、オブジェクトデータ復号装置、オブジェクトデータ符号化用プログラム、オブジェクトデータ復号用プログラム、及びオブジェクトデータ記録媒体 |
| JP2002320163A (ja) * | 2001-04-20 | 2002-10-31 | Sharp Corp | メタ情報と映像時間位置情報を利用した映像視聴装置 |
| JP2002335442A (ja) * | 2001-05-11 | 2002-11-22 | Nippon Hoso Kyokai <Nhk> | シーン記述プログラム |
| JP2002351878A (ja) * | 2001-05-18 | 2002-12-06 | Internatl Business Mach Corp <Ibm> | デジタルコンテンツ再生装置、データ取得システム、デジタルコンテンツ再生方法、メタデータ管理方法、電子透かし埋め込み方法、プログラム及び記録媒体 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006155483A (ja) * | 2004-12-01 | 2006-06-15 | Tokai Rika Co Ltd | 物体検知装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100480076B1 (ko) | 정지영상 이미지 처리방법 | |
| JP3793142B2 (ja) | 動画像加工方法及び装置 | |
| US20050264669A1 (en) | Apparatus and method for image processing | |
| EP1111612A1 (en) | Method and device for managing multimedia file | |
| JP4518194B2 (ja) | 生成装置、生成方法、及び、プログラム | |
| JP2007018198A (ja) | リンク情報付きインデックス情報生成装置、タグ情報付き画像データ生成装置、リンク情報付きインデックス情報生成方法、タグ情報付き画像データ生成方法及びプログラム | |
| CN102811352A (zh) | 运动图像生成方法及运动图像生成装置 | |
| US8340196B2 (en) | Video motion menu generation in a low memory environment | |
| TW201008269A (en) | Reproducing device, reproducing method, program, and data structure | |
| US8401302B2 (en) | Image processing apparatus, image processing method, and program | |
| JP3637726B2 (ja) | 字幕情報付きディジタル情報処理方法及び装置 | |
| JP2004221712A (ja) | 情報処理装置および情報処理方法、プログラム、並びにデータ構造および記録媒体 | |
| JP2005108105A (ja) | 画像処理装置及び方法 | |
| JP5093317B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| KR101267382B1 (ko) | Ｗｅｂ Ｓｉｔｅ에 접속한 사용자 ＰＣ를 통한 ＳＷＦ 생성방법 | |
| JP4973935B2 (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体 | |
| CN112151048B (zh) | 音视图数据生成以及处理的方法 | |
| CN109285197B (zh) | 一种gif图像处理方法和移动终端 | |
| JP5371232B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH0870432A (ja) | 部分伸長装置及び方法 | |
| CN114286179B (zh) | 视频编辑方法、设备和计算机可读存储介质 | |
| KR20070098364A (ko) | 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법 | |
| JP2009253342A (ja) | 情報処理装置および方法 | |
| US20060136515A1 (en) | Content synthesis device, content synthesis method, contents synthesis program, computer readable recording medium containing the content synthesis program, data structure of content data, and computer readable recording medium containing the content data | |
| Routhier | How Will We Preserve the Movies of Tomorrow? Technical and Ethical Considerations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080821 |