JP2006352631A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画サイズの異なるそれぞれの画像から抽出される特徴の整合性を確保することができるようにする。
【解決手段】特徴抽出の対象とする画像の画サイズがモニタの画サイズと同じである場合、供給されてきた画像から直接特徴が抽出される。モニタの画サイズと異なることから、特徴抽出の対象とする画像がレターボックスが付加された画像である場合、付加された黒部分の領域を除いた、有効領域の画像データに基づいて、モニタの画サイズと同じ画サイズの画像が生成され、生成された画像を対象として特徴抽出が行われる。本発明は、複数の画サイズの画像を処理することが可能な情報処理装置に適用することができる。
【選択図】図３７

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、画サイズの異なるそれぞれの画像から抽出される特徴の整合性を確保することができるようにする情報処理装置および方法、並びにプログラムに関する。

従来より、パーソナルコンピュータなどにおいては、データの記録媒体としてハードディスク（HDD(Hard Disk Drive)）が用いられている。HDDは、その大容量化、低価格化、小型化が進んでいることなどから、近年、パーソナルコンピュータ以外にも、録画機器や携帯型の音楽再生機器などの各種の機器にも用いられている。

また、データの記録媒体として、HDDの他に、CD(Compact Disk)やDVD(Digital Versatile Disk)などの光ディスクも用いられており、近年は、従来よりあるDVDより、データの高速読み書き、大容量を実現した次世代光ディスクが提案されている。例えば、民生用機器を対象とした次世代光ディスクのフォーマットとして、Blu-ray Disc（商標）方式（以下、BDという）と、HD-DVD(High Definition DVD)（商標）方式（以下、HD-DVDという）が提案されている。

従来よりあるDVD（以下、通常DVDという）は両面記録、２層記録などが可能であり、DVD-ROMの場合、その記録容量は片面１層記録で４．７GB、片面２層記録で８．５GB、両面各１層記録で９．４GBである。これに対し、BDの記録容量は、片面記録で２７GBとなっている。転送レートも３６Mbpsと、通常DVDと較べて高速でのデータの読み出しが可能となっている。また、HD-DVDの記録容量は、片面単層１５〜２０GB、２層３０〜４０GBであり、これもまた通常DVDと較べて記録容量が大きい。

広く普及している通常DVDに対応した記録再生機器を、全て、BDやHD-DVDに対応した記録再生機器に短期間で置き換えることは困難であることから、近年、BDまたはHD-DVDでのデータの記録再生と、通常DVDでのデータの記録再生が可能な光ディスクも開発されている。

複数の記録方式に対応した光ディスクのうちのBDやHD-DVDに対応した記録層を用いることにより、通常DVDと較べて、高画質記録、長時間記録などが可能となる。

ここで、映像（画像）の記録方法として、例えば、複数の記録方式に対応した光ディスクのうちのBDやHD-DVDに対応した記録層と、通常DVDに対応した記録層のそれぞれに、同一の画像を記録する方法が考えられる。具体的には、高伝送レート、大容量といった特性を生かして、BDやHD-DVDに対応した記録層には伝送レートの高い、高画質モードで画像データを記録し、一方、通常DVDに対応した記録層には伝送レートの低い、通常画質モードで同じ画像データを記録することが考えられる。

このように、１枚の光ディスクに高画質モードと通常画質モードの放送番組や映画などを記録することによって、ユーザは、例えば、画質の悪さが比較的気にならない携帯型の再生機器では通常DVDのデータを再生し、家庭内の据え置き型の再生機器ではBDまたはHD-DVDのデータを再生したりすることができる。

再生方法としては、単に、記録された順に、時系列的に再生させるのではなく、ユーザが見たいと思うシーンを再生する方法や、重要と思われるシーン（キーフレーム）だけを再生（ダイジェスト再生）する方法の２つの方法が考えられる。これにより、ユーザは、例えば、続けて記録された連続ドラマやシリーズ番組をその記録順に全て視聴することなく、記録されたものの全体を知ることができる。

前者の特殊再生を実現するため、下記特許文献１および２には、記録されている画像の特徴データを用いて、類似するシーン毎に画像データを自動的に分類し、代表画をサムネイル表示することによって、ユーザに、再生位置を選択させる技術が開示されている。

一方、後者の特殊再生を実現するため、下記特許文献３には、記録されている画像の特徴データに基づいて重要区間を判定し、判定した重要区間だけを再生する技術が開示されている。

画像の特徴データを用いる処理としては、いわゆるチャプター点を特徴データに基づいて画像に設定することも考えられる。このようなチャプター点が設定された画像データを用いることによって、ユーザは、例えば、指定したチャプター点の範囲にある画像の切り出しやコピーなどの編集処理を行うことができる。

特開２００２−４４５７３号公報 特開２００２−３４４８５２号公報 特開２００３−２１９３４８号公報

ところで、複数の記録方式に対応した光ディスクを用いて、BDやHD-DVDに対応した記録層と通常DVDに対応した記録層にそれぞれ同一の画像を記録する場合、上述したような代表画のサムネイル表示、ダイジェスト再生、編集処理などを行うときに用いられる特徴データは、BDやHD-DVDに対応した記録層に記録された画像から得られる特徴データと、通常DVDに対応した記録層に記録された画像から得られる特徴データとで整合性を確保しておく必要がある。

特徴データは、例えば、画像に現れる特徴（例えば、画素値）などに基づいて抽出することによって、あるいは、画像を記録する際に、エンコードの対象となっているデータ全体から抽出された一部のデータを特徴データとすることによって得られる。このことから、同じ画像を対象とした場合であっても、記録方式が異なると、異なるデータが、記録方式が異なるそれぞれの画像の特徴データとして取得されることがある。

この場合、記録方式によって、チャプター点、キーフレームの位置などが異なり、BDやHD-DVDのデータの再生中に、チャプター点を指定してある区間の再生を指示した場合と、通常DVDのデータの再生中に、同じチャプター点を指定して同じ区間の再生を指示した場合とで、記録されている画像は同じであるにもかかわらず、再生位置が異なるものとなる。

異なるデータが特徴データとして取得される原因としては、例えば、BDやHD-DVDでは１６：９の画面サイズで記録して、通常DVDでは４：３の画面サイズで記録するなどのように、画面サイズの違いがある。画面サイズが違うことにより同じ画像の信号であってもＹ，Ｃｂ，Ｃｒの信号特性が異なるものとなり、そのため、これらの信号に基づいて取得される特徴データが異なるものになることがある。

また、音声の特徴データについても、量子化ビット数、サンプリング周波数などの違い、５．１チャンネルサラウンド記録と２チャンネルステレオ記録などの違い、その他の要因から、同じ音声を対象とする場合でも、それから得られる特徴データが異なるものになることがある。

図１ＡおよびＢ、図２ＡおよびＢは、それぞれ、特徴データの整合性について説明する図である。

図１Ａに示されるストリームは通常DVD方式で記録された画像のストリームであり、図２Ａに示されるストリームはBD方式（またはHD-DVD方式）で記録された画像のストリームである。画像の内容はいずれも同じものである。なお、図１ＡおよびＢ、並びに図２ＡおよびＢにおいて、数字が付されている四角形はその１つが１シーン（所定の数のフレーム）を示す。

このようなストリームが記録されている状態で、通常DVD方式で記録された画像のストリームと、BD方式で記録された画像のストリームに基づいて特徴データの抽出処理が行われ、抽出処理の結果から、例えば、図１Ｂに示されるようにシーン３，７，１３と、図２Ｂに示されるようにシーン５，８，１５が、それぞれ特徴シーン（キーフレーム）として抽出されたものとする。

すなわち、記録されている画像の内容は同じであるにもかかわらず、特徴データに整合性がなく、異なるシーンが特徴シーンとして抽出されている。

ユーザは、特徴データに基づいて抽出された特徴シーンの代表画を見るなどして編集処理などを行うから、このように特徴データに整合性が確保されていない場合、編集処理の際に混乱してしまうおそれがある。

例えば、通常DVD方式で記録された画像のストリームと、BD方式で記録された画像のストリームから、同じ範囲のストリームをそれぞれ選択して他の記録媒体にコピーさせようとした場合、その編集処理の際に表示される代表画が異なるから、ユーザは、代表画の表示を見て、コピーさせようとする同じ範囲をそれぞれのストリームから正確に選択することができない。

また、ユーザによりダイジェスト再生が指示された場合、その再生位置は、特徴データに基づいて設定された特徴点の位置に従って行われるから、このように特徴データに整合性が確保されていない場合、通常DVD方式で記録された画像のストリームのダイジェスト再生を行う場合と、BD方式で記録された画像のストリームのダイジェスト再生を行う場合とで再生位置が異なり、違和感を感じることがある。

このように、内容が同じであるにもかかわらず特徴点の位置が異なり、これにより、ストリームを再生したときに再生位置が異なるものとなってしまうということは、画像の画サイズ（アスペクト比）と、その画像を表示させるモニタの画サイズの関係によっても起こりうる。

例えば、地上アナログ放送により画サイズが４：３の番組が放送されており、これと同じ内容の番組が、地上デジタル放送により画サイズが１６：９のハイビジョン番組として放送されており、この双方の番組を４：３の画サイズのモニタに表示させた場合、例えば番組の出演者の顔が、地上アナログ放送の番組を表示させたときと、地上アナログ放送の番組を表示させたときとでモニタの所定の位置を基準として異なる位置に異なる大きさで表示され、このことが、それぞれの番組の画像から抽出される特徴量に差として現れることがある。

特徴量に差が生じた場合、上述した特徴点は特徴量に基づいて設定されるから、同じ内容の番組であるにもかかわらず、一方の番組では特徴点が設定された位置に他方の番組では設定されないなどのようなことが起こりうる。

本発明はこのような状況に鑑みてなされたものであり、画サイズの異なるそれぞれの画像から抽出される特徴の整合性を確保することができるようにするものである。

本発明の第１の側面は、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像をモニタに表示したときに有効となる領域のデータに基づいて、モニタの画サイズと同じ画サイズの画像を生成する生成手段／ステップと、生成手段／ステップにより生成された画像から特徴を抽出する抽出手段／ステップとを含む情報処理装置、情報処理方法、またはプログラムである。

抽出手段には、さらに、処理対象の画像の画サイズがモニタの画サイズと同じである場合、処理対象の画像から第２の特徴を抽出させるようにすることができる。

抽出手段により抽出された第１の特徴を表すデータを、モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、第２の特徴を表すデータを、モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させる記録制御手段をさらに設けることができる。

本発明の第１の側面においては、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像をモニタに表示したときに有効となる領域のデータに基づいて、モニタの画サイズと同じ画サイズの画像が生成され、生成された画像から特徴が抽出される。

本発明の第２の側面は、処理対象の画像から特徴を抽出する抽出手段／ステップと、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像のうちの特徴抽出に用いられた領域と、処理対象の画像をモニタに表示したときに有効となる領域のうちの、特徴抽出に用いられた領域に対応する領域との大きさの比に基づいて、モニタの画サイズと異なる画サイズの画像から抽出手段／ステップにより抽出された特徴を補正する補正手段／ステップとを含む情報処理装置、情報処理方法、またはプログラムである。

補正手段により補正された特徴を表すデータを、モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、モニタの画サイズと同じ画サイズの画像から抽出手段により抽出された特徴を表すデータを、モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させる記録制御手段をさらに設けることができる。

本発明の第２の側面においては、処理対象の画像から特徴が抽出され、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像のうちの特徴抽出に用いられた領域と、処理対象の画像をモニタに表示したときに有効となる領域のうちの、特徴抽出に用いられた領域に対応する領域との大きさの比に基づいて、モニタの画サイズと異なる画サイズの画像から抽出された特徴が補正される。

本発明の第３の側面は、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像のうちの、処理対象の画像をモニタに表示したときに有効となる領域から特徴を抽出する抽出手段／ステップを含む情報処理装置、情報処理方法、またはプログラムである。

抽出手段には、さらに、処理対象の画像の画サイズがモニタの画サイズと同じである場合、処理対象の画像の全ての領域から第２の特徴を抽出させるようにすることができる。

抽出手段により抽出された第１の特徴を表すデータを、モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、第２の特徴を表すデータを、モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させる記録制御手段をさらに設けるようにすることができる。

本発明の第３の側面においては、処理対象の画像の画サイズがモニタの画サイズと異なる場合、処理対象の画像のうちの、処理対象の画像をモニタに表示したときに有効となる領域から特徴が抽出される。

本発明によれば、画サイズの異なるそれぞれの画像から抽出される特徴、または特徴に基づいて設定される特徴点の整合性を確保することができる。

以下、本発明の実施の形態について図を参照して説明する。

ここでは、画像音声データ（画像音声ストリーム）の特徴の抽出処理を行い、抽出処理の結果から特徴データを検出し、検出した特徴データに基づいて所定のキーフレーム（重要点、重要位置）、特徴点を検出し、ダイジェスト再生（要約再生）動作、チャプター設定動作などの、特徴データを用いた動作を実現する場合について考える。

「発明が解決しようとする課題」の欄に記載した、同じ内容の画像音声データを異なる記録方式で取り込んだ場合に、特徴データに基づいて定まる特徴点の整合性を確保することができないという問題を解決する方法としては、例えば、
（１）１つの画像音声データのあるベースバンド帯域を対象として特徴抽出処理を行うことにより特徴データを検出し、その特徴データを、記録方式の異なる画像音声データ（異なる記録方式で取り込んだときに得られる複数の画像音声データ）間で共通に用いる方法
（２）記録方式の異なる複数の画像音声データのうちのいずれか１つの画像音声データを対象として特徴抽出処理を行うことにより特徴データを検出し、その特徴データを、記録方式の異なる画像音声データの間で共通に用いる方法
などが考えられる。

なお、本発明の実施の形態については、以下の順序で説明する。
（１）情報の記録態様について
（１．１）２記録方式の場合
（１．２）３以上の記録方式の場合
（２）情報の再生態様について
（３）特徴データ、特殊再生用データの記録態様について
（３．１）特徴データ
（３．２）特殊再生用データ
（３．３）記録態様
（３．３．１）画像音声データの内容が同じものである場合
（３．３．２）画像音声データの内容が違うものである場合
（３．４）他の記録態様（ICメモリ、ICタグに記録する場合）
（４）予約記録（予約録画、タイマー記録）モード時の動作
（５）記録側構成例
（６）特徴データを用いたダイジェスト再生およびチャプター処理
（６．１）特徴データを用いたダイジェスト再生
（６．２）特徴データを用いた自動チャプター処理
（７）全体構成
（７．１）記録側構成
（７．２）再生側構成
（７．２．１）通常再生モード動作
（７．２．２）ダイジェスト再生モード、チャプターモード
（７．２．２．１）プレイリストデータ、チャプターデータが記録されている場合
（７．２．２．２）プレイリストデータ、チャプターデータが記録されていない場合
（７．２．２．２．１）特徴データが記録されている場合
（７．２．２．２．２）特徴データが記録されていない場合
（８）他の全体構成
（８．１）記録側構成
（８．２）再生側構成
（９）特徴抽出処理
（９．１）音声系特徴抽出処理
（９．１．１）無音特徴抽出処理
（９．１．２）その他の音声特徴抽出処理
（９．２）画像系特徴処理
（９．２．１）シーンチェンジ特徴
（９．２．２）色特徴
（９．２．３）類似シーン特徴
（９．２．４）テロップ特徴
（１０）大容量記録媒体と他の記録媒体を併用可能な場合の実施例
（１０．１）記録可能な記録方式の判定方法
（１０．２）記録方法
（１０．２．１）記録媒体Ａに記録方式１と記録方式２の双方のデータが記録されている場合
（１０．２．２）記録媒体Ａに記録方式１のデータのみが記録されている場合
（１０．２．３）記録媒体Ａに記録方式２のデータのみが記録されている場合
（１１）記録方式１の複数の画像音声データを、記録方式２で記録する場合の実施例
（１１．１）動作モード設定順序、動作順序
（１２）記録容量が不足する場合の実施例
（１２．１）２記録方式対応ディスクの場合
（１２．２）記録レートの切り換え
（１３）動作フローチャート
（１４）その他の変形実施例
（１４．１）画像信号を補間して特徴抽出処理を行う方法
（１４．２）特徴データを補正する方法
（１４．３）特徴抽出処理に用いる処理範囲を変更する方法
（１４．４）動作フローチャート
（１４．４．１）画像信号を補間して特徴抽出処理を行う方法の場合
（１４．４．２）特徴データを補正する方法の場合
（１４．４．３）特徴抽出処理の処理範囲を変更する方法の場合

（１）情報の記録態様について
はじめに、本発明の一実施形態に係る記録再生装置に着脱される記録媒体（光ディスク）におけるデータの記録態様について説明する。

（１．１）２記録方式の場合
ここで、２記録方式とは、例えば、通常DVD方式とBD方式といったように、異なる２つの記録方式で、データを１つの光ディスク（記録媒体）に記録する方式をいう。すなわち、本発明の一実施形態に係る記録再生装置において用いられる記録媒体には複数の層が設けられており、それぞれの層に異なる記録方式でデータを記録することができるようになされている。また、その複数の層から、異なる記録方式で記録されたデータを読み出し、再生することができるようになされている。

図３および図４は、２記録方式でのデータの記録の例を示す図である。

図３は、外部から供給されてきた１つのストリームが異なる２つの記録方式で記録される場合の例を示し、本発明を適用した記録再生装置におけるデータの記録方法を示すものである。

図４は、２つのストリームがそれぞれ異なる記録方式で記録される場合の例を示し、本発明を適用した記録再生装置におけるデータの記録方法と比較するものとして示すものである。

記録媒体１には、記録方式１のデータが記録される層である記録方式１層、記録方式２のデータが記録される層である記録方式２層が設けられている。例えば、記録方式１としては通常DVD方式が採用され、記録方式２としてはBD方式（またはHD-DVD方式）が採用される。この場合、記録方式１の転送レート（伝送レート、または記録レート）と記録方式２の転送レートを比較した場合、記録方式２の転送レートの方が高い。

図３に示すように、外部から供給されてきたストリーム１には、信号処理系２−１において信号処理方式１の信号処理が施され、処理結果のデータに対応するレーザがピックアップ３−１を介して照射されることによってストリーム１が記録媒体１の記録方式１層に記録される。また、ストリーム１には、信号処理系２−２において信号処理方式２の信号処理が施され、処理結果のデータに対応するレーザがピックアップ３−２を介して照射されることによってストリーム１が記録媒体１の記録方式２層に記録される。

一方、図４の例においては、外部から供給されてきたストリーム１は信号処理系２−１において信号処理方式１の信号処理が施された後、記録媒体１の記録方式１層に記録される。また、信号処理系２−１に供給されたものと異なるストリームであるストリーム２に対しては、信号処理系２−２において信号処理方式２の信号処理が施された後、記録媒体１の記録方式２層に記録される。

（１．２）３以上の記録方式の場合
この場合も、上述したように、記録方式１は通常DVD方式、記録方式２はBD方式（またはHD-DVD方式）とすることができる。また、記録方式３は通常CD方式とすることができる。この通常CD方式では、音声データの他に、静止画や画像なども記録される。

この場合、記録媒体１には、図３、図４に示される記録方式１層、記録方式２層の他、通常CD方式のデータが記録される層が設けられる。

なお、記録方式１として通常DVD方式、記録方式２としてHD-DVD方式、記録方式３としてBD方式を採用することもできる。また、さらに多くの層が記録媒体１に設けられる場合、記録方式１として通常DVD方式、記録方式２としてHD-DVD方式、記録方式３としてBD方式、記録方式４としてCD方式を採用し、４つの異なる記録方式でそれぞれの層にデータを記録するようにすることもできる。このように、記録媒体１においては、２以上の複数の記録方式でデータを記録させることができる。

（２）情報の再生態様について
図５は、記録媒体１に２記録方式で記録されたデータを再生する場合の例を示す図である。

記録方式１層に通常DVD方式で記録されたデータはピックアップ３−１を介して読み出され、信号処理系１０−１において再生処理が行われる。得られた再生信号（画像信号、音声信号）は後段の構成に出力される。

また、記録方式２層にBD方式で記録されたデータはピックアップ３−２を介して読み出され、信号処理系１０−２において再生処理が行われる。得られた再生信号（画像信号、音声信号）も後段の構成に出力される。

このように、記録媒体１からは、記録方式１で記録されたデータと、記録方式２で記録されたデータのうちの少なくともいずれかを選択的に再生することができるようになされている。

（３）特徴データ、特殊再生用データの記録態様について
はじめに、特徴データと特殊再生用データについて説明する。

（３．１）特徴データ
特徴データは、画像特徴データと音声特徴データに分類され、そのうちの画像特徴データには、テロップ特徴データ、カラー特徴データ、その他の特徴データが含まれる。また、音声特徴データには無音特徴データが含まれる。

例えば、画像特徴データのうちのテロップ特徴データは、テロップが表示されるフィールド（またはフレームなど）の位置情報と、テロップの特徴を表すDCT(Discrete Cosine Transform)のAC(Alternating current)係数データとの一対のデータなどとされる。これは、ストリームのある位置における特徴、特性を表すデータと考えられる。

なお、記録開始時刻、記録開始位置などが分かっている場合や、特徴データの順番などから、その特徴データがストリーム全体のどの位置の特徴データであるのかが分かる場合には、フィールドの位置情報は除かれ、DCTのAC係数などのデータのみが、特徴データとして記録媒体１に記録されるようにしてもよい。すなわち、この場合、特徴データは、記録開始位置を基準とした位置順に並べられたDCT係数データや、時系列順に並べられたDCT係数データとなる。

特徴データは、ストリーム中の重要位置を表すフレームであるキーフレームを検出する際などに用いられる。キーフレームの位置は、フィールド番号、フレーム番号、記録開始点からの時間、その他の位置情報で表され、これらの位置情報は、プレイリストデータとして後述する処理により生成される。すなわち、特徴データがあれば、プレイリストデータの生成が可能となる。特徴データに基づいて生成されたプレイリストデータは、ダイジェスト再生、チャプター処理の際に適宜用いられる。

このように、特徴データは、プレイリストデータを生成するためにも用いられるものであり、プレイリストデータがあれば、ダイジェスト再生、後述するチャプター処理が可能となるが、ユーザ自身でプレイリストデータを修正することも考えられることから、プレイリストデータの生成後には消去するのではなく、特徴データを、プレイリストデータとともに、記録媒体１や内蔵HDDなどの所定の記録媒体に残しておくようにしてもよい。

また、再生対象とするストリームが記録されている記録媒体に、そのストリームのプレイリストデータが記録されていないこともあることから、特徴データは、内蔵HDDなどの所定の記録媒体に残しておくようにしてもよい。例えば、過去に再生したことのあるストリームが記録されている記録媒体に、そのストリームのプレイリストデータが記録されていない場合、その、過去の再生ときに特徴データの検出やプレイリストデータの生成などが行われ、保持されていることにより、再度、同じストリームを再生するときに、保持されているプレイリストデータを用いてダイジェスト再生、チャプター処理などを行うことが可能となる。

特徴データの検出方法については後述する。

（３．２）特殊再生用データ
特殊再生用データは、プレイリストデータとチャプターデータからなり、例えば、特殊再生の際に用いられる特徴点（特徴位置）の位置情報である。プレイリストデータは、特徴データに基づく特徴点の検出処理により生成される。

ここで、特殊再生には、ストリーム全体のうちの特徴的なシーンだけを再生するダイジェスト再生、所定時間のシーンを所定間隔で再生するスキップ再生、ストリーム中の所定の位置に含まれる画面を静止画として表示（サムネイル表示を含む）すること、チャプターが設定された位置の画面を静止画として表示（サムネイル表示を含む）することなどの、ストリーム全体（または所定の範囲）を時系列順に再生する通常再生以外の再生方法が含まれる。

ダイジェスト再生モードで、キーフレーム区間だけを再生する場合には、キーフレーム区間の開始位置、終了位置をそれぞれ特徴点と考えることができ、それらの位置情報をプレイリストデータと考えることができる。また、キーフレーム区間の開始位置だけを特徴点と考えることもできる。

これらの特徴点のデータを用いた処理としては、例えば、放送番組の場面変化を見たい場合や、編集、記録した内容の概要を知りたい場合に、それらの特徴点が設定されたフレームをサムネイル表示するなどの処理に用いられる。

特徴点、キーフレーム位置としては、例えば、テロップの表示が開始された位置、あるシーンと類似するシーンの開始位置、CM区間の終了位置などとすることができる。

CM終了後の本編の開始位置やCM開始前の本編終了位置などは、CMの開始位置や終了位置から求めることができるから、別の観点から見れば、CM開始前の本編の終了位置（終了点）やCM終了後の本編の開始位置（開始点）、すなわち、番組本編の開始位置、終了位置をそれぞれ特徴点とすることもできる。

図６は、プレイリストデータをテキストデータとして表示した場合の例を示す図である。

図６に示されるような特徴点開始位置、特徴点終了位置を表すフィールド番号などのデータが、所定のファイル、またはデータそのものとして、HDDやディスクなどの所定の記録媒体に記録される。

当然、フィールド番号ではなく、例えば、フレーム番号や、プログラムの記録開始からの時間情報などの位置情報がプレイリストデータとして記録されるようにしてもよい。また、プレイリストデータとして、図６（ａ）列に示す特徴区間の最初の位置情報だけが記録されるようにしてもよい。

このようなプレイリストデータが、スキップ再生などの特殊再生モード時や、特徴点のサムネイル表示モード時などに用いられる。

図６において、（ａ）列のデータは特徴区間の開始位置を表す情報であり、（ｂ）列のデータは特徴区間の終了位置を表す情報である。図６の例では、プレイリストデータに登録されている最初のデータにより特定される区間は１００〜７００フィールドの区間であり、この区間が特徴区間とされている。

例えば、ダイジェスト再生モードでは、図６（ａ）列と（ｂ）列のデータから、それにより特定される区間だけの再生が行われ、ストリーム全体を時系列順に再生する場合に較べて、短時間で、ストリームの再生が行われることになる。図６の例の場合、１００〜７００フィールド、９００〜１５００フィールド、２０００〜２６００フィールド、・・・、５０００〜５６００フィールドの区間だけがスキップ再生され、それ以外の区間は再生されない。

また、サムネイル表示モードでは、図６（ａ）列のデータにより特定される位置の画像がサムネイル表示される。

（３．３）記録態様
図７は、２つの記録方式（記録方式１、記録方式２）のストリームが記録されている記録媒体１における特徴データ、特殊再生用データの記録態様を示す図である。

後述するように、特徴データ、特殊再生用データは必要に応じて記録媒体１に記録しないようにすることもできる。ここでも、記録方式１は通常DVD方式、記録方式２はBD方式である。

図７の（１）乃至（３）には、記録方式１層と記録方式２層に記録されているストリームの内容が同一内容である場合の組合せが示され、（４）には、違う内容である場合の組合せが示されている。

（３．３．１）画像音声データの内容が同じものである場合
図７（１）に示されるように、記録方式１層には特徴データ、特殊再生用データが記録され、一方、記録方式２層には記録されないようにすることができる。

BD方式、またはHD-DVD方式のデータの再生機能を有する装置は、一般的に、通常DVD方式の再生機能だけを有する装置に較べて、大容量データの再生を行うことができ、性能が高く、価格も高いものと考えられる。そのため、BD方式、またはHD-DVD方式の記録再生機能を有する装置は、通常DVD方式のデータの記録再生機能も付加的に搭載されている場合が多いと考えられ、このような装置の場合、図７（１）の組合せは有効な記録方法の１つと考えられる。

また、図７（２）に示されるように、記録方式１層には特徴データ、特殊再生用データが記録されずに、記録方式２層にだけ特徴データ、特殊再生用データが記録されるようにすることができる。

さらに、図７（３）に示されるように、記録方式１層と記録方式２層のいずれにも特徴データ、特殊再生用データが記録されるようにすることができる。この組合せの場合、どちらか一方の記録方式の再生機能しか有していない装置でも対応できる。

なお、同じストリームが２つの記録方式でそれぞれ記録されている、すなわち、記録されている映画の内容や番組内容が同じであり、かつ、図７（３）に示されるように、記録方式１層と記録方式２層の双方に特徴データ、特殊再生用データが記録される場合、それぞれのストリーム中の対応する位置（同じシーンの位置）に特徴点が設定され、それに基づいて行われるダイジェスト再生の再生区間が、一方の記録方式のストリームを再生したときと、他方の記録方式のストリームを再生したときとで整合性が確保されていることが好ましい。

例えば、内容が同じであるにもかかわらず、一方の記録方式のストリームをダイジェスト再生したときと、他方の記録方式のストリームをダイジェスト再生したときとで、再生される内容が異なる場合、ユーザは違和感を感じることになる。

図８は、特徴データとプレイリストデータの記録状態の例を示す図である。

図８（ａ）に示されるように、特徴データとプレイリストデータ（および後述するチャプターデータ）が記録媒体１に記録されるようにしたり、図８（ｂ）に示されるように、特徴データは記録されずに、プレイリストデータだけが記録媒体１に記録されるようにすることができる。また、図８（ｃ）に示されるように、特徴データだけが記録媒体１に記録され、プレイリストデータは記録されないようにすることができる。

さらに、図８（ｄ）に示されるように、特徴データとプレイリストデータが記録媒体１に記録されないようにすることができる。図８（ｄ）の組合せの場合、いまの状態では記録媒体１に記録されているストリームの特殊再生を行うことができないから、必要に応じて、後述するような特徴の抽出処理、プレイリストデータの作成処理が行われ、それに基づいて、特殊再生が行われる。

（３．３．２）画像音声データの内容が違うものである場合
この場合、図７（４）に示されるように、ストリームが違う内容である場合の図７（３）の組合せと同様に、記録方式１層と記録方式２層のいずれにも特徴データ、特殊再生用データが記録されるようにすることができる。

（３．４）他の記録態様（ICメモリ、ICタグに記録する場合）
以上のように、記録媒体１の記録方式１層や記録方式２層の所定の領域に記録されるのではなく、特徴データとプレイリストデータの記録態様としては次のようなものも考えられる。

図９ＡおよびＢは、記録媒体１を上方（記録媒体１の表面に対して垂直方向）から見た図である。

図９Ａは、記録媒体１の通常記録領域（例えば、フォーマットで推奨される記録領域）とは異なる領域である内周側の領域１Ａに、特徴データとプレイリストデータが記録される場合の例を示している。当然、外周側に記録されるようにしてもよい。

図９Ｂは、記録媒体１の内周側のある位置にICメモリ１Ｂが埋め込まれており、それに、特徴データとプレイリストデータが記録される場合の例を示している。記録媒体１の外周側にICメモリ１Ｂが埋め込まれるようにすることもできる。例えば、このICメモリ１Ｂは、記録媒体１の製造の過程でICのパターンを所定の層に入れ込むことで記録媒体１に用意される。

なお、ICメモリ１Ｂに替えてICタグが用いられるようにしてもよい。この場合、記録媒体１の記録再生装置には、記録媒体１に設けられるICタグに対してデータを無線で書き込んだり、ICタグに記録されているデータを無線で読み出したりすることができるリーダライタが用意される。

図１０は、記録方式１層、記録方式２層以外に、図９ＡおよびＢに示すような特徴データ、特殊再生用データの他の記録領域（内側の領域１Ａ、ICメモリ１Ｂ）が設けられている場合における特徴データ、特殊再生用データの記録態様を示す図である。

図１０（１）乃至（６）は、記録方式１層と記録方式２層に記録されているストリームの内容が同一内容である場合の組合せを示し、図１０（７）乃至（１１）は、それらのストリームの内容が違う内容である場合の組合せを示す。

（４）予約記録（予約録画、タイマー記録）モード時の動作
ここで、ユーザによる設定に応じて、長時間番組を予約記録する場合の記録再生装置の動作について説明する。通常、ユーザはできるだけ高画質で記録したストリームを鑑賞したいと思うものと想定し、デフォルト設定（初期設定）では、できるだけ高画質で記録する、記録方式２の記録モードでストリームの記録が行われる。

高画質なハイビジョン番組を、高画質記録モードである記録方式２で記録方式２層の記録領域に記録している最中に、番組全体を記録するには、いま使用している記録方式２層の記録容量が不足することが自動的に検出されたとき、または、間もなく不足することが自動的に検出されたとき、装置により、他の記録方式である、例えば記録方式１に記録方式が切り換えられて、それ以降のデータの記録が行われる。

このとき、記録方式を切り換えて、他の記録層に継続して同じ番組（プログラム）を記録したことを示す所定の情報が、切り換え先の記録層である記録方式１層、または切り換え元の記録層である記録方式２層の所定の記録領域に記録される。

なお、ユーザが、記録モードの設定を変更することができるようにしてもよい。例えば、ユーザは、記録方式２（BD方式またはHD-DVD方式）で記録が行われるデフォルトの設定を、記録方式１（通常DVD方式）で記録が行われるように変更することができる。

（５）記録側構成例
図１１および図１２は、同じコンテンツを複数の記録方式で記録媒体１に記録する記録側の構成例を示すブロック図である。

図１１は、入力されたストリーム（画像音声データ）から、直接、特徴の抽出を行い、抽出された特徴を表す特徴データを記録媒体１に記録させる構成を示す。

記録再生装置に入力されたストリームは記録方式１エンコード処理系２１、記録方式２エンコード処理系２２に供給され、そのそれぞれにおいて、記録方式に応じたエンコード処理が行われる。記録方式１エンコード処理系２１によるエンコード結果は記録方式１記録信号処理系２４に出力され、記録方式２エンコード処理系２２によるエンコード結果は記録方式２記録信号処理系２５に出力される。

また、記録再生装置に入力されたストリームは特徴データ信号処理系２３にも供給され、特徴データ信号処理系２３において、所定の画像特徴抽出処理により画像特徴データが、また、所定の音声特徴抽出処理により音声特徴データが、それぞれ検出される。検出された特徴データは、特徴データの他にプレイリストデータやチャプターデータも記録媒体１に記録させる場合（例えば、図８（ａ）の組合せでデータが記録される記録媒体１を得る場合）にはプレイリストデータ（チャプターデータ）信号処理系２６に出力され、記録媒体１には特徴データだけを記録し、プレイリストデータやチャプターデータを記録しない場合（例えば、図８（ｃ）の組合せでデータが記録される記録媒体１を得る場合）には記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に出力される。

記録方式１記録信号処理系２４においては、記録方式１層（図の層ａ、層ｂ）に対して記録方式１エンコード処理系２１から供給されてきた通常DVD方式のデータを記録させる通常DVD記録処理と、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６から供給されてきたデータを、図７、図１０の組合せで所定の記録層（位置）に記録させる処理とが行われる。

なお、図１１において、層ａは、記録媒体１の記録方式１層がDVD DL(Dual Layer)に対応したものである場合に設けられる層である。後述する図１２等においても同様である。

記録方式２記録信号処理系２５においては、記録方式２層に対して記録方式２エンコード処理系２２から供給されてきたBD方式、またはHD-DVD方式のデータを記録させる記録処理と、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６から供給されてきたデータを、図７、図１０の組合せで所定の記録層（位置）に記録させる処理とが行われる。

図１１において点線で示すメモリ系２７は、例えば、記録方式１記録信号処理系２４が、記録方式１エンコード処理系２１から供給されてきたデータと、特徴データ信号処理系２３により得られた特徴データ（あるいはプレイリストデータ（チャプターデータ）信号処理系２６により得られたプレイリストデータ、チャプターデータ）を記録媒体１に同時に記録することができない場合に、特徴データ信号処理系２３により得られたデータを一時的に保存しておくときに用いられる。

例えば、同時記録を行うことができないにもかかわらず、図７（３）に示すように、特徴データとプレイリストデータなどを各記録層にそれぞれ記録するとき、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６により得られたデータはメモリ系２７に一時的に記憶され、記録可能なタイミングで読み出される。

記録方式１エンコード処理系２１によるエンコード結果から得られた特徴データを記録方式１のデータの特徴データとし、また、記録方式２エンコード処理系２２によるエンコード結果から得られた特徴データを記録方式２のデータの特徴データとするのではなく、以上のように、１つのストリームから得られた特徴データやそれから得られたプレイリストデータなどを、記録方式１および２のデータの共通の特徴データ、プレイリストデータとして記録媒体１に記録することにより、記録方式１のデータの特徴データと、記録方式２のデータの特徴データの間で整合性が失われるといったことを防止することができる。

すなわち、共通の特徴データやそれから得られたプレイリストデータなどに基づいて、サムネイル表示や特殊再生が行われることにより、ストリーム中の、サムネイル画像の選択位置、特殊再生時の再生位置が、記録方式１のデータを対象とする場合と記録方式２のデータを対象とする場合とで異なるものとなることを防止することができ、それを見ているユーザに違和感を与えてしまうことを防止することができる。

図１２は、記録方式１エンコード処理系２１と記録方式２エンコード処理系２２のうちの少なくともいずれかにおいて行われる処理の過程で得られたデータから特徴を抽出し、抽出された特徴を表す特徴データを、記録方式１のデータと記録方式２のデータの共通の特徴データとして記録媒体１に記録させる構成を示す。図１１と対応する部分には同じ符号を付してある。

例えば、特徴抽出に用いるデータ（処理の過程で得られたデータ）は、エンコード方式をMPEG方式とした場合、DCT処理で得られるAC係数、DC係数などとされる。

記録方式１エンコード処理系２１によるエンコード結果を、特徴抽出に用いるデータとし、抽出した特徴を表す特徴データ、あるいは、それから得られたプレイリストデータなどの特殊再生用データを、記録方式１、記録方式２のストリームの共通の特徴データ、特殊再生用データとする場合、記録方式１エンコード処理系２１によるエンコード結果は特徴データ信号処理系２３にも供給される。

特徴データ信号処理系２３においては特徴抽出処理が行われ、得られた特徴データが記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に供給され、記録媒体１の所定の記録位置に記録されるとともに、必要に応じてプレイリストデータ（チャプターデータ）信号処理系２６にも供給される。プレイリストデータ（チャプターデータ）信号処理系２６においては、特徴データ信号処理系２３により得られた特徴データに基づくプレイリストデータなどの生成処理が行われ、得られたプレイリストデータが記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に供給され、所定の記録位置に記録される。

上述したように、複数の記録層に同時記録を行うことができない場合、必要に応じて、特徴データ信号処理系２３により得られた特徴データ（あるいはプレイリストデータ（チャプターデータ）信号処理系２６により得られたプレイリストデータ、チャプターデータ）は、メモリ系２７に一時的に記録され、所定のタイミングで読み出されて、記録媒体１の所定の記録位置に記録される。

なお、記録方式１エンコード処理系２１によるエンコード結果に替えて、記録方式２エンコード処理系２２によるエンコード結果を特徴抽出に用いるデータとし、抽出した特徴を表す特徴データ、あるいは、それから得られたプレイリストデータなどの特殊再生用データを、記録方式１、記録方式２のストリームの共通の特徴データ、特殊再生用データとする場合、図１２に点線で示すように、記録方式２エンコード処理系２２によるエンコード結果は特徴データ信号処理系２３にも供給され、それ以降、上述したような、記録方式１エンコード処理系２１によるエンコード結果を用いる場合と同様の処理が各系において行われる。

このように、記録方式１または２のうちのいずれか一方のエンコード結果（あるいは、エンコード処理の過程で得られたデータ）から得られた特徴データやそれから得られたプレイリストデータなどを、記録方式１および２のデータの共通の特徴データとすることによっても、記録方式１のデータの特徴データと、記録方式２のデータの特徴データの間で整合性が失われるといったことを防止することができる。

ここで、図１１または図１２に示す構成において、データを記録する順序を図１３に示す。

図１３（１）乃至（６）にそれぞれ示すように、記録層ａ→記録層ｂ→記録層ｃ、記録層ａ→記録層ｃ→記録層ｂ、記録層ｂ→記録層ｃ→記録層ａ、記録層ｂ→記録層ａ→記録層ｃ、記録層ｃ→記録層ｂ→記録層ａ、記録層ｃ→記録層ａ→記録層ｂの順序でストリームや特徴データなどを記録することができる。

なお、記録層ａ，ｂ，ｃに対する３層同時記録、またはいずれか２つの層に対する２層同時記録によってそれぞれのデータが記録されるようにしてもよい。

（６）特徴データを用いたダイジェスト再生およびチャプター処理
下記の動作概要に関係する信号処理については、適宜、ここでの項目の他に後の項目で詳細に説明する。

図１４Ａ乃至Ｇは、特徴データを用いたダイジェスト再生およびチャプター処理について説明する図である。はじめに、特徴データを用いたダイジェスト再生について説明する。

（６．１）特徴データを用いたダイジェスト再生
ここでは、図１４Ａに示すような画像音声データ系列があると想定する。この画像音声データ系列は、放送番組や映画ソフトその他のコンテンツであり、ハードディスク（HDD）や光磁気ディスク、大容量半導体メモリなどの所定の記録媒体から読み出され、再生処理に用いられるものとする。

特徴データを用いたダイジェスト再生には、
（ａ）特徴点の間（特徴位置）をスキップ再生する方法
（ｂ）特徴点区間を再生する方法
（ｃ）特徴データに基づいて所定の意味的構造区間を想定し、その意味的構造区間に基づ
いて再生する方法
などが含まれる。

上記方法（ａ）は、例えば、テレビCMの開始点、終了点を検出し、検出したテレビCMの開始点、終了点から求められる番組本編の開始点、終了点を特徴点とし、番組本編区間のみを再生する方法である。日本で放送されるテレビCMを考えた場合、１５秒の整数倍の時間毎に無音区間を検出できるという特徴があることから、例えば、テレビCMの開始点、終了点の検出は、その特徴に基づいて行われる。

方法（ｂ）は、例えば、テロップが表示されている区間を再生する方法である。ニュース番組などでは、重要な部分はテロップが表示されることが多いことから、これにより、重要と考えられる部分だけを再生することができる。

方法（ｃ）は、例えば、ニュース番組の意味的構造として、「アナウンサーがニュースを読み上げている区間」を検出し、その区間を再生する方法である。ニュース番組の全体を見た場合、アナウンサーが出ているシーンが多いと想定でき、それぞれの画像を類似するシーン毎に分類した場合に出現頻度の多いシーン（条件１）で、話者音声区間（条件２）で、ニュース番組なのでテロップ表示（条件３）があると想定し、その３つの条件を満たす区間を検出することで、「アナウンサーがニュースを読み上げている区間」という意味的構造区間を検出することができる。

なお、このような意味的区間の検出処理を考えた場合に、３条件の全部を満たさない場合も考えられる。

そこで、検出処理において評価値（スコア）という概念を用いるようにしてもよい。例えば、評価値（条件を満たす程度を表す値）の最大を１００とし、上記３条件をすべて満たす場合は満点（１００）、２条件だけ満たす場合は評価値７０、１条件だけ満たす場合は評価値３０、というように所定の評価値設定処理を行い、設定された評価値が閾値を超える区間が意味的区間として選択され、その区間だけ再生させるようにすることもできる。

なお、評価値の設定の方法はこれに限らず、それぞれの条件に、特徴データに応じた重み付けがされ、その条件を満たすか否かで設定されるようにしてもよい。例えば、上記条件１（出現頻度の一番多いシーン）を満たす場合には評価値５０、条件２（話者音声区間）を満たす場合には評価値２０、条件３（テロップ表示区間）を満たす場合には評価値３０、といったように、満たす条件に応じて異なる評価値が設定され、設定された評価値が閾値を超えるか否かに応じて、意味的区間として選択されるようにしてもよい。閾値が８０として設定されている場合、少なくとも、条件１と条件３の２条件を満たす区間が、意味的区間として選択されることになる。

図１４Ｂは、図１４Ａの画像音声データ系列において、所定の意味を設定し、シーンチェンジ、音声セグメントなどに応じて所定のビデオ構造（意味的ビデオ構造）に区切った区間の例を示すものである。

ここで、図１４Ｃに示すように、図１４Ｂの区間毎（所定の時間内に記録された区間、所定のプログラム区間などの区間毎）の所定評価値を設定する。この評価値は、キーフレーム区間を含む区間のように、全区間をみて重要と考えられる区間ほど、高い評価値（評価データ）が設定される。

すなわち、高い評価データが設定された区間だけが再生されることにより、その区間にはキーフレーム区間が含まれることから、全区間を再生しなくても、ユーザは番組の概要を把握したりすることができる。

図１４Ｄは、評価値に基づく再生区間の例を示す図である。

この例においては、図１４Ａに示す画像音声データ系列のフレームｆ１〜ｆ２，ｆ４〜ｆ５，ｆ７〜ｆ８の各区間が、その区間に設定された評価値がしきい値Th以上の区間とされており、この場合、図１４Ｄに示すように、Ａ１，Ａ２，Ａ３の各区間がスキップ再生されることでダイジェスト再生が実現される。

（６．２）特徴データを用いた自動チャプター処理
図１４Ｅは、チャプター点の設定位置の例を示す図である。

例えば、上述したような、所定のキーフレームの先頭またはその近傍、および、そのキーフレームの区間の最後に続く（最後に接続する）、キーフレーム区間ではない区間の先頭またはその近傍にチャプター点が設定される。

図１４Ｆは、チャプター点が自動設定されたフレームの例を示す図である。

図１４Ｆの例においては、チャプターフレームｆ１，ｆ４，ｆ７は、それぞれキーフレーム区間Ａ１，Ａ２，Ａ３の先頭（またはその近傍）にあるフレームであり、ｆ３，ｆ６，ｆ９は、それぞれキーフレーム区間Ａ１，Ａ２，Ａ３の後に続く、キーフレーム区間ではない区間Ｂ１，Ｂ２，Ｂ３の先頭（またはその近傍）にあるフレームである。

従来のDVD記録再生装置のいわゆる自動チャプター設定機能により設定される区切り点は、その点を編集操作の目安にする場合や、早送りフォワード再生（FF再生）、早送り逆再生（リワインド再生、REW再生）する場合に利用される。例えば、従来の自動チャプター設定機能では、５分間隔、１０分間隔、１５分間隔などのように、所定の時間間隔でチャプターが設定されるようになされており、このようなチャプターの設定処理によれば、図１４Ｇに示すように、キーフレームと思われる位置の開始点にチャプター点を設定することができない場合がある。

また、従来のDVD記録再生装置においては、手動チャプター（マニュアルチャプター）処理という、ユーザ自身が所望する任意の位置にチャプター点を設定することができる機能もあるが、記録した、あるいは記録する番組（プログラム）を実際に見てチャプター点を設定することになるので、ユーザにとっては面倒な操作であり、効率的ではない。

しかし、本発明を適用した記録再生装置のように、特徴データを用いたチャプター点設定処理では、図１４Ｅに示すように、キーフレーム区間の先頭、またはその近傍と、そのキーフレーム区間の最後に接続される（または最後に続く）、キーフレーム区間ではない区間の先頭またはその近傍に、チャプター点を適切に、かつ自動的に設定することができ、従来のチャプター処理と較べて、より効果的な（編集やダイジェスト再生にとって有効な）チャプター点の設定を行うことが可能になる。

図１５は、チャプター点が自動設定されたフレーム（チャプターフレーム）の表示例を示す図である。

図１５の例においては、図１４Ｅに示すような位置に設定されたチャプター点に基づいて選択されたチャプター画像ｆ１，ｆ３，ｆ４，ｆ６，ｆ７，ｆ９が、画面の下方にサムネイル表示されている。

ユーザは、図１５に示すような画面を見て、例えば、記録再生装置の内蔵記録媒体であるハードディスクに記録された放送番組を対象として、図１４Ｄのキーフレーム区間Ａ１，Ａ２，Ａ３を切り出し、その区間のデータを、記録媒体１などのディスク記録媒体に記録させたり、チャプター画像ｆ１，ｆ４，ｆ７から、それに続く所定の区間だけをスキップ再生させたりすることができる。

（７）全体構成
図１６は、図１１または図１２の記録側の構成を含む、記録再生装置全体の構成例を示すブロック図である。

ここでは、記録対象の画像音声データは放送番組のデータとし、その放送番組のデータに対してはMPEG(Moving Picture Exports Group)に準拠した圧縮処理が施されるものとする。なお、その他の圧縮処理としてウェーブレット変換、フラクタル解析処理などを用いることも可能である。例えば、下記の説明において、画像データのDCT係数は、ウェーブレット変換の場合には多重解像度解析における解析係数などに相当し、同様の信号処理を行うことも考えられる。

なお、図１６において、音声エンコード処理系４４と画像エンコード処理系４９を併せた１つの構成は図１１の記録方式１エンコード処理系２１、記録方式２エンコード処理系２２のそれぞれに対応し、記録処理系４６は図１１の記録方式１記録信号処理系２４、記録方式２記録信号処理系２５にそれぞれ対応する。また、特徴抽出処理系５０は図１１の特徴データ信号処理系２３に対応し、メモリ系５１は図１１のメモリ系２７に対応し、プレイリストデータ（チャプターデータ）生成処理系５９は図１１のプレイリストデータ（チャプターデータ）信号処理系２６に対応する。さらに、記録媒体６３（記録媒体Ｂ）は上述した記録媒体１に対応する。記録媒体４７（記録媒体Ａ）は例えば内蔵のHDDである。

（７．１）記録側構成
受信アンテナ系４１と受信系４２により所定の放送番組が受信され、音声信号は音声A/D変換処理系４３で所定のサンプリング周波数、所定の量子化ビット数でA/D変換処理が行われ、得られた音声データが音声エンコード処理系４４に入力される。

音声エンコード処理系４４では、例えばMPEGオーディオやAC３オーディオ（ドルビーAC３、またはAudio Code number ３）などの所定の帯域圧縮方式で信号処理が行われる。

同様に、受信された放送番組の画像信号は画像A/D変換処理系４８で所定のサンプリング周波数、所定の量子化ビット数でA/D変換処理が行われ、得られた画像データは画像エンコード処理系４９に入力される。

画像エンコード処理系４９では、MPEGビデオやウェーブレット変換などの所定の帯域圧縮方式で信号処理が行われる。

音声信号の特徴抽出を行うため、音声A/D変換処理系４３から音声エンコード処理系４４に入力される信号の一部、または、音声エンコード処理系４４によるエンコード処理の過程で得られる信号の一部は特徴抽出処理系５０に適宜入力される。

同様に、画像信号の特徴抽出を行うため、画像A/D変換処理系４８から画像エンコード処理系４９に入力される信号の一部、または、画像エンコード処理系４９によるエンコード処理の過程で得られる信号の一部も特徴抽出処理系５０に適宜入力される。

特徴抽出処理系５０においては、例えば、放送番組の記録時に、所定区間毎に特徴データの抽出が順次行われる。抽出された特徴データは、所定のエンコード処理が施された画像音声データとともに記録媒体Ａの所定の記録領域に記録される。また、特徴抽出処理系５０により生成された特徴データは、適宜、システムコントローラ系６０を介してプレイリストデータ（チャプターデータ）生成処理系５９に供給される。

プレイリストデータ（チャプターデータ）生成処理系５９においては、特徴データから、ダイジェスト再生を行うためのプレイリストデータ、またはチャプターデータの生成が行われる。

ここで、プレイリストデータ（チャプターデータ）生成処理系５９により行われるプレイリストデータ、チャプターデータ生成の信号処理プロセス（信号処理過程）について説明する。信号処理プロセスには以下のようなものが考えられる。

（ａ）特徴データをメモリ系５１、またはシステムコントローラ系６０のメモリ領域に所定の量だけ蓄積した後、蓄積した特徴データに基づいてプレイリストデータ、チャプターデータ生成処理を行う。

（ｂ）特徴抽出処理を行う毎に、それにより得られた特徴データを画像音声データとともに記録媒体Ａに逐次記録し、所定の量だけ記録させた後、その記録媒体Ａに記録させた特徴データを読み出して（再生して）、読み出した特徴データに基づいてプレイリストデータ、チャプターデータ生成処理を行う。

上記（ａ）の場合、例えば、所定時間ｔの放送番組を記録することを考えると、放送番組の記録開始から時間ｔだけ経過した時点で、その放送番組のすべての特徴データが集積されるので、このとき、時間ｔのなかで、ダイジェスト再生時間tdに対応するキーフレームがどこになるかを決める、プレイリストデータ生成処理を行うことができる。すなわち、この、時間ｔに得られる特徴データが、メモリ系５１、またはシステムコントローラ系６０のメモリ領域に蓄積されることになる。

一方、上記（ｂ）の場合、上記（ａ）の場合と同様に、放送番組の記録開始から時間ｔが経過するまでの間、記録媒体Ａに対する特徴データの記録が行われ、時間ｔが経過したことが検出されたとき、それまでに記録媒体Ａに記録された特徴データが読み出されて、ダイジェスト再生時間tdに応じたプレイリストデータ生成処理が開始される。

プレイリストデータ生成処理が終了したとき、ダイジェスト再生を行う準備ができたことになる。

以上のようにして生成されたプレイリストデータは記録処理系４６に供給され、所定の処理が施された後、記録媒体Ａの所定の記録領域に記録される。

ここで、プレイリストデータは、図６を参照して説明したように、例えば、区間毎の再生開始フレーム番号と再生終了フレーム番号の対のデータである。プレイリストデータは、記録された画像音声データ（プログラム）全体のうちの所定の区間だけをスキップ再生することによってダイジェスト再生を実現するために使用するものであるから、このようなフレーム番号のデータの他に、タイムコードや、MPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプにより表されるようにしてもよい。

（７．２）再生側構成
（７．２．１）通常再生モード動作
はじめに、通常再生モードが設定されているときの動作について説明する。ユーザ入力I/F系６１からの出力により、記録再生装置のモードが通常再生モードとして設定されたとき、例えば記録媒体Ａから、所定の画像音声データ、特徴データなどが読み出され、再生処理系５２に供給されて所定の再生処理が行われる。再生処理により得られたデータは再生データ分離処理系５３に出力される。

再生データ分離処理系５３においては、画像音声データを画像データと音声データに分離する処理が行われ、その処理により得られた音声データは音声デコード処理系５４に、画像データは画像デコード処理系５６にそれぞれ出力される。

音声デコード処理系５４においては、再生データ分離処理系５３から供給されてきた音声データに対して、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理が行われ、デコード結果に対して音声D/A変換処理系５５においてD/A変換処理が施されることによって得られた音声信号が外部に出力される。

同様に、画像デコード処理系５６においては、再生データ分離処理系５３から供給されてきた画像データに対して、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理が行われ、デコード結果に対して画像D/A変換処理系５７においてD/A変換処理が施されることによって得られた画像信号が外部に出力される。

（７．２．２）ダイジェスト再生モード、チャプターモード
ダイジェスト再生モード時やチャプターモード時、画像音声データと共に、特徴データ、プレイリストデータ、チャプターデータが記録媒体に記録されているかどうかで信号処理方法が異なる。特徴データとプレイリストデータが記録媒体に記録されているかどうかは、図８のように整理することができる。

（７．２．２．１）プレイリストデータ、チャプターデータが記録されている場合
図８（ａ）、（ｂ）の場合に相当し、プレイリストデータ、チャプターデータが記録媒体Ａや記録媒体Ｂに記録されており、それらのデータを用いて、ダイジェスト再生モード時にはダイジェスト再生を、チャプター表示モード時にはチャプター画像のサムネイル表示を、それぞれ行うことができる。

例えば、ユーザ操作に応じて、ユーザ入力I/F系６１からシステムコントローラ系６０にダイジェスト再生モードでの動作を行うことを指示するコマンドが供給された場合、特徴データ、プレイリストデータ、チャプターデータなどが、再生対象の画像音声データとともに記録媒体Ａに記録されているときには、それらのデータが再生データ分離処理系５３により分離され、分離された特徴データ、プレイリストデータ、チャプターデータがシステムコントローラ系６０に入力される。

システムコントローラ系６０においては、再生処理系５２等に対する制御が行われ、プレイリストデータに基づくスキップ再生が行われることでダイジェスト再生が実現される。また、チャプターデータに基づいて、チャプター点、またはその近傍における画像をサムネイル画像として表示処理系６５により表示させる処理が行われ、これにより、サムネイル画像の表示が実現される。

なお、再生データ分離処理系５３で、特徴データ、プレイリストデータ、チャプターデータを分離することができない場合には、それぞれのデータはシステムコントローラ系６０に入力されないので、再生データ分離処理系５３とシステムコントローラ系６０は、特徴データ、プレイリストデータ、チャプターデータなどが、記録媒体Ａに記録されているかどうかの判定機能を有することになる。

（７．２．２．２）プレイリストデータ、チャプターデータが記録されていない場合
図８（ｃ）、（ｄ）の場合に相当し、プレイリストデータ、チャプターデータが記録媒体Ａ、または記録媒体Ｂに記録されておらず、いまの状態では、ダイジェスト再生モード時に記録媒体Ａ，Ｂに記録されている画像音声データのダイジェスト再生処理を行うことができず、また、チャプターモード時に、サムネイル画像の表示やチャプター再生（チャプター画像の位置を基準として所定の時間だけ再生すること）などの一連のチャプター関連処理を行うことができない。

この状態は、放送番組などを受信することによって得られた画像音声データを再生対象とするのではなく、例えば、記録媒体Ｂがパッケージ販売される映画などのDVDソフトであり、それを再生する場合や、その他の、特徴を抽出していない画像音声データを再生する場合などに起こりうる。

プレイリストデータ、またはチャプターデータが生成されておらず、再生することができない場合、プレイリストデータやチャプターデータの生成が行われ、生成されたプレイリストデータやチャプターデータを用いて、上述した、ダイジェスト再生処理やチャプター関連処理が行われる。生成されたプレイリストデータやチャプターデータは、適宜、画像音声データと同じ記録媒体に記録される。

また、再生されたプレイリストデータ、チャプターデータを生成し直したい場合も同様に、再生された特徴データからダイジェスト再生用のプレイリストデータ、およびチャプター関連処理用のチャプターデータが生成される。

（７．２．２．２．１）特徴データが記録されている場合
図８（ｃ）の場合に相当し、画像音声データの記録時に特徴抽出処理だけが行われており（プレイリストデータ、チャプターデータの生成処理は行われておらず）、特徴データを再生することができる場合、再生処理系５２から、または再生データ分離処理系５３から、特徴データがプレイリストデータ（チャプター）生成処理系５９に入力され、プレイリストデータ（チャプターデータ）生成処理系５９において、プレイリストデータ、またはチャプターデータの生成が行われる。

このように、特徴データだけが再生できる場合において、ユーザがダイジェスト再生モードを指示したとき、図１７Ａに示されるような、プレイリストデータやチャプターデータがないことを示すメッセージが表示処理系６５により表示されるようにしてもよい。また、プレイリストデータやチャプターデータが生成されたとき、図１７Ｂに示すようなメッセージが表示処理系６５により表示されるようにしてもよい。

生成されたプレイリストデータはシステムコントローラ系６０に入力され、ユーザ操作による所定のダイジェスト再生時間に応じたプレイリストデータに基づいて、所定の区間をスキップ再生するように再生制御系５８に対する制御がシステムコントローラ系６０により行われ、再生制御系５８により記録媒体Ａからデータが再生される。

また、生成されたチャプターデータはシステムコントローラ系６０に入力され、ユーザ操作による所定のチャプター関連動作モードに応じて、チャプターデータに基づく所定のチャプター点が設定された画像のサムネイル表示、チャプター点のカットや接続などの編集処理、ユーザにより選択されたチャプター点のスキップ再生など、所定のチャプター関連動作を行うように再生制御系５８に対する制御がシステムコントローラ系６０により行われたり、表示処理系６５に対する制御が行われたりする。

例えば、記録媒体Ｂに記録されている画像音声データをダイジェスト再生する場合にも上述したものと同様の処理が行われ、再生制御系５８により記録媒体Ｂからのデータの再生が制御されることによりダイジェスト再生処理が実現される。また、チャプターデータを用いた編集処理（編集操作）、チャプター点間（またはその近傍）のスキップ再生、チャプター点（またはその近傍）のサムネイル画像の表示などのチャプター関連動作を行う場合にも、上述したものと同様の処理が行われ、再生制御系５８により記録媒体Ｂからのデータの再生が制御されることによりそれらのチャプター関連動作が実現される。

（７．２．２．２．２）特徴データが記録されていない場合
図８（ｄ）の場合に相当する。上述した例では特徴データからプレイリストデータ、チャプターデータを生成する場合について説明したが、例えば、他のユーザが記録媒体Ｂに記録させた画像音声データを、記録媒体Ａにコピーしたような場合を考えると、記録媒体Ａからは、その画像音声データの再生はできるが、特徴データを再生することができない場合も想定できる。

このように、記録媒体Ａに放送番組などの画像音声データは記録されているが、特徴データが記録されておらず、再生することができない場合において、ユーザがダイジェスト再生モードまたはチャプター関連動作モードを指示したとき、図１８Ａに示されるような、特徴データがないことを示すメッセージが表示処理系６５により表示されるようにしてもよい。

この状態において、記録媒体Ａに記録されている画像音声データをダイジェスト再生モードで再生する場合、再生処理系５２により再生されたデータは再生データ分離処理系５３に入力され、再生データ分離処理系５３により分離された画像データと音声データは特徴抽出処理系５０に入力される。特徴抽出処理系５０においては、画像の特徴データであるDCTのDC係数、AC係数、動きベクトル（モーションベクトル）などを検出する処理、音声の特徴データである音声パワーを検出する処理などが行われる。

特徴抽出処理系５０においてはさらに、上述したような各種の画像音声特徴データに基づいて、テロップ特徴データ（テロップ区間判定データ）、人物特徴データ、その他の画像特徴データ（画像特徴区間判定データ）、および、話者音声特徴データ（話者音声判定データ）、拍手歓声特徴データ（拍手歓声判定データ）、その他の音声特徴データ（音声特徴区間判定データ）の抽出処理が必要に応じて行われる。

特徴抽出処理系５０により取得された各種の画像特徴データ、および音声特徴データはシステムコントローラ系６０に順次入力される。所定番組、あるいは所定の画像音声区間のすべてを対象として特徴抽出処理系５０により特徴抽出処理が行われたとき、特徴抽出処理が終了したと判定される。

ここで、特徴抽出処理中である場合、システムコントローラ系６０から、そのことを表す信号が表示処理系６５に入力され、表示処理系６５により、例えば、図１８Ｂに示すようなメッセージが表示されるようにしてもよい。同様に、特徴抽出処理が終了した場合、表示処理系６５により、例えば、図１８Ｃに示すようなメッセージが表示されるようにしてもよい。

次に、以上のようにして取得された特徴データから、プレイリストデータ、チャプターデータを生成する処理について説明する。

特徴抽出処理系５０により抽出された特徴データは、例えば、対象とする所定の区間から抽出されたデータ毎にメモリ系５１に一時的に蓄積され、すべての区間を対象とした特徴データの抽出が終了したとき、プレイリストデータ（チャプターデータ）生成処理系５９に入力され、それに基づいて、プレイリストデータまたはチャプターデータの生成が行われる。

ここで、特徴抽出処理系５０から、直接、プレイリストデータ（チャプターデータ）生成処理系５９に、所定の区間から抽出された特徴データが逐次入力されるようにしても良く、上述したように、全ての区間を対象とした特徴データの抽出が終了したときに出力されるシステムコントローラ系６０からの信号により、プレイリストデータ（チャプターデータ）生成処理系５９において、プレイリストデータ、またはチャプターデータの生成が開始されるようにしてもよい。また、特徴抽出処理系５０により抽出された特徴データは、システムコントローラ系６０を介してプレイリストデータ（チャプターデータ）生成処理系５９に入力されるようにしてもよい。

プレイリストデータ（チャプターデータ）生成処理系５９で、プレイリストデータ、またはチャプターデータの生成が終了すると、そのことを示す信号がプレイリストデータ（チャプターデータ）生成処理系５９からシステムコントローラ系６０に入力され、その後、ユーザが要求する時間に応じたダイジェスト再生や、ユーザが要求するチャプター関連動作が行われる。

プレイリストデータ、またはチャプターデータの生成が終了した場合、図１７Ｂに示したような表示が行われたり、生成されたプレイリストデータ、またはチャプターデータに基づいて処理が行われている場合、いまのモードが、ダイジェスト再生モード、チャプター関連動作モードであることを表すメッセージが表示処理系６５により表示されるようにしてもよい。

ユーザがダイジェスト再生を行う場合に、例えば、記録した放送番組が１時間であったとし、それを３０分で要約して再生したいのか、２０分で要約して再生したいのかなど、ユーザの所望するダイジェスト再生時間は分からないので、記録した放送番組などの画像音声データの特徴抽出した全区間の全時間長に応じて、あらかじめ、何種類かの要約時間に対応するプレイリストデータを生成しておくようにすることもできる。

具体的には、放送番組の記録時間が１時間であったら、４０分、３０分、２０分のダイジェスト再生を行うときに用いられる、それぞれのプレイリストデータが生成される。このように、複数種類のプレイリストデータが生成されるようにすることにより、リモコン６２（リモートコントローラ６２）などに対するユーザ入力により時間が選択された場合に、すぐに、その選択された時間に対応したダイジェスト再生動作を行うことが可能になる。

記録媒体Ｂに記録されている画像音声データを再生する場合、記録媒体処理系６４により記録媒体Ｂが検出され、検出された記録媒体Ｂに記録されている画像音声データの再生が再生処理系５２により行われる。再生データ分離処理系５３においては、再生処理系５２により再生されたデータから、画像データと音声データを分離する処理が行われる。その後の処理は、上述したような、記録媒体Ａに記録されている画像音声データを再生する場合と同様であり、その詳細な説明は省略する。

（８）他の全体構成例
図１９は、記録再生装置の他の構成例を示すブロック図である。図１６と同じ部分には同じ符号を付してある。重複する説明については適宜省略する。

（８．１）記録側構成
図１９の記録再生装置は、データ記録時の特徴データの抽出処理、およびプレイリストデータ、チャプターデータの生成処理が、システムコントローラ系６０によりソフトウェア的に行われる点が図１６の記録再生装置と異なる。

また、この図１９の記録再生装置では、インターネットなどよりなるネットワーク系７２を介してダウンロードされたソフトウェアがシステムコントローラ系６０により実行され、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理が適宜行われる。

ソフトウェアをダウンロードすることができるようにすることにより、例えば、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理を実現する機能が搭載されていない装置がはじめにあった場合に、時間をおいて、後から、そのような機能を追加することができるという利点がある。これにより、設計、製造の側では、製造販売などの時間的な問題から、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理を実現する機能を搭載させることが間に合わない場合などには、そのような機能を搭載しない簡単な構成のシステム（記録再生装置）を提供した後で、それらの機能を追加してユーザに提供することができる。

一方、ユーザ側では、そのような機能を搭載しない簡単な構成のシステムを購入した後で、ソフトウェア的な処理で機能を追加することができる。また、各処理系を修正、改良する場合などにも、ソフトウェアをダウンロードすることによって（アップグレードすることによって）、それに対応することができる。

このようなソフトウェアのダウンロードを行う場合、ユーザは、リモコン６２などを操作してインターネット上のサイトにネットワーク系７２を介して接続し、それを行う。ダウンロードされたソフトウェアは、システムコントローラ系６０により解凍処理されることによって取得され、それがインストールされることにより機能の追加が実現される。

システムコントローラ系６０を構成する所定の性能を備えたマイクロプロセッサ（MPU、またはCPU）を用い、それにソフトウェアを実行させることで、上述したような所定の特徴抽出処理などを、画像音声データの記録処理と同時に行わせるようにすることができる。また、メモリ系５１として、このシステムコントローラ系６０を構成する、内蔵のデータ記憶メモリが用いられるようにしてもよい。

なお、記録処理として所定の方式の帯域圧縮を行う場合、所定の性能を備えたMPU、CPU、またはDSP(Digital Signal Processor)によりそれを行わせることも考えられ、この帯域圧縮処理を行うものと同じMPU、CPU、またはDSPにより、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理なども行わせるようにしてもよい。

（８．２）再生側構成
上述した、図１６の場合と同様であるため、再生側の構成により行われる処理の詳細については省略する。図１６の構成例と異なるのは、再生モード時に特徴データを検出することができず、特徴抽出処理を行う必要がある場合に、その一連の特徴抽出処理を、システムコントローラ系６０においてソフトウェア的に行うことである。

例えば、記録時の処理と同様に、再生時の処理をも、システムコントローラ系６０を構成するMPU、CPUなどにソフトウェア的に行わせることにより、再生時の特徴抽出処理や、プレイリストデータ、チャプターデータの生成処理を、再生処理と同時に行わせることができる。

（９）特徴抽出処理
次に、音声系特徴抽出処理、および画像系特徴抽出処理の詳細について説明する。
（９．１）音声系特徴抽出処理
（９．１．１）無音特徴抽出処理
図２０は、音声系の特徴抽出を行う構成の例を示すブロック図である。

図２０において、MPEG方式で圧縮された画像音声データ（ストリームデータ）がストリーム分離系１００に入力され、ストリーム分離系１００により分離された音声データは音声データデコード系１０１に入力されて、所定のデコード処理が行われる。

デコードされた音声データ（音声信号）はレベル処理系１０２、データカウンタ系１０３、データバッファ系１０４に各々入力される。レベル処理系１０２では、音声データの所定区間の平均パワー（または平均レベル）Ｐavを演算するため、データの絶対値化処理が行われ、データカウンタ系１０３で、所定のサンプル数のデータが計測されるまで、音声データ積算処理系１０５で積算処理が行われる。

ここで、Ｐavは、音声データの値（レベル）をＡｄ（ｎ）（ｎは平均を求める区間の位置を表す）として下式（１）により求められる。

平均レベルを演算する所定区間として、例えば、約０．０１sec（１０ｍsec）〜１secが考えられ、サンプリング周波数ＦsをＦs＝４８ＫＨｚとすると、４８０〜４８０００サンプルの積算演算が行われ、サンプル数Ｓmで平均処理が行われて平均レベル（平均パワー）Ｐavが求められる。

音声データ積算処理系１０５から出力された平均レベルＰavは、判定処理系１０６に入力され、しきい値設定系１０７により設定されたしきい値Ａｔｈと比較処理されて、その平均レベルＰavが求められた区間が、無音区間であるか否かの判定処理が行われる。

ここで、しきい値設定系１０７によるしきい値Ａｔｈの設定において、Ａｔｈは固定値Ａｔｈ０として設定することが考えられるが、固定値Ａｔｈ０の他に、音声区間の平均レベルに応じた、変動しきい値Ａｔｈｍを設定することも考えられる。

変動しきい値Ａｔｈｍとしては、例えば、処理を考えている区間をｎとし、それより前の区間(n-ｋ)の平均レベルＰav(n-ｋ)を考え、下式（２）により表される値を用いることが考えられる。

例えば、ｔ＝２とすると、変動しきい値Ａｔｈｍは下式（３）で表され、

ｍは、おおよそ、２０〜２くらいの範囲から設定することが考えられる。

（９．１．２）その他の音声特徴抽出処理
データバッファ系１０４に蓄積された音声データは周波数解析処理系１０８に入力され、周波数解析処理系１０８により所定の周波数解析処理が行われる。

ここで、周波数解析処理としてFFT（高速フーリエ変換）などが考えられ、データバッファ系１０４からのデータの解析サンプルデータ数は、例えば、５１２，１０２４，２０４８、その他、など２のべき乗の所定のサンプル数とされる。

周波数解析処理系１０８による解析結果を表すデータは判定処理系１０９に入力され、判定処理系１０９により所定の判定処理が行われる。

判別対象としている区間が音楽（楽音）の区間であるか否かは、例えば、所定の周波数帯域のスペクトルピークの継続性に基づいて判別することができる。この判別については、例えば、特開２００２−１１６７８４号公報に開示されている。

判別対象としている区間が話者音声の区間であるか否かは、人の会話音声波形には息継ぎの区間があるので、波形に急峻な対上がり、または立下り区間が見られ、その立ち上がり、または立下り区間を検出することで判別することができる。この場合、音楽信号波形には、話者音声の信号波形に比べて、一般的に、波形の立ち上がり、または立下り区間が現れる確率は小さいと考えられるので、この楽音波形の特性（特徴）も考慮して、総合的に、音声信号の属性判定が行われるようにしてもよい。

また、話者音声信号の波形特徴（波形特性）、音楽信号の波形特徴の相違から音声信号の属性判定を行う場合、波形における時間的な物理特性を検出することになるので、上述したような周波数解析を行ってから、判定処理を行う方法（周波数領域での信号解析、判定処理）の他に、ベースバンド領域で判定処理を行う方法（時間領域での信号解析、判定処理）も考えられる。

図２１は、音声信号（音声データ）にデコード処理を施すことなく、圧縮されたままで、信号の属性解析を行う場合の構成例を示す図である。図２０と同じ部分には同じ符号を付してある。

MPEG方式で圧縮された画像音声データがストリーム分離系１００に入力され、画像音声データが、ストリーム分離系１００により画像データと音声データに分離される。分離された音声データはストリームデータ解析系１１０に入力され、所定のサンプリング周波数、量子化ビット数での信号解析処理が行われ、得られた音声データがサブバンド解析処理系１１１に入力される。

サブバンド解析処理系１１１においてはサブバンド解析処理が行われ、所定のサブバンド帯域のデータに対して上式（１）乃至（３）で表されるものと同様の所定信号処理が行われる。

すなわち、サブバンド解析処理系１１１によるサブバンド解析処理の結果は、音声データ積算処理系１０５に入力され、データカウンタ系１０３で所定のサンプリング数のデータが検出されるまで、所定の積算処理が音声データ積算処理系１０５により行われる。また、その後、しきい値設定系１０７により設定される所定のしきい値に基づいて、いまの判別対象としている区間が無音区間であるか否かを判定する処理が判定処理系１０６により行われる。

ここでの無音判定処理では、音声データのスペクトルを考慮してエネルギーが多く集まっている帯域である、おおよそ３ＫＨｚ以下のサブバンド帯域のデータを用いることが考えられる。

また、周波数解析により楽音、話者音声の判定処理を行うことについて述べたが、図２１の構成によれば、サブバンド解析系１１１により周波数解析が行われたものと考えられるので、上述したような所定スペクトルピークの継続性判定処理により属性判定が行われるようにしてもよい。この場合、スペクトルピークは、各サブバンド帯域の中の最大データ帯域と考えることができ、FFT解析処理の場合と同様の信号処理を行うことができるものと考えられる。

（９．２）画像系特徴処理
次に、画像系特徴抽出処理について説明する。図２２は、画像系の特徴抽出を行う構成の例を示すブロック図である。

図２２において、例えば、ストリーム分離系（図示せず）で所定の分離処理が行われることによって得られた画像データは、ストリームデータ解析系２００に入力され、レート検出、画素数検出などの所定のデータ解析が行われ、その解析結果がDCT係数処理系２０１に出力される。

DCT係数処理系２０１においては、DCTのDC係数検出、AC係数検出などの所定のDCT演算処理（逆DCT演算処理）が行われ、その処理結果に基づいて、後段の各処理系により画像特徴抽出処理が行われる。

（９．２．１）シーンチェンジ特徴
シーンチェンジ検出処理系２０２では、例えば、１フレームの画像が所定の数の領域に分割され、その領域毎に、DCTのDC係数データのＹ（輝度データ），Ｃｂ，Ｃｒ（色差データ）の平均値が演算される。また、その演算された平均値に基づいて、フレーム間差分演算、またはフィールド間差分演算が行われ、所定しきい値と比較されることによってシーンチェンジの検出が行われる。

シーンチェンジがない場合は各領域のフレーム間（またはフィールド）差分データは所定のしきい値より小さく、シーンチェンジがある場合はそのしきい値より差分データが大きくなることから、それに基づいてシーンチェンジを検出することができる。

ここで、１フレームの分割数は、例えば、図２３に示すように３６分割とすることができる。フレームの領域分割の方法は、図２３に示すものに限らず、分割数を多くすることも少なくすることも考えられるが、少なすぎるとシーンチェンジの検出精度が鈍感になり、多すぎると精度が鋭くなりすぎることが考えられるので、およそ４〜４００くらいの範囲で、適当な分割数を設定することが考えられる。

（９．２．２）色特徴
DCTのDC係数の所定領域におけるＹ，Ｃｂ，Ｃｒデータの平均値から、色特徴検出処理系２０３において色特徴を検出することができる。所定領域としては、例えば、図２４に示すような領域を考えることができる。

例えば、放送番組のジャンルが「相撲」である場合、図２４の領域から茶色が含まれる領域を検出することができた場合、そのシーンは「土俵のシーン」の確率が高いと想定できる。

このような色特徴と、例えば、音声の歓声特徴とを組み合わせると、「土俵のシーン」＋「歓声のシーン」から、いま注目しているシーンが、「取組みが開始するシーン」の確率が高いと想定できるので、このようなシーン区間が、キーフレーム区間と設定される。

（９．２．３）類似シーン特徴
これは、類似している画像（シーン）を検出し、類似するシーンに同じIDを割り振る（付与する、または付加する）類似画像検出処理系２０４による処理であり、その詳細は、例えば、特開２００２−３４４８７２号公報に開示されている。

この処理においては、例えば、１フレームが複数の領域（例えば、２５の領域）に分割され、その分割された各領域のDCTの平均DC係数が求められる。また、その求められた平均DC係数をベクトル成分として、各シーン間のベクトル距離が、所定のしきい値より小さい場合、それらのシーンは類似するシーンとして判定され、類似シーンとして判定されたシーンに同じIDが割り当てられる。

割り当てられるIDの初期値は例えば１とされ、上述した所定のしきい値よりベクトル距離が小さいシーンが検出されない場合は、IDの最大値に１を加算したものが新たなIDとされ、そのシーンに割り当てられる。

（９．２．４）テロップ特徴
テロップ検出判定処理系２０６においては、例えば、図２４に示すような各領域におけるDCTのAC係数の平均値が求められる。所定の大きさ以上の文字情報を含むテロップは、比較的、輪郭がはっきりしており、図２４に示す何れかの領域にテロップが現れた場合には、所定のしきい値以上のAC係数を検出することができ、これにより、テロップの検出が行われる。

このように、DCTのAC係数を検出する方法の他に、ベースバンド領域（時間領域の信号）でエッジを検出する方法も考えられ、例えば、画像の輝度データのフレーム間差分によりエッジを検出することも考えられる。また、ウェーブレット変換により、多重解像度解析を行い、所定の高周波成分データを含む所定の多重解析度領域におけるデータを用いて、領域の平均値を演算するようにして、上記AC係数を用いる場合と同様の処理を行うことも考えられる。

その他、図２２において、特定色判定処理系２０５により特定色（例えば肌色）の検出が行われ、顔が検出されることにより、人物の検出を行うことも考えられる。

以上のようにして図２０乃至図２２の各系により得られた特徴データは外部（例えば、図１６のプレイリストデータ（チャプターデータ）生成処理系５９）に供給され、プレイリストデータ、チャプターデータの生成に用いられる。

（１０）大容量記録媒体と他の記録媒体を併用可能な場合の実施例
この実施例は、図１６または図１９に示す記録再生装置において、「大容量記録媒体」に相当する記録媒体Ａから、「他の記録媒体」に相当する記録媒体Ｂへのデータのコピー記録処理、編集記録処理などの動作モードに相当する。

ここで、記録媒体Ｂは、例えば、上述したように、複数の記録方式に対応し、それぞれの記録方式のデータの記録先となる複数の記録層を備えるものであり、記録再生装置に対して着脱可能な光ディスクである。このように、HDD（記録媒体Ａ）などの、記録容量の大きい記録媒体に記録されている画像音声データなどを記録再生装置に対して着脱可能な、HDDよりも記録容量の小さい光ディスク（記録媒体Ｂ）の記録方式または記録レートに応じた所定の記録層にそのままコピーさせたり（コピー記録処理）、編集したものを記録させたりする（編集記録処理）ことがユーザの使用方法として考えられる。

このようなコピー記録処理、編集記録処理などは、例えば、記録再生装置の動作モードに基づいて自動的に、または、ユーザの手動操作に応じて行われる。

ここで、図１６または図１９の記録媒体Ａには、記録方式１（通常DVD方式）、記録方式２（BDまたはHD-DVD方式）の２方式の画像音声データ、および、その画像音声データから得られた特徴データ、特殊再生用データ（プレイリストデータ、チャプターデータ）が記録されているものとする。

以下、コピー記録処理（コピー動作モード）について説明する。例えば、ユーザの操作に従って記録再生装置のモードがコピー動作モードになったとき、はじめに、記録再生装置に装着されている、データのコピー先となる記録媒体Ｂに記録可能な記録方式の判定が行われる。

（１０．１）記録可能な記録方式の判定方法
記録再生装置においては、記録方式１、記録方式２での記録媒体Ｂに対するデータの記録は図３に示すような信号処理系によって行われる。また、記録方式１、記録方式２で記録媒体Ｂに記録されているデータの再生は図５に示すような信号処理系によって行われる。すなわち、図３の信号処理系は、図１６または図１９の記録再生装置における記録側の信号処理系に対応し、図５の信号処理系は、図１６または図１９の記録再生装置における再生側の信号処理系に対応する。

記録媒体Ｂがどの記録方式に対応したものであるかの確認は、例えば、記録方式１、記録方式２のテスト用データを記録媒体Ｂの対応する層にそれぞれ記録し、その後、再生モードで、直前に記録させたテスト用データを正常に再生することができるか否かを判定することにより行われる。

また、このとき行われる、テスト用データを正常に再生することができるか否かの判定は、エラーレートが検出されることによって、または、再生信号処理系として設けられる、図示せぬ誤り訂正信号処理系によりECCフラグ（(Error-Correcting Code)フラグ）などが検出されることによって自動的に行われる。具体的には、図１６または図１９の再生処理系５２からシステムコントローラ系６０にECCフラグ信号が入力され、システムコントローラ系６０において所定時間内に計測されたフラグ数が、所定のしきい値と比較されることによって自動的に判定される。

記録媒体Ｂに物理的な識別IDが設定されている場合、その識別IDが検出され、識別IDに基づいて、記録媒体Ｂが、どの記録方式に対応した記録媒体であるのかが確認されるようにしてもよい。この場合、記録再生装置には、例えば、識別IDと、記録方式の対応テーブルが用意される。

（１０．２）記録方法
図２５は、記録媒体Ａのデータの記録状況と、記録媒体Ｂに記録することが可能な記録方式の組合せの例を示す図である。データのコピー記録処理、編集記録処理などの記録動作は、この図の組合せに従って行われる。

図２５（１）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（２）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（３）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式２だけに対応したものである場合の組合せを示す。

同様に、図２５（４）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（５）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（６）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式２に対応したものである場合の組合せを示す。

図２５（７）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（８）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（９）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式２だけに対応したものである場合の組合せを示す。

なお、以上においては、記録媒体Ａから記録媒体Ｂにデータをコピーさせる処理について説明したが、逆の処理、すなわち、記録媒体Ｂから記録媒体Ａにデータをコピーさせる処理も、記録再生装置においては同様にして行われる。また、記録媒体Ｂは、記録再生装置に設けられるトレイに着脱可能なディスク状の記録媒体であるものとして説明したが、それに限らず、記録媒体Ａに記録されているデータを、所定のケーブルなどを介して記録再生装置に接続された、USB(Universal Serial Bus)接続の記録媒体、IEEE(Institute of Electrical and Electronics Engineers)1394接続の記録媒体などの外部記録媒体に記録させる場合や、反対に、その外部記録媒体から記録媒体Ａにデータを記録させる場合も同様である。

次に、図２５に示す各組合せの状態のときの動作について詳細に説明する。

（１０．２．１）記録媒体Ａに記録方式１と記録方式２の双方のデータが記録されている場合
図２５（１）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

例えば、上述したようにして、記録媒体Ｂに記録可能な記録方式が自動的に判定された後、記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

同様に、記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、このような記録の際、特徴データ、特殊再生用データなども記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（２）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（２）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（３）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（３）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１０．２．２）記録媒体Ａに記録方式１のデータのみが記録されている場合
図２５（４）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式１（通常DVD方式）の画像音声データのみが記録されていて、伝送レートの高い記録方式２の画像音声データがないことから、記録方式１の画像音声データにアップコンバート処理を施すことによって、記録方式２の画像音声データを生成する処理が行われる。これは、図２６に示すようなMPEG方式における、MP＠MLからMP＠HLへの変換処理と考えられる。

図２６に示すプロファイル、レベル、画サイズ比（アスペクト比）などのMPEGの属性は、画像音声データ中に配置される所定のビットデータを検出することで確認することができる。図１６または図１９の記録再生装置においては、再生処理系５２、音声デコード処理系５４、または画像デコード処理系５６からの信号により、システムコントローラ系６０によって確認される。

記録方式１の画像音声データが再生処理系５２により再生され、再生された画像音声データが記録処理系４６に入力される。記録処理系４６においては、アップコンバート処理が行われ、そのアップコンバート処理によって得られた記録方式２の画像音声データの記録が、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層を記録先として行われる。

アップコンバート処理は、再生信号である記録方式１の画像音声データをデコードし、記録方式２で再エンコードする方法が考えられるが、帯域圧縮されている記録方式１の画像音声データをベースバンド帯域まですべてデコードしないで、所定の伝送レート変換、必要に応じて、画サイズ変換（４対３から１６対９への変換）、その他の変換処理など、他の方法で行うようにすることも考えられる。

なお、記録方式１の画像音声データを単なるデータと考え、例えばMP＠MLのままで記録媒体Ｂの記録方式２層に記録する場合、以上のようなアップコンバート処理、画サイズ変換処理などは行わず、読み出されたデータが、そのまま記録されるようにしてもよい。

一方、記録方式１の画像音声データの記録については、その画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（５）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（５）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（６）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式１（通常DVD方式）の画像音声データのみが記録されていて、伝送レートの高い記録方式２の画像音声データがないことから、記録方式１の画像音声データにアップコンバート処理を施すことによって、記録方式２の画像音声データを生成する処理が行われる。すなわち、上述した、「図２５（４）の場合」と同様の処理が行われる。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（６）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１０．２．３）記録媒体Ａに記録方式２のデータのみが記録されている場合
図２５（７）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式２（BD方式またはHD-DVD方式）の画像音声データのみが記録されていて、伝送レートの低い記録方式１の画像音声データがないことから、記録方式２の画像音声データにダウンコンバート処理を施すことによって、記録方式１の画像音声データを生成する処理が行われる。

記録方式２の画像音声データが再生処理系５２により再生され、再生された画像音声データが記録処理系４６に入力される。記録処理系４６においては、ダウンコンバート処理が行われ、そのダウンコンバート処理によって得られた記録方式１の画像音声データの記録が、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層を記録先として行われる。

ダウンコンバート処理は、再生信号である記録方式２の画像音声データをデコードし、記録方式１で再エンコードする方法が考えられるが、帯域圧縮されている記録方式２の画像音声データをベースバンド帯域まですべてデコードしないで、所定の伝送レート変換、必要に応じて、画サイズ変換（１６対９から４対３への変換）、その他の変換処理など、他の方法で行うようにすることも考えられる。

なお、記録媒体Ａに記録されている記録方式２の画像音声データが、図２６に示すMPEGのMP＠MLのデータである場合には、以上のようなダウンコンバート処理、画サイズ変換処理などは行わず、読み出されたデータが、そのまま記録されるようにしてもよい。

一方、記録方式２の画像音声データの記録については、その画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（８）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式２（BD方式またはHD-DVD方式）の画像音声データのみが記録されていて、伝送レートの低い記録方式１の画像音声データがないことから、記録方式２の画像音声データにダウンコンバート処理を施すことによって、記録方式１の画像音声データを生成する処理が行われる。すなわち、上述した、「図２５（７）の場合」と同様の処理が行われる。

この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（８）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（９）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（９）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１１）記録方式１の複数の画像音声データを、記録方式２で記録する場合の実施例
記録レート（伝送レート）が低い記録方式の複数の画像音声データを、それよりも記録レートの高い記録方式の画像音声データとして記録し直すことがある。

記録媒体Ｂの記録層のうち、BD方式またはHD-DVD方式に対応する記録方式２層の記録容量は、通常DVD方式に対応する記録方式１層の記録容量に比べて大きいことから、例えば、記録方式１の複数の画像音声データを、記録方式２で記録することは、複数枚に分かれて記録されている通常DVD方式の画像音声データをBD方式またはHD-DVD方式の画像音声データとして１枚の記録媒体Ｂの記録方式２層に記録させる場合などに行われる。

ここで、BD方式の記録媒体の記録容量と、通常DVD方式の記録媒体の記録容量について考える。

BD方式のディスクは片面２７GB、通常DVD方式のディスクは４．７GBなので、
２７／４．７＝５．７
から、少なくとも５枚の通常DVD方式のディスクに記録されているデータを、１枚のBD方式のディスクに記録させることができることになる。

図２７Ａ，Ｂは、通常DVD方式の記録媒体とBD方式の記録媒体の記録容量について示す図である。図２７Ａの例においては、通常DVD方式のディスクの記録容量は記録容量１で表されている。

図２７Ｂ（１）に示すように、通常DVD方式のディスク１乃至５の合計の記録容量は、BD方式のディスク１枚の記録容量２より少ない。

このような、複数の記録媒体に記録されている複数の画像音声データを、１つの記録媒体にコピー記録させるような動作は、ユーザによる所定の操作に応じて記録再生装置により行われる。

（１１．１）動作モード設定順序、動作順序
このような動作を行わせる場合、はじめに、ユーザによりリモコン６２などが操作され、動作モードの選択、設定が行われる。

次に、通常DVD方式のディスク何枚分のデータを、BD方式のディスク１枚にコピー記録するかの選択がリモコン６２などから入力される。入力された情報は、ユーザ入力I/F系６１を介してシステムコントローラ系６０に入力される。

このような操作がユーザにより行われた場合において、ユーザにより入力された所定の枚数分の通常DVD方式のディスクに記録されているデータが、１枚のBD方式のディスクに収まらないとき、例えば、システムコントローラ系６０による制御に従って、表示処理系６５により所定の警告表示が行われたり、音声出力系６６により所定の警告音声が出力されるようにしてもよい。警告音声としては、例えば、ピー音、または、システムコントローラ系６０内のROMなどに記憶されている音声データに基づく「１枚では記録できません」などの合成音声が出力される。

図２７Ｂ（２）は、このように、ユーザにより入力された枚数分の通常DVD方式のディスクに記録されているデータを、１枚のBD方式のディスクに記録させることができない場合の概念図である。

図２７Ｂ（２）の例においては、データの記録元となるBD方式のディスクには、容量ａのデータが既に記録されているため、通常DVD方式のディスク１〜３までのデータしか、BD方式のディスクに追加的に記録することができない。

このように、記録しようとするデータの全てを１枚のBD方式のディスクに記録させることができない場合、例えば、２枚のBD方式のディスクがあれば全てのデータを記録することができるときには、システムコントローラ系６０内のメモリから音声データが読み出され、音声出力系６６により「２枚で記録できます」などのような音声情報が出力されるようにしてもよいし、表示処理系６５により所定のメッセージが表示されるようにしてもよい。

以上のような通常DVD方式のディスクに記録されているデータをBD方式のディスクに記録させる処理の過程で、例えば、４対３から１６対９への画サイズの変換、再エンコード処理などの所定の信号処理を行う場合、その処理には、図２５（４），（６）の組合せのときのような信号処理を適用することもできる。また、通常DVD方式のディスクに記録されている特徴データ、特殊再生用データを記録させる処理には、図７、図１０を参照して説明した処理を適用することができる。

（１２）記録容量が不足する場合の実施例
（１２．１）２記録方式対応ディスクの場合
例えば、記録方式２で、MP＠HLなどの伝送レートが比較的高いデータを記録媒体Ｂに記録させている最中に、その記録媒体Ｂの記録方式２に対応した記録方式２層の記録容量が不足し、記録対象としている画像音声データの全てを記録することができない場合がある。このことは、例えば、EPG(Electronic Program Guide)などを用いてタイマー記録が設定されており、それに従って記録している番組（例えば、スポーツ番組）の放送が予定の時刻に終了せず、放送時間の延長に伴って記録時間を延長させる場合などに起こりうる。

上述したように、図１６または図１９の記録媒体Ｂが記録方式１（通常DVD方式）と記録方式２（BD方式またはHD-DVD方式）に対応していると仮定し、伝送レートが高い記録方式２でのデータの記録中に記録方式２層の記録容量が不足することが検出された場合、図２８Ａの記録途中のｐ点（時刻１）で、記録方式が記録方式２から記録方式１に切り換えられ、それ以降、対象としていた番組の記録が終了する時刻２までの間、記録方式１でのデータの記録が行われる。

なお、図２８Ｂは、記録方式を記録方式１から記録方式２に切り換える場合の例を示しており、記録途中のｐ点（時刻１）で、記録方式が記録方式１から記録方式２に切り換えられ、それ以降、対象としていた番組の記録が終了する時刻２までの間、記録方式２でのデータの記録が行われる。

このようにして記録方式を切り換える場合、データの記録先は、図３を参照して説明したように、切り換えた記録方式に対応した記録層とされる。また、特徴データ、特殊再生用データも記録先も、記録方式の切り換えに伴って必要に応じて変更される。

また、例えば、特殊再生用データを生成する元になる特徴データを抽出する処理が、記録方式２の画像音声データを用いて行われている場合、その特徴抽出処理も、記録方式１の画像音声データを用いた処理に切り換えられる。

さらに、特徴抽出処理が、所定の帯域圧縮処理を行う前の、画像音声データのベースバンド領域で行われている場合、記録方式の切り換えが行われたとしても特徴抽出処理の出力はそのまま用いられ、図７または図１０を参照して説明したような領域（位置）への特徴データの記録先の切り換えが行われる。図１０を参照して説明した、記録方式１に対応した記録方式１層、記録方式２に対応した記録方式２層の記録領域以外のその他の領域が、特徴データや特殊再生用データの記録先である場合、記録方式の切り換えが行われたとしても、特徴データ、特殊再生用データの記録は、そのまま、その他の領域を記録先として行われる。

（１２．２）記録レートの切り換え
ここでは、記録容量の不足が検出された場合の処理として、記録レートの切り換えを行う場合について説明する。

このような記録レートの切り換えは、例えば、図２９に示すように、記録媒体Ｂの残りの記録容量に応じて行われる。ここで、記録方式１は通常画質の記録モードであり、記録方式２は高画質の記録モードである。通常画質の記録モードでは通常の記録レートで記録が行われ、高画質の記録モードでは通常の記録レートよりも高い記録レートで記録が行われる。

図２９（ａ）に示すように、記録方式２で記録を続けたとしても記録媒体Ｂの記録容量が足りる場合、記録終了まで記録方式２での記録が続けられ、一方、図２９（ｂ）に示すように、記録方式２で記録を続けたときには記録媒体Ｂの記録容量が足りなくなる場合、所定の位置である点ｐで、記録方式が記録方式２から記録方式１に切り換えられ、それ以降、記録終了まで記録方式１での記録が行われる。

図３０は、記録時間と記録容量の特性の例を記録方式（記録レート）毎に示す図である。

点ａから点ｃまでの特性は、記録方式２（高記録レート）で記録を行った場合の特性を示し、この記録方式２での記録を続けた場合、記録するデータの量は、時刻ｔ２で記録媒体Ｂの最大記録容量Ｄ（記録容量制限値）に到達する。

点ａから点ｅまでの特性は、記録方式１（通常記録レート）で記録を行った場合の特性を示し、この記録方式１で記録を続けた場合、記録するデータの量は、時刻ｔ４で記録媒体Ｂの最大記録容量Ｄに到達する。

図３０に示されるように、記録容量に制限がある場合には、高画質記録モード（記録方式２）で記録を行ったときの記録許容時間は、通常画質記録モード（記録方式１）で記録を行ったときの記録許容時間よりも短い。

そこで、記録方式２の記録モードで記録を行っていて、図３０に示すように、データ量が最大記録容量Ｄに到達する時刻ｔ２よりも前の時刻である時刻ｔ１の時点で記録モードを記録方式１に切り換えることにより、記録モードを変えない場合には時刻ｔ２までしか記録することができないところを、時刻ｔ３まで記録することが可能になる。すなわち、記録時間を伸ばすことができる。

この場合、特徴抽出処理をMPEGなどの帯域圧縮処理が施されたデータを用いて行うときには、時刻ｔ１までは、記録方式２で記録する過程で得られたデータを用いてそれが行われ、記録方式が切り換えられた時刻ｔ１以降は、記録方式１で記録する過程で得られたデータを用いて行われる。

このように、特徴抽出処理に用いるデータを、記録モード、記録方式に応じて切り換えることにより、整合性が確保された特徴データの検出、特殊再生用データの生成が可能になる。

（１３）動作フローチャート
次に、図３１および図３２のフローチャートを参照して、記録再生装置による記録処理について説明する。

ここでは、記録媒体Ｂが複数方式のデータの記録に対応し、かつ、記録対象の画像音声データが図３に示すように１つであるものとする。

ステップＳ１において、対象の画像音声データを、単一の記録方式で記録するか否かが判定され、単一の記録方式で記録すると判定された場合、ステップＳ２に進む。

すなわち、記録媒体Ｂが、記録方式１、記録方式２の２つの方式での記録に対応しているか否かが判定され、２つの方式に対応していると判定された場合、さらに、それぞれの記録方式に対応する記録層に記録するか、どちらか１つの記録方式に対応する記録層に記録するのかが判定される。記録媒体Ｂがどの方式のデータの記録に対応しているか否かは、上述したように、例えば、記録方式１、記録方式２のテスト用データを記録し、エラーレートの検出結果に基づいて判定される。

ステップＳ２において、対象の画像音声データを、記録方式１で記録するのか、記録方式２で記録するのかが判定される。この判定は、例えば、ユーザによる選択操作に基づいて行われたり、入力された画像音声データの種類などに基づいて自動的に行われる。

例えば、図１６または図１９において、受信系４２でハイビジョン放送が受信され、その番組を記録する場合には、できるだけ高画質で記録しておくように、ここでは、記録方式２が、画像音声データの記録方式として自動的に選択される。このような自動判定は、番組のメタデータや識別情報などが受信系４２からシステムコントローラ系６０に入力され、システムコントローラ系６０により行われる。

ステップＳ２において、対象の画像音声データを記録方式１で記録すると判定された場合、ステップＳ３に進み、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ４において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

特徴データの抽出、特殊再生用データの生成、およびそれらの記録は、例えば、次の方法により行われる。

所定の区間毎、または所定のデータ量毎にデータを取り込んで、それを対象として特徴データの検出、プレイリストデータの生成を行い、逐次、記録媒体Ｂに記録する方法（処理方法１）。

全ての画像音声データの記録が終了してから、その画像音声データを読み出し、それを対象として特徴データの検出、プレイリストデータの生成を行い、記録媒体の所定の領域、位置に記録しなおす方法（処理方法２）。

画像音声データを記録するのと同時に、特徴データの検出を行い、検出した特徴データを画像音声データとともに記録媒体Ｂに記録し、記録終了後、特徴データだけを読み出して、読み出した特徴データに基づいて生成したプレイリストデータを記録媒体Ｂに再度記録する方法（処理方法３）。このとき生成されたプレイリストデータは、記録媒体Ｂに記録されている画像音声データの特殊再生に利用することもできる。

ステップＳ５において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式１層に画像音声データが記録される。

ステップＳ６において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ７に進む。

ステップＳ７において、記録方式を変更（切り換え）するか否かが判定され、変更しないと判定された場合、ステップＳ３に戻り、それ以降の処理が繰り返される。

ステップＳ７において、記録方式を変更すると判定された場合、ステップＳ８に進み、それ以降の処理が行われる。また、ステップＳ２において、対象の画像音声データを記録方式２で記録すると判定された場合も、ステップＳ８に進み、それ以降の処理が行われる。

ステップＳ８において、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ９において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

ステップＳ１０において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式２層に画像音声データが記録される。

ステップＳ１１において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ１２に進む。

ステップＳ１２において、記録方式を変更（切り換え）するか否かが判定され、変更しないと判定された場合、ステップＳ８に戻り、それ以降の処理が繰り返される。

ステップＳ１２において、記録方式を変更すると判定された場合、ステップＳ３に進み、それ以降の処理が行われる。例えば、対象としている画像音声データの全てを記録するためには記録媒体Ｂの記録方式２層の記録容量が不足する場合、ここで、記録方式を変更すると判定され、記録方式１での記録が開始される。

一方、ステップＳ１において、対象の画像音声データを、単一の記録方式で記録しない、すなわち、複数の記録方式で記録すると判定された場合、ステップＳ１３（図３２）に進む。

ステップＳ１３において、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ１４において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

なお、ここでの特徴データの抽出処理、特殊再生用データの生成処理は、上述したように、得られる特徴データ、特殊再生用データが、記録方式１の画像音声データを再生した場合と記録方式２の画像音声データを再生した場合とで整合性が確保されるように行われる。

ステップＳ１５において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式１層と記録方式２層に画像音声データが記録される。整合性を確保するようにして得られた特徴データ、特殊再生用データも、記録媒体Ｂの所定の領域に記録される。

ステップＳ１６において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ１７に進む。

ステップＳ１７において、記録方式を単一の記録方式に変更するか否かが判定され、変更しない場合、ステップＳ１３に戻り、それ以降の処理が繰り返される。

ステップＳ１７において、記録方式を単一の記録方式のものに変更すると判定された場合、ステップＳ２に進み、それ以降の処理が行われる。

（１４）その他の変形実施例
例えば、地上アナログ放送と地上デジタル放送でコンテンツとしての同じ番組が放送される場合を想定する。また、ここでは、その同じ番組が同じ時刻に放送される場合を想定する。

この場合も、上述した放送コンテンツを受信したときと同様に、地上アナログ放送と地上デジタル放送で放送されたそれぞれの番組を対象として、記録処理、特徴抽出処理、チャプター処理、ダイジェスト再生処理を行うことができる。

処理対象の番組は同じ内容のものであるから、チャプター点、ダイジェスト再生区間がそれぞれの番組において同じ位置に特徴データに基づいて設定され、記録された地上アナログ放送の番組を再生する場合と、地上デジタル放送の番組を再生する場合とで、再生点、再生区間の整合性ができるだけとれていることが好ましい。

また、上述したような特徴抽出処理を行わせる場合、地上アナログ放送の番組を処理する構成と、地上デジタル放送の番組を処理する構成をできるだけ共通にした方が、システム全体の構成が複雑になるのを避けるという点から好ましい。

例えば、図３３の構成を一部に備える装置のように、地上アナログ放送と地上デジタル放送の両方を受信し、受信した番組を記録再生する装置とすることにより、図３３に示す構成の後段に設けられる、特徴抽出処理などを行う処理系（図３３の構成から出力された信号を処理する処理系）を共通化することができる。

なお、図３３に示す構成は、図１６等に示すシステム全体のブロック構成例における受信アンテナ系４１と受信系４２の部分に対応する。受信系４２は受信アンテナ系４１において受信された地上デジタル放送信号を処理する地上デジタル受信処理系３０１、受信アンテナ系４１において受信された地上アナログ放送信号を処理する地上アナログ受信処理系３０２、および、地上デジタル受信処理系３０１の出力であるデジタル受信信号から音声信号と画像信号を取得する信号処理系３０３から構成される。

地上アナログ受信処理系３０２と信号処理系３０３により得られた音声信号は図１６の音声A/D変換処理系４３に、画像信号は画像A/D変換処理系４８にそれぞれ出力され、出力された音声信号、画像信号に基づいて特徴抽出処理等が行われる。特徴抽出処理は、地上アナログ放送で放送される番組と地上デジタル放送で放送される番組の画サイズ（アスペクト比）が違う場合、この画サイズの違いが、抽出される特徴データに差として現れないようにして行われる。

図３４Ａ，Ｂは、画サイズの違いについて示す図である。

図３４Ａは、地上アナログ放送で放送された横：縦＝４：３の画サイズ（通常画サイズ）の番組を通常画サイズのモニタに表示させた例を示す図である。

一方、図３４Ｂは、例えば、地上デジタル放送で行われているハイビジョン放送により放送された横：縦＝１６：９の画サイズの番組（ハイビジョン番組）を、画サイズをそのままに、解像度について所定のダウンコンバート処理を行って通常画サイズのモニタに表示させた例を示す図である。

画サイズをそのままにしてハイビジョン番組を通常画サイズのモニタに表示させた場合、その見え方は、図３４Ｂに示すように、いわゆるレターボックスといわれる上下に黒部分（（Ａ）、（Ｂ）の部分）が付加されたものになる。

上述した特徴抽出処理には、MPEGストリームから直接行う方法、すなわち周波数帯域での処理方法と、画像音声データをデコード処理し、ベースバンド帯域を対象として行う方法、すなわち時間軸領域での処理方法の２つがある。MPEGストリームから直接処理を行う方法では、例えば、DCT係数から、カラー特徴、シーンチェンジ特徴、類似画像特徴、その他の特徴データを抽出することができることについてはすでに説明した。

ここでは説明を簡単にするため、処理対象をベースバンド帯域とし、地上アナログ放送、地上デジタル放送の番組の特徴を抽出する処理について説明する。

なお、周波数帯域を処理対象とする場合、以下に説明する、ベースバンド帯域を処理対象とした場合の処理に対応する処理が行われることになる。例えば、後述する図３５における領域Ｐ１のデータに注目した場合、その領域Ｐ１に対応する周波数帯域でのデータ、例えばDCTデータを対象とした処理が行われることになる。

上述したように、ユーザが番組を見るモニタの画サイズの違いによって、同じ番組でも、抽出される特徴データに相違があり、地上アナログ放送の番組から抽出される特徴データと、地上デジタル放送の番組から抽出される特徴データの整合性をとることができない場合がある。

図３５および図３６は、特徴データの整合性をとることができない理由について説明する図である。

ここでは、画像系特徴データのうちのテロップ特徴を抽出する場合について考える。

まず、特徴抽出処理の対象とする領域を、図３５の左側に示すように、通常画サイズの１フレームを分割したＰ１〜Ｐ８の８つの領域と仮定する。この各領域を、さらに、図３５の実線矢印の先に示すように所定のブロック領域に分割して考え、ブロック領域毎にエッジ検出を行い、特徴量として求められた値が所定の閾値以上の値である場合には、そのブロック領域にテロップが存在すると判定するような処理がテロップ特徴を抽出する処理において行われる。

エッジ検出は、周波数帯域での処理ではDCTのAC係数に基づいて行われる。なお、ベースバンド帯域での処理では、そのAC係数の代わりに、例えば画素毎のフレーム間差分データ値に基づいて行われる。

地上アナログ放送の通常画サイズの番組（番組の１画像）のうち、図３４Ａの（Ｓ）の部分にテロップ特徴が検出されるものとし（テロップが表示されるものとし）、例えば、それと同じハイビジョン番組を、上記したように、画サイズをそのままにダウンコンバート処理を施して通常画サイズのモニタに表示させた場合、番組は図３４Ｂに示すように表示されることになり、この表示においては、テロップ特徴は図３４Ｂの（Ｔ）の部分で検出されることになる。すなわち、地上デジタル放送の番組を表示させた場合、地上アナログ放送の番組を表示させたときのテロップの表示領域である領域（Ｓ）と較べて、より狭く、より画面中央に近い位置に形成される領域（Ｔ）に同じテロップが表示されることになる。

このように、地上アナログ放送の番組と地上デジタル放送の番組を通常画サイズのモニタにそれぞれ表示させた場合、同じテロップが、モニタの所定の位置を基準として異なる領域に表示されることになる。

そのため、地上アナログ放送の番組から特徴を抽出する処理系と、地上デジタル放送の番組から特徴を抽出する処理系を共通のものとした構成では、図３５の領域Ｐ１に着目した場合、地上アナログ放送の番組を対象とするときには、テロップがその領域に表示されることからａ１〜ａ１６の検出ブロックの全てにおいて閾値以上の特徴量が検出されるが、地上デジタル放送の番組を対象とするときには、地上アナログ放送の番組のときとはテロップの表示位置が異なるから、ａ９〜ａ１６の検出ブロックにおいては閾値以上の特徴量が検出されないことなどが起こりうる。

図３６は、特徴量の検出結果の例を示す図である。図３６において、縦軸は特徴量を表し、横軸は再生開始からの時間を表す。

例えば、時刻ｔ１〜ｔ２の間に図３４Ａ，Ｂに示す領域（Ｓ）、（Ｔ）を対象としてテロップ特徴の検出が行われた場合、図３６に示すように、領域（Ｓ）から抽出された特徴量の検出結果と、領域（Ｔ）から抽出された特徴量の検出結果に差が現れる。図３６において、特性ａは地上アナログ放送の番組の領域（Ｓ）を対象とした場合の特徴量の検出結果を示し、特性ｂは地上デジタル放送の番組の領域（Ｔ）を対象とした場合の特徴量の検出結果を示す。

このように、ハイビジョン番組をダウンコンバートして特徴抽出処理を行う場合、テロップの出現部分によっては、通常画サイズの番組を対象として特徴抽出処理を行う場合よりも、検出される特徴量が少なくなることがある。このことから、同じ番組の同じ画像が処理対象になっているにも関わらず、閾値の設定によっては、通常画サイズの番組ではテロップが検出されるが、ハイビジョン番組ではテロップが検出されないことなどが起こることがある。

以上のような観点から、画サイズが相違する場合でも、整合性のある特徴抽出処理を行うことができる３つの方法について説明する。

（１４．１）画像信号を補間して特徴抽出処理を行う方法
この方法は、特徴抽出の対象の画像が、通常画サイズのモニタに表示させた場合に図３７左上に示すように黒部分が検出されるものであるときには、特徴抽出処理を行う特徴抽出処理系５０に画像信号が入力される前の段階でライン数補間処理を行い、特徴抽出処理の対象となる画像を、図３７右上に示すように黒部分が含まれないようにする方法である。

なお、図３７左上の表示例では、領域（Ａ）と（Ｂ）以外の領域（Ｆ）が、番組の内容が表示される有効領域である。また、図３７右下の表示例では、領域（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）以外の領域（Ｇ）が有効領域である。

補間処理は、有効領域の画像を、黒部分を含めた領域全体の大きさまで（モニタと同じ画サイズまで）引き伸ばすことにより行うことができる。また、補間処理は、所定のラインの画像データを、その近傍のラインの画像データを元にした補間フィルタ処理により生成することにより行うこともできる。

図３７の例では、左上から右上に示すように、３６０ラインを４８０ラインにする補間処理が行われている。

これは、例えば、地上アナログ放送の通常画サイズである４：３で水平垂直画素数を６４０×４８０と仮定した場合、
６４０／４８０＝ ４／３
となり、レターボックスが付加された後の有効領域の画サイズである１６：９で水平垂直画素数を６４０×３６０と仮定した場合、
６４０／３６０＝ １６／９
となることによる。

すなわち、有効領域のデータに基づいて、３６０ラインを４８０ラインにする処理が行われ、４８０ラインとなった、黒部分がない画像を対象に特徴抽出処理が行われる。

例えば、
３６０／４８０＝３／４
であるから、図３８に示すように、補間処理として、３ラインのデータを入力として４ラインのデータを生成して出力する処理が行われる。

入力される３ラインのデータをそれぞれＬｎ，Ｌｎ＋１，Ｌｎ＋２とし、出力される４ラインのうちの１つのラインのデータをＨｎとした場合、所定の補間係数がｋ０，ｋ１，ｋ２で与えられるものとすると、出力される１つのラインのデータであるＨｎは、
Ｈｎ ＝ （ｋ０×Ｌｎ）＋（ｋ１×Ｌｎ＋１）＋（ｋ２×Ｌｎ＋２）
で表される。

ここで、番組によっては、ダウンコンバートしたハイビジョン番組を通常画サイズのモニタに表示させた場合、図３７右下に示すように領域（Ｃ）、（Ｄ）の左右の部分にも黒部分が含まれるものになる場合があるが、この場合も、以上の処理と同様の処理により、黒部分をなくすように、有効領域のデータに基づいて画像を補間することができる。

すなわち、上下（Ａ）、（Ｂ）の領域だけが黒部分である場合は垂直方向だけ補間処理が行われ、上下左右（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の領域に黒部分がある場合は垂直方向と水平方向の両方向の補間処理が行われることになる。

例えば、図３７の右下に示すように補間処理前の水平方向のデータ数は４８０、右上に示すように補間処理後の水平方向のデータ数は６４０であり、
４８０／６４０＝３／４
であるから、この場合も、３列の画像データから４列の画像データを生成することで補間が行われる。

ライン数補間処理、補間フィルタについては、例えば、特開平６−１７８３０５号公報、特開平０１−１９４７８０号公報、特開昭５９−１１２７６７号公報に開示されている。

図３９は、以上のように画像の補間を適宜行い、補間して得られた画像に基づいて特徴データを抽出することによって特徴データの整合性を確保する記録再生装置の一部の構成の例を示すブロック図である。図３９に示す構成のうちの一部は、例えば、図１６の特徴抽出処理系５０内でソフトウェア的に実現される。

画サイズ検出系３１１では、供給されてきた画像信号に含まれる輝度信号、色差信号から、処理対象の画像が、図３７の左上や右下に示すような黒部分を含む画像であるか、または、そのような黒部分を含まない画像であるのかが判定される。画サイズ検出系３１１に供給される画像に対しては、その前段において、受信された番組の画像の画サイズとモニタの画サイズに応じて、適宜、レターボックスを付加する処理が行われている。

画サイズ検出系３１１による判定結果はシステムコントローラ系６０に入力される。システムコントローラ系６０は、処理対象の画像に黒部分が含まれる場合には画像信号補間処理系３２１の出力が特徴抽出処理系３２３に出力されるように、また、処理対象の画像に黒部分が含まれない場合には外部から供給されてきた画像信号がそのまま特徴抽出処理系３２３に出力されるように、画サイズ検出系３１１による判定結果に応じて切換え処理系３２２を制御する。

すなわち、画像に黒部分が含まれると判定された場合は、画像信号補間処理系３２１により補間処理が施された画像信号が特徴抽出処理系３２３に入力され、特徴抽出処理が行われる。また、黒部分が含まれないと判定された場合は、処理対象の画像が、通常画サイズの番組の画像であると判定され、この場合、画像信号補間処理系３２１による補間処理は行われないで、外部から供給されてきたそのままの画像信号に基づいて特徴抽出処理が行われる。

画像信号補間処理系３２１では、外部から供給されてきた画像に黒部分が含まれている場合、上述したようにして補間処理が行われ、補間処理により得られた黒部分がない画像信号が切換え処理系３２２に出力される。

切換え処理系３２２では、システムコントローラ系６０による制御に従って、画像信号補間処理系３２１から供給されてきた画像信号と、外部から供給されてきた画像信号のうちのいずれかが選択され、選択された画像信号が特徴抽出処理系３２３に出力される。

特徴抽出処理系３２３では、図２２を参照して説明したような特徴抽出処理が切換え処理系３２２から供給されてきた画像信号に基づいて行われ、抽出された特徴を表すデータが外部に出力される。

なお、図３７左上に示す上下の領域に黒部分が含まれる場合と、図３７右下に示す上下左右の領域に黒部分が含まれる場合とで、補間処理の補間係数が調整されたり、特徴抽出処理系３２３の処理方法が変更されるようにしてもよい。

（１４．２）特徴データを補正する方法
この方法は、特徴抽出処理に用いられる画像信号は外部から供給されてきたものを用い（画像信号の補間は行わず）、特徴抽出処理により得られた特徴データに対して適宜補正を行う方法である。

例えば、通常画サイズの地上アナログ放送の番組であって、図４０に斜線を付して示す下側のブロック領域５７〜６４に特徴量Ｓが検出される番組がある場合において、それと同じ内容の番組が地上デジタル放送のハイビジョン番組として放送されており、ダウンコンバート処理を施してそのハイビジョン番組を通常画サイズのモニタに表示させたとき、図４１に斜線を付して示すブロック領域５０〜５５の領域で、上記特徴量Ｓの抽出に用いられた領域（ブロック領域５７〜６４）に対応する領域の特徴量である特徴量Ｔが検出されることがある。

図４０に示すように、地上アナログ放送の番組の画素数が横６４０×縦４８０、画サイズが４：３であり、それと同じ番組であるハイビジョン番組の画サイズが１６：９であれば、そのハイビジョン番組を通常画サイズのモニタに表示させた場合、横の画素数が６４０であるときには、縦の画素数ｙは、
６４０／ｙ＝１６／９
からｙ＝３６０となる。

ここで、図４０の画像全体を１６：９の画サイズの画像とした場合にどう見えるかを考える。

モニタの画サイズが４：３であるから、上記ｙ＝３６０、横の画素数をｘとした場合、
ｘ／３６０＝４／３
となり、ｘ＝４８０となる。

このことから、通常画サイズの４：３の番組を見た場合と、画サイズが１６：９のハイビジョン番組をダウンコンバートし、それを通常画サイズのモニタで見た場合とでは、図４０のブロック領域１〜６４からなる領域全体は、図４１のブロック領域１０〜１５，１８〜２３，２６〜３１，３４〜３９，４２〜４７，５０〜５５からなる領域に対応することになる。

図４０と図４１を比較してわかるように、図４０では特徴量Ｓの抽出に用いられた領域はブロック領域５７〜６４の８つのブロック領域から構成されるのに対して、図４１では特徴量Ｔの抽出に用いられた領域はブロック領域５０〜５５の６つのブロック領域から構成されることになり、
８／６＝４／３
の割合で、検出される特徴量に違いがあると考えられる。

そこで、例えば補正係数ｋとして、
ｋ＝４／３
と、上記のブロック領域の数の割合に応じた係数を考え、通常画サイズが４：３である画像から抽出された特徴量Ｓに対して、
Ｔ＝ｋ×Ｓ
のように、ブロック領域の数（特徴抽出に用いられた領域の大きさ）に応じた補正係数を用いて補正を行うことにより、それぞれの画像の対応する位置から抽出される特徴量の間にできるだけ整合性をとることができる。

ここでは、補正係数の設定方法を、特徴量とその特徴量の検出領域数が単純に比例関係にあるものとして考えたが、例えば、特徴点を設定するかしないかの特徴量に基づく判定に用いられる閾値を設定する際に、補正係数が用いられるようにしてもよい。

また、ここでは、画像系の特徴量の例としてテロップ特徴データを考えたが、他の画像系の特徴量を抽出する場合にも同様に考えることができ、その場合、補正係数ｋは、抽出する特徴データの種類に応じて変更されるようにしてもよい。

図４２は、以上のように特徴データの補正を適宜行うことによって特徴データの整合性を確保する記録再生装置の一部の構成の例を示すブロック図である。図３９に示す構成と同じ構成には同じ符号を付してある。

画サイズ検出系３１１では、供給されてきた画像信号に含まれる輝度信号、色差信号から、処理対象の画像が、黒部分を含む画像であるか、含まない画像であるかが判定される。

画サイズ検出系３１１による判定結果はシステムコントローラ系６０に出力される。システムコントローラ系６０は、処理対象の画像に黒部分が含まれる場合、特徴抽出処理系３３１により得られた特徴データの補正を特徴データ補正処理系３３２に行わせるとともに、その特徴データ補正処理系３３２により補正された特徴データが外部に出力されるように切換え処理系３３３を制御する。また、システムコントローラ系６０は、処理対象の画像に黒部分が含まれない場合、特徴抽出処理系３３１により得られた特徴データがそのまま外部に出力されるように切換え処理系３３３を制御する。

特徴抽出処理系３３１では、外部から供給されてきた画像信号から特徴が抽出され、抽出された特徴を表す特徴データが特徴データ補正処理系３３２と切換え処理系３３３に出力される。

特徴データ補正処理系３３２では、特徴抽出処理系３３１から供給されてきた特徴データが、例えば、抽出された特徴の種類に応じた補正係数が用いられて補正され、補正して得られた特徴データが切換え処理系３３３に出力される。すなわち、特徴データ補正処理系３３２は、図４３に示すように、それぞれの特徴データを補正する複数の処理系からなり、図４３の例においては、特徴抽出処理系３３１により抽出された色特徴を補正する色特徴補正処理系３４１、特徴抽出処理系３３１により抽出された類似特徴を補正する類似特徴補正処理系３４２、特徴抽出処理系３３１により抽出されたテロップ特徴を補正するテロップ特徴補正処理系３４３が示されている。

図４２の説明に戻り、切換え処理系３３３では、システムコントローラ系６０による制御に従って、特徴抽出処理系３３１から供給されてきた特徴データと、特徴データ補正処理系３３２から供給されてきた補正後の特徴データのうちのいずれかが選択され、選択された特徴データが外部に出力される。

（１４．３）特徴抽出処理に用いる処理範囲を変更する方法
この方法は、特徴抽出処理に用いる処理範囲を、画像に含まれる黒部分に応じて適宜変更する方法である。

図４４は、処理範囲を適宜変更して特徴抽出処理を行うことによって特徴データの整合性を確保する記録再生装置の一部の構成の例を示すブロック図である。図３９等に示す構成と同じ構成には同じ符号を付してある。

画サイズ検出系３１１では、供給されてきた画像信号に含まれる輝度信号、色差信号から、処理対象の画像が、黒部分を含む画像であるか、含まない画像であるかが判定される。

画サイズ検出系３１１による判定結果はシステムコントローラ系６０に出力される。システムコントローラ系６０は、処理対象の画像に黒部分が含まれる場合、その画像全体のうち、黒部分を除いた有効領域の範囲のみのデータを用いて特徴抽出処理系３５１に特徴抽出処理を行わせ、画像に黒部分が含まれない場合、画像全体を対象として特徴抽出処理系３５１に特徴抽出処理を行わせる。

特徴抽出処理系３５１では、処理対象の画像のうち、システムコントローラ系６０により指定された範囲の画像データが用いられて特徴が抽出され、抽出された特徴を表す特徴データが外部に出力される。

以上のような構成により、図４０に示す黒部分が含まれない画像が処理対象となっている場合、例えば、テロップ特徴検出に用いられる範囲がブロック領域５７〜６４の範囲となるようにシステムコントローラ系６０により制御される。また、図４１に示す上下に黒部分が含まれる画像が処理対象となっている場合、テロップ特徴検出に用いられる範囲がブロック領域５０〜５５となるようにシステムコントローラ系６０により制御される。

（１４．４）動作フローチャート
（１４．４．１）画像信号を補間して特徴抽出処理を行う方法（方法１）の場合
はじめに、図４５のフローチャートを参照して、画像信号を補間して特徴抽出処理を行う一連の処理について説明する。

ステップＳ３１において、図３９の画サイズ検出系３１１により黒部分の検出、画サイズの判定（属性判定）が行われ、ステップＳ３２に進み、システムコントローラ系６０により、処理対象の画像が、黒部分が含まれない第１の属性の画像であるか否かが画サイズ検出系３１１による属性判定の結果に基づいて判定される。

ステップＳ３２において、処理対象の画像が、黒部分が含まれる属性の画像であると判定された場合、ステップＳ３３に進み、画像信号補間処理系３２１による信号処理として画像の補間処理が行われる。この処理により黒部分が除かれた画像は切換え処理系３２２に出力される。

ステップＳ３３において画像の補間処理が行われた後、または、ステップＳ３２において、処理対象の画像が、黒部分が含まれない第１の属性の画像であると判定された場合、ステップＳ３４に進み、特徴抽出処理系３２３により特徴抽出処理が行われる。

すなわち、処理対象の画像が、黒部分が含まれる属性の画像であると判定された場合、画像信号補間処理系３２１において補間処理が施された信号が特徴抽出処理系３２３に入力され、特徴抽出処理が行われる。また、黒部分が含まれない第１の属性の画像であると判定された場合、外部から供給されてきたそのままの画像信号に基づいて特徴抽出処理が行われる。

特徴抽出処理系３２３により抽出された特徴データは外部に出力され、ステップＳ３５において例えば記録媒体Ａなどに記録される。また、ステップＳ３５においては、特徴データに基づいて生成されたプレイリストデータやチャプターデータが記録媒体Ａなどに記録される。

ステップＳ３６において、処理を終了するか否かが判定され、例えば、処理対象の画像がまだ供給されてくることから処理を終了しないと判定された場合、ステップＳ３１以降の処理が繰り返される。一方、ステップＳ３６において、処理を終了すると判定された場合、処理は終了される。

（１４．４．２）特徴データを補正する方法（方法２）の場合
次に、図４６のフローチャートを参照して、抽出された特徴データに適宜補正を行う処理について説明する。

ステップＳ５１において、図４２の特徴抽出処理系３３１により特徴抽出処理が行われる。特徴抽出処理系３３１により得られた特徴データは特徴データ補正処理系３３２と切換え処理系３３３に出力される。

ステップＳ５２において、画サイズ検出系３１１により黒部分の検出、画サイズの判定（属性判定）が行われ、ステップＳ５３に進み、システムコントローラ系６０により、処理対象の画像が、黒部分が含まれない第１の属性の画像であるか否かが画サイズ検出系３１１による属性判定の結果に基づいて判定される。

ステップＳ５３において、処理対象の画像が、黒部分が含まれる属性の画像であると判定された場合、ステップＳ５４に進み、特徴データ補正処理系３３２による信号処理として、ステップＳ５１で特徴抽出処理系３３１により抽出された特徴データの補正処理が行われる。特徴抽出処理系３３１により補正された特徴データは切換え処理系３３３に出力される。

ステップＳ５４において特徴データの補正処理が行われた後、または、ステップＳ５３において、処理対象の画像が、黒部分が含まれない第１の属性の画像であると判定された場合、ステップＳ５５に進み、切換え処理系３３３から出力された特徴データが例えば記録媒体Ａなどに記録される。また、ステップＳ５５においては、特徴データに基づいて生成されたプレイリストデータやチャプターデータが記録媒体Ａなどに記録される。

すなわち、処理対象の画像が、黒部分が含まれる属性の画像であると判定された場合、特徴データ補正処理系３３２において補正処理が施された特徴データが外部に出力され、記録される。また、黒部分が含まれない第１の属性の画像であると判定された場合、特徴抽出処理系３３１により抽出された特徴データがそのまま外部に出力され、記録される。

ステップＳ５６において、処理を終了するか否かが判定され、例えば、処理対象の画像がまだ供給されてくることから処理を終了しないと判定された場合、ステップＳ５１以降の処理が繰り返される。一方、ステップＳ５６において、処理を終了すると判定された場合、処理は終了される。

（１４．４．３）特徴抽出処理の処理範囲を変更する方法（方法３）の場合
図４７のフローチャートを参照して、処理範囲を変更して行う特徴抽出処理について説明する。

ステップＳ７１において、図４４の画サイズ検出系３１１により黒部分の検出、画サイズの判定（属性判定）が行われ、ステップＳ７２に進み、システムコントローラ系６０により、処理対象の画像が、黒部分が含まれない第１の属性の画像であるか否かが画サイズ検出系３１１による判定結果に基づいて判定される。

ステップＳ７２において、処理対象の画像が、黒部分が含まれない第１の属性の画像であると判定された場合、ステップＳ７３に進み、システムコントローラ系６０による制御に従って、画像全体を対象とした特徴抽出処理（特徴抽出処理１）が特徴抽出処理系３５１により行われる。

一方、ステップＳ７２において、処理対象の画像が、黒部分が含まれる属性の画像であると判定された場合、ステップＳ７４に進み、システムコントローラ系６０による制御に従って、黒部分を除いた有効領域の範囲のみの画像データを対象とした特徴抽出処理（特徴抽出処理２）が特徴抽出処理系３５１により行われる。

ステップＳ７３またはＳ７４の処理において抽出された特徴データは外部に出力され、ステップＳ７５において例えば記録媒体Ａなどに記録される。また、ステップＳ７５においては、特徴データに基づいて生成されたプレイリストデータやチャプターデータが記録媒体Ａなどに記録される。

ステップＳ７６において、処理を終了するか否かが判定され、例えば、処理対象の画像がまだ供給されてくることから処理を終了しないと判定された場合、ステップＳ７１以降の処理が繰り返される。一方、ステップＳ７６において、処理を終了すると判定された場合、処理は終了される。

以上のいずれの処理によっても、通常画サイズの地上アナログ放送の番組と、画サイズが１６：９の地上デジタル放送のハイビジョン番組のいずれの番組のデータからでも、整合性のとれた特徴データを抽出することができ、それにより定められる特徴点、ダイジェスト再生区間などをほぼ同じ位置に設定することが可能になる。

これにより、通常画サイズの地上アナログ放送の番組と、画サイズが１６：９の地上デジタル放送のハイビジョン番組が同じ内容の番組である場合であっても、例えばダイジェスト再生を指示したときにはほぼ同じ区間が再生されることになり、番組毎に再生区間が異なることによりユーザが違和感を感じるといったことを防止することができる。

また、以上のような構成をもって処理が行われることにより、通常画サイズの地上アナログ放送の番組の処理を行う場合と、画サイズが１６：９の地上デジタル放送のハイビジョン番組の処理を行う場合とで共通の構成を用いることができ、それぞれの番組を処理する専用の構成をそれぞれ用意する必要がない。

以上においては、通常DVDより高画質での記録が可能なフォーマットとして、BDフォーマット、またはHD-DVDフォーマットが用いられるものとしたが、フォーマットはこれに限定されるものではなく、例えば、BDフォーマットとHD-DVDフォーマットの双方に汎用性を持たせた１つのフォーマットであってもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、そのソフトウェアを実行させる装置は、例えば、図４８に示されるようなパーソナルコンピュータにより構成される。

図４８において、CPU(Central Processing Unit)４０１は、ROM(Read Only Memory)４０２に記憶されているプログラム、または、記憶部４０８からRAM(Random Access Memory)４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４０５も接続されている。

入出力インタフェース４０５には、キーボード、マウスなどよりなる入力部４０６、LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４０７、ハードディスクなどより構成される記憶部４０８、ネットワークを介しての通信処理を行う通信部４０９が接続されている。

入出力インタフェース４０５にはまた、必要に応じてドライブ４１０が接続される。ドライブ４１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア４１１が適宜装着され、それから読み出されたコンピュータプログラムが必要に応じて記憶部４０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図４８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。

なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

特徴データの整合性について説明する図である。 特徴データの整合性について説明する他の図である。 ２記録方式での記録の例を示す図である。 ２記録方式での記録の他の例を示す図である。 再生の例を示す図である。 プレイリストをテキストデータとして表示した場合の例を示す図である。 特徴データ、特殊再生用データの記録先の組合せの例を示す図である。 特徴データとプレイリストデータの記録状態の例を示す図である。 ディスク状の記録媒体を上方から見た図である。 特徴データ、特殊再生用データの記録先の組合せの他の例を示す図である。 同じコンテンツを複数の記録方式で記録する記録側の構成例を示すブロック図である。 同じコンテンツを複数の記録方式で記録する記録側の他の構成例を示すブロック図である。 記録順序の例を示す図である。 ダイジェスト再生およびチャプター処理について説明する図である。 チャプター画像の表示例を示す図である。 記録再生装置全体の構成例を示すブロック図である。 メッセージの表示例を示す図である。 他のメッセージの表示例を示す図である。 記録再生装置全体の他の構成例を示すブロック図である。 音声系の特徴抽出を行う構成の例を示すブロック図である。 音声系の特徴抽出を行う構成の他の例を示すブロック図である。 画像系の特徴抽出を行う構成の例を示すブロック図である。 シーンチェンジの検出に用いられる領域の例を示す図である。 テロップ領域、カラー特徴の検出に用いられる領域の例を示す図である。 記録媒体Ａのデータの記録状況と、記録媒体Ｂに記録することが可能な記録方式の組合せの例を示す図である。 MPEG方式におけるデータ属性を示す図である。 データの記録容量の例を示す図である。 各時間帯に採用される記録方式の例を示す図である。 各時間帯に採用される記録方式の他の例を示す図である。 記録時間と記録容量の特性の例を示す図である。 記録処理について説明するフローチャートである。 記録処理について説明する、図３１に続くフローチャートである。 記録再生装置の一部の構成例を示すブロック図である。 番組の表示例を示す図である。 特徴データの整合性をとることができない理由について説明する図である。 特徴データの整合性をとることができない理由について説明する他の図である。 補間の例を示す図である。 補間の例を示す図である。 記録再生装置の一部の構成例を示すブロック図である。 特徴量の検出領域の例を示す図である。 特徴量の検出領域の例を示す図である。 記録再生装置の一部の構成例を示すブロック図である。 図４２の特徴データ補正処理系の詳細な構成例を示すブロック図である。 記録再生装置の一部の構成例を示すブロック図である。 画像信号を補間して特徴抽出処理を行う一連の処理について説明するフローチャートである。 特徴抽出処理の後に補正処理を行う処理について説明するフローチャートである。 処理範囲を変更して行う特徴抽出処理について説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 記録媒体， ２−１ 信号処理系（信号処理方式１）， ２−２ 信号処理系（信号処理方式２）， １０−１ 信号処理系（信号処理方式１）， １０−２ 信号処理系（信号処理方式２）， ２１ 記録方式１エンコード処理系， ２２ 記録方式２エンコード処理系， ２３ 特徴データ信号処理系， ２４ 記録方式１記録信号処理系， ２５ 記録方式２記録信号処理系， ２６ プレイリストデータ（チャプターデータ）信号処理系， ２７ メモリ系， ３０１ 地上デジタル受信処理系， ３０２ 地上アナログ受信処理系， ３１１ 画サイズ検出系， ３２１ 画像信号補間処理系， ３２２ 切換え処理系， ３２３ 特徴抽出処理系， ３３１ 特徴抽出処理系， ３３２ 特徴データ補正処理系， ３３３ 切換え処理系， ３５１ 特徴抽出処理系

Claims (14)

1. 処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像を前記モニタに表示したときに有効となる領域のデータに基づいて、前記モニタの画サイズと同じ画サイズの画像を生成する生成手段と、
   前記生成手段により生成された画像から第１の特徴を抽出する抽出手段と
   を備える情報処理装置。
2. 前記抽出手段は、さらに、前記処理対象の画像の画サイズが前記モニタの画サイズと同じである場合、前記処理対象の画像から第２の特徴を抽出する
   請求項１に記載の情報処理装置。
3. 前記抽出手段により抽出された前記第１の特徴を表すデータを、前記モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、前記第２の特徴を表すデータを、前記モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして前記所定の記録媒体に記録させる記録制御手段をさらに備える
   請求項２に記載の情報処理装置。
4. 画像の特徴を抽出する情報処理方法において、
   処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像を前記モニタに表示したときに有効となる領域のデータに基づいて、前記モニタの画サイズと同じ画サイズの画像を生成する生成ステップと、
   前記生成ステップの処理により生成された画像から特徴を抽出する抽出ステップと
   を含む情報処理方法。
5. 画像の特徴を抽出する処理をコンピュータに実行させるプログラムにおいて、
   処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像を前記モニタに表示したときに有効となる領域のデータに基づいて、前記モニタの画サイズと同じ画サイズの画像を生成する生成ステップと、
   前記生成ステップの処理により生成された画像から特徴を抽出する抽出ステップと
   を含むプログラム。
6. 処理対象の画像から特徴を抽出する抽出手段と、
   前記処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの特徴抽出に用いられた領域と、前記処理対象の画像を前記モニタに表示したときに有効となる領域のうちの、前記特徴抽出に用いられた領域に対応する領域との大きさの比に基づいて、前記モニタの画サイズと異なる画サイズの画像から前記抽出手段により抽出された特徴を補正する補正手段と
   を備える情報処理装置。
7. 前記補正手段により補正された特徴を表すデータを、前記モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、前記モニタの画サイズと同じ画サイズの画像から前記抽出手段により抽出された特徴を表すデータを、前記モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして前記所定の記録媒体に記録させる記録制御手段をさらに備える
   請求項６に記載の情報処理装置。
8. 画像の特徴を抽出する情報処理方法において、
   処理対象の画像から特徴を抽出する抽出ステップと、
   前記処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの特徴抽出に用いられた領域と、前記処理対象の画像を前記モニタに表示したときに有効となる領域のうちの、前記特徴抽出に用いられた領域に対応する領域との大きさの比に基づいて、前記モニタの画サイズと異なる画サイズの画像から前記抽出ステップの処理により抽出された特徴を補正する補正ステップと
   を含む情報処理方法。
9. 画像の特徴を抽出する処理をコンピュータに実行させるプログラムにおいて、
   処理対象の画像から特徴を抽出する抽出ステップと、
   前記処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの特徴抽出に用いられた領域と、前記処理対象の画像を前記モニタに表示したときに有効となる領域のうちの、前記特徴抽出に用いられた領域に対応する領域との大きさの比に基づいて、前記モニタの画サイズと異なる画サイズの画像から前記抽出ステップの処理により抽出された特徴を補正する補正ステップと
   を含むプログラム。
10. 処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの、前記処理対象の画像をモニタに表示したときに有効となる領域から第１の特徴を抽出する抽出手段を備える情報処理装置。
11. 前記抽出手段は、さらに、前記処理対象の画像の画サイズが前記モニタの画サイズと同じである場合、前記処理対象の画像の全ての領域から第２の特徴を抽出する
    請求項１０に記載の情報処理装置。
12. 前記抽出手段により抽出された前記第１の特徴を表すデータを、前記モニタの画サイズと異なる画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして所定の記録媒体に記録させるとともに、前記第２の特徴を表すデータを、前記モニタの画サイズと同じ画サイズの画像からなるコンテンツの再生時に再生位置を特定するために参照されるデータとして前記所定の記録媒体に記録させる記録制御手段をさらに備える
    請求項１１に記載の情報処理装置。
13. 画像の特徴を抽出する情報処理方法において、
    処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの、前記処理対象の画像をモニタに表示したときに有効となる領域から特徴を抽出する抽出ステップを含む情報処理方法。
14. 画像の特徴を抽出する処理をコンピュータに実行させるプログラムにおいて、
    処理対象の画像の画サイズがモニタの画サイズと異なる場合、前記処理対象の画像のうちの、前記処理対象の画像をモニタに表示したときに有効となる領域から特徴を抽出する抽出ステップを含むプログラム。

Images