JP2006054619A - 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 - Google Patents

Abstract

【課題】 特徴抽出データを効率良く処理し、効果的なダイジェスト再生、チャプターデータを用いる種々の動作を効率良く行う。
【解決手段】 所定の記録媒体を用いて所定の画像音声情報信号を所定の帯域圧縮信号処理により記録又は再生を行うにあたり、画像音声情報信号を記録する場合に、所定第１の記録方法又は信号入力方法の場合には画像又は音声信号における所定の特性信号を記録の際に自動的に抽出処理し、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作により自動的に行うか所望の時に手動的に行うかを選択して行う。
【選択図】 図４５

Description

本発明は、例えば放送番組における映像信号、音声信号などの画像音声情報信号をＭＰＥＧなど所定の帯域圧縮処理を行い、光磁気ディスク、ハードディスク（HDD:Hard Disk Drive）、半導体メモリーなどの所定記録媒体に記録し再生する記録再生装置において、所定のダイジェスト再生処理などの特殊再生動作を行う場合の情報信号処理方法、情報信号処理装置及びプログラム記録媒体に関する。

従来のＶＴＲやディスク記録再生装置においては、長時間記録した記録内容を短時間で再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ１．５〜２倍速程度で再生処理が行われている。

さらに短時間で再生しその要約再生（ダイジェスト再生）を行おうとすると、高速度の音声出力では内容が理解できにくいため、無音とし画像出力のみの再生処理を行うことが一般的であった。

そこで、記録する放送番組の画像音声データから所定の特徴データを抽出して、その所定の特徴データを用いてキーフレーム（重要フレーム）と思われるキーフレーム区間の検出を行い、あらかじめ決めた所定の規則に従って、所定のキーフレーク区間を順次選択して再生することで、元の記録した放送番組の記録時間よりも短い所定時間内でダイジェスト再生を行うことが考えられている。

また、記録した所定区間において、一定時間間隔、例えば３分、５分、１０分などの間隔ごとに再生位置を示す位置情報データを自動で生成するか、又は、ユーザーが手動で所望の位置に位置情報データを生成する、いわゆるチャプターデータ生成を行い、その位置情報データ（チャプターデータ）を利用して、スキップ再生、編集操作、サムネール画像表示を行うことが考えられている。

特開２００２−３４４８７２号公報

上記の特徴データは、画像信号と音声信号毎に複数の特徴データを検出することができ、各々の特徴データを例えば、画像音声信号の記録の際に抽出処理を行い、画像音声記録データと共に抽出データを記録媒体に記録することが考えられる。

これら記録された特徴データを読み出して所定のルール処理によりダイジェスト再生区間を決定する信号処理を行うことになるが、複数存在する特徴データを各々別々にファイルとして記録媒体に記録したのでは、ファイルの数が多くなり、信号処理の際におけるファイルの取扱が煩雑になり効率的ではなく、従来ではこれらの問題を解決する効果的な技術はなかった。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、特徴抽出データを用いる効果的なダイジェスト再生動作又はチャプター処理を行うために、特徴抽出データを効率良く処理し、効果的なダイジェスト再生、チャプターデータを用いる種々の動作を効率良く行うための情報信号処理方法、情報信号処理装置及びプログラム記録媒体を提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明は、所定の記録媒体を用いて所定の画像音声情報信号を所定の帯域圧縮信号処理により記録又は再生を行う情報信号処理方法において、画像音声情報信号を記録する場合に、所定第１の記録方法又は信号入力方法の場合には、画像又は音声信号における所定の特性信号を記録の際に自動的に抽出処理し、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作により自動的に行うか所望の時に手動的に行うかを選択して行うことを特徴とする。

本発明に係る情報信号処理装置は、所定の画像音声情報信号を所定第１の記録方法又は信号入力方法と上記第１以外の記録方法又は信号入力方法により所定の記録媒体に記録を行う記録手段と、上記画像音声情報信号の所定区間毎に所定の特性データを抽出処理する特性データ抽出手段と、上記記録手段よる上記第１の記録方法又は信号入力方法の場合には上記特性データ抽出手段により上記特性データ抽出処理を自動的に上記画像音声情報信号の記録の際に行い、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作手段により自動的に行うか所望の時に手動的に行うかを選択して行う情報処理手段とを備えたことを特徴とする。

本発明は、所定の記録媒体を用いて所定の画像音声情報信号を所定の帯域圧縮信号処理により記録又は再生を行う制御プログラムがコンピュータにより読み取り実行可能に記録されたプログラム記録媒体であって、画像音声情報信号を記録する場合に、所定第１の記録方法又は信号入力方法の場合には、画像又は音声信号における所定の特性信号を記録の際に自動的に抽出処理し、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作により自動的に行うか所望の時に手動的に行うかを選択して行うことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されてなる。

本発明により、画像音声情報信号記録再生において入力方法や記録方法によらず効率的に所定の特徴抽出処理を行うことができ、これにより特徴抽出データを用いた効果的なダイジェスト再生やチャプターデータ（所定の記録位置情報データ）設定といった機能を効率的に実現できる。

また、本発明によりユーザーが上記のようなある機能が搭載されていない記録再生装置を購入した後でも、その機能が欲しいと思った場合に購入した装置そのものに、その機能を容易に動作可能な状態とすることができる。

さらに、基本的な機能だけを装備した記録再生装置を初期段階で販売し、その後、色々な各ユーザーの要望に応じて自分の欲しい機能を購入した装置そのものに容易に後から装備することができるので、ユーザーは効率的にその装置を購入することができる。

本発明によれば、複数種類の異なる画像特徴データと音声特徴データを効率良く各々の特徴データファイル又は１つの特徴データファイルとしてまとめることができる。例えば、画像特徴のカメラ特徴、テロップ特徴、シーン特徴、カラー特徴、音声特徴といった複数ある特徴データを所定の書式により効率良くデータファイルとして処理を行うことができ、画像音声データファイルと共に所定の記録媒体に記録してファイル管理、信号処理の際のファイル処理なども効率的に行うことができる。

また、特徴データ毎にファイルを設けないので、記録媒体において特徴データ毎にファイルを設ける場合に比べてそれだけファイルが占有する記録容量が少なくてすむことになる。

以下、本発明の実施の形態について、図面を参照して以下の順序で詳細に説明する。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
（１）本発明を適用したシステムの概要
１．１ 特徴抽出データを用いた要約再生及び所定時点設定処理
ここでは、本発明の動作処理概要について説明する。

下記の動作概要に関係する信号処理については、ここでの項目の他に後の項目で詳細に説明する。

また、下記の説明でプレイリスト（プレイリストデータ）生成に関する記述について、特別に記述する他に、特別に記述しない場合でもプレイリストデータ生成と所定チャプターデータ（所定の記録位置情報データ。以下同様）を一緒に生成処理するものとしても良い。

特徴抽出データを用いた要約再生（ダイジェスト再生）及びチャプター処理の説明図を図１の（Ａ）〜（Ｇ）に示す。

はじめに特徴抽出データを用いた要約再生動作について説明する。
（特徴抽出データを用いたダイジェスト再生処理）
ここでは、図１の（Ａ）に示すような画像音声データ系列があると想定する。

この画像音声データ系列は、放送番組や映画ソフトその他などが考えられ、ハードディスク（ＨＤＤ）や光磁気ディスク、大容量半導体メモリーなど所定の記録媒体を用いて、ＭＰＥＧなど所定の帯域圧縮信号処理を用いて記録及び再生処理を行うものと仮定する。

上記画像音声データ系列において、所定の意味的を設定し、シーンチェンジ、音声セグメントなどに応じて所定のビデオ構造（意味的ビデオ構造）に区切った所定区間の概念図を図１の（Ｂ）に示す。

この所定の意味の設定処理、所定区間の設定処理、ビデオ構造などについては後で説明する。

ここで、図１の（Ｃ）に示すように、上記意味を設定所定の区間に区切った各々の区間毎に、所定時間内に記録された全区間、所定プログラム区間など、所定の全区間における上記各々の区間の所定評価値を設定する。

ここで、上記所定評価値は上記所定全区間における所定キーフレーム（重要フレーム、重要（画像音声）区間）となる場合ほど、所定の高い評価値（評価データ）を設定すると仮定する。

すなわち、所定の評価データ区間を再生すれば、その区間にはキーフレーム区間が含まれるので、全区間を再生しなくても概要を把握することができることになる。

図１の（Ｃ）は上記所定評価値区間の概要を示すもので、図１の（Ａ）に示す画像音声データ系列で、ｆ１〜ｆ２、ｆ４〜ｆ５、ｆ７〜ｆ８の各区間が評価値において設定したしきい値Ｔｈ以上の区間で、図１の（Ｄ）に示すようにＡ１、Ａ２、Ａ３の各区間を所定の要約再生モード時にスキップ再生することで所定のダイジェスト再生を行うことになる。
（特徴抽出データを用いた自動チャプター処理）
図１の（Ｅ）はチャプター点を設定する場合の概念図であり、先に説明したような、所定キーフレーム（重要フレーム、重要評価値区間）の先頭又はその近傍、及び、そのキーフレームの区間の最後に続く（最後に接続する）キーフレーム区間ではない区間の先頭又はその近傍にチャプター点を設定することが考えられる。

ここで、例えば、従来技術のＤＶＤ記録再生装置で自動チャプター機能と言われる所定区間の区切り点を設定することで、その時点を編集操作の目安にしたり、早送りフォワード再生（ＦＦ再生）、早送り逆再生（リワインド再生、ＲＥＷ再生）などの場合に利用できることが考えられる。

従来技術では、上記の自動チャプター機能として、例えば、５分等間隔、１０分等間隔、１５分等間隔などのように時間間隔が等間隔の処理が行われるものが知られており、このようなチャプター処理では図１の（Ｇ）に示すように、キーフレームと思われる時点の開始点にはチャプター点を設定できない場合が考えられる。

また、従来技術においては、手動チャプター処理という、ユーザー自身が、所望するに任意の時点にチャプター点を設定できる機能もあるが、ユーザー自身が記録した、あるいは記録する番組（プログラム）を実際に見て設定処理を行うことになるので、ユーザーにとっては面倒な操作であり、効率的ではないと考えられる。

しかし、先に説明したように、本発明の特徴抽出データを用いたチャプター点設定処理では、図１の（Ｅ）に示すように、適切にキーフレーム区間の先頭又はその近傍と、そのキーフレーム区間の最後に接続される（又は最後に続く）キーフレーム区間ではない区間の先頭又はその近傍にチャプター点を自動的に設定処理することができるので、従来技術によるチャプター処理よりも、より効果的なチャプター点設定を行うことができるとともに、このチャプター処理を用いた効果的な編集操作（編集処理）や、ＦＦ再生、ＲＥＷ再生を行うことができる。

ここで、図１の（Ｆ）に示す自動設定したチャプター点を所定の大きさのサムネール画像として所定の画像モニターに表示させる場合の概念図を図２に示す。

図１の（Ｆ）に示すように、ｆ１、ｆ４、ｆ７が各々、所定キーフレーム区間Ａ１、Ａ２、Ａ３の先頭（又はその近傍）で、ｆ３、ｆ６、ｆ９が各々Ａ１、Ａ２、Ａ３の区間の後のキーフレーム区間ではない区間Ｂ１、Ｂ２、Ｂ３の先頭（又はその近傍）であり、ユーザーは図２のような表示画面を見ることで、例えば、記録再生装置の処理記録媒体であるハードディスクに記録された放送番組で図１の（Ｄ）に示すキーフレーム区間Ａ１、Ａ２、Ａ３を切り出し、ＤＶＤなどのディスク記録媒体に編集操作で記録することなどの処理や、ｆ１、ｆ４、ｆ７の時点にスキップ再生するなどの操作を想定することが考えられる。

図１（Ｇ）に従来技術による所定時点設定点（チャプター点）の一例を示すように、所定の一定間隔、例えば、５分間隔、１０分間隔などの一定間隔又は略一定間隔で設定点（チャプター点）が設定処理されるが、図１の（Ｃ）、（Ｇ）から分かるように、必ずしもキーフレーム（重要フレーム）に設定されるとは限らない。

このように本発明における特徴抽出データを用いて自動的に所定のチャプター点（所定設定点、又は所定区切り点）又はセグメント処理を行うことで、より効果的な編集操作やスキップ再生を行うことができる。

１．２ 本発明の処理プロセスの一例
本発明における処理プロセスの一例を図３に示す。

図３に示す処理プロセスの一例では、ＭＰＥＧ画像音声ストリームデータから、画像系及び音声系の各特徴データを抽出する特徴抽出処理（２）を含んでいる。

ここでは、簡単のためＭＰＥＧデータ（１）は、所定記録媒体に記録する、又は、所定記録媒体に記録されているデータを想定しているが、例えば、所定の伝送系（有線系又は無線系）において伝送される画像音声データにおいても同様に本発明を適用することができる。

特徴抽出処理（２）は、記録処理と同時に行うことができるが、所定の記録媒体にすでに画像音声データが記録されている場合には、その記録媒体から再生して所定の特徴抽出処理を行うことも考えられる。

ここで、規則処理（ルール処理）について説明する。

ルール処理は、ルールが所定の様式で記述されたファイル、又は、データを用いて所定の処理が行われる。

ルールファイル、ルールデータは、例えば、番組ジャンルに応じた特徴データに基づくルールが記述されており、このルールファイル、ルールデータと所定区間の各特徴データが記述されたＰＵ特徴データファイル（再生ユニット化特徴データ）との演算により、所定プレイユニットファイルが生成されることになる。

ここで、説明を分かりやすくするため、便宜上、所定番組ジャンルｎに対するルールファイルをＲｆ（ｎ）、ＰＵファイル（特徴データファイル）をＰｕ、プレイリストファイルをＤｆとし、所望の要約時間をｔとすると、以下の（１）式のような演算で表現できる。

Ｄｆ＝Ｐｕ（＊）Ｒｆ（ｎ）（＊）ｔ （１）式
ここで、（＊）は所定ファイルのデータを用いた所定の演算子と仮定する。

ルールファイル、ルールデータＲｆ（ｎ）は、以下で説明するように、例えば、所定の書式で記述され、所定の時間補正関数、意味の記述、意味の重み付け係数（評価値、重要度）その他などの所定パラメータのデータなどにより構成されている。

（再生ユニット処理）
特徴抽出処理（２）の後は、本発明の特徴の一つであるＰＵ（再生ユニット（プレイユニット））処理（３）を行う。

ＰＵ処理（３）において、各特徴データは、ＰＵという区切り（セグメント）（４）で所定のデータとして、又は、ファイルとして所定の記録媒体又はバッファメモリーに記録（記憶）される。
（規則１処理）
ＰＵデータは、所定の規則１処理（５）によりＰＵの意味付け処理が行われる。後で説明するが、規則１処理（５）の概要は次の通りである。

（処理１） 各特徴の取り出し
（処理２） 特徴の組合せから第１ルールで表現されている意味の中で最も条件を満たすものを選択
（処理３） 選択された意味をそのＰＵの意味として採用
この規則１処理（５）では、ＥＰＧ（電子番組ガイド）その他により、番組ジャンル、又は、過去にユーザーが視聴した番組ジャンル、時間帯、再生回数、再生時刻、再生日時、その他などのパラメータ、サイド情報などが利用できる場合には、これらパラメータを考慮して所定の処理を行うようにしても良い。

この処理に関連して行われる時間補正関数の処理については後で説明する。

（規則２処理）
意味付けされたＰＵ（６）は、所定の規則２処理（７）で所定の評価値処理が行われる。

規則２処理（７）では、次の（処理１）及び（処理２）の重要度についての評価値処理を行う。

（処理１） 意味の重要度
（処理２） 意味の出現パターンによる重要度
所定の評価値処理が行われたＰＵ（８）では、ＰＵ単体、又は、ＰＵが幾つか連結されたＰＵ群で所定の評価値が付けられている。

ここで、規則１処理（５）、規則２処理（７）では、図４に示すように、ルール切り替え処理系９００により、複数の番組ジャンルに応じたルール処理データとして、ジャンルＡ規則データ、ジャンルＢ規則データ、ジャンルＣ規則データ、・・・と幾つかの規則処理用データ（ルール処理データ）を備え、システムコントローラー系２０に入力した番組ジャンル情報データに応じて、規則１処理（５）、規則２処理（７）、又は、どちらか一方のルール処理を切り替えることも考えられる。

また、図４に示すように、個人別にルール処理用データを幾つか設けて切り替えることも考えられる。

この場合は、所定動作モードにおいて、システムコントローラーに入力された所定のユーザーによる設定処理により、個人１用規則処理データ、個人２用規則処理データ、個人３用規則処理データ、・・・のいずれかが、システムコントローラー系２０を介して選択処理され、その選択された規則処理データに基づいて所定のルール処理が行われる。

図４に示すような個人別の規則処理データを設けることで、例えば個人別に、通常再生又は特殊再生などの所定再生動作を行い、その再生状態、再生位置などの動作情報、動作位置情報などを所定の個人別規則処理に反映できるように所定メモリー手段に記憶して、それら情報データを所定の学習処理により、個人別規則処理データとして、随時、所定のタイミングでデータを更新処理するなどの動作を行うことが考えられ、そのような個人別学習処理には有効な信号処理方法と考えられる。

図４に示すように、ルール切り替え処理系９０１により各個人別ルール処理（規則処理）を切り替える場合も、規則１処理（５）、規則２処理（７）、又は、どちらか一方のルール処理を切り替えることが考えられる。

（規則処理の書式）
（規則１処理の場合）
ここで、意味付け処理されたＰＵは、例えば、ある放送番組を想定した場合に、以下のような英文字と意味を設定して、所定、画像音声特徴データと関連させて記述する。

文字に対する意味付けは、その放送番組においてキーフレーム（重要フレーム、重要シーン）と想定されるであろうシーン、又は要約再生、チャプター設定などに有効と想定される所定の記録、再生区間を選択して記述する。

また、場合によっては、ユーザーが所望するシーンを記述することも考えられる。

この場合は、所定の調整モードなどで、ユーザーが所望するルールを記述できるようにすることも考えられる。

ここで、図５の上段に示すように、ニュース番組、相撲番組の場合の一例について示すと次の表１のようになる。

ここで、例えば、この例ではａでアナウンサーのシーンを抜き出すルールを記述しているが、一つの規則処理では、すべての想定されるａのシーン（アナウンサーの出現シーン）を抽出することはできないと思われるため、幾つかの複数の規則に分けて記述することも考えられる。

ｂ，ｃ，ｄ，ｅなど他の場合についても同様に複数の規則に分けて考えることもできる。

相撲番組の場合では、次の表２のようになる。

この場合についても、各文字に対して複数の規則を設定することが考えられる。

場合に応じて、抽出したいシーン（キーフレーム）の想定される規則を分けて記述を行う。

また、放送番組では、一義的に意味付けできないシーンも想定できるので、例えば、設定文字として、＠を考え、次の表３のようの設定することも考えられる。

このように設定した設定文字（意味文字）に対する規則１処理について、ニュース番組の場合を例に具体的に説明する。

図１８に示すように、各所定の特徴データが検出される場合に、上述したニュース番組の場合の定義文字ａ，ｂ，ｃ，ｄ，ｅに対する各シーンが対応すると仮定する。

ここで、○の場合は論理積、△の場合は論理和の所定処理と仮定し、例えば、定義文字ａ のアナウンサーのシーンでは、音声特徴の属性が話者音声、色特徴の検出領域２又は検出領域３で所定の色が検出され、類似画像情報の頻度１位又は２位が検出され、人物特徴の検出領域１又は検出領域２又は検出領域５で検出され、カメラ特徴は静止の場合と想定できる。

他のｂ，ｃ，ｄ，ｅなども図５の各○、△印に応じて、上記ａの場合と同様に、各所定の特徴データと関係付けて、意味文字と特徴データを関係付けできる。

上述したように各意味文字と各特徴データは、所定の処理すなわち規則１処理、規則２処理を行うために、所定の書式にしたがって記述することが考えられる。

図６の（Ａ）はその一例で、ベクトル成分のように想定して記述するものである。

すなわち、図５に示した各特徴データを、例えば、音声特徴の属性とし、属性が話者音声はＡ１、属性が音楽はＡ２、属性がその他はＡ３とする。

映像特徴の色特徴で領域１はＢ１、領域２はＢ２などとする。

以下、同様に、各特徴に対して、Ｂ１〜Ｂ４、Ｃ１〜Ｃ２、Ｄ１〜Ｄ５、Ｅ１〜Ｅ４、Ｆ１〜Ｆ４、Ｇ１などが設定できる。

図６の（Ａ）において、例えば、意味文字ａの場合は次の（２）式のように記述できる。

ａ＝１．０（Ａ１）１００＊（１．０（Ｂ２）１００＋１．０（Ｂ３）１００）＊（１．０（Ｃ１）１００＋１．０（Ｃ２）１００）＊（１．０（Ｄ１）１００＋１．０（Ｄ２）１００＋１．０（Ｄ５）１００）＊１．０（Ｆ１）１００ （２）式
他の意味文字に対しても、図６の（Ａ）のように記述できる。

なお、ここで、「＊」は論理積（ＡＮＤ）、「＋」は論理和（ＯＲ）と同様の所定演算を表現するものと仮定する。

ここで、例えば１．０（Ａ１）１００の記述について考える。

上記したように、（Ａ１）は、音声特徴で属性が話者音声の場合を表現している。

（重み付け係数）
１．０（Ａ１）１００の１．０は、（Ａ１）に対する重み付け係数で、ここでは、便宜上、０〜１．０の範囲を想定している。

重み付け係数は、所定演算を行うための、便宜的な係数なので、重み付け係数は、０〜１００、又は０〜１０の範囲で設定する（記述する）ことも考えられる。

（検出割合係数）
１．０（Ａ１）１００の１００は、（Ａ１）に対する検出割合係数で、その再生ユニット区間で、１００％検出される場合に、１．０（Ａ１）１００は、その条件を満たすものとする。

例えば、１．０（Ａ１）５０の場合は、その再生ユニット区間で、５０％検出される場合に、１．０（Ａ１）１００は、その条件を満たすものとする。

この検出割合については、下記の（３）式で説明する。

ここで、検出割合係数は、便宜上、０〜１００の範囲を想定している。

検出割合係数は、所定演算を行うための、便宜的な係数なので、０〜１の範囲で設定することや、０〜１０の範囲で設定する（記述する）ことも考えられる。

ここで、この検出割合係数は、その特性がその再生ユニット区間で検出できた割合と考えることもできる。

例えば、上記１．０（Ａ１）１００では、話者音声が１００％検出しなければ、（Ａ１）の特性を検出したと判定しないと考えることができる。

例えば、１．０（Ａ１）５０では、５０％検出したらその特性を検出したと判定する。

すなわち、その所定区間において、所定の特性が検出された割合を係数で表現できるとも考えられる。

（特徴（抽出）データの検出割合）
そこで、特性の検出の割合について考える。

後に図３４〜図３５を参照して処理方法について説明するが、本発明では、音声セグメント特徴とシーンチェンジ特徴に応じて設定処理される再生ユニット（又はプレイユニット）（ＰＵ）という所定の区間を設定する処理概念を導入している。

そこで、例えば、そのＰＵ区間全体に対する所定の特徴データが検出された割合で、上記で言及した各所定の特性の割合を演算することが考えられる。

例えば、図７において、ある再生ユニットの区間長（フレーム長、時間長など）をｆａとし、ある特徴データＰの検出区間をｆ０，ｆ１と仮定すると、この場合の特徴データＰの検出割合Ｆは、次の（３）式にて演算処理することができる。

Ｆ＝Σｆｉ／ｆａ
＝（ｆ０＋ｆ１）／ｆａ （３）式
この（３）式による演算値は、後で説明する評価値処理において用いることになる。

（評価値の演算方法の例）（例１）
評価値（重要度）の演算方法の一例を示す。

各特徴データについて、理想値と検出結果を考えて以下のような処理を行う。
例えば、ｐ＝ｍ（Ｍ）ｎを考えて次の（処理１）〜（処理５）を行う。

（処理１） 上記（３）式を用いて、各所定特徴データの検出割合ｓを演算する。

（処理２） 上記検出割合係数ｎと比較して、
ｓ＜ｎの場合、ｐ＝ｍ×ｓ （４）式
ｓ≧ｎの場合、ｐ＝ｍ×１００ （５）式
とする。

（処理３） 上記処理で、各特徴Ｍにおいて、Ｍ１，Ｍ２・・・など同じ属性の特徴の場合で論理和（＋）処理の場合は平均処理を考える。

論理積（＊）処理の場合は、便宜上、論理積係数ｒというような処理概念を導入し、その平均処理の結果に掛けた値を考える。

（処理４） 上記の処理を各特徴データＭ毎に行い、各演算値の加算処理を行ってその処理結果をその評価値とする。

（処理５） 演算した評価値を比較して評価値が最も大きい場合の意味をその再生ユニットａの意味とする。

上記の評価値処理は、処理方法の一例で、検出された特徴データ、又はその再生ユニット区間において検出された割合などと、設定した「意味」との対応が所定の妥当性を持った処理方法であれば、上記以外の処理方法でも良い。

例えば、上記（処理３）の処理で論理積処理の場合は、平均化処理や論理積係数を掛けないで、同じ属性の特徴データを加算する処理だけにするなどの場合も考えられる。

上記（処理３）の処理の場合で、同じ特徴データで論理積処理の場合は、検出条件が論理和処理の場合と比較して厳しくなるので、検出値を論理和処理の場合よりも大きく取るように処理を行うように考えることもできる。

ここで、上記（２）式の場合について考える。

例えば、各特徴の検出割合を以下の表４のようにし、検出割合係数、重み係数を一緒に示す。

ここで、Ｂ２、Ｂ３や、Ｃ１、Ｃ２などのように同じ特徴の種類で、検出属性が異なる場合や、あるいは検出領域が異なる場合などで、論理和処理（＋）の場合は、便宜上、平均処理を考えて、（２）式から、評価値ｈは、次の（６）式にて示される。

ｈ＝１００＋（８０＋８０）／２＋（１００＋１００）／２＋（８０＋８０＋８０）／３＋８０
＝１００＋８０＋１００＋８０＋８０
＝４４０ （６）式
又は、特徴データの種類で平均化した値を評価値とすることも考えられ、その場合は、特徴データは、Ａ〜Ｆの５種類なので、次の（７）式に示すような評価値と考えることもできる。

ｈ＝４４０／５
＝８８ （７）式

（属性が同じ特徴データ間の関係が論理積処理の場合）
ここで、（２）式の処理で、同じ属性の特徴データ、例えば、Ｂ２、Ｂ３が論理積処理の場合、すなわち、（１．０（Ｂ２）１００＊１．０（Ｂ３）１００）のような場合について考える。

上記評価値処理の（処理３）から論理積処理係数ｒという概念を導入し、ｒ（８０＋８０）／２のような処理を考える。

例えば、ｒ＝１．５とすると、
ｈ＝１００＋１．５×（８０＋８０）／２＋（１００＋１００）／２＋（８０＋８０＋８０）／３＋８０
＝１００＋１２０＋１００＋８０＋８０
＝４８０ （８）式
また、特徴データの種類５で平均化処理して
ｈ＝４８０／５
＝９６ （９）式
という、評価値を考えることができる。

これは、論理積処理の場合が論理和処理に比較して条件が厳しいので、検出した「意味」の評価値を大きく設定した方が良いと考える場合である。

また、場合によっては、ｒ＝０．８として、
ｈ＝１００＋０．８×（８０＋８０）／２＋（１００＋１００）／２＋（８０＋８０＋８０）／３＋８０
＝１００＋６４＋１００＋８０＋８０
＝４２４ （１０）式
また、特徴データの種類５で平均化処理して
ｈ＝４２４／５
＝８４．５ （１１）式
という評価値を考えることもできる。

これは、上記の場合と逆の考えかたで、論理積処理の場合が論理和処理に比較して条件が厳しいので、評価値を小さく設定した方が良いと考える場合である。

（属性の異なる特徴データ間の関係が倫理和処理の場合）
ここで、例えば、（２）式で示したように、属性の異なる特徴データは、論理積演算子（＊）で表現しているが、論理和演算子（＋）の場合も考えられる。
簡単のため、（２）式で第１項目Ａ１、第２項目Ｂ２だけを考え、
ａ＝１．０（Ａ１）１００＋１．０（Ｂ２）１００ （１２）式
上記評価値演算方法（３）で説明したような、便宜上、論理和係数ｗというような概念を考えて処理を行うことが考えられる。
この場合、（１２）式から、評価値ｈは、
ｈ＝（１００＋８０）ｗ （１３）式
となる。ここで、
ｗ＝１
の場合は、論理積処理の場合で、
ａ＝１．０（Ａ１）１００＊１．０（Ｂ２）１００ （１４）式
ｈ＝１００＋８０
＝１８０ （１５）式
となる。

例えば、（８）式の論理和処理の場合には、
ｗ＝１．５ （１６）式
として、
ｈ＝（１００＋８０）×１．５
＝２７０ （１７）式
と、論理積処理の場合よりも高い評価値となるような処理を考えることもできる。

また、
ｗ＝０．８ （１８）式
として、
ｈ＝（１００＋８０）×０．８
＝１４４ （１９）式
のように、論理積処理よりも小さい評価値となるような処理も考えられる。

評価値処理は、設定した意味と各特徴データ、各種の係数などを結びつけた式の値の評価のために便宜上、導入した概念なので、上記評価式で考えた各係数の範囲、値などは、上記の説明でのべた場合に限らず、小さく、又は大きく設定することも考えられる。

以下のような評価値の演算により、ルールファイルにより、ルールに記述された再生ユニットの各区間の評価値が決められ、例えば、要約再生モードの場合は、要約再生時間に応じて、評価値の大きいＰＵ区間が選択され、要約時間にできるだけ近くなるように、段々と評価値の小さいＰＵ区間を選択していく。

そして、選択した各ＰＵ区間を再生することで、所定の要約再生が実現できる。

（評価値処理の他の処理方法）
上記で述べた各特徴データｎの一項と、所定演算子＊とから ｗ（Ｍ）＊ｋを考え、各所定特徴データの検出割合ｄｅｔ、検出割合係数ｋとして、評価式の各項の特徴データｎの重み係数をｗ（ｎ）として、演算関数Ｐと演算子＊を考える。

Ｐ（＊ｋ（ｎ），ｄｅｔ（ｎ））を考え、
ｄ（ｎ）＝Ｐ（＊ｋ（ｎ），ｄｅｔ（ｎ）） （２０）式
とする。

ここで、演算子＊以下の何れかに該当するものとして、
ｄ（ｎ）は、
（１） ＊＝（｜｜＞）の場合、すなわち Ｐ（（｜｜＞）ｋ（ｎ），ｄｅｔ（ｎ））で、
ｉｆ（ｋ（ｎ）≦ｄｅｔ（ｎ）） ｔｈｅｎ ｄ（ｎ）＝０ （２１）式
ｅｌｓｅ ｄ（ｎ）＝１００ （２２）式
（２） ＊＝（｜｜＜）の場合、すなわち Ｐ（（｜｜＜）ｋ（ｎ），ｄｅｔ（ｎ））で、
ｉｆ（ｋ（ｎ）＞ｄｅｔ（ｎ）） ｔｈｅｎ ｄ（ｎ）＝０ （２３）式
ｅｌｓｅ ｄ（ｎ）＝１００ （２４）式
となる。

上記（１）、（２）のような処理の場合は、検出ｄｅｔ（ｎ）と設定検出割合ｋ（ｎ）に応じて、途中処理値ｄ（ｎ）を１００又は０に処理するので、下記の（３）又は（４）で説明する途中処理値が差分値になる場合に比較して、特徴データを顕著に特徴付けたい場合には有効であると考えられる。

また、さらに、
（３） ＊＝（｜＞）の場合、すなわち Ｐ（（｜＞）ｋ（ｎ），ｄｅｔ（ｎ））で、
ｉｆ（ｋ（ｎ）＜ｄｅｔ（ｎ）） ｔｈｅｎ ｄ（ｎ）＝０ （２５）式
ｅｌｓｅ ｄ（ｎ）＝｜ｋ（ｎ）−ｄｅｔ（ｎ ｜ （２６）式
（４） ＊＝（｜＜）の場合、すなわち Ｐ（（｜＜）ｋ（ｎ），ｄｅｔ（ｎ））で、
ｉｆ（ｋ（ｎ）＞ｄｅｔ（ｎ）） ｔｈｅｎ ｄ（ｎ）＝０ （２７）式
ｅｌｓｅ ｄ（ｎ）＝｜ｋ（ｎ）−ｄｅｔ（ｎ）｜ （２８）式
であるから、評価値は次の（２９）式のようになる。

上記の演算子の導入により、例えば、Ａ１、Ｂ２の特徴データがあった場合に以下のように記述することができる。

ａ＝１．０（Ａ１）（｜｜＜）１００＋１．０（Ｂ２）（｜＜）１００ （３０）式
この場合、例えば、Ａ１特徴の検出割合（実際の検出値）を１００、Ｂ２特徴の検出割合（実際の検出値）を８０と仮定すると、上記（１）、（４）から、評価値ｈは、
ｈ＝（１．０×（１００−０）＋１．０（１００−８０））／（１．０＋１．０）
＝（１００＋２０）／２
＝６０ （３１）式
という評価値を考えることができる。

上記のように、評価値処理の方法には、幾つかの方法を考えることができ、ここで説明した方法に限らずとも良い。

ここで、図６の（Ａ）に示した規則１記述においては、記述するデータの出現パターン（意味）の表現方法の一例で、意味として、ａ，ｂ，ｃ・・・などとしたが、その否定としてＡ，Ｂ，Ｃ，・・・、また、ワイルドカードとして、＊などを用いることも考えられる。

（規則２処理の場合）
規則２処理では、上記規則１処理で意味付けされた所定区間である再生ユニット同士の意味の接続を考慮して処理を行うようにする。

また、時間補正関数を用いて時間的な補正、すなわち時間的な重み付け処理を行う。

例えば、上記規則１処理において、意味ａの評価値を７０、意味ｂの評価値を８０と仮定すると、（ａｂ）の評価値ｇは、
ｇ＝７０＋８０
＝１５０
又は、意味数の平均を考えて、ここでは、ａｂの２つなので、
ｇ＝５１０／２
＝７５
又は、それぞれの評価値の積を考えて、
ｇ＝７０×８０
＝５６００
例えば、便宜上、最大値を１００と仮定して最大値で正規化することを考え、
ｇ＝５６００／１００
＝５６
などのようにすることも考えられる。

時間補正関数の重み付けは、例えば、上記（ａｂ）が、ある時点ｔで検出でき、その評価値がｇで、ｔでの時間補正係数（重み付け係数）をｗとすると、ｇｔを最終的な評価値とする。

時間補正関数は、ルールファイルにおいて規則２の所定記述場所に、所定記述規則に従って、その変化点（変化点座標系の情報データ）を記述する。

規則２処理の一例を図６の（Ｂ）に示す。
（時間補正関数）
はじめに、時間補正関数について説明する。

この時間補正関数は、ルールファイルにおける所定番組ジャンルにおける要約時間補正を行うために利用することができる。

これは、ユーザーによっては、所定の放送番組によっては、放送時間の前半や後半を重点的に再生したいという場合も想定できる。

そこで、記録する番組のジャンル、放送時間、その他などの、その放送番組に応じた種々のパラメータを考慮して、ダイジェスト再生（要約再生）を行う所定の再生区間に対して時間（場合によっては時刻）の重み付けを行うことを考えることができる。

すなわち、この重み付けを行う区間は、時間的にそれ以外の重み付けを行わない区間に比較して、ダイジェスト再生を行う場合の再生の重要度を大きく処理することになる。

図８の（Ａ）〜（Ｉ）は、上記で述べた時間の重み付けを行うための時間補正関数の一例を示すものである。

図８の（Ａ）は、フラットな特性で、所定の要約再生区間に対して時間の重み付けを行わない場合である。

図８の（Ｂ）所定の区間内において、前半部の方を後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。

図８の（Ｃ）所定の区間内において、後半部の方を前半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。

図８の（Ｄ）所定の区間内において、前半部と後半部を中間部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。

図８の（Ｅ）所定の区間内において、中間部を前半部及び後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。

図８の（Ｆ）は、図８の（Ｄ）の違った形の補正関数を２つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みをつけて、さらに各重み付けを異なったものにしている。

図８の（Ｇ）は、図８の（Ｅ）の違った形の補正関数を２つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みをつけて、さらに各重み付けを異なったものにしている。

図８の（Ｈ）は、図８の（Ｃ）と（Ｄ）の組合せ関数で、図８の（Ｉ）は、図８の（Ｄ）と（Ｂ）の組合せ関数のかたちである。

図９は一般的な時間補正関数の様子を示したもので、開始点、変化点、終点の座標をそれぞれ、Ｐ０（ｔｓ，ｓ３），Ｐ１（ｔ１，ｓ３），・・・，Ｐｅ（ｔｅ，ｓ０）としている。

ここで、座標のｙ成分は重み付けを表しているので、ここでは、便宜上最大値を１００最小値を０とし、０〜１００の間の値をとるものとし、ｘ座標は、位置情報で、後述する図４１〜図４３に示す「開始終了位置情報」のデータと同じディメンジョンの値、又は開始終了点間の区間に基づく開始点からの割合で、０〜１００の間で設定して位置を示すことも考えられる。

（再生ユニットの意味と接続関係、判定処理）
上記で説明したが、所定の特徴抽出処理による特徴データからその再生ユニット（ＰＵ）における意味設定することができる。

ここで、図１０に示すようなビデオデータの構造について検討する。

ある一つのプログラム（番組）ｋを想定すると、幾つかのシーンｍ、ｍ＋１、・・・に分類することが考えられ、そしてシーンは幾つかのショットに分類することが考えられる。

そしてショットを構成するのは一つ一つのフレームと考えられる。

シーンの切れ目（区切り）はシーンチェンジになる。

セグメント（又はショット、又は画像セグメント。以下同様）は、シーン毎に、そのシーンに応じた類似画像のまとまり、又は、類似した画像（映像）特性のまとまりとも考えられる。

セグメントやシーンなどは、そのプログラム（番組）の中において、固有な意味の概念を持っていると考えられる。

そして、各々の意味を持ったセグメント、シーンが幾つかまとまって、その番組を構成しているというビデオ構造を考えることができる。

例えば、野球の番組を想定した場合に、打者の画面が続いていたとすると、打者の類似画像が検出され、その類似特性セグメントに分類できると考えられる。

そして、そのセグメントは、「打者の画像」という意味（意味の概念）を持つことになる。

また、ピッチャーの投球する画面が続いていたら、ピッチャーの類似画面が検出され、その類似特性に応じてセグメントに分類できると考えられる。

そして、そのセグメントは、「ピッチャーの画像」という意味（意味の概念）を持つことになる。

ここで、例えば、ピッチャーが投球して、打者が打撃し、その打者が走塁するような場合を考えた場合に、「ピッチャーの画像シーン」、「打者の画像シーン」、「打者の走塁の画像シーン」という、各々意味を持った画像シーンのつながりを考えることができる。

所定プログラム（番組）において、上記したＰＵ毎に、画像特徴データ、音声特徴データが処理され、それら特徴データに応じてそのＰＵの意味を設定することを考える。

例えば、ニュース番組を考えた場合に、キャスター（アナウンサー）が最初にニュースの項目を読み上げるシーン（ニュース番組のヘッドライン）を想定した場合に、そのシーン（画像）の特徴として、人物特徴が１人〜２人、テロップ（Ｔｌｐ特徴）、音声特徴の属性が話者音声、その他に、ニュース番組を考えた場合に、そのニュース番組の中で、ニュースを読み上げるシーンは幾つか存在すると考えられるので、そのニュース読み上げシーンと類似するシーンは幾つか存在することになり、類似画像特徴すなわち、特定のシーンＩＤは出現頻度が高くなることが考えられる。

このように、また、規則１処理でも説明したように人物特徴、音声特徴、テロップ特徴、類似画像特徴、その他所定の特徴データに応じて、そのＰＵの意味を設定することが考えられる。

例えば上記野球の番組を考えたように、所定の意味を持つＰＵの接続関係を考えることができる。

すなわち、所定の特徴データ又は特性データを持つＰＵ間の所定の接続を考えることができる。

上述した所定の意味を持つすなわち所定の意味が設定されたＰＵの接続関係を図１１に示す。

図１１において、今考えているプログラム（番組）で所定の意味ａ〜意味ｄが設定されており、ある区間ＰＵ（ｎ）〜ＰＵ（ｎ＋２）で、接続関係を考えた場合、ＰＵ（ｎ）の意味ａ、ＰＵ（ｎ＋１）の意味ｂ、ＰＵ（ｎ＋２）の意味ｃがもっとも自然なつながりと考えられることを示している。

すなわち、この図１１に示した例は相撲の場合を想定しており、意味ａ「取組み紹介シーン」の後は意味ｂ「立会いシーン」が続くことが一番妥当性であり合理的と考え、意味ｂ「立会いシーン」の後は意味ｃ「取り組みシーン」が続くことが一番妥当性であり合理的と考える。

そして接続関係として、ａｂｃ という意味を定義した文字系列を考えることができ、このａｂｃの系列がキーフレームとすれば、いま考えているプログラム（番組）の中でａｂｃを探して、探した所定区間の最初と最後、又は、その近傍などを所定設定点として設定処理を行うことが考えられる。

他の例として、例えば、番組ジャンルが野球の場合は、ある区間で再生ユニットが、各々、「投球」、「打った」、「意味無し」、「得点」という場合であったとしたら、「意味無し」を除いて、３つの意味、「投球」、「打った」、「得点」を持つと判定されたＰＵを１つにまとめて、「投球、打った、得点」という所定ＰＵのかたまりを想定することができる。

ここで、「意味無し」のＰＵは、意味がないと判定されたのだから含めても問題ないと考え、上記４つのＰＵを１つにまとめて「投球、打った、意味無し、得点」という所定ＰＵのまとまりを考えることもできる。

ここで、「意味なし」を考えたのは、上記の規則１処理で所定の特徴データから所定の評価処理で、設定した幾つかの意味の中から、所定の意味付け処理を行うすなわち、複数の意味から所定の信号処理に基づいて確からしい意味付けが行えない場合も想定できるからである。

「意味なし」の代わりに、「どのような意味でも良い」というものを設定することも考えられる。これは、上記した＠と同様の処理である。

あるニュース番組の場合で、ａａｂｂという接続、すなわち、「アナウンサーシーン」、「アナウンサーシーン」、「現場シーン」、「現場シーン」という接続が、妥当で合理的であると考えられる場合を図１２の（Ａ）に示す。

また、先に説明した相撲番組の場合を図１２の（Ｂ）に示す。

図１３は、上記の番組ジャンルがニュース番組の場合で、図１３の（Ａ）に示すように、参照パターン（参照文字系列）を上記で説明した「ａａｂｂ」として、図１３の（Ｂ）に示すように、いま考えている所定の番組記録区間の中で「ａａｂｂ」の区間を探していき、区間Ａ１、区間Ａ２が「ａａｂｂ」に一致して、検索できたことを示している。

そして、図１３の（Ｂ）に示すように、例えば、探すことができた「ａａｂｂ」区間の最初の位置ｐ１、ｐ３、最後の位置ｐ２、ｐ４を所定設定位置として設定し、後で説明するプレイリストの位置情報データとして所定の処理を行う。

例えば、要約再生モードの場合には、上記設定位置ｐ１〜ｐ２、ｐ３〜ｐ４を再生するように再生制御処理を行う。

チャプター設定など、所定時点設定（所定位置設定）処理の場合には、ｐ１、ｐ２、ｐ３、ｐ４の各時点、又は、それら各点の所定の近傍の位置をその設定位置として所定の処理を行ことが考えられる。

このように、所定の特徴データから所定のＰＵの意味を持つと判定し、その所定の意味を持つとそのＰＵに設定し、それら意味が判定して設定されたＰＵから意味の接続関係を想定して、所定の意味に応じた所定数のＰＵの接続や所定数のＰＵの集合を想定して処理を行うことができる。

図６の（Ｂ）に示した規則２処理の記述方法の一例では、キーフレーム（重要フレーム）と想定し、検索したい文字系列を（ａａｂｂ）のようにし、その後に、重み付け係数として１００を設定している。その後のＰｓ（ｔｓ，ｓ４），Ｐ１（ｔ１，ｓ４），Ｐｅ（ｔｅ，ｓ３）は、先に説明した時間補正関数であって、この例の場合は、図１４に示すように、番組の後半部で徐々に重要度が減少するような関数となっている。

この図１４のような時間補正関数の場合には、番組の前半部を重点的に視聴したいような場合に適していると考えられる。

ここで、図６の（Ｂ）に示した規則２処理の記述においては、記述するデータの出現パターン（意味）の表現方法の一例で、意味として、ａ，ｂ，ｃ・・・などとしたが、その否定としてＡ，Ｂ，Ｃ，・・・、また、ワイルドカードとして、＊などを用いることも考えられる。

この図６の（Ｂ）に示した規則２処理の記述において、ニュース番組のジャンルの場合の一として、例えば、（Ａｂｂ）とした場合、には、Ａは、「アナウンサーのシーン」以外、ｂは、「現場のシーン」ということになり、「アナウンサーのシーン」以外に「現場のシーン」が２つ続く場合を検出することになる。

ここで、評価値の演算方法の一例は、以下のような処理であった。
例えば、いま考えている再生ユニット群を（ａｂｃ）として、上記（１）式により、ａ、ｂ、ｃの各検出割合（ｖａｌｕｅ）と重み付け係数が以下の表５に示すような場合について考える。

ここで、１００を掛けたのは、便宜上、割合（％）を考慮したためであるが、上記したように、評価値のスケールは、所定の評価処理が行えて、かつ所定の演算処理上問題なければ良いので、オーバーフローなど処理上問題なければ、割合を考慮しなくても良い場合も考えられる。
（規則２処理における再生ユニット群の変形例）
ここで、規則処理２における、ある「意味」の再生ユニットが複数接続した再生ユニット群を１つの意味群ユニットとし、意味群ユニットが複数接続する場合について考える。

上記規則１処理では、１つの再生ユニットについて考えた。それは、特徴データから、検出する「意味」にもっと確からしいであろう再生ユニットを見つけるためであった。

この考えをさらに発展させて、再生ユニット群、すなわち、この規則２処理で考えた、意味のつながりの再生ユニットを１つのかたまりとして、そのかたまり同士を接続した区間を検出することも考えられる。

例えば、上記（ａａｂｂ）をＧａ１とし、（Ｇａ１Ｇａ１）のような接続を考えることができる。この場合に、Ｇａ１の評価値を考えて、上記規則１と類似した処理を行うことが考えられる。

その場合の評価値の演算方法として、例えば、各意味の再生ユニットの評価値の和の平均や、各意味の再生ユニットの評価値の積の平均などを考えることができる。

例えば、ａの評価値を８０、ｂの評価値を６０とした場合に、Ｇａ１の評価値は、加算の場合は、
（８０＋８０＋６０＋６０）／４＝７０
で、７０を評価値として考えることができる。

規則３処理の場合
通常は、図１５の（Ａ）に示すように、上記規則２処理までで良いと考えられるが、複数の番組対して特徴データを設けた場合に、例えば、番組毎に時間的重み付け処理を行いたい場合は、さらに規則処理として、図１５の（Ｂ）に示すように、規則３処理を設けることも考えられる。

その一例として、ニュース番組（ｎｅｗｓ）とスポーツ番組 （ｓｐｏｒｔｓ）に対して重み付けと、時間補正を行う場合の例を図６の（Ｃ）に示す。

図６の（Ｃ）に示す例では、ニュース番組は、１００％の重み付けを行い、時間補正関数として開始点Ｐｓ（ｔｓ，ｓ４）、変化点Ｐ１（ｔ１，ｓ４）、終点Ｐｅ（ｔｅ，ｓ３）とする補正を行い、スポーツ番組に対しては、７０％の重み付けを行い、時間補正関数として開始点Ｐｓ（ｔｓ，ｓ４）、変化点Ｐ１（ｔ１，ｓ４）、終点Ｐｅ（ｔｅ，ｓ３）とする補正を行う。

図３で説明した処理内容を図１６を参照して更に説明する。

図１６の（Ａ）のような、規則１処理により、各種所定の特徴データに基づいて、各シーンは幾つかの意味付け処理が行われる。

ここで、規則２によって意味付けされた各シーンには、図１６の（Ｂ）のように評価値が所定の処理により設定される。

例えば、要約再生モードの場合では、ユーザーの所望する時間ｔ１で再生する場合に、上記評価値の一番高いシーン（画像）から選択していき、できるだけｔ１に近くなるように評価値の高いシーンから選択して、その選択した区間を再生するように、その位置情報を設定する。

設定した位置情報は所定のデータメモリーに記憶し、再生制御を行う際に、位置情報を読み出して、所定区間の再生を行っていく。

そして、各区間を順次再生する（スキップ再生）することで、所定の要約再生（ダイジェスト再生）を行う。

図１６の（Ｃ）に示す例では、全記録時間を例えば６０分とし、要約再生を１５分で行いたいと仮定して、評価値が７０以上のＰＵを選択して、１５分にやや満たない場合に、評価値６０のＰＵｎ＋８ の区間を選択して、所望の再生時間１５分にできるだけ近くなるように処理を行っている。

このように評価値の大きい所定ＰＵ区間を選択していき、所定の再生時間にできるだけ近くなるように、ＰＵ区間を選択していく。

所望の再生時間Ｔｍに対して所定の許容範囲ｔｃ内に再生時間Ｔがあるように、
Ｔｍ−ｔｃ＜Ｔ＜Ｔｍ＋ｔｃ
となるように、評価値に基づいて所定のＰＵ区間を選択する。

また、図１６の（Ｄ）に示すように、例えば、上記意味付けされた評価値の高い区間の最初（又はその近傍）、評価値の高い区間の最後（又はその近傍）に所定位置（チャプター）を設定することで、その区間を編集処理したり、スキップ再生の一時停止処理、繰り返し再生処理など、所定の操作を行うことに利用できる。

（２）ブロック構成例
ここでは、簡単のため、記録する画像音声情報信号は、放送番組のデータとし、ＭＰＥＧ（Moving Picture Export Group）による所定の帯域圧縮処理が行なわれるものとする。なお、その他の帯域圧縮信号処理としてウェーブレット変換、フラクタル解析信号処理その他などを用いた場合も考えられる。例えば、下記の説明で画像データのＤＣＴ係数は、ウェーブレット変換の場合には多重解像度解析におけるか解析係数などに相当し同様の信号処理を行うことも考えられる。

２．１ ブロック構成例１
本発明を適用した記録再生装置３０の全体ブロック構成例を図１７に示す。

ここでは、簡単のためテレビ放送を受信して、受信した放送番組を記録することを考える。

２．１．１ 記録信号処理系
この記録再生装置３０では、受信アンテナ系１と受信系２により所定の放送番組が受信され、音声信号は音声Ａ／Ｄ変換処理系３で所定のサンプリング周波数、所定の量子化ビット数で所定のＡ／Ｄ変換信号処理が行われ、その後音声エンコーダー処理系４に入力される。

音声エンコーダー処理系４では、例えばＭＰＥＧオーディオやＡＣ３オーディオ（ドルビーＡＣ３、又はAudio Code number 3）などの所定の帯域圧縮方式で信号処理が行われる。

同様に、映像信号は映像Ａ／Ｄ変換処理系８で所定のサンプリング周波数、所定の量子化ビット数で所定のＡ／Ｄ変換信号処理が行われ、その後、画像エンコーダー処理系９に入力される。

画像エンコーダー処理系９は、ＭＰＥＧビデオやウェーブレット変換などの所定の帯域圧縮方式で信号処理が行われる。

音声エンコーダー処理系４及び画像エンコーダー処理系９で処理された音声データ及び画像データは、多重化処理系５を介して記録処理系６に入力される。

音声信号の特徴抽出を行うため、音声エンコーダー処理系４に入力する信号の一部又は上記所定エンコーダー信号処理における信号処理過程の途中の信号の一部は特徴抽出系１０に入力される。

ここで、この図１７に示した記録再生装置３０では、音声エンコーダー処理系４に入力される信号の一部として、音声エンコーダー処理系４から特徴抽出系１０に信号が入力されているが、音声エンコーダー処理系４に入力されると共に特徴抽出系１０に入力されるようにしてもよい。

同様に映像（画像）信号の特徴抽出を行うため、映像エンコーダー処理系９に入力される信号の一部又は上記所定エンコーダー信号処理における信号処理過程の途中の信号の一部が特徴抽出系１０に入力される。

ここで、この図１７に示した記録再生装置３０では、映像エンコーダー処理系９に入力される信号の一部として、映像エンコーダー処理系９から特徴抽出系１０に信号が入力されているが、映像エンコーダー処理系９に入力される共に特徴抽出系１０に入力されるようにしてもよい。

記録モードにおいて所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体７の所定の記録領域に記録される。

上記特徴抽出データから所定の要約再生（ダイジェスト再生）を行うためのプレイリストデータ生成（９）又はチャプターデータ生成（１１）をプレイリスト・チャプター生成系１９で所定の信号処理を行う。

ここで、プレイリストデータ、チャプターデータ生成は、以下のような信号処理プロセス（処理ａ又は処理ｂ）で行うことが考えられる。

（処理ａ） 特徴抽出データを所定メモリー系又はシステムコントローラー系の所定メモリー領域に所定データ量蓄積した後、所定のプレイリストデータの生成処理、所定チャプターデータの生成処理を行う。

（処理ｂ） 画像音声データを記録する記録媒体７に所定の特徴抽出処理を行う毎に逐次特徴データを記録し、所定データ量記録した後、そのデータを再生して、所定プレイリストデータ、所定チャプターデータ生成を行う。

上記（処理ａ）の場合、例えば、所定時間長ｔの放送番組を記録することを考えると、その時間長ｔの記録が終了したら、その放送番組におけるすべての所定特徴抽出データが集積されるので、この時点で、時間長ｔのなかで所定要約再生時間ｔｄに対応するキーフレームがどこになるかを決めるプレイリストデータ生成処理を行うことができる。すなわち、この時間長ｔに処理される特徴データを上記メモリー系又は、システムコントローラー系の所定メモリー領域に蓄積（記憶又は記録）しておくことになる。

上記（処理ｂ）の場合は、上記（処理ａ）の場合と同様で所定時間長ｔ記録した後、所定時間ｔ記録終了したことを検出（検知）して、所定特徴抽出データ再生して所定要約再生時間ｔｄに応じたプレイリストデータ生成処理を開始することになる。

プレイリストデータ生成処理が終了したら、所定の要約再生の動作を行う準備ができたことになり、このプレイリストデータを用いて所定の要約再生（ダイジェスト再生）が行える。

上記所定の特徴抽出データは、プレイリストデータがすでに生成されているので、もうプレイリストデータを生成しないとういう場合には消去するように信号処理を行うことも考えられるが、プレイリストデータを修正するなど、データの生成を再度行う場合も考えられるので、特徴抽出データはそのまま記録して残しても良い。

上記特徴抽出データは、システムコントローラー系２０を介して、所定区間の特徴データ蓄積の後、プレイリスト・チャプター生成系１９で所定のダイジェスト再生（要約再生）用プレイリストデータを生成する。

上記生成されたプレイリストデータは、記録処理系６において所定の記録処理がなされた後、記録媒体７の所定の記録領域に記録される。

ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、所定再生区間毎の再生開始点情報と再生終了点情報の対となるデータから構成され、例えば、所定区間毎の再生開始フレーム番号と再生終了フレーム番号のデータ対などからなる。

上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生（要約再生）を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやＭＰＥＧにおけるＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decode Time Stamp）などのタイムスタンプデータでも良い。

上記プレイリストデータは、上記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。

図１７において、例えば、すでにＭＰＥＧなど所定のエンコード処理がなされた画像、音声データを記録することを想定すると、音声エンコード処理系４、画像エンコード処理系９でエンコード処理を行う必要はなく、直接、多重化処理系５に入力し、記録処理系６で記録処理を行い記録媒体に記録することが考えられる。

ここで、直接デジタル画像、音声データが入力して記録されるか、受信系２によりアナログ信号が入力し所定のエンコード処理の後に記録されるかは、システムコントロール系２０で検出することができ、このように入力系統違いに応じて、上記所定の画像、音声特徴データ抽出処理を記録モードの時に自動的に行うか、記録終了後に行うかを決めるようにする、又はデジタル画像、音声データが入力する場合には、所定のエンコード処理系をデータが通らないことから所定のデータ構造解析処理が行われないことを考え、記録終了後に行うようにすることも考えられる。

記録モードにおいて、上記アナログ入力系かデジタル入力系は、ユーザー入力Ｉ／Ｆ系２１を介してユーザーの所定操作によって設定することもできる。

また、図１７で、音声エンコーダー処理系４又は音声Ａ／Ｄ変換処理系３、映像エンコーダー処理系９又は画像Ａ／Ｄ変換処理系８からの信号と、所定エンコード処理されたデジタル画像、音声データを直接システムコントローラー系２０で検出することで自動的に検出することもできる。

所定エンコードされたデジタルデータが検出され、音声エンコーダー系４又は音声Ａ／Ｄ変換処理系３、映像エンコーダー系９又は画像Ａ／Ｄ変換処理系８でデータが検出されない場合は、所定エンコード処理されたデジタル画像、音声データが入力していると判定できる。

所定エンコードされたデジタルデータが検出さないで、音声エンコーダー系４又は音声Ａ／Ｄ変換処理系３、映像エンコーダー系９又は画像Ａ／Ｄ変換処理系８からのデータがシステムコントローラー系２０で検出される場合は、アナログ入力と判定できる。

アナログ入力とエンコード処理されたデジタルデータが両方検出される場合は、例えば、受信系２からのアナログ入力信号を初期設定（デフォルト設定）として所定の記録処理を行うことが考えられる。

上記特徴抽出処理は、例えば画像のＤＣＴデータなどを用いるので、所定のエンコード処理がなされる場合には、通常の記録処理のために行うＤＣＴ処理を特徴抽出処理として兼用することができる。音声の場合には、所定エンコード処理におけるサブバンド処理データを用いることを考えると、所定のエンコード処理がなされる場合には、通常の記録処理のために行うサブバンド処理を特徴抽出処理として兼用することができる。

しかし、上記のように、エンコード処理されたデジタルデータが直接入力する場合は、エンコード処理を行う必要がないので、このデータを解析してＤＣＴなどデータを取り出すことが必要になり、処理の負荷が生じることになる。

そこで、必要に応じて記録終了後に特徴抽出処理を行うようにすることも考えられる。その他、記録終了後に、特徴抽出処理を行う場合として、上記アナログ入力の場合でも、信号処理系の負荷の具合に応じて、所定の記録が終了したら自動的に行うようにすることも考えられる。

例えば、図２０に示すように、特徴抽出処理はソフトウェア処理で行うこともできるので、システムコントローラー系の性能によっては記録モードの各所定信号処理と同時に行えず、所定の記録処理が終了してから行うことも考えられる。また、システムコントローラー系２０はＣＰＵ、ＤＳＰ（デジタルシグナルプロセッサ）、その他各種プロセッサなどで構成することが考えられるが、性能が高いほど高価なので上記のように処理能力に応じて、特徴抽出処理を記録処理と同時に行うか、終了後に行うかを決めることも考えられる。

上記特徴抽出処理を行う所定記録モード終了後としては、例えば、所定のタイマー記録動作終了後や、通常、ユーザーがその装置を動作させていないと想定できる夜中に、上記所定の特徴抽出処理を行うなどが考えられる。その場合に、例えば、装置が動作している時刻をシステムコントローラー系２０内の所定メモリ手段により記憶して、所定の学習処理により、適宜、特徴抽出処理する時刻を自動設定したりすることも考えられる。

また、記録再生など通常の動作させていない時間がシステムコントローラー系２０で検出される場合には、その動作させていない間に上記所定の特徴抽出処理を行うことも考えられる。その場合に所定のデータすべてが処理されない場合も想定されるが、処理途中の場所をシステムコントローラー系２０内の所定メモリー手段に記憶しておき、装置が記録再生など通常動作していないことを検出して、処理できる時間があると判定されたら、途中の続きから所定の信号処理を行うことも考えられる。

２．１．２ 再生側処理
（通常再生モード動作）
次に図１７に示した記録再生装置３０における再生信号処理について説明する。

先ず、通常再生モードの動作について説明する。

ユーザー入力Ｉ／Ｆ系２１により、通常再生モードになると、記録媒体７から所定の画像音声情報データ、特徴抽出データなどの記録されている所定のデータが再生され再生処理系１２において所定の再生処理がなされる。

再生された上記所定のデータは、再生データ分離処理系１３において所定のデータに分離処理され、音声データは音声デコード処理系１４に入力され、記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされ、その後、音声Ｄ／Ａ処理系１５に入力されてＤ／Ａ変換処理された後、音声信号として出力される。

また、所定の分類処理された画像（映像）データは、映像デコード処理系１６において記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされた後、映像Ｄ／Ａ処理系１７に入力されてＤ／Ａ変換処理が行なわれ、映像信号として出力される。

（要約再生（ダイジェスト再生）モード）
要約再生モードを考える場合に、画像音声データと共に特徴抽出データ、プレイリストデータが記録媒体に記録されているかどうかで信号処理方法が異なる。

徴抽出データとプレイリストデータが記録媒体に記録されているかどうかは図１８のように整理することができる。

まず、図１８に示す（ａ），（ｂ）の場合に相当するプレイリストデータ（プレイリストデータファイル）、チャプターデータが再生できる場合、すなわち、プレイリストデータ、チャプターデータが所定記録媒体（所定データ記録媒体）に記録されており、要約再生モード時に再生、又は、チャプター表示モード時に所定チャプター画像がサムネール表示できる場合について説明する。

すなわち、ユーザーが要約再生モード又は所定チャプターモードを選択した場合について説明する。

ユーザー入力によりユーザー入力Ｉ／Ｆ系２１を介して、システムコントローラー系２０に所定の要約再生（ダイジェスト再生）モードの動作を行うコマンドが入力された場合に、再生データ分離処理系１３で所定データ分離し特徴抽出データ、また、パラメータデータやプレイリストデータ、チャプターデータなどが記録されている場合には、それぞれ分離された所定の特徴抽出データ、所定のパラメータデータ、所定のプレイリストデータ、チャプターデータなどがシステムコントローラー系２０に入力される。

再生データ分離処理系１３で上記特徴抽出データ、パラメータデータ、プレイリストデータ、チャプターデータが分離できない場合には、上記のそれぞれのデータはシステムコントローラー系２０に入力されないので、再生データ分類処理系１３とシステムコントローラー系２０とにより上記所定特徴抽出データ、プレイリストデータ、所定チャプターデータ、パラメータデータなどが所定記録媒体７に記録されているかどうかの判定処理機能を有することになる。

プレイリストデータは所定の要約再生を行うために、所定の幾つかの再生区間の再生開始情報データと再生終了情報データから構成されている。

チャプターデータは、所定特徴区間の先頭又はその近傍、又はその所定特徴区間の最後又はその近傍、その特徴区間に接続された特徴区間以外の区間の先頭又はその近傍、又はその特徴区間以外の区間の最後又はその近傍の位置情報から構成される。

システムコントローラー系２０では、上記再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。

また、所定チャプターデータによりチャプター点又はその近傍における画像を所定サムネール画像として所定表示処理を表示処理系２７で行い、所定の画像表示を行う。

次に、図１８に示す（ｃ）（ｄ）の場合に相当するプレイリストデータ（プレイリストデータファイル）、チャプターデータが再生できない場合、すなわち、プレイリストデータ、チャプターデータが記録媒体又は記憶媒体に記録（記憶）されておらず、要約再生モード時に再生できない場合、所定チャプターモード時にサムネール時点を所定サムネール表示、チャプター再生など一連のチャプター関連処理できない場合について説明する。

上記説明した放送番組などを受信した画像音声データでなく、例えば、記録媒体２５をＤＶＤソフトとし記録媒体処理系２６、再生処理系１２により再生する場合など他の記録媒体からの画像音声データを再生する場合や、特徴抽出していない画像音声データを再生する場合などは、ここで説明する処理に該当する。

プレイリストデータ又はチャプターデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータ、チャプターデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメータデータとから要約再生用プレイリストデータ、及び所定チャプター関連モード用チャプターデータを生成することができる。

図２６の（ｃ）に示す場合、すなわち、記録時に特徴抽出処理が行われており、特徴データが再生できる場合には、図１７に示した記録再生装置３０における再生処理系１２又は再生データ分離処理系１３からプレイリストデータ又は上記所定の特徴抽出データがプレイリスト・チャプター生成処理系１９に入力され、所定のプレイリストデータ又は所定のチャプターデータが生成される。

ここで説明する動作の場合に、ユーザーが要約再生モードのコマンドを行った場合に、図１９に示すようなプレイリストデータがないことを示す所定の表示を表示系２７で行うようにしても良い。

生成されたプレイリストデータはシステムコントローラー系２０に入力される。

システムコントローラー系２０は、ユーザー入力による所定の要約再生時間に応じて、上記プレイリストデータに基づいた所定の再生区間を順次再生（スキップ再生）するように再生制御系１８をコントロールしその制御により記録媒体７を再生制御する。

また、生成されたチャプターデータはシステムコントローラー系２０に入力される。

システムコントローラー系２０は、ユーザー入力による所定のチャプター関連動作モードに応じて、上記チャプターデータに基づいた所定のチャプター時点の画像サムネール表示、チャプター点のカットや接続などの編集処理、ユーザー選択したチャプター点のスキップ再生など、所定チャプター関連動作が行えるように再生制御系１８をコントロールし、その制御により記録媒体７の再生制御を行ったり、システムコントローラー系２０を介した表示処理系２７の制御などを行う。

上記したように、例えば、ＤＶＤなど外部記録媒体を記録媒体２５として要約再生する場合にも、上記と同様の信号処理により行うことができ、再生制御系１８により記録媒体処理系２６を制御し、上記したような所定の要約再生処理を行う。

また、上記チャプターデータを用いた編集処理（編集操作）、所定チャプター点間（又はその近傍）のスキップ再生、チャプター点（又はその近傍）のサムネール画像表示など、一連の所定チャプター関連動作を上記と同様の信号処理により行うことができ、再生制御系１８により記録媒体処理系２６を制御し、上記したような所定信号処理を行う。

さらに、図１６に示す（ｄ）すなわち特徴抽出データが再生できない場合について説明する。

上記の例では特徴抽出データからプレイリストデータ、チャプターデータを生成する場合について説明したが、例えば、他のユーザーが記録した外部記録媒体２５を記録媒体Ａ２６にコピーしたような場合を考えると、特徴抽出データが再生できない場合も想定できる。

記録媒体７に放送番組などの画像音声データは記録されているが特徴抽出データが記録されておらず、再生できない場合について考える。

ここで説明する動作の場合に、ユーザーが要約再生モード又は上記所定チャプター関連動作モードのコマンドを行った場合に、図１９に示すような特徴データがないことを示す所定の表示を表示系２７で行うようにしても良い。

この場合の要約再生モードで記録媒体Ａ７から画像音声データを再生する場合は、再生処理系１２で再生されたデータは再生データ分離処理系１３に入力され、分離された記録時に所定の帯域圧縮方式で処理されている画像データと音声データは特徴抽出処理系１０に入力され、画像特性データであるＤＣＴ ＤＣ係数、ＡＣ係数、動きベクトル（モーションベクトル）など、音声特性データである音声パワー検出その他など各種所定の特性データ検出処理などが行われる。

特徴抽出処理系１０では、さらに、上記の各種画像音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ（テロップ区間判定データ）、人物特徴データその他の画像特徴データ（画像特徴区間判定データ）、及び話者音声特徴データ（話者音声判定データ）、拍手歓声特徴データ（拍手歓声判定データ）その他の音声特徴データ（音声特徴区間判定データ）の各種特徴抽出処理が行われる。

上記各種の画像特徴抽出データ（画像特徴データ）及び音声特徴抽出データ（音声特徴データ）はシステムコントローラー系２０に入力され、所定番組あるいは、所定の画像音声区間のすべてについて上記所定の特徴抽出処理が終了したら特徴抽出処理が終了したと判定される。

ここで、上記特徴抽出処理が終了した場合には、システムコントローラー系２０から所定の信号処理が終了したことを示す信号が表示処理系２７に入力され、例えば図１９に示すような所定の表示を行うようにしても良い。

次に上記特徴抽出データから所定のプレイリストデータ、チャプターデータを生成する処理について説明する。

上記の各種特徴抽出データは、所定の特徴抽出区間ごとにメモリー系１１に蓄えられ、上記すべての所定特徴データの処理が終了したらプレイリスト・チャプター生成処理系１９に入力され、所定のプレイリストデータ又はチャプターデータが生成される。

ここで、特徴抽出処理系１０から直接プレイリスト・チャプター生成系１９に、所定区間の特徴抽出処理データを逐次入力するようにしても良く、上記で述べたように、所定の全ての区間や所定放送番組の特徴抽出処理が終了したら、システムコントローラー系２０からの所定の信号により、プレイリスト・チャプター生成系１９で上述の如き所定のプレイリストデータ又はチャプターデータ生成処理を行うようにしても良い。

また、特徴抽出処理系からの上記処理された特徴データは、システムコントローラー系２０を介してプレイリスト・チャプター生成処理系１９に入力するように信号処理を行うことも考えられる。

プレイリスト・チャプター生成処理系１９で、所定のプレイリストデータ又はチャプターデータが生成されると、所定の処理が終了したことを示す信号がシステムコントローラー系２０に入力され、所望の要約時間に応じた要約再生又は所定のチャプターデータを用いた所定チャプター関連動作を行うことができる。

この場合に、図１９に示すように、プレイリストデータ又はチャプターデータが生成できたことを示す所定の表示を行ったり、要約再生モード、チャプター関連の所定動作モードであることなどの表示を表示系２７により行っても良い。

ユーザーが要約再生を行う場合に、例えば記録した放送番組が１時間であったとし、それを３０分で再生したいのか、２０分で再生したいのかなど、ユーザーの所望する要約再生時間は分からないので、記録した放送番組など画像音声データの特徴抽出した全区間の全時間長に応じて、あらかじめ幾つかの要約時間に対応するプレイリストデータを生成することを考えることができる。

例えば、特徴抽出する放送番組の記録時間が１時間であったら、４０分、３０分、２０分の要約再生を行う、それぞれのプレイリストデータを生成する。このようにプレイリストデータを生成することで、リモコン２２などのユーザー入力で要約時間が選択された場合に、すぐに所定の要約時間に対応した要約再生動作を行うことができる。

記録媒体２５を再生する場合については、上記記録媒体Ａ７を再生する場合と同様で、記録媒体処理系２６により記録媒体２５を検出し、再生処理系１２により再生信号処理し、再生データ分離処理系１３において所定の画像音声データを分離する。その後の信号処理は上記の記録媒体７の場合と同様なので省略する。

ここで、上述した一連の処理を実行する制御プログラムは、専用のハードウェアに組み込まれているコンピュータ又は各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

この記録媒体は、制御プログラムが記録されているハードディスクだけではなく、コンピュータとは別に、ユーザーにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスクもしくは半導体メモリーなどよりなるパッケージメディアにより構成される。

２．２ ブロック構成例２
ここで、上記図１７に示した記録再生装置３０の変形例について図２０を参照して説明する。

放送番組を記録再生処理する信号処理の過程は上記図１７に示した記録再生装置３０と同様なので、図１７に示した記録再生装置３０とは信号処理が異なる部分について説明する。

２．２．１ 記録側信号処理
この図２０に示す記録再生装置３０Ａにおいて上述の記録再生装置３０と異なるのは、記録モードにおいて特徴抽出処理を行う一連の信号処理をシステムコントローラー２０系においてソフトウェア的に行うことである。

また、この記録再生装置３０Ａでは、ネットワーク系２４により、所定のソフトウェアをダウンロードして、説明するようなソフトウェア処理による、特徴抽出処理、プレイリスト処理（チャプター生成処理（再生区間、再生時点位置情報生成処理））などを行うことも考えられる。

ソフトウェアによるダウンロードでは、例えば、本発明の処理が搭載されていない装置が、はじめにあった場合に、時間をおいて後からソフト的に本発明を適用できる利点があり、例えば、製造販売などの時間的に間に合わない場合には、設計、製造側においては、本発明を適用しない簡単な構成のシステムと後で、本発明を適用したシステムの両方のシステムをユーザーに提供できる。

ユーザー側では、本発明を適用しない簡単な構成のシステムを購入した後で、ソフト的な処理で、本発明を適用できるので、後から機能を追加できるなどの利点がある。

また、処理系を修正、改良するなどの場合にもソフトをダウンロードしてアップグレードすることで、対応できる利点がある。

本発明をソフトウェアダウンロードで装備する場合は、ユーザーは所定の操作系（リモコン２２など）で、所定のインターネットサイトにネットワーク系２４を介して接続し、所定の操作系による操作で本発明のソフトウェアをダウンロードする。

ダウンロードされた本発明のソフトウェアは、システムコントローラー系２０で、所定の解凍処理、インストール処理などが行われ、後で説明する、特徴抽出処理、プレイリスト処理、チャプター処理ほか、本発明の所定の処理機能が装備される。

システムコントローラー系２０として、所定性能を備えたマイクロプロセッサ（ＭＰＵ、又はＣＰＵ）を用いることで上記した所定の特徴抽出処理を所定の記録処理と同時に行うことが考えられる。

上記したメモリー系１１もこのシステムコントローラー系２０内に備えられた所定のデータ記憶メモリーを用いることが考えられる。

ここで、上記したように所定の記録処理として、所定の画像音声の帯域圧縮を行う場合に、上記のような所定の性能を備えたＭＰＵ又はＣＰＵ、又はＤＳＰ（デジタル・シグナルプロセッサ）を用いることが考えられ、この帯域圧縮処理を行っている同じＭＰＵ又はＣＰＵ、又はＤＳＰで上記所定の特徴抽出処理、プレイリスト生成処理などを行うことも考えられる。

２．２．２ 再生側信号処理
この図２０に示す記録再生装置３０Ａにおいて上述の記録再生装置３０と異なるのは、上記の場合のように再生モードにおいて、特徴データが検出できず特徴抽出処理を行う場合に、一連の信号処理をシステムコントローラー２０系においてソフトウェア的に行うことである。

システムコントローラー系２０として、所定性能を備えたマイクロプロセッサ（ＭＰＵ、又はＣＰＵ）を用いることで上記した所定の特徴抽出処理を所定の記録処理と同時に行うことが考えられる。

上記したメモリー系１１もこのシステムコントローラー系２０内に備えられた所定のデータ記憶メモリーを用いることが考えられる。

（３）特徴抽出処理
次に、音声系特徴抽出処理及び映像（画像）系特徴抽出処理の各信号処理について説明する。
３．１ 音声系特徴抽出処理
音声系特徴抽出処理系では、図２１に示すように、ＭＰＥＧの画像音声ストリームデータがストリーム分離系１００に入力され、分離された音声データは音声データデコード系１０１に入力され所定のデコード処理が行われる。

デコードされた音声データ（音声信号）はレベル処理系１０２、データカウンタ系１０３、データバッファ系１０４に各々入力され、レベル処理系１０２では、音声データの所定区間の平均パワー（又は平均レベル）Ｐａｖを演算するため、データの絶対値化処理を行い、データカウンタ系１０３で所定サンプルデータ数まで計測されるまで、音声データ積算処理１０５で積算処理を行う。

ここで、平均パワーＰａｖは、音声データの値（レベル）をＡｄ（ｎ）として以下の（３２）式の演算により求めることができる。

平均レベルを演算する所定区間として、例えば、約０．０１ｓｅｃ（１０ｍｓｅｃ）〜１ｓｅｃが考えられ、例えば、サンプリング周波数ＦｓをＦｓ＝４８ＫＨｚとすると、４８０〜４８０００サンプルの積算演算行い、サンプル数Ｓｍで平均処理を行って平均レベル（平均パワー）Ｐａｖを求める。

音声データ積算処理系１０５から出力されたデータＰａｖは、判定処理系１０６に入力され、しきい値設定系１０７で設定された所定しきい値Ａｔｈと比較処理され無音判定処理が行われる。

ここで、しきい値設定系１０７における所定しきい値Ａｔｈの設定において、Ａｔｈは固定値Ａｔｈ０として設定することが考えられるが、固定値Ａｔｈ０の他に、所定音声区間の平均レベルに応じた変動しきい値Ａｔｈｍを設定することも考えられる。

変動しきい値Ａｔｈｍとして、例えば、いま処理を考えている区間をｎとし、それより前の区間（ｎ−ｋ）の平均レベルＰａｖ（ｎ−ｋ）を考え、次の（３３）式のようにすることが考えられる。

例えば、ｔ＝２として、
Ａｔｈｍ＝（Ｐａｖ（ｎ−１）＋ Ｐａｖ（ｎ−２））／ｍ （３４）式
例えば、ｍはおおよそ、２〜２０くらいの範囲から設定することが考えられる。

（その他の音声特徴抽出処理）
データバッファ系１０４に蓄積された所定音声データは、周波数解析処理系１０８に入力され、所定の周波数解析処理が行われる。

ここで、周波数解析処理としてＦＦＴ（高速フーリエ変換）などが考えられ、データバッファ系１０４からのデータの所定解析サンプルデータ数は、例えば、５１２、１０２４、２０４８、その他、など２のべき乗の所定サンプル数で所定の解析処理を行う。

周波数解析処理系１０８からの信号（データ）は、判定処理系１０９に入力され、所定の判定処理が行われる。

音楽（楽音）の判別処理は、所定周波数帯域のスペクトルピークの継続性から行うことができる。

例えば、特開２００２−１１６７８４号公報などにはそれらの技術が開示されている。

話者音声の判定では、人の会話音声波形で息継ぎの区間があるので、波形に所定の急峻な対上がり、又は立下り区間が見られ、その所定立ち上がり、又は立下り区間を検出することで所定の信号処理を行うことができる。

この場合に、上記音楽（楽音）信号波形の場合は話者音声の場合に比べて、一般的に波形の立ち上がり、又は立下り区間が現れる確率は小さいと考えられるので、この楽音（音楽）波形の特性（特徴）も考慮して、総合的に音声信号の属性判定を行うようにする。

上記のような、話者音声信号の波形特徴（波形特性）、音楽（楽音）信号の波形特徴（波形特性）の相違から音声信号の属性判定を行う場合に、波形における時間的な物理特性を検出することになるので、上記で説明したような周波数解析を行ってから所定の判定信号処理を行う方法（周波数領域での信号解析、判定処理）の他に、ベースバンド領域で所定の判定処理を行う方法（時間領域での信号解析、判定処理）も考えられる。

ここで、音声信号（音声データ）をデコード処理しないで、圧縮帯域のままで信号の属性解析を行う場合の音声系特徴抽出処理系の構成例を図２２に示す。

図２２に示す音声系特徴抽出処理系では、所定の帯域圧縮信号処理が施されたデータストリーム、例えば、ＭＰＥＧなどの画像音声データがストリーム分離系１００に入力されて画像データと音声データに分離され、音声データはストリームデータ解析系１１０に入力され、所定のサンプリング周波数、量子化ビット数その他などの信号解析処理が行われ、所定の音声データはサブバンド解析処理系１１１に入力される。

サブバンド解析処理系１１１で所定のサブバンド解析処理が行われ所定サブバンド帯域のデータは上記（３２）式〜（３４）式で説明したのと同様の所定信号処理が行われる。

すなわち、音声データ積算処理系１０５に入力され、データカウント系１０３で所定のサンプリングデータ数が検出されるまで所定の積算処理が行われ、その後、しきい値設定系１０７で設定される所定しきい値に基づいて判定処理系１０６で所定の無音判定処理が行われる。

この無音判定処理では、音声データのスペクトルを考慮して、エネルギーが多く集まっている帯域で、サブバンド帯域としては大よそ３ＫＨｚ以下の所定データ帯域を用いることが考えられる。

また、上記周波数解析により楽音（音楽）、話者音声の判定処理が行えることを述べたが、サブバンド解析系１１１の処理により、この信号処理系で所定の周波数解析が行われたのと同様と考えられるので、上記での述べたような所定スペクトルピークの継続性判定処理を行うことで属性判定の信号処理を行うことが考えられる。

この場合、スペクトルピークは、各所定サブバンド帯域の中の最大データ帯域と考えることができ、ＦＦＴ解析処理の場合と同様の信号処理が行えると考えられる。

３．２ 画像系特徴
次に映像（画像）系特徴（特徴）抽出処理について説明する。

映像系特徴抽出処理系では、図２３に示すように、ストリーム分離系で所定の分離処理が行われた画像データは、ストリームデータ解析系２００に入力され、レート検出、画素数検出その他など所定のデータ解析が行われ、ＤＣＴ係数処理系２０１でＤＣＴのＤＣ係数検出、ＡＣ係数検出など所定のＤＣＴ演算処理（逆ＤＣＴ演算処理）が行われ、このＤＣＴ係数処理２０１の出力に基づいて、シーンチェンジ検出系２０２、色特徴検出処理系２０３、類似画像検出処理系２０４、人物検出処理系２０５及びテロップ検出判定処理系２０６における各種処理が行われ、動きベクトル系２０８では、所定の動きベクトル検出処理が行われる。

３．２．１ シーンチェンジ特徴
シーンチェンジ検出系２０２では、例えば、所定画面領域に分割しその領域毎にＤＣＴのＤＣ係数データのＹ（輝度データ）、Ｃｂ、Ｃｒ（色差データ）の平均値を演算してフレーム間差分演算又は、フィールド間差分演算をその領域毎に行い、所定しきい値と比較して、所定のシーンチェンジ検出を行うことが考えられる。

シーンチェンジが無い場合は、各領域のフレーム間（又はフィールド）差分データは所定しきい値より小さく、シーンチェンジがあるとしきい値より差分データが大きくなる場合が検出できる。

ここで、画面分割の領域は、例えば、図２４に示すように有効画面を１６分割するような領域を考えることができる。

演算する画面分割の方法は図２４の場合に限らず、分割数を多くすることも、少なくすることも考えられるが、少なすぎるとシーンチェンジの検出精度が鈍感になり、分割数が多いと精度が鋭すぎることが考えられるので、およそ２５６（１６×１６）以下の範囲の間で適当な所定の分割数を設定することが考えられる。

３．２．２ 色（カラー）特徴
色特徴検出処理系２０３では、ＤＣＴのＤＣ係数の、所定領域におけるＹ、Ｃｂ、Ｃｒデータの平均値から色特徴を検出することができる。

所定領域としては、例えば、図２５に示すような領域を考えることができる。

この図２５では、有効画面を横方向に４分割し検出領域１〜検出領域４、縦方向に４分割して検出領域５〜検出領域８を設けている。各検出領域には領域ＩＤが付され、各検出領域のデータは領域ＩＤによって識別される。

ここで、場合に応じて横方向だけの検出領域１〜４、又は縦方向だけの検出領域５〜８を設けることも考えられる。

また、図２５のような領域分割以外にも、５×５や、６×６といった碁盤状の分割方法なども考えられる。

例えば、放送番組で番組ジャンルとして「相撲」の場合を想定した場合に、図２５の検出領域３領域で茶色が検出できる場合は「土俵のシーン」の確率が高いと想定できる。

この色特徴と例えば、音声の属性特徴と組み合わせると、「土俵のシーン」＋「音声属性その他（又は話者音声）」から「取組みが開始するシーン」の確率が高い想定できるので、このようなシーン区間がキーフレーム区間と設定できる。

また、この場合には、取組み開始シーンでは観客の歓声などで音声レベルが大きくなったり、通常の状態とはことなる音声周波数帯域のデータが検出されることが考えられるので、音声レベルや、所定の周波数領域データも特徴データとして考えることもできる。

３．２．３ 類似シーン（類似画像）特徴
類似画像検出処理系２０４では、類似シーン（類似画像、類似映像）毎に、所定のＩＤ（識別番号、又は識別記号）をその画像（シーン）に付与（付加）（又は、割り当て）する処理で、類似画像（シーン）には同一ＩＤが付与（割り当て）処理される。例えば、特開２００２−３４４８７２号公報にその技術が開示されている。

この付加（付与）する処理はその画像（シーン）又は画像（シーン）の位置情報（フレーム番号、ＰＴＳ、記録時刻など）と一対一に対応するメモリー手段（データ記録手段）にそのＩＤを記録するもので、その画像を表示又はその画像から再生するなどの動作を行う場合に、その画像（シーン）の位置情報とＩＤは一対一に対応しており、画像（シーン）自体とその位置情報も言うまでもなく一対一に対応しているので、例えば、同一ＩＤの画像を表示するなど類似画像分類や同一ＩＤの画像シーンの時点をスキップ再生するなど、ＩＤを利用する色々な所定動作を行うことができる。

この特徴データとしては、上記のシーンＩＤについて言及したように、検出頻度の１位、２位などの検出出現順位を考えることができる。

また、図７に示すような、そのＰＵ区間長に対するその出現順位１位、２位など、検出したＩＤの検出長の割合を考えることができる。

この特徴抽出処理は、例えば、画面を複数分割（例えば、２５分割）して、その各分割した画面領域に対応する領域のＤＣＴの平均ＤＣ係数を演算して、その演算した平均ＤＣ係数をベクトル成分として、所定ベクトル距離が所定しきい値より小さい所に対応する画像（シーン）を類似画像（類似シーン）とし、類似画像（類似シーン）には、同一の所定ＩＤ（シーンＩＤ）を割り当てる処理である。

例えば、ＩＤとして、初期値を１とし、上記所定しきい値より小さい画像（シーン）が検出されない場合は、ＩＤの最大値に１を加算したものを新たなＩＤとして、その画像（シーン）に割り当てる。

本発明における、この特徴データの利用方法として、上記図５を参照して説明したように、所定区間でのＩＤの出現頻度を演算して、頻度１位〜２位の検出を行うなどの処理方法が考えられる。

これは、例えばニュース番組を想定した場合に、アナウンサーシーンが頻繁に出現する場合や、相撲、野球など、類似シーンの出現が多く見込めるような番組ジャンルでは、有効な処理に用いることができると考えられる。

すなわち、ニュース番組で出現頻度１位や２位では、出現頻度の高いと想定できるアナウンサーシーンが検出できる確率が高いと考えられる。

図２６はＩＤの出現頻度の演算方法を説明するための概要を示すもので、例えば、区間ｆ１〜ｆ２、ｆ３〜ｆ４、ｆ５〜ｆ６、ｆ７〜ｆ８の４区間で同一ＩＤであるＩＤ１が検出できている。

すなわちこの区間では、類似したシーンが出現したと考えられる。

図２６のように、所定区間同じＩＤが連続している区間を一つとして数え、そのような区間がいくつあるかを演算する。

類似シーンが出現しなくなると同一ＩＤではなくなるので、ＩＤの連続性、不連続性の数を演算することで所定の頻度を算出することも考えられる。

３．２．４ 人物特徴
人物検出処理系２０５では、図２７に示すように画面の領域を分割し、各領域における所定の特定色を検出することで、人物が画面に現れているかを判定することが考えられる。

図２７に示した例では、有効画面を２×２に分割した領域１〜４の４つの領域と、画面中央付近の領域５の５つの領域を想定している。

例えば、ニュース番組では、領域５にアナウンサーの顔が出現する場合の確率が高いことが考えられる。

また、フリップ又はテロップとアナウンサーシーンが出現する場合を想定すると、領域１又は領域２にアナウンサーの顔が出現する場合も考えられる。その場合に領域２又は領域１にフリップ又はテロップが出現すると想定できる。

例えば、特定色として白人の肌色を想定すると、以下の条件式により特定色を検出することが実験から分かっている。

０．６＜Ｃｂ／Ｃｒ＜０．９〜０．９７ （３５）式
（０≦Ｃｂ≦２５５、０≦Ｃｒ≦２５５） （３６）式
以下に説明するように、図２７に示した領域における特定色の検出による方法と別の方法も考えられる。

ここでは、簡単のため画面サイズを７２０×４８０として考える。

（処理１）
色信号（Ｃｂ，Ｃｒ）からの検出条件（白人系肌色条件）ＤＣＴ係数Ｃｂ、ＣｒのＤＣ成分においてマクロブロックは１６×１６で、ｘ方向は７２０／１６＝４５で、（０〜４４）、ｙ方向は４８０／１６＝３０で、（０〜２９）毎に以下の（３．２．３）式に示す判定条件でデータポイントを検出する。場合によっては、ｘ、ｙ方向各々１／２に圧縮してｘ方向０〜２２、ｙ方向０〜１４として処理する。ここで、０≦Ｃｂ≦２５５、０≦Ｃｒ≦２５５である。

０．６＜Ｃｂ／Ｃｒ＜０．９〜０．９７ （３７）式
ここで、例えば、８ビットシフト（１２８倍）して以下の（３８）式のような判定条件も考えられる。

７７＜（Ｃｂ＜＜８／Ｃｒ）＜１１５〜１２４ （３８）式

（処理２）
輝度信号ＡＣ係数からの検出条件（人物、顔などの輪郭部検出条件）上述の（３７）式や（３８）式にして示される判定条件において、所定しきい値Ａｔｈより大きいデータをｘ、ｙ方向毎に検出する。

ｘｈ（ｘ）＞Ａｔｈ （３９）式
ｙｈ（ｙ）＞Ａｔｈ （４０）式
場合によっては検出データから共分散処理を行う。

例えば、図２８に示すように、●の部分が検出点で例えば以下のようになる。

ｘｈ（０）＝ ０ ｙｈ（０）＝０
ｘｈ（１）＝ ２ ｙｈ（１）＝０
ｘｈ（２）＝ ２ ｙｈ（２）＝３
・・・ ・・・
・・・ ・・・
・・・ ・・・

（処理３）
検出物の大きさの正当性の検出条件を考え、ｘｈ（ｘ）、ｙｈ（ｙ）の検出で、所定しきい値Ｈｔｈより大きい検出データ点
ｘｈ（ｘ）＞Ｈｔｈ （４１）式
ｙｈ（ｙ）＞Ｈｔｈ （４２）式
で、ｘ方向、ｙ方向毎に所定しきい値数 Ｌｔｈより大きいデータ
ｘｌ（ｎ）＞Ｌｔｈ （４３）式
ｙｌ（ｍ）＞Ｌｔｈ （４４）式
の継続長を検出する。

例えば図２８に示す場合では、Ｈｔｈ＝２で
ｘｈ（ｘ）＞２
ｙｈ（ｙ）＞２
の検出点が継続している部分の継続長は、
ｘｌ（０）＝６
ｘｌ（１）＝１
ｙｌ（０）＝７
ｙｌ（１）＝２
と検出され、例えば、Ｌｔｈ＝３とすると、ｘｌ（０）、ｙｌ（０）がここの処理での検出データとなる。

（処理４）
人物の顔としての形状の正当性の検出条件を考える。検出された、ｘｌ（ｎ）、ｙｌ（ｍ）の各々についてその、差分又は比が所定範囲（０〜Ｄｔｈ又はｅｔｈ１〜ｅｔｈ２）のデータを検出する。

｜ｘｌ（ｎ）−ｙｌ（ｍ）｜＜Ｄｔｈ （４５）式
又は
ｅｔｈ１＜ｘｌ（ｎ）／ｙｌ（ｍ）＜ｅｔｈ２ （４６）式
図２８の例では、ｘｌ（０）、ｙｌ（０）について演算を行う。

ここで、人物の顔の形状を考え、顔を４角形で近似すると仮定し、縦横比を演算する。

例えば、
０．８＜ｘｌ（ｎ）／ｙｌ（ｍ）＜１．５ （４７）式
を検出条件と仮定すると、
ｙｌ（０）／ｘｌ（０）＝１．２ （４８）式
で、図２８のｘｌ（０）、ｙｌ（０）の領域の物体は人物の顔の確率が高いと判定できる。

ここで、上記（３．２．４）のようなビットシフト処理を行うことも考えられる。

上記（処理１）〜（処理４）の検出条件の他、以下の（処理５）のような検出データの継続性判定を行うことも考えられる。

（処理５）
検出形状の時間継続性の条件を考える。
（継続性判定 方法５．１）
場合によっては、上記（処理１）〜（処理４）の検出の時間継続性（検出の安定性）を判定することも考えられる。

例えば、上記（４８）式からピクチャーＮでの検出値Ｓ（Ｎ）を
Ｓ（Ｎ）＝ｙｌ（０）／ｘｌ（０） （４９）式
とし、Ｓ（Ｎ＋１）、Ｓ（Ｎ＋２）などを検出して継続性の判定を行うことも考えられる。

例えば、
０．８＜Ｓ（Ｎ） ＜１．５ （５０）式
０．８＜Ｓ（Ｎ＋１）＜１．５ （５１）式
０．８＜Ｓ（Ｎ＋２）＜１．５ （５２）式
と３ピクチャー継続した場合に検出したと判定することも考えられる。

ここで、検出処理を行うピクチャーは、Ｉピクチャーが考えられる。

（継続性判定 方法５．２）
また、その他の方法として、上記（処理１）〜（処理３）の検出値の何れか、幾つかをピクチャーＮでの検出データとして、Ｎ＋１、Ｎ＋２、Ｎ＋３と継続検出できるかを判定することも考えられる。

例えば、フレームＮでの検出値
Ｃｏｌ（Ｎ）＝（Ｃｂ＜＜８）／Ｃｒ （５３）式
を考え、
７７＜Ｃｏｌ（Ｎ） ＜１１５ （５４）式
７７＜Ｃｏｌ（Ｎ＋１）＜１１５ （５５）式
７７＜Ｃｏｌ（Ｎ＋２）＜１１５ （５６）式
のように、３つのＩピクチャーを継続して検出できたかを判定し、次の検出処理に移行することも考えられる。

また、検出されたＮ〜（Ｎ＋２）ピクチャーのデータの平均値を演算し、条件判定することも考えられる。

すなわち、検出された３ピクチャーデータの平均値をＡｖＣｏｌとし、
ＡｖＣｏｌ＝（Ｃｏｌ（Ｎ）＋Ｃｏｌ（Ｎ＋１）＋Ｃｏｌ（Ｎ＋２））／３
（５７）式
７７＜ＡｖＣｏｌ＜１１５ （５８）式
を判定処理することも考えられる。

（継続性判定 方法５．３）
上記（３９）式、（４０）式により、それらをピクチャーＮでの検出値 ｘｈ（Ｎ）（ｘ）、ｙｈ（Ｎ）（ｙ）として、Ｎ＋１、Ｎ＋２などのピクチャーでの検出判定の継続性を見ることも考えられる。

すなわち、
ｘｈ（Ｎ）（ｘ） ＞Ａｔｈ （５９）式
ｘｈ（Ｎ＋１）（ｘ）＞Ａｔｈ （６０）式
ｘｈ（Ｎ＋２）（ｘ）＞Ａｔｈ （６１）式
ｙｈ（Ｎ）（ｙ） ＞Ａｔｈ （６２）式
ｙｈ（Ｎ＋１）（ｙ）＞Ａｔｈ （６３）式
ｙｈ（Ｎ＋２）（ｙ）＞Ａｔｈ （６４）式
のように、３つのＩピクチャーが継続して検出できたかを判定し、次の検出処理に移行することも考えられる。

また、検出されたＮ〜（Ｎ＋２）ピクチャーのデータの平均値を演算し、条件判定することも考えられる。

すなわち、検出された３ピクチャーデータの平均値をＡｖｘｈ及びＡｖｙｈとし、
Ａｖｘｈ＝（ｘｈ（Ｎ）（ｘ）＋ｘｈ（Ｎ＋１）（ｘ）＋ｘｈ（Ｎ＋２）（ｘ））／３
（６５）式
Ａｖｙｈ＝（ｙｈ（Ｎ）（ｙ）＋ｙｈ（Ｎ＋１）（ｙ）＋ｙｈ（Ｎ＋２）（ｙ））／３
（６６）式
Ａｖｘｈ＞Ａｔｈ （６７）式
Ａｖｙｈ＞Ａｔｈ （６８）式
を判定処理することも考えられる。

（継続性判定 方法５．４）
上記（４３）式、（４４）式により、それらをピクチャーＮでの検出値ｘｌ（Ｎ）（ｘ）、ｙｌ（Ｎ）（ｙ）として、Ｎ＋１、Ｎ＋２などのピクチャーでの検出判定の継続性を見ることも考えられる。

すなわち、
ｘｌ（Ｎ）（ｘ） ＞Ｌｔｈ （６９）式
ｘｌ（Ｎ＋１）（ｘ）＞Ｌｔｈ （７０）式
ｘｌ（Ｎ＋２）（ｘ）＞Ｌｔｈ （７１）式
ｙｌ（Ｎ）（ｙ） ＞Ｌｔｈ （７２）式
ｙｌ（Ｎ＋１）（ｙ）＞Ｌｔｈ （７３）式
ｙｌ（Ｎ＋２）（ｙ）＞Ｌｔｈ （７４）式
のように、３Ｉピクチャー継続して検出できたかを判定し、次の検出処理に移行することも考えられる。

また、検出されたＮ〜（Ｎ＋２）ピクチャーのデータの平均値を演算し、条件判定することも考えられる。

すなわち、検出された３ピクチャーデータの平均値をＡｖｘｌ及びＡｖｙｌとし、
Ａｖｘｌ＝（ｘｌ（Ｎ）（ｘ）＋ｘｌ（Ｎ＋１）（ｘ）＋ｘｌ（Ｎ＋２）（ｘ））／３
（７５）式
Ａｖｙｌ＝（ｙｌ（Ｎ）（ｙ）＋ｙｌ（Ｎ＋１）（ｙ）＋ｙｌ（Ｎ＋２）（ｙ））／３
（７６）式
Ａｖｘｌ＞Ｌｔｈ （７７）式
Ａｖｙｌ＞Ｌｔｈ （７８）式
を判定処理することも考えられる。

（人物数検出の基本的な処理方法の概要）
ここで、人物数の検出判定について考える。
（人数判定 方法５．１Ｂ）
例えば、図２９の場合、ｘ方向の所定しきい値以上のデータ ｘｌ（０）、ｘｌ（１）の２個が検出され、ｙ方向はｙｌ（０）の１個が検出されていると仮定する。

ここで、ｘｌ（０）とｙｌ（０）とで特定される領域１と、ｘｌ（１）とｙｌ（０）とで特定される領域２のデータ密度について考える。

領域１について、領域の全データポイントＳ１は、
Ｓ１＝ｘｌ（０）×ｙｌ（０）
＝２０ （７９）式
所定しきい値より大きいデータ数は、
Σｘｈ（ｘ）＝１７ （８０）式
データ密度Δ１、すなわち単位データポイント当たりのデータ数Δ１は、
Δ１＝０．８５ （８１）式
ここで、領域１がすべてしきい値より大きいデータが検出された場合はデータ密度はΔ１＝１になる。そこで、所定しきい値Ｍｔｈを設定し、
Δ１＞Ｍｔｈ （８２）式
を判定する。

同様に領域２について、領域の全データポイントＳ２は、
Ｓ２＝ｘｌ（１）×ｙｌ（０）
＝２５ （８３）式
となる。所定しきい値より大きいデータ数は、
Σｘｈ（ｘ）＝２１ （８４）式
となる。データ密度Δ２は、
Δ２＝０．８４ （８５）式
となる。

ここで、例えばしきい値Ｍｔｈを
Ｍｔｈ＝０．８０ （８６）式
と仮定すると、（８１）式、（８５）式から領域１及び領域２は条件を満たし、人物が検出されたとする確率が高いと判定される。

ここで、ｘ方向について、ｘｌ（０）＋Ｘｌ（１）とｙｌ（０）で特定される領域Ｓｔについて考えると、全データポイント数は、
（ｘｌ（０）＋ｘｌ（１））×ｙｌ（０）＝４５ （８７）式
となる。検出データ数は
Σｘｈ（ｘ）＝１７＋２１
＝３８ （８８）式
となる。データ密度はΔは
Δ＝８．４ （８９）式
となる。

ここで、領域Ｓｔについても
Δ＞Ｍｔｈ （９０）式
であるので、領域１と領域２は、同じｙ方向の位置に人物が検出されると判定される。

（その他の人数検出例１ （領域が重なっている場合））
図３０について考えると、ｘ方向にｘｌ（０）の１個が検出され、ｙ方向にｙｌ（０）の１個が検出されている。

ｘｌ（０）とｙｌ（０）で特定される領域Ｒについて全データポイントＳｒは
Ｓｒ＝ｘｌ（０）×ｈｌ（０）
＝９０ （９１）式
となる。検出データ数は、
Σｘｈ（ｘ）＝４４ （９２）式
データ密度Δｒは、
Δｒ＝０．４９ （９３）式
となる。

ここで、
Δｒ＜Ｍｔｈ
なので、領域Ｒには、１つの人物は検出されるとは判定できない。

データ密度の逆数を考えると、
１／Δｒ＝２．０
であり、物体が２つある可能性があると考えられるが、図３１のようにデータがまばらな状態に存在する場合にもデータ密度は同じになる場合もある。

図３０について、ｙ方向の分散σを考える。

ｙｈ（ｙ）の平均値をｙｈａｖ、データ数ｍとして
ｍ ＝ｙｌ（０） （９４）式
σｙ＝（Σ（ｙｈ（ｙ）− ｙｈａｖ）＾２）／ｍ
＝２．３２ （９５）式
となる。ｘ方向については、平均値をｘｈａｖデータ数ｎとして
ｎ ＝ｘｌ（０） （９６）式
σｘ＝（Σ（ｘｈ（ｘ）−ｘｈａｖ）＾２）／ｎ
＝１．０４ （９７）式
となる。

次に、図３７について、同様にｙ方向、ｘ方向の分散は、
σｙ＝０．９９ （９８）式
σｘ＝０．６４ （９９）式
となる。

上記の結果から、図３６の方がデータの分散値が大きいことが分かる。

そこで、分散値に対して所定しきい値Ｂｔｈ、検出物数に応じたしきい値ｄ１，ｄ２を設定し、以下のような条件を判定し、検出物数を検出することも考えられる。

σｙ＞Ｂｔｈ （１００）式
σｘ＞Ｂｔｈ （１０１）式
ｄ１＜１／Δ＜ｄ２ （１０２）式
例えば、図３６の例では、
Ｂｔｈ＝２．０ （１０３）式
ｄ１ ＝１．８ （１０４）式
ｄ２ ＝２．３ （１０５）式
のように、しきい値を設定して判定することも考えられる。

（その他の検出例２ （領域が対角的に離れている場合））
図３２について考えると、ｘ方向にｘｌ（０）、ｘｌ（１）の２個が検出され、ｙ方向にｙｌ（０）、ｙｌ（１）の２個が検出されている。

ｘｌ（０）とｙｌ（０）で特定される領域Ｒ００について全データポイントＳ００は
Ｓ００＝ｘｌ（０）×ｈｌ（０）
＝２０ （１０６）式
検出データ数は、
Σｘｈ（ｘ）＝１７ （１０７）式
データ密度Δｒは、
Δ００＝０．８５ （１０８）式
ここで、上記（３．２．５２）から
Ｍｔｈ＝０．８０
としたので、
Δ００＞ Ｍｔｈ （１０９）式
であり、領域Ｒ００には、１つの人物が検出される確率は高いと判定される。

次に、ｘｌ（０）と（ｙｌ（０）＋ｙｌ（１））で特定される領域Ｒａについて全データポイントＳａは
Ｓａ＝ｘｌ（０）×（ｙｌ（０）＋ｙｌ（１））
＝４０ （１１０）式
となる。全検出データ数は、（１０７）式から
Σｘｈ（ｘ）＝１７ （１１１）式
であり、データ密度Δａは、
Δａ＝１７／４０
＝０．４３ （１１２）式
となる。これは、しきい値条件を満たしていない。

すなわち、今、ｘｌ（０）と（ｙｌ（０）＋ｙｌ（１））を考えているので、仮に、Δａが所定しきい値より大きいとすると、２つの人物が検出される確率は高いと判定される。

しかし、（１１２）式からΔａは、所定しきい値以下なので、ｘｌ（０）と（ｙｌ（０）＋ｙｌ（１））で特定される領域には、２つの人物は検出されるとは判定できず、１つの人物が検出されると判定する方が確からしい。

すなわち、ｘｌ（０）とｙｌ（１）と特定される領域には人物が検出される確立は低いと判定される。

同様に、ｘｌ（１）と（ｙｌ（０）＋ｙｌ（１））とで特定される領域Ｒｂについて、全データ数は
Σｘｈ（ｘ）＝１７ （１１３）式
となる。全データポイント数Ｓｂは、
Ｓｂ＝ｘｌ（１）（ｙｌ（０）＋ｙｌ（１））
＝ ４０ （１１４）式
となる。データ密度Δｂは、
Δｂ＝１７／４０
＝０．４３ （１１５）式
となる。

この（１１５）式から領域Ｒｂには２つの人物が検出される確率は低いことになる。

ここで、ｘｌ（１）とｙｌ（０）で特定される領域のデータ密度Δ１０は、検出データ数が
Σｘｈ（ｘ）＝１７
であり、全データポイント数が
ｘｌ（１）×ｙｌ（０）＝２０
なので、
Δ１０＝１７／２０
＝０．８５ （１１６）式
ｘｌ（１）とｙｌ（１）とで特定される領域のデータ密度Δ１１についても同様に
Δ１１＝０．８５ （１１７）式
となる。

上記（１１５）式〜（１１７）式から、領域１０か領域１１の何れかは人物が検出される確率は低いことになる。

次に、（ｘｌ（０）＋ｘｌ（１））とｙｌ（０）で特定される領域Ｒｃのデータ密度について考える。検出データ数は、
Σｙｈ（ｙ）＝１７
全データポイント数は
（ｘｌ（０）＋ｘｌ（１））×ｙｌ（０）＝４０
よって、データ密度Δｃは、
Δｃ＝１７／４０
＝０．４３ （１１８）式
これは、上記の所定しきい値Ｍｔｈ以下なので、領域Ｒｃは２つの人物が検出される確率は低く、上記（１０９）式及び（１１５）式〜（１１７）式などから、結局、人物が検出されるのは、ｘｌ（０）とｙｌ（０）で特定される領域、ｘｌ（１）とｙｌ（１）で特定される領域の２つとなる。

以上のような判定処理により、人物数検出の可能性も考えられる。

（その他の人検出処理方法 （方式２））
その他の方法として、ｘ方向（０〜４４）及びｙ方向（０〜２９）に対して順次、所定しきい値条件を満たすか判定して行く方法も考えられる。

データ系列をｄ（ｘ）（ｙ）として、上記（３７）式、（４１）式及び（４２）式の条件を満たすデータ系列を検出して行き、例えば、
ｄ（ｘ１）（ｙ１），ｄ（ｘ２）（ｙ１）
ｄ（ｘ１）（ｙ２），ｄ（ｘ２）（ｙ２）
このように、ｘ方向とｙ方向で連続して検出されたとすれば、検出物の大きさと、位置も同時に分かることになる。

しかし、この方法では全データを１つずつ検出し、系列データの連続性の判定を行うなどのため、演算時間が上記の（方式１）に比較して多くかかると思われる。

この手法を行う場合には、例えば、ｘ方向及び、ｙ方向にデータを１／２に圧縮してデータ処理数を減らしてから行うことも考えられる。

（その他の人検出処理方法（方式３））
上記（方式２）と類似の方法で別の手法として、人物を４角形で近似し、４角形の大きさを順次変えて、その４角形の領域のデータが所定の条件を満たすかを判定することも考えられる。

例えば、図３３のような（２×２）、（３×３）、（４×４）の４角形を考える。

上記のような大きさの異なる４角形の領域を順次小さい４角形から１データずつ移動させ、その領域内のデータが条件を満たすか判定して行き、すべての領域で判定が終了したら、次の大きさの４角形についても同様に処理を行う。

すべての大きさの４角形について、処理が終了した時点で、検出領域と、検出個数が分かるが、上記（方式２）同様処理時間が多くかかると考えられる。

３．２．５ テロップ特徴
テロップ検出判定処理系２０６では、図２５に示すような画面の領域におけるＤＣＴのＡＣ係数の平均値を検出する。

所定領域における画面内で、所定の大きさの文字情報を含むテロップは比較的、輪郭がはっきりしており、図２５の何れかの領域にテロップ画像が現れた場合に、所定しきい値以上のＡＣ係数が検出でき、これによりテロップ検出が行えると考えられる。

上記のようにＤＣＴのＡＣ係数を検出する方法の他に、ベースバンド領域（時間領域の信号）でエッジ検出する方法も考えられ、例えば、画像の輝度データのフレーム間差分によりエッジを検出することも考えられる。

また、ウェーブレット変換により、多重解像度解析を行い、所定の高周波成分データを含む所定の多重解析度領域におけるデータを用いて、図２５に対応する領域の平均値を演算するようにして上記ＡＣ係数を用いる場合と同様の信号を行うことも考えられる。

テロップは、フリップの用に淡色領域とは限らず、例えば、ニュース映像の下部に出現する文字情報であり、出現領域は、おおむね、番組ジャンルにもよるが、画面の下部、上部、又は左側際、右側際などの場合の可能性が大きい。

テロップ特徴と、フリップ特徴をまとめて、文字特徴とすることも考えられる。

３．２．６ カメラ特徴
カメラ特徴判定処理系２０９では、ズーム、パンその他などのカメラ動作に関する特徴で、例えば、特開２００３−２９８９８１号公報に開示されているように、ＭＰＥＧの場合には、Ｐピクチャーのモーションベクトル（動きベクトル）を用いて判定することが考えられる。

その他に例えば、特表２００２−５３５８９４号公報にカメラ特徴に関する技術が開示されている。

（４）再生ユニット（プレイユニット）処理
ここで、ダイジェスト再生（要約再生）は所定の信号処理による音声系特徴データ、映像系特徴データの各特徴データ（特徴抽出データ）を用いて所定の信号処理により、所定区間内において幾つかの重要再生区間（キーフレーム区間）を選定（選択）して、その各区間を逐次、スキップ再生動作することを考える。

スキップ再生を行う場合に、例えば、話者音声区間の途中で、スキップすると、画面上は見ていてあまり違和感がない場合でも、音声の途中で途切れる場合にユーザーによっては聴感上で違和感を生じる場合が考えられるので、所定音声レベル（音量）以下の区間を無音区間と設定し、その区間内の所定の時点をスキップ時点の候補とすることが考えられる。

また、映像のシーンチェンジは、放送番組、映画その他の映像再生では、話題の区切りの時点として考えられるので、シーンチェンジ点、又はその近傍をスキップ時点の候補とすることも考えられる。

上記のことから、所定音声信号における所定無音区間と所定映像信号のシーンチェンジ時点又はその近傍の所定時点に応じてスキップ再生時点、スキップ再生区間を考えることができる。

ここでは、上記のような観点から、（（スキップ再生時点間（又はその区間）を、便宜上、所定の再生単位（以下再生ユニット又はプレイユニットＰｌａｙ Ｕｎｉｔ（又はＰＵ））を設定して処理を行うことを考える。

このように設定された再生ユニット（ＰＵ）における所定の画像系特徴データ、所定の音声系特徴データが所定処理され、それら映像、音声特徴データと要約再生時間に応じて所定の要約再生（ダイジェスト再生）区間が設定され、所定の要約再生モードでスキップ再生を行うことで所定の要約再生が実行される。

また、上記のような要約再生を行うだけでなく、所定の信号処理により設定されたＰＵの最初（又はその近傍）又は最後（又はその近傍）の時点にチャプター（又は編集点、又は再生区切り点）を設定することも考えることができる。

すなわち、上記で述べたようなチャプターを設定することで、そのチャプター点を所定の信号処理によりサムネール表示を行うことや、ユーザーがそのサムネール表示を見て編集を行うなどの操作を行うことができる。

次に再生ユニット（プレイユニット）（ＰＵ）の処理の一例について、図３４〜図３５を参照して説明する。

（有音区間の場合（音声信号が所定レベル以上の場合））
図３４の（Ａ）に示す処理法１のように、所定平均レベル以上の有音区間で、その音声区間が１０秒〜２０秒の範囲の場合には、シーンチェンジによらず音声セグメントが１５秒に最も近い切れ目（所定の無音検出時点）を再生ユニットの区切りとする。

図３４の（Ｂ）に示す処理法２のように、音声区間が連続して２０秒より長く、シーンチェンジ区間が２０秒以下の場合には、シーンチェンジの切れ目が１５秒に最も近いシーンチェンジ検出点を再生ユニットの区切りとする。

図３４の（Ｃ）に示す処理法３のように、音声連続して２０秒より長く、シーンチェンジ区間が２０秒より長い場合には、音声セグメント、シーンチェンジによらず、再生ユニットが２０秒になったらその時点で区切りとする。

図３４の（Ｄ）に示す処理法４のように、音声特徴の属性が１０秒〜２０秒の範囲で変化する場合には、その属性変化点を再生ユニットの区切り点とする。

図３４の（Ｅ）に示す処理法５のように、ＣＭ（コマーシャル）検出した場合には、ＣＭ検出点を再生ユニットの区切り点とする。

ここで、ＣＭ検出の方法について図３５を参照して説明する。

一般的に放送番組のＣＭの区間長は所定時間長（通常一般的には、１５秒又は３０秒又は６０秒）であり、ＣＭの区切り点（開始、終了時点）ではシーンチェンジがあるので、上記所定時間長の検出とシーンチェンジ検出をすることで、図３６に示すようにＣＭを検出することが可能である。

（無音区間の場合（音声の平均レベルが所定以下の場合））
図３５の（Ａ）に示す処理法６のように、無音区間（音声平均レベルが所定以下の区間）が２０秒より長く、シーンチェンジ検出区間長が２０秒以下の場合には、１５秒に最も近いシーンチェンジ検出点を再生ユニットの区切り点とする。

図３５の（Ｂ）に示す処理法７のように、無音区間が２０秒より長く、シーンチェンジ検出区間が２０秒より長い場合には、シーンチェンジ検出点によらず、再生ユニットの開始点から２０秒の時点で区切り点とする。

上記いずれの再生ユニット処理の説明で、再生ユニットの開始点の初期値は、そのプログラム（放送番組）を記録した開始時点とする。

上記のような再生ユニット処理により、所定の音声特徴、所定の映像特徴（シーンチェンジ特徴）に応じた所定の再生単位を再生することができる。

（再生ユニット生成処理系ブロック構成例）
上記で説明した再生ユニットの生成する処理系と、後で説明する、この再生ユニットに特徴データを入れ込むユニット化特徴データ処理系のブロック構成例を図３７に示す。

要約再生、チャプター点設定などの所定時点設定処理は、再生ユニットの開始点、終点に設定するので、上記で説明した再生ユニット毎に特徴抽出データを対応付けて処理を行う。

すなわち、所定区間毎に特徴抽出した所定の各特徴抽出データ、音声系特徴抽出データ、映像系特徴抽出データを再生ユニットの区間に基づいて反映させる処理を行う。

ここで、図３７のブロック構成例について説明する。

図３７に示すブロック構成例では、無音判定情報データが時間計測系３０１に入力され、上記で説明した再生ユニット処理に基づく所定の間隔（時間長）が計測され、その処理出力が再生ユニット処理系３０２に入力される。

再生ユニット処理系３０２は、シーンチェンジ判定情報データとＣＭ検出判定情報データも入力され、上記再生ユニット処理の各処理方法の説明で行ったような信号処理を行い所定の再生ユニットを生成する。

ここで、ＣＭ検出系３０４は、無音特徴検出情報データとシーンチェンジ特徴情報データ、それにＣＭが放送されている番組のチャンネルかを判定するチャンネル情報が入力され、図３６で説明したような所定の信号処理方法により、ＣＭ検出処理を行う。

再生ユニット特徴データ処理系３０３は、音声属性情報、無音情報などの音声系特徴データと、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、人物特徴などの各特徴データが入力され、後で説明するように再生ユニットに各特徴抽出データを入れ込む処理を行っている。

（５）再生ユニット化特徴データ処理
次に特徴データファイル処理について説明する。

特徴抽出するデータは、音声系特徴抽出データ及び映像系（画像系）特徴抽出データがある。

この特徴データ処理は、上記で説明した再生ユニットに特徴抽出した各音声系、映像系特徴データを入れ込む処理を行った結果のデータ（データファイル）であり、再生ユニット毎に各種特徴データが所定の記録媒体に記録される。

ここで、再生ユニット毎に特徴データを記録することを考えるが、各特徴データを所定の検出区間通りに検出した各特徴データを所定記録媒体に記録して、その後、上記した再生ユニットの所定区間に応じた特徴データに処理を行うことも考えられる。

特徴抽出データは、音声信号（音声データ）、画像（映像）信号（画像（映像）データ）から、所定の特性信号（特性データ）を取り出して、その取り出した信号（データ）を所定の処理を行うことで、音声、画像の特徴を示す特徴データとして考えることができるが、ここでは、特別な注意書きをする場合を除き、特性データ（特性信号）から所定の処理を行って特徴を示す信号（データ）も特徴データ（特徴信号）又は特徴抽出データ（特徴抽出信号）と記述するものとする。

映像（画像）信号は、ＭＰＥＧストリームから特性データとしてＩピクチャーにおける輝度信号（Ｙ信号）、色信号（色差信号）（Ｃｂ、Ｃｒ信号）のＤＣＴのＤＣ係数、Ｂ又はＰピクチャーの動きベクトル（モーションベクトル）データ、また、ＤＣＴのＡＣ係数をそれぞれ取り出し、取り出した画面位置情報、所定しきい値、相関演算などから、シーンチェンジ特徴（ｓｃｎ特徴）、カメラ動作特徴（カメラ特徴）（ｃａｍ特徴）、類似画像特徴（類似シーン特徴又はシーンＩＤ特徴）（ｓｉｄ特徴）、テロップ特徴（ｔｌｐ特徴）、色特徴（カラー特徴）（ｃｏｌ特徴）、人物特徴（Ｐｅｒｓｏｎ特徴）などをそれぞれ考えることができる。

音声信号は、特性データ処理として、例えば、約２０ｍｓ毎に平均レベルが演算処理されこの演算データと所定しきい値とから、所定区間における音声信号の属性（種別）、平均パワー（平均レベル）などの音声特徴（ｓｅｇ特徴）を考えることができる。

ここでは、音声属性として、話者音声、音楽（楽音）、その他音声（スポーツ番組などにおける歓声などを想定することができる）を考えることができる。

５．１ 特徴抽出データファイルの構成
図３８に示す特徴抽出データファイルの構成例１は、上記した音声系特徴データ、ｓｃｎ特徴、ｃａｍ特徴、ｓｉｄ特徴、ｔｌｐ特徴、ｃｏｌ特徴、Ｐｅｒｓｏｎ特徴などの映像系特徴データを各々別々の特徴データファイルとする場合の例である。

各々の特徴データファイルはテキスト形式のデータ又は、バイナリー形式のデータで書き込まれている。

なお、これらの特徴データは、所定の記録媒体に記録するファイルデータとしての他に、通常のデータとして所定の記録媒体（半導体メモリーなど）に一時的に記憶（記録）して、後で説明する要約リストデータ生成や所定設定時点生成（チャプター点）などの所定の処理のために読み出して用いることも考えられる。以下に説明する図３９、図４０の場合も同様である。

図３９に示す例２は、上記したすべての音声系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめ、上記したすべての映像系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめた場合の例である。

図４０に示す例３は、上記したすべての音声系特徴データ及び、上記したすべての映像系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめた場合の例である。

このように、一つのファイルとしてまとめることにより、図３８の例１の場合と比較してファイル数が一つだけなので、ファイルとしての扱いが簡単になり、さらにバイナリー形式とすると、データサイズ（ファイルサイズ、ファイル容量）が小さくなり効率的になる。

ここでは、特徴データファイルを図４０の例３に示すような場合で特徴データをバイナリー形式で書き込む場合について説明する。

また、図４０の例３は、図３９の例２において、すべての音声系特徴データをバイナリー形式で記述したデータと、すべての映像系特徴データをバイナリー形式で記述したデータを一緒にしたものと考えることができる。

上記のことから、特徴データファイルにおける以下の説明における音声系特徴データの処理方法（記述方法）は、図３９の例２における音声系特徴データについて適用することができ、映像系特徴データの処理方法（記述方法）は、図３９の例２における映像系特徴データについて適用することができる。

５．２ 特徴データの階層構造
再生ユニットを単位とする特徴データの階層構造を図４１に示す。

以下の説明では、本発明における所定の所定処理単位（再生ユニット）における所定の特徴データ処理を考えるものとする。

図４１に示すように、特徴データヘッダ情報、プログラム１特徴データ、プログラム２特徴データなどで構成される。

特徴データヘッダ情報は、図４２に示すように、プログラム１、プログラム２、などプログラム全体の総記録時間、記録開始、記録終了時刻、プログラム数（番組数）、その他情報などの所定データから構成されている。

次にプログラム１特徴データを例に、プログラム（番組）の特徴データについて説明する。

図４１に示すように、プログラム１特徴データは、プログラム１情報、再生ユニット１情報、再生ユニット２情報などで構成されている。

図４２に示すように、プログラム１情報は、プログラム記録時間、プログラム開始、終了時刻、プログラムジャンル（番組ジャンル）、その他情報などの所定データで構成されている。

次に、再生ユニット１情報を例に、再生ユニットのデータ構造について説明する。

図４１に示すように再生ユニット１情報は、音声特徴データ、映像特徴データで構成されている。

（音声系特徴データの構成）
図４１に示すように、音声系特徴データは、系列番号情報、開始終了位置情報、音声属性情報、特徴データ、その他情報データなどで構成されている。

（映像系特徴データの構成）
図４１に示すように、映像系特徴データは、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴などの各所定の特徴情報データから構成されている。

以下のシーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴など各特徴データの説明で、全ての所定区間でその各項目の特徴データを所定記録媒体に記録（書き込み処理）する処理の他に、例えば、所定しきい値以上の特徴データが検出された場合のみ、そのデータとして所定の記録媒体に記録（書き込み処理）するように所定データ処理を行う方法も考えられる。

このように、所定しきい値以上の特徴データが検出された場合のみ、所定のデータ処理を行う場合には、しいき値より小さい場合には所定の特徴データが書き込まれないので、しきい値以上の特徴データが検出されて所定の記録（書き込み）処理が行われ、最初から何番目の特徴データ検出かを知る場合には、下記で説明する系列番号情報から知ることができる。

（シーンチェンジ特徴）
図４３に示すように、系列番号情報、開始終了位置情報、特徴データ、その他データからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからのシーンチェンジが起きた順番を示す情報である。

開始終了位置情報は、上記各順番のシーンチェンジの開始終了の位置を示す情報データで、フレーム（フィールド）番号、ＰＴＳ、ＤＴＳ、時間などの情報データを用いることが考えられる。

（色特徴）
図４３に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからの色特徴検出の順番を示す情報である。

開始終了位置情報は、上記各順番における色特徴検出で、各領域の特徴検出した開始終了の位置を示す情報データで、フレーム（フィールド）番号、ＰＴＳ、ＤＴＳ、時間などの情報データを用いることが考えられる。

特徴データは、例えば、ＲＧＢ、Ｙ、Ｃｂ、Ｃｒなどのデータが考えられる。

（類似画像特徴）
図４３に示すように、系列番号情報、頻度情報開始終了位置情報、特徴データ、その他データなどからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからの類似画像特徴検出の順番を示す情報である。

特徴データとしては、上記したような有効画面を所定数の領域に分割（例えば２５分割）した各分割領域のＤＣＴの平均ＤＣ係数などが考えられる。

（人物特徴）
図４３に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからの類似画像特徴検出の順番を示す情報である。
（テロップ特徴）
図４３に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからのテロップ特徴検出の順番を示す情報である。

（カメラ特徴）
図４３に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。

ここで、系列番号情報は、０、１、２、３、・・・とそのプログラム（方法番組）の始めからのカメラ特徴検出の順番を示す情報である。

ここで、放送番組を記録する場合に、放送番組の所定の記録処理と同時に、ここで説明する特徴抽出処理、特徴データの書き込み処理（記録処理）を行うことを考えることができるが、すでに、記録済みの放送番組や、そのた映画、ドラマその他画像音声ソフトについて、所定の特徴抽出処理を行い、特徴データファイルを生成することも考えることができる。

プログラム１について上記のようにＰＵと特徴データを考えることができ、そのほかのプログラム２、プログラム３などを記録する場合にも、上記で説明したプログラム１の場合と同様にＰＵと特徴データを考えることができる。

（６）プレイリスト処理（要約再生リスト生成処理）
次に、上記した特徴抽出処理が生成したＰＵファイル（ＰＵ特徴データファイル）から、要約再生（ダイジェスト再生）を行うための要約データ処理に関する説明を行う。

６．１ 要約ルール処理
本願でのべる特徴データを用いる要約再生（ダイジェスト再生）では、上記したＰＵを単位とする所定再生区間をスキップ再生処理することで所望のダイジェスト再生を行う。

６．２ 所定時点設定処理（プレイリストファイル）処理
次にプレイリストファイルについて説明する。

このファイルは、上記した特徴データに応じて意味付けされたＰＵ、又はＰＵの接合体（ＰＵの集合体、又はＰＵの連結体）の内どれを選択して再生処理を行うかの所定データの情報が所定の書式に応じて記述されているデータである。

ここで、このデータは特徴抽出の基となった画像音声データが記録された所定の記録媒体に記録する（書き込み処理）場合の他に、所定のメモリー手段に一時的に記憶する場合も考えられる。

プレイリストファイルの一例を図４４の（Ａ）、（Ｂ）に示す。

図４４の（Ａ）に示す例１における（ａ）の縦のデータ系列は、再生区間の開始位置情報のデータで、フレーム番号、時間（時刻）、ストリーム（圧縮された画像音声データ）からのＰＴＳ（プレゼンテーション・タイム・スタンプ）あるいは、ＤＴＳ（デコード・タイム・スタンプ）などの所定の情報データなども考えられる。

図４４の（Ａ）に示す例１における（ｂ）の縦のデータ系列は再生区間の終了位置情報のデータで、上記例１の（ａ）のデータと対応して、フレーム番号、時間（時刻）、ストリーム（圧縮された画像音声データ）からのＰＴＳ（プレゼンテーション・タイム・スタンプ）あるいは、ＤＴＳ（デコード・タイム・スタンプ）などの所定の情報データなども考えられる。

図４４の（Ａ）に示す例１における（ｃ）の縦のデータ系列は、その再生ユニット（ＰＵ）、又は再生ユニット群（ＰＵ群）の重要度である。

図４４の（Ａ）に示す例１における（ｄ）縦のデータ系列は、要約ルールで規定された、又は設定された意味の文字データである。

図４４の（Ｂ）に示す例２は、全てのＰＵ区間について意味文字と評価値（重要度）を記述し、再生区間、チャプター設定などの所定時点を示すために「１」、「０」の識別データを設けた場合の例である。

図４４の（Ｂ）に示す例２の（ａ）（ｂ）で示される開始点、終了点は、次の段のデータと連続的になっているのが分かる。

例えば、図４４の（Ｂ）に示す例２において、最初の開始点０終了点２２９で、次の開始点２３０に連続的につながっている。

図４４の（Ｂ）に示す例２における（ｅ）の縦のデータ系列は、要約再生を行うかどうかのフラグ情報データで、「１」の場合は再生を行う場合で、「０」の場合は再生を行わない場合である。

また、「１」の最初の時点、「０」の最初の時点を所定時点設定点（チャプター点）と見ることも考えられる。
（７）動作フローチャート
図４５は、本発明の動作フローチャートの一例であり、これについて説明する。

処理を開始すると、まず、最初のステップＳ１で記録モードか再生モードか判定され、記録モードの場合は記録処理（Ｒ）に、また、再生モードの場合はステップＳ２の処理に移行する。

７．１ 再生処理関係動作フローチャート
（再生処理動作フローチャートの一例）
再生モードの場合は、ステップＳ２で要約再生（ダイジェスト再生）モードか通常再生モードか判定され、通常再生モードの場合は通常再生処理（Ｐ）に移行する。

要約再生モードの場合は、ステップＳ３で所定の特徴抽出データが所定記録媒体に記録されているかの検出処理、又は所定ファイルデータとして記録媒体の所定記録領域に記録されているかの検出処理が判定処理される。

ステップＳ３で所定の特徴抽出データが検出される場合には、ステップＳ４で所定のプレイリストデータ（データファイル）が所定記録媒体の所定記録領域に記録されているかが検出され、プレイリストデータ（プレイリストファイル）が検出される場合は、ステップＳ５で所定プレイリストデータを読出し処理する。

ステップＳ３で所定の特徴抽出データが検出されないと判定される場合には、ステップＳ８でいま要約再生しようとする画像音声データ（プログラム、放送番組）を読み込んで所定の特徴抽出処理を行い、ステップＳ９で処理が終了したかが判定され終了しない場合はステップＳ８に戻り終了するまで処理を行う。

ステップＳ９で所定の特徴抽出処理が終了したと判定された場合には、ステップＳ６に移行して所定のプレイリストデータ生成処理が行われる。

ステップＳ４で所定のプレイリストデータ（ファイル）が検出されないと判定される場合は、ステップＳ６において所定の記録媒体の所定記録領域に記録されている（又は記憶されている）所定の特徴抽出データを読み込み処理して所定のプレイリストデータ（ファイル）を生成処理して所定の記録媒体の所定領域に逐次、あるいは、処理が終了後データを書き込み、ステップＳ７で全てのプレイリスト生成処理が終了したかが判定され、終了しない場合はステップＳ６に戻り処理を繰り返し、Ｓ７で所定のプレイリストデータが全て生成されたと判定された場合は、ステップＳ５で書き込んだプレイリストデータを読み込み処理する。

ここで、ステップＳ６において、逐次生成されたプレイリストデータは上記放送番組などの画像音声情報データが記録されている同じ記録媒体上の所定記録領域に、逐次記録するようにしても良いし、又は画像音声データが記録されたのとは別の記録媒体、例えば、装着、着脱可能な所定メモリー手段などに情報を書き込むようにしても良い。

この場合にも、所定プレイリストデータが逐次生成処理されると共に、逐次データを書き込む（記憶処理する）ようにしても良いし、所定プレイリストデータが全て生成処理され、プレイリスト処理が終了してから、生成された全てのプレイリストデータをまとめて記録（記憶）処理するようにしても良い。

また、プレイリストデータは、後に図４６、図４７を参照して説明するように、記録時間に応じて、ユーザーが複数の要約再生時間を選択できるように、記録時間に応じて、複数のプレイリストデータを生成するようにしても良い。

ここでは、上記したように、所定ＰＵ区間、又は複数のＰＵ区間の接合された所定区間毎に、所定評価値も設定処理されるので、評価値に応じて要約再生時間を操作することができる。

ステップＳ１０で再生時間選択モードになり、ステップＳ１１で、ユーザーがすぐ再生時間を選択したか、又は要約再生モード選択した後プレイリストデータの検出処理終了後から所定時間ｔｍｏｄ内にユーザーが再生時間を選択処理したかが判定され、選択されない場合は、Ｓ１２でユーザーにより再生ストップが選択されたかが判定処理される。

ステップＳ１２でユーザーにより再生ストップが選択された場合は処理を終了し、再生ストップでない場合はステップＳ１０に戻り上記所定の処理を繰り返す。

ステップＳ１１で、ユーザーが再生時間をすぐ選択した場合、又は上記所定時間のｔｍｏｄ内で再生時間を選択しない場合はステップＳ１３で要約再生動作処理に移行する。

ここで、ユーザーが再生時間を選択した場合はその要約再生時間で、再生時間を選択しないで上記所定時間ｔｍｏｄ経過した場合は、所定のデフォルト設定再生時間（所期設定再生時間）ｔｐｂ０が設定される。

ここで、ユーザーによりダイジェスト再生時間を任意に選択できるようにしても良いし、記録したプログラム記録時間とプレイリストデータに基づいた、あらかじめ設定された再生時間から選択処理できるようにしても良い。

この場合、例えば、５分、１０分、１５分、２０分、３０分など時間が考えられ、デフォルトの要約再生時間は、記録時間に応じて、例えば、図４６のように設定することも考えられる。

図４６の例では、所定記録時間以上（Ｔｒｅｃｍｉｎ）の場合にのみ要約再生モードが設定できるようにして、この所定記録時間Ｔｒｅｃｍｉｎとして、記録時間Ｔｒｅｃが１０分未満の場合は、時間が短いので、要約再生は設定されず通常再生のみとしている。

一例として例えば、図４６から記録時間Ｔｒｅｃが６０分の場合は、ユーザーによる選択可能な要約再生時間は、１０分、１５分、３０分、４０分となり、デフォルトの設定時間は、３０分となる。

図４６に示す例では、記録時間Ｔｒｅｃが長くなるほど、ユーザーによる選択可能な要約再生時間の選択数が多くなっているが、上記したように、記録時間が短い場合は、スキップ再生処理による要約再生でスキップ処理される総区間が多くなると、それだけ情報が欠落することになり、再生内容が把握できなくなることが考えられるので選択数を少なくし、適切な要約時間の選択が行えるようにし、それに比較して記録時間が長い場合は、情報量が多いので選択数を多くしてユーザーによる効果的、有効な動作が行えるようにしている。

このようなユーザーによる選択可能な要約再生時間の一覧、デフォルトの再生時間などの情報は、本発明を適用した記録再生装置における所定表示手段又は、その装置に接続された所定の表示手段、又は装置のリモコン上における液晶などの所定表示画面などに表示することが考えられる。

ここで、プレイリスト生成処理と同時に、チャプター設定処理を行うこともでき、記録時間に応じて図４４に示すように、設定可能なチャプター数に応じて自動的に所定のチャプター設定処理が行われる。

例えば、図４４から記録時間が１時間の場合は、５〜４０個のチャプターが設定されるように所定の信号処理が行われる。

ステップＳ１３では要約再生動作が行われるが、上記したように、所定ＰＵ区間又は複数のＰＵ区間の接合区間毎に所定評価値が設定されているので、設定時間と評価値に応じてスキップ再生処理が行われ、それにより要約再生が行われる。

すなわち、評価値が高いＰＵ区間から最優先して順次選択され、選択した要約再生時間にできるだけ近くなるように、順次、上記最優先評価値に比較して評価値の小さい区間を選択処理していく。

ステップＳ１４では再生動作を終了するか判定され、終了の場合は処理を終了し、終了しない場合はステップＳ１５で再生している所定プログラム（番組）が終了したか判定され、終了の場合は処理を終了し終了しない場合は、ステップＳ１６に移行し再生時間を変更するか判定する。

ステップＳ１６で再生時間を変更する場合はステップＳ１０に戻り上記処理を繰り返し、変更しない場合はステップＳ１３に戻り、要約再生動作を繰り返す。

７．２ 記録処理関係動作フローチャート
（記録処理動作フローチャートの一例）
記録モードの場合における動作フローチャートの例を図４８に示す。

図４５に示したフローチャートのステップＳ１で記録モードが選択された場合は、図４８に示すフローチャートのステップＲ１でタイマー記録モードか通常記録モードかが判定され、通常記録モードの場合は、ステップＲ９に移行し通常記録動作を行う。

ステップＲ９の通常記録動作で所定の記録信号処理に移行して、ステップＲ１０においてＭＰＥＧなどの所定エンコード処理される画像音声データ、又はエンコード処理された画像音声データから所定の特徴抽出処理が行われる。

ここで、記録信号処理と特徴抽出信号処理は、同時に行うことができる。

所定エンコード処理される画像音声データについては、所定エンコード処理される途中の画像音声データを用いて所定の特徴抽出処理を行うもので、例えば、画像のＤＣＴ処理系からＤＣＴ信号処理のＤＣ係数データ、ＡＣ係数データなどを取り出すことができ、それら所定のデータを用いて所定信号処理を行うことでシーンチェンジ（特徴）検出（カット点（特徴）検出）、テロップ（特徴）検出など上記した各所定の特徴抽出信号処理を行う。

音声データは、所定の帯域圧縮信号処理における所定サブバンド信号処理において、所定サブバンド帯域におけるデータを用いることで、話者音声、音楽（楽音）判定検出などの信号処理を行うことが考えられる。

楽音判定信号処理については、例えば、所定サブバンド帯域におけるデータの継続性を判定することで判定処理を行うことが考えられる。

また、ベースバンド帯域の画像音声データを用いることも考えられ、例えば、画像のベースバンド信号を用いて、フレーム（又はフィールド）間差分信号処理によりシーンチェンジ検出処理や、その差分信号によるエッジ検出によりテロップ特徴信号処理など、その他所定の特徴抽出信号処理を行うことが考えられる。

ここで、各画像、音声特徴抽出信号処理された特徴データ（特徴抽出データ）は、画像音声データが記録される同じ所定記録媒体、又は所定のバッファメモリーなどの所定データ記憶手段（データ記録手段）に記録する。

ステップＲ１１で通常記録モード終了か判定され、終了ではない場合はステップＲ９に戻り、上記動作を繰り返し、終了の場合は、ステップＲ１２に移行しプレイリストデータ生成処理（又はチャプターデータ生成処理）に移行する。

ステップＲ１でタイマー記録モードの場合は、ステップＲ２で記録開始、記録終了時刻設定を行い、ステップＲ３で所定の動作時刻か判定され、所定時刻ではない場合は、ステップＲ７で動作待機し、ステップＲ８でユーザーによりタイマー動作解除の割り込み処理が行われたか判定され、タイマー動作を継続する場合は、ステップＲ３に戻り上記動作を繰り返す。

ステップＲ８でタイマー動作が解除された場合は、図４５のステップＳ１に戻り、最初の動作モード選択処理を行う。

ステップＲ３で所定の記録動作時刻になったと判定されたら、記録動作を開始し、上記したステップＲ９〜ステップＲ１１と同様の動作をステップＲ４〜ステップＲ６で行う。

特徴データは、上記したように、各画像、音声特徴抽出信号処理された特徴データ（特徴抽出データ）は画像音声データが記録される同じ所定記録媒体、又は所定のバッファメモリーなどの所定データ記憶手段（データ記録手段）に記録する。ステップＲ６で記録終了時刻と判定された場合は、ステップＲ１２に移行してプレイリストデータ生成処理又はチャプターデータ生成処理を行う。

ステップＲ１２では、上記各種の所定特徴抽出処理された特徴データ（特徴抽出処理された所定特徴データを所定の加工処理、所定の信号処理を施したデータ、それらデータを用いて所定判定処理を行ったデータなども含む）を所定記録媒体から読出し処理を行い、所定のプレイリストデータ（ファイル）生成処理、チャプターデータ生成処理を行う。

生成されたプレイリストデータ、チャプターデータは、所定記録媒体に記録され、ステップＲ１３で生成処理が終了したか判定処理され、終了しない場合は、ステップＲ１２に戻り上記処理動作を繰り返し、ステップＲ１３で終了したと判定された場合は動作を終了する。

ここで、上記プレイリストデータ、チャプターデータは、逐次、データの生成処理と同時に所定記録媒体に記録する場合の他に、上記処理対象にしている所定の放送番組、プログラム、又は所定記録区間に対する所定プレイリストデータ、チャプターデータの全ての生成処理が終了した後に、まとめて所定記録媒体に記録するようにしても良い。
（特徴抽出処理と平行してプレイリストデータ（チャプター）処理を行う場合）

ここで、上記説明では、所定の放送番組、プログラムなど画像音声情報データの記録処理と同時に所定の特徴抽出処理を行い、特徴抽出処理した各種の特徴データ（特徴抽出データ、又は特徴抽出データを用いて所定の加工、所定の信号処理を施した信号を含む）を所定の記録媒体に記録して、上記所定の放送番組、プログラムが終了した後、記録した特徴データを読み出して、プレイリストデータ（ファイル）、チャプターデータなどを生成処理する場合を述べたが、上記特徴抽出処理と同時に、又は特徴抽出処理と平行してプレイリストデータ（ファイル）、チャプターデータ生成処理を行うことも考えられる。

７．３ 再生ユニット処理関係動作フローチャート
（ＰＵ処理で所定データ区間毎に音声セグメント処理とシーンチェンジ処理を行う場合の動作フローチャート）
上記したＰＵ信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの一例を図４９に示す。

処理を開始するとステップＰ１で画像音声情報データが記録されている所定記録媒体から音声データ、及び後で説明するシーンチェンジ検出処理のために画像データの所定サンプルデータ数を読出し処理して、ステップＰ２で読み出したデータをメモリーなど所定の記録手段であるデータバッファに記憶処理（書き込み処理、記録処理）を行っていく。

ステップＰ３で所定サンプル数のデータがバッファに記録されたと判定された場合はステップＰ４に移行し、まだ所定サンプルデータが記録されないと判定された場合はステップＰ２に戻り動作を繰り返す。

ここで、ステップＰ２〜ステップＰ７ではＰＵ処理のために、所定、音声信号の有音、無音判定処理を考えるので、ステップＰ２の所定サンプルデータ数としては、大よそ０．１秒くらい〜１秒くらいの所定区間の間に相当するデータ数のバッファ処理を行う。

例えば、サンプリング周波数４８ＫＨｚの場合は、１秒間で４８０００サンプルデータなので、０．１秒の場合は４８００サンプルのデータをバッファに記録する。

ステップＰ４でバッファから音声データを読出し処理し、ステップステップＰ５で、上記で述べたような所定区間の音声レベルの演算処理を行い、ステップＰ６で所定レベルと比較処理を行い、所定レベル以上か所定レベル以下かの判定処理を行って、無音検出（無音判定）処理が行われる。

ステップＰ６でその区間が無音区間と判定された場合は、ステップＰ７でその情報を所定メモリー（バッファ）に記憶（記録）し、無音でなく有音と判定された場合はステップＰ８に移行し、ステップＰ１で読み込んだバッファのデータの音声バッファ処理が終了したか判定処理され、終了しない場合はステップＰ２に戻り上記の処理を繰り返し、終了した場合はステップＰ９に移行する。

ステップＰ９では、ステップＰ８で処理された音声セグメント情報データを読出し、ステップＰ１０で上記した短い無音区間、有音区間、長い無音区間、有音区間のセグメント処理を行う。

ステップＰ１１では、所定データサンプル数の画像データのＤＣＴ処理データを所定のバッファメモリー（所定データ記録手段）に記録処理を行い、ステップＰ１２で所定データ量の記録が終了したかが判定され、所定データ量ではない場合は、ステップＰ１１に戻り上記バッファメモリー系への書き込み処理を繰り返し、ステップＰ１２で所定データ量の書き込み処理が終了したと判定された場合は、ステップＰ１３に移行する。

ステップＰ１３では上記所定のバッファメモリー系から記録した（書き込み処理した）所定のＤＣＴデータを読出し処理し、ステップＰ１４において、フレーム間差分などの所定信号処理を行い、所定のシーンチェンジ検出処理を行う。

ステップＰ１５で所定のシーンチェンジがあったか判定処理され、シーンチェンジがあったと判定される場合は、ステップＰ１６で所定のメモリー手段（データ記録手段、データバッファ手段など）にシーンチェンジがあった時点の位置情報データを記憶（書き込み処理）してステップＰ１７に移行し、ステップＰ１５でシーンチェンジがないと判定された場合はステップＰ１７に移行する。

ステップＰ１７では、所定データバッファ内の所定データ量の上記シーンチェンジ検出処理が終了したか判定処理され、終了しない場合はステップＰ１１に戻り上記信号処理を繰り返し、ステップＰ１７で終了したと判定される場合は、ステップＰ１８に移行する。

ステップＰ１８では所定バッファメモリー手段に記録された（記憶された）シーンチェンジ位置情報を読出し、ステップＰ１９で所定区間長より短いなど、短過ぎる区間は前後区間と接合するなどの、シーンチェンジ検出区間の補正処理を行う。

ステップＰ２０では上記所定区間における生成処理された音声セグメント位置情報データ及びシーンチェンジ位置情報データを読み出し、ステップＰ２１で音声セグメント位置、音声セグメント区間長、シーンチェンジ位置、シーンチェンジ区間長などの所定情報データから、所定のＰＵの位置情報、区間情報など所定ＰＵ情報データを生成処理する。

ステップＰ２２では、ステップＰ２１で処理されたＰＵ情報から、そのＰＵ区間に対応する特徴データ（又は特徴抽出データ、又は特徴抽出データを所定の信号処理を行った信号など）を所定の記録媒体、又は所定のデータバッファに書き込み処理を行う。

上記したように、これら記録媒体は、いま処理の対象としている放送番組、プログラムなど所定区間の画像音声情報データが記録されているのと同じ所定記録媒体上における所定記録領域の他に、別の所定記録媒体上に記録（記憶、書き込み処理）を行うことも考えられる。

ステップＰ２３では所定データ量の上記音声セグメント処理、シーンチェンジ処理、ＰＵ処理など一連の信号処理が終了したか判定処理され、終了したと判定される場合は処理を終了し、終了していないと判定された場合はステップＰ１に戻り、上記処理を繰り返す。

（ＰＵ処理で全ての音声セグメント処理を行った後にシーンチェンジ処理を行う場合の動作フローチャート）
ここで、上記では、今考えている記録した所定放送番組、プログラムなどの、画像音声データの所定区間毎に、逐次、音声データのセグメント処理を行い、その後、画像のシーンチェンジ検出処理を行ったが、上記のように所定区間毎の処理ではなく、今処理の対象としている放送番組、プログラムの所定区間全ての音声セグメント処理が終了した後、全てのシーンチェンジ検出処理を行い、全てのシーンチェンジ検出処理が終了した後、上記所定のＰＵ処理を行うことも考えられる。

上記したＰＵ信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの他の一例を図５０に示す。

処理を開始すると、先ず最初のステップＴ１において上記図４９のフローチャートにおけるステップＰ１〜ステップＰ９で説明したような所定音声セグメント処理を行う。

ここで、音声データは所定バッファメモリーに逐次所定データサンプル量のデータを読み込んで行う。

ステップＴ２で音声セグメント処理を行ったセグメント位置情報のデータを所定メモリー手段（データ記憶手段、データ記録手段）に記録していき、ステップＴ３において、いま処理対象となっている放送番組、プログラムなどの所定区間すべての音声データについて所定セグメント処理が終了したか判定され、終了しないと判定された場合はステップＴ１に戻り上記の処理を繰り返し、終了したと判定された場合はステップＴ４に移行する。

ステップＴ４において上記図４９のフローチャートにおけるステップＰ１１〜ステップＰ１８で説明したような所定シーンチェンジ処理を行う。ここで、画像のＤＣＴデータは所定バッファメモリーに逐次所定データサンプル量のデータを読み込んで行う。

ステップＴ５で所定シーンチェンジ処理を行ったシーンチェンジ位置情報のデータを所定メモリー手段（データ記憶手段、データ記録手段）に記録していき、ステップＴ６において、いま処理対象となっている放送番組、プログラムなどの所定区間すべての画像のＤＣＴデータについて所定シーンチェンジ処理が終了したか判定され、終了しないと判定された場合はステップＴ４に戻り上記の処理を繰り返し、終了したと判定された場合はステップＴ７に移行する。

ステップＴ７では上記所定メモリー手段から所定音声セグメント位置情報のデータと、所定シーンチェンジ位置情報のデータを読出し、ステップＴ８で所定ＰＵ処理を行い、ステップＴ９で、いま処理対象となっている放送番組、プログラムなどの所定区間すべての区間にわたり所定ＰＵ処理が終了したか判定され、終了したと判定された場合は処理を終了し、終了しないと判定された場合はＴ７に戻り上記動作を繰り返す。

本発明を適用した記録再生装置における要約再生、チャプター処理の動作説明図である。 上記チャプター処理による表示の一例を模式的に示す図である。 上記記録再生装置における処理プロセスの一例を模式的に示す図である。 上記記録再生装置における規則処理の説明図である。 上記記録再生装置における意味付け処理と特徴データの関係の一例の説明図である。 上記記録再生装置における規則ファイル書式の一例の説明図である。 上記記録再生装置における評価値の演算処理方法の一例の説明図である。 上記記録再生装置における時間補正関数の一例の説明図である。 上記記録再生装置における時間補正関数の一般型の一例の説明図である。 上記記録再生装置におけるビデオデータの構造の一例の説明図である。 上記記録再生装置における再生ユニット間の接続関係の一例の説明図である。 上記記録再生装置における再生ユニット間の意味付け処理の一例の説明図である。 上記記録再生装置における規則２処理の一例の説明図である。 上記記録再生装置における時間補正関数の一例の説明図である。 上記記録再生装置における規則ファイルの構成の一例の説明図である。 上記記録再生装置における本発明の処理プロセスの一例の説明図である。 本発明を適用した記録再生装置の構成例を示すブロック図である。 上記記録再生装置における各種所定データ記録状態の一例の説明図である。 上記記録再生装置における表示の一例を示す図である。 本発明を適用した記録再生装置の他の構成例を示すブロック図である。 上記記録再生装置における音声系特徴抽出処理系の構成の一例を示すブロック図である。 上記記録再生装置における音声系特徴抽出処理系の構成の他の例を示すブロック図である。 上記記録再生装置における映像系特徴抽出処理系の構成の一例を示すブロック図である。 上記記録再生装置におけるシーンチェンジ処理の説明図である。 上記記録再生装置におけるテロップ、カラー特徴検出領域の一例の説明図である。 上記記録再生装置における類似画像特徴の一例の説明図である。 上記記録再生装置における人物特徴検出領域の一例の説明図である。 上記記録再生装置における人物検出処理の一例の説明図である。 上記記録再生装置における人物検出（人数判定）処理の一例の説明図である。 上記記録再生装置における人数検出処理の一例の説明図である。 上記記録再生装置における人数検出処理の一例の説明図である。 上記記録再生装置における人数検出処理の一例の説明図である。 上記記録再生装置における人数検出処理の一例の説明図である。 上記記録再生装置における再生ユニット処理の一例の説明図である。 上記記録再生装置における再生ユニット処理の一例の説明図である。 上記記録再生装置におけるＣＭ（コマーシャル）検出処理の一例の説明図である。 上記記録再生装置における再生ユニット処理系の構成例を示すブロック図である。 上記記録再生装置における特徴データファイルの構成の一例の説明図である。 上記記録再生装置における特徴データファイルの構成の一例の説明図である。 上記記録再生装置における特徴データファイルの構成の一例の説明図である。 上記記録再生装置における再生ユニットデータの階層構造の一例の説明図である。 上記記録再生装置における再生ユニットデータの階層構造の一例の説明図である。 上記記録再生装置における再生ユニット映像特徴データの構成の一例の説明図である。 上記記録再生装置におけるプレイリスト（要約）データの一例の説明図である。 上記記録再生装置の動作例を示すフローチャートである。 上記記録再生装置における記録時間と選択可能要約再生時間の関係の一例の説明図である。 上記記録再生装置における記録時間と自動設定チャプター数一例の説明図である。 上記記録再生装置の記録動作例を示すフローチャートである。 上記記録再生装置の再生動作例を示すフローチャートである。 上記記録再生装置の再生動作を他の例を示すフローチャートである。

符号の説明

１ 受信アンテナ系、２ 放送受信信号処理系、３ 音声Ａ／Ｄ変換処理系、４ 音声エンコーダー処理系、５ 多重化処理系、６ 記録処理系、７ 記録媒体系、８ 映像Ａ／Ｄ変換処理系、９ 映像エンコーダー処理系、１０ 特徴抽出処理系、１１ メモリー系、１２ 再生処理系、１３ 再生データ分離処理系、１４ 音声デコード処理系、１５ 音声Ｄ／Ａ処理系、１６ 映像デコード処理系、１７ 映像Ｄ／Ａ処理系、１８ 再生制御系、１９ プレイリストデータ生成処理系、２０ システムコントローラー系、２１ ユーザー入力Ｉ／Ｆ系、２２ リモコン系、２３ ネットワークＩ／Ｆ系、２４ ネットワーク系、２５ 記録媒体系、２６ 記録媒体処理系、２７ 表示処理系、３０，３０Ａ 記録再生装置、１００ ストリーム分離系、１０１ 音声データデコード系、１０２ レベル処理系、１０３ データカウント系、１０４ データバッファ系、１０５ 音声データ積算処理系、１０６ 判定処理系、１０７ しきい値設定系、１０８ 周波数解析処理系、１０９ 判定処理系、１１０ ストリームデータ解析系、１１１ サブバンド解析処理系、１１２ データバッファ系、２００ ストリームデータ解析系、２０１ ＤＣＴ係数処理系、２０２ シーンチェンジ検出処理系、２０３ 色特徴検出処理系、２０４ 類似画像検出処理系、２０５ 人物検出判定処理系、２０６ テロップ検出判定処理系、２０７ フリップ検出処理系、２０８ 動きベクトル処理系、２０９ カメラ特徴判定処理系、２１０ オブジェクト検出処理系、３０１ 区間長計測系、３０２ 再生ユニット処理系、３０３ 再生ユニット特徴データ処理系、９００ ルール切り替え処理系、９０１ ルール切り替え処理系

Claims (5)

1. 所定の記録媒体を用いて所定の画像音声情報信号を所定の帯域圧縮信号処理により記録又は再生を行う情報信号処理方法において、
   画像音声情報信号を記録する場合に、所定第１の記録方法又は信号入力方法の場合には、画像又は音声信号における所定の特性信号を記録の際に自動的に抽出処理し、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作により自動的に行うか所望の時に手動的に行うかを選択して行う
   ことを特徴とする情報信号処理方法。
2. 所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、
   上記情報信号処理を実行可能な状態に設定し、
   所定の操作系により上記所定動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求項１記載の情報信号処理方法。
3. 所定の画像音声情報信号を所定第１の記録方法又は信号入力方法と上記第１以外の記録方法又は信号入力方法により所定の記録媒体に記録を行う記録手段と、
   上記画像音声情報信号の所定区間毎に所定の特性データを抽出処理する特性データ抽出手段と、
   上記記録手段よる上記第１の記録方法又は信号入力方法の場合には上記特性データ抽出手段により上記特性データ抽出処理を自動的に上記画像音声情報信号の記録の際に行い、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作手段により自動的に行うか所望の時に手動的に行うかを選択して行う情報処理手段と
   を備えたことを特徴とする情報信号処理装置。
4. 所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、
   上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定手段とを備え、
   上記情報処理手段により、上記記録手段よる上記第１の記録方法又は信号入力方法の場合には上記特性データ抽出手段により上記特性データ抽出処理を自動的に上記画像音声情報信号の記録の際に行い、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作手段により自動的に行うか所望の時に手動的に行うかを選択して行うことを特徴とする請求項３記載の情報信号処理装置。
5. 所定の記録媒体を用いて所定の画像音声情報信号を所定の帯域圧縮信号処理により記録又は再生を行う制御プログラムがコンピュータにより読み取り実行可能に記録されたプログラム記録媒体であって、
   画像音声情報信号を記録する場合に、所定第１の記録方法又は信号入力方法の場合には、画像又は音声信号における所定の特性信号を記録の際に自動的に抽出処理し、上記第１以外の記録方法又は信号入力方法の場合には上記画像音声情報信号の記録終了後に上記特性データ抽出処理を自動的に行うか、又は上記画像音声情報信号の記録終了後に上記特性データ抽出処理を所定の選択操作により自動的に行うか所望の時に手動的に行うかを選択して行うことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されてなることを特徴とするプログラム記録媒体。

Images