JP2001298711A - 画像記録再生装置および方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 充分に長いシーンを選択し、そのシーンに対
応するサムネイル画像を生成することができるようにす
る。 【解決手段】 システムコントローラは、タイトル１の
全体表示時間を均等に４分割し、分割された時間毎に、
それぞれ長いシーンを複数抽出する。例えば、時間Ｔ１
１において、シーン１２とシーン１４が抽出される。シ
ステムコントローラは、抽出された複数のシーンにおい
て、シーンの長さや、特徴点検出器で検出されたサムネ
イル画像となる特徴点から、サムネイル画像を生成する
のに適当と思われるシーンを決定する。さらに、システ
ムコントローラは、決定されたシーンから、サムネイル
画像となるサムネイル群を選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像記録再生装置
および方法、並びに記録媒体に関し、特に、充分に長い
シーンを選択し、そのサムネイル画像を表示させること
ができるようにした画像記録再生装置および方法、並び
に記録媒体に関する。

【０００２】

【従来の技術】近年、ハードディスク等の記録媒体の大
容量化、低価格化、並びに動画像信号および音声信号
（以下、AV信号と記載する）を圧縮符号化する処理の高
速化が進み、これらの技術を用いて、テレビジョン番組
のAV信号を圧縮符号化して録画し、また再生することが
できる電子装置が開発されるようになってきた。

【０００３】このような電子装置によれば、ハードディ
スクに代表される大容量の記録媒体に、複数のタイトル
（番組）を記録することが可能となるので、記録された
複数のタイトルを、高速かつ容易に、検索する機能を持
たせるようにすることが望まましい。

【０００４】例えば、各シーンの中で重要と思われる特
徴点を検出し、それを代表画面としを作成し、表示する
機能を持つ電子装置の場合、各タイトル毎に決められた
枚数の代表画面（サムネイル）を記録することにより、
その代表画面を用いて記録されたタイトルの一覧やタイ
トル毎の内容一覧（代表画面の一覧）を表示させること
ができる。これにより、ユーザは、所望のタイトルやシ
ーンを、高速かつ容易に、検索することができる。

【０００５】また、シーン毎に、複数のサムネイルを用
意し、それらを時間順に順次切り換えて表示させること
により、擬似動画のサムネイルから所望のシーンを検索
できるようにすることが、例えば、特開平１１−２８９
５１７号公報に開示されている。

【０００６】同公報によれば、図１（Ａ）に示すよう
に、表示画面（ウィンドウ）Ｗに、時点ｔ１でのシーン
Ａ，Ｂ，Ｃ，Ｄのサムネイル画像Ａ１，Ｂ１，Ｃ１，Ｄ
１がそれぞれ表示される。そして、図１（Ｂ）に示すよ
うに、数秒経過すると、ウィンドウＷに表示されるサム
ネイル画像は、時点ｔ２での各シーンのサムネイル画像
Ａ２，Ｂ２，Ｃ２，Ｄ２に切り換えられる。そして、図
１（Ｃ）に示すように、さらに、数秒経過すると、ウィ
ンドウＷに表示されるサムネイル画像は、時点ｔ３での
各シーンのサムネイル画像Ａ３，Ｂ３，Ｃ３，Ｄ３に切
り換えられる。そして、さらに、数秒経過すると、再
び、図１（Ａ）に示された時点ｔ１でのサムネイル画像
に切り換えられる。

【０００７】すなわち、この例の場合、シーンＡ，Ｂ，
Ｃ，Ｄが、３つの時間（ｔ１，ｔ２，ｔ３）にそれぞれ
分けられ、各時点ｔ１乃至ｔ３での代表画面からサムネ
イル画像が生成され、それらが順次切り換えられながら
表示される。

【０００８】これにより、ユーザは、あたかも動画のよ
うに表示されたサムネイル画像の中から、所望のタイト
ルやシーンを検索することができる。

【０００９】

【発明が解決しようとする課題】ところで、各シーンの
サムネイル画像を順次切り換えながら表示させる場合、
同じような場面での代表画面であることが望ましい。

【００１０】図１の例において、シーンＡのサムネイル
画像Ａ１乃至Ａ３は、同一場面のサムネイル画像が順次
切り換えられながら表示されている。同様に、シーン
Ｂ，Ｃにおいても、同一場面のサムネイル画像が順次切
り換えられながら表示されている。これに対して、シー
ンＤのサムネイル画像Ｄ１乃至Ｄ２のうちの、サムネイ
ル画像Ｄ３は、サムネイル画像Ｄ１，Ｄ２とは異なる場
面のサムネイル画像が生成、表示されている。

【００１１】すなわち、図２に示すように、シーンＤが
３つの時間に分けられると、フィールド番号（field N
o）ｎ，ｎ＋５，ｎ＋１０に対応する画面が選択され、
サムネイル画像が生成される。しかしながら、シーンチ
ェンジ点がフィールド番号ｎ＋８とｎ＋９の間にあるた
め、フィールド番号ｎ＋１０の画面（すなわち、サムネ
イル画像Ｄ３）は、フィールド番号ｎとｎ＋５の画面と
は異なる場面になっていた。

【００１２】従って、シーンの中にシーンチェンジ点が
ある場合、擬似動画のサムネイル画像が見難くなる課題
があった。

【００１３】本発明はこのような状況に鑑みてなされた
ものであり、充分に長いシーンを選択し、そのシーンに
対応するサムネイル画像を生成することにより、ユーザ
が所望するシーンを、容易に、検索することができるよ
うにするものである。

【００１４】

【課題を解決するための手段】本発明の画像記録再生装
置は、入力された画像信号を、全体の表示時間を基準と
して、所定の数に分割し、その分割された時間毎に少な
くとも１以上の特徴点を検出する検出手段と、検出手段
により検出された特徴点からシーンチェンジ点までのシ
ーンの長さを計測する計測手段と、計測手段により計測
されたシーンの長さが閾値以上であるのか否かを判定す
る判定手段と、判定手段での判定結果に基づいて、シー
ンを選択する選択手段と、選択手段により選択されたシ
ーンに対応する画像信号を読み出し、その画像信号を縮
小してサムネイル画像を生成する生成手段とを備えるこ
とを特徴とする。

【００１５】生成手段により生成された、少なくとも１
以上のサムネイル画像の切り換え表示を制御する表示制
御手段をさらに設けるようにすることができる。

【００１６】本発明の画像記録再生方法は、入力された
画像信号を、全体の表示時間を基準として、所定の数に
分割し、その分割された時間毎に少なくとも１以上の特
徴点を検出する検出ステップと、検出ステップの処理に
より検出された特徴点からシーンチェンジ点までのシー
ンの長さを計測する計測ステップと、計測ステップの処
理により計測されたシーンの長さが閾値以上であるのか
否かを判定する判定ステップと、判定ステップでの判定
結果に基づいて、シーンを選択する選択ステップと、選
択ステップの処理により選択されたシーンに対応する画
像信号を読み出し、その画像信号を縮小してサムネイル
画像を生成する生成ステップとを含むことを特徴とす
る。

【００１７】本発明の記録媒体に記録されているプログ
ラムは、入力された画像信号を、全体の表示時間を基準
として、所定の数に分割し、その分割された時間毎に少
なくとも１以上の特徴点を検出する検出ステップと、検
出ステップの処理により検出された特徴点からシーンチ
ェンジ点までのシーンの長さを計測する計測ステップ
と、計測ステップの処理により計測されたシーンの長さ
が閾値以上であるのか否かを判定する判定ステップと、
判定ステップでの判定結果に基づいて、シーンを選択す
る選択ステップと、選択ステップの処理により選択され
たシーンに対応する画像信号を読み出し、その画像信号
を縮小してサムネイル画像を生成する生成ステップとを
含むことを特徴とする。

【００１８】本発明の画像記録再生装置、画像記録再生
方法、並びに記録媒体に記録されているプログラムにお
いては、入力された画像信号を、全体の表示時間を基準
として、所定の数に分割され、その分割された時間毎に
少なくとも１以上の特徴点が検出され、検出された特徴
点からシーンチェンジ点までのシーンの長さが計測さ
れ、計測されたシーンの長さが閾値以上であるのか否か
が判定され、その判定結果に基づいて、シーンが選択さ
れ、選択されたシーンに対応する画像信号を縮小してサ
ムネイル画像が生成される。

【００１９】

【発明の実施の形態】図３は、本発明を適用したハード
ディスクレコーダの構成例を示すブロック図である。ア
ンテナ１は、テレビジョン放送を受信し、その受信信号
をチューナ２に供給する。チューナ２は、システムコン
トローラ３１の指令に基づいて、アンテナ１からの放送
波の受信信号の中から、所定のチャンネルの番組の信号
を受信し、入力切換器５に供給する。

【００２０】図示せぬ外部装置は、外部ビデオ入力端子
３−１を介してＳ映像信号（Ｙ信号（輝度信号）とＣ信
号（色信号）の分離信号）をスイッチ９の端子ａに入力
する。また、外部装置は、外部ビデオ入力端子３−２を
介してコンポジット映像信号を、また、外部オーディオ
入力端子４を介して音声信号を、それぞれ入力切換器５
に入力する。

【００２１】入力切換器５は、システムコントローラ３
１の指令に基づいて、入力された映像信号または音声信
号のうち、所望の信号を選択し、コンポジット映像信号
をYC分離回路８に、音声信号をA/D（Analog to Digita
l）変換器６に、それぞれ出力する。

【００２２】A/D変換器６は、入力切換器５より入力さ
れた音声信号をA/D変換し、MPEG（Moving Picture Expe
rts Group）オーディオエンコーダ７に供給する。A/D変
換器６はまた、A/D変換した音声データをスイッチ２５
の端子ｂに供給する。MPEGオーディオエンコーダ７は、
システムコントローラ３１の指令に基づいて、A/D変換
器６より供給された音声データに対して、MPEG方式で圧
縮処理し、音声のエレメンタリストリーム（ES：Elemen
tary Stream）を生成し、マルチプレクサ／デマルチプ
レクサ１４に供給する。

【００２３】YC分離回路８は、システムコントローラ３
１の指令に基づいて、入力切換器５より入力されたコン
ポジット映像信号を、輝度信号（Ｙ信号）と色信号（Ｃ
信号）に分離し、スイッチ９の端子ｂを介してNTSC（Na
tional Television System Committee）デコーダ１０に
供給する。スイッチ９は、システムコントローラ３１の
指令に基づいて、外部装置からのＳ映像信号をNTSCデコ
ーダ１０に供給するとき、端子ａを選択するように切り
替えられ、YC分離回路８からの映像分離信号をNTSCデコ
ーダ１０に供給するとき、端子ｂを選択するように切り
替えられる。

【００２４】NTSCデコーダ１０は、システムコントロー
ラ３１の指令に基づいて、スイッチ９を介して入力され
た映像信号に対して、A/D変換処理、およびクロマエン
コード処理等を施し、それをデジタルコンポーネントビ
デオ信号（以下、画像データと記載する）に変換し、プ
リ映像信号処理回路１２に供給する。NTSCデコーダ１０
はまた、入力された映像信号の水平同期信号に基づいて
クロックを生成するとともに、同期分離して得られた水
平同期信号、垂直同期信号、およびフィールド判別信号
を同期信号制御回路１１に供給する。

【００２５】同期信号制御回路１１は、システムコント
ローラ３１の指令に基づいて、NTSCデコーダ１０より供
給された水平同期信号、垂直同期信号、およびフィール
ド判別信号を基準として、クロックおよび同期信号を生
成し、各部にそれぞれ供給する。

【００２６】プリ映像信号処理回路１２は、システムコ
ントローラ３１の指令に基づいて、NTSCデコーダ１０よ
り供給された画像データに対して、プリフィルタ等の映
像信号処理を施し、それをMPEGビデオエンコーダ１３お
よびポスト映像信号処理回路２０に供給する。MPEGビデ
オエンコーダ１３は、システムコントローラ３１の指令
に基づいて、プリ映像信号処理回路１２より供給された
画像データに対して、離散コサイン変換（DCT：Discret
e Cosine Transform）等の符号化処理を施し、映像のエ
レメンタリストリームを生成し、マルチプレクサ／デマ
ルチプレクサ１４に供給する。

【００２７】マルチプレクサ／デマルチプレクサ１４
は、記録時、システムコントローラ３１の指令に基づい
て、MPEG方式で圧縮されている、映像のエレメンタリス
トリーム、音声のエレメンタリストリーム、および、各
種の制御信号を、マルチプレクス処理し、例えば、MPEG
方式のトランスポートストリーム（TS：Transport Stre
am）を生成し、バッファコントローラ１７に供給する。
マルチプレクサ／デマルチプレクサ１４はまた、再生
時、バッファコントローラ１７より供給されたMPEG方式
のトランスポートストリームをデマルチプレクス処理
し、トランスポートストリームからPES（Packetized El
ementary Stream）を抽出し、MPEG AV（AudioVideo）デ
コーダ１９に供給する。

【００２８】バッファコントローラ１７は、システムコ
ントローラ３１の指令に基づいて、マルチプレクサ／デ
マルチプレクサ１４より、連続的に供給されるトランス
ポートストリームを、ハードディスクドライブ（HDD：H
ard Disc Drive）１８に断続的に供給できるように制御
する。例えば、ハードディスクドライブ１８がシーク動
作を行っている場合、トランスポートストリームの書き
込みができないため、一時的にトランスポートストリー
ムがバッファに蓄積され、書き込みが可能になると、入
力レートより高いレートで書き込みが行われる。これに
より、連続的に入力されるトランスポートストリーム
が、途切れることなくハードディスクドライブ１８に記
録される。

【００２９】バッファコントローラ１７はまた、ハード
ディスクドライブ１８より断続的に入力される信号を、
連続するようにバッファ制御を行い、連続するトランス
ポートストリームをマルチプレクサ／デマルチプレクサ
１４に供給する。

【００３０】ハードディスクドライブ１８は、システム
コントローラ３１の指令に基づいて、バッファコントロ
ーラ１７より断続的に供給されるトランスポートストリ
ームを、所定のアドレスに記録する。ハードディスクド
ライブ１８はまた、所定のアドレスにシークし、そこに
記録されているトランスポートストリームを読み出し、
バッファコントローラ１７に供給する。

【００３１】なお、バッファコントローラ１７およびハ
ードディスクドライブ１８は、プロトコルとしてIDE（I
ntegrated Drive Electronics）を用いているが、本発
明では、トランスポートストリームを記録できるもので
あれば、これに限らなくてよい。

【００３２】MPEG AVデコーダ１９は、システムコント
ローラ３１の指令に基づいて、マルチプレクサ／デマル
チプレクサ１４より供給されたPESを、映像のエレメン
タリストリームと音声のエレメンタリストリームに分離
し、所定のデコード処理を施し、ベースバンドの画像デ
ータをポスト映像信号処理回路２０に、ベースバンドの
音声データをポスト音声信号処理回路２４にそれぞれ供
給それぞれ供給する。

【００３３】ポスト映像信号処理回路２０は、システム
コントローラ３１の指令に基づいて、プリ映像信号処理
回路１２より供給された映像信号と、MPEG AVデコーダ
１９より供給されたベースバンドの映像データとを切換
えたり、合成したり、あるいはフィルター処理し、オン
スクリーンディスプレイ（OSD：On Screen Display）回
路２１に供給する。ポスト映像信号処理回路２０はま
た、画像表示用のウィンドウ（GUI：Graphic User Inte
rface）等を生成するとともに、画像データの代表画面
を生成して、そのウィンドウに貼り付け、オンスクリー
ンディスプレイ回路２１に供給する。

【００３４】オンスクリーンディスプレイ回路２１は、
システムコントローラ３１の指令に基づいて、テキスト
情報を対応する画像データに変換し、ポスト映像信号処
理回路２０から供給される画像データに重畳し、NTSCエ
ンコーダ２２に供給する。NTSCエンコーダ２２は、シス
テムコントローラ３１の指令に基づいて、オンスクリー
ンディスプレイ回路２１より供給された画像データ（コ
ンポーネントデジタル信号）をＹ信号とＣ信号に変換し
た後、D/A変換したＳ映像信号と、アナログのコンポジ
ット映像信号を生成し、それぞれを、外部ビデオ出力端
子２３−１，２３−２を介して外部装置に出力する。

【００３５】ポスト音声信号処理回路２４は、システム
コントローラ３１の指令に基づいて、MPEG AVデコーダ
１９より供給されたベースバンドの音声データに対し
て、フィルタ処理、フェード処理、および、話速変換処
理等を施し、スイッチ２５の端子ａに供給する。

【００３６】スイッチ２５は、システムコントローラ３
１の指令に基づいて、ポスト音声信号処理回路２４から
の音声データをD/A変換器２６に供給するとき、端子ａ
を選択するように切り替えられ、A/D変換器６からの音
声データをD/A変換器２６に供給するとき、端子ｂを選
択するように切り替えられる。D/A変換器２６は、スイ
ッチ２５を介して入力された音声データをD/A変換し
て、外部オーディオ出力端子２７を介して外部装置に出
力する。

【００３７】システムコントローラ３１は、ホストバス
３２を介してROM（Read Only Memory）３３に格納され
ているプログラムを読み出して実行し、各部を制御す
る。RAM（Random Access Memory）３４には、システム
コントローラ３１が各部を制御する上において必要なプ
ログラムやデータが適宜記憶される。システムコントロ
ーラ３１、ROM３３、およびRAM３４は、ホストバス３２
を介して相互に接続されているとともに、入出力インタ
ーフェース３５にも接続されている。入出力インターフ
ェース３５には、ドライブ３６が接続されており、磁気
ディスク４１、光ディスク４２、光磁気ディスク４３、
または半導体メモリ４４などが装着されるようになされ
ている。入出力インタフェース３５にはまた、キーボー
ド、マウス、ボタン、スイッチ、リモートコマンダ等よ
りなる入力部３７が接続されている。

【００３８】また、ハードディスクレコーダは、アナロ
グ信号の入出力だけでなく、デジタルデータの入出力を
行うことも可能である。例えば、図示せぬIRD（Integra
tedReceiver Decoder）は、トランスポートストリーム
を、IEEE（The Institute ofElectrical and Electroni
cs Engineers）１３９４シリアルバスを介して、デジタ
ル入出力端子１６からデジタルインタフェース１５に入
力する。デジタルインタフェース１５は、システムコン
トローラ３１の指令に基づいて、インタフェース処理を
施し、入力されたトランスポートストリームを、マルチ
プレクサ／デマルチプレクサ１４に供給する。マルチプ
レクサ／デマルチプレクサ１４は、システムコントロー
ラ３１の指令に基づいて、デジタルインタフェース１５
より供給されたトランスポートストリームを、バッファ
コントローラ１７に出力する。

【００３９】マルチプレクサ／デマルチプレクサ１４は
また、バッファコントローラ１７より供給されたトラン
スポートストリームを、デジタルインタフェース１５に
出力する。デジタルインタフェース１５は、マルチプレ
クサ／デマルチプレクサ１４より入力されたトランスポ
ートストリームを、デジタル入出力端子１６から、IEEE
１３９４シリアルバスを介して外部のIRDに供給し、そ
こに接続されているモニタに出力、表示させる。

【００４０】なお、上述した例では、ハードディスクレ
コーダとIRDとを接続するようにして説明したが、本発
明は、これに限らず、パーソナルコンピュータなどと接
続することも可能である。

【００４１】また、映像信号をMPEG方式で圧縮するよう
にして説明したが、本発明は、これに限らず、他の圧縮
方式または非圧縮でもよい。

【００４２】次に、図３に示されたハードディスクレコ
ーダの基本的な動作について説明する。

【００４３】録画時、例えば、チューナ２により受信さ
れたテレビジョン番組のAV信号は、入力切換器５に供給
される。そこで、選択されたコンポジット映像信号はYC
分離回路８に、音声信号はA/D変換器６に、それぞれ入
力される。A/D変換器６は、入力切換器５より入力され
た音声信号をA/D変換し、MPEGオーディオエンコーダ７
に供給する。MPEGオーディオエンコーダ７は、A/D変換
器６より供給された音声データをMPEG方式で圧縮処理
し、音声のエレメンタリストリームを生成し、マルチプ
レクサ／デマルチプレクサ１４に供給する。

【００４４】YC分離回路８は、入力切換器５より入力さ
れたコンポジット映像信号を、Ｙ信号とＣ信号に分離
し、スイッチ９の端子ｂを介してNTSCデコーダ１０に供
給する。NTSCデコーダ１０は、スイッチ９を介してYC分
離回路８より供給された映像信号に対して、A/D変換処
理、クロマエンコード処理等を施し、それを画像データ
に変換し、プリ映像信号処理回路１２に供給する。プリ
映像信号処理回路１２は、NTSCデコーダ１０より供給さ
れた画像データに対して、プリフィルタ等の映像信号処
理を施し、それをMPEGビデオエンコーダ１３に供給す
る。MPEGビデオエンコーダ１３は、プリ映像信号処理回
路１２より供給された画像データに対して、離散コサイ
ン変換等の符号化処理を施し（MPEG方式でエンコード
し）、映像のエレメンタリストリームを生成し、マルチ
プレクサ／デマルチプレクサ１４に供給する。

【００４５】マルチプレクサ／デマルチプレクサ１４
は、MPEGオーディオエンコーダ７またはMPEGビデオエン
コーダ１３より供給されたMPEG方式で圧縮処理された画
像データや音声データをマルチプレクス処理し、トラン
スポートストリームとして、バッファコントローラ１７
に供給する。バッファコントローラ１７は、マルチプレ
クサ／デマルチプレクサ１４より供給されたトランスポ
ートストリームをハードディスクドライブ１８に供給
し、記録させる。このとき、システムコントローラ３１
は、画像データ（タイトル）の内容を特徴付ける特徴点
およびシーンチェンジ点を検出させるようにプリ映像信
号処理回路１２を制御する。

【００４６】再生時、マルチプレクサ／デマルチプレク
サ１４は、ハードディスクドライブ１８に記録されてい
るトランスポートストリームを、バッファコントローラ
１７を介して読み出し、ビデオエレメンタリストリーム
とオーディオエレメンタリストリーム（PES）を分離し
て、MPEG AVデコーダ１９に供給する。MPEG AVデコーダ
１９は、マルチプレクサ／デマルチプレクサ１４より供
給されたビデオエレメンタリストリームとオーディオエ
レメンタリストリームを、MPEG方式でそれぞれデコード
処理し、画像データをポスト映像信号処理回路２０に、
音声データをスイッチ２５の端子ａを介してD/A変換器
２６に、それぞれ供給する。

【００４７】ポスト映像信号処理回路２０は、MPEG AV
デコーダ１９より供給された画像データの代表画面を生
成し、複数の代表画面を縮小して１つのウィンドウＷ
（マルチ画面）（図８）に貼り付け、オンスクリーンデ
ィスプレイ回路２１に出力する。オンスクリーンディス
プレイ回路２１は、システムコントローラ３１からの指
令に基づいて、必要に応じて、テキスト（文字）情報等
に対応する画像データを生成し、ポスト映像信号処理回
路２０より供給されたマルチ画面の表示用のウィンドウ
の画像データに重畳し、NTSCエンコーダ２２出力する。
NTSCエンコーダ２２は、供給された画像データをＹ信号
とＣ信号に変換した後、またはそのまま、D/A変換し、
Ｓ映像信号とアナログのコンポジット映像信号を生成
し、外部ビデオ出力端子２３−１，２３−２を介してそ
れぞれ外部装置に供給し、そこに接続されているモニタ
に出力、表示させる。

【００４８】ポスト音声信号処理回路２４は、MPEG AV
デコーダ１９より供給されたベースバンドの音声データ
に対して、フィルタ処理、フェード処理、および、話速
変換処理等を施し、スイッチ２５の端子ａを介して、D/
A変換器２６に供給する。D/A変換器２６は、スイッチ２
５の端子ａを介してポスト音声信号処理回路２４より供
給された、音声データをD/A変換し、外部オーディオ出
力端子２７を介して外部装置に供給し、そこに接続され
ているスピーカに出力、再生させる。

【００４９】モニタに表示された代表画面の一覧表示
（マルチ画面）を参照したユーザが、再生する番組を決
定して、ある番組の再生を指示すると、ハードディスク
ドライブ１８より読み出された画像データのうちの、対
応するAV信号が選択され、再生される。

【００５０】図４は、サムネイル画像表示に関連する本
発明のハードディスクのビデオ系の詳細な構成例を示す
ブロック図である。この構成例を参照して、以下に、サ
ムネイル画像を生成、表示する動作について説明する。

【００５１】録画時、例えば、チューナ２を介して入力
されたテレビジョン番組のAV信号のコンポジット信号
が、入力切換器５を介してYC分離回路８に入力される。
YC分離回路８は、入力されたコンポジット映像信号を、
Ｙ信号とＣ信号に分離し、スイッチ９の端子ｂを介して
NTSCデコーダ１０に供給する。NTSCデコーダ１０は、ス
イッチ９を介してYC分離回路８より供給された映像信号
に対して、A/D変換処理、クロマエンコード処理等を施
し、それを画像データに変換し、プリ映像信号処理回路
１２のフィールドメモリ５１と信号処理回路５４にそれ
ぞれ供給する。

【００５２】プリ映像信号処理回路１２のフィールドメ
モリ５１は、NTSCデコーダ１０より供給された画像デー
タを記憶するとともに、その画像データを、特徴点検出
器５２およびシーンチェンジ検出器５３にそれぞれ供給
する。

【００５３】特徴点検出器５２は、例えば、動き情報、
輝度情報、色情報、および、エッジ情報等に基づいて、
タイトルまたはシーンの内容を特徴付ける、人の顔やテ
ロップ等が表示された画像データの特徴点を検出する。
シーンチェンジ検出器５３は、例えば、フィールド差分
等を用いて、場面が転換されるシーンチェンジ点を検出
する。特徴点検出器５２およびシーンチェンジ検出器５
３により、それぞれ検出された特徴点とシーンチェンジ
点の位置情報（例えば、タイムスタンプやフレーム番号
等のテーブル）は、ホストバス３２を介してRAM３４に
供給、記憶されるとともに、マルチプレクサ／デマルチ
プレクサ１４に供給される。なお、RAM３４に記憶され
た、特徴点とシーンチェンジ点の位置情報は、後述する
処理に用いられる。信号処理回路５４は、画像データに
対して、プリフィルタ等の映像信号処理を施し、それを
MPEGビデオエンコーダ１３に供給する。

【００５４】MPEGビデオエンコーダ１３は、信号処理回
路５４より供給された画像データに対して、離散コサイ
ン変換等の符号化処理を施し（MPEG方式でエンコード
し）、映像のエレメンタリストリームを生成し、マルチ
プレクサ／デマルチプレクサ１４に供給する。マルチプ
レクサ／デマルチプレクサ１４は、MPEGオーディオエン
コーダ７、MPEGビデオエンコーダ１３より供給された画
像データや音声データ、および、プリ映像信号処理回路
１２より供給された特徴点とシーンチェンジ点の位置情
報をマルチプレクス処理し、バッファコントローラ１７
を介して、ハードディスクドライブ１８に記録させる。

【００５５】再生時、マルチプレクサ／デマルチプレク
サ１４、バッファ１４を介してハードディスクドライブ
１８より読み出したビデオエレメンタリストリームとオ
ーディオエレメンタリストリーム（PES）、および、特
徴点とシーンチェンジ点の位置情報を分離する。分離さ
れたビデオエレメンタリストリームとオーディオエレメ
ンタリストリームは、MPEG AVデコーダ１９に供給さ
れ、特徴点とシーンチェンジ点の位置情報は、ホストバ
ス３２を介してRAM３４に供給、記憶される。

【００５６】MPEG AVデコーダ１９は、マルチプレクサ
／デマルチプレクサ１４より供給されたビデオエレメン
タリストリームとオーディオエレメンタリストリーム
を、MPEG方式でそれぞれデコード処理し、画像データを
ポスト映像信号処理回路２０に、音声データをポスト音
声信号処理回路２４に、それぞれ供給する。

【００５７】ポスト映像信号処理回路２０の信号処理回
路６１は、MPEG AVデコーダ１９より供給された画像デ
ータの代表画面を生成し、複数の代表画面を縮小して１
つのウィンドウＷ（図８）に貼り付け、オンスクリーン
ディスプレイ回路２１に出力する。信号処理回路６１は
また、生成された画像データの代表画面をメモリ６２に
記憶する。

【００５８】ポスト音声信号処理回路２４の信号処理回
路７１は、MPEG AVデコーダ１９より供給された音声デ
ータに対して、音声データの開始および終了位置を制御
したり、あるいは、フェード処理、および、話速変換処
理等を施し、スイッチ２５の端子ａを介して、D/A変換
器２６に供給する。信号処理回路７１はまた、所定の音
声信号処理が施された音声データをメモリ７２に記憶す
る。

【００５９】次に、図５のフローチャートを参照して、
画像データの内容を特徴付ける特徴点およびシーンチェ
ンジ点の検出処理について説明する。なお、この検出処
理は、ハードディスクレコーダに入力されるAV信号の録
画が開始されたとき、その録画処理と並行して実行され
る。

【００６０】ステップＳ１において、システムコントロ
ーラ３１は、番組（AV信号）の記録（録画）が終了した
のか否かを判定し、番組の記録が終了していないと判定
した場合、ステップＳ２に進み、プリ映像信号処理回路
１２の特徴点検出器５２は、フィールドメモリ５１を介
してNTSCデコーダ１０より供給される画像データから、
タイトルまたはシーンの内容を特徴付ける、人の顔やテ
ロップ等が表示された画像データの特徴点を検出する。

【００６１】ステップＳ３において、プリ映像信号処理
回路１２のシーンチェンジ検出器５３は、フィールドメ
モリ５１を介してNTSCデコーダ１０より供給される画像
データから、シーンチェンジ点を検出する。ステップＳ
４において、マルチプレクサ／デマルチプレクサ１４
は、システムコントローラ３１の指令に基づいて、ステ
ップＳ２，Ｓ３の処理でそれぞれ検出された、画像デー
タの特徴点およびシーンチェンジ点の位置情報を、バス
３２を介して、一旦、RAM３４に記憶した後、例えば、
タイムスタンプやフレーム番号などのテーブルとして、
バッファコントローラ１７を介してハードディスクドラ
イブ１８に記録させる。その後、ステップＳ１に戻り、
上述した処理が繰り返される。そして、ステップＳ１に
おいて、番組の記録が終了したと判定されると、処理は
終了される。

【００６２】次に、図６のフローチャートを参照して、
サムネイル画像の表示処理について説明する。なお、こ
の処理では、上述した図５の処理により、画像データの
特徴点およびシーンチェンジ点の位置情報がRAM３４に
記憶されている。

【００６３】ステップＳ１１において、システムコント
ローラ３１は、RAM３４に記憶されている、画像データ
の特徴点およびシーンチェンジ点の位置情報から、表示
すべきサムネイル画像がまだあるのか否かを判定し、表
示すべきサムネイル画像がまだあると判定した場合、ス
テップＳ１２に進む。ステップＳ１２において、システ
ムコントローラ３１は、マルチプレクサ／デマルチプレ
クサ１４を制御し、ハードディスクドライブ１８に記録
されている、画像データの特徴点およびシーンチェンジ
点の位置情報を読み出させる。

【００６４】ステップＳ１３において、システムコント
ローラ３１は、マルチプレクサ／デマルチプレクサ１４
を制御し、ステップＳ１２の処理で読み出された位置情
報から、ハードディスクドライブ１８にアクセスさせ、
予め、設定されている所定のルールに従って、表示すべ
きサムネイル画像となる、複数の画面（サムネイル群）
を選択させる。例えば、フィールド番号ｎ，ｎ＋５，ｎ
＋１０の時点における３枚の画面が選択される（図
１）。なお、フィールド番号ｎの画面は、そのシーンの
特徴点（代表画面）である。

【００６５】ステップＳ１４において、システムコント
ローラ３１は、ステップＳ１２の処理で読み出されたシ
ーンチェンジ点の位置情報を参照し、ステップＳ１３の
処理で選択された複数の画面（いまの場合、３枚の画
面）がシーンチェンジ点をまたいでいるのか否かを判定
し、シーンチェンジ点をまたいでいると判定した場合、
ステップＳ１５に進む。

【００６６】ステップＳ１５において、システムコント
ローラ３１は、マルチプレクサ／デマルチプレクサ１４
を制御し、シーンチェンジ点をまたがないように、サム
ネイル画像となる画面の選択をやり直させる。

【００６７】ここで、図７乃至図１０を参照して、シー
ンチェンジ点をまたがないように、サムネイル画像とな
る複数の画面を選択する方法について説明する。なお、
図６のステップＳ１３の処理で選択された画面枚数を変
数ｋ（いまの場合、３）とする。

【００６８】図７の例では、代表画面であるフィールド
番号ｎからシーンチェンジ点までのフィールド数が、選
択された画面枚数ｋより多い場合における、画面選択方
法を説明する図である。この例においては、代表画面で
あるフィールド番号ｎからシーンチェンジ点の前までの
フィールド数（この例の場合、９枚）が等分され、フィ
ールド番号ｎ，ｎ＋４，ｎ＋８の画面が選択される。こ
れにより、同じシーンのサムネイル画像Ｄ１１，Ｄ１
２，Ｄ１３が生成される。

【００６９】図８の例では、代表画面であるフィールド
番号ｎからシーンチェンジ点までのフィールド数が、選
択された画面枚数ｋより多い場合における、他の例の画
面選択方法を説明する図である。この例においては、図
６のステップＳ１３の処理で既に選択されている、フィ
ールド番号ｎ，ｎ＋５の画面がそのまま選択され、シー
ンチェンジ点を挟んだ画面（すなわち、フィールド番号
ｎ＋１０）が選択されないため、選択される枚数が減ら
される。これにより、同じシーンのサムネイル画像Ｄ２
１，Ｄ２２が生成される。

【００７０】図９の例では、代表画面であるフィールド
番号ｎからシーンチェンジ点までのフィールド数が、選
択された画面枚数ｋより少ない場合における、画面選択
方法を説明する図である。この例においては、連続する
フィールド番号ｎ，ｎ＋１のの画面が選択されるため、
選択される枚数が減らされる。これにより、同じシーン
のサムネイル画像Ｄ３１，Ｄ３２が生成される。

【００７１】図１０の例では、代表画面がシーンチェン
ジ点に挟まれている場合における、画面選択方法を説明
する図である。この例においては、代表画面（フィール
ド番号ｎ−１の画面）をシーンチェンジ点の後に移動さ
せ、それを新しい代表画面（フィールド番号ｎの画面）
とし、フィールド番号ｎ，ｎ＋５，ｎ＋１０の画面が選
択される。これにより、同じシーンのサムネイル画像Ｄ
４１，Ｄ４２，Ｄ４３が生成される。

【００７２】なお、図１０の例の画面選択方法は、代表
画面の検出精度が高くない場合、または、一定時間毎の
画面が代表画面として代用される場合には、特に、有効
である。また、この方法は、予め検出された代表画面
（フィールド番号ｎ−１）の１枚のみをサムネイル画像
Ｄ４０として生成してもよいことは、勿論である。

【００７３】図１１の例では、代表画面の直後がシーン
チェンジ点であり、代表画面より前のシーンチェンジ点
からその代表画面までのフィールド数が、選択された画
面枚数ｋより多い場合における、画面選択方法を説明す
る図である。この例においては、代表画面より前にある
フィールド番号ｎ，ｎ−５，ｎ−１０の画面が選択され
る。これにより、同じシーンのサムネイル画像Ｄ５１，
Ｄ５２，Ｄ５３が生成される。

【００７４】図６に戻って、ステップＳ１６において、
システムコントローラ３１は、マルチプレクサ／デマル
チプレクサ１４を制御し、バッファコントローラ１７を
介してハードディスクドライブ１８にアクセスさせ、ス
テップＳ１３またはステップＳ１５の処理で選択された
画面に対応する画像データを読み出させる。

【００７５】ステップＳ１７において、システムコント
ローラ３１は、ポスト映像信号処理回路２０を制御し、
ステップＳ１６の処理で読み出された、画像データの大
きさを縮小させ（いまの場合、サムネイル画像Ａ１を生
成させ）、ウィンドウＷの所定の位置に貼り付けさせる
（図１２（Ａ）のサムネイル画像Ａ１）。

【００７６】ステップＳ１８において、システムコント
ローラ３１は、ステップＳ１３またはステップＳ１５の
処理で選択された複数の画面に対応する画像データのサ
ムネイル画像の生成が終了したのか否かを判定し、未
だ、複数の画面に対応する画像データのサムネイル画像
の生成が終了していないと判定した場合、ステップＳ１
６に戻り、上述した処理を繰り返す。

【００７７】そして、ステップＳ１８において、複数の
画面に対応する画像データのサムネイル画像の生成が終
了したと判定された場合、ステップＳ１９に進み、シス
テムコントローラ３１は、ステップＳ１７の処理で生成
されたサムネイル画像（いまの場合、サムネイル画像Ａ
１乃至Ａ３）を、外部ビデオ出力端子２３−１，２３−
２を介してそれぞれ外部装置に供給し、そこに接続され
ているモニタに出力、表示させる（いまの場合、図１２
に示すように、サムネイル画像Ａ１乃至Ａ３が表示され
る）。その後、ステップＳ１１に戻り、上述したそれ以
降の処理を繰り返す。そして、ステップＳ１１におい
て、表示すべきサムネイル画像がないと判定された場
合、すなわち、全てのサムネイル画像が表示されたと判
定された場合、処理は終了される。

【００７８】以上の処理により、例えば、図１２に示さ
れるように、サムネイル画像Ａ１乃至Ａ３，Ｂ１乃至Ｂ
３，Ｃ１乃至Ｃ３，Ｄ１乃至Ｄ３が、それぞれ順次繰り
返し表示される。なお、図１２のサムネイル画像Ｄ１
１，Ｄ１２，Ｄ１３は、図７の例の画像選択方法により
選択された画面のサムネイル画像が生成されている。

【００７９】なお、図５のステップＳ２の特徴点検出処
理、および、図６のステップＳ１３，Ｓ１５の画面選択
処理において、処理を高速化させるために、イントラピ
クチャを検出または選択させるようにしてもよい。

【００８０】以上においては、画像データの特徴点およ
びシーンチェンジ点の位置情報を記録し、再生時に、そ
の位置情報に基づいて、サムネイル画像となる画面を選
択し、サムネイル画像を生成するようにしたが、本発明
はこれに限らず、画像データの特徴点およびシーンチェ
ンジ点の位置情報からサムネイル画像となる画面を選択
し、サムネイル情報を位置情報とともに記録し、再生時
に、そのサムネイル情報に基づいて、サムネイル画像を
生成させるようにしてもよい。

【００８１】次に、図１３のフローチャートを参照し
て、代表画面の特徴点およびシーンチェンジ点の位置情
報からサムネイル画像となる画面を選択し、サムネイル
情報を記録する処理について、簡単に説明する。なお、
ステップＳ３１乃至Ｓ３３の処理は、上述した図５のス
テップＳ１乃至Ｓ３における処理と同様であるため、そ
の説明は省略する。

【００８２】ステップＳ３４において、システムコント
ローラ３１は、ステップＳ３２，Ｓ３３の処理で検出さ
れた、画像データの特徴点およびシーンチェンジ点の位
置情報から、予め、設定されている所定のルールに従っ
て、サムネイル画像となる、複数の画面（サムネイル）
を選択する。

【００８３】ステップＳ３５において、システムコント
ローラ３１は、ステップＳ３４の処理で選択された複数
の画面がシーンチェンジ点をまたいでいるのか否かを判
定し、シーンチェンジ点をまたいでいると判定した場
合、ステップＳ３６に進み、サムネイル画像となる画面
の選択をやり直す。

【００８４】ステップＳ３７において、システムコント
ローラ３１は、ステップＳ３２，Ｓ３３の処理でそれぞ
れ検出された、画像データの特徴点およびシーンチェン
ジ点の位置情報、ステップＳ３４またはステップＳ３６
の処理で選択された、サムネイル画像となる複数の画面
に関するサムネイル情報をRAM３４に一旦記憶するとと
もに、タイムスタンプやフレーム番号などのテーブルと
して、ハードディスクドライブ１８に記録する。その
後、ステップＳ３１に戻り、上述した処理が繰り返され
る。そして、ステップＳ３１において、番組の記録が終
了したと判定されると、処理は終了される。

【００８５】以上の処理により記録された、画像データ
の特徴点およびシーンチェンジ点の位置情報、およびサ
ムネイル画像となる複数の画面に関するサムネイル情報
に基づいて、サムネイル画像を表示させる処理につい
て、図１４のフローチャートを参照して、簡単に説明す
る。

【００８６】ステップＳ４１において、システムコント
ローラ３１は、RAM３４に記憶されている、画像データ
の特徴点およびシーンチェンジ点の位置情報、および、
サムネイル画像となる複数の画面に関するサムネイル情
報から、表示すべきサムネイル画像がまだあるのか否か
を判定し、表示すべきサムネイル画像がまだあると判定
した場合、ステップＳ４２に進む。

【００８７】ステップＳ４２において、システムコント
ローラ３１は、ハードディスクドライブ１８に記録され
ているサムネイル情報を読み出す。ステップＳ４３にお
いて、システムコントローラ３１は、ステップＳ４２の
処理で読み出されたサムネイル情報に基づいて、ハード
ディスクドライブ１８から、対応する画像データを読み
出し、ステップＳ４４に進む。

【００８８】なお、ステップＳ４４乃至ステップＳ４６
の処理は、上述した、図６のステップＳ１７乃至ステッ
プＳ１９における処理と同様であるため、その説明は省
略する。

【００８９】さらに他の例として、画像データの特徴点
の位置情報のみを記録し、再生時に、シーンチェンジ点
の位置情報を検出し、それらの位置情報に基づいて、サ
ムネイル画像となる画面を選択させることも可能であ
る。

【００９０】以上においては、画像データのみに注目し
て、複数枚のサムネイル画像を順次切り換えながら表示
させるようにしたが、本発明はこれに限らず、音声付き
の複数枚のサムネイル画像を順次切り換えながら表示さ
せることも可能である。

【００９１】次に、図１５のフローチャートを参照し
て、音声付きのサムネイル画像の表示処理について説明
する。なお、この処理では、上述した図５の処理によ
り、画像データの特徴点およびシーンチェンジ点の位置
情報がRAM３４に記憶されている。

【００９２】ステップＳ５１において、システムコント
ローラ３１は、RAM３４に記憶されている、画像データ
の特徴点およびシーンチェンジ点の位置情報から、表示
すべきサムネイル画像がまだあるのか否かを判定し、表
示すべきサムネイル画像がまだあると判定した場合、ス
テップＳ５２に進む。ステップＳ５２において、システ
ムコントローラ３１は、ハードディスクドライブ１８に
記録されている画像データの特徴点およびシーンチェン
ジ点の位置情報を読み出す。

【００９３】ステップＳ５３において、システムコント
ローラ３１は、ステップＳ５２の処理で読み出された、
画像データの特徴点およびシーンチェンジ点の位置情報
から、予め、設定されている所定のルールに従って、サ
ムネイル画像となる、複数の画面（サムネイル）を選択
する。これにより、例えば、図１６に示すように、フィ
ールド番号ｎ，ｎ＋４，ｎ＋８の画面が選択される。

【００９４】ステップＳ５４において、システムコント
ローラ３１は、ステップＳ５３の処理で選択された画面
（いまの場合、フィールド番号ｎの画面）に対応する画
像データ、および、その画像データ付近の音声データを
ハードディスクドライブ１８から読み出す。これによ
り、例えば、図１６に示すように、フィールド番号ｎ乃
至ｎ＋３の音声データが読み出され、ポスト音声信号処
理回路２４のメモリ７２に記憶される。

【００９５】ステップＳ５５において、システムコント
ローラ３１は、ポスト映像信号処理回路２０を制御し、
ステップＳ５４の処理で読み出された、画像データの大
きさを縮小させ（いまの場合、サムネイル画像Ａ１１を
生成させ）、ウィンドウＷの所定の位置に貼り付けさせ
る（図１２（Ａ）のサムネイル画像Ａ１）。

【００９６】ステップＳ５６において、システムコント
ローラ３１は、ステップＳ５３の処理で選択された複数
の画面に対応する画像データのサムネイル画像の生成が
終了したのか否かを判定し、未だ、複数の画面に対応す
る画像データのサムネイル画像の生成が終了していない
と判定した場合、ステップＳ５４に戻り、上述した処理
を繰り返す。

【００９７】なお、最後のサムネイル画像（いまの場
合、サムネイル画像Ａ１３）に対応する音声データは、
少し多めに読み出される。図１６の例の場合、フィール
ド番号ｎ＋８乃至ｎ＋１５の音声データが読み出され
る。

【００９８】そして、ステップＳ５６において、複数の
画面に対応する画像データのサムネイル画像（いまの場
合、サムネイル画像Ａ１１乃至Ａ１３）の生成が終了し
たと判定された場合、ステップＳ５７に進み、システム
コントローラ３１は、ポスト音声信号処理回路２４を制
御し、ステップＳ５４の処理で読み出され、メモリ７２
に記憶されている音声データから、サムネイル画像表示
の際に再生させる、サムネイル画像用の音声データの生
成を行う。

【００９９】ここで、図１６乃至図１９を参照して、サ
ムネイル画像用の音声データを生成する処理について説
明する。なお、メモリ７２には、フィールド番号ｎ乃至
ｎ＋１５の音声データ記憶されている。

【０１００】システムコントローラ３１は、メモリ７２
に記憶されている音声データ（いまの場合、フィールド
番ｎ乃至ｎ＋１５の音声データ）に対して、無音検出処
理を行う。すなわち、音声データが再生されないフィー
ルドを検出する。

【０１０１】図１６に示すように、無音部分があるフィ
ールドが検出された場合、システムコントローラ３１
は、その無音部分のフィールド（いまの場合、フィール
ド番号ｎ＋２）の後から１２フィールド分（この例の場
合、フィールド番号ｎ＋３乃至ｎ＋１４のフィールド）
の音声データを、サムネイル画像表示の際に再生させ
る、サムネイル画像用の音声データとして決定する。

【０１０２】また、図１７に示すように、無音部分があ
るフィールドが検出されなかった場合、あるいは、メモ
リ７２に記憶されている音声データの後方のフィールド
に無音部分があり（例えば、フィールド番号ｎ＋１０が
無音だった場合）、そのフィールドの後から１２フィー
ルド分の音声データを確保することができない場合、シ
ステムコントローラ３１は、音声データの先頭フィール
ドから１２フィールド分（この例の場合、フィールド番
号ｎ乃至ｎ＋１１のフィールド）の音声データを、サム
ネイル画像の表示の際に再生させる、サムネイル画像用
の音声データとして決定する。

【０１０３】そして、図１６の方法により決定された音
声データが繰り返し再生される場合、図１８に示すよう
に、サムネイル画像Ａ１１乃至Ａ１３が順次切り替わり
ながら表示されるタイミングに合わせて（この例の場
合、フィールド番号ｍ乃至ｍ＋１１の期間にかけて）、
フィールド番号ｎ＋３乃至ｎ＋１４の音声データ（図１
６）が繰り返し再生される。また、図１７の方法により
決定された音声データが繰り返し再生される場合、図１
９に示すように、サムネイル画像Ａ１１乃至Ａ１３が順
次切り替わりながら表示されるタイミングに合わせて
（この例の場合、フィールド番号ｍ乃至ｍ＋１１の期間
にかけて）、フィールド番号ｎ乃至ｎ＋１１の音声デー
タ（図１７）が繰り返し再生される。

【０１０４】このとき、ポスト音声信号処理回路２４
は、音声データが繰り返される部分（例えば、フィール
ド番号ｍ，ｍ＋１５に対応する音声データ）にフェード
処理を行うことにより、つなぎ目の違和感を和らげる。

【０１０５】図１５に戻って、ステップＳ５７におい
て、サムネイル画像用の音声データが生成（決定）され
ると、ステップＳ５８に進み、システムコントローラ３
１は、ステップＳ５５の処理で生成されたサムネイル画
像（いまの場合、サムネイル画像Ａ１１乃至Ａ１３）
を、外部ビデオ出力端子２３−１，２３−２を介して、
また、ステップＳ２７の処理で生成されたサムネイル画
像用の音声データを、外部オーディオ出力端子２７を介
して、それぞれ外部装置に供給し、そこに接続されてい
るモニタにサムネイル画像を表示させ、スピーカに音声
を再生させる。その後、ステップＳ５１に戻り、上述し
たそれ以降の処理を繰り返す。そして、ステップＳ５１
において、表示すべきサムネイル画像がないと判定され
た場合、すなわち、全ての音声付きのサムネイル画像が
表示されたと判定された場合、処理は終了される。

【０１０６】以上の処理により、例えば、図２０に示さ
れるように、サムネイル画像Ａｉ，Ｂｉ，Ｃｉ，Ｄｉ
（ｉ＝１１乃至１３）が、それぞれ順次繰り返し表示さ
れるとともに、音声が繰り返し再生される。すなわち、
フィールド番号ｍ乃至ｍ＋３の期間、サムネイル画像Ａ
１１，Ｂ１１，Ｃ１１，Ｄ１１が表示され、フィールド
番号ｍ＋４乃至ｍ＋７の期間、サムネイル画像Ａ１２，
Ｂ１２，Ｃ１２，Ｄ１２が表示され、フィールド番号ｍ
＋８乃至ｍ＋１１の期間、サムネイル画像Ａ１３，Ｂ１
３，Ｃ１３，Ｄ１３が表示される。また、フィールド番
号ｍ乃至ｍ＋１１の期間、ユーザにより選択されている
サムネイル画像用の音声（いまの場合、サムネイル画像
Ａｉ用の音声）が繰り返し再生される（図１８、図１
９）。

【０１０７】次に、図２１を参照して、タイトル毎に、
擬似動画のサムネイル画像を表示させる例について説明
する。なお、ハードディスクドライブ１８には、既に、
タイトル１乃至タイトル４が記録されている。

【０１０８】図２１の例において、システムコントロー
ラ３１は、各タイトルを所定の時間に分割し（この例で
は、時間Ｔ１乃至Ｔ４に分割し）、分割された時間毎に
おける画像データの特徴点を検出する。システムコント
ローラ３１は、さらに、分割された時間毎に検出された
特徴点の中で、最も特徴のあるもの（サムネイル群）を
選択する。これにより、タイトル１では、時間Ｔ１乃至
時間Ｔ４のうちの時間Ｔ３のサムネイル群１が選択さ
れ、タイトル２では、時間Ｔ１または時間Ｔ２のうちの
時間Ｔ２のサムネイル群２が選択され、タイトル３で
は、時間Ｔ１乃至時間Ｔ３のうちの時間Ｔ２のサムネイ
ル群３が選択され、そして、タイトル４では、時間Ｔ１
乃至時間Ｔ３のうちのシーン時間Ｔ１のサムネイル群４
が選択される。

【０１０９】そして、システムコントローラ３１は、上
述した図６のステップＳ１６乃至Ｓ１９、図１４のステ
ップＳ４３乃至Ｓ４６、あるいは、図１５のステップＳ
５４乃至Ｓ５８の処理により、サムネイル画像を生成、
表示させる。これにより、図２２に示されるような、ウ
ィンドウＷが表示される。

【０１１０】ユーザは、図２２に表示された各タイトル
の擬似動画のサムネイル画像を参照し、再生させたいタ
イトルを容易に検索（タイトルサーチ）することができ
る。

【０１１１】次に、図２３を参照して、シーン毎に、擬
似動画のサムネイル画像を表示させる例について説明す
る。

【０１１２】図２３の例において、システムコントロー
ラ３１は、タイトル１を所定の時間に分割し（この例で
は、時間Ｔ１１乃至Ｔ１４に分割し）、分割された時間
毎における画像データの特徴点、すなわち、サムネイル
群をそれぞれ選択（検出）する。これにより、時間Ｔ１
１では、サムネイル群１１が選択され、時間Ｔ１２で
は、サムネイル群１２が選択され、時間Ｔ１３では、サ
ムネイル群１３が選択され、そして、時間Ｔ１４では、
サムネイル群１４が選択される。

【０１１３】そして、システムコントローラ３１は、上
述した図６のステップＳ１６乃至Ｓ１９、図１４のステ
ップＳ４３乃至Ｓ４６、あるいは、図１５のステップＳ
５４乃至Ｓ５８の処理により、サムネイル画像を生成、
表示させる。これにより、図２４に示されるような、ウ
ィンドウＷが表示される。

【０１１４】ユーザは、図２４に表示された各シーンの
擬似動画のサムネイル画像を参照し、再生させたいシー
ンを容易に検索（コーナーサーチ）することができる。

【０１１５】次に、図２５のフローチャートを参照し
て、所定の数に分割された時間毎において、充分に長い
シーンのサムネイル画像を生成する処理について説明す
る。

【０１１６】ステップＳ７１において、システムコント
ローラ３１は、タイトルの全体表示時間を均等に、所定
の数に分割する。図２６の例では、時間Ｔ１１乃至Ｔ１
４に４分割される。ステップＳ７２において、システム
コントローラ３１は、ステップＳ７１の処理で所定の数
に分割（いまの場合、４分割）された時間毎に、それぞ
れ長いシーンを複数抽出する。図２６の例では、時間Ｔ
１１において、シーン１２とシーン１４が抽出される。

【０１１７】ステップＳ７３において、システムコント
ローラ３１は、ステップＳ７２の処理で抽出された複数
のシーン（いまの場合、シーン１２とシーン１４）にお
いて、シーンの長さや、特徴点検出器５２で検出された
サムネイル画像となる特徴点から、サムネイル画像を生
成するのに適当と思われるシーンを決定する。図２６の
例では、シーン１４がサムネイル画像の生成に使用され
るシーンに決定される。

【０１１８】ステップＳ７４において、システムコント
ローラ３１は、ステップＳ７３の処理で決定されたシー
ン（いまの場合、シーン１４）から、表示すべきサムネ
イル画像となる、複数の画面（サムネイル群）を選択す
る。図２６の例では、３フィールド毎に、サムネイル１
乃至サムネイル５が選択される。

【０１１９】ステップＳ７５において、システムコント
ローラ３１は、ステップＳ７４の処理で選択されたサム
ネイル群（いまの場合、サムネイル１乃至サムネイル
５）の付近の音声データを長めに選択する。

【０１２０】ステップＳ７６において、システムコント
ローラ３１は、全領域のサムネイル選択処理およびその
サムネイルの音声選択処理が終了したのか否か、すなわ
ち、分割された時間毎に、サムネイル選択処理およびそ
のサムネイルの音声選択処理が終了したのか否かを判定
し、まだ、全領域のサムネイル選択処理および音声選択
処理が終了していないと判定した場合、ステップＳ７２
に戻り、上述したそれ以降の処理を繰り返す。そして、
ステップＳ７６において、全領域のサムネイルの選択処
理および音声選択処理が終了したと判定された場合、処
理は終了される。

【０１２１】次に、図２７のフローチャートを参照し
て、擬似動画のサムネイルの特徴点およびシーンチェン
ジ点の位置情報から、サムネイル画像となる画面とその
画面に対応する音声を選択し、サムネイル情報を記録す
る処理について説明する。なお、この処理は、ハードデ
ィスクレコーダに入力されるAV信号の録画が開始された
とき、その録画処理と並行して実行される。

【０１２２】ステップＳ８１において、システムコント
ローラ３１は、タイトルを所定の数に分割するために使
用する（図２６の例の場合、時間Ｔ１１乃至Ｔ１４に分
割するための）タイマ（図示せず）を初期化する。ステ
ップＳ８２において、システムコントローラ３１は、シ
ーンの長さの計測用のタイマ（図示せず）を初期化す
る。

【０１２３】ステップＳ８３において、特徴点検出器５
２は、NTSCデコーダ１０より供給される画像データか
ら、タイトルまたはシーンを特徴付ける、画像データの
特徴点を検出する。このとき、タイトルを所定の数に分
割するためのタイマおよびシーンの長さの計測用のタイ
マが作動される。ステップＳ８４において、シーンチェ
ンジ検出器５３は、NTSCデコーダ１０より供給される画
像データから、シーンチェンジ点が検出されたのか否か
を判定し、シーンチェンジ点が検出されていないと判定
した場合、ステップＳ８３に戻り、上述した処理を繰り
返す。

【０１２４】ステップＳ８４において、シーンチェンジ
点が検出されたと判定された場合、ステップＳ８５に進
み、システムコントローラ３１は、シーン計測用のタイ
マを参照し、ステップＳ８４の処理で検出されたシーン
チェンジ点までのシーンの長さが、閾値以上の長いシー
ンであるのか否かを判定し、閾値以上の長いシーンでは
ないと判定された場合、ステップＳ８２に戻り、上述し
たそれ以降の処理を繰り返す。

【０１２５】ステップＳ８５において、閾値以上の長い
シーンであると判定された場合、ステップＳ８６に進
み、システムコントローラ３１は、ステップＳ８５の処
理で閾値以上の長いシーンであると判定されたシーン
が、サムネイル画像を生成するのに適当なシーンである
のか否かを判定し、サムネイル画像を生成するのに適当
なシーンではないと判定した場合、ステップＳ８２に戻
り、上述した処理を繰り返す。

【０１２６】ステップＳ８６において、サムネイル画像
を生成するのに適当なシーンであると判定された場合、
ステップＳ８７に進み、システムコントローラ３１は、
ステップＳ８６の処理で、サムネイル画像を生成するの
に適当なシーンであると判定されたシーンから、サムネ
イル画像となる画面（画像）および音声を決定する。

【０１２７】ステップＳ８８において、システムコント
ローラ３１は、ステップＳ８７の処理で決定された、サ
ムネイル画像となる画面および音声に関するサムネイル
情報をRAM３４に一旦記憶するとともに、タイムスタン
プやフレーム番号などのテーブルとして、ハードディス
クドライブ１８に記録（更新）する。

【０１２８】なお、同一シーン内で、サムネイル画像を
生成するのに適当なシーンが複数選択された場合、その
中で最も適当なシーンが選択され、そのサムネイル情報
が記録される。

【０１２９】ステップＳ８９において、システムコント
ローラ３１は、タイトルを分割するための所定の時間Ｔ
（図２６の例の場合、時間Ｔ１１）が経過したのか否か
を判定し、未だ、タイトルを分割するための所定の時間
Ｔが経過していないと判定した場合、ステップＳ８２に
戻り、上述した処理を繰り返す。そして、ステップＳ８
９において、タイトルを分割するための所定の時間Ｔが
経過したと判定された場合、ステップＳ９０に進む。

【０１３０】ステップＳ９０において、システムコント
ローラ３１は、タイトルエンドになったのか否か、すな
わち、AV信号の録画が終了したのか否かを判定し、未
だ、タイトルエンドではないと判定した場合、ステップ
Ｓ８１に戻り、タイトルを所定の数に分割するためのタ
イマを初期化し、上述したそれ以降の処理を繰り返す。
このように、図２６における、時間Ｔ１２，Ｔ１３，Ｔ
１４のサムネイル群を順次決定していく。そして、ステ
ップＳ９０において、タイトルエンドになったと判定さ
れた場合、処理は終了される。

【０１３１】以上の処理により記録された、サムネイル
情報に基づいて、音声付きのサムネイル画像を表示させ
る処理について、図２８のフローチャートを参照して説
明する。

【０１３２】ステップＳ１０１において、システムコン
トローラ３１は、RAM３４に記憶されている、サムネイ
ル情報から、表示すべきサムネイル画像がまだあるのか
否かを判定し、表示すべきサムネイル画像がまだあると
判定した場合、ステップＳ１０２に進む。

【０１３３】ステップＳ１０２において、システムコン
トローラ３１は、ハードディスクドライブ１８に記録さ
れているサムネイル情報を読み出す。ステップＳ１０３
において、システムコントローラ３１は、ステップＳ１
０２の処理で読み出されたサムネイル情報に基づいて、
ハードディスクドライブ１８から、対応する画像データ
および音声データを読み出す。なお、読み出された音声
データは、ポスト音声信号処理回路２４のメモリ７２に
記憶される。

【０１３４】ステップＳ１０４において、システムコン
トローラ３１は、ポスト映像信号処理回路２０を制御
し、ステップＳ１０３の処理で読み出された、画像デー
タの大きさを縮小させ（サムネイル画像を生成させ）、
ウィンドウＷの所定の位置に貼り付けさせる。ステップ
Ｓ１０５において、システムコントローラ３１は、複数
の画面に対応する画像データのサムネイル画像が生成さ
れたのか否かを判定し、未だ、複数の画面に対応する画
像データのサムネイル画像が生成されていないと判定し
た場合、ステップＳ１０３に戻り、上述した処理を繰り
返す。

【０１３５】そして、ステップＳ１０５において、複数
の画面に対応する画像データのサムネイル画像の生成が
終了したと判定された場合、ステップＳ１０６に進み、
システムコントローラ３１は、ポスト音声信号処理回路
２４を制御し、ステップＳ１０３の処理で読み出され、
メモリ７２に記憶されている音声データから、サムネイ
ル画像表示の際に再生させる、サムネイル画像用の音声
データの生成を行う。

【０１３６】ステップＳ１０７において、システムコン
トローラ３１は、ステップＳ１０４の処理で生成された
サムネイル画像を、外部ビデオ出力端子２３−１，２３
−２を介して、また、ステップＳ１０６の処理で生成さ
れたサムネイル画像用の音声データを、外部オーディオ
出力端子２７を介して、それぞれ外部装置に供給し、そ
こに接続されているモニタにサムネイル画像を表示さ
せ、スピーカに音声を再生させる。その後、ステップＳ
１０１に戻り、上述したそれ以降の処理を繰り返す。そ
して、ステップＳ１０１において、表示すべきサムネイ
ル画像がないと判定された場合、すなわち、全ての音声
付きのサムネイル画像が表示されたと判定された場合、
処理は終了される。

【０１３７】以上の処理により、サムネイル画像が順次
繰り返し表示されるとともに、音声が繰り返し再生され
る。すなわち、図２９に示すように、サムネイル群が繰
り返し表示されるタイミングに合わせて、音声データが
繰り返し再生される。なお、この例の場合、サムネイル
群の表示の１周期が、音声の再生の１周期と等しくなっ
ている。

【０１３８】ところで、擬似動画のサムネイル画像を表
示させる周期は、メモリの容量等の制約により、あまり
長くできない場合がある。これに対して、音声は、その
内容を把握させるために、ある程度の長さが必要であ
る。このような場合、図３０または図３１に示すよう
に、サムネイル画像の１周期の表示時間と、音声の１周
期の再生時間を一致させないようにすることも可能であ
る。

【０１３９】図３０および図３１の例では、サムネイル
画像の１周期の表示時間が、音声の１周期の再生時間よ
り短い場合の、音声付きのサムネイル画像を表示させる
例を説明する図である。

【０１４０】図３０の例の場合、１周期目の音声の再生
時間に、サムネイル群が表示され、次の１周期の音声の
再生時間に（すなわち、第２周期目の音声の再生時間
に）、サムネイル群が表示され、そして、さらに次の１
周期の音声の再生時間に（すなわち、第３周期目の音声
の再生時間に）、サムネイル群が表示される。なお、サ
ムネイル群の表示時間と音声の再生時間を合わせるため
に、次の音声再生の周期が到来するまでの期間、サムネ
イル群の最後のサムネイル５の静止画像が表示される。

【０１４１】また、図３１に示すように、次の音声再生
の周期が到来するまでの期間、サムネイル群を繰り返し
表示させるようにしてもよい。この例の場合、１周期の
音声の再生時間に、サムネイル群は、３回繰り返し表示
されている。

【０１４２】以上のように、サムネイル画像の表示時間
が音声の再生時間より短い場合、サムネイル画像の表示
方法を工夫することにより、ユーザは、擬似動画のサム
ネイル画像を参照し、再生させたいシーンを容易に検索
することができる。

【０１４３】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、記録媒体からイ
ンストールされる。

【０１４４】この記録媒体は、図３に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク４１（フロッピディスクを含む）、光ディスク４２
（CD-ROM(Compact Disk-Read Only Memory),DVD(Digita
l Versatile Disk)を含む）、光磁気ディスク４３（MD
（Mini-Disk）を含む）、もしくは半導体メモリ４４な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROM３３や、
ハードディスクドライブ１８に含まれるハードディスク
などで構成される。

【０１４５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０１４６】

【発明の効果】以上のように、本発明の画像記録再生装
置、画像記録再生方法、および記録媒体に記録されてい
るプログラムによれば、入力された画像信号を、全体の
表示時間を基準として、所定の数に分割し、その分割さ
れた時間毎に少なくとも１以上の特徴点を検出し、検出
された特徴点からシーンチェンジ点までのシーンの長さ
を計測し、計測されたシーンの長さが閾値以上であるの
か否かを判定し、その判定結果に基づいて、シーンを選
択し、選択されたシーンに対応する画像信号を縮小して
サムネイル画像を生成するようにしたので、ユーザの所
望するタイトルやシーンを容易に検索することができ
る。

【図面の簡単な説明】

【図１】従来のサムネイル画像の表示例を説明する図で
ある。

【図２】従来のサムネイル画像の生成処理を説明する図
である。

【図３】本発明を適用したハードディスクレコーダの構
成例を示すブロック図である。

【図４】図３のハードディスクレコーダのビデオ系の詳
細な構成例を示すブロック図である。

【図５】特徴点およびシーンチェンジ点の検出処理を説
明するフローチャートである。

【図６】サムネイル画像の表示処理を説明するフローチ
ャートである。

【図７】画面選択方法を説明する図である。

【図８】他の例の画面選択方法を説明する図である。

【図９】他の例の画面選択方法を説明する図である。

【図１０】他の例の画面選択方法を説明する図である。

【図１１】他の例の画面選択方法を説明する図である。

【図１２】サムネイル画像の表示例を説明する図であ
る。

【図１３】サムネイル情報の記録処理を説明するフロー
チャートである。

【図１４】サムネイル画像の表示処理を説明するフロー
チャートである。

【図１５】音声付きのサムネイル画像の表示処理を説明
するフローチャートである。

【図１６】音声データの生成処理を説明する図である。

【図１７】他の例の音声データの生成処理を説明する図
である。

【図１８】音声データの再生処理を説明する図である。

【図１９】他の例の音声データの再生処理を説明する図
である。

【図２０】音声付きのサムネイル画像の表示例を説明す
る図である。

【図２１】タイトル毎に最も特徴のあるサムネイル群を
選択する例を説明する図である。

【図２２】タイトル毎のサムネイル画像の表示例を説明
する図である。

【図２３】シーン毎に最も特徴のあるサムネイル群を選
択する例を説明する図である。

【図２４】シーン毎のサムネイル画像の表示例を説明す
る図である。

【図２５】長いシーンのサムネイル画像を生成する処理
を説明するフローチャートである。

【図２６】タイトルを４分割し、その中から最も長いシ
ーンを選択する例を説明する図である。

【図２７】長いシーンのサムネイル情報を記録する処理
を説明するフローチャートである。

【図２８】音声付きのサムネイル画像の表示処理を説明
するフローチャートである。

【図２９】音声データの再生処理を説明する図である。

【図３０】他の例の音声データの再生処理を説明する図
である。

【図３１】他の例の音声データの再生処理を説明する図
である。

【符号の説明】

１２ プリ映像信号処理回路， １３ MPEGビデオエン
コーダ， １４ マルチプレクサ／デマルチプレクサ，
１７ バッファコントローラ， １８ ハードディス
クドライブ， １９ MPEG AVデコーダ， ２０ ポス
ト映像信号処理回路， ２１ オンスクリーンディスプ
レイ回路， ２４ ポスト音声信号処理回路， ３１
システムコントローラ， ３２ ホストバス， ３３
ROM，３４ RAM， ３６ ドライブ， ４１ 磁気ディ
スク， ４２ 光ディスク，４３ 光磁気ディスク，
４４ 半導体メモリ， ５２ 特徴点検出器， ５３
シーンチェンジ検出器， ５４，６１ 信号処理回路，
６２ メモリ，７１ 信号処理回路， ７２ メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/928 Ｈ０４Ｎ 5/92 Ｅ (72)発明者 濱田 敏道 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 冨田 真巳 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 長徳 弘一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C023 AA02 AA14 AA34 AA35 BA11 CA01 CA04 DA04 5C052 AA01 AA17 AC08 CC11 DD06 GA04 GB06 GB07 GC03 GC05 GC07 GE04 5C053 FA22 FA24 FA27 GA11 GB11 GB22 GB37 HA29 JA03 JA07 JA08 KA03 KA25 LA07 LA11 5D110 AA13 BB06 DA11 DA20 DE06 EA08 EA17 FA09

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力された画像信号を、全体の表示時間
   を基準として、所定の数に分割し、その分割された時間
   毎に少なくとも１以上の特徴点を検出する検出手段と、 前記検出手段により検出された前記特徴点からシーンチ
   ェンジ点までのシーンの長さを計測する計測手段と、 前記計測手段により計測された前記シーンの長さが閾値
   以上であるのか否かを判定する判定手段と、 前記判定手段での判定結果に基づいて、前記シーンを選
   択する選択手段と、 前記選択手段により選択された前記シーンに対応する前
   記画像信号を読み出し、その前記画像信号を縮小してサ
   ムネイル画像を生成する生成手段とを備えることを特徴
   とする画像記録再生装置。
2. 【請求項２】 前記生成手段により生成された、少なく
   とも１以上の前記サムネイル画像の切り換え表示を制御
   する表示制御手段をさらに備えることを特徴とする請求
   項１に記載の画像記録再生装置。
3. 【請求項３】 入力された画像信号を、全体の表示時間
   を基準として、所定の数に分割し、その分割された時間
   毎に少なくとも１以上の特徴点を検出する検出ステップ
   と、 前記検出ステップの処理により検出された前記特徴点か
   らシーンチェンジ点までのシーンの長さを計測する計測
   ステップと、 前記計測ステップの処理により計測された前記シーンの
   長さが閾値以上であるのか否かを判定する判定ステップ
   と、 前記判定ステップでの判定結果に基づいて、前記シーン
   を選択する選択ステップと、 前記選択ステップの処理により選択された前記シーンに
   対応する前記画像信号を読み出し、その前記画像信号を
   縮小してサムネイル画像を生成する生成ステップとを含
   むことを特徴とする画像記録再生方法。
4. 【請求項４】 入力された画像信号を、全体の表示時間
   を基準として、所定の数に分割し、その分割された時間
   毎に少なくとも１以上の特徴点を検出する検出ステップ
   と、 前記検出ステップの処理により検出された前記特徴点か
   らシーンチェンジ点までのシーンの長さを計測する計測
   ステップと、 前記計測ステップの処理により計測された前記シーンの
   長さが閾値以上であるのか否かを判定する判定ステップ
   と、 前記判定ステップでの判定結果に基づいて、前記シーン
   を選択する選択ステップと、 前記選択ステップの処理により選択された前記シーンに
   対応する前記画像信号を読み出し、その前記画像信号を
   縮小してサムネイル画像を生成する生成ステップとを含
   むことを特徴とするコンピュータが読み取り可能なプロ
   グラムが記録されている記録媒体。