JP2001257968A

JP2001257968A - 画像記録再生装置および方法、並びに記録媒体

Info

Publication number: JP2001257968A
Application number: JP2000070147A
Authority: JP
Inventors: Toshimichi Hamada; 敏道濱田; Koichi Nagatoku; 弘一長徳; Taro Mizufuji; 太郎水藤; Masami Tomita; 真巳冨田; Masanari Miyata; 勝成宮田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-03-14
Filing date: 2000-03-14
Publication date: 2001-09-21

Abstract

(57)【要約】【課題】タイトルが分割または統合された場合にも、
最適な代表画面を表示することができるようにする。【解決手段】システムコントローラは、画像データの
フレーム毎の評価値を算出し、最小時間単位（１分）毎
に、一番高い評価値（代表画面評価値）のフレームをイ
ンデックスとして作成する。マルチ画面に表示させるタ
イトルの全体の表示時間が最小時間単位以上の場合、例
えば、その時間が６分割され、各時間毎に、代表画面評
価値の高かった２つのインデックス番号が抽出され、そ
のインデックス番号に対応するフレームから代表画面が
生成される。一方、全体の表示時間が最小時間単位より
短い場合、その時間が等分割され、各時間毎に、それぞ
れ先頭フレームが抽出され、代表画面が生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像記録再生装置
および方法、並びに記録媒体に関し、特に、動画像とと
もに、タイトル毎に少なくとも１つ以上の代表画面を作
成し、その代表画面をインデックスとして利用すること
により、動画像を容易に管理することができるようにし
た画像記録再生装置および方法、並びに記録媒体に関す
る。

【０００２】

【従来の技術】近年、ハードディスク等の記憶媒体の大
容量化、低価格化、並びに動画像信号および音声信号
（以下、AV信号と記載する）を圧縮符号化する処理の高
速化が進み、これらの技術を用いて、テレビジョン番組
のAV信号を圧縮符号化して録画し、また再生することが
できる電子装置が開発されるようになってきた。

【０００３】このような電子装置によれば、ハードディ
スクに代表される大容量の記憶媒体に複数のテレビジョ
ン番組のAV信号を記録することが可能となるので、記録
された複数の番組のAV信号をユーザが容易に管理できる
ように、録画中の番組の映像信号から静止画像（代表画
面）を抽出して記録する機能を持たせるようにすること
が望ましい。

【０００４】例えば、タイトル（番組）毎に代表画面を
作成し、表示する機能を持つ電子装置の場合、各タイト
ル毎に決められた枚数の代表画面、または代表画面のイ
ンデックス情報を記録することにより、その代表画面を
用いて記録されたタイトルの一覧やタイトル毎の内容一
覧（代表画面の一覧）を表示させることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、そのよ
うな電子装置においては、タイトルを分割または統合し
た場合、タイトルの一覧やタイトルの内容一覧（代表画
面の一覧）を表示することができなくなる課題があっ
た。

【０００６】また、タイトルまたは代表画面の一覧を表
示することができたとしても、最適な代表画面ではなく
なる課題があった。

【０００７】さらにまた、タイトルの内容一覧のような
複数の代表画面を作成し、表示する場合、予め決められ
た時間範囲（例えば、「２時間番組で、１０枚の代表画
面」）、または、タイトル単位でしか表示することがで
きず、表示の自由度が限定されていた。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、タイトルを分割または統合した場合にも、
表示の自由度を限定することなく、ユーザの所望する内
容の代表画面を表示することができるようにするもので
ある。

【０００９】

【課題を解決するための手段】本発明の画像記録再生装
置は、入力された画像信号の評価値をフレーム毎に求
め、評価値の最大値を代表画面評価値として、第１の時
間毎に算出する算出手段と、算出手段により算出された
代表画面評価値を、画像信号とともに記憶媒体に記憶さ
せる記憶手段と、記憶手段により記憶された代表画面評
価値の最大値に対応する画像信号を、第２の時間毎に抽
出する抽出手段と、抽出手段により抽出された画像信号
を縮小して代表画面を生成する生成手段と、生成手段に
より生成された少なくとも１以上の代表画面を貼付した
代表画面一覧の表示を制御する表示制御手段とを備える
ことを特徴とする。

【００１０】前記算出手段が算出した代表画面評価値に
基づいて、画像信号に対応したインデックスを作成する
作成手段をさらに設けるようにすることができる。

【００１１】前記抽出手段は、画像信号の全体の表示時
間を、所定の数に分割し、その分割された時間毎に少な
くとも１以上のインデックスを選択し、インデックスの
付いた画像信号を抽出するようにすることができる。

【００１２】画像信号が複数に分割された場合、前記抽
出手段は、その分割された画像信号の全体の表示時間
を、所定の数に分割し、その分割された時間毎に少なく
とも１以上のインデックスを選択し、インデックスの付
いた画像信号を抽出するようにすることができる。

【００１３】複数の画像信号が統合された場合、前記抽
出手段は、その統合された複数の画像信号の全体の表示
時間を、所定の数またはタイトル毎に分割し、その分割
された時間毎に少なくとも１以上のインデックスを選択
し、インデックスの付いた画像信号を抽出するようにす
ることができる。

【００１４】前記抽出手段は、画像信号の全体の表示時
間のうち、所定の時間が指定された場合、指定された時
間を、所定の数に分割し、その分割された時間毎に少な
くとも１以上のインデックスを選択し、インデックスの
付いた画像信号を抽出するようにすることができる。

【００１５】画像信号の全体の表示時間がインデックス
の最小時間単位以下である場合、前記抽出手段は、画像
信号の全体の表示時間を、等分割し、その分割された時
間毎に少なくとも１以上のインデックスを選択し、イン
デックスの付いた画像信号を抽出するようにすることが
できる。

【００１６】前記記憶媒体は、ハードディスクとするこ
とができる。

【００１７】本発明の画像記録再生方法は、入力された
画像信号の評価値をフレーム毎に求め、評価値の最大値
を代表画面評価値として、第１の時間毎に算出する算出
ステップと、算出ステップの処理で算出された代表画面
評価値を、画像信号とともに記憶させるように記憶媒体
の記憶を制御する記録制御ステップと、記憶制御ステッ
プの処理で記憶が制御された代表画面評価値の最大値に
対応する画像信号を、第２の時間毎に抽出する抽出ステ
ップと、抽出ステップの処理で抽出された画像信号を縮
小して代表画面を生成する生成ステップと、生成ステッ
プの処理で生成された少なくとも１以上の代表画面を貼
付した代表画面一覧の表示を制御する表示制御ステップ
とを含むことを特徴とする。

【００１８】本発明の記録媒体に記録されているプログ
ラムは、入力された画像信号の評価値をフレーム毎に求
め、評価値の最大値を代表画面評価値として、第１の時
間毎に算出する算出ステップと、算出ステップの処理で
算出された代表画面評価値を、画像信号とともに記憶さ
せるように記憶媒体の記憶を制御する記録制御ステップ
と、記憶制御ステップの処理で記憶が制御された代表画
面評価値の最大値に対応する画像信号を、第２の時間毎
に抽出する抽出ステップと、抽出ステップの処理で抽出
された画像信号を縮小して代表画面を生成する生成ステ
ップと、生成ステップの処理で生成された少なくとも１
以上の代表画面を貼付した代表画面一覧の表示を制御す
る表示制御ステップとを含むことを特徴とする。

【００１９】本発明の画像記録再生装置、画像記録再生
方法、並びに記録媒体に記録されているプログラムにお
いては、入力された画像信号の代表画面評価値が第１の
時間毎に算出され、算出された代表画面評価値が、画像
信号とともに記憶媒体に記憶され、記憶された代表画面
評価値の最大値に対応する画像信号が、第２の時間毎に
抽出され、抽出された画像信号を縮小して代表画面が生
成され、少なくとも１以上の代表画面を貼付した代表画
面一覧が表示される。

【００２０】

【発明の実施の形態】図１は、本発明を適用したハード
ディスクレコーダの構成例を示すブロック図である。ア
ンテナ１は、テレビジョン放送を受信し、その受信信号
をチューナ２に供給する。チューナ２は、システムコン
トローラ３１の指令に基づいて、アンテナ１からの放送
波の受信信号の中から、所定のチャンネルの番組の信号
を受信し、入力切換器５に供給する。

【００２１】図示せぬ外部装置は、外部ビデオ入力端子
３−１を介してＳ映像信号（Ｙ信号（輝度信号）とＣ信
号（色信号）の分離信号）をスイッチ９の端子ａに入力
する。また、外部装置は、外部ビデオ入力端子３−２を
介してコンポジット映像信号を、および、外部オーディ
オ入力端子４を介して音声信号を、入力切換器５に入力
する。

【００２２】入力切換器５は、システムコントローラ３
１の指令に基づいて、入力された映像信号または音声信
号のうち、所望の信号を選択し、コンポジット映像信号
をYC分離回路８に、音声信号をA/D（Analog to Digita
l）変換器６に、それぞれ出力する。

【００２３】A/D変換器６は、入力切換器５より入力さ
れた音声信号をA/D変換し、MPEG（Moving Picture Expe
rts Group）オーディオエンコーダ７に供給する。A/D変
換器６はまた、A/D変換した音声データをスイッチ２４
の端子ｂに供給する。MPEGオーディオエンコーダ７は、
システムコントローラ３１の指令に基づいて、A/D変換
器６より供給された音声データに対して、MPEG方式で圧
縮処理し、音声のエレメンタリストリーム（ES：Elemen
tary Stream）を生成し、マルチプレクサ／デマルチプ
レクサ１４に供給する。

【００２４】YC分離回路８は、システムコントローラ３
１の指令に基づいて、入力切換器５より入力されたコン
ポジット映像信号を、輝度信号（Ｙ信号）と色信号（Ｃ
信号）に分離し、スイッチ９の端子ｂを介してNTSC（Na
tional Television System Committee）デコーダ１０に
供給する。スイッチ９は、システムコントローラ３１の
指令に基づいて、外部装置からのＳ映像信号をNTSCデコ
ーダ１０に供給するとき、端子ａを選択するように切り
替えられ、YC分離回路８からの映像分離信号をNTSCデコ
ーダ１０に供給するとき、端子ｂを選択するように切り
替えられる。

【００２５】NTSCデコーダ１０は、システムコントロー
ラ３１の指令に基づいて、スイッチ９を介して入力され
た映像信号に対して、A/D変換処理、およびクロマエン
コード処理等を施し、それをデジタルコンポーネントビ
デオ信号（以下、画像データと記載する）に変換し、プ
リ映像信号処理回路１２に供給する。NTSCデコーダ１０
はまた、入力された映像信号の水平同期信号に基づいて
クロックを生成するとともに、同期分離して得られた水
平同期信号、垂直同期信号、およびフィールド判別信号
を同期信号制御回路１１に供給する。

【００２６】同期信号制御回路１１は、システムコント
ローラ３１の指令に基づいて、NTSCデコーダ１０より供
給された水平同期信号、垂直同期信号、およびフィール
ド判別信号を基準として、クロックおよび同期信号を生
成し、各部にそれぞれ供給する。

【００２７】プリ映像信号処理回路１２は、システムコ
ントローラ３１の指令に基づいて、NTSCデコーダ１０よ
り供給された画像データに対して、プリフィルタ等の映
像信号処理を施し、それをMPEGビデオエンコーダ１３お
よびポスト映像信号処理回路２０に供給する。MPEGビデ
オエンコーダ１３は、システムコントローラ３１の指令
に基づいて、プリ映像信号処理回路１２より供給された
画像データに対して、離散コサイン変換（DCT：Discret
e Cosine Transform）等の符号化処理を施し、映像のエ
レメンタリストリームを生成し、マルチプレクサ／デマ
ルチプレクサ１４に供給する。

【００２８】マルチプレクサ／デマルチプレクサ１４
は、記録時、システムコントローラ３１の指令に基づい
て、MPEG方式で圧縮されている、映像のエレメンタリス
トリーム、音声のエレメンタリストリーム、および、各
種の制御信号を、マルチプレクス処理し、例えば、MPEG
方式のトランスポートストリーム（TS：Transport Stre
am）を生成し、バッファコントローラ１７に供給する。
マルチプレクサ／デマルチプレクサ１４はまた、再生
時、バッファコントローラ１７より供給されたMPEG方式
のトランスポートストリームをデマルチプレクス処理
し、トランスポートストリームからPES（Packetized El
ementary Stream）を抽出し、MPEG AV（AudioVideo）デ
コーダ１９に供給する。

【００２９】バッファコントローラ１７は、システムコ
ントローラ３１の指令に基づいて、マルチプレクサ／デ
マルチプレクサ１４より、連続的に供給されるトランス
ポートストリームを、ハードディスクドライブ（HDD：H
ard Disc Drive）１８に断続的に供給できるように制御
する。例えば、ハードディスクドライブ１８がシーク動
作を行っている場合、トランスポートストリームの書き
込みができないため、一時的にトランスポートストリー
ムがバッファに蓄積され、書き込みが可能になると、入
力レートより高いレートで書き込みが行われる。これに
より、連続的に入力されるトランスポートストリーム
が、途切れることなくハードディスクドライブ１８に記
録される。

【００３０】バッファコントローラ１７はまた、ハード
ディスクドライブ１８より断続的に入力される信号を、
連続的になるようにバッファ制御を行い、連続的にされ
たトランスポートストリームをマルチプレクサ／デマル
チプレクサ１４に供給する。

【００３１】ハードディスクドライブ１８は、システム
コントローラ３１の指令に基づいて、バッファコントロ
ーラ１７より断続的に供給されるトランスポートストリ
ームを、所定のアドレスに記録する。ハードディスクド
ライブ１８はまた、所定のアドレスにシークし、そこに
記録されているトランスポートストリームを読み出し、
バッファコントローラ１７に供給する。

【００３２】なお、バッファコントローラ１７およびハ
ードディスクドライブ１８は、プロトコルとしてIDE（I
ntegrated Drive Electronics）を用いているが、本発
明では、トランスポートストリームを記録できるもので
あれば、これに限らなくてよい。

【００３３】MPEG AVデコーダ１９は、システムコント
ローラ３１の指令に基づいて、マルチプレクサ／デマル
チプレクサ１４より供給されたPESを、映像のエレメン
タリストリームと音声のエレメンタリストリームに分離
し、所定のデコード処理を施し、ベースバンド方式の画
像データをポスト映像信号処理回路２０に、ベースバン
ド方式の音声データをスイッチ２４の端子ａに、それぞ
れ供給する。

【００３４】ポスト映像信号処理回路２０は、システム
コントローラ３１の指令に基づいて、プリ映像信号処理
回路１２より供給された映像信号と、MPEG AVデコーダ
１９より供給されたベースバンド方式の映像信号との切
換え、合成、およびフィルター処理等を施し、オンスク
リーンディスプレイ（OSD：On Screen Display）回路２
１に画像データを供給する。ポスト映像信号処理回路２
０はまた、画像表示用のウィンドウ（GUI：Graphic Use
r Interface）等を生成するとともに、画像データの代
表画面を生成して、そのウィンドウに貼り付け、オンス
クリーンディスプレイ回路２１に供給する。

【００３５】オンスクリーンディスプレイ回路２１は、
システムコントローラ３１の指令に基づいて、テキスト
情報を対応する画像データに変換し、ポスト映像信号処
理回路２０から供給される画像データに重畳し、NTSCエ
ンコーダ２２に供給する。NTSCエンコーダ２２は、シス
テムコントローラ３１の指令に基づいて、オンスクリー
ンディスプレイ回路２１より供給された画像データ（コ
ンポーネントデジタル信号）をＹ信号とＣ信号に変換し
た後、D/A変換し、Ｓ映像信号とアナログのコンポジッ
ト映像信号を生成し、外部ビデオ出力端子２３−１，２
３−２を介してそれぞれ外部装置に出力する。

【００３６】スイッチ２４は、システムコントローラ３
１の指令に基づいて、MPEG AVデコーダ１９からのベー
スバンド方式の音声データをD/A変換器２５に供給する
とき、端子ａを選択するように切り替えられ、A/D変換
器６からの音声データをD/A変換器２５に供給すると
き、端子ｂを選択するように切り替えられる。D/A変換
器２５は、スイッチ２４を介して入力された音声データ
をD/A変換し、外部オーディオ出力端子２６を介して外
部装置に出力する。

【００３７】システムコントローラ３１は、ホストバス
３２を介してROM（Read Only Memory）３３に格納され
ているプログラムを読み出して実行し、各部を制御す
る。RAM（Random Access Memory）３４には、システム
コントローラ３１が各部を制御する上において必要なプ
ログラムやデータが適宜記憶される。システムコントロ
ーラ３１、ROM３３、およびRAM３４は、ホストバス３２
を介して相互に接続されているとともに、入出力インタ
ーフェース３５にも接続されている。入出力インターフ
ェース３５には、ドライブ３６が接続されており、磁気
ディスク４１、光ディスク４２、光磁気ディスク４３、
または半導体メモリ４４などが装着されるようになされ
ている。入出力インタフェース３５にはまた、キーボー
ド、マウス、ボタン、スイッチ、リモートコマンダ等よ
りなる入力部３７が接続されている。

【００３８】また、ハードディスクレコーダは、アナロ
グ信号の入出力だけでなく、デジタルデータの入出力を
行うことも可能である。例えば、図示せぬIRD（Integra
tedReceiver Decoder）は、トランスポートストリーム
を、IEEE（The Institute ofElectrical and Electroni
cs Engineers）１３９４シリアルバスを介して、デジタ
ル入出力端子１６からデジタルインタフェース１５に入
力する。デジタルインタフェース１５は、システムコン
トローラ３１の指令に基づいて、インタフェース処理を
施し、入力されたトランスポートストリームを、マルチ
プレクサ／デマルチプレクサ１４に供給する。マルチプ
レクサ／デマルチプレクサ１４は、システムコントロー
ラ３１の指令に基づいて、デジタルインタフェース１５
より供給されたトランスポートストリームを、バッファ
コントローラ１７に出力する。

【００３９】マルチプレクサ／デマルチプレクサ１４は
また、バッファコントローラ１７より供給されたトラン
スポートストリームを、デジタルインタフェース１５に
出力する。デジタルインタフェース１５は、マルチプレ
クサ／デマルチプレクサ１４より入力されたトランスポ
ートストリームを、デジタル入出力端子１６から、IEEE
１３９４シリアルバスを介して外部のIRDに供給し、そ
こに接続されているモニタに出力、表示させる。

【００４０】なお、上述した例では、ハードディスクレ
コーダとIRDとを接続するようにして説明したが、本発
明は、これに限らず、パーソナルコンピュータなどと接
続することも可能である。

【００４１】また、映像信号をMPEG方式で圧縮するよう
にして説明したが、本発明は、これに限らず、他の圧縮
方式または非圧縮でもよい。

【００４２】次に、図１に示されたハードディスクレコ
ーダの基本的な動作について説明する。

【００４３】録画時、例えば、チューナ２により受信さ
れたテレビジョン番組のAV信号は、入力切換器５に供給
される。そこで、選択されたコンポジット映像信号はYC
分離回路８に、音声信号はA/D変換器６に、それぞれ入
力される。A/D変換器６は、入力切換器５より入力され
た音声信号をA/D変換し、MPEGオーディオエンコーダ７
に供給する。MPEGオーディオエンコーダ７は、A/D変換
器６より供給された音声データをMPEG方式で圧縮処理
し、音声のエレメンタリストリームを生成し、マルチプ
レクサ／デマルチプレクサ１４に供給する。

【００４４】YC分離回路８は、入力切換器５より入力さ
れたコンポジット映像信号を、Ｙ信号とＣ信号に分離
し、スイッチ９の端子ｂを介してNTSCデコーダ１０に供
給する。NTSCデコーダ１０は、スイッチ９を介してYC分
離回路８より供給された映像信号に対して、A/D変換処
理、クロマエンコード処理等を施し、それを画像データ
に変換し、プリ映像信号処理回路１２に供給する。プリ
映像信号処理回路１２は、NTSCデコーダ１０より供給さ
れた画像データに対して、プリフィルタ等の映像信号処
理を施し、それをMPEGビデオエンコーダ１３に供給す
る。MPEGビデオエンコーダ１３は、プリ映像信号処理回
路１２より供給された画像データに対して、離散コサイ
ン変換等の符号化処理を施し（MPEG方式でエンコード
し）、映像のエレメンタリストリームを生成し、マルチ
プレクサ／デマルチプレクサ１４に供給する。

【００４５】マルチプレクサ／デマルチプレクサ１４
は、MPEGオーディオエンコーダ７またはMPEGビデオエン
コーダ１３より供給されたMPEG方式で圧縮処理された画
像データや音声データをマルチプレクス処理し、トラン
スポートストリームとして、バッファコントローラ１７
に供給する。バッファコントローラ１７は、マルチプレ
クサ／デマルチプレクサ１４より供給されたトランスポ
ートストリームをハードディスクドライブ１８に供給
し、記録させる。このとき、システムコントローラ３１
は、記録する画像データの評価値を演算し、その演算さ
れた評価値およびインデックスを画像データとともに記
録するようにマルチプレクサ／デマルチプレクサ１４を
制御する（その具体例は後述する）。

【００４６】再生時、マルチプレクサ／デマルチプレク
サ１４は、ハードディスクドライブ１８に記録されてい
るトランスポートストリームを、バッファコントローラ
１７を介して読み出し、ビデオエレメンタリストリーム
とオーディオエレメンタリストリーム（PES）を分離し
て、MPEG AVデコーダ１９に供給する。MPEG AVデコーダ
１９は、マルチプレクサ／デマルチプレクサ１４より供
給されたビデオエレメンタリストリームとオーディオエ
レメンタリストリームを、MPEG方式でそれぞれデコード
処理し、画像データをポスト映像信号処理回路２０に、
音声データをスイッチ２４の端子ａを介してD/A変換器
２５に、それぞれ供給する。

【００４７】ポスト映像信号処理回路２０は、MPEG AV
デコーダ１９より供給された画像データの代表画面を生
成し、複数の代表画面を縮小して１つのウィンドウ（マ
ルチ画面）（図４）に貼り付け、オンスクリーンディス
プレイ回路２１に出力する。オンスクリーンディスプレ
イ回路２１は、システムコントローラ３１からの指令に
基づいて、テキスト（文字）情報等に対応する画像デー
タを生成し、ポスト映像信号処理回路２０より供給され
たマルチ画面の表示用のウィンドウの画像データに重畳
し、NTSCエンコーダ２２出力する。NTSCエンコーダ２２
は、供給された画像データをＹ信号とＣ信号に変換した
後、D/A変換し、Ｓ映像信号とアナログのコンポジット
映像信号を生成し、外部ビデオ出力端子２３−１，２３
−２を介してそれぞれ外部装置に供給し、そこに接続さ
れているモニタに出力、表示させる。

【００４８】モニタに表示された代表画面の一覧表示
（マルチ画面）を参照したユーザが、再生する番組を決
定して、ある番組の再生を指示すると、ハードディスク
ドライブ１８より読み出された画像データのうちの、対
応するAV信号が選択され、再生される。

【００４９】図２は、代表画面表示に関連する本発明の
ハードディスクレコーダのビデオ系の詳細な構成例を示
すブロック図である。この構成例を参照して、以下に、
画像データのインデックスと評価値を生成する動作につ
いて説明する。

【００５０】録画時、例えば、チューナ２を介して入力
されたテレビジョン番組のAV信号のコンポジット信号
が、入力切換器５を介してYC分離回路８に入力される。
YC分離回路８は、入力されたコンポジット映像信号を、
Ｙ信号とＣ信号に分離し、スイッチ９の端子ｂを介して
NTSCデコーダ１０に供給する。NTSCデコーダ１０は、ス
イッチ９を介してYC分離回路８より供給された映像信号
に対して、A/D変換処理、クロマエンコード処理等を施
し、それを画像データに変換し、プリ映像信号処理回路
１２のバッファ／フィルタ５１およびイメージプロセッ
サ５２に供給する。

【００５１】バッファ／フィルタ５１は、供給された画
像データに対して、フレームPLL（Phase-Locked Loo
p）、フレームシンクロナイザによるデータのバッファ
リングによるクロックの乗り換え、および、MPEG圧縮の
ためのプリフィルタ等の各種の映像信号処理を施し、そ
れをMPEGビデオエンコーダ１３およびポスト映像信号処
理回路２０に供給する。

【００５２】イメージプロセッサ５２は、NTSCデコーダ
１０より入力された画像データから、シーンチェンジや
ヒストグラムなど、そのフレームの様々な画像情報を生
成し、ホストバス３２を介してシステムコントローラ３
１に供給する。システムコントローラ３１は、ホストバ
ス３２を介して供給されたイメージプロセッサ５２から
の画像情報を取得し、必要に応じて、各種情報を組み合
わせたり、番組情報や入力ソース情報などを取り込み、
総合的に判断して、そのフレームの評価値をフレーム毎
に算出する。

【００５３】システムコントローラ３１は、任意の短い
単位時間（例えば、１分間）に、フレーム毎に算出され
た評価値の中から一番評価値の高いフレームにインデッ
クス番号と評価値（代表画面評価値）をセットで付加し
て、ホストバス３２、およびバッファコントローラ１７
を介してハードディスクドライブ１８の所定のアドレス
に記録する。

【００５４】なお、このインデックス番号と評価値のセ
ットは、１セットではデータ容量が極めて小さく、転送
効率が悪い。従って、ハードディスクドライブ１８に記
録するタイミングは、ある程度、または、全部のインデ
ックス番号と評価値のセットをバッファに蓄積してから
行うようにすることが望ましい。また、インデックス番
号と評価値のセットを、ある程度、バッファに蓄積した
とき、評価値で並べ替え（例えば、評価値の高い順に並
べ替え）を行った後、ハードディスクドライブ１８に記
録することも可能である。

【００５５】上述した評価値の算出方法としては、本出
願人が、例えば、特願平１１−１５９１７２号として、
先に提案した方法を採用することができる。

【００５６】すなわち、基本的に、画面上に番組タイト
ルやテロップ等の文字が表示されたフレームの画像が、
番組の内容を特徴付ける代表画面とされる。そこで、各
フレーム毎に、タイトル文字検出処理が施され、その検
出結果が値Ｕ１とされる。また、画面上に人の顔（肌色
の画像）が表示されたフレームの画像も、番組の内容を
特徴付ける代表画面とされる。そこで、各フレーム毎
に、顔検出処理が施され、その検出結果が値Ｕ２とされ
る。さらにまた、対応する音声信号のレベルが高いフレ
ームの画像が、番組の内容を特徴付ける代表画面とされ
る。そこで、各フレーム毎に、音声検出処理が施され、
その検出結果が値Ｕ３とされる。そして、それらの検出
結果の値Ｕ１，Ｕ２，Ｕ３から、評価値Ｕｄ＝Σ（Ｕｉ
・Ｗｉ）（ｉ＝１，２，３）が算出される。なお、Ｗｉ
は、Ｕｉの重要度を示す重み付け係数である。

【００５７】次に、ハードディスクドライブ１８に記録
された画像データの代表画面を表示させる動作について
説明する。

【００５８】システムコントローラ３１は、入力部３７
を介してユーザから所定の指令が入力されたとき、ハー
ドディスクドライブ１８に記録されている、そのタイト
ル（番組）に関する全てのインデックス番号と評価値の
セットを、バッファコントローラ１７、およびホストバ
ス３２を介して読み出す。そして、システムコントロー
ラ３１は、そのタイトルの全体の再生（表示）時間を所
定の表示枚数で分割し、分割した各表示時間の中から、
評価値の一番高いインデックス番号を検索し、そのフレ
ームのあるGOP（Group of Pictures）を含むトランスポ
ートストリームをハードディスクドライブ１８から読み
出す。

【００５９】ハードディスクドライブ１８から読み出さ
れたトランスポートストリームは、バッファコントロー
ラ１７を介してマルチプレクサ／デマルチプレクサ１４
に供給され、そこで、デマルチプレクス処理され、トラ
ンスポートストリームからPESが抽出され、MPEG AVデコ
ーダ１９に供給される。MPEG AVデコーダ１９は、マル
チプレクサ／デマルチプレクサ１４より供給されたPES
を、GOPの先頭からデコード処理し、ベースバンド方式
の画像データを生成し、それをポスト映像信号処理回路
２０に供給する。

【００６０】ポスト映像信号処理回路２０は、MPEG AV
デコーダ１９より供給された画像データの代表画面を生
成し、その代表画面の大きさを縮小して（サムネイル画
像を生成して）１つのウィンドウに貼り付ける。このよ
うな処理が、各分割表示時間毎に行われ、１つのウィン
ドウに複数の代表画面のサムネイル画像が貼りつけられ
（マルチ画面が生成され）、オンスクリーンディスプレ
イ回路２１に出力される。オンスクリーンディスプレイ
回路２１は、ポスト映像信号処理回路２０より供給され
たマルチ画面に重畳表示するためのテキスト等の画像デ
ータを生成し、マルチ画面の画像データに重畳し、NTSC
エンコーダ２２に出力する。NTSCエンコーダ２２は、供
給された画像データをＹ信号とＣ信号に変換した後、D/
A変換し、Ｓ映像信号とアナログのコンポジット映像信
号を生成し、外部ビデオ出力端子２３−１，２３−２を
介してそれぞれ外部装置に供給し、そこに接続されてい
るモニタに代表画面の一覧（図４）を出力、表示させ
る。

【００６１】次に、上述した処理により生成された代表
画面（マルチ画面）の表示方法について、図３および図
４を参照して説明する。図３は、システムコントローラ
３１が、画像データのフレーム毎に算出した評価値の中
から、所定の時間毎に一番高い評価値をインデックスと
して生成する処理を説明する図である。図３の例におい
ては、２０時０７分００秒乃至２０時０７分５９秒（以
下、簡単のため、20:07:00または20:07:59と記載する）
の１分間に注目して説明する。

【００６２】NTSC方式では、１秒間に３０フレームの画
像データが記録される。従って、システムコントローラ
３１は、NTSC方式において、１秒間に３０フレーム分の
評価値、すなわち、１分間で１８００フレーム分の評価
値を算出し、評価値が算出された１分間のうち、一番高
い評価値（代表画面評価値）のフレームをインデックス
（フレーム）として記憶する。図３の例では、20:07:00
乃至20:7:59の１分間において、６０回のフレーム番号
（Frame No）０乃至２９の３０フレームのうち、一番評
価値の高い20:07:15のフレーム番号１３のフレームがイ
ンデックスとして記憶される。

【００６３】同様に、20:00:00乃至20:00:59、20:01:00
乃至20:01:59、20:02:00乃至20:02:59・・・の各１分間
において、一番高い評価値（代表画面評価値）のフレー
ムがインデックスとしてそれぞれ記憶される。その番組
（タイトル）の先頭から最後までの各１分間毎の期間に
は、１，２，３・・・と、順番にインデックス番号が付
加される。

【００６４】図４は、システムコントローラ３１が、図
３に示されたようにして算出された代表画面評価値のう
ち、タイトルの内容となる画像データの代表画面を生成
し、マルチ画面を表示させる例を説明する図である。図
４の例においては、20:00乃至21:00の時間に録画された
タイトルの全体の表示時間（いまの場合、６０分）が１
０分毎に６分割され、各１０分間毎において、代表画面
評価値の高かった２つのインデックスがそれぞれ抽出さ
れ、１２枚の代表画面（サムネイル画像）が生成され、
マルチ画面（マルチウィンドウ）上に貼り付けられる。

【００６５】図４のマルチウィンドウ６１には、録画さ
れるタイトル（番組名）、チャンネルおよび録画モード
に加えて、録画開始日、録画開始時刻および録画終了時
刻などのテキスト画像がオンスクリーンディスプレイ回
路２１により生成され、表示されている。図４の例で
は、タイトルが０２、録画開始日が２月２６日、録画開
始時刻が20:00、録画終了時刻が21:00、チャンネルがCH
８、録画モードがSP（Standard Playing）からなる情報
が表示されている。

【００６６】マルチウィンドウ６１のサムネイル画像Ａ
１，Ａ８は、20:00:00乃至20:09:59の（インデックス番
号１乃至１０の）１０分間において、代表画面評価値の
高かった代表画面であり（図３の例の場合、インデック
ス番号１，８）、サムネイル画像Ａ１４，Ａ１６は、2
0:10:00乃至20:19:59の（インデックス番号１１乃至２
０の）１０分間において、代表画面評価値の高かった代
表画面であり（図３の例の場合、インデックス番号１
４，１６）、サムネイル画像Ａ２３，Ａ２７は、20:20:
00乃至20:29:59の（インデックス番号２１乃至３０の）
１０分間において、代表画面評価値の高かった代表画面
であり（図３の例の場合、インデックス番号２３，２
７）、サムネイル画像Ａ３１，Ａ３５は、20:30:00乃至
20:39:59の（インデックス番号３１乃至４０の）１０分
間において、代表画面評価値の高かった代表画面であり
（図３の例の場合、インデックス番号３１，３５）、サ
ムネイル画像Ａ４３，Ａ４６は、20:40:00乃至20:49:59
の（インデックス番号４１乃至５０の）１０分間におい
て、代表画面評価値の高かった代表画面であり（図３の
例の場合、インデックス番号４３，４６）、サムネイル
画像Ａ５１，Ａ５３は、20:50:00乃至20:59:59の（イン
デックス番号５１乃至６０の）１０分間において、代表
画面評価値の高かった代表画面である（図３には図示せ
ず）。

【００６７】なお、説明をわかりやすくするため、符号
Ａｉ（ｉ＝１，２，３・・・）は、抽出されたインデッ
クス番号（代表画面になったフレームが記録されている
１分間の期間の番号）に対応している。

【００６８】このように、システムコントローラ３１
は、全体の表示時間を分割し（いまの場合、６０分を６
分割し）、各分割時間毎（１０分毎）に、代表画面評価
値の高かった画像データの代表画面を検索し、一覧表示
するので、時間的に偏ったフレームが一覧表示されるの
を防止することができる。また、システムコントローラ
３１は、その代表画面の一覧のうち、代表画面評価値の
一番高い代表画面をさらに選択することにより、複数の
タイトルの代表画面を一覧表示させることができる。こ
れにより、ユーザは、複数のタイトルの内容を短時間に
把握することができる。

【００６９】例えば、図４の例において、１２枚の代表
画面のうち、サムネイル画像Ａ１の代表画面評価値が一
番高かったとすると、複数のタイトルの一覧表示の場合
には、タイトル０２の代表画面として、インデックス番
号１の代表画面（サムネイル画像Ａ１）が表示される。

【００７０】次に、タイトル（番組）を分割した場合に
おける代表画面の表示方法について図５および図６を参
照して説明する。図５は、ユーザにより、図４に示され
たタイトル（20:00乃至21:00のCH８の番組）が、20:00
乃至20:30と、20:30乃至21:00の２つに分割され、その
うちの、20:00乃至20:30の時間の代表画面が生成され、
マルチ画面を表示させる例を説明する図である。

【００７１】図５の例においては、20:00乃至20:30の全
体の表示時間（いまの場合、３０分）が６分割され、各
５分間毎に、代表画面評価値の高かった２つのインデッ
クスがそれぞれ抽出され、１２枚の代表画面が生成、表
示される。

【００７２】図５のマルチウィンドウ６１のサムネイル
画像Ａ１，Ａ３は、20:00:00乃至20:04:59の（インデッ
クス番号１乃至５の）５分間において、代表画面評価値
の高かった代表画面であり（図６の例の場合、インデッ
クス番号１，３）、サムネイル画像Ａ８，Ａ９は、20:0
5:00乃至20:09:59の（インデックス番号６乃至１０の）
５分間において、代表画面評価値の高かった代表画面で
あり（図６の例の場合、インデックス番号８，９）、サ
ムネイル画像Ａ１２，Ａ１４は、20:10:00乃至20:14:59
の（インデックス番号１１乃至１５の）５分間におい
て、代表画面評価値の高かった代表画面であり(図６の
例の場合、インデックス番号１２，１４)、サムネイル
画像Ａ１６，Ａ１９は、20:15:00乃至20:19:59の（イン
デックス番号１６乃至２０の）５分間において、代表画
面評価値の高かった代表画面であり（図６の例の場合、
インデックス番号１６，１９）、サムネイル画像Ａ２
３，Ａ２５は、20:20:00乃至20:24:59の（インデックス
番号２１乃至２５の）５分間において、代表画面評価値
の高かった代表画面であり（図６の例の場合、インデッ
クス番号２３，２５）、サムネイル画像Ａ２７，Ａ２８
は、20:25:00乃至20:29:59の（インデックス番号２６乃
至３０の）５分間において、代表画面評価値の高かった
代表画面である（図６の例の場合、インデックス番号２
７，２８）。

【００７３】同様に、システムコントローラ３１は、2
0:30乃至21:00の時間の代表画面を生成し、マルチ画面
を表示させることが可能であるが、その説明は省略す
る。

【００７４】このように、タイトルを分割しても、単位
時間毎に評価値が算出、記憶されているため、システム
コントローラ３１は、分割されたタイトルの全体の表示
時間において、所定の時間毎に代表画面評価値の高かっ
たインデックスをそれぞれ抽出し、新たに１２枚の代表
画面を生成、表示することができる。また、システムコ
ントローラ３１は、代表画面の一覧（マルチ画面）のう
ち、代表画面評価値の一番高い代表画面をさらに選択す
ることにより、複数のタイトルの代表画面を一覧表示さ
せる場合、分割されたタイトルであっても、最適な代表
画面を表示させることができる。

【００７５】次に、代表画面の階層的な表示方法につい
て、図７乃至図１０を参照して説明する。図７は、シス
テムコントローラ３１が、20:00乃至23:00の時間に録画
されたタイトルの代表画面を生成、表示する例を説明す
る図である。

【００７６】図７の例においては、20:00乃至23:00の全
体の表示時間（いまの場合、１８０分）が６分割され、
各３０分間毎に、代表画面評価値の高かった２つのイン
デックスがそれぞれ抽出され、１２枚の代表画面が生
成、表示される。

【００７７】図７のマルチウィンドウ６１のサムネイル
画像Ａ１，Ａ１６は、20:00:00乃至20:29:59の３０分間
において、代表画面評価値の高かった代表画面であり、
サムネイル画像Ａ３１，Ａ４６は、20:30:00乃至20:59:
59の３０分間において、代表画面評価値の高かった代表
画面であり、サムネイル画像Ａ６２，Ａ８８は、21:00:
00乃至21:29:59の３０分間において、代表画面評価値の
高かった代表画面であり、サムネイル画像Ａ１０５，Ａ
１１０は、21:30:00乃至21:59:59の３０分間において、
代表画面評価値の高かった代表画面であり、サムネイル
画像Ａ１３５，Ａ１４９は、22:00:00乃至22:29:59の３
０分間において、代表画面評価値の高かった代表画面で
あり、サムネイル画像Ａ１５８，Ａ１７２は、22:30:00
乃至22:59:59の３０分間において、代表画面評価値の高
かった代表画面である。

【００７８】図７に示されたマルチウィンドウ６１にお
いて、ユーザにより、例えば、図８に示すようなリモー
トコマンダ８０を用いて、カーソルを上下左右に移動さ
せるボタン８２乃至８５が操作され、カーソル７１を所
定の位置に合わせ（例えば、左上のサムネイル画像Ａ１
に合わせ）、シフトボタン８６を押しながらボタン８５
を操作することで、任意の数のサムネイル画像（いまの
場合、サムネイル画像Ａ１，Ａ１６，Ａ３１，Ａ４６）
を指定した後、実行ボタン８７が押されると、赤外線発
生部８１から対応する赤外線信号が出力され、システム
コントローラ３１は、ユーザからの指令により、指定さ
れた時間（いまの場合、20:00:00乃至21:00:00）に録画
されたタイトルの代表画面を新たに生成、表示する。こ
れにより、例えば、図９に示すようなマルチウィンドウ
６１が表示される。

【００７９】図９の例においては、20:00:00乃至21:00:
00の全体の表示時間（いまの場合、６０分）が６分割さ
れ、各１０分間毎に、代表画面評価値の高かった２つの
インデックスがそれぞれ抽出され、１２枚の代表画面が
生成、表示される。

【００８０】図９のマルチウィンドウ６１のサムネイル
画像Ａ１，Ａ８は、20:00:00乃至20:09:59の１０分間に
おいて、代表画面評価値の高かった代表画面であり、サ
ムネイル画像Ａ１４，Ａ１６は、20:10:00乃至20:19:59
の１０分間において、代表画面評価値の高かった代表画
面であり、サムネイル画像Ａ２３，Ａ２７は、20:20:00
乃至20:29:59の１０分間において、代表画面評価値の高
かった代表画面であり、サムネイル画像Ａ３１，Ａ３５
は、20:30:00乃至20:39:59の１０分間において、代表画
面評価値の高かった代表画面であり、サムネイル画像Ａ
４３，Ａ４６は、20:40:00乃至20:49:59の１０分間にお
いて、代表画面評価値の高かった代表画面であり、サム
ネイル画像Ａ５１，Ａ５３は、20:50:00乃至20:59:59の
１０分間において、代表画面評価値の高かった代表画面
である。

【００８１】さらに、図９に示されたマルチウィンドウ
６１において、ユーザにより、例えば、図８に示すよう
なリモートコマンダ８０を用いて、ボタン８２乃至８６
が操作され、カーソル７１を所定の位置（いまの場合、
サムネイル画像１４，１６を含むブロック）に合わせ、
実行ボタン８７が押されると、システムコントローラ３
１は、ユーザからの指令により、指定された時間（いま
の場合、20:10:00乃至20:20:00）に録画されたタイトル
の代表画面を新たに生成、表示する。これにより、例え
ば、図１０に示すようなマルチウィンドウ６１が表示さ
れる。

【００８２】図１０の例においては、20:10:00乃至20:2
0:00の全体の表示時間（いまの場合、１０分）が５分割
され、各２分間毎に、代表画面評価値の高かった２つの
インデックスがそれぞれ抽出され、１０枚の代表画面が
生成、表示される。

【００８３】図１０のマルチウィンドウ６１のサムネイ
ル画像Ａ１１，Ａ１２は、20:10:00乃至20:11:59の２分
間において、代表画面評価値の高かった代表画面であ
り、サムネイル画像Ａ１３，Ａ１４は、20:12:00乃至2
0:13:59の２分間において、代表画面評価値の高かった
代表画面であり、サムネイル画像Ａ１５，Ａ１６は、2
0:14:00乃至20:15:59の２分間において、代表画面評価
値の高かった代表画面であり、サムネイル画像Ａ１７，
Ａ１８は、20:16:00乃至20:17:59の２分間において、代
表画面評価値の高かった代表画面であり、サムネイル画
像Ａ１９，Ａ２０は、20:18:00乃至20:19:59の２分間に
おいて、代表画面評価値の高かった代表画面である。

【００８４】なお、図１０に示されたマルチウィンドウ
６１において、ユーザにより、戻るボタン８８（図８）
が押されると、図９のマルチウィンドウ６１に戻ること
ができ、さらに、図９に示されたマルチウィンドウ６１
において、ユーザにより、戻るボタン８８が押される
と、図７のマルチウィンドウ６１に戻ることができる。

【００８５】このように、システムコントローラ３１
は、ユーザにより指定された時間の中で、新たに代表画
面を生成、表示することができる。これにより、ユーザ
は、所望する時間のタイトルの内容を容易に把握するこ
とができる。

【００８６】次に、インデックスを少なくとも１つ記録
している最小時間単位以下（すなわち、１分以下）の代
表画面の表示方法について、図１１乃至図１４を参照し
て説明する。図１１は、システムコントローラ３１が、
20:10:00乃至20:20:00の時間に録画されたタイトルの代
表画面を生成、表示する例を説明する図である。図１１
の例においては、図１０に示されたマルチウィンドウ６
１と同じであるため、その説明は省略する。

【００８７】図１１に示されたマルチウィンドウ６１に
おいて、ユーザにより、図８に示すようなリモートコマ
ンダ８０を用いて、ボタン８２乃至８６が操作され、カ
ーソル７１を所定の位置（いまの場合、サムネイル画像
Ａ１３）に合わせ、実行ボタン８７が押されると、シス
テムコントローラ３１は、ユーザからの指令により、指
定された時間（いまの場合、20:13:00乃至20:14:00）に
録画されたタイトルの代表画面を新たに生成、表示す
る。これにより、例えば、図１２に示すようなマルチウ
ィンドウ６１が表示される。

【００８８】図１２の例においては、20:13:00乃至20:1
4:00の全体の表示時間（いまの場合、１分）が等分割
（例えば、１２分割）され、各５秒間毎（１５０フレー
ム毎）に、その先頭フレームがそれぞれ抽出され、１２
枚の代表画面が生成、表示される。

【００８９】図１２のマルチウィンドウ６１のサムネイ
ル画像Ｂ１は、20:13:00:00乃至20:13:04:00の５秒間に
おける先頭フレームの代表画面であり、サムネイル画像
Ｂ２は、20:13:05:00乃至20:13:09:00の５秒間における
先頭フレームの代表画面である。同様に、サムネイル画
像Ｂ３乃至Ｂ１２は、20:13:10:00乃至20:13:59:00の各
５秒間における、それぞれ先頭フレームの代表画面であ
る。なお、図１２における、時、分、秒の次に表示され
ている数字は、フレーム数を示している。

【００９０】図１２に示されたマルチウィンドウ６１に
おいて、ユーザにより、例えば、図８に示すようなリモ
ートコマンダ８０を用いて、ボタン８２乃至８６が操作
され、カーソルを所定の位置（いまの場合、サムネイル
画像Ｂ７）に合わせ、実行ボタン８７が押されると、シ
ステムコントローラ３１は、ユーザからの指令により、
指定された時間（いまの場合、20:13:30:00乃至20:13:3
5:00）に録画されたタイトルの代表画面を新たに生成、
表示する。これにより、例えば、図１３に示すようなマ
ルチウィンドウ６１が表示される。

【００９１】図１３の例においては、20:13:30:00乃至2
0:13:35:00の全体の表示時間（いまの場合、５秒）が等
分割（例えば、１０分割）され、各０．５秒間毎（１５
フレーム毎）に、その先頭フレームがそれぞれ抽出さ
れ、１０枚の代表画面が生成、表示される。

【００９２】図１３のマルチウィンドウ６１のサムネイ
ル画像Ｃ１は、20:13:30:00乃至20:13:30:14の１５フレ
ームにおける先頭フレームの代表画面であり、サムネイ
ル画像Ｃ２は、20:13:30:15乃至20:13:30:29の１５フレ
ームにおける先頭フレームの代表画面である。同様に、
サムネイル画像Ｃ３乃至Ｃ１０は、20:13:31:00乃至20:
13:34:29の１５フレーム毎における、それぞれ先頭フレ
ームの代表画面である。

【００９３】図１３に示されたマルチウィンドウ６１に
おいて、ユーザにより、例えば、図８に示すようなリモ
ートコマンダ８０を用いて、ボタン８２乃至８６が操作
され、カーソルを所定の位置（いまの場合、サムネイル
画像Ｃ５）に合わせ、実行ボタン８７が押されると、シ
ステムコントローラ３１は、ユーザからの指令により、
その時間（いまの場合、20:13:32:00乃至20:13:32:14）
に録画されたタイトルの代表画面を新たに生成、表示す
る。これにより、例えば、図１４に示すようなマルチウ
ィンドウ６１が表示される。

【００９４】図１４の例においては、20:13:32:00乃至2
0:13:32:14の全体の表示時間（いまの場合、１５フレー
ム）において、先頭から順番に、１２個の各フレームの
代表画面が生成、表示される。

【００９５】図１４のマルチウィンドウ６１のサムネイ
ル画像Ｄ１は、20:13:32:00のフレーム（20:13:32の第
０番目のフレーム）の代表画面であり、サムネイル画像
Ｄ２は、20:13:32:01のフレーム（20:13:32の第１番目
のフレーム）の代表画面である。同様に、サムネイル画
像Ｄ３乃至Ｄ１２は、20:13:32:02乃至20:13:32:11の各
フレーム（20:13:32の第２乃至第１１番目のフレーム）
の代表画面である。

【００９６】なお、図１４に示されている状態におい
て、ユーザにより、例えば、図８に示すようなリモート
コマンダ８０を用いて、ボタン８５が操作されると、サ
ムネイル画像Ｄ１２より後の、20:13:32:12乃至20:13:3
2:14のフレーム（20:13:32の第１２乃至第１４番目のフ
レーム）の代表画面が生成、表示されるが、その説明は
省略する。

【００９７】このように、フレーム毎に評価値を求めて
おくことにより、全体の表示時間が最小時間単位以下の
場合にも、全体の表示時間を等分割し、等分割された時
間毎に、その先頭のインデックスを抽出し、代表画面を
生成することができる。

【００９８】また、複数のタイトルを統合した場合、全
体の表示時間を所定の数で分割し、その中から代表画面
を選定するのではなく、タイトル毎に分割し、その中か
ら代表画面を選定するようにしてもよい。この場合、統
合されたタイトルのつなぎ目の情報も記録媒体に記録さ
せる必要がある。なお、ランダムアクセスが可能な記録
媒体の場合、タイトルの統合が仮想編集として行われ、
そのつながりの情報が、編集時に記録媒体に記録される
ため、新たにつなぎ目を記録させる必要はない。この方
法は、例えば、ビデオカメラで記録された複数の短時間
の映像（画像）を統合させて、１つのタイトルとして保
存する場合などに有効である。

【００９９】次に、図１５のフローチャートを参照し
て、システムコントローラ３１がハードディスクドライ
ブ１８を制御して実行する代表画面表示処理について説
明する。

【０１００】ステップＳ１において、システムコントロ
ーラ３１は、ユーザより、タイトルの代表画面の表示が
指示されたのか否かを判定し、未だ、タイトルの代表画
面の表示が指示されていないと判定した場合、ステップ
Ｓ１において、ユーザによりタイトルの代表画面の表示
が指示されたと判定されるまで待機する。

【０１０１】そして、ステップＳ１において、タイトル
の代表画面の表示が指示されたと判定された場合、ステ
ップＳ２に進み、システムコントローラ３１は、ユーザ
からの指令に基づいて、ホストバス３２、バッファコン
トローラ１７を介してハードディスクドライブ１８にア
クセスし、そこに記録されている、ユーザにより指定さ
れたタイトルの画像データを読み出す。

【０１０２】ステップＳ３において、システムコントロ
ーラ３１は、ステップＳ２の処理で読み出されたタイト
ルの全体の表示時間がインデックスの最小時間単位以
上、すなわち、この例の場合、全体の表示時間が１分以
上あるのか否かを判定し、読み出されたタイトルの全体
の表示時間が最小時間単位以上あると判定した場合、ス
テップＳ４に進み、システムコントローラ３１は、読み
出されたタイトルの全体の表示時間を６分割する。図４
の例では、全体の表示時間が６０分であるため、タイト
ルは、１０分毎に分割される。

【０１０３】ステップＳ５において、システムコントロ
ーラ３１は、ステップＳ４の処理で６分割された時間毎
（いまの場合、１０分毎）に、それぞれ代表画面評価値
の高かった２つのインデックス番号を抽出する。

【０１０４】図４の例では、20:00:00乃至20:09:59の１
０分間において、代表画面評価値の高かったインデック
ス番号１，８が抽出され、20:10:00乃至20:19:59の１０
分間において、代表画面評価値の高かったインデックス
番号１４，１６が抽出され、20:20:00乃至20:29:59の１
０分間において、代表画面評価値の高かったインデック
ス番号２３，２７が抽出され、20:30:00乃至20:39:59の
１０分間において、代表画面評価値の高かったインデッ
クス番号３１，３５が抽出され、20:40:00乃至20:49:59
の１０分間において、代表画面評価値の高かったインデ
ックス番号４３，４６が抽出され、20:50:00乃至20:59:
59の１０分間において、代表画面評価値の高かったイン
デックス番号５１，５３が抽出される。

【０１０５】また、ステップＳ３において、ステップＳ
２の処理で読み出されたタイトルの全体の表示時間が最
小時間単位以上ではない、すなわち、タイトルの全体の
表示時間が１分より短いと判定された場合、ステップＳ
６に進み、システムコントローラ３１は、ステップＳ２
の処理で読み出されたタイトルの全体の表示時間を等分
割する。図１３の例では、全体の表示時間が５秒である
ため、タイトルは、１５フレーム（０．５秒）毎に等分
割される。

【０１０６】ステップＳ７において、システムコントロ
ーラ３１は、ステップＳ６の処理で等分割された時間毎
に、それぞれ先頭フレームを抽出する。

【０１０７】図１３の例では、20:13:30:00の時刻のフ
レーム、20:13:30:15の時刻のフレーム、20:13:31:00の
時刻のフレーム、20:13:31:15の時刻のフレーム、20:1
3:32:00の時刻のフレーム、20:13:32:15の時刻のフレー
ム、20:13:33:00の時刻のフレーム、20:13:33:15の時刻
のフレーム、20:13:34:00の時刻のフレーム、20:13:34:
15の時刻のフレームが抽出される。

【０１０８】ステップＳ８において、システムコントロ
ーラ３１は、ステップＳ５の処理を経て進んできた場
合、ステップＳ５で抽出されたインデックス番号に対応
するフレームをマルチプレクス／デマルチプレクス１４
でデマルチプレクス処理させ、MPEG AVデコーダ１９に
供給させる。そして、MPEG AVデコーダ１９は、供給さ
れたデータを、MPEG方式でデコード処理し、画像データ
をポスト映像信号処理回路２０に供給する。ポスト映像
信号処理回路２０は、供給された画像データの代表画面
を生成し、複数の代表画面を縮小して１つのウィンドウ
に貼りつける。

【０１０９】また、ステップＳ８において、システムコ
ントローラ３１は、ステップＳ７の処理を経て進んでき
た場合、ステップＳ７で抽出されたフレームをマルチプ
レクス／デマルチプレクス１４でデマルチプレクス処理
させた後、MPEG AVデコーダ１９でMPEG方式でデコード
処理させ、画像データをポスト映像信号処理回路２０に
供給させる。そして、ポスト映像信号処理回路２０は、
供給された画像データの代表画面を生成し、複数の代表
画面を縮小して１つのウィンドウに貼りつける。

【０１１０】図４の例では、サムネイル画像Ａ１，Ａ
８，Ａ１４，Ａ１６，Ａ２３，Ａ２７，Ａ３１，Ａ３
５，Ａ４３，Ａ４６，Ａ５１、およびＡ５３が生成さ
れ、図１３の例では、サムネイル画像Ｃ１乃至Ｃ１０が
生成される。

【０１１１】ステップＳ９において、システムコントロ
ーラ３１は、オンスクリーンディスプレイ回路２１を制
御し、ステップＳ８の処理で生成された代表画面（マル
チ画面）に重畳表示するテキスト等の画像データを生成
させ、マルチ画面の画像データに重畳させ、NTSCエンコ
ーダ２２に出力させる。NTSCエンコーダ２２は、供給さ
れた画像データに対して所定の処理を施し、外部ビデオ
出力端子２３−１，２３−２を介してそれぞれ外部装置
に供給し、そこに接続されているモニタに代表画面を出
力、表示させる。これにより、例えば、図４または図１
３に示すようなマルチウィンドウ６１が表示される。

【０１１２】以上においては、全体の表示時間を６分割
し、分割された時間の中から代表画面評価値の高かった
インデックスに対応する画像データの代表画面を生成す
るようにしたが、分割する数および表示枚数は、ユーザ
が任意に設定してもよい。

【０１１３】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、記録媒体からイ
ンストールされる。

【０１１４】この記録媒体は、図１に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク４１（フロッピディスクを含む）、光ディスク４２
（CD-ROM(Compact Disk-Read Only Memory),DVD(Digita
l Versatile Disk)を含む）、光磁気ディスク４３（MD
（Mini-Disk）を含む）、もしくは半導体メモリ４４な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROM３３や、
ハードディスクドライブ１８に含まれるハードディスク
などで構成される。

【０１１５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０１１６】

【発明の効果】以上のように、本発明の画像記録再生装
置、画像記録再生方法、および記録媒体に記録されてい
るプログラムによれば、入力された画像信号の代表画面
評価値を第１の時間毎に算出し、算出された代表画面評
価値を、画像信号とともに記憶媒体に記憶し、記憶され
た代表画面評価値の最大値に対応する画像信号を、第２
の時間毎に抽出し、抽出された画像信号を縮小して代表
画面を生成し、少なくとも１以上の代表画面を貼付した
代表画面一覧を表示するようにしたので、タイトルを分
割または統合した場合にも、最適な代表画面を表示する
ことができる。

【図面の簡単な説明】

【図１】本発明を適用したハードディスクレコーダの構
成例を示すブロック図である。

【図２】図１のハードディスクレコーダのビデオ系の詳
細な構成例を示すブロック図である。

【図３】一番高い評価値をインデックスとして生成する
処理を説明する図である。

【図４】マルチ画面の表示例を説明する図である。

【図５】他のマルチ画面の表示例を説明する図である。

【図６】一番高い評価値をインデックスとして生成する
処理を説明する図である。

【図７】マルチ画面の表示例を説明する図である。

【図８】リモートコマンダを説明する図である。

【図９】マルチ画面の表示例を説明する図である。

【図１０】他のマルチ画面の表示例を説明する図であ
る。

【図１１】他のマルチ画面の表示例を説明する図であ
る。

【図１２】他のマルチ画面の表示例を説明する図であ
る。

【図１３】他のマルチ画面の表示例を説明する図であ
る。

【図１４】他のマルチ画面の表示例を説明する図であ
る。

【図１５】代表画面表示処理を説明するフローチャート
である。

【符号の説明】

１２プリ映像信号処理回路，１３ MPEGビデオエン
コーダ，１４マルチプレクサ／デマルチプレクサ，
１７バッファコントローラ，１８ハードディス
クドライブ，１９ MPEG AVデコーダ，２０ポス
ト映像信号処理回路，２１オンスクリーンディスプ
レイ回路，３１システムコントローラ，３２ホ
ストバス，３３ ROM，３４ RAM，３５入出力
インタフェース，３６ドライブ，３７入力部，
４１磁気ディスク，４２光ディスク，４３光
磁気ディスク，４４半導体メモリ，６１マルチ
ウィンドウ，７１カーソル，８０リモートコマ
ンダ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/765 Ｈ０４Ｎ 5/781 ５１０Ｇ 5/781 ５１０Ｌ 5/85 5/91 Ｎ 5/91 Ｇ１１Ｂ 27/02 Ｋ (72)発明者水藤太郎東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者冨田真巳東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者宮田勝成東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C025 AA25 BA14 BA25 BA27 BA28 CA03 CB03 CB08 5C052 AA01 AB03 AB04 AC08 CC04 CC06 CC11 DD04 5C053 FA07 FA23 GB10 GB37 HA29 JA16 JA22 KA07 KA24 LA04 LA11 5D077 AA22 BA12 BA15 HA07 HC05 HC17 HD02 5D110 AA13 AA29 BB20 BC15 CA05 CA07 CA43 CA44 CA45 CB06 CB07 CC06 CF36 DA19 DA20 DB02 DC02 EA08 EA17

Claims

【特許請求の範囲】

【請求項１】入力された画像信号の評価値をフレーム
毎に求め、前記評価値の最大値を代表画面評価値とし
て、第１の時間毎に算出する算出手段と、前記算出手段により算出された前記代表画面評価値を、
前記画像信号とともに記憶媒体に記憶させる記憶手段
と、前記記憶手段により記憶された前記代表画面評価値の最
大値に対応する前記画像信号を、第２の時間毎に抽出す
る抽出手段と、前記抽出手段により抽出された前記画像信号を縮小して
代表画面を生成する生成手段と、前記生成手段により生成された少なくとも１以上の前記
代表画面を貼付した代表画面一覧の表示を制御する表示
制御手段とを備えることを特徴とする画像記録再生装
置。
【請求項２】前記算出手段が算出した前記代表画面評
価値に基づいて、前記画像信号に対応したインデックス
を作成する作成手段をさらに備えることを特徴とする請
求項１に記載の画像記録再生装置。
【請求項３】前記抽出手段は、前記画像信号の全体の
表示時間を、所定の数に分割し、その分割された時間毎
に少なくとも１以上の前記インデックスを選択し、前記
インデックスの付いた前記画像信号を抽出することを特
徴とする請求項２に記載の画像記録再生装置。
【請求項４】前記画像信号が複数に分割された場合、
前記抽出手段は、その分割された前記画像信号の全体の
表示時間を、所定の数に分割し、その分割された時間毎
に少なくとも１以上の前記インデックスを選択し、前記
インデックスの付いた前記画像信号を抽出することを特
徴とする請求項２に記載の画像記録再生装置。
【請求項５】複数の前記画像信号が統合された場合、
前記抽出手段は、その統合された複数の前記画像信号の
全体の表示時間を、所定の数またはタイトル毎に分割
し、その分割された時間毎に少なくとも１以上の前記イ
ンデックスを選択し、前記インデックスの付いた前記画
像信号を抽出することを特徴とする請求項２に記載の画
像記録再生装置。
【請求項６】前記抽出手段は、前記画像信号の全体の
表示時間のうち、所定の時間が指定された場合、指定さ
れた時間を、所定の数に分割し、その分割された時間毎
に少なくとも１以上の前記インデックスを選択し、前記
インデックスの付いた前記画像信号を抽出することを特
徴とする請求項２に記載の画像記録再生装置。
【請求項７】前記画像信号の全体の表示時間が前記イ
ンデックスの最小時間単位以下である場合、前記抽出手
段は、前記画像信号の全体の表示時間を、等分割し、そ
の分割された時間毎に少なくとも１以上の前記インデッ
クスを選択し、前記インデックスの付いた前記画像信号
を抽出することを特徴とする請求項２に記載の画像記録
再生装置。
【請求項８】前記記憶媒体は、ハードディスクである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】入力された画像信号の評価値をフレーム
毎に求め、前記評価値の最大値を代表画面評価値とし
て、第１の時間毎に算出する算出ステップと、前記算出ステップの処理で算出された前記代表画面評価
値を、前記画像信号とともに記憶させるように記憶媒体
の記憶を制御する記憶制御ステップと、前記記憶制御ステップの処理で記憶が制御された前記代
表画面評価値の最大値に対応する前記画像信号を、第２
の時間毎に抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記画像信号を縮
小して代表画面を生成する生成ステップと、前記生成ステップの処理で生成された少なくとも１以上
の前記代表画面を貼付した代表画面一覧の表示を制御す
る表示制御ステップとを含むことを特徴とする画像記録
再生方法。
【請求項１０】入力された画像信号の評価値をフレー
ム毎に求め、前記評価値の最大値を代表画面評価値とし
て、第１の時間毎に算出する算出ステップと、前記算出ステップの処理で算出された前記代表画面評価
値を、前記画像信号とともに記憶させるように記憶媒体
の記憶を制御する記憶制御ステップと、前記記憶制御ステップの処理で記憶が制御された前記代
表画面評価値の最大値に対応する前記画像信号を、第２
の時間毎に抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記画像信号を縮
小して代表画面を生成する生成ステップと、前記生成ステップの処理で生成された少なくとも１以上
の前記代表画面を貼付した代表画面一覧の表示を制御す
る表示制御ステップとを含むことを特徴とするコンピュ
ータが読み取り可能なプログラムが記録されている記録
媒体。