JP2005033714A - 情報信号再生装置および情報信号再生方法並びに情報信号処理装置及び情報信号処理方法 - Google Patents

Abstract

【課題】記録再生装置においてダイジェスト再生を行う場合に、どこのダイジェスト再生区間が再生されているのかを視覚的に容易に把握できるようにして、ユーザーは効果的な再生動作を行うことができる情報信号再生装置及び情報信号処理装置を提供する。
【解決手段】情報信号再生装置は、所定区間の画像または音声データ系列から特徴データを抽出する特徴抽出手段と、画像、音声データを所定の規則によって要約再生するように、特徴抽出手段からの出力信号に応じて、要約再生する区間を決める要約再生区間処理手段と、要約再生区間処理手段からの信号に応じて、各々の要約再生する区間における所定の代表画像を生成する代表画像生成手段と、要約再生区間処理手段からの信号に応じて要約再生する区間を所定の順序で順次再生制御する再生制御手段と、再生制御手段による再生状態および再生されている要約再生する区間の区間長とその再生時点に応じて代表画生成手段による代表画の表示状態またはその代表画に付随する外枠の表示状態を制御する表示状態制御手段と、を備えたことである。
【選択図】図１

Description

本発明は放送番組における映像信号、音声信号などの情報信号を光磁気ディスク、ハードディスク（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、半導体メモリーなどの記録媒体に放送番組などの画像音声情報を記録再生する記録再生装置における要約再生（ダイジェスト再生）システムに関するものである。

従来のＶＴＲやディスク記録再生装置においては、長時間記録した記録内容を短時間で再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ１．５〜２倍速程度で再生処理が行われている。

更に、短時間で再生しその要約再生（ダイジェスト再生）を行おうとすると、高速度の音声出力では内容が理解できにくいため、無音とし画像出力のみの再生処理を行うことが一般的であった。

そこで、記録する画像音声データから所定の特徴データを抽出して、所定の規則に従って所定の特徴的な区間だけを選択して再生することで、ダイジェスト再生を行うことが考えられている。

その際に、どのようにダイジェスト再生されるのかを、視覚的に容易に分かるように各々のダイジェスト再生区間の先頭画像が代表画面となるようにサムネール処理を行いマルチ画面表示させることが考えられる。

そして所望のサムネール画を所定の操作系で選択し、そのサムネール画に対応した区間をダイジェスト再生開始の始めとして逐次、所定の再生区間をスキップ再生して所定のダイジェスト再生動作を行うことが考えられる。
特開２００２−９４８９８号公報（第３頁〜４頁 第５図）

サムネール表示は、選択されたダイジェスト再生区間の先頭画面またはその付近の画面であるので、その再生区間が終了し次の再生区間に順次、移行して再生を開始する際には、どこのサムネール画像の部分が再生されるかを知ることができ便利である。

しかし、そのサムネール表示画面には時間的なパラメータが含まれていないので、サムネール画面を見ただけでは、そのサムネール画面をふくむ再生区間のどの部分を現在再生しているのかを把握することはできないという問題がある。

どの部分を再生しているのかを把握するためには、別に時間スケールのような表示を行う必要があり、限られた表示スペースでは効率的ではない。
表示するものはできるだけ少ないほうが効率的であり、一般的なユーザーにとっても分かりやすく扱いやすい。

又、マルチ画面表示された所定のサムネール画像とダイジェスト再生画像は対応しているので、同じ画面上に表示したほうが効果的であり、また画面切り換えなどの操作をせずに自動的にできればユーザーにとっては利便性に富むものになる。

本発明では以上のような観点からサムネール表示だけでダイジェスト再生を行っている時点がどこなのかを効果的、効率的にユーザーが把握できる技術、並びに、所定のサムネール表示とダイジェスト再生動作を行う効果的、効率的な技術を提供するものである。

（１）情報信号再生装置は、所定区間の画像または音声データ系列から特徴データを抽出する特徴抽出手段と、上記画像、音声データを所定の規則によって要約再生するように、上記特徴抽出手段からの出力信号に応じて、要約再生する区間を決める要約再生区間処理手段と、上記要約再生区間処理手段からの信号に応じて、上記各々の要約再生する区間における所定の代表画像を生成する代表画像生成手段と、上記要約再生区間処理手段からの信号に応じて上記要約再生する区間を所定の順序で順次再生制御する再生制御手段と、上記再生制御手段による再生状態および再生されている上記要約再生する区間の区間長とその再生時点に応じて上記代表画像生成手段による代表画像の表示状態またはその代表画像に付随する外枠の表示状態を制御する表示状態制御手段と、を備えたことである。
（２）上記代表画像生成手段による代表画像の表示状態は、上記要約再生区間に応じて順次、上記代表画像の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする（１）に記載の情報信号再生装置。
（３）上記代表画像生成手段による代表画像に付随する外枠の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の表示枠の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする（１）に記載の情報信号再生装置。

（４）情報信号再生方法は、所定区間の画像または音声データ系列から特徴データを抽出するステップ、記画像または音声データを所定の規則によって要約再生するように上記特徴データの抽出に応じて上記要約再生する区間を決めるステップ、上記要約再生する区間の決定に応じて上記各々の要約再生する区間における所定の代表画像を生成するステップ、
上記要約再生する区間の決定手段からの信号に応じて上記要約再生する区間を所定の順序で順次再生制御するステップ、上記再生制御による再生状態および再生されている上記要約再生する区間の区間長とその再生時点に応じて代表画像の表示状態またはその代表画に付随する外枠の表示状態を制御するステップ、からなる。
（５）上記代表画像の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またはその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする（４）に記載の情報信号再生方法。
（６）上記代表画像に付随する外枠の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の表示枠の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする（４）に記載の情報信号再生方法。

（７）情報信号処理装置は、所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号から所定の画像処理を行い所定の特徴データによって所定の分類処理または選択処理を行う画像分類選択手段と、所定の動作モードで上記分類処理または選択処理された画像を所定の系列に従ってマルチ画面表示する表示手段と、上記表示手段によるマルチ画面表示における所望の画面を所定の操作系によって選択する画面選択手段と、上記画面選択手段により所望の画像が選択された場合、選択された画と一対一に対応しその画像を含む所定の画像区間を再生する再生手段と、上記選択された画面と同じ所定の時系列画面を第１の画サイズで所定の第１の画面上の位置で、上記再生手段で再生される画像を第２の画サイズで所定の第２の画面上の位置で、表示するように上記表示手段の表示画面を切り換えて処理する画面処理手段と、上記再生区間の再生が終了した場合は時系列的にマルチ画面表示された次の画像に対応する再生区間を逐次再生し所定数の再生区間を再生または所定の動作モードに操作された場合にその動作を終了する再生制御手段と、を備えたことである。
（８）上記画像分類選択手段による分類処理は、所定の類似画像ごとに分類処理を行うことを特徴とする（７）に記載の情報信号処理装置。
（９）上記画像分類選択手段による選択処理は、所定の再生区間選択処理により上記画像信号の所定区間が選択され、その区間の先頭または先頭近傍を選択することとする（７）に記載の情報信号処理装置。
（１０）上記所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号は、所定の帯域圧縮処理がなされたことを特徴とする（７）に記載の情報信号処理装置。
（１１）上記動作モードは、ダイジェスト再生を行うモードとする（７）に記載の情報信号処理装置。
（１２）上記第１の画サイズの縦、横の長さは、各々上記第２の画サイズの縦、横の長さの整数分の１とする（７）に記載の情報信号処理装置。
（１３）上記再生区間の再生動作で最初のマルチ画面表示された画像系列に表示されない画像に対応する再生区間が再生される場合には、上記画面処理手段で表示される第１の画面上の位置の画面が、再生動作と共に所定の時系列的移動を行い対応する画像が表示されることを特徴とする（７）に記載の情報信号処理装置。
（１４）上記再生区間の再生を逐次行う場合に、所定の動作モード設定により時系列的に前方向または逆方向の区間を選択して動作できることを特徴とする（７）に記載の情報信号処理装置。

（１５）情報信号処理方法は、所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号から所定の画像処理を行い所定の特徴データによって所定の分類処理または選択処理するステップ、所定の動作モードで上記分類処理または選択処理された画像を所定の系列に従ってマルチ画面表示するステップ、上記マルチ画面表示された表示画面における所望の画面を所定の操作系によって選択するステップ、上記画面選択により所望の画像が選択された場合、その画と一対一に対応しその画像を含む所定の画像区間を再生するステップ、上記選択された画面と同じ所定の時系列画面を第１の画サイズで所定の第１の画面上の位置で、上記再生手段で再生される画像を第２の画サイズで所定の第２の画面上の位置で、表示するように表示画面を切り換えて処理するステップ、上記再生区間の再生が終了した場合は時系列的にマルチ表示された次の画像に対応する再生区間を逐次再生し所定数の再生区間を再生または所定の動作モードに操作された場合にその動作を終了するステップ、からなる。
（１６）上記分類処理は、所定の類似画像ごとに分類処理を行う（１５）に記載の情報信号処理方法。
（１７）上記選択処理は、所定の再生区間選択処理により上記画像信号の所定区間が選択され、その区間の先頭または先頭近傍を選択することとする（１５）に記載の情報信号処理方法。
（１８）上記所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号は、所定の帯域圧縮処理がなされたことを特徴とする（１５）に記載の情報信号処理方法。
（１９）上記動作モードは、ダイジェスト再生を行うモードとする（１５）に記載の情報信号処理方法。
（２０）上記第１の画サイズの縦、横の長さは、各々上記第２の画サイズの縦、横の長さの整数分の１とする（１５）に記載の情報信号処理方法。
（２１）上記再生区間の再生動作で最初のマルチ画面表示された画像系列に表示されない画像に対応する再生区間が再生される場合には、上記第１の画面上の位置の画面が、再生動作と共に所定の時系列的移動を行い対応する画像が表示される（１５）に記載の情報信号処理方法。
（２２）上記再生区間の再生を逐次行う場合に、所定の動作モード設定により時系列的に前方向または逆方向の区間を選択して動作できる（１５）に記載の情報信号処理方法。

本発明により、記録再生装置においてダイジェスト再生を行う場合に、どこのダイジェスト再生区間が再生されているのかを視覚的に容易に把握することができ、ユーザーは効果的な再生動作を行うことができる。

各ダイジェスト再生区間において、その再生区間の再生時点に応じて代表画像のサムネール表示枠の表示状態が変化するので、サムネール表示画面だけでそのダイジェスト再生区間のどの時点が再生されているのかを把握することができる。

サムネール表示画面だけで、ダイジェスト再生区間の再生時点が容易に把握でき、ほかの再生時点を表示するスケール表示は行わないで良いので、限られた表示スペースを有効に利用することができる。

又、所望のサムネール画を選択することでダイジェスト再生画像とサムネール表示が自動的に同じ画面上に表示されるので、ユーザーは余計な画面操作などを行う必要なく効果的な画面表示と共にダイジェスト再生を楽しむことができる。

ダイジェスト再生モードにおける初めのサムネール画マルチ画面で表示されていない画像に対応するダイジェスト再生区間が再生される場合でも自動的に逐次サムネール画が表示されるので、ユーザーは余計な画面操作を行うことなく、効果的なダイジェスト再生と共に画面表示を行うことができる。

記録再生装置においてダイジェスト再生を行う場合に、どこのダイジェスト再生区間が再生されているのかを視覚的に容易に把握することができ、ユーザーは効果的な再生動作を行うことができる。

各ダイジェスト再生区間において、その再生区間の再生時点に応じて代表画面のサムネール表示枠の表示状態が変化するので、サムネール表示画面だけでそのダイジェスト再生区間のどの時点が再生されているのかを把握することができる。

サムネール表示画面だけで、ダイジェスト再生区間の再生時点が容易に把握でき、他の再生時点を表示するスケール表示は行わないで良いので、限られた表示スペースを有効に利用することができる。

次に、本願発明の情報信号再生装置及び情報信号再生方法並びに情報信号処理装置及び情報信号処理方法の実施形態について、図面を参照して説明する。

先ず、情報信号再生装置及び情報信号再生方法の発明の概要について説明すると、放送番組などの画像音声データをＭＰＥＧなど所定の帯域圧縮処理を施し、所定の記録媒体に記録する際に、その信号処理の過程における所定のデータ信号を用いて、画像、音声信号における所定の特徴抽出を行う。

そして、特徴抽出データから所定の信号処理を行い、記録した所定の記録データから所定の再生区間を取捨選択することでダイジェスト再生動作を行うように、所定の規則に応じて再生区間を決める信号処理を行う。

上記所定の信号処理により選択された各々のダイジェスト再生区間の先頭画面またはその近傍の画面が代表画面となるようにサムネール処理を行う。

ダイジェスト再生モードで、上記各々の選択された所定の区間の一つを再生する際に、その再生開始時点からの距離または時間に応じて、そのダイジェスト再生区間の代表画面であるサムネール表示またはそれに付随する枠の表示における色信号または輝度信号の状態を変化させるように制御を行う。

本発明の情報信号再生方法を具現化できる情報信号再生装置の実施例を図面を用いて以下の順序で説明する。
（１）ブロック構成例
（２）動作フローチャート

（１）ブロック構成例
図１は本発明を適用した記録再生装置のブロック構成例であり、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１と、音声Ａ／Ｄ変換処理系１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダ処理系２と、音声エンコーダ処理系２からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系３と、多重化処理系で多重化した音声／映像信号を記録するように制御する記録処理系４と、記録処理系４で制御された音声／映像信号を記録する記録媒体系５と、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系６と、画像Ａ／Ｄ変換処理系１で変換された映像のデジタル信号を入力してエンコードする映像エンコーダ処理系２と、音声エンコーダ処理系２及び映像エンコーダ処理系７で得られたデジタル信号のなかで特徴的な部分を抽出する特徴抽出処理系８と、記録媒体系５に記録されているデータを再生する再生処理系９と、再生処理系９で再生された音声及び映像のデータを分離する再生データ分離処理系１０と、分離された音声データをデコードする音声デコード処理系１１と、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１２と、再生データ分離処理系１０で分離された映像データをデコードする映像でコード処理系１３と、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１４と、記録媒体５の再生をシステムコントローラ系１９からの指示により制御する再生制御系１５と、再生データ分離系１０で分離された特徴データを検出する特徴データ検出系１６と、特徴データからプレイするリストを生成するプレイリスト生成系１７と、ユーザの操作入力を受信するユーザー入力Ｉ／Ｆ系１８と、ユーザー入力Ｉ／Ｆ系１８からの操作データの入力、特徴データ検出系１６からの特徴データの入力、プレイリスト生成系１７からのプレイリストの入力、再生制御系１５の制御、表示処理系２０への表示をするシステムコントローラ系１９と、特徴データ検出系１６で検出された特徴データの表示、プレイリスト生成系１７からのリストを表示する表示処理系２０とから、大略構成されている。

このような構成からなる装置における記録、再生信号処理について説明する。

（記録側信号処理）
音声信号は音声Ａ／Ｄ変換処理系１に入力し所定のＡ／Ｄ変換処理が行われた後、音声エンコーダー処理系２に入力しＭＰＥＧオーディオやＡＣ３オーディオなど所定の帯域圧縮信号処理が行われる。その後、多重化処理系３に入力し所定の多重化処理が行われる。

映像信号は映像信号Ａ／Ｄ変換処理系６に入力し所定のＡ／Ｄ変換処理が行われ、映像エンコーダー処理系７においてＭＰＥＧなど所定の帯域圧縮信号処理が行われる。その後、多重化処理系３に入力し所定の多重化処理が行われる。

また特徴抽出処理系８では音声データ、画像データから所定の特徴データが抽出される。

この特徴抽出データとしては、テロップ特徴データ、特定色特徴データ、カメラ特徴データ、音声特徴データ、その他が考えられる。

これらの特徴データは上記、帯域信号処理の過程の信号を用いることで行うことができるし、あるいはベースバンド帯域での信号を用いて特徴抽出しても良い。

ここでＭＰＥＧを帯域圧縮信号処理として用いた場合の、その信号処理過程での信号を用いる場合について述べる。
テロップ特徴データについては、テロップの境界におけるエッジに着目し、高周波成分の特徴が多いためＭＰＥＧビデオ処理において所定画面領域のＤＣＴのＡＣ係数から検出することができる。

特定色特徴データは、色信号のＤＣＴのＤＣ係数から処理を行うことができ、例えば、人の肌色などに着目すれば人物の検出もある程度の精度で行うこともできる。

カメラ特徴についてはＭＰＥＧビデオ処理における動きベクトルを用いて行うことができ、カメラのパン、ズームなどの動作をある程度の制度で把握することができる。

音声特徴データについては、所定区間の音声データのパワーを検出し、所定のしきい値と比較処理することである区間が音声検出区間であるか、無音区間であるか判定でき、さらに、話者音声の場合は話者の息継ぎなどのため、信号の継続性が例えば音楽信号と比較して短いなどの特性から、その区間における音声信号の属性をある程度の精度で判定することもできる。

ここで例えばＭＰＥＧビデオ処理において、Ｉピクチャの輝度信号（Ｙ）、色差信号（Ｃｂ，Ｃｒ）のＤＣＴのＤＣ係数から信号変換しＲＧＢ信号を生成し、所定の画サイズのサムネール画像を表示することができる。

そこで、このＤＣ係数データあるいは、所定サイズに変換処理したＲＧＢデータも特徴データとして、特徴抽出系８で検出、信号処理し多重化処理系３に入力させる。

この装置では、上記特徴抽出したデータから所定のダイジェスト再生区間を決めるプレイリストデータ生成処理をプレイリスト生成処理系１７で行い、そのプレイリストによりダイジェスト再生を行う。

このプレイリスト処理は、記録時に特徴データを記録し、再生時に記録媒体から特徴データを再生し、プレイリスト生成系１７で処理を行うようにしても良いし、記録時に特徴データをメモリー系２１にメモリーし、所定のプログラム区間が終了した後、プレイリスト生成系１７で所定の処理をし、プレイリストデータを特徴データとして、他の記録する信号と共に記録媒体に記録しても良い。

多重化処理系３に入力した各々の信号は所定の処理が行われ、記録処理系４を経て記録媒体系５に記録される。

（再生側処理）
記録媒体系５から再生された信号は、再生処理系９で所定の再生信号処理が行われ、再生データ分離処理系１０に入力する。

音声データは所定の分離処理の後、音声デコード処理系１１で所定のデコード処理が行われ、音声Ｄ／Ａ処理系１２で所定のＤ／Ａ処理が行われ、音声出力する。

映像データは所定の分離処理の後、映像デコード処理系１３で所定のデコード処理が行われ、映像Ｄ／Ａ処理系１４で所定のＤ／Ａ処理が行われ、映像出力する。

特徴データは、特徴データ検出系１６で所定の検出処理が行われ、再生時にプレイリストデータ生成処理を行う場合は、プレイリスト生成系１７で所定のプレイリスト生成処理を行う。その後、生成されたデータはシステムコントローラ系１９に入力する。

記録時にプレイリストデータ生成を行ってプレイリストデータが検出できる場合は、プレイリストデータを特徴データとして、特徴データ検出系１６で検出し、その後システムコントローラ系１９に入力する。

ユーザー入力Ｉ／Ｆ系１８にダイジェスト再生モードを行うコマンド入力があった場合、そのコマンドはシステムコントローラ系１９に入力し、特徴データ検出系１６で、所定画サイズのＲＧＢデータをサムネール画の特徴データとして検出し、表示系２０で所定の表示処理を行う。

図２（Ａ）はサムネール画の表示例であり、このようにプレイリストデータに応じてそのダイジェスト再生としてスキップ再生を行う、所定の区間の先頭またはその近傍の画像が代表画として表示される。

図２（Ａ）の例では８×８のマルチ画面であるが、これに限らず表示するサムネール画の数を多くしても、少なくしても良い。

また、画サイズに応じたＲＧＢデータを記録時に特徴データとして記録し、再生したが、再生時に所定の画サイズとなるように、表示処理系２０で処理しても良い。

ダイジェスト再生モードで、まず初めに図２（Ａ）のようなサムネール画が表示され、ユーザーがリモコンなどの操作系で例えば、最上段の画像列、３番目のサムネール画を選択すると、そのサムネール画に対応する所定区間が再生されるように、システムコントローラ系１９は再生制御系１５により記録媒体系５の再生制御を行う。

再生動作が始まると、図２（Ｂ）のように再生画は所定の画サイズの大きさで、選択したサムネール画と同じ時系列のサムネール画列は所定の下側の位置に表示される。

図２（Ｂ）のような表示動作は、ダイジェスト再生が始まると自動的に行われ、再生がその所定区間の終点に達したら、次のサムネール画に対応する再生区間の再生を行うように、システムコントローラ系１９により再生制御系１５が動作する。

このようにサムネール画に対応する所定区間の再生を順じ行い、所定区間をスキップ再生することでダイジェスト再生動作を行う。

図２（Ｂ）の例ではサムネール画が８しか表示されないが、プレイリスト生成による再生区間の数が８より多い場合には、すべてのサムネール画が表示されず、ダイジェスト再生モードにおいて、再生画とそのダイジェスト再生の代表画の対応が取れないで利便性が良くない。

そのような場合には、例えば、図３は前方向にダイジェスト再生する例で、この図に示すように再生区間が順次、進むに従って下側に表示される代表画であるサムネール画がそれに応じて時系列的に移動する。

すなわち、図３（１）〜（３）は通常通り、サムネール画とダイジェスト再生画が表示され、図３（４）で代表画６に対応する区間の再生が行われ、再生区間が終了し、次の代表画７に再生に移行して対応する区間の再生が始まるサムネール画列が左に１づつ移動して図３（５）のように表示される。

再生区間が終了し、次の代表画８に対応する区間の再生が行われると、図３（６）のように下側のサムネール画左に１づつ移動して表示される。

このように再生される再生区間が、表示される代表画であるサムネール画が時系列的に２つ前の区間となるようにしている。
このように表示することで再生されている区間の前後の代表画が分かるので、ダイジェスト再生しようとするプログラムの様子がある程度、大局的に知ることができるので、ユーザーに対して利便性がある。

図３（１）〜（６）に示すように、ダイジェスト再生は時間的に前方向に向かって所定区間をスキップ再生する場合の、通常方向ダイジェストモードの他に、図４（１）〜（６）に示すような時間的に逆方向に向かってスキップ再生する逆方向ダイジェストモードを行って良い。

逆方向ダイジェストモードでは、代表画のサムネール画とダイジェスト再生画の表示は、図４（１）〜（６）に示す通り、前記した前方向ダイジェストモードの表示例と同じように、再生される再生区間が、表示される代表画であるサムネール画が時系列的に２つ前の区間となるようにしている。

なお、前方向ダイジェストモード、逆方向ダイジェストモードとも、再生される再生区間が、表示される代表画であるサムネール画が時系列的に２つ前の区間となるように限定することなく、１つでもあるいは、０でも良く、ユーザーの設定で、ユーザー入力Ｉ／Ｆ系１８を介してシステムコントローラ系１９の制御により行うことができる。

後で説明するように、図３、図４に示すように、サムネール画と、ダイジェスト再生画を対応付けるために、ダイジェスト再生が進むにしたがって順次、対応するサムネール画の外枠の色表示を変化させる。

（プレイリストデータの一例）
ここでプレイリストデータの生成について説明する。
簡単のため、音声特徴抽出データとテロップ特徴抽出データからプレイリストデータを生成することを考える。

図５は抽出された特徴データから音声区間の話者区間、話者以外区間とテロップ区間を示す例で、図５（ａ）は話者区間のみをダイジェスト再生区間とする場合の例で、図５（ｂ）は話者区間でかつテロップ区間をダイジェスト再生区間とする場合の例で、図５（ｃ）は音声検出区間すべてをダイジェスト再生区間とする場合の例である。

図５に示すように各々の区間の再生開始フレームから再生終了フレームを順次スキップ再生することでダイジェスト再生を行う。

図６はプレイリストデータファイルにおけるデータの一例でスキップ再生する再生開始フレーム、再生終了フレームのデータからなり、プレイリスト生成系１７で所定のファイル構造のデータとして生成される。

（サムネール画表示状態の変化）
上記で説明したように、この実施例では、ダイジェスト再生区間の先頭または先頭近傍の画像がサムネールとしてマルチ画面表示され、サムネールを所定の操作系で指定すると、サムネール画像の外枠の表示色が変化しそのサムネール画像に対応するダイジェスト再生区間が再生される。

例えば、図７（ａ）に示すように、通常状態で外枠の色を白とし、そのサムネールを指定すると茶色に変化する。

図７（ａ）〜（ｃ）のように、そのダイジェスト再生区間の再生が進み、そのダイジェスト再生区間の終点に近づくにつれて、表示色が変化したサムネールの外枠が徐々に元の表示色に戻る。ここでは外枠の変化を茶色としたので、茶色が段々と薄くなり元の白に変わっていく。

図７（ｃ）〜（ｄ）のように、そのダイジェスト再生の終点に達して元の色に戻り、次のダイジェスト再生区間に移行し、移行したダイジェスト再生区間に対応するサムネール画像の外枠の色が変化する。

すなわち、図７（ｄ）〜（ｆ）のように、次のダイジェスト再生区間に対応するサムネール画像の外枠が茶色になり、ダイジェスト再生が進み、前のダイジェスト再生区間の動作と同じように終点に近づくにつれて茶色が薄くなっていく。

このようにサムネール画像に付随する外枠の表示色がダイジェスト再生の経過と共に変化するので、ユーザーは容易にダイジェスト再生の時間経過をすることができ便利である。

ここで表示色の変化は色信号ＲＧＢまたは輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを所定の変化をさせて行うことができる。

ここで、本発明の変形実施例を以下のようなことが考えられる。
サムネール画外枠の表示色の点滅を変化させる方法。
この変形実施例はサムネール外枠の表示色をダイジェスト再生の時間経過と共に点滅状態を変化させる方法である。

例えば、ダイジェスト再生を行う代表画のサムネール画を所定の操作系で指定すると、そのサムネール画の外枠が白から茶色に変化し、そのダイジェスト再生区間の再生が進むにつれて外枠の茶色が点滅し、終点に近づくに従って段々とその点滅する早さが増すようにする。

そして、そのダイジェスト再生区間の終点に達したら、外枠の点滅は停止し同時に表示色は元の白に戻る。

次のダイジェスト再生区間に移行し、その代表画のサムネール画の外枠が白から茶色に変わり、前のダイジェスト再生区間の動作と同じように再生が進むに従って茶色が点滅する。
ダイジェスト再生区間が移行する毎にこのような動作を繰り返す。

（１．２）サムネール画自体の表示状態を変化させる方法
上記の例ではサムネールの外枠の表示状態を変化させる場合であったが、サムネールが自体の表示状態を変化させることも考えられる。

例えば、図８（ａ）に示すように、ダイジェスト再生を行う代表画像のサムネールを所定の操作系で指定すると、通常表示されていたサムネール画がセピア色状態になり、図８（ｂ）〜（ｆ）のようにそのダイジェスト再生が進み終点に近づくに従って段々と元の表示状態に戻り、そのダイジェスト再生区間の終点に達すると、完全にもとの表示状態になり、次のダイジェスト再生区間に移行すると、今度はその代表画のサムネール画がセピア色となる。
ダイジェスト再生区間が移行する毎にこのような動作を繰り返す。

（サムネール画／枠表示状態処理ブロック構成例）
前記したように、サムネール画または枠の表示状態変化の処理は図１における表示処理系２０で行い、サムネール画／枠表示状態処理は、図９に示すブロック構成例で行う。

このブロックは、画像データ書き込み／読み出し制御信号に基づいて、サムネール画像データを蓄積するサムネール画像データメモリー系２２と、サムネール画像データメモリー系２２に蓄積されているサムネール画像データを読み出して表示する表示状態処理系２３と、表示状態処理系２３からのサムネール画像データと再生画像データとを合成して出力する画像データ合成処理系２４とから、大略構成されている。

このような構成からなるサムネール画／枠表示処理における動作について、以下説明する。

システムコントローラ系１９からの制御信号により、サムネール画像データメモリー系２２で所定のサムネール画データがメモリーされる。

ダイジェスト再生モードでは、システムコントローラ系１９からの制御により所定のサムネールデータが読み出され、その画像データは表示状態処理系２３に入力する。

表示状態処理系２３では、所定区間の再生開始時点からの再生状態に応じて、前記したように、所定のサムネール画自体やサムネール画の枠の色表示状態などを制御する。

状態制御は、前記したように、枠表示色のフェード処理、点滅処理などで、輝度信号、色差信号、または輝度信号、色差信号から変換処理したＲＧＢ色信号を所定のフェード、点滅などの制御を行い処理する。

その後、画像データ合成処理系２４で再生画データと所定の合成処理し、前記した図２（Ｂ）のような表示データを出力し表示できるようにする。

（２）動作フローチャート
図１０、図１１は本発明のダイジェスト再生モードにおける動作フローチャートの一例である。

ステップＳ０からスタートし、ステップＳ１でユーザーにより動作モードが設定され、ステップＳ２でダイジェスト再生モードであるか判定される。

ステップＳ２でダイジェスト再生モードの場合は、ステップＳ３に移行し前方向ダイジェストモードであるか、逆方向ダイジェストモードであるか判定し、ステップＳ２でダイジェスト再生モードでないと判定される場合は、ステップＳ１１に移行し、所定の動作モード処理が行われる。

ステップＳ３で前方向ダイジェストモードの場合は、ステップＳ４でＮ＝０とし、逆方向ダイジェストモードの場合はＮ＝１とし、ステップＳ６に移行する。

ステップＳ６で所定の再生区間の代表画としてサムネール画像がマルチ画面表示され、ステップＳ７に移行して、ユーザーが所望のサムネールを選択したか判定する。

ステップＳ７でサムネールが選択されない場合は、ステップＳ１２に移行し、他の動作モードに変更するか判定し、モード変更する場合はステップＳ１に戻り、他の動作モード設定を行う。

ステップＳ１２で他のモード変更を行わない場合は、ステップＳ１３で終了するか判定し、終了する場合はステップＳ１４で終了し、終了しない場合はステップＳ７に戻り、サムネール画の選択がなされたかの判定を繰り返す。

ステップＳ８では図２（Ｂ）に示したような選択したサムネール画の画像系列が所定のサイズでまた、選択したサムネール画ａに対応する再生区間の再生開始の画像が所定の再生画と同じサイズで表示される。

ステップＳ９でｆｒａｍｅ＝ｆａ、Ｎｕｍ＝ａとし、ステップＳ1０のダイジェスト再生処理およびサムネール画または外枠表示状態変化処理に移行する。

ステップＴ１で区間再生処理を行い、ステップＴ２で再生に従って、フレーム数を処理して、
「ｆｒａｍｅ＝ｆａｒｍｅ＋△ｆ」とし、ステップＴ３でサムネール画または外枠の表示状態を変化させる処理を行う。

ステップＴ４でその再生区間の終了点になったかを判定し、終了点でない場合は、ステップＴ８でダイジェスト再生を終了するか判定し、終了しない場合は、ステップＴ１に戻り、その区間の再生を継続する。

ステップＴ４で終了の場合は、ステップＴ５で前方向ダイジェストモードか、逆方向ダイジェストモードか判定し、Ｎ＝０の前方向の場合は、サムネール画の順番判定のために、Ｎｕｍ＝ａ＋１とし、Ｎ＝１の逆方向の場合は、Ｎｕｍ＝ａ−１とする。

前方向、逆方向のそれぞれのダイジェストモードは、前記した図３または図４に示したように、プレイリストに応じた所定の再生区間を所定の順番でスキップ再生していく。

ステップＳ１５ではダイジェスト再生モードを終了するか判定し、ダイジェスト再生モードを終了しない場合は、ステップＳ１６で、Ｎｕｍを判定して、その再生区間の番号がサムネール代表画の数に対応しなくなるかを判定し、対応しなくなる場合は、ステップＳ１８で、前記した図３（１）〜（６）または、図４（１）〜（６）に示したように所定のサムネール画の表示移動処理を行う。

ステップＳ１５で終了の場合は、ステップＳ１８に移行し他の動作モードに変更するか判定し、変更の場合は、ステップＳ１に戻り他の動作モードを設定し、ステップＳ１８でモード変更しない場合は、ステップＳ１４に移行し動作を終了する。

次に、本願発明に係る情報信号処理方法を具現化できる情報信号処理装置の実施形態について、図面を参照して説明する。

本願発明の情報信号処理装置は、先ず、ダイジェスト再生モードで、サムネール画を所定の操作系で選択すると、そのサムネール画を含む所定の再生から再生を始めるが、再生を始める際に選択したサムネール画と同じ系列の画像列を、再生画と同じ画面上で所定の下側に表示する。

その再生区間の再生が終了点に達したら選択したサムネール画の次のサムネール画に対応する再生区間が再生されるように記録媒体の再生ポイントをスキップ処理する。

このような再生処理と画像の表示処理を行うが、上記のスキップ再生が進み最初のサムネール画表示されていない時点に対応する再生区間が再生される場合は、再生画とサムネール画が表示されている画面において、サムネール画列がその再生画に対応するサムネール画が表示されるように時系列的に移動する。

本発明の実施例は、上記した図１に示す記録再生装置のブロック構成例で具現化でき、又、図２に示すサムネール画指定後の再生画表示も同様であり、更に、図３に示す前方向ダイジェスト再生、図４に示す逆方向ダイジェスト再生、図５に示すプレイリストデータの生成、図６に示すプレイリストデータ、図７に示すサムネール画外枠の表示状態の変化する様子、図８に示すサムネール画自体の表示状態の変化、図９に示すサムネール画／枠表示状態処理ブロック構成例は、同じものであるので、その説明は省略し、図１２に示すフローチャートを参照して、その動作を説明する。

図１２は本発明のダイジェスト再生モードにおける動作フローチャートの一例である。

ステップＳ２０からスタートし、ステップＳ２１でユーザーにより動作モードが設定され、ステップＳ２２でダイジェスト再生モードであるか判定される。

ステップＳ２２でダイジェスト再生モードの場合は、ステップＳ２３に移行し前方向ダイジェストモードであるか、逆方向ダイジェストモードであるか判定し、ステップＳ２２でダイジェスト再生モードでないと判定される場合は、ステップＳ３５に移行し、所定の動作モード処理が行われる。

ステップＳ２３で前方向ダイジェストモードの場合は、ステップＳ２４でＮ＝０とし、逆方向ダイジェストモードの場合はＮ＝１とし、ステップＳ２６に移行する。

ステップＳ２６で所定の再生区間の代表画としてサムネール画像がマルチ画面表示され、ステップＳ２７に移行して、ユーザーが所望のサムネールを選択したか判定する。

ステップＳ２７でサムネールが選択されない場合は、ステップＳ３２に移行し、他の動作モードに変更するか判定し、モード変更する場合は、ステップＳ２１に戻り、他の動作モード設定を行う。

ステップＳ３２で他のモード変更を行わない場合は、ステップＳ３３で終了するか判定し、終了する場合は、ステップＳ３４で終了し、終了しない場合は、ステップＳ２７に戻り、サムネール画の選択がなされたかの判定を繰り返す。

ステップＳ２８では、図２（Ｂ）に示したような選択したサムネール画の画像系列が所定のサイズでまた、選択したサムネール画に対応する再生区間の再生開始の画像が所定の再生画と同じサイズで表示される。

ステップＳ２９でＮを判定し、Ｎ＝０の場合は前方向ダイジェストモードなので、ステップＳ３０で前方向ダイジェストモードの処理を行い、Ｎ＝１の場合は逆方向ダイジェストモードなのでステップＳ３１で逆方向ダイジェストモードの処理を行う。

それぞれのダイジェストモードは、前記した図３または図４に示したように、プレイリストに応じた所定の再生区間を所定の順番でスキップ再生していく。

ステップＳ３６ではダイジェスト再生モードを終了するか判定し、終了しない場合は、ステップＳ３７で再生が進み、再生区間の数がサムネール代表画の数に対応しなくなるかを判定し、対応しなくなる場合は、ステップＳ３８で、前記した図３（１）〜（６）または、図４（１）〜（６）に示したように所定のサムネール画の表示移動処理を行う。

ステップＳ３６で終了の場合は、ステップＳ３９に移行し他の動作モードに変更するか判定し、変更の場合は、ステップＳ２１に戻り他の動作モードを設定し、ステップＳ３９でモード変更しない場合は、ステップＳ３４に移行し動作を終了する。

記録再生装置においてダイジェスト再生を行う場合に、どこのダイジェスト再生区間が再生されているのかを視覚的に容易に把握することができ、ユーザーは効果的な再生動作を行うことができるばかりでなく、各ダイジェスト再生区間において、その再生区間の再生時点に応じて代表画面のサムネール表示枠の表示状態が変化するので、サムネール表示画面だけでそのダイジェスト再生区間のどの時点が再生されているのかを把握することが可能になる。

又、所望のサムネール画を選択することでダイジェスト再生画像とサムネール表示が自動的に同じ画面上に表示されるので、ユーザーは余計な画面操作などを行う必要なく効果的な画面表示と共にダイジェスト再生を楽しむことができるばかりでなく、ダイジェスト再生モードにおける初めのサムネール画マルチ画面で表示されていない画像に対応するダイジェスト再生区間が再生される場合でも自動的に逐次サムネール画が表示されるので、ユーザーは余計な画面操作を行うことなく、効果的なダイジェスト再生と共に画面表示を行うことができる。

本発明の記録再生装置の全体構成を略示的に示したブロック図である。 ダイジェスト再生モードでの表示画面の一例である ダイジェスト再生モードでの表示例（前方向ダイジェストモード）である。 ダイジェスト再生モードでの表示例（逆方向ダイジェストモード）である。 プレイリストデータ生成の説明図である。 プレイリストデータの一例である。 サムネール画外枠の表示状態変化例である。 サムネール画の表示状態変化例である。 サムネール画／枠表示状態処理の構成を示したブロック図である。 動作フローチャート例（１）である。 動作フローチャート例（２）である。 動作フローチャート例である。

符号の説明

１；音声Ａ／Ｄ変換処理系、２；音声エンコーダー処理系、３；多重化処理系、４；記録処理系、５；記録媒体系、６；画像Ａ／Ｄ変換処理系、７；映像エンコーダー処理系、８；特徴抽出系、９；再生処理系、１０；再生データ分離処理系、１１；音声デコード処理系、１２；音声Ｄ／Ａ変換処理系、１３；映像デコード処理系、１４；映像Ｄ／Ａ変換処理系、１５；再生制御系、１６；特徴データ検出系、１７；プレイリスト生成系、１８；ユーザー入力Ｉ／Ｆ系、１９；システムコントローラ系、２０；表示処理系、２１；メモリー系、２２；サムネール画データメモリ系、２３；表示状態処理系、２４；画像データ合成処理系。

Claims (22)

1. 所定区間の画像または音声データ系列から特徴データを抽出する特徴抽出手段と、
   上記画像、音声データを所定の規則によって要約再生するように、上記特徴抽出手段からの出力信号に応じて、要約再生する区間を決める要約再生区間処理手段と、
   上記要約再生区間処理手段からの信号に応じて、上記各々の要約再生する区間における所定の代表画像を生成する代表画像生成手段と、
   上記要約再生区間処理手段からの信号に応じて上記要約再生する区間を所定の順序で順次再生制御する再生制御手段と、
   上記再生制御手段による再生状態および再生されている上記要約再生する区間の区間長とその再生時点に応じて上記代表画像生成手段による代表画像の表示状態またはその代表画像に付随する外枠の表示状態を制御する表示状態制御手段と、
   を備えたことを特徴とする情報信号再生装置。
2. 上記代表画像生成手段による代表画像の表示状態は、上記要約再生区間に応じて順次、上記代表画像の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする請求項１に記載の情報信号再生装置。
3. 上記代表画像生成手段による代表画像に付随する外枠の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の表示枠の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする請求項１に記載の情報信号再生装置。
4. 所定区間の画像または音声データ系列から特徴データを抽出するステップ、
   上記画像または音声データを所定の規則によって要約再生するように上記特徴データの抽出に応じて上記要約再生する区間を決めるステップ、
   上記要約再生する区間の決定に応じて上記各々の要約再生する区間における所定の代表画像を生成するステップ、
   上記要約再生する区間の決定手段からの信号に応じて上記要約再生する区間を所定の順序で順次再生制御するステップ、
   上記再生制御による再生状態および再生されている上記要約再生する区間の区間長とその再生時点に応じて代表画像の表示状態またはその代表画像に付随する外枠の表示状態を制御するステップ、
   からなる情報信号再生方法。
5. 上記代表画像の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またはその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする請求項４に記載の情報信号再生方法。
6. 上記代表画像に付随する外枠の表示状態は、上記要約再生する区間に応じて順次、上記代表画像の表示枠の色信号または色差信号または輝度信号の状態を変化するものとし、上記各々の要約再生する区間の再生開始時点またその近傍と、その要約再生する区間の再生終了時点またはその近傍とで表示状態を変化することを特徴とする請求項４に記載の情報信号再生方法。
7. 所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号から所定の画像処理を行い所定の特徴データによって所定の分類処理または選択処理を行う画像分類選択手段と、
   所定の動作モードで上記分類処理または選択処理された画像を所定の系列に従ってマルチ画面表示する表示手段と、
   上記表示手段によるマルチ画面表示における所望の画面を所定の操作系によって選択する画面選択手段と、
   上記画面選択手段により所望の画像が選択された場合、選択された画と一対一に対応しその画像を含む所定の画像区間を再生する再生手段と、
   上記選択された画面と同じ所定の時系列画面を第１の画サイズで所定の第１の画面上の位置で、上記再生手段で再生される画像を第２の画サイズで所定の第２の画面上の位置で、表示するように上記表示手段の表示画面を切り換えて処理する画面処理手段と、
   上記再生区間の再生が終了した場合は時系列的にマルチ画面表示された次の画像に対応する再生区間を逐次再生し所定数の再生区間を再生または所定の動作モードに操作された場合にその動作を終了する再生制御手段と、
   を備えたことを特徴とする情報信号処理装置。
8. 上記画像分類選択手段による分類処理は、所定の類似画像ごとに分類処理を行うことを特徴とする請求項７に記載の情報信号処理装置。
9. 上記画像分類選択手段による選択処理は、所定の再生区間選択処理により上記画像信号の所定区間が選択され、その区間の先頭または先頭近傍を選択することとする請求項７に記載の情報信号処理装置。
10. 上記所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号は、所定の帯域圧縮処理がなされたことを特徴とする請求項７に記載の情報信号処理装置。
11. 上記動作モードは、ダイジェスト再生を行うモードとする請求項７に記載の情報信号処理装置。
12. 上記第１の画サイズの縦、横の長さは、各々上記第２の画サイズの縦、横の長さの整数分の１とする請求項７に記載の情報信号処理装置。
13. 上記再生区間の再生動作で最初のマルチ画面表示された画像系列に表示されない画像に対応する再生区間が再生される場合には、上記画面処理手段で表示される第１の画面上の位置の画面が、再生動作と共に所定の時系列的移動を行い対応する画像が表示されることを特徴とする請求項７に記載の情報信号処理装置。
14. 上記再生区間の再生を逐次行う場合に、所定の動作モード設定により時系列的に前方向または逆方向の区間を選択して動作できることを特徴とする請求項７に記載の情報信号処理装置。
15. 所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号から所定の画像処理を行い所定の特徴データによって所定の分類処理または選択処理するステップ、
    所定の動作モードで上記分類処理または選択処理された画像を所定の系列に従ってマルチ画面表示するステップ、
    上記マルチ画面表示された表示画面における所望の画面を所定の操作系によって選択するステップ、
    上記画面選択により所望の画像が選択された場合、その画と一対一に対応しその画像を含む所定の画像区間を再生するステップ、
    上記選択された画面と同じ所定の時系列画面を第１の画サイズで所定の第１の画面上の位置で、上記再生手段で再生される画像を第２の画サイズで所定の第２の画面上の位置で、表示するように表示画面を切り換えて処理するステップ、
    上記再生区間の再生が終了した場合は時系列的にマルチ表示された次の画像に対応する再生区間を逐次再生し所定数の再生区間を再生または所定の動作モードに操作された場合にその動作を終了するステップ、
    からなる情報信号処理方法。
16. 上記分類処理は、所定の類似画像ごとに分類処理を行う請求項１５に記載の情報信号処理方法。
17. 上記選択処理は、所定の再生区間選択処理により上記画像信号の所定区間が選択され、その区間の先頭または先頭近傍を選択することとする請求項１５に記載の情報信号処理方法。
18. 上記所定の情報信号伝送系における画像信号または所定の記録媒体における画像信号は、所定の帯域圧縮処理がなされたことを特徴とする請求項１５に記載の情報信号処理方法。
19. 上記動作モードは、ダイジェスト再生を行うモードとする請求項１５に記載の情報信号処理方法。
20. 上記第１の画サイズの縦、横の長さは、各々上記第２の画サイズの縦、横の長さの整数分の１とする請求項１５に記載の情報信号処理方法。
21. 上記再生区間の再生動作で最初のマルチ画面表示された画像系列に表示されない画像に対応する再生区間が再生される場合には、上記第１の画面上の位置の画面が、再生動作と共に所定の時系列的移動を行い対応する画像が表示される請求項１５に記載の情報信号処理方法。
22. 上記再生区間の再生を逐次行う場合に、所定の動作モード設定により時系列的に前方向または逆方向の区間を選択して動作できる請求項１５に記載の情報信号処理方法。
    
    
    
    
    
    
    
    
    
    

Images