JP2002209181A - 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力された情報信号に対して分類等の処理を
行って識別情報信号と共に記録し、再生時にはこれ等を
使って記録したシーンをすぐに把握することができる情
報信号処理装置並びに情報信号処理方法及び情報信号記
録装置を提供するにある。 【解決手段】 所定の情報信号から所定の特性信号を検
出する特性信号検出手段と、特性信号検出手段からの信
号に応じて情報信号を所定の分類または識別を行う分類
識別信号処理手段と、分類識別信号処理手段からの信号
により、分類または識別の所定の頻度に応じた第１の所
定表示を行う第１の表示モードと、または第１の表示モ
ードにおける所定部分の情報信号を含み所定の時間系列
の第２の所定表示を行う第２の表示モードとを行うため
の表示信号を生成する表示処理手段とを備えるようにし
たものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された情報信
号に対して分類等の処理を行って識別情報信号（以下、
識別情報データという）と共に記録し、再生時にはこれ
等を使って記録したシーンをすぐに把握することができ
る情報信号処理装置並びに情報信号処理方法及び情報信
号記録装置に関する。

【０００２】さらに詳しくは、本発明は、記録時には、
映像信号、音声信号などの情報信号を光磁気ディスク、
ハードディスク、半導体メモリーなどの記録媒体に記録
する記録装置において、例えば放送番組を記録する際に
記録する映像シーンを自動的に所定の分類またはインデ
キシング処理を行い、ハードディスク（ＨＤＤ）や光磁
気ディスク、磁気テープなど所定の記録媒体にそれら分
類またはインデキシング処理の結果の識別情報データ
を、記録を行う画像、音声信号と共に所定の記録領域に
記録を行う。

【０００３】そして、再生時には、その所定分類または
インデキシング処理の結果に応じて記録したシーンの内
容をすぐに把握することができ、ユーザーが効果的、お
よび効率的なダイジェスト再生やスキミング動作を行う
ことができる情報信号処理装置、情報信号処理方法、及
び情報信号記録装置に関するものである。

【０００４】

【従来の技術】ＭＰＥＧ(moving picture experts g
roup)などの画像圧縮技術が広く民生用記録再生装置に
利用され、また比較的長時間記録可能でアクセス性の良
いＨＤＤ（ハードディスク）や光磁気ディスクが比較的
低価格で普及し、放送番組などが手軽に長時間記録でき
るようになっている。

【０００５】このように長時間記録した放送番組などを
再生して楽しもうとすると、限られた時間の中で効率良
く再生する必要があり、従来技術では例えば、２倍速再
生などの通常再生速度よりも高速動作を行い短時間で再
生することが考えられる。

【０００６】より効果的な短時間再生を行なうことを目
的として、映像の変化やカメラパン、または音声認識な
どの技術を用いて、要約を行なっても映像シーンの内容
が把握できる意味のあると思われる部分を検出して再生
する技術が知られている。

【０００７】また、記録時に自動的に分類し、識別情報
を付加して記録し再生時に検索や頭出しを行なう技術も
知られている。

【０００８】例えば、公知の技術文献としては以下に示
すようなものがある。 （ａ）Michael A.Smith and T.Kanade,”Video Skimmin
g and Characterizationthrough the Combination of I
mage and Language Understanding Techniques”,IEEE
CVPR,（ p775-p781） （ｂ）特表平10−507554「探索できるディジタルビデオ
ライブラリを作成する方法および装置ならびにそのよう
なライブラリを利用するシステムおよび方法」 （ｃ）特開平７−45050「自動分類記録装置」 （ｄ）特開平７−29007「映像特徴処理方法」 （ｅ）特開平11−328422「画像識別装置」 （ｆ）特開2000−261754「ダイジェスト作成装置、ダイ
ジェスト作成方法およびその方法の各工程をコンピュー
タに実行させるためのプログラムを記録したコンピュー
タ読み取り可能な記録媒体」

【０００９】また、蓄積記録媒体から画像を検索して表
示することに関する公知技術としては、例えば以下のよ
うなものがある。 （ｇ）特開平10−243323「シーン管理装置、シーン管理
方法及び記録媒体」 （ｈ）特開平10−340272「類似画像検索装置及び方法」

【００１０】

【発明が解決しようとする課題】２倍速再生など高速再
生を行なう場合は自分が見たいと思う映像シーン以外の
区間も再生されることになり、ダイジェスト再生など短
時間再生を行なう場合は効率があまり良いとは言えず、
また、記録した映像の内容の概要を、効率良く、すぐに
知りたいと思っても、ダイジェスト再生などの特殊再生
動作を行う必要があり、記録媒体に記録した内容の映像
シーンを効率良く、効果的にすぐ把握できるとは言い難
い。

【００１１】上記の文献（ａ）、（ｂ）などは特徴的な
映像区間と音声区間を選択し、合成して得られた部分を
つなぎ合わせて要約再生する技術が開示されているが、
このような技術では、例えば、所定の記録媒体に記録し
た後に、特徴的な映像区間や音声区間を選択する特別な
処理を行なうことが一般的で、そのため記録終了の後
に、ダイジェスト再生や要約再生を行なうための信号処
理時間を待たなければならない。

【００１２】上記文献（ｃ）に開示の技術は、記録時に
シーンチェンジなどの単位毎に分類コードと名前を付け
て記録することが記載されているが、適切な分類が行な
われるか不明であり、また記録方法や記録時間によって
は多くのコードと名前情報を持つ必要がある問題が考え
られる。

【００１３】上記文献（ｄ）にはカラー映像信号からヒ
ストグラム処理によりショットを分類する技術が開示さ
れているが、分類した後の分類情報データの設定方法や
信号処理技術については詳しい技術的開示がなされてい
ない。

【００１４】上記文献（ｅ）には、あらかじめ複数の特
徴抽出したデータを画像パターンデータとして保持した
画像パターンデータベースと入力画像の類似度を算出し
て分類する技術が開示されているが、あらかじめデータ
を持つ必要があり、そのため構成がやや複雑になると考
えられる。

【００１５】また上記文献（ｆ）には、あらかじめ事象
定義毎に設定された数値を数値情報として記憶した記憶
手段を備え、入力映像の事象に基づいて数値映像情報を
生成しダイジェスト映像を作成する技術が開示されてい
るが、事象毎に設定された数値情報を記憶した記憶手段
を設ける必要があり、そのため構成がやや複雑になるこ
とが考えられる。

【００１６】上記文献（ｇ）には、類似性があると判定
された代表フレーム画像のインデックス画像に類似する
インデックス画像が存在することを示すマーカーを表示
さ、動画編集時などに類似するインデックス画像が存在
することを認識できる技術が開示されているが、幾つか
ある類似検出画像毎の関連を効果的に表示して見たり、
効果的にユーザーが見たいと思うシーンを効率良くダイ
ジェスト再生するための表示に関する技術の開示はなさ
れていない。

【００１７】上記文献（ｈ）には、利用者の指定した複
数の画像のそれぞれについて、利用者の指定に応じて検
索要素を設定し、画像検索条件に用い、類似画像または
関連画像を複数画像で表示する技術が開示されている
が、幾つかある類似検出画像毎の関連を効果的に表示し
て見たり、効果的にユーザーが見たいと思うシーンを効
率良くダイジェスト再生するための表示に関する技術の
開示はなされていない。

【００１８】以上のような観点から、本発明は、記録終
了後、ダイジェスト再生や要約再生などを行なうための
複雑な処理をできるだけ行なわず、処理のための時間を
できるだけ待つことなく、ダイジェスト再生や要約再生
または記録した内容の映像シーンを効果的に、効率良く
把握したいと思った場合に、できるだけ直ぐに、その動
作が行なえるようなシステムを、比較的簡単な構成で安
価に実現する技術を提案するものである。

【００１９】以上の点を実現するための本発明の概要に
ついて述べれば、先ず、放送番組などの映像信号から、
またはその信号を圧縮処理など、所定の加工処理を行っ
た信号から所定の特性信号を逐次検出する。

【００２０】次に、この特性信号に応じて、例えば、シ
ーンチェンジ毎や所定区間毎に画像を類似検出し、類似
検出画像毎に分類処理を行う。

【００２１】この分類処理した画像を分類頻度に応じて
水平方向表示または垂直方向表示の画像系列として表示
する。

【００２２】この分類頻度に応じた表示系列の一つの系
列を選択し、その系列における画像シーンを含む所定区
間の画像シーンを時間時間系列で表示を行い、効果的に
記録する画像や再生を行う画像シーンの内容を把握す
る。

【００２３】また、画像の分類識別が行える識別情報デ
ータが記録されている所定の記録媒体から信号を再生
し、再生した識別情報データに応じて類似画像検出を、
例えば、シーンチェンジ毎や所定区間毎に画像を類似検
出し、類似検出画像毎に分類処理を行う。

【００２４】このようにして分類処理した画像を分類頻
度に応じて画像系列として再生するように再生制御し、
またはその画像系列の所定区間を含む画像シーンを逐次
再生するように再生制御を行うことで、効果的で効率的
な内容把握やダイジェスト再生を行うことができる。

【００２５】

【課題を解決するための手段】本発明は、以上の内容を
実現する情報信号処理装置の構成として、（１） 所定
の情報信号から所定の特性信号を検出する特性信号検出
手段と、（２）上記特性信号検出手段からの信号に応じ
て上記情報信号を所定の分類または識別を行う分類識別
信号処理手段と、（３）上記分類識別信号処理手段から
の信号により、上記分類または識別の所定の頻度に応じ
た第１の所定表示を行う第１の表示モードと、または第
１の表示モードにおける所定部分の情報信号を含み所定
の時間系列の第２の所定表示を行う第２の表示モードと
を行うための表示信号を生成する表示処理手段ととを有
するようにしたものである。

【００２６】また、本発明は、以上の内容を実現する情
報信号処理方法の構成として、（１）所定の情報信号か
ら所定の特性信号を検出し、（２）上記特性信号の検出
に応じて上記情報信号を所定の分類または識別を行い、
（３）上記分類または識別の所定の頻度に応じた第１の
所定表示を行うか、または第１の所定表示における所定
部分を含む情報信号を所定の時間系列により第２の所定
表示を行うか、または、上記第１の表示と第２の表示を
所定の操作に応じて切り換えて表示するか、または表示
を行うための表示信号を生成するようにしたものであ
る。

【００２７】さらに、本発明は、以上の内容を実現する
情報信号再生装置の構成として、（１）所定の情報信号
と、その情報信号における所定時点または所定区間を所
定の分類または識別を行うことができる識別情報信号が
記録された所定の記録媒体から上記情報信号および識別
情報信号を再生する再生手段と、（２）上記再生手段か
ら上記識別情報信号を検出する識別情報信号検出手段
と、（３）上記識別情報信号検出手段からの信号によ
り、上記分類または識別の所定の頻度に応じた第１の所
定表示を行うように第１のモードの再生を行うか、また
は第１の所定表示における所定部分を含む情報信号を所
定の時間系列による第２の所定表示を行うように第２の
モードの再生を行うか、または上記第１の表示と第２の
表示を所定の操作により切り換えて表示できるように再
生する再生制御手段とを有するようにしたものである。

【００２８】本発明は、以上の構成により、ある所定時
点における映像信号や映像信号を圧縮処理した信号から
検出する所定の特性信号またはその特性信号から生成す
る特性ベクトルにより画像シーンを逐次、類似画像検出
して類似画像毎の画像系列として、例えば類似画像検出
の出現頻度の大きい順に所定の水平方向または垂直方向
に第１の再生、表示モードとして表示を行うことができ
る。

【００２９】上記第１の表示モードから所望の画像系列
を選択し、その画像系列における画像シーンを含む所定
区間の画像シーンを時間系列で再生、表示する第２の再
生、表示モードの動作を行うように、第１の再生、表示
モードから切り換えて動作を行うことができる。

【００３０】

【発明の実施の形態】以下、本発明に係る情報信号処理
装置、情報信号処理方法および情報信号再生装置の実施
の形態について図を用いて以下の順序で説明する。 （１）本発明の動作原理 （２）放送番組における識別情報データ値の特性例 （３）画像分類処理系ブロック構成例 （４）記録再生装置ブロック構成例 （５）動作フローチャートの一例

【００３１】（１）本発明の動作原理 （類似画像の分類整理方法の概念）図１は本発明の画像
シーン分類処理法を説明するための概念図であり、図１
（１）は本発明における情報信号の１つである画像信号
としての画像系列ａ１、ａ２、ａ３、ａ４、ａ５、……
…を示したものであり、このうち、例えば画像ａ１、ａ
２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画
像と仮定する。

【００３２】例えば、図１（１）の画像系列を簡単のた
め放送番組におけるニュース映像とすると、一般的にニ
ュース番組ではアナウンサーやニュースキャスターの映
像シーンの後にニュース映像が続く確率が高いので、図
１（１）で述べた、類似画像ａ１、ａ２、ａ７、ａ８、
ａ１５、ａ１６はアナウンサーやニュースキャスターの
登場シーンと想定できる。

【００３３】ここで、図１（１）の画像系列を入力画像
として記録媒体に記録すると同時に記録する画像シーン
を類似画像毎に分類することを考える。

【００３４】図１（２）は、記録する画像シーンを類似
画像毎に分類したことを示す概念図であり、各々シーン
Ａ、Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されてい
ることを示している。

【００３５】例えば、図１（２）シーンＡの分類ではａ
１、ａ２、ａ７、ａ８、ａ１５、ａ１６、………… な
どの画像が分類されており、これらの画像は上記で述べ
たアナウンサーやニュースキャスターの登場シーンであ
る。

【００３６】そして、このＡシーンとして捉えた画像の
中で、このＡシーンに類似した画像が続く先頭画像ａ
１、ａ７、ａ１５に対して本発明における識別情報信号
として使用される識別情報データａを付与して再生の際
の画像抽出の識別に用いる。

【００３７】同様に、シーンＢの分類はニュース番組に
おけるニュース映像の類似シーンａ３、ａ４、ａ１１、
………などが分類され、類似部分の先頭画像に識別情報
データｂが付与されていることを示しており、シーンＣ
の画像分類は類似シーンａ５、ａ６、ａ１３、………な
どの画像が分類され、類似部分の先頭画像に識別情報デ
ータｃが付与されていることを示し、シーンＤの分類は
類似画像シーンａ９、ａ１０、ａ１９………などの画像
が分類され、類似部分の先頭画像に識別情報データｄが
付与されていることを示している。

【００３８】（画像分類表示法の一例）図２（１）は、
本発明の第１の表示モード、または第１の再生モードを
表示する表示信号を生成する本発明における表示処理手
段として示す実施態様で、上記で説明した図１（２）の
分類をモニターで表示した場合の概念図であり、類似画
像のＡ〜Ｈの８画像系列が水平方向に整理されているこ
とが分かる。

【００３９】図２（１）の例では、表示する垂直方向の
画像系列（Ａ〜Ｈ）の数および水平方向の類似検出画像
（１〜８）の数は、共に８であるが、この数はこれより
も多くしても少なくしても良く、例えば、動作開始時に
初期設定として８で表示するようにし、ユーザーの設定
により可変できるようにしても良く、また、分類、類似
検出できた画像数が少なく、例えば６の場合は、その分
類数に応じて表示するようにしても良し、また、分類、
類似検出できた画像数が多く、一画面に表示すると各々
の画像が小さくなりすぎて分かり難くなる場合などは、
リモコンなどによりユーザーの指定で水平方向または垂
直方向にスクロールできるようにして表示しても良い。

【００４０】このような表示数の設定やスクロールなど
の表示動作は、以下で説明する第２の表示モードでも行
うことができる。

【００４１】この図２（１）に示す第１の表示モード
は、分類された類似画像の出現頻度の大きい画像シーン
を、より上段に表示することができ、ユーザーはより効
果的に効率良く画像シーンの内容を把握することができ
る。

【００４２】なお、図２（１）の画像系列は右側に行く
ほど時間的に新しい画像にしても、左側にいくほど時間
的に新しい画像にしても良く、どちらの方向が時間的に
新しいかをユーザーに知らせるために、画面の最上部や
最下部、または各画像に、検出順番を示す番号や、場合
によっては、タイムコードや再生開始時間などを表示す
るようにしても良い。

【００４３】タイムコードは、記録媒体に記録された信
号を再生する場合は所定の信号から容易に検出すること
が可能で、また再生開始時間は、後の記録再生ブロック
構成例で示すシステムコントローラーなど所定の信号処
理ブロックにより容易に検出することができる。

【００４４】図２（２）に示す画像系列の表示例は、本
発明の第２の表示モード、または第２の再生モードを表
示する表示信号を生成する本発明における表示処理手段
として示す実施態様で、例えば、図２（１）の第１の表
示モードにおける画像系列Ａの１〜８の各画像シーンを
含む所定区間を表示したものである。

【００４５】図２（２）における１列の垂直方向の系列
（Ａ〜Ｈ）は、例えば、図２（１）の最上段の最も分類
出現頻度が多いと検出された画像系列で、水平方向１〜
８は、この図２（１）の最上段における画像系列Ａの１
〜８の各画像を含む所定区間の画像シーンを表示してい
る。

【００４６】この場合には、シーンチェンジ検出して、
この検出毎に水平方向に再生、表示するようにしても良
く、また所定時間、例えば１０秒〜１分位の間の時間間
隔で再生、表示するようにしても良い。

【００４７】図３は、上記の再生、表示の動作概念図で
あり、例えば、図１（２）で示したシーンＡでは、ａ
１、ａ２、ａ７、ａ８、ａ１５、ａ１６、…で分類検出
されており、それらの画像を含む所定区間の画像シーン
を表示できるように、図３（１）に示すような所定区間
を再生制御する。

【００４８】同様に、図１（２）に示したシーンＢで
は、図３（２）の所定区間を再生するように再生制御の
動作を行う。

【００４９】表示モード２で表示する画像系列は、表示
モード１におけるＡ〜Ｈの任意の画像系列を指定するこ
とができ、その他のシーンＣ、Ｄに分類された系列も、
図３に示すように再生動作を行う。

【００５０】このような再生動作は、リモコンなどでユ
ーザーが、図１０で説明するように、どの分類系列の画
像シーンを再生するか選択して指定することができ、ま
た分類頻度の大きい画像分類系列を装置のデフォルト設
定として優先的に再生、表示するようにしても良い。

【００５１】どの画像系列が、出現分類頻度が大きいか
は、ある時間区間を設定しないと、定義できないが、記
録あるいは再生過程において累計時間ごとに、時間の途
中でも検出することができ、ある時間の基点をユーザー
が設定するか、記録または再生動作開始時を基準にした
り、例えば、放送番組のプログラム毎に、そのような時
間の基点を設定しても良い。

【００５２】以上のような分類整理を、放送番組などを
記録媒体に記録する際に、ほぼ実時間で処理を行い、そ
の分類処理に応じた識別情報データａ、ｂ、ｃ、ｄなど
を、記録媒体に記録し、再生時に放送番組の再生と共に
その識別情報データａ、ｂ、ｃ、ｄなどを検出すること
で、すぐに画像分類の表示を行うことができ、それによ
り記録した内容が効果的にまた効率良く短時間に把握す
ることができる。

【００５３】これにより、ユーザーは分類整理された画
像を見て、見たいと思う画像シーンの系列を選択し、そ
の系列の画像シーンを含む所定の時間区間を再生するこ
とで記録した放送番組を、従来以上に効果的に、効率良
く、短時間でダイジェスト再生することができる。

【００５４】（画像分類信号処理および識別情報データ
生成法の概念）図４は、画像分類信号処理および識別情
報データ信号生成の信号処理方法の概念図であり、ここ
には、画像データから検出されたシーンＡ、Ｂ、Ｃ、Ｄ
などに対応した特性信号として用いる特性データを記憶
する図４(１)に示すメモリー系と、それに対応した識別
情報データａ、ｂ、ｃ、ｄなどを記憶する図４(２)に示
すメモリー系の２つがある。

【００５５】各々のメモリー系は物理的に別々のメモリ
ー系でも良く、また一つのメモリー系の記憶領域を各々
の所定データが記憶できるように分割して使用するよう
にしても良い。

【００５６】また、これらメモリー系は所定の制御信号
に応じて所定の記憶領域に記憶した所定のデータが逐次
所定の記憶領域に移動動作を行うメモリー系または、リ
ングバッファーメモリー系と同様の動作を行うメモリー
系とする。

【００５７】ここで、上記特性データは、入力画像デー
タを所定のＡ／Ｄ変換処理したベースバンド画像信号ま
たは、その画像信号をＭＰＥＧ２やウェーブレット(wav
elettransformation)変換など所定の帯域圧縮処理を施
した情報信号から検出することができる。

【００５８】この帯域圧縮処理は、例えば、図５に示す
ように１画面をＬＬＬＬ〜ＨＨまでの７分割から、Ａ０
〜Ａ６３の６４分割して、それぞれの分割領域における
輝度信号や色差信号の平均データ、または圧縮処理され
た画像データで例えば、ＭＰＥＧ２のデータである場合
は各々の分割領域におけるＤＣＴ(Discrete Cosine Tra
nsform)係数の平均データを用いることができる。

【００５９】ここで、図５におけるＬＬＬＬ〜ＨＨなど
は、図６に示すウエーブレット変換の概念図のＬＬＬＬ
〜ＨＨなどと対応する多重解像度解析を示すものであ
る。例えば、図６におけるＨｈ１は、画像データを水平
方向に１回目のウエーブレット変換を行った場合のサブ
バンドの広域成分を表しており、Ｌｖ１は垂直方向に１
回目のウエーブレット変換を行った場合のサブバンドの
低域成分を表しており、その他も同様に考える。

【００６０】ここで、例えば、図６から分かるように、
Ｈｈ１−＞Ｈｖ１と処理された部分はＨＨと記述し、Ｌ
ｈ１−＞Ｈｖ１と処理された部分はＬＨと記述し、その
他のＬＬＬＬ〜ＨＨの記述もこれに倣って記述してあ
る。

【００６１】また、ウェーブレット変換データである場
合は、各々の分割領域におけるウェーブレット変換係数
の平均データや、ウェーブレット変換係数から求めた各
々の分割領域における画像の所定しきい値以上のエッジ
数を特性データとして考えることもできる。

【００６２】ここでは、簡単のため、図４に示すよう
に、特性データメモリー系は所定記憶領域dinおよび d1
〜d16、識別データメモリー系は、所定記憶領域einおよ
びe1〜e16を設定するものとして説明するが、各々のメ
モリー系のメモリー容量はさらに大きく設定して良く、
例えば、１分から３０分間における画像シーンの特性デ
ータ、識別情報データが記憶できるように設定する。

【００６３】ここで、記憶する特性データは記録する放
送番組に応じた毎フレーム毎の特性データとする必要は
なく、例えば、シーンチェンジ検出を行い、シーンチェ
ンジ毎の特性データとしたり、また所定フレーム毎、例
えば１０フレーム間隔毎の特性データとすることも考え
られる。

【００６４】画像信号がＭＰＥＧで圧縮処理されている
場合は、Ｉピクチャーにおける画像データやＭＰＥＧデ
ータストリームにおける所定データとするなど、所定ピ
クチャー毎に処理することも考えられる。

【００６５】このようにＭＰＥＧデータストリームでＩ
ピクチャーなど特定のピクチャー毎に処理を行なう場合
は、ＭＰＥＧデータストリームの所定の識別情報データ
を検出することで、所定の処理を行なうことができる。

【００６６】識別情報データは記憶する特性データに対
応するものを記憶するので、上記の特性データの記憶容
量に応じて、識別情報データの記憶容量も変化する。

【００６７】このように、毎フレーム毎の画像データの
特性データを連続して記憶することなく、シーンチェン
ジ毎や所定フレームの間隔に応じて記憶することで、メ
モリーの記憶容量を削減することができる。

【００６８】入力した画像データの特性データは逐次、
メモリー系の所定記憶領域 din に記憶され、所定記憶
領域dinの特性データはすでに記憶されている記憶領域d
0〜d16のデータと所定の演算処理が行われる。

【００６９】ここで、所定の演算処理として、上記で述
べた画面における各々の分割領域におけるデータを成分
とする特性ベクトルを考え、ユークリッド距離または、
その他のベクトル距離演算を考えることができる。

【００７０】例えば、所定記憶領域dinに記憶された上
記で述べた図５のような分割画面に対応するベクトル成
分を、aｉ(ｉ= 0〜63）、特性データメモリー系２１の
ｎ記憶領域におけるベクトル成分をｂni(i = 0〜63)、
とすると、ベクトル距離 L は、 L = (_i=0Σ⁶³｜ai - bni｜² )^1/2 (1.1) または、 L = (_i=0Σ⁶³｜ai - bni｜ ) (1.2) などのように演算することができる。

【００７１】ここで、図４の例では、記憶領域d7におけ
るベクトル距離が最小 Lminで、所定のしきい値 Lth 以
内であると仮定する。 Lmin ≦ Lth (1.3)

【００７２】記憶領域d7に対応する記憶領域はe7で、こ
の記憶領域e7に記憶されている識別情報データを所定記
憶領域dinの識別情報データに割り当てるものとする。

【００７３】上記のように特性データの所定演算が終了
して、識別情報データの割り当てが決まったら、所定記
憶領域dinの特性データは、特性データメモリー系の記
憶領域 d0に記憶領域を移動する。

【００７４】記憶領域d1に記憶されていた特性データ
は、記憶領域d2の領域に移動し、記憶領域di に記憶さ
れていた特性データは、記憶領域di+1の領域に順次移動
する。

【００７５】同様に、割り当てが決まった識別情報デー
タは所定記憶領域einに記憶されていたが、e0の記憶領
域に移動し、e1の記憶領域の識別情報データはe2に移動
し、eiの識別情報データは、ei+1に順次移動する。

【００７６】ここで、上記で説明した特性データの所定
演算において、演算値 Lmin が所定しきい値の範囲にな
い場合、すなわち、 Lmin > Lth (1.4) の場合は、記憶領域e0〜e16 に記憶されている以外の識
別情報データを割り当てるものとする。

【００７７】通常は、簡単のため、識別情報データメモ
リー系に記憶されているe0〜e16のデータの中から最大
値を検出し、その最大値を１インクリメントし、それが
所定最大値を超えない場合は、そのデータ値を新しい識
別情報データ値とし、１インクリメントすることで所定
最大値を超える場合は、０を新しい識別情報データ値と
して割り当てる。

【００７８】その後の処理で、同じように所定最大値を
超える場合は、新しく０を設定した値から順次１インク
リメントしたデータ値を新しい識別情報データ値として
割り当てる。

【００７９】このように所定最大値を超えた場合に、新
しく０設定したデータ値から１ずつインクリメントする
ことは、時系列的に考えれば、ここで設けたメモリー系
の記憶容量よりも前の、古いデータを上書き、または捨
てて新しいデータを順位割り当てることを意味してい
る。

【００８０】これは、放送番組などを処理対象とする場
合に、あまり時間的に前の類似画像を検出して分類して
も、見ている人の画像に対する記憶や印象が薄れて、分
類処理してダイジェスト再生やスキミング動作、あるい
は記録した内容の把握を目的とした動作に対して、あま
り優位性が認められないであろうという仮定と、メモリ
ー容量を大きくするより、ある程度の所定メモリー容量
でシステムのコストを抑え所定の動作が行える方がユー
ザーに対して優位性が認められるであろうという仮定に
基づいている。

【００８１】例えば、記憶領域e0〜e16の記憶領域には
すでに、0000H 〜000FH（16進）の識別情報データが記
憶されていて、上記（1.3) の条件の場合は、記憶領域d
7の特性データには、0010Hの識別情報データを割り当て
るものとする。

【００８２】次の演算処理を行なう映像シーンでの識別
情報データを割り当てが、所定しきい値より大きく、
(1.4)の条件の場合は、上記で述べたように、e0〜e16に
おける最大値は、000FH と仮定しているので、１インク
リメントした、0010H を割り当てるように処理を行う。

【００８３】ここで、識別情報データの割り当てがFFFF
Hでいっぱいになった場合は、0000Hに戻るものとする。

【００８４】そして、前記したように、この0000Hから
順次、１インクリメントするように識別情報データ値を
割り当てるように動作を行う。

【００８５】このように割り当てられた einの識別情報
データを、記録する画像シーンのデータと共に所定記録
媒体に記録し、再生時に検出を行うことで、同じ識別情
報データの映像シーンは、複雑な信号処理や長い処理時
間を待つことなく、すぐに類似画像であると判定でき
る。

【００８６】上記の例では識別情報データを 0000Hのよ
うに２バイトで説明したが、これに限ることなく、さら
に多くの識別情報データを設定できるようにしても良
い。

【００８７】特性データ記憶領域および識別情報データ
記憶領域の容量が少なく、設定する識別情報データのバ
イト数が小さいと、類似画像でないにもかかわらず、同
じ識別情報データが割り当てられる確率が高くなるの
で、類似画像検出の頻度を考慮してメモリー容量および
識別情報データのバイト数を設定する必要がある。

【００８８】（識別情報データ折り返り処理の説明）図
７は、識別情報データが順次増加し、最大値を超える場
合の処理法を説明するための概念図である。

【００８９】上記で説明したように、上記(1.4)式に示
すように所定しきい値の範囲にない場合は、識別情報デ
ータメモリー系に記憶されているデータの最大値を検出
し、１インクリメントして割り当てることになるが、図
７の区間Ａｎに示すｂ点のようにFFFFHと識別情報デー
タがいっぱいになった場合は、区間Ａｎでない区間Ａｎ
＋１における最大値のｄ点を検出して１インクリメント
する必要がある。

【００９０】そのため、例えば、図７に示すように区間
Ａｎと区間Ａｎ＋１のように区間を識別する区間識別デ
ータＰを設定し、識別情報データ値がいっぱいになり、
データ値をリセットする毎に区間識別データＰが変化す
ることを考える。

【００９１】図７の例では、簡単のため、区間識別デー
タＰの設定値として、０、１が交互に変化するようにし
てあり、識別情報データ値がいっぱいになりFFFFHを超
えて、設定すべき識別情報データ値を折り返す必要があ
る場合は、その折り返す前の区間の識別情報データの最
大値は、動作初期区間Ａ０の場合を除き、FFFFHになる
ので、前記した条件式（1.4）の場合で類似画像検出が
行なえず、識別情報データを新たに設定する場合も問題
なく所定の信号処理を行なうことができる。

【００９２】（メモリー記憶容量の一例）ここで、識別
情報データのメモリー容量を考えてみる。放送番組など
の映像シーンを記録することを考えた場合に、特別な場
合を除き、頻繁にシーンチェンジが起きる確率はあまり
高くないと想定できるので、例えば、３０フレーム毎秒
の画像を１０フレーム毎に特性データを記憶し、所定の
演算を行うと仮定する。

【００９３】また、類似画像が出現する時間間隔は、長
い時間がたった後に出現する確率はあまり大きくないと
仮定し、３０分間位の間で類似画像検出を行うことを考
える。

【００９４】例えば、１０フレーム毎にシーンチェンジ
が起こり、新しい識別情報データを割り当てると仮定す
るし、３０分では、 30（分）× 60（秒）× 10（フレーム／秒）= 18000 なので、前記した２バイトの識別情報データでも十分対
応できることが分かり、識別情報データメモリー系２４
の記憶容量は、高々、 18000 × 2（バイト） = 35（KByte） となる。

【００９５】また、特性データの記憶容量は、例えば、
前記したように６４次のベクトル成分を考え、１成分１
バイトとすると、３０分では、 18000 × １（バイト）× 64（成分）= 1.1（MByte) となる。

【００９６】上記で計算したメモリー容量は、画像分類
演算の間隔をさらに広げれば、もっと少ないメモリー容
量で対応できることが分かる。

【００９７】（２）放送番組における識別情報データ値
の特性例 図８は、ある放送番組を本発明の処理により画像分類し
た場合の時系列的なフレーム番号に対する割り当てられ
た識別情報データ値の特性である。

【００９８】図８において（ａ）または（ｂ）のように
同じ識別情報データが太線で水平方向に延びて各フレー
ム毎に継続する場合は、それに対応するフレーム番号の
映像シーンは類似画像として分類される。

【００９９】そして、類似画像が検出されない場合は、
図８に示すように右上がりの太線で示す通り時間が経過
すると共に識別情報データ値が増加するようになる。

【０１００】また、図９は図８の識別情報データに対す
る出現頻度の特性で、（ｂ）の700が一番出現頻度（割
り当て頻度）が大きく、（ａ）の０が２番目に大きいこ
とがわかる。

【０１０１】（３）画像分類処理系ブロック構成例 図１０は、前記した画像分類処理法による本発明の画像
分類処理系でのブロック構成例である。

【０１０２】本発明における特性信号検出手段として機
能する特性データ検出系２０には、Ａ／Ｄ変換された情
報信号としての所定の画像データ、または所定の帯域処
理が施されたＭＰＥＧ２などの画像データが入力され、
所定の特性信号として特性データが検出される。

【０１０３】特性データ検出系２０からの信号は特性デ
ータメモリー系２１に入力され、所定の記憶領域に記憶
される。

【０１０４】演算処理系２２では、図４(１)に示すよう
な特性データメモリー系２１に記憶されているデータ
と、逐次、特性データ検出系２０で検出される特性デー
タに対してベクトル距離演算など所定の演算処理を行っ
て、その演算結果をシステムコントローラー１７に入力
する。

【０１０５】また、システムコントローラー１７は、特
性データメモリー系２１および図４(２)に示すような識
別情報データメモリー系２４に記憶されている所定領域
の各々のデータを順次、前記で説明したように、所定の
記憶領域に移動するように制御する。

【０１０６】これにより、逐次検出される特性データ
は、新しく特性データメモリー系２１に記憶されること
になる。

【０１０７】本発明における分類識別信号処理手段とし
ても機能するシステムコントローラー１７では、演算処
理系２２からの信号を受け取り、所定しきい値の範囲に
あるか判定し、所定しきい値の範囲にある場合は、上記
所定演算最小値が得られた特性データメモリー系２１の
データに対応した、識別情報データメモリー系２４に記
憶された識別情報データを読み出し、演算処理を行った
画像シーンの識別情報データとして割り当てて例えば次
に説明する多重化処理系６に出力する。

【０１０８】また、システムコントローラー１７は、演
算処理系２２からの演算値が所定しきい値の範囲にない
場合には、識別情報データメモリー系２４に記憶されて
いる識別情報データ値の最大値を検出し、そのデータ値
を１インクリメントし、それが所定最大値を超えない場
合は、新しい識別情報データ値とし、１インクリメント
することで所定最大値を超える場合は、０を新しい識別
情報データとし、以後の処理で同様にしきい値を超える
場合は、この０から順次１ずつインクリメントしたデー
タを新しい識別情報データとして割り当てて例えば次に
説明する多重化処理系６に出力する。

【０１０９】（４）記録再生装置ブロック構成例 （記録処理系の説明）図１１は本発明を適用し、映像
(画像)／音声データに対してエンコード或いはデコード
を施したときの情報信号記録再生装置のブロック構成例
である。先ず始めに、記録処理系について説明する。

【０１１０】入力した音声信号は音声Ａ／Ｄ変換処理系
１において所定のＡ／Ｄ変換処理がなされ、音声エンコ
ーダー処理系２でＭＰＥＧオーディオなど所定の帯域圧
縮処理が行われ多重化処理系６に入力される。

【０１１１】映像信号は映像Ａ／Ｄ変換処理系３で所定
のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４で
はＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処
理系６に入力される。

【０１１２】画像／音声分類処理系５は、本発明におけ
る分類識別信号処理手段として機能し、前記で説明した
ようなブロック構成で、映像Ａ／Ｄ変換処理系３からの
信号または映像エンコーダー処理系４からの信号と共に
音声エンコーダ処理系２からの信号が入力され、記録す
る放送番組などの映像シーンを、記録時に自動的に所定
の分類整理、識別処理を行い、所定の識別情報データを
生成して多重化処理系に入力する。

【０１１３】この識別情報データは、点線で示すよう
に、システムコントローラー１７を介して生成するよう
にしても良く、この場合はシステムコントローラー１７
の制御により、またはシステムコントローラー１７にお
いて生成された所定の識別情報データが多重化処理系６
に入力される。

【０１１４】多重化処理系６では、入力した各々の信号
に対して所定の多重化処理を行い、記録処理系７におい
て誤り訂正符号付加やインターリーブ処理などの所定の
記録処理を施し、所定の記録媒体系８に記録する。

【０１１５】（再生処理系の説明）次に再生処理系につ
いて説明する。所定の記録媒体系８から再生された情報
信号は、再生処理系１０でデインターリーブ処理など所
定の処理が行われた後、再生データ分離処理系１１に入
力されて、記録時に多重化処理された所定の信号を各々
分離処理する。これ等の再生処理系１０と再生データ分
離処理系１１などで本発明における再生手段を構成す
る。

【０１１６】分離処理された音声信号は音声デコード処
理系１２に入力され、記録時に所定の圧縮処理された音
声信号がデコード処理される。

【０１１７】デコード処理された音声信号は、次の音声
Ｄ／Ａ処理系１３に入力され所定のＤ／Ａ変換処理が行
われた後、音声出力される。

【０１１８】分離処理された映像信号は映像デコード処
理系１４に入力され、記録時に所定の圧縮処理が行われ
た映像データがデコード処理され、デコード処理された
映像データは次の映像Ｄ／Ａ変換処理系１５に入力され
て所定のＤ／Ａ変換が行われた後、映像出力されるか、
画像表示系３０により所定の画像表示が行なわれる。

【０１１９】また、分離処理処理された所定の識別情報
データは、本発明における識別情報信号検出手段として
機能する識別信号検出系１６に入力され、ダイジェスト
再生やスキミング再生処理に必要な識別情報データが検
出されて、システムコントローラー１７に入力される。

【０１２０】ダイジェスト再生やスキミング再生など所
定の特殊再生動作を行いたい場合は、ユーザーはユーザ
ー入力インターフェース（Ｉ／Ｆ）系１８を介して、シ
ステムコントローラー１７にコマンド入力を行う。

【０１２１】システムコントローラー１７はユーザーか
らのコマンド情報を受け取り、本発明における再生制御
手段として機能する再生制御系９を制御し、分類処理さ
れた画像系列の中からユーザーが所望する画像系列の再
生が行われるように、記録媒体系８からの再生を制御す
る。

【０１２２】縮小画像生成系３１は再生制御系９の制御
の基に、所定の検出された再生画像を例えば水平方向と
垂直方向に各々１／８に平均化処理や間引き処理など所
定の信号処理により縮小画像を生成し、画像メモリー系
３２では所定の処理がなされた縮小画像を前記した図２
（１）または（２）に示す第１または第２の表示モード
であるマルチ画像で表示できるように所定の縮小画像を
所定系列分記憶して所定の画像系列分の画像が記憶され
た後に画像表示系３０に出力する。そして、これ等の縮
小画像生成系３１、画像メモリー系３２、画像表示系３
０などで、本発明における表示処理手段を構成するが、
ここでは、図２（１）または（２）に示す第１と第２の
表示モードの表示を所定の操作に応じて切り替えて表示
するか、又は表示を行うための表示信号を生成すること
も行われる。

【０１２３】（５）動作フローチャートの一例 図１２は本発明における画像データから記録媒体への記
録までの全体の動作を説明する動作フローチャートの一
例である。ステップＳ０ からスタートし、ステップＳ
１において、前記したように、識別情報データ値がいっ
ぱいのＦＦＦＦＨになって設定データを折り返した場合
のメモリー区間識別のために、区間識別データＰを設け
ておき、その初期設定Ｐ＝０を行い、ステップＳ２で、
画像データを入力して、ステップＳ３で特性データ検出
系２０により特性データを検出する。

【０１２４】ステップＳ４において、上記検出した特性
データから特性ベクトルを生成して、後のベクトル距離
演算のため、ステップＳ５において特性データ用の所定
のバッファメモリー領域に一時的に記憶する。

【０１２５】ステップＳ６は、後に図１３で詳細に示す
特性データ演算処理ルーチンで、演算処理系２２によ
り、上記ステップＳ５のバッファメモリーに記憶されて
いる特性ベクトルのデータを読み出し、これを基準ベク
トルとして特性データメモリー系２１に記憶されている
データと所定の演算を行う。

【０１２６】ステップＳ６で演算処理系２２により所定
の演算処理が行われ、所定の識別情報データが、ステッ
プＳ７において演算を行った基準ベクトルに対応する画
像シーンに割り当てられて、システムコントローラー１
７の制御の基に、ステップＳ８でその識別情報データ
は、識別情報データメモリ系２４の識別情報データ用の
バッファメモリー領域に、一時的に記憶される。

【０１２７】その後、ステップＳ９では、所定の圧縮処
理を施された音声データ、画像データに対して多重化処
理系６により所定の多重化処理が行われ、記録処理系７
により、ステップＳ１０において記録媒体系８における
所定の記録媒体に記録されるように、所定の記録処理が
施される。

【０１２８】ステップＳ１１では、動作を停止するかど
うかの判定がなされ、停止する場合はステップＳ１３に
おいて、動作を終了し、動作を継続する場合は、ステッ
プＳ１２に移行し、特性データ用バッファーメモリー領
域に記憶されているデータと特性データメモリー系２１
に記憶されている各データは所定のメモリー記憶領域に
順次移動する。

【０１２９】同様に、識別情報データ用バッファーメモ
リー領域に記憶されていたデータと識別情報データメモ
リー系２４に記憶されているデータも各データが所定の
メモリー記憶領域に移動する。

【０１３０】ステップＳ１２で特性データおよび識別情
報データが所定のメモリー記憶領域に移動を行った後、
ステップＳ２に戻り上記で述べた動作を繰り返す。

【０１３１】（特性データ演算処理のフローチャート）
次に、演算処理系２２によって実行されるステップＳ６
における特性データ演算処理のフローチャートについて
説明する。図１３は、その動作フローチャートの一例で
あり、ステップＴ１で特性データメモリー系２１のメモ
リー領域番号と対応した演算回数の初期設定ｉ＝０を行
う。

【０１３２】ステップＴ２は、識別情報データの識別値
の初期設定ｎ＝０を行い、ステップＴ３では特性データ
メモリー系２１の、すべての領域におけるデータと所定
の演算処理が終了したかどうかの判定が行われる。

【０１３３】ステップＴ３でＮＯの場合はまだ、特性デ
ータメモリー系２１すべてのデータと演算処理が終了し
ていないので、これ以降の所定のベクトル距離演算ルー
プに移行する。

【０１３４】ステップＴ４では、特性データメモリー系
２１から、メモリー領域ｉの所定の特性データベクトル
を読み出し、ステップＴ５において所定の演算処理を行
い、その演算値（ベクトル距離演算値）をＧｉとする。

【０１３５】ステップＴ６において、演算値の最小値を
求める処理を行うための初期値設定値を行うため、一番
最初 ｉ＝０の演算値であるかどうかが判定され、ステ
ップＴ７で最小値を求めるための初期設定Gmin= G0を行
う。

【０１３６】ステップＴ６で、一番最初の演算ではない
と判定される場合は、ステップＴ９に移行し、演算値Gi
が、前の演算値Gminより小さいかの判定が行われ、ＹＥ
Ｓの場合はステップＴ１０においてGminを今の演算値Gi
で置き換えると共に、ステップＴ１１で識別情報データ
値ｎを置き換えて ｎ＝ｉ として、ステップＴ８に移行
する。

【０１３７】ステップＴ６において、ＮＯの場合には、
演算値は置き換えず、次のデータ演算を行うため、ステ
ップＴ８に移行し特性データメモリー系のデータ読み出
し領域を移動し、ｉを１インクリメントしてステップＴ
３に戻り処理を繰り返す。

【０１３８】ステップＴ３において、特性データメモリ
ー系すべての所定領域との演算が終了したと判定された
場合は、演算の結果の最小演算値が求まっているので、
ステップＴ１２でそれが所定の設定しきい値Ｇth以内か
どうかの比較処理が行われる。

【０１３９】ステップＴ１３において、所定しきい値以
内と判定される場合は、上記で説明した演算処理ループ
で求まった識別情報データ値ｎが、演算処理を行った映
像シーンに対応する識別情報データ値となり、前記した
ステップＳ７の処理に移行し、識別情報データ値として
割り当てられる。

【０１４０】ステップＴ１３ においてＮＯの場合は、
所定しきい値以内でないので、後の図１４で詳細に説明
するステップＴ１４ に移行し、識別情報データメモリ
ー系２４に記憶されているデータ値の最大値nmaxを算出
する。そしてステップＴ１５では、ステップ１４で算出
された最大値 nmax を１インクリメントした値を新しい
識別情報データ値ｎとする。

【０１４１】ステップＴ１６では、新しく設定された識
別情報データ値ｎが、所定値の範囲である、ＦＦＦＦＨ
に収まっているかの判定がなされ、ＹＥＳの場合は、前
記したステップＳ７に移行して、演算処理を行った映像
シーンに対応する識別情報データ値となり、識別情報デ
ータ値として割り当てられる。

【０１４２】ステップＴ１６でＮＯの場合は、割り当て
ようとする識別情報データの値が、許容値を超えるの
で、ステップＴ１７において一度ゼロクリアして識別情
報データ値として割り当てることになり、ステップＴ１
８でこのゼロクリアして設定したメモリー区間の識別デ
ータＰを、識別情報データ値の最大値がＦＦＦＦＨとな
ったメモリー区間の区間識別データＰが１の場合は０
を、０の場合は１となるように反転して設定する。

【０１４３】（識別情報データメモリー系記憶データの
最大値算出処理Ｔ１４）次に、上記で述べた、ステップ
Ｔ１４の識別情報データメモリー系２４に記憶されてい
るデータの最大値をシステムコントローラー１７により
算出する処理フローチャートについて図１４に示すフロ
ーチャートにより説明する。

【０１４４】図１４において、ステップＡ１で、区間識
別データＰの処理回数の初期設定ｊｐ＝１ とし、最大
値算出の初期値として、ステップＡ２においてｊ＝０に
おける識別情報データ値ｎ０を設定する。

【０１４５】ステップＡ３で、処理回数が、識別情報デ
ータメモリー系２４の記憶領域の個数を超えないかどう
かの判定がなされ、ＹＥＳの場合はステップＡ４に移行
して、今までの処理における最大値ｎｍａｘと比較し、
大きか小さいかの判定処理を行う。

【０１４６】ステップＡ４でＹＥＳと判定された場合
は、ステップＡ５でｎｍａｘをｎｊｐに置き換え、ステ
ップＡ６で処理回数を１インクリメントし、ステップＡ
３に戻り、処理を繰り返す。

【０１４７】ステップＡ３でＮＯと判定された場合は、
区間識別データＰでの識別情報データメモリー系２４の
記憶領域すべてを比較し最大値が算出されたので、ステ
ップＡ７において検出された最大値ｎｍａｘが、許容さ
れている最大のＦＦＦＦＨと等しいかの判定がなされ、
ＮＯの場合は、算出最大値として処理を終了し、前記し
た、ステップＴ１５に移行する。

【０１４８】ステップＡ７でＹＥＳの場合は、ステップ
Ａ８に移行し、区間識別データＰを反転し、異なるメモ
リー区間における最大値検出するため、ステップＡ１に
戻り、最大値検出の処理をもう一度行なう。

【０１４９】（再生表示モード１の動作フローチャート
例）図１５（１）〜（３）は、記録媒体系８からデータ
を読み出して画像データなどを再生する場合の動作フロ
ーチャートであり、前記したような類似画像を検出し、
所定の識別分類処理を行い、識別頻度順に表示を行う場
合の再生表示モード１における動作フローチャートの一
例である。

【０１５０】再生処理系１０により、図１５（１）のス
テップＢ０からスタートし、再生データ分離処理系１１
を経由する識別信号検出系１６により、ステップＢ１で
記録媒体系８からデータを再生する再生動作を行い、再
生データを分離し、識別信号検出系１６により、ステッ
プＢ２で所定の識別情報データを検出し、ステップＢ３
の識別データ頻度算出処理に移行する。

【０１５１】ステップＢ３の識別データ頻度算出処理
は、システムコントローラー１７により、図１５（２）
に示すような動作フローチャートで、ステップＣ０にお
いて所定のシーンチェンジ検出が行われ、ステップＣ１
で所定のシーンチェンジが検出されるか判定される。

【０１５２】シーンチェンジ検出は画像データのフレー
ム差分を検出することで容易に検出することができる
が、すでに類似検出分類処理が行われているので、識別
情報データの変化を検出することでもシーンチェンジを
行うことも考えられる。

【０１５３】すなわち、類似した画像系列が続きシーン
チェンジがない場合は、識別情報データは同じ値が継続
し、シーンチェンジが起きて類似画像シーンでないと分
類された場合は識別情報データが前のフレームと異なる
ので、このような識別情報データの変化を検出すること
で所定のシーンチェンジ検出を行うことも考えられる。

【０１５４】ステップＣ１で所定のシーンチェンジが検
出された場合はステップＣ２に移行し、ステップＣ２で
所定の分類毎の識別情報データ値ＩＤｎをカウントし、
ステップＣ３に移行する。ここで、ｎは前記した図２
（１）で説明したＡ〜Ｈのような画像分類系列を示す。

【０１５５】ステップＣ１で所定のシーンチェンジが検
出されない場合は、ステップＣ３に移行し、所定の再生
区間が終了したかが判定され、ＮＯの場合はステップＣ
０に戻り、上記の動作を繰り返し、ＹＥＳの場合は、ス
テップＣ４に移行し、カウント処理したＩＤｎを検出頻
度の多い順番にソート処理を行い、その後、図１５
（１）の動作フローチャートに示すステップＢ４の再生
制御処理のフローに移行する。

【０１５６】ステップＢ４の再生制御処理は、図１５
（３）に示すような動作フローチャートで、ステップＤ
０で所定のマルチ画面として表示できるように、表示す
る画像の数を決める識別情報データを算出する。

【０１５７】例えば、前記したように所定のカウント処
理、ソート処理され、例えば分類系列Ａにおいて、類似
画像として分類された画像シーンが１０あり、表示する
画像シーンが８の場合は、その１０のシーンからより新
しいシーン８を選択するような処理を行う。

【０１５８】システムコントローラー１７により、ステ
ップＤ１では、上記のステップＤ０で算出された各分類
画像系列のＩＤｎｍを検出する処理を行い、ステップＤ
２で検出されるかの判定がなされ、ＹＥＳの場合はステ
ップＤ３に移行し縮小画像処理系３１により所定の縮小
画像生成処理が行われ、ステップＤ４で画像メモリ系３
２の所定の画像メモリーの所定記憶領域に、図２に示し
たようなマルチ画面表示が行えるように、画像データを
記憶する。

【０１５９】ステップＤ２でＮＯの場合はステップＤ６
に移行し、検出区間のスキップ処理を行い、ステップＤ
１に戻り所定の処理を繰り返す。

【０１６０】ステップＤ４の処理の後、システムコント
ローラー１７と再生制御系９により、ステップＤ５では
ステップＤ０で算出された所定の識別情報データの画像
シーン時点が所定の数検出できたかの判定がなされ、Ｎ
Ｏの場合はステップＤ１に戻り、上記の所定の処理を繰
り返し、ＹＥＳの場合は、図１５（１）の動作フローチ
ャートのステップＢ５に移行する。

【０１６１】ステップＢ５では所定の画像メモリー系３
２に記憶された画像データをシステムコントローラー１
７により制御されて読み出され、ステップＢ６で、シス
テムコントローラー１７の制御により前記した図２
（１）に示すような本発明における第１の表示モードで
画像表示系３０に表示を行う。

【０１６２】（再生表示モード２の動作フローチャート
例）図１６は、前記した図２（２）の表示のような、再
生表示モード２の動作フローチャートの一例である。

【０１６３】ステップＥ０からスタートし、ステップＥ
１では、図２（１）に示すような分類表示された画面の
中から所望の画像系列をユーザ入力により指定する。

【０１６４】ステップＥ２では、システムコントローラ
ー１７により、指定された画像系列における、図３で説
明したような所定区間が再生できるように、所定の識別
情報データを算出する処理を行い、Ｅ３の再生制御処理
に移行する。

【０１６５】ステップＥ３の再生制御処理は、前記図１
５（３）で説明した動作フローチャートと同様な処理で
あり、重複するので説明は省略する。

【０１６６】その後、ステップＥ４に移行し、システム
コントローラー１７の制御により画像メモリ系３２から
所定の画像読み出し処理を行い、ステップＥ５でシステ
ムコントローラー１７により図２（２）に示すような本
発明における第２の表示モードで画像表示系３０に表示
を行う。

【０１６７】なお、この再生表示モード２の動作では、
ステップＥ３の再生制御処理の過程における図１５
（３）に示すステップＤ２でＹＥＳの場合に逐次、表示
を行うことで、ダイジェスト再生動作を行うことがで
き、このようにダイジェスト再生動作を行うことで、短
時間に記録した内容を効果的に、効率良く把握すること
ができる。

【０１６８】図１７は、そのダイジェスト再生を行う場
合の動作フローチャートの一例であり、ステップＦ０〜
Ｆ２の動作フローは前記した図１５（３）におけるステ
ップＤ０〜Ｄ２と同様な動作を行い、ステップＦ３で
は、前記で説明した図３に示すような検出された時点の
所定区間を再生し表示する処理を行い、ステップＦ４で
停止、または再生区間が終了したかの判定がなされ、Ｙ
ＥＳの場合はステップＦ６で動作を終了し、ＮＯの場合
は、ステップＦ１に戻り所定のダイジェスト再生動作を
繰り返す。

【０１６９】

【発明の効果】以上、説明したように、本発明に係る情
報信号処理装置並びに情報信号処理方法および情報信号
再生装置によれば、放送番組などを記録する際に、自動
的に画像シーンの分類、インデキシング処理が行われ、
記録処理終了後、すぐに再生動作を行う場合でも、画像
シーンの分類整理などの処理時間を待つことなく直ちに
記録した画像シーンを所定の分類により画像系列として
表示、再生することができる。

【０１７０】表示された画像系列は分類頻度に応じた表
示、再生となるので、ユーザーはどのような画像シーン
が最も頻繁に現れたかを容易に知ることができ、これに
より効果的に効率良く画像シーンの内容を把握すること
ができる。

【０１７１】また、頻度に応じた画像系列の表示からユ
ーザーが指定する画像系列の各々の画像シーンを含む所
定区間の画像シーンを再生表示することができるので、
長時間記録した画像シーンの内容を効果的に効率良く、
短時間に把握することができる。

【０１７２】以上のことからユーザーは、記録した放送
番組などの内容を、効果的にまた効率的に画像シーンを
見て確認することができ、容易に自分の見たいと思う画
像シーンを選択して効果的に、効率的にダイジェスト再
生を行うことができる。

【図面の簡単な説明】

【図１】本発明の画像シーンの分類処理の動作原理を説
明する説明図であり、（１）図は入力画像の画像系列を
示す概念図、(２)図は類似画像毎に分類することを示す
概念図である。

【図２】本発明による画像分類表示の概念を示す概念図
であり、（１）図は第１の表示モードを示す概念図、
(２)図は第２の表示モードを示す概念図である。

【図３】本発明の分類処理された画像シーンの再生区間
を説明する説明図である。

【図４】本発明の動作原理を説明する説明図であり、
（１）図は特性データの演算処理を示す説明図、(２)図
は識別データを割り当てる処理を示す説明図である。

【図５】画面分割による特性データ（特性ベクトル）生
成の説明図である。

【図６】ウエーブレット変換の概念を説明する概念図で
ある。

【図７】識別情報データ値の折り返り処理方法を説明す
る説明図である。

【図８】本発明による識別情報データ値の時系列特性の
一例を説明する説明図である。

【図９】本発明による識別情報データ値の頻度特性の一
例を説明する説明図である。

【図１０】本発明の画像分類処理系の実施態様を示すブ
ロック構成の一例を説明する構成図である。

【図１１】本発明の記録再生装置の実施態様を示すブロ
ック構成の一例を説明する構成図である。

【図１２】本発明における画像データの入力から記録ま
での全体の動作を示すフローチャートの一例を説明する
構成図である。

【図１３】本発明の特性データの算出処理を示すフロー
チャートの一例を説明する構成図である。

【図１４】本発明の識別情報のデータの最大値を算出処
理する動作フローチャートの一例を説明する構成図であ
る。

【図１５】本発明による再生表示モード１の動作フロー
チャート図の一例を説明する構成図であり、（１）図は
表示再生モードの動作を示すフローチャート図、（２）
図は識別データの頻度算出処理の動作を示すフローチャ
ート図、（３）図は再生制御処理の動作を示すフローチ
ャート図である。

【図１６】本発明による再生表示モード２の動作を示す
フローチャート図である。

【図１７】本発明による再生表示モード２の動作におい
てダイジェスト再生の動作を示すフローチャート図であ
る。

【符号の説明】

１：音声Ａ／Ｄ変換処理系、 ２：音声エンコーダー処
理系、３：映像Ａ／Ｄ変換処理系、 ４：映像エンコー
ダー処理系、５：映像／音声分類処理系、 ６：多重化
処理系、 ７：記録処理系、８：記録媒体系、 ９：再
生制御系、 １０：再生処理系、１１：再生データ分離
処理系、 １２：音声デコード処理系、１３：音声Ｄ／
Ａ処理系、 １４：映像デコード処理系、１５：映像Ｄ
／Ａ処理系、 １６：識別信号検出系、１７：システム
コントローラー、 １８：ユーザー入力Ｉ／Ｆ系、２
０：特性データ検出系、 ２１：特性データメモリー
系、２２：演算処理系、 ２３：識別情報データ生成
系、２４：識別情報データメモリー系、 ３０：画像表
示系、３１：縮小画像生成系、 ３２：画像メモリー系

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 5/92 Ｈ Ｆターム(参考） 5C052 AC01 AC08 CC11 DD04 5C053 FA14 GA11 GB38 HA21 HA29 JA21 KA01 KA24 KA25 LA06 LA07 5D044 AB05 AB07 BC01 BC04 CC01 CC03 CC04 CC08 DE28 DE49 EF05 FG18 FG24 GK12 HL02 5D077 AA04 AA17 AA22 AA30 CA02 DC03 DC12 DE01 DF02 EA01 HC05 HC17

Claims (12)

【特許請求の範囲】
1. 【請求項１】 所定の情報信号から所定の特性信号を検
   出する特性信号検出手段と、 上記特性信号検出手段からの信号に応じて上記情報信号
   を所定の分類または識別を行う分類識別信号処理手段
   と、 上記分類識別信号処理手段からの信号により、上記分類
   または識別の所定の頻度に応じた第１の所定表示を行う
   第１の表示モードと、または第１の表示モードにおける
   所定部分の情報信号を含み所定の時間系列の第２の所定
   表示を行う第２の表示モードとを行うための表示信号を
   生成する表示処理手段とを備えたことを特徴とする情報
   信号処理装置。
2. 【請求項２】 上記情報信号は画像信号または画像信号
   を所定の圧縮処理を施した信号とする請求項１に記載の
   情報信号処理装置。
3. 【請求項３】 上記分類または識別は上記情報信号の所
   定類似性の所定許容範囲とする請求項１に記載の情報信
   号処理装置。
4. 【請求項４】 上記第１の所定表示は水平方向または垂
   直方向の系列に上記情報信号を所定類似性の所定許容範
   囲毎の表示とし、上記第２の所定表示はその水平方向ま
   たは垂直方向の１系列における所定信号を含み、所定信
   号変化時またはその近傍または所定時間間隔の信号を水
   平方向または垂直方向の系列に表示する請求項１に記載
   の情報信号処理装置。
5. 【請求項５】 所定の情報信号から所定の特性信号を検
   出し、 上記特性信号の検出に応じて上記情報信号を所定の分類
   または識別を行い、上記分類または識別の所定の頻度に
   応じた第１の所定表示を行うか、または第１の所定表示
   における所定部分を含む情報信号を所定の時間系列によ
   り第２の所定表示を行うか、または、上記第１の表示と
   第２の表示を所定の操作に応じて切り換えて表示する
   か、または表示を行うための表示信号を生成することを
   特徴とする情報信号処理方法。
6. 【請求項６】 上記情報信号は画像信号または画像信号
   を所定の圧縮処理を施した信号とする請求項５に記載の
   情報信号処理方法。
7. 【請求項７】 上記分類または識別は上記情報信号の所
   定類似性の所定許容範囲とする請求項５に記載の情報信
   号処理方法。
8. 【請求項８】 上記第１の所定表示は水平方向または垂
   直方向の系列に上記情報信号を所定類似性の所定許容範
   囲毎の表示とし、上記第２の所定表示はその水平方向ま
   たは垂直方向の１系列における所定信号を含み、所定信
   号変化時またはその近傍または所定時間間隔の信号を水
   平方向または垂直方向の系列に表示する請求項５に記載
   の情報信号処理方法。
9. 【請求項９】 所定の情報信号と、その情報信号におけ
   る所定時点または所定区間を所定の分類または識別を行
   うことができる識別情報信号が記録された所定の記録媒
   体から上記情報信号および識別情報信号を再生する再生
   手段と、上記再生手段から上記識別情報信号を検出する
   識別情報信号検出手段と、上記識別情報信号検出手段か
   らの信号により、上記分類または識別の所定の頻度に応
   じた第１の所定表示を行うように第１のモードの再生を
   行うか、または第１の所定表示における所定部分を含む
   情報信号を所定の時間系列による第２の所定表示を行う
   ように第２のモードの再生を行うか、または上記第１の
   表示と第２の表示を所定の操作により切り換えて表示で
   きるように再生する再生制御手段とを備えたことを特徴
   とする情報信号再生装置。
10. 【請求項１０】 上記情報信号は画像信号または画像信
    号を所定の圧縮処理を施した信号とする請求項９に記載
    の情報信号再生装置。
11. 【請求項１１】 上記分類または識別は上記情報信号の
    所定類似性の所定許容範囲とする請求項９に記載の情報
    信号再生装置。
12. 【請求項１２】 上記第１のモードの再生は上記情報信
    号を所定類似性の所定許容範囲毎に再生する再生動作と
    し、上記第２のモードの再生は上記第１のモード再生に
    おける所定の１系列における所定信号を含み、所定信号
    変化時またはその近傍または所定時間間隔の信号を再生
    する再生動作とした請求項９に記載の情報信号再生装
    置。