JP2004040629A - Information signal processing apparatus, information signal processing method, information signal display device, and information signal display method - Google Patents

Information signal processing apparatus, information signal processing method, information signal display device, and information signal display method Download PDF

Info

Publication number
JP2004040629A
JP2004040629A JP2002197311A JP2002197311A JP2004040629A JP 2004040629 A JP2004040629 A JP 2004040629A JP 2002197311 A JP2002197311 A JP 2002197311A JP 2002197311 A JP2002197311 A JP 2002197311A JP 2004040629 A JP2004040629 A JP 2004040629A
Authority
JP
Japan
Prior art keywords
predetermined
signal
information signal
recording medium
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002197311A
Other languages
Japanese (ja)
Other versions
JP4239496B2 (en
Inventor
Noboru Murabayashi
村林　昇
Hiroshige Okamoto
岡本　裕成
Kaneo Saito
斉藤　金男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002197311A priority Critical patent/JP4239496B2/en
Publication of JP2004040629A publication Critical patent/JP2004040629A/en
Application granted granted Critical
Publication of JP4239496B2 publication Critical patent/JP4239496B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a signal processing technique for executing digest reproduction of the contents of a recording medium as efficiently as possible, when the recording medium such as DVD (digital versatile disk) software in which the contents of video/audio signals are recorded is inserted into a prescribed device to reproduce the contents. <P>SOLUTION: The information signal processing apparatus is provided with a recording medium identifying means for identifying a first recording medium as the recording medium to be reproduced; first reproducing means for reproducing the first recording medium; characteristic signal detecting means for detecting a characteristic signal from a signal to be reproduced; identification signal generating means for generating an identification signal from the characteristic signal detecting means; identification signal recording means for recording the identification signal in a second recording medium; second reproducing means for reproducing a prescribed identification signal from the second recording medium; and reproduction control means for controlling the first reproduction means so that it performs reproduction in response to a signal from the second reproducing means. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明はＤＶＤソフトなど画像音声信号が記録されている記録媒体を所定の装置に装着して再生を行なう場合に、その記録媒体の内容をできるだけ効率良くダイジェスト再生を行なうための信号処理技術、並びに映像信号、音声信号などの情報信号を光磁気ディスク、ハードディスク、半導体メモリーなどの記録媒体に記録する記録装置において、例えば、放送番組を記録して再生時にその番組内の指定した任意のシーンに類似したシーンを選択的に再生してスキミング動作を行い効率的に短時間で所望の内容を把握できる情報信号処理装置、情報信号処理方法、情報信号表示装置及び情報信号表示方法に関するものである。
【０００２】
【従来の技術】
従来技術において、初めてのソフトなどを再生する場合に、そのソフトの内容の概要を知りたいと思っても、数倍速再生でダイジェスト再生して、面白そうな又は所望の再生場面にきたならば通常再生するなどの手法しかなく、効果的な内容の効果的な確認手段が無い。
【０００３】
また、再生しようとする画像音声のダイジェスト再生用ＩＤが既に生成されていることを表示する信号処理装置及び信号処理方法も存在しない。
【０００４】
又、例えば、音声信号、映像信号からビデオ構造を解析し、ダイジェスト再生のような特殊再生を行う公知技術として、特表平１０−５０７５５５「デジタル・オーディオとビデオ・データを走り読みするための方法とそのシステム」、特開平１１−２３９３２２「ビデオブラウジング／ビューイングシステム」、特開２０００−５０２３３「放送型配信方法，その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体およびビデオコンテンツを記録したコンピュータ読み取り可能な記録媒体」などがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記説明した従来技術では、例えば、記録時に放送番組などをリアルタイムに画像シーンを分類処理し、所定のシーンＩＤを分類した画像に割り当てる、といった有効な技術がないという問題がある。
【０００６】
又、そのシーンＩＤを記録した記録媒体から特殊再生に利用し、ダイジェスト再生動作を行うこともできないという問題がある。
【０００７】
従って、上記のような観点からソフト再生を行なう場合に、効率良くダイジェスト再生を行なう信号処理技術に解決しなければならない課題を有する。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本願発明に係る情報信号処理装置、情報信号処理方法、情報信号表示装置及び情報信号表示方法は、次に示す構成にすることである。
【０００９】
（１）情報信号処理装置は、所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体であると判定する記録媒体判定手段と、上記第１の記録媒体からその情報信号を再生する第１の再生手段と、上記第１の再生手段から再生される信号から上記情報信号の所定の特性信号を検出する特性信号検出手段と、上記特性信号検出手段からの信号に応じて所定の識別信号を生成する識別信号生成手段と、上記識別信号生成手段からの識別信号が、上記第１の記録媒体における識別信号であることが識別できるように、その識別信号を第２の記録媒体又は上記所定の情報信号が予め記録されている記録領域とは異なる第２の記録領域に記録する識別信号記録手段と、上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記識別信号記録手段によりその記録媒体であると認識し、上記第２の記録媒体又は上記第２の記録領域から上記所定の識別信号を再生する第２の再生手段と、上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記記録媒体判定手段によりその記録媒体であると判定し、上記第２の再生手段からの信号に応じて上記第１の再生手段を再生制御する再生制御手段と、を備えたことである。
（２）又、上記情報信号は、画像信号及び／又は音声信号である（１）に記載の情報信号処理装置。
（３）上記特性信号は、上記情報信号が所定の圧縮処理を施されている信号の場合には、圧縮信号帯域における所定の特性信号である（１）に記載の情報信号処理装置。
（４）上記再生制御手段は、上記第１の記録媒体を所定のダイジェスト再生制御する（１）に記載の情報信号処理装置。
【００１０】
（５）情報信号処理方法は、所定の情報信号が予め記録されている第１の記録媒体を所定の状態又は所定の動作状態に設置した場合にその記録媒体であると判定し、上記第１の記録媒体からその情報信号を再生し、上記第１の記録媒体から再生される上記情報信号の所定の特性信号を検出し、検出した上記特性信号に応じて所定の識別信号を生成し、上記識別信号の生成が、上記第１の記録媒体における識別信号であることが識別できるように、その識別信号を所定の第２の記録媒体又は上記所定の情報信号が予め記録されている記録領域とは異なる第２の記録領域に記録し、上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記識別によりその記録媒体であると認識し、上記第２の記録媒体又は第２の記録領域から上記所定の識別信号を再生し、上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記記録媒体識別によりその記録媒体であると判定し、上記識別信号再生に応じて上記第１の記録媒体からの情報信号の再生を制御する、ことである。
（６）又、上記情報信号は、画像信号及び／又は音声信号である（５）に記載の情報信号処理方法。
（７）上記特性信号は、上記情報信号が所定の圧縮処理を施されている信号の場合には、圧縮信号帯域における所定の特性信号である（５）に記載の情報信号処理方法。
（８）上記第１の記録媒体からの情報信号の再生を制御するのは、上記第１の記録媒体を所定のダイジェスト再生を制御することである（５）に記載の情報信号処理方法。
【００１１】
（９）情報信号表示装置は、所定の情報信号が予め記録されている第１の記録媒体を所定の状態設置又は所定の動作状態にした場合にその記録媒体であると判定する記録媒体判定手段と、その所定の情報信号又は上記第１の記録媒体を再生処理した回数を計測する計測手段と、上記第１の記録媒体から所定の特殊再生用情報信号が生成されているかを判定する判定手段と、上記計測手段又は上記判定手段からの信号に応じて上記特殊再生用情報信号の処理状態、その記録媒体の再生状況などを表示する表示手段と、を備えたことである。
【００１２】
（１０）情報信号表示方法は、所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体であると判定し、その所定の情報信号又は上記第１の記録媒体を再生処理した回数を計測し、上記第１の記録媒体から所定の特殊再生用情報信号が生成されているかを判定し、上記計測又は上記判定に応じて上記特殊再生用情報信号の処理状態、その記録媒体の再生状況などを表示することである。
【００１３】
（１１）情報信号処理装置は、所定の情報信号から所定の時系列的に所定の特性信号を生成する特性信号生成手段と、上記特性信号生成手段からの信号を逐次所定の記憶領域に記憶する第１のメモリー手段と、上記情報信号における所定の動的情報信号を抽出する動的情報信号抽出手段と、上記時系列毎に、その時系列時点における上記第１のメモリー手段に入力する特性データと上記第１のメモリー手段に既に記憶されているデータとの間で所定の演算を行う演算手段と、上記動的情報信号抽出手段からの信号と上記演算手段の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号生成手段と、上記識別信号生成手段からの信号を上記時系列に対応して所定の記憶領域に記憶する第２のメモリー手段と、を備えたことである。
（１２）又、上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である（１１）に記載の情報信号処理装置。
（１３）上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である（１１）に記載の情報信号処理装置。
（１４）上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである（１１）に記載の情報信号処理装置。
（１５）上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である（１１）に記載の情報信号処理装置。
【００１４】
（１６）情報信号処理方法は、所定の情報信号から所定の時系列的に所定の特性信号を生成し、上記特性信号を逐次所定の第１の記憶領域にメモリーし、上記情報信号における所定の動的情報信号を抽出し、上記時系列毎に、その時系列時点における上記第１のメモリーに入力する特性データと上記第１のメモリーに既に記憶されているデータとの間で所定の演算を行い、上記動的情報信号抽出と上記演算の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号を生成し、上記識別信号を上記時系列に対応して所定の第２のメモリーに記憶する、ことを特徴とする。
（１７）又、上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である（１６）に記載の情報信号処理方法。
（１８）上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である（１６）に記載の情報信号処理方法。
（１９）上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである（１６）に記載の情報信号処理方法。
（２０）上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である（１６）に記載の情報信号処理方法。
【００１５】
【発明の実施の形態】
次に、本願発明に係る情報信号処理装置、情報信号処理方法、情報信号表示装置及び情報信号表示方法の実施形態について、図面を参照して説明する。
【００１６】
先ず、本願発明の第１の実施例の情報信号処理装置の概要について説明すると、レンタルソフト（ＤＶＤなど）など予め画像音声信号が記録されている記録媒体又は装置に設置されているハードディスクなどの記録媒体に記録された所定の画像音声情報データを、その装置で初めて再生する場合に、そのことを自動検出し、画像音声の特徴抽出を再生と同時に行いながら要約再生用ＩＤを生成しその装置における所定の記録媒体に記憶する。
即ち、再生区間全ての通常再生時間で特徴を抽出するのではなく、例えば、図１（Ａ）に示すように、通常の再生する区間Ｈに対して、それよりも少ないイントロの部分も含む区間ａの通常再生時間内で特徴を抽出するようにする。図１（Ｂ）は、再生区間Ｈ１、Ｈ２、Ｈ３が長いものであるときの特徴を抽出する手法を示したもので、再生区間Ｈ１に対しては、それよりも極めて短い再生区間ｂ１の通常再生時間内により特徴を抽出し、次の再生区間Ｈ２に対しては、それよりも極めて短い再生区間ｂ２の通常再生時間内で特徴を抽出し、次の再生区間Ｈ３に対しては、それよりも極めて短い再生区間ｂ３の通常再生時間内で特徴を抽出するというものである。このように、再生区間が長い場合には、再生区間を区切り、その区切ったなかの一部分の再生区間で特徴を抽出するようにする。
図２（Ａ）、（Ｂ）、（Ｃ）は、上記図１（Ａ）（実施例１）、または図１（Ｂ）（実施例２）におけるＨ１、Ｈ２、Ｈ３の処理過程を示すもので、処理の最初の状態は、図２（Ａ）に示すように、通常再生位置と特徴抽出位置は開始位置が同じで、図２（Ｂ）のように通常再生時間がｔ（ｓｅｃ）経過し再生が進むに従って特徴抽出処理の位置も所定の特徴抽出区間の終わりの方に進み、図２（Ｃ）のように、斜線部区間の所定の通常再生区間を通常再生した時点で、所定の特徴抽出区間の特徴抽出処理が終了する。
このように、特徴抽出データを用いたダイジェスト再生を行う場合に、所定区間の特徴抽出処理が終了するまでの間、通常再生を行う。
上記のような信号処理により、特徴抽出データを用いたダイジェスト再生モード開始時に、特徴抽出データが予め処理されていない場合でも、特徴抽出処理が終了するまで、所定のダイジェスト再生動作が行えずに画像音声が出力されることがないということを防ぐことができ、更に、本発明による特徴抽出処理の時間は短時間で終了するので、ユーザーは特徴抽出処理中における通常再生動作でもあたかも、すぐに所定の特徴抽出データを用いた所定のダイジェスト再生動作が始まっていると感じることが出来、効率的、効果的な動作を行うことができる。
【００１７】
また図２を用いて説明する別の方法で、再生区間が長い場合に時刻経過により特徴を抽出するようにしたものがあり、処理開始時点から数秒間の間で特徴を抽出するようにし（図２（Ａ））、処理開始後ｔ秒後に再度特徴を抽出するようにすることを繰返し（図２（Ｂ））、最後に所定区間終了間近かにおいて特徴を抽出する（図２（Ｃ））ようにする。このように再生時間の解らないものに対しては、所定の再生時間の経過毎に特徴を抽出するようにしても良い。
上記の図１および図２の説明では特徴抽出処理期間中に通常再生を同時に行った場合の処理であるが、これに限らず、所定区間の特徴抽出処理が終了した時点で、処理した特徴抽出データを用いた所定のダイジェスト再生動作を始めるようにしても良い。このような処理の場合には所定の特徴抽出処理が終了するまで所定のダイジェスト動作は開始しないので、ユーザーに対して特徴抽出中であることを示す表示を行うようにしても良い。
【００１８】
そして、再度当該ソフトを再生する場合には、そのソフトであることを判定し、要約再生モードにした場合には、そのＩＤを読み出すことで、効果的な要約再生など特殊再生を行う処理に素早く移行できる。
【００１９】
既に、ＩＤ処理がなされている場合は、処理を行わず、ＩＤがあることを所定の表示手段に表示する。
【００２０】
又、上記ＩＤを装置内の所定の記録媒体に記憶する代わりに、その記録媒体自体の所定の記憶部（ケース、記録媒体の所定記録領域など）に記憶し、再生時の特殊再生モード動作は、上記と同様の処理を行う。
【００２１】
ＩＤ処理が既になされている場合は上記の特徴抽出処理は行わず、すでにＩＤがあることを所定の表示手段に表示する。
【００２２】
所定の画像音声が記録されている記録媒体を、装置に装着した場合に、ダイジェスト用ＩＤ処理がなされていない場合は、高速再生により自動的にＩＤ処理を行なう。
【００２３】
以下、本発明の第１の実施例について図面を用いて以下の順序で説明する。
【００２４】
［１］動作原理
［２］全体ブロック構成例
［３］動作フローチャート
【００２５】
［１］動作原理
（１．１）特性信号の検出方法
ここでは、簡単のため特性信号は、画像音声信号がＭＰＥＧで圧縮処理されており、そのＭＰＥＧストリームから所定の特性信号を検出するものとする。
【００２６】
例えば、図３に示すように、画像系列からＩピクチャーを検出し、このＩピクチャー毎のＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）のＤＣ係数から分割し特性ベクトルを生成し、その特性べクトルの距離を演算することで、又、Ｐピクチャーにおける動きベクトルを検出し類似画像検出とカット点検出を行なうことができる。
即ち、図３のようにフレームを例えば２５の領域に分割し、その領域毎に輝度信号ｙ、色差信号ｃｂ、ｃｒのＤＣ係数の平均値を算出し、その算出値を成分とする輝度信号ｙの特性ベクトルＶｙ、色差信号ｃｂ、ｃｒの特性ベクトルＶｃｂ、Ｖｃｒを演算し、所定時点の特性ベクトルを基準ベクトルとし、ベクトル距離を演算するものである。ここで、フレームの分割領域数は２５でなくとも、例えば、３６領域のようにやや多くしても、１６領域のようにやや少なくしても良く、極端に多い領域または極端に少ない領域数ではないようにし、処理時間、処理精度などに応じて分割数の設定をしても良い。
【００２７】
（１．２）所定記録媒体の検出方法
上記のように検出した特性信号（特性ベクトル）は所定の記録媒体のものであると判別できるように、ラベルのある場合はラベルと共に装置内の記録媒体に記憶する。
【００２８】
記録媒体にラベルがない場合、またはラベルが重複している場合も想定できるので、その記録媒体のイントロの部分のデータを装置内の記録媒体に記憶しておけば、その記録媒体が装置に装着された場合にそのイントロの部分のデータのマッチングを取ることで記録媒体の判定ができる。
【００２９】
場合によっては、すでにその装置で処理した記録媒体のリストをラベルやタイトルがある場合は、それと共に、後で示すブロック図の表示系１３で表示しても良い。
【００３０】
［２］全体ブロック構成例
情報信号処理装置は、図４に示すように、記録媒体系１と、この記録媒体系１に記録されている情報を再生する再生処理系２と、再生したデータを分離する再生データ分離処理系３と、分離したデータのうち映像データをデコードする映像デコード処理系４と、このデコードした映像信号をアナログ信号に変換して映像信号を出力する映像Ｄ／Ａ処理系５と、記録媒体系１に記録されたことを検出する記録媒体検出系６と、記録媒体系１の再生を制御する再生制御系７と、再生データ分離処理系３で分離されたデータのうち識別信号を検出する識別信号検出系８と、再生データ分離処理系３で分離されたデータのうち音声信号をデコードする音声デコード処理系９と、デコードされた音声信号をアナログ値に変換して音声信号として出力する音声Ｄ／Ａ処理系１０と、映像デコード処理系４並びに音声デコード処理系９から特徴を抽出する特徴抽出系１１と、記録媒体検出系６、再生制御系７，識別信号検出系８、特徴抽出系１１、表示系１３を制御するシステムコントローラー１２と、システムコントローラー１２の制御により表示する表示系１３と、ユーザーがコマンド等を入力するユーザー入力Ｉ／Ｆ系１４と、メモリー系１５とからなる。
【００３１】
このような構成において、記録媒体検出系６で所定の記録媒体が設置されたことを検出し、イントロの部分の再生を始め、その記録媒体の、所定プログラムがＩＤ処理されているか、メモリー系１５に記憶されているデータと比較処理して判定する。
又、記録媒体系１を装置に設置されたハードディスクなどの記録媒体の場合は、ユーザーが所望する記録されている所定のプログラムなどを再生動作状態とし、イントロの部分、または所定情報が記録されたＴＯＣ（Ｔａｂｌｅ　　ｏｆ　　ｃｏｎｔｅｎｔｓ）部分の再生を始め、所定プログラムがＩＤ処理されているか、メモリー系１５に記憶されているデータと比較処理して判定する。
【００３２】
ＩＤ処理されていない場合は、通常再生と同時に行うか、高速再生でＩＤ処理を行なうかする。
【００３３】
記録媒体から再生された画像音声データはデコードの後に特徴抽出系１１で抽出し、システムコントローラー１２を介して、メモリー系１５に記憶される。
又、記録媒体系１を例えば、ユーザーが記録可能なＤＶＤやＣＤ（ＣＤ−ＲＷ）（ＣＤ　Ｒｅｗｒｉｔａｂｌｅ）などのような記録媒体の場合、または装置に設置されたハードディスクなどの記録媒体の場合には、画像音声情報が記録されている所定の記録領域とは別の、データの記録が許可された所定の記録領域を設けて、メモリー系１５で記録する代わりに所定のデータを記録することもできる。
【００３４】
ユーザーのコマンド入力により、特殊再生モードでは、適宜、特性データはこのメモリー系１５から呼び出されて、システムコントローラー１２により再生制御系７が制御され所定のダイジェスト再生を行なう。
【００３５】
［３］動作フローチャート
以下、上記構成からなる情報信号処理装置の動作について、図５〜図７に示すフローチャートを参照して説明する。
【００３６】
先ず、記録媒体が検出されると、メモリー系１５からデータを読み出す（ステップＳＴ１１、ＳＴ１２）。
【００３７】
そして、イントロの部分の再生が開始し、比較処理再生回数の判定が行われる（ステップＳＴ１３、ＳＴ１４）。
【００３８】
もし、初めての場合には、初めてであることを表示し、モード０（Ｍｏｄｅ＝０）に設定して回数メモリーに書き込む（ステップＳＴ１５、ＳＴ１６、ＳＴ１７、ＳＴ１８）。
【００３９】
ステップＳＴ１５において、初めてでない場合には、２回目以上であることの回数の表示を行う（ステップＳＴ１９）。
【００４０】
そして、モード１（Ｍｏｄｅ＝１）に設定して回数メモリーに書き込む（ステップＳＴ２０、ＳＴ２１）。
【００４１】
そして、再生モード入力待ちの状態にしておき、入力がなく停止の場合には、停止する（ステップＳＴ２２、ＳＴ２３、ＳＴ２４、ＳＴ２５）。
【００４２】
ステップＳＴ２３において、入力有りの場合には、次にダイジェスト再生であるか否かを判別し、ダイジェスト再生の場合であって、モード１（Ｍｏｄｅ＝１）の場合にはメモリー系１５のＩＤ読み込みを行う（ステップＳＴ２６、ＳＴ２７、ＳＴ３３）。
【００４３】
ステップＳＴ２７において、モード０（Ｍｏｄｅ＝０）の場合には、次に高速再生処理を行い、特性検出処理を行い、ＩＤ処理を行い、メモリー系１５に書き込む（ステップＳＴ２８、ＳＴ２９、ＳＴ３０、ＳＴ３１）。
【００４４】
次に、上記ステップＳＴ２８〜ＳＴ３１の処理が終了していない場合にはステップＳＴ２８に行き、上記処理を行い、処理が終了した場合には、メモリー系にＩＤを読み込む（ステップＳＴ３２、ＳＴ３３）。
【００４５】
次に、図７に行き、フレームＮＯ．の検出処理を行い、メモリー系読み出し処理を行う（ステップＳＴ４１、ＳＴ４２）。
【００４６】
次に、ダイジェストＩＤフレームの比較処理を行う（ステップＳＴ４３）。そして、ダイジェストフレームでない場合には再生処理を行い、ダイジェストフレームである場合にはスキップ処理を行う（ステップＳＴ４４、ＳＴ４５、ＳＴ４６）。
【００４７】
次に、図６に示す、ステップＳＴ３７に行き、通常再生モード処理を行う
【００４８】
図５に示す、ステップＳＴ２６において、ダイジェスト再生でない場合には、図６に示すステップＳＴ３４に行き、メモリー系１５からＩＤを読み込んだ後に、ダイジェスト再生処理を行い、停止の場合には停止し、停止でない場合にはモードの変更があるかを判別する（ステップＳＴ３４、ＳＴ３５、ＳＴ３６）。
【００４９】
ステップＳＴ３６でモードの変更がない場合には、ステップＳＴ３４に行き再びダイジェスト再生の処理を行い、モードの変更がある場合には通常の再生モードを処理する（ステップＳＴ３７）。
【００５０】
通常の再生モードの処理をした後に、停止の場合には停止し、停止でない場合にはモード変更がない場合には、ステップＳＴ３７の通常再生モードの処理を行う（ステップＳＴ３８、ＳＴ３９）。
【００５１】
ステップＳＴ３９において、モードの変更がある場合には、モード０（Ｍｏｄｅ＝０）の場合には、図５に示すステップＳＴ２８に行き高速再生処理を行い、モード１（Ｍｏｄｅ＝１）の場合には、図５に示すステップＳＴ３３に行きメモリー系１５にＩＤの読み込みを行う（ステップＳＴ４０、ＳＴ３３）。
【００５２】
次に、図７に行き、フレームＮＯ．を検出する処理を行う（ステップＳＴ４１）。
メモリー系１５から読み出し処理を行い、ダイジェストＩＤフレームの比較処理を行う（ステップＳＴ４２、ＳＴ４３）。
【００５３】
そして、ダイジェストフレームがない場合には再生処理し、ダイジェストフレームがある場合にはスキップ処理をし、図６に示すステップＳＴ３７の通常再生モード処理をする（ステップＳＴ４４、ＳＴ４５、ＳＴ４６）。
【００５４】
［４］装置表示例
図８は装置の表示例であり、記録媒体の再生回数、ダイジェストＩＤ処理がなされたか、などの表示がなされる。
【００５５】
このような表示は、再生画像を表示するディスプレイなどでも良いし、装置本体に備えられた、液晶ディスプレイなどの表示系でも良い。
【００５６】
図８（１）はチェンジャーなどの複数のディスクが装置内に装着して再生できる場合であり、ディスク毎にＩＤ処理がなされているか表示できる。図において、ディスクＮｏ．１の再生回数は１、タイトルは「映画」で、ダイジェストＩＤ処理がなされている表示がなされている。ディスクＮｏ．２の再生回数は０、タイトルは「音楽」で、ダイジェストＩＤ処理がなされていない表示がなされている。ディスクＮｏ．３の再生回数は２、タイトルは「スポーツ」で、ダイジェストＩＤ処理がなされていない表示がなされている。
【００５７】
この場合には、ディスクを指定して、図８（２）に示す、単一ディスク再生装置のように、そのディスクのプログラム毎にＩＤ処理がなされているかを表示しても良い。
【００５８】
図８（２）は単一ディスク再生装置の場合で、プログラム毎にＩＤ処理がなされているかを表示する。例えば、ディスクＮｏ．１の再生回数は１、タイトルは「映画」で、ダイジェストＩＤ処理がなされている表示がなされている。ディスクＮｏ．２の再生回数は０、タイトルは「音楽」で、ダイジェストＩＤ処理がなされていない表示がなされている。ディスクＮｏ．３の再生回数は２、タイトルは「スポーツ」で、ダイジェストＩＤ処理がなされていない表示がなされている。
【００５９】
次に、第２の実施形態の情報信号処理装置及び情報信号処理方法について、図面を参照して説明する。
【００６０】
先ず、第２の実施形態の情報信号処理装置及び情報信号処理方法の概要について説明する。
時系列的に画像シーンにおける特性データを入力し、すでに記憶されている特性データとこの入力特性データとの間で、所定の演算処理を行い、その結果と、動きベクトル情報で所定のシーンＩＤをその画像シーンに割り当てる。一つの処理が終了毎に、入力データ領域を逐次シフトさせていくというものである。
【００６１】
以下、本発明の第２の実施例について、図面を用いて以下の順序で説明する。
［１］動作原理
［２］ブロック構成例
［３］動作フローチャート
【００６２】
［１］動作原理
図９（１）は特性データを記憶するデータメモリー系で、初期データとして、Ｄａがすべての記録領域にメモリーされている様子を示したものであり、この場合は、最初の入力データＤ０としても良い。
【００６３】
図９（２）は、ＩＤメモリー系で、初期データとして、Ａａが全ての記録領域にメモリーされている様子を示したものであり、この場合は、初期データとして０でも構わない。
上記、図９（１）のデータメモリー系のアドレスとこの図９（２）ＩＤメモリー系のアドレスとは、一対一に対応しており、下記で説明するように所定の演算処理により、データメモリー系のアドレスに対応するＩＤメモリー系のアドレスに記憶されているＩＤデータが読み出され、特性データを入力して演算処理を行った画像フレームにこのＩＤデータが割り当てられるようになっている。
【００６４】
ここでは、簡単のため、ＭＰＥＧの画像データから特性データを生成するとし、Ｉピクチャー毎にデータメモリー系に入力するものとする。
【００６５】
図９（１）（ａ１）のように、最初のＩピクチャーが検出されると、特性データＤ０が最初のメモリーエリアに記憶される。
【００６６】
Ｄ０を基準データとして、図に示すように、他のメモリーエリアのデータと逐次、所定のベクトル距離演算を行う。
【００６７】
所定の演算の後、演算結果が最小となる値Ｖｄと所定のしきい値、Ｔｈとを比較し、
Ｖｄ＜Ｔｈ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　式（１．１）
の場合は、その最小となったエリアに対応する、ＩＤメモリーエリアのＩＤデータをＤ０に割り当て、Ｄ０のメモリーエリアに対応する、ＩＤメモリー系のメモリーエリアにそのＩＤデータを記憶する。
【００６８】
この図の場合は、まだ、Ｄ０が最初のエリアなので、初期ＩＤとし０を設定した場合は、０がＩＤデータとして割り当てられる。
【００６９】
Ｖｄ＞＝Ｔｈ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　式（１．２）
の場合は、ＩＤメモリー系に記憶されているデータ値の最大値ＩＤｍａｘに、１を加えたデータをＩＤとする。
【００７０】
しかし、上記の場合はまだ、入力データはＩＤメモリー系の全ての領域になるまで、入力していないので、式（１．２）　になることはない。
【００７１】
次のＩピクチャーが検出された場合は、図９（１）（ａ２）、（ａ３）のようにメモリー領域を一つずらして、上記と同様な処理を行っていく。
【００７２】
そして、図９（１）（ａ４）のように、メモリー領域すべてに記憶された場合は、次のＩピクチャー検出では、図９（１）（ａ５）のように、最初のメモリーエリアに戻る。
【００７３】
ＩＤメモリー系も同様で、このようにして演算処理、およびＩＤを割り当てていく。
【００７４】
図１０は記録した画像系列で、区間ａ〜ｂ、区間ｂ〜ｃ、区間ｃ〜ｄ、及び区間ｄ〜、においてカメラパンがあるものとし、時点ａ、ｂ、ｃ、ｄはカット点で、シーンチェンジが生じたとする。
【００７５】
ある人物や物体を基準に、画像の分類を考えた場合に、例えば、人物や物体が動いていたり、カメラパンなどがあった場合に、その画像は類似画像と判定するか、或いは、別画像とするかの絶対的な判定基準はなく、ユーザー自身の好みによって相違する。
【００７６】
ここで、上記で説明したＩＤ処理をこのような画像系列で行うと、カメラパン区間ａ〜ｂでは、画像シーンが動くので異なったＩＤが割り当てられる場合がある。
【００７７】
見方を変えれば、画像が動いているだけで、分類上は同じＩＤを割り当てる方が良い場合も考えられる。
【００７８】
そこで、動きベクトルを用いて、ある時点においてＩＤが前の時点と相違しても、所定の動きベクトルの平均スカラー値Ｍｄが、所定しきい値Ｍｔｈよりも小さい場合は、前のＩピクチャーのＩＤと同一のＩＤを割り当てるようにする。
【００７９】
このように処理することで、カット点の区間を境に、画像シーンが多少動いても類似した画像フレームには同一の所定のＩＤが割り当てられ、ユーザーの好みに応じて、ＩＤを利用して類似画像の検索、画像の整理、類似画像のダイジェスト再生などに応用することも出来る。
【００８０】
図１１は分類処理系及びＩＤ生成系のブロック構成例であり、システムコントローラーにより演算処理を行う。
その構成は、画像データを入力して特性データを検出する特性データ検出系３０と、特性データを記憶する特性データメモリー系３１と、特性データメモリー系３１から読み出した特性データと特性データ検出系３０で検出した特性データとの比較演算する演算処理系３２と、識別情報データを生成する識別情報データ生成系３３と、識別情報データを記憶する識別情報データメモリー系３４と、これらの系を制御するシステムコントローラー３５とからなる。
【００８１】
特性データ検出系３０における特性データの検出は、図１２に示すように、分割してデータ生成を行う。
ここで、特性データは前記した本発明の第１の実施例［１］動作原理（１．１）で説明したようにフレームを複数の領域に分割し、その分割領域毎にＤＣＴのＤＣ係数の平均値を成分とするベクトルを考えて、ベクトルの成分を特性データとすることができるが、別の方法として、画像フレームをウェーブレット変換し、輝度信号、色差信号を多重解像度解析し、図１２に示すように多重解像度解析したＨＨ領域を例えば３６分割し、その領域毎にウェーブレット係数の平均値を算出し、その算出値を成分とするベクトルを想定することができ、上記、ＤＣＴのＤＣ係数の場合と同じように考えて、ベクトルの成分を特性データとすることができる。すなわち、分割領域毎のＤＣＴのＤＣ係数の平均値やウェーブレット係数の平均値を特性データとする。
ここで、図１２で示す領域分割数は３６に限ることはなく、前記した、本発明の第１の実施例［１］動作原理（１．１）で述べたように、場合に応じて、２５分割や１６分割としても良く、分割領域数と特性データの次数は同じなので、分割領域数に応じて特性データ次数も２５次、１６次としても良い。
【００８２】
識別情報データ生成系３３における識別情報データの生成は、図１３に示すように、ＩＤデータの折り返り処理でＩＤが所定値まで行った場合は、折り返し処理を行う。
すなわち、ＩＤデータの初期値をｍｉｎ（００００Ｈ）とし、上記で説明したような所定の演算処理により、類似画像が続いて検出されない場合は、ＩＤは所定の演算毎に１づつ増加して行き、設定した所定の最大値ｍａｘ（ＦＦＦＦＨ）になった場合は、初期値であるｍｉｎにリセットする。
ここで、上記のようにＩＤがリセットされ、ＩＤ処理を継続していくと、以前にＩＤ処理したあるフレーム画像と同一のＩＤが割り当てられることが考えられるが、図１３のように例えば最大値ｍａｘをＦＦＦＦＨのように設定しておけば、同じＩＤが割り当てられる時間間隔は長いので、以前の画像とは類似画像ではないのに、同一ＩＤが割り当てられてもあまり問題ではない。
画像のフレームレートを例えば、３０フレーム／秒、ＭＰＥＧの１ＧＯＰ（Ｇｒｏｕｐ　　ｏｆ　　Ｐｉｃｔｕｒｅ）を１５フレームと仮定すると、ＩＤ処理単位のＩピクチャーは１５フレーム毎の０．５秒毎に検出され、処理されるＩピクチャー毎に異なったＩＤが割り当てられたとしても、ＦＦＦＦＨ＝６５５３５であるので、
６５５３５×０．５（秒）＝　３２７６７．５（秒）、すなわち、約９時間となる。
このように類似画像ではないのに同一のＩＤが割り当てられる時間間隔は長いので、類似画像ではないのに同一ＩＤであるとユーザーが気づいたとしても、この実施例のような記録再生装置ではほとんど問題ではない。
【００８３】
［２］ブロック構成例
本発明を適用した情報信号処理装置の構成は、図１４に示すように、音声信号を入力してＡＤ変換して出力する音声Ａ／Ｄ変換処理系１０１と、デジタル値に変換された音声信号をエンコードする音声エンコーダー処理系１０２と、音声信号及び映像信号、音声信号からの特徴抽出信号及び画像信号からの特徴抽出信号を多重化する多重化処理系１０３と、多重化した信号を記録するための処理を行う記録処理系１０４と、多重化した信号を記録する記録媒体系１０５と、映像信号を入力してＡＤ変換して出力する映像Ａ／Ｄ変換処理系１０６と、デジタル値に変換された映像信号をエンコードする映像エンコーダー処理系１０７と、記録媒体系１０５に記録されているデータに対して再生処理を行う再生制御系１０８と、音声エンコーダー処理系１０２でエンコードされた音声信号から特徴となる信号を抽出する音声信号特徴抽出系１０９と、映像エンコーダー処理系７でエンコードされた映像信号から特徴となる信号を抽出する画像信号特徴抽出系１１０と、記録媒体系１０５に記録されているデータの再生処理をする再生処理系１１１と、再生された信号を音声信号、映像信号、識別信号に分離する再生データ分離処理系１１２と、再生データ分離処理系１１２で分離された音声信号をデコードする音声デコード処理系１１３と、音声デコード処理系１１３での信号をアナログ値にする音声Ｄ／Ａ処理系１１４と、再生データ分離処理系１１２で分離した映像信号をデコードする映像デコード処理系１１５と、映像デコード処理系１１５での信号をアナログ値に変換する映像Ｄ／Ａ処理系１１６と、音声信号特徴抽出系１０９、画像信号特徴抽出系１１０、多重化処理系１０３、再生制御系１０８を制御するシステムコントローラー１１８と、ユーザーからの信号を入力するユーザー入力Ｉ／Ｆ系１１９と、再生モード表示系１２０とからなる。
【００８４】
このような構成からなる情報信号処理装置において、先ず、音声信号は音声Ａ／Ｄ変換処理系１０１で所定のＡＤ変換された後、音声エンコーダー処理系１０２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系１０９に入力し、所定の特徴抽出を行う。
【００８５】
映像信号も同様で、映像ＡＤ変換処理系１０６で所定のＡＤ変換された後、映像エンコーダー処理系１０７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、画像信号特徴抽出系１１０に入力し、所定の特徴抽出を行う。
【００８６】
ユーザー入力Ｉ／Ｆ系１１９を介して、前記［１］動作原理で説明ように所定の区間で、予め音声信号特徴抽出系１０９、画像信号特徴抽出系１１０により、その特徴データを、システムコントローラー系１１８内における所定のメモリーに記憶する。
【００８７】
その後、逐次、特徴データは検出され、システムコントローラー１１８内において、所定の相関演算、或いは、上記で述べた各特徴抽出データを成分としたベクトルとした場合には、所定のベクトル距離演算が行われる。
【００８８】
所定の放送番組などの画像音声データは、所定の多重化処理系１０３、記録処理系１０４などを経て、記録媒体系１０５に記録される。
【００８９】
特殊再生モードでは、システムコントローラー１１８は、再生制御系１０８を介して、前記［１］動作原理で説明したような記録媒体系１０５からの再生データの制御を行う。
【００９０】
［３］動作フローチャート
上記システムコントローラー１１８において、動きベクトルを利用した演算手法について、図１５〜図１７に示すフローチャートを参照して以下説明する。
【００９１】
先ず、図１５（Ａ）に示すように、カウンタｎ＝０に設定して、初期設定処理をする（ステップＳＴ１０１、ＳＴ１０２）。
この初期設定処理は、図１５（Ｂ）に示すように、動きベクトルを処理するもので、フレーム数ｍ＝０、算出値Ｖ＝０に設定する（ステップＳＴ１１３）。
【００９２】
次に、図１５（Ａ）におけるステップＳＴ１０３において、ストリームの検出を行い、Ｉピクチャでない場合には、動きベクトルフレーム内検出処理がなされる（ステップＳＴ１０３、ＳＴ１０４、ＳＴ１０５）。
この動きベクトルフレーム内検出処理は、図１５（Ｃ）に示すように、先ずＰピクチャであるかを判別し、Ｐピクチャでない場合には停止でないことを確認して次のステップに行く（ステップＳＴ１１４、ＳＴ１１５）。
ステップＳＴ１１４において、Ｐピクチャである場合には、動きベクトルを検出し、フレーム内平均（Ｖｆ）を算出する（ステップＳＴ１１４、ＳＴ１１７、ＳＴ１１８）。
そして、算出値Ｖ＝Ｖ＋Ｖｆの計算をして平均値を算出する（ステップＳＴ１１９）。
次に、フレーム数ｍをインクリメントする（ｍ＝ｍ＋１）（ステップＳＴ１２０）。
そして、図１５（Ａ）におけるステップＳＴ１０３に行き、ストリームの検出を行う（ステップＳＴ１０３）。
【００９３】
上記ステップＳＴ１０４において、Ｉピクチャである場合には、動きベクトルの平均（Ｖａｖ）を、Ｖａｖ＝Ｖ／ｍにより算出する（ステップＳＴ１０６）。
【００９４】
次にＩＤ判定処理を行う（ステップＳＴ１０７）。
このＩＤ判定処理は、図１６に示すように、先ず、特性データ（Ｄｔ）を生成する（ステップＳＴ１２１）。
そして、カウンタｎ＝０のときは、初期値設定処理を行う（ステップＳＴ１２２、ＳＴ１２３）。
初期値設定処理は、データバッファ初期設定Ｄｔ（０）の入力、ＩＤバッファ初期設定ｉｄ＝０の入力、データ入力位置ｉｎｐｌａｃｅ＝０の入力を行う。
【００９５】
ステップＳＴ１２２において、カウンタｎ＝０でない場合には、ベクトル距離配列をリセットし、ベクトル距離演算の初期設定をする（ステップＳＴ１２４、ＳＴ１２５）。
【００９６】
そして、距離Ｖｐ、位置ｐにおけるベクトル距離最小値演算を行う（ステップＳＴ１２６）。
【００９７】
そして、閾値Ｖｐの判定を行い、閾値以外であればＩＤオーバーフロー判定の処理を行う（ステップＳＴ１２９）。
このＩＤオーバーフロー判定処理は、図１７（Ａ）に示すように、先ず、ＩＤバッフアｉｄにプラス１インクリメントした値がＩＤバッファ最大値ｉｄｍａｘより大きいかを判定する（ステップＳＴ１４０）。大きくない場合には、ＩＤバッファｉｄを１つインクリメントし、大きい倍にはＩＤバッファｉｄは０に設定し、ＩＤバッファｉｄ＝ＩＤｎにする（ステップＳＴ１４２、ＳＴ１４１、ＳＴ１４３）。
【００９８】
図１６に戻り、ステップＳＴ１２７において、閾値内であれば、ＩＤバッファデータＩＤ（ｐ）を読み出して、ＩＤｎに入力し、データ入力位置ｉｎｐｌａｃｅを１つインクリメントする（ステップＳＴ１２８、ＳＴ１３０）。
【００９９】
位置判定でオーバーしている場合には、データ入力位置ｉｎｐｌａｃｅを０にし、位置がメモリ位置内であればそのままにし、データ入力位置ｉｎｐｌａｃｅのデータバッファＤｔを記憶する（ステップＳＴ１３１、ＳＴ１３２、ＳＴ１３３）。
【０１００】
又、ＩＤバッファ内にデータ入力位置ｉｎｐｌａｃｅにＩＤ（ｐ）を記憶する（ステップＳＴ１３４）。
【０１０１】
そして、動きベクトル（Ｖａｖ）の判定、閾値Ｖｐの再判定を行う（ステップＳＴ１３５）。
【０１０２】
閾値Ｖｐ以外であれば、前処理ＩＤ割当て、ＩＤｎｖ＝ＩＤｐｒｅとし、閾値以内であればシーンＩＤ（動きベクトル対応）割り当て、ＩＤｎｖ＝ＩＤ（ｐ）とし、ＩＤｎメモリにＩＤｐｒｅ＝ＩＤｎとする（ステップＳＴ１３６、ＳＴ１３７、ＳＴ１３８、ＳＴ１３９）。
【０１０３】
このようにして、ＩＤ判定処理を行った後に、図１５に示すステップＳＴ１０８において、動きベクトルフレーム内検出後処理を行う（ステップＳＴ１０８）。
この動きベクトルフレーム内検出後処理は、図１７（Ｂ）に示すように、動きベクトルの処理であって、フレーム数ｍ＝０、算出値Ｖ＝０にする（ステップＳＴ１４４）。
【０１０４】
図１５におけるステップＳＴ１０８の動きベクトルフレーム内検出後処理をした後に、動きベクトルＩＤｎｖに対応したシーンＩＤ記録処理を行う（ステップＳＴ１０９）。
【０１０５】
そして、カウンタｎをインクリメントし、停止でないことを確認して。ステップＳＴ１０３の次のストリームの検出に行く（ステップＳＴ１１０、ＳＴ１１１、ＳＴ１１２）。
【０１０６】
【発明の効果】
以上説明したように、本発明においては、初めての再生用媒体を鑑賞する場合に、短時間でその概要を把握することができるので、通常の再生時間で見る場合の参考にすることができるという効果がある。
又、ダイジェスト再生用の特徴抽出処理を行っている間に、通常再生を行うので、特徴抽出処理期間中でもダイジェスト再生動作中の画像音声が途切れることがなく、効果的な動作が行える。
【０１０７】
更に、再生用媒体の内容の概要が別の記録媒体に自動的に記録されるので、色々な再生用媒体を捜して再び、当該再生用媒体を見ようとするときに、その概要が解るため、再度の操作を省略することができるという効果もある。
【０１０８】
また、記録媒体を挿入したら、自動的にダイジェスト再生用ＩＤ処理を高速に行なうので、操作の通常手間が省け、通常再生を行なう場合の参考になる。
【０１０９】
また、放送番組などを記録する際に、リアルタイムで、分類処理を行うことができると共に、タイマー記録などで、記録終了後にすぐ、その分類結果を知ることができ、処理の待ち時間が殆ど無くすことができるという効果がある。
【０１１０】
さらに、分類処理されたシーンＩＤを利用して、画像の分類整理、編集、ダイジェスト再生などを行うことができるという効果もある。
【図面の簡単な説明】
【図１】本願発明に係る第１の実施形態の動作原理を示す説明図である。
【図２】本願発明に係る第１の実施形態の動作原理を示す説明図である。
【図３】本願発明に係る第１の実施形態の動作原理を示す説明図である。
【図４】本願発明に係る第１の実施形態の情報信号処理装置の構成を示すブロック図である。
【図５】同動作を示すフローチャートである。
【図６】同動作を示すフローチャートである。
【図７】同動作を示すフローチャートである。
【図８】同装置の表示例を示す説明図である。
【図９】本願発明に係る第２の実施形態の動作原理を示す説明図である。
【図１０】本願発明に係る第２の実施形態の動作原理を示す説明図である。
【図１１】本願発明に係る第２の実施形態の画像分離処理系のブロック図である。
【図１２】同多重解像度解析面の分割領域を選択するときの説明図である。
【図１３】同識別情報データ折り返し処理の説明図である。
【図１４】本願発明に係る第２の実施形態の情報信号処理装置の構成を示すブロック図である。
【図１５】同動作を示すフローチャートである。
【図１６】同動作を示すフローチャートである。
【図１７】同動作を示すフローチャートである。装置表示例
【符号の説明】
１；記録媒体系、２；再生処理系、３；再生データ分離処理系、４；映像デコード処理系、５；映像Ｄ／Ａ処理系、６；記録媒体検出系、７；再生制御系、８；識別信号検出系、９；音声デコード処理系、１０；音声Ｄ／Ａ処理系　、１１；特徴抽出系、１２；システムコントローラー、１３；再生モード表示系、１４；ユーザー入力Ｉ／Ｆ系、１５；メモリー系、３０；特性データ検出系、３１；特性データメモリー系、３２；演算処理系、３３；識別情報データ生成系、３４；識別情報データメモリー系、３５；システムコントローラー、１０１；音声Ａ／Ｄ変換処理系　、１０２；音声エンコーダー処理系、１０３；多重化処理系、１０４；記録処理系、１０５；記録媒体系、１０６；映像Ａ／Ｄ変換処理系、１０７；映像エンコーダー処理系、１０８；再生制御系、１０９；音声信号特徴抽出系、１１０；画像信号特徴抽出系、１１１；再生処理系、１１２；再生データ分離処理系、１１３；音声デコード処理系、１１４；音声Ｄ／Ａ処理系、１１５；映像デコード処理系、１１６；映像Ｄ／Ａ処理系、１１７；識別信号検出系、１１８；システムコントローラー、１１９；ユーザー入力Ｉ／Ｆ系、１２０；再生モード表示系。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing technique for performing digest reproduction of the contents of the recording medium as efficiently as possible when a recording medium on which an image / audio signal such as DVD software is recorded is mounted on a predetermined device and reproduced. In a recording device that records information signals such as video signals and audio signals on a recording medium such as a magneto-optical disk, hard disk, or semiconductor memory, for example, when a broadcast program is recorded and reproduced, it is similar to any specified scene in the program. TECHNICAL FIELD The present invention relates to an information signal processing device, an information signal processing method, an information signal display device, and an information signal display method capable of selectively reproducing a scene that has been selected, performing a skimming operation, and efficiently grasping desired contents in a short time.
[0002]
[Prior art]
In the prior art, when playing the first software etc., even if you want to know the outline of the contents of the software, if you do digest playback at several times speed playback, if it comes to an interesting or desired playback scene, it is usually There is only a method such as reproduction, and there is no effective means for confirming effective contents.
[0003]
Further, there is no signal processing device or signal processing method for indicating that the digest reproduction ID of the video / audio to be reproduced has already been generated.
[0004]
For example, as a known technique for analyzing a video structure from an audio signal and a video signal and performing a special reproduction such as a digest reproduction, Japanese Patent Application Laid-Open No. H10-507555 "Method for scanning digital audio and video data" And its system ", JP-A-11-239322," Video browsing / viewing system ", and JP-A-2000-50233," Broadcast type distribution method, and a computer-readable recording medium recording a program for causing a computer to execute the method " And a computer-readable recording medium on which video content is recorded.
[0005]
[Problems to be solved by the invention]
However, the above-described conventional technique has a problem that there is no effective technique of, for example, classifying an image scene of a broadcast program or the like in real time during recording and assigning a predetermined scene ID to the classified image.
[0006]
Also, there is a problem that the digest reproduction operation cannot be performed by using the scene ID recorded on the recording medium for special reproduction.
[0007]
Therefore, when performing soft reproduction from the above viewpoint, there is a problem to be solved by a signal processing technique for efficiently performing digest reproduction.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, an information signal processing device, an information signal processing method, an information signal display device, and an information signal display method according to the present invention have the following configurations.
[0009]
(1) The information signal processing device determines a recording medium to determine that a first recording medium on which a predetermined information signal is recorded in advance is placed in a predetermined state or put into a predetermined operation state. Means, first reproducing means for reproducing the information signal from the first recording medium, and characteristic signal detecting means for detecting a predetermined characteristic signal of the information signal from the signal reproduced from the first reproducing means And an identification signal generating means for generating a predetermined identification signal in accordance with a signal from the characteristic signal detecting means, and the identification signal from the identification signal generating means is an identification signal in the first recording medium. Identification signal recording means for recording the identification signal in a second recording medium or a second recording area different from the recording area in which the predetermined information signal is recorded in advance, so that the identification signal can be identified; Medium When placed in a fixed state or a predetermined operation state, the identification signal recording means recognizes that the recording medium is the recording medium, and transmits the predetermined identification signal from the second recording medium or the second recording area. A second reproducing means for reproducing, and when the first recording medium is placed in a predetermined state or a predetermined operating state, the recording medium determining means determines that the recording medium is the recording medium, and Reproduction control means for controlling reproduction of the first reproduction means in accordance with a signal from the reproduction means.
(2) The information signal processing device according to (1), wherein the information signal is an image signal and / or an audio signal.
(3) The information signal processing device according to (1), wherein the characteristic signal is a predetermined characteristic signal in a compressed signal band when the information signal has been subjected to a predetermined compression process.
(4) The information signal processing device according to (1), wherein the reproduction control means performs predetermined digest reproduction control of the first recording medium.
[0010]
(5) In the information signal processing method, when the first recording medium on which a predetermined information signal is recorded in advance is set in a predetermined state or a predetermined operation state, the first recording medium is determined to be the recording medium, and Reproducing the information signal from the recording medium, detecting a predetermined characteristic signal of the information signal reproduced from the first recording medium, generating a predetermined identification signal according to the detected characteristic signal, In order to identify the generation of the identification signal as an identification signal in the first recording medium, the identification signal is stored in a predetermined second recording medium or a recording area in which the predetermined information signal is recorded in advance. Is recorded in a different second recording area, and when the first recording medium is placed in a predetermined state or a predetermined operation state, the first recording medium is recognized as the recording medium by the identification, and the second recording is performed. From the medium or the second recording area The predetermined identification signal is reproduced, and when the first recording medium is placed in a predetermined state or a predetermined operation state, the recording medium is determined to be the recording medium by the recording medium identification, and the identification signal is reproduced. The reproduction of the information signal from the first recording medium is controlled accordingly.
(6) The information signal processing method according to (5), wherein the information signal is an image signal and / or an audio signal.
(7) The information signal processing method according to (5), wherein the characteristic signal is a predetermined characteristic signal in a compressed signal band when the information signal has been subjected to predetermined compression processing.
(8) The information signal processing method according to (5), wherein controlling reproduction of the information signal from the first recording medium is controlling predetermined digest reproduction of the first recording medium.
[0011]
(9) The information signal display device is a recording medium determination unit that determines that the first recording medium on which a predetermined information signal is recorded in advance is set to a predetermined state or is in a predetermined operation state. Measuring means for measuring the number of times the predetermined information signal or the first recording medium has been reproduced, and judging means for judging whether a predetermined special reproduction information signal has been generated from the first recording medium. And display means for displaying a processing state of the information signal for special reproduction, a reproduction state of the recording medium, and the like in response to a signal from the measuring means or the judging means.
[0012]
(10) In the information signal display method, when a first recording medium on which a predetermined information signal is recorded in advance is set in a predetermined state or is set to a predetermined operation state, it is determined that the recording medium is the recording medium, The number of times the information signal or the first recording medium has been reproduced is counted, and it is determined whether a predetermined special reproduction information signal has been generated from the first recording medium. The purpose is to display the processing state of the special reproduction information signal, the reproduction state of the recording medium, and the like.
[0013]
(11) The information signal processing device generates a characteristic signal in a predetermined time series from a predetermined information signal, and sequentially stores the signals from the characteristic signal generating unit in a predetermined storage area. A first memory means, a dynamic information signal extracting means for extracting a predetermined dynamic information signal in the information signal, and, for each of the time series, characteristic data to be inputted to the first memory means at the time series time point. Calculating means for performing a predetermined calculation with the data already stored in the first memory means; and a signal from the dynamic information signal extracting means and a signal based on the calculation result of the calculating means, A predetermined identification signal generating means assigned to the information signal at a predetermined time point in the time series; and a second method for storing a signal from the identification signal generating means in a predetermined storage area corresponding to the time series. And Lee means is that with the.
(12) The information signal processing device according to (11), wherein the information signal is an image information signal subjected to a predetermined band compression process.
(13) The information signal processing device according to (11), wherein the time series is a time series for each I picture when the information signal is an MPEG signal.
(14) The information signal processing device according to (11), wherein the dynamic information signal is a motion vector in a predetermined image when the information signal is an MPEG signal.
(15) The arithmetic means forms a predetermined vector having the characteristic data as a component, and performs a predetermined vector distance operation using the vector, a scalar of the vector, or a predetermined correlation operation using a vector component. The information signal processing device according to (11), wherein
[0014]
(16) In the information signal processing method, a predetermined characteristic signal is generated in a predetermined time series from a predetermined information signal, and the characteristic signal is sequentially stored in a predetermined first storage area. A dynamic information signal is extracted, and a predetermined operation is performed for each of the time series between the characteristic data input to the first memory at the time series and the data already stored in the first memory. Generating a predetermined identification signal to be assigned to the information signal at a predetermined point in the time series in accordance with the signal obtained by the operation result of the dynamic information signal extraction and the calculation, and generating the identification signal corresponding to the time series. It is stored in a predetermined second memory.
(17) The information signal processing method according to (16), wherein the information signal is an image information signal that has been subjected to a predetermined band compression process.
(18) The information signal processing method according to (16), wherein the time series is a time series for each I picture when the information signal is an MPEG signal.
(19) The information signal processing method according to (16), wherein the dynamic information signal is a motion vector in a predetermined image when the information signal is an MPEG signal.
(20) The arithmetic means forms a predetermined vector having the characteristic data as a component, and performs a predetermined vector distance operation using the vector, a scalar of the vector, or a predetermined correlation operation using a vector component. The information signal processing method according to (16), wherein
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of an information signal processing device, an information signal processing method, an information signal display device, and an information signal display method according to the present invention will be described with reference to the drawings.
[0016]
First, an outline of an information signal processing apparatus according to a first embodiment of the present invention will be described. A recording medium such as rental software (DVD, etc.) in which image and audio signals are recorded in advance, or a recording medium such as a hard disk installed in the apparatus. When the predetermined image / audio information data recorded on the medium is reproduced for the first time by the device, this is automatically detected, and the abstract reproduction ID is generated while performing the feature extraction of the image / audio at the same time as the reproduction. It is stored in a predetermined recording medium.
That is, the feature is not extracted in the normal playback time of the entire playback section, but, for example, as shown in FIG. 1A, a section including an intro portion smaller than the normal playback section H. The feature is extracted within the normal reproduction time of a. FIG. 1B shows a method of extracting a feature when the playback sections H1, H2, and H3 are long. For the playback section H1, normal playback of a playback section b1 that is much shorter than that is performed. The feature is extracted within the time, and for the next playback section H2, the feature is extracted within the normal playback time of the playback section b2, which is much shorter, and for the next playback section H3, the feature is extracted. The feature is extracted within the normal playback time of the extremely short playback section b3. As described above, when the playback section is long, the playback section is separated, and the feature is extracted from a part of the playback section.
FIGS. 2A, 2B, and 2C show the processing steps of H1, H2, and H3 in FIG. 1A (Example 1) or FIG. 1B (Example 2). In the initial state of the processing, the normal reproduction position and the feature extraction position have the same start position as shown in FIG. 2A, and the normal reproduction time elapses t (sec) as shown in FIG. 2B. As the playback progresses, the position of the feature extraction process also advances toward the end of the predetermined feature extraction section, and as shown in FIG. 2C, when the predetermined normal playback section in the hatched section is normally played back, The feature extraction process for the feature extraction section ends.
As described above, when performing the digest reproduction using the characteristic extraction data, the normal reproduction is performed until the characteristic extraction processing of the predetermined section is completed.
By the signal processing as described above, when the digest playback mode using the feature extraction data is started, even if the feature extraction data has not been processed in advance, a predetermined digest playback operation cannot be performed until the feature extraction process is completed. It is possible to prevent that no sound is output, and since the time of the feature extraction processing according to the present invention is completed in a short time, the user can immediately perform the normal reproduction operation during the feature extraction processing as soon as predetermined. It can be felt that a predetermined digest reproduction operation using the feature extraction data has started, and an efficient and effective operation can be performed.
[0017]
There is another method described with reference to FIG. 2 in which a feature is extracted with the passage of time when the playback section is long, and the feature is extracted within a few seconds from the start of processing (see FIG. 2). 2 (A)), repeating the feature extraction again t seconds after the start of the processing (FIG. 2 (B)), and finally extracting the feature near the end of the predetermined section (FIG. 2 (C)) To do. As described above, the feature may be extracted every time a predetermined playback time elapses for a player whose playback time is unknown.
In the description of FIG. 1 and FIG. 2 described above, the processing is performed when the normal reproduction is performed simultaneously during the characteristic extraction processing period. However, the present invention is not limited to this. A predetermined digest reproduction operation using data may be started. In such a case, since the predetermined digest operation is not started until the predetermined feature extraction process is completed, a display indicating that the feature extraction is being performed may be displayed to the user.
[0018]
Then, when the software is reproduced again, it is determined that the software is the software, and when the apparatus is set to the summary reproduction mode, its ID is read out, so that the processing for performing special reproduction such as an effective summary reproduction can be performed quickly. Can be migrated.
[0019]
If the ID processing has already been performed, the processing is not performed, and the presence of the ID is displayed on a predetermined display means.
[0020]
In addition, instead of storing the ID in a predetermined recording medium in the apparatus, the ID is stored in a predetermined storage unit (case, a predetermined recording area of the recording medium, etc.) of the recording medium itself. Perform the same processing as described above.
[0021]
If the ID processing has already been performed, the above-mentioned feature extraction processing is not performed, and the existence of the ID is displayed on a predetermined display means.
[0022]
When a recording medium on which a predetermined image / audio is recorded is mounted on the apparatus and the digest ID processing is not performed, the ID processing is automatically performed by high-speed reproduction.
[0023]
Hereinafter, a first embodiment of the present invention will be described in the following order with reference to the drawings.
[0024]
[1] Operating principle
[2] Example of overall block configuration
[3] Operation flowchart
[0025]
[1] Operating principle
(1.1) Characteristic signal detection method
Here, for the sake of simplicity, it is assumed that a video / audio signal is subjected to MPEG compression processing, and a predetermined characteristic signal is detected from the MPEG stream.
[0026]
For example, as shown in FIG. 3, an I picture is detected from an image sequence, a characteristic vector is generated by dividing the DC coefficient of the discrete cosine transform (DCT) for each I picture, and a characteristic vector is generated. By calculating the distance, it is possible to detect a motion vector in the P picture, and perform similar image detection and cut point detection.
That is, as shown in FIG. 3, the frame is divided into, for example, 25 regions, and the average value of the DC coefficients of the luminance signal y and the color difference signals cb and cr is calculated for each region, and the luminance signal y having the calculated value as a component is calculated. , And the characteristic vectors Vcb and Vcr of the color difference signals cb and cr are calculated, and the characteristic vector at a predetermined time is used as a reference vector to calculate a vector distance. Here, the number of divided regions of the frame is not limited to 25, but may be slightly increased, for example, 36 regions, or slightly reduced, for example, 16 regions. In such a case, the number of divisions may be set according to the processing time, processing accuracy, or the like.
[0027]
(1.2) Method of detecting predetermined recording medium
If there is a label, the characteristic signal (characteristic vector) detected as described above is stored in a recording medium in the apparatus together with the label so that it can be determined that the signal is of a predetermined recording medium.
[0028]
It is possible to assume that there is no label on the recording medium or that the label is duplicated.If the data of the intro part of the recording medium is stored in the recording medium in the device, the recording medium can be attached to the device. In this case, the recording medium can be determined by matching the data of the intro part.
[0029]
In some cases, if a list of recording media already processed by the apparatus has a label or title, the list may be displayed on the display system 13 of a block diagram described later together with the label or title.
[0030]
[2] Example of overall block configuration
As shown in FIG. 4, the information signal processing device includes a recording medium system 1, a reproduction processing system 2 for reproducing information recorded on the recording medium system 1, and a reproduction data separation processing system for separating reproduced data. 3, a video decoding processing system 4 for decoding video data among the separated data, a video D / A processing system 5 for converting the decoded video signal into an analog signal and outputting a video signal, and a recording medium system 1 , A reproduction control system 7 for controlling reproduction of the recording medium system 1, and an identification signal for detecting an identification signal among data separated by the reproduction data separation processing system 3. A detection system 8, an audio decoding processing system 9 for decoding an audio signal among the data separated by the reproduction data separation processing system 3, and a conversion of the decoded audio signal into an analog value to output as an audio signal. A voice D / A processing system 10, a feature extraction system 11 for extracting features from the video decoding processing system 4 and the audio decoding processing system 9, a recording medium detection system 6, a reproduction control system 7, an identification signal detection system 8, a feature extraction The system 11 includes a system controller 12 for controlling the system 11 and the display system 13, a display system 13 for displaying under the control of the system controller 12, a user input I / F system 14 for a user to input commands and the like, and a memory system 15.
[0031]
In such a configuration, the recording medium detection system 6 detects that a predetermined recording medium has been set, starts reproducing the intro part, and checks whether a predetermined program of the recording medium has been subjected to ID processing or whether the memory system 15 And performs a comparison process with the data stored in.
In the case where the recording medium system 1 is a recording medium such as a hard disk installed in the apparatus, a predetermined program or the like recorded by a user is set in a reproducing operation state, and an intro part or predetermined information is recorded. The reproduction of the TOC (Table of contents) portion is started, and it is determined whether the predetermined program has been subjected to the ID processing by comparing it with the data stored in the memory system 15.
[0032]
If the ID processing has not been performed, the processing is performed at the same time as the normal reproduction, or the ID processing is performed at high speed reproduction.
[0033]
The image / audio data reproduced from the recording medium is extracted by the feature extraction system 11 after decoding, and stored in the memory system 15 via the system controller 12.
When the recording medium system 1 is, for example, a recording medium such as a DVD or a CD (CD-RW) (CD rewritable) recordable by a user, or a recording medium such as a hard disk installed in the apparatus. Alternatively, a predetermined recording area in which data recording is permitted, which is different from a predetermined recording area in which image / audio information is recorded, may be provided, and predetermined data may be recorded instead of recording in the memory system 15. .
[0034]
In the special reproduction mode, the characteristic data is appropriately called from the memory system 15 by a user's command input, and the reproduction control system 7 is controlled by the system controller 12 to perform a predetermined digest reproduction.
[0035]
[3] Operation flowchart
Hereinafter, the operation of the information signal processing device having the above configuration will be described with reference to the flowcharts shown in FIGS.
[0036]
First, when a recording medium is detected, data is read from the memory system 15 (steps ST11 and ST12).
[0037]
Then, reproduction of the intro portion starts, and the number of times of comparison processing reproduction is determined (steps ST13 and ST14).
[0038]
If it is the first time, the fact that it is the first time is displayed, the mode is set to mode 0 (Mode = 0), and the number is written in the memory (steps ST15, ST16, ST17, ST18).
[0039]
If it is not the first time in step ST15, the number of times that it is the second time or more is displayed (step ST19).
[0040]
Then, the mode is set to mode 1 (Mode = 1) and the number is written to the memory (steps ST20 and ST21).
[0041]
Then, the reproduction mode input wait state is set, and if there is no input and the operation is stopped, the operation is stopped (steps ST22, ST23, ST24, ST25).
[0042]
In step ST23, if there is an input, it is next determined whether or not digest playback is to be performed. In the case of digest playback, and in mode 1 (Mode = 1), reading of the ID of the memory system 15 is performed. (Steps ST26, ST27, ST33).
[0043]
In the case of mode 0 (Mode = 0) in step ST27, high-speed reproduction processing is performed, characteristic detection processing is performed, ID processing is performed, and the data is written to the memory system 15 (steps ST28, ST29, ST30, and ST31). .
[0044]
Next, if the processing of steps ST28 to ST31 is not completed, the process proceeds to step ST28, and the above processing is performed. If the processing is completed, the ID is read into the memory system (steps ST32 and ST33).
[0045]
Next, go to FIG. , And a memory system read process is performed (steps ST41 and ST42).
[0046]
Next, a digest ID frame comparison process is performed (step ST43). If the frame is not a digest frame, the reproduction process is performed, and if the frame is a digest frame, a skip process is performed (steps ST44, ST45, ST46).
[0047]
Next, the process proceeds to step ST37 shown in FIG.
[0048]
In step ST26 shown in FIG. 5, if it is not the digest reproduction, the process goes to step ST34 shown in FIG. 6, and after reading the ID from the memory system 15, the digest reproduction process is performed. If not, it is determined whether there is a mode change (steps ST34, ST35, ST36).
[0049]
If there is no mode change in step ST36, the process goes to step ST34 to perform digest reproduction processing again, and if there is a mode change, the normal reproduction mode is processed (step ST37).
[0050]
After the processing in the normal reproduction mode, if the operation is not stopped, the operation is stopped. If the mode is not changed, the processing in the normal reproduction mode in step ST37 is performed (steps ST38 and ST39).
[0051]
In step ST39, when there is a mode change, in the case of mode 0 (Mode = 0), the process goes to step ST28 shown in FIG. 5 to perform high-speed reproduction processing. In the case of mode 1 (Mode = 1), Then, the process goes to step ST33 shown in FIG. 5 to read the ID into the memory system 15 (steps ST40 and ST33).
[0052]
Next, go to FIG. Is performed (step ST41).
A reading process is performed from the memory system 15 and a comparison process of the digest ID frame is performed (steps ST42 and ST43).
[0053]
When there is no digest frame, the reproduction process is performed. When there is the digest frame, the skip process is performed, and the normal reproduction mode process of step ST37 shown in FIG. 6 is performed (steps ST44, ST45, ST46).
[0054]
[4] Example of device display
FIG. 8 shows a display example of the apparatus, in which the number of times the recording medium has been reproduced, whether the digest ID processing has been performed, and the like are displayed.
[0055]
Such a display may be a display for displaying a reproduced image or a display system such as a liquid crystal display provided in the apparatus main body.
[0056]
FIG. 8A shows a case where a plurality of discs such as a changer can be loaded in the apparatus and can be reproduced, and it is possible to display whether ID processing is performed for each disc. In FIG. The reproduction number of 1 is 1, the title is “movie”, and the display is performed with digest ID processing. Disk No. 2, the number of reproductions is 0, the title is "music", and the display is performed without digest ID processing. Disk No. 3, the number of times of reproduction is 2, the title is "sports", and a display without digest ID processing is made.
[0057]
In this case, a disc may be designated to indicate whether ID processing is performed for each program of the disc, as in a single disc playback apparatus shown in FIG. 8 (2).
[0058]
FIG. 8 (2) shows the case of a single disk reproducing apparatus, and indicates whether ID processing is performed for each program. For example, the disc No. The reproduction number of 1 is 1, the title is “movie”, and the display is performed with digest ID processing. Disk No. 2, the number of reproductions is 0, the title is "music", and the display is performed without digest ID processing. Disk No. 3, the number of times of reproduction is 2, the title is "sports", and a display without digest ID processing is made.
[0059]
Next, an information signal processing device and an information signal processing method according to a second embodiment will be described with reference to the drawings.
[0060]
First, an overview of an information signal processing device and an information signal processing method according to the second embodiment will be described.
The characteristic data of the image scene is input in a time series, a predetermined arithmetic processing is performed between the characteristic data already stored and the input characteristic data, and a result and a predetermined scene ID are determined by the motion vector information. Assign to the image scene. Each time one process is completed, the input data area is sequentially shifted.
[0061]
Hereinafter, a second embodiment of the present invention will be described in the following order with reference to the drawings.
[1] Operating principle
[2] Block configuration example
[3] Operation flowchart
[0062]
[1] Operating principle
FIG. 9A shows a data memory system for storing characteristic data, in which Da is stored in all recording areas as initial data. In this case, the first input data D0 is also used as the initial data. good.
[0063]
FIG. 9B shows an ID memory system in which Aa is stored in all recording areas as initial data. In this case, 0 may be used as initial data.
The address of the data memory system shown in FIG. 9A and the address of the ID memory system shown in FIG. 9B correspond one-to-one. The ID data stored in the address of the ID memory system corresponding to the address of the system is read, and the ID data is assigned to the image frame on which the characteristic data is input and the arithmetic processing is performed.
[0064]
Here, for the sake of simplicity, it is assumed that characteristic data is generated from MPEG image data and is input to a data memory system for each I picture.
[0065]
As shown in FIGS. 9A and 9A, when the first I picture is detected, the characteristic data D0 is stored in the first memory area.
[0066]
Using D0 as reference data, a predetermined vector distance calculation is performed sequentially with data in other memory areas as shown in the figure.
[0067]
After the predetermined operation, the value Vd at which the operation result is minimized is compared with a predetermined threshold value, Th,
Vd <Th Equation (1.1)
In the case of (1), the ID data of the ID memory area corresponding to the minimum area is assigned to D0, and the ID data is stored in the ID memory system memory area corresponding to the memory area of D0.
[0068]
In this case, since D0 is still the first area, if 0 is set as the initial ID, 0 is assigned as ID data.
[0069]
Vd> = Th Equation (1.2)
In the case of, the ID is obtained by adding 1 to the maximum value IDmax of the data value stored in the ID memory system.
[0070]
However, in the above case, since the input data has not been input until all the areas of the ID memory system, the equation (1.2) does not occur.
[0071]
When the next I picture is detected, the same processing as described above is performed by shifting the memory area by one as shown in FIGS. 9 (1), (a2) and (a3).
[0072]
When the data is stored in the entire memory area as shown in FIGS. 9A and 9A, the next I picture detection returns to the first memory area as shown in FIGS. 9A and 9A.
[0073]
The same applies to the ID memory system, and the arithmetic processing and ID are allocated in this manner.
[0074]
FIG. 10 shows a recorded image sequence, in which there is a camera pan in sections a to b, sections b to c, sections c to d, and section d, and points a, b, c, and d are cut points. It is assumed that a scene change has occurred.
[0075]
When considering the classification of an image based on a certain person or object, for example, when the person or the object is moving or the camera pans, the image is determined to be a similar image, or another image is determined. There is no absolute criterion for determining whether or not to use, and it depends on the user's own preference.
[0076]
Here, when the above-described ID processing is performed on such an image sequence, a different ID may be assigned in the camera pan section a to b since the image scene moves.
[0077]
From a different point of view, there may be a case where it is better to assign the same ID for classification only when the image is moving.
[0078]
Therefore, if the average scalar value Md of a predetermined motion vector is smaller than a predetermined threshold value Mth even if the ID is different from the previous time point at a certain time point using the motion vector, the ID of the previous I picture And assign the same ID.
[0079]
By performing such processing, the same predetermined ID is assigned to similar image frames even if the image scene slightly moves from the section of the cut point, and the ID is used according to the user's preference. The present invention can also be applied to searching for similar images, organizing images, digest reproduction of similar images, and the like.
[0080]
FIG. 11 is an example of a block configuration of a classification processing system and an ID generation system, and arithmetic processing is performed by a system controller.
The configuration includes a characteristic data detection system 30 for inputting image data and detecting characteristic data, a characteristic data memory system 31 for storing characteristic data, and characteristic data and characteristic data detection systems 30 read from the characteristic data memory system 31. An arithmetic processing system 32 for performing a comparison operation with the characteristic data detected in step 1, an identification information data generation system 33 for generating identification information data, an identification information data memory system 34 for storing identification information data, and controls these systems. And a system controller 35.
[0081]
As shown in FIG. 12, the characteristic data detection system 30 detects characteristic data by dividing the data and generating data.
Here, the characteristic data is obtained by dividing the frame into a plurality of regions as described in the first embodiment of the present invention [1] Operation Principle (1.1), and for each divided region, the DC coefficient of the DCT Considering a vector having an average value as a component, the component of the vector can be used as characteristic data. As another method, an image frame is subjected to a wavelet transform, and a luminance signal and a color difference signal are subjected to multi-resolution analysis. As shown in the figure, the HH region subjected to the multi-resolution analysis is divided into, for example, 36, the average value of the wavelet coefficient is calculated for each region, and a vector having the calculated value as a component can be assumed. In the same way as in the case, the component of the vector can be used as the characteristic data. That is, the average value of the DC coefficients of the DCT and the average value of the wavelet coefficients for each divided area are used as the characteristic data.
Here, the number of area divisions shown in FIG. 12 is not limited to 36, and as described in the above-described first embodiment of the present invention [1] operation principle (1.1), depending on the case, The number of divided regions may be 25 or 16 and the order of the characteristic data is the same. Therefore, the order of characteristic data may be 25 or 16 depending on the number of divided regions.
[0082]
As shown in FIG. 13, the generation of the identification information data in the identification information data generation system 33 is performed when the ID data has been returned to a predetermined value in the return processing of the ID data.
That is, if the initial value of the ID data is min (0000H) and the similar image is not subsequently detected by the above-described predetermined calculation processing, the ID is increased by one for each predetermined calculation, When the predetermined maximum value max (FFFFH) is reached, the value is reset to the initial value min.
Here, if the ID is reset as described above and the ID processing is continued, it is conceivable that the same ID as a certain frame image that has been subjected to the ID processing before is assigned, but as shown in FIG. If max is set to FFFFH, the time interval at which the same ID is assigned is long, so even though the image is not similar to the previous image, it does not matter much if the same ID is assigned.
Assuming that the frame rate of an image is, for example, 30 frames / second and that one GOP (Group of Picture) of MPEG is 15 frames, an I picture in an ID processing unit is detected and processed every 0.5 seconds for every 15 frames. Even if a different ID is assigned to each I picture, FFFFH = 65535.
65535 × 0.5 (seconds) = 32767.5 (seconds), that is, about 9 hours.
Since the time interval at which the same ID is assigned to a non-similar image in this way is long, even if the user notices that the image is the same ID even though the image is not a similar image, the recording / reproducing apparatus as in this embodiment is almost impossible. is not a problem.
[0083]
[2] Block configuration example
As shown in FIG. 14, the configuration of the information signal processing apparatus to which the present invention is applied is as follows: an audio A / D conversion processing system 101 which inputs an audio signal, performs AD conversion, and outputs the audio signal; And a multiplexing processing system 103 for multiplexing an audio signal and a video signal, a feature extraction signal from an audio signal and a feature extraction signal from an image signal, and for recording the multiplexed signal. , A recording medium system 105 for recording a multiplexed signal, a video A / D conversion processing system 106 for inputting and AD-converting and outputting a video signal, A video encoder processing system 107 that encodes the reproduced video signal; a reproduction control system 108 that performs reproduction processing on data recorded in the recording medium system 105; An audio signal characteristic extraction system 109 for extracting a characteristic signal from the audio signal encoded by the science system 102; an image signal characteristic extraction system 110 for extracting a characteristic signal from the video signal encoded by the video encoder processing system 7; A reproduction processing system 111 for reproducing data recorded on the recording medium system 105, a reproduction data separation processing system 112 for separating the reproduced signal into an audio signal, a video signal, and an identification signal; An audio decoding processing system 113 for decoding the audio signal separated by the system 112, an audio D / A processing system 114 for converting the signal from the audio decoding processing system 113 into an analog value, and a video separated by the reproduction data separation processing system 112 A video decoding processing system 115 for decoding a signal and a video for converting a signal in the video decoding processing system 115 into an analog value / A processing system 116, a system controller 118 for controlling the audio signal characteristic extraction system 109, the image signal characteristic extraction system 110, the multiplex processing system 103, and the reproduction control system 108, and a user input I / O for inputting a signal from the user. An F system 119 and a reproduction mode display system 120 are provided.
[0084]
In the information signal processing device having such a configuration, first, an audio signal is subjected to predetermined AD conversion by an audio A / D conversion processing system 101, and then predetermined audio processing is performed by an audio encoder processing system 102. The processed signal or the encoded signal is input to the audio signal feature extraction system 109 to perform predetermined feature extraction.
[0085]
Similarly, the video signal is subjected to a predetermined A / D conversion by the video A / D conversion processing system 106, and then subjected to a predetermined encoder processing by the video encoder processing system 107. The AD converted signal or the encoded signal is , Is input to the image signal feature extraction system 110 to perform predetermined feature extraction.
[0086]
As described in the above [1] Operation Principle, the characteristic data of the audio signal characteristic extraction system 109 and the image signal characteristic extraction system 110 are previously transmitted to the system controller system via the user input I / F system 119 in a predetermined section as described in the operation principle. It is stored in a predetermined memory in 118.
[0087]
Thereafter, the feature data is sequentially detected, and a predetermined correlation calculation is performed in the system controller 118, or a predetermined vector distance calculation is performed in the case where the above-described feature extraction data is used as a component as a vector. .
[0088]
Video and audio data of a predetermined broadcast program or the like is recorded on a recording medium system 105 via a predetermined multiplexing processing system 103, a recording processing system 104, and the like.
[0089]
In the special reproduction mode, the system controller 118 controls the reproduction data from the recording medium system 105 as described in the above [1] operation principle via the reproduction control system 108.
[0090]
[3] Operation flowchart
An operation method using a motion vector in the system controller 118 will be described below with reference to flowcharts shown in FIGS.
[0091]
First, as shown in FIG. 15A, the counter n is set to 0, and an initial setting process is performed (steps ST101 and ST102).
As shown in FIG. 15B, this initial setting process is for processing a motion vector, and sets the number of frames m = 0 and the calculated value V = 0 (step ST113).
[0092]
Next, in step ST103 in FIG. 15A, a stream is detected. If the stream is not an I picture, a motion vector frame detection process is performed (steps ST103, ST104, and ST105).
In the motion vector intra-frame detection processing, as shown in FIG. 15C, first, it is determined whether or not the picture is a P-picture. , ST115).
If the picture is a P-picture in step ST114, a motion vector is detected and an average (Vf) in a frame is calculated (steps ST114, ST117, ST118).
Then, the calculated value V = V + Vf is calculated to calculate an average value (step ST119).
Next, the number m of frames is incremented (m = m + 1) (step ST120).
Then, the process goes to step ST103 in FIG. 15A to detect a stream (step ST103).
[0093]
In step ST104, if the picture is an I picture, the average (Vav) of the motion vectors is calculated by Vav = V / m (step ST106).
[0094]
Next, an ID determination process is performed (step ST107).
In this ID determination process, as shown in FIG. 16, first, characteristic data (Dt) is generated (step ST121).
When the counter n = 0, an initial value setting process is performed (steps ST122 and ST123).
In the initial value setting processing, input of data buffer initial setting Dt (0), input of ID buffer initial setting id = 0, and input of data input position inplace = 0 are performed.
[0095]
If the counter n is not 0 in step ST122, the vector distance array is reset and the initial setting of the vector distance calculation is performed (steps ST124 and ST125).
[0096]
Then, a vector distance minimum value calculation at the distance Vp and the position p is performed (step ST126).
[0097]
Then, the threshold Vp is determined, and if it is other than the threshold, an ID overflow determination process is performed (step ST129).
In the ID overflow determination process, as shown in FIG. 17A, first, it is determined whether or not the value obtained by incrementing the ID buffer id by one is greater than the ID buffer maximum value idmax (step ST140). If it is not larger, the ID buffer id is incremented by one, and if it is larger, the ID buffer id is set to 0, and the ID buffer id is set to IDn (steps ST142, ST141, ST143).
[0098]
Referring back to FIG. 16, if the value is within the threshold value in step ST127, the ID buffer data ID (p) is read, input to IDn, and the data input position “place” is incremented by one (steps ST128 and ST130).
[0099]
If the position is over, the data input position “place” is set to “0”, and if the position is within the memory position, the data input position “place” is left as it is, and the data buffer Dt of the data input position “place” is stored (steps ST131, ST132, ST133).
[0100]
Also, the ID (p) is stored in the data input position “place” in the ID buffer (step ST134).
[0101]
Then, determination of the motion vector (Vav) and re-determination of the threshold value Vp are performed (step ST135).
[0102]
If it is other than the threshold value Vp, preprocessing ID is assigned, IDnv = IDpre, and if it is within the threshold value, scene ID (corresponding to motion vector) is assigned, IDnv = ID (p), and IDpre = IDn in the IDn memory (step ST136) , ST137, ST138, ST139).
[0103]
After performing the ID determination process in this way, in step ST108 shown in FIG. 15, a post-motion vector frame detection process is performed (step ST108).
As shown in FIG. 17B, this post-motion-frame detection processing is processing of a motion vector, and sets the number of frames m = 0 and the calculated value V = 0 (step ST144).
[0104]
After the post-detection processing in the motion vector frame in step ST108 in FIG. 15, a scene ID recording processing corresponding to the motion vector IDnv is performed (step ST109).
[0105]
Then, the counter n is incremented, and it is confirmed that the operation is not stopped. The process proceeds to the detection of the stream following step ST103 (steps ST110, ST111, ST112).
[0106]
【The invention's effect】
As described above, according to the present invention, when viewing a playback medium for the first time, an overview thereof can be grasped in a short time, so that it can be used as a reference when watching at a normal playback time. effective.
In addition, since the normal reproduction is performed during the feature extraction processing for digest reproduction, the video and audio during the digest reproduction operation are not interrupted even during the characteristic extraction processing, and an effective operation can be performed.
[0107]
Further, since the outline of the content of the reproduction medium is automatically recorded on another recording medium, when the user searches for various reproduction media and tries to view the reproduction medium again, the outline is understood. There is also an effect that the re-operation can be omitted.
[0108]
Further, when a recording medium is inserted, the digest reproduction ID processing is automatically performed at high speed, so that ordinary operations are omitted and it becomes a reference when performing normal reproduction.
[0109]
In addition, when recording a broadcast program or the like, classification processing can be performed in real time, and the classification result can be known immediately after the end of recording, such as by timer recording, so that there is almost no waiting time for processing. There is an effect that can be.
[0110]
Furthermore, there is also an effect that images can be sorted, arranged, edited, digest-reproduced, and the like using the classified scene IDs.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an operation principle of a first embodiment according to the present invention.
FIG. 2 is an explanatory diagram showing an operation principle of the first embodiment according to the present invention.
FIG. 3 is an explanatory diagram showing an operation principle of the first embodiment according to the present invention.
FIG. 4 is a block diagram illustrating a configuration of an information signal processing device according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing the same operation.
FIG. 6 is a flowchart showing the same operation.
FIG. 7 is a flowchart showing the same operation.
FIG. 8 is an explanatory diagram showing a display example of the device.
FIG. 9 is an explanatory diagram showing the operation principle of the second embodiment according to the present invention.
FIG. 10 is an explanatory diagram showing the operation principle of the second embodiment according to the present invention.
FIG. 11 is a block diagram of an image separation processing system according to a second embodiment of the present invention.
FIG. 12 is an explanatory diagram when a divided area of the multi-resolution analysis plane is selected.
FIG. 13 is an explanatory diagram of the identification information data return processing.
FIG. 14 is a block diagram illustrating a configuration of an information signal processing device according to a second embodiment of the present invention.
FIG. 15 is a flowchart showing the same operation.
FIG. 16 is a flowchart showing the same operation.
FIG. 17 is a flowchart showing the same operation. Example of device display
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1; Recording medium system, 2: Reproduction processing system, 3: Reproduction data separation processing system, 4: Video decoding processing system, 5: Video D / A processing system, 6: Recording medium detection system, 7: Reproduction control system, 8 Identification signal detection system, 9; audio decoding processing system, 10; audio D / A processing system, 11; feature extraction system, 12; system controller, 13; playback mode display system, 14; user input I / F system, 15 Memory system 30, characteristic data detection system 31, characteristic data memory system 32, arithmetic processing system 33, identification information data generation system 34, identification information data memory system 35, system controller 101, audio A / D conversion processing system, 102; audio encoder processing system, 103; multiplex processing system, 104; recording processing system, 105; recording medium system, 106; video A / D conversion processing system, 107; video encoder Reproduction control system, 109; Audio signal characteristic extraction system, 110; Image signal characteristic extraction system, 111; Reproduction processing system, 112; Reproduction data separation processing system, 113; Audio decoding processing system, 114; Audio D / A processing system, 115; video decoding processing system, 116; video D / A processing system, 117; identification signal detection system, 118; system controller, 119; user input I / F system, 120; playback mode display system.

Claims (20)

所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体であると判定する記録媒体判定手段と、
上記第１の記録媒体からその情報信号を再生する第１の再生手段と、
上記第１の再生手段から再生される信号から上記情報信号の所定の特性信号を検出する特性信号検出手段と、
上記特性信号検出手段からの信号に応じて所定の識別信号を生成する識別信号生成手段と、
上記識別信号生成手段からの識別信号が、上記第１の記録媒体における識別信号であることが識別できるように、その識別信号を第２の記録媒体又は上記所定の情報信号が予め記録されている記録領域とは異なる第２の記録領域に記録する識別信号記録手段と、
上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記識別信号記録手段によりその記録媒体であると認識し、上記第２の記録媒体又は上記第２の記録領域から上記所定の識別信号を再生する第２の再生手段と、
上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記記録媒体判定手段によりその記録媒体であると判定し、上記第２の再生手段からの信号に応じて上記第１の再生手段を再生制御する再生制御手段と、
を備えたことを特徴とする情報信号処理装置。A recording medium determination unit that determines that the first recording medium on which a predetermined information signal is recorded in advance is a recording medium when the first recording medium is set in a predetermined state or is set to a predetermined operation state;
First reproducing means for reproducing the information signal from the first recording medium;
Characteristic signal detecting means for detecting a predetermined characteristic signal of the information signal from a signal reproduced from the first reproducing means;
Identification signal generation means for generating a predetermined identification signal according to a signal from the characteristic signal detection means,
The identification signal is recorded in advance on a second recording medium or the predetermined information signal so that the identification signal from the identification signal generating means can be identified as an identification signal on the first recording medium. Identification signal recording means for recording in a second recording area different from the recording area;
When the first recording medium is placed in a predetermined state or a predetermined operation state, the identification signal recording unit recognizes that the recording medium is the recording medium, and the second recording medium or the second recording area. Second reproducing means for reproducing the predetermined identification signal from
When the first recording medium is placed in a predetermined state or a predetermined operation state, the recording medium determination means determines that the recording medium is the recording medium, and the first recording medium is determined according to a signal from the second reproduction means. Playback control means for controlling the playback of the first playback means;
An information signal processing device comprising: 上記情報信号は、画像信号及び／又は音声信号である請求項１に記載の情報信号処理装置。The information signal processing device according to claim 1, wherein the information signal is an image signal and / or an audio signal. 上記特性信号は、上記情報信号が所定の圧縮処理を施されている信号の場合には、圧縮信号帯域における所定の特性信号である請求項１に記載の情報信号処理装置。The information signal processing device according to claim 1, wherein the characteristic signal is a predetermined characteristic signal in a compressed signal band when the information signal is a signal that has been subjected to a predetermined compression process. 上記再生制御手段は、上記第１の記録媒体をダイジェスト再生制御する請求項１に記載の情報信号処理装置。2. The information signal processing device according to claim 1, wherein the reproduction control means controls digest reproduction of the first recording medium. 所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体であると判定し、
上記第１の記録媒体からその情報信号を再生し、
上記第１の記録媒体から再生される上記情報信号の所定の特性信号を検出し、
検出した上記特性信号に応じて所定の識別信号を生成し、
上記識別信号の生成が、上記第１の記録媒体における識別信号であることが識別できるように、その識別信号を所定の第２の記録媒体又は上記所定の情報信号が予め記録されている記録領域とは異なる第２の記録領域に記録し、
上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記識別によりその記録媒体であると認識し、上記第２の記録媒体又は上記第２の記録領域から上記所定の識別信号を再生し、
上記第１の記録媒体が所定の状態又は所定の動作状態に置かれた場合に、上記記録媒体識別によりその記録媒体であると判定し、上記識別信号の再生に応じて上記第１の記録媒体からの情報信号の再生を制御する、
ことを特徴とする情報信号処理方法。When the first recording medium in which a predetermined information signal is recorded in advance is set in a predetermined state or brought into a predetermined operation state, it is determined that the recording medium is the recording medium,
Reproducing the information signal from the first recording medium;
Detecting a predetermined characteristic signal of the information signal reproduced from the first recording medium;
Generate a predetermined identification signal according to the detected characteristic signal,
In order that the generation of the identification signal can be identified as the identification signal in the first recording medium, the identification signal is stored in a predetermined second recording medium or a recording area in which the predetermined information signal is recorded in advance. Recorded in a second recording area different from
When the first recording medium is placed in a predetermined state or a predetermined operation state, the first recording medium is recognized as the recording medium by the identification, and the predetermined recording is performed from the second recording medium or the second recording area. Play the identification signal of
When the first recording medium is placed in a predetermined state or a predetermined operation state, it is determined that the recording medium is the recording medium by the recording medium identification, and the first recording medium is reproduced according to reproduction of the identification signal. Control the reproduction of information signals from the
An information signal processing method comprising: 上記情報信号は、画像信号及び／又は音声信号である請求項５に記載の情報信号処理方法。The information signal processing method according to claim 5, wherein the information signal is an image signal and / or an audio signal. 上記特性信号は、上記情報信号が所定の圧縮処理を施されている信号の場合には、圧縮信号帯域における所定の特性信号である請求項５に記載の情報信号処理方法。6. The information signal processing method according to claim 5, wherein the characteristic signal is a predetermined characteristic signal in a compressed signal band when the information signal has been subjected to a predetermined compression process. 上記第１の記録媒体からの情報信号の再生を制御するのは、上記第１の記録媒体を所定のダイジェスト再生を制御することである請求項５に記載の情報信号処理方法。6. The information signal processing method according to claim 5, wherein controlling the reproduction of the information signal from the first recording medium includes controlling a predetermined digest reproduction of the first recording medium. 所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体又はその情報信号であると判定する記録媒体判定手段と、
その所定の情報信号又は上記第１の記録媒体又は所定の情報信号を再生処理した回数を計測する計測手段と、
上記第１の記録媒体から所定の特殊再生用情報信号が生成されているかを判定する判定手段と、
上記計測手段又は上記判定手段からの信号に応じて上記特殊再生用情報信号の処理状態、その記録媒体の再生状況などを表示する表示手段と、
を備えたことを特徴とする情報信号表示装置。When a first recording medium in which a predetermined information signal is recorded in advance is set in a predetermined state or in a predetermined operation state, the recording medium or a recording medium determination unit that determines that the information signal is the information signal;
Measuring means for measuring the number of times the predetermined information signal or the first recording medium or the predetermined information signal has been reproduced;
Determining means for determining whether a predetermined special reproduction information signal is generated from the first recording medium;
Display means for displaying a processing state of the information signal for special reproduction according to a signal from the measurement means or the determination means, a reproduction state of the recording medium, and the like;
An information signal display device comprising: 所定の情報信号が予め記録されている第１の記録媒体を所定の状態に設置又は所定の動作状態にした場合にその記録媒体であると判定し、
その所定の情報信号又は上記第１の記録媒体又は所定の情報信号を再生処理した回数を計測し、
上記第１の記録媒体から所定の特殊再生用情報信号が生成されているかを判定し、
上記計測又は上記判定に応じて上記特殊再生用情報信号の処理状態、その記録媒体の再生状況などを表示する
ことを特徴とする情報信号表示方法。When the first recording medium in which a predetermined information signal is recorded in advance is set in a predetermined state or brought into a predetermined operation state, it is determined that the recording medium is the recording medium,
Measuring the number of times the predetermined information signal or the first recording medium or the predetermined information signal has been reproduced,
Determining whether a predetermined special reproduction information signal is generated from the first recording medium,
An information signal display method, comprising: displaying a processing state of the information signal for special reproduction, a reproduction state of the recording medium, and the like according to the measurement or the determination. 所定の情報信号から所定の時系列的に所定の特性信号を生成する特性信号生成手段と、
上記特性信号生成手段からの信号を逐次所定の記憶領域に記憶する第１のメモリー手段と、
上記情報信号における所定の動的情報信号を抽出する動的情報信号抽出手段と、
上記時系列毎に、その時系列時点における上記第１のメモリー手段に入力する特性データと上記第１のメモリー手段に既に記憶されているデータとの間で所定の演算を行う演算手段と、
上記動的情報信号抽出手段からの信号と上記演算手段の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号生成手段と、
上記識別信号生成手段からの信号を上記時系列に対応して所定の記憶領域に記憶する第２のメモリー手段と、
を備えたことを特徴とする情報信号処理装置。Characteristic signal generating means for generating a predetermined characteristic signal in a predetermined time series from a predetermined information signal,
First memory means for sequentially storing signals from the characteristic signal generating means in a predetermined storage area;
Dynamic information signal extracting means for extracting a predetermined dynamic information signal in the information signal,
Calculating means for performing a predetermined calculation between the characteristic data input to the first memory means at that time series time and the data already stored in the first memory means for each time series;
A predetermined identification signal generating unit to be assigned to the information signal at a predetermined time point in the time series, according to a signal from the dynamic information signal extracting unit and a signal obtained by the calculation result of the calculating unit,
A second memory means for storing a signal from the identification signal generation means in a predetermined storage area corresponding to the time series;
An information signal processing device comprising: 上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である請求項１１に記載の情報信号処理装置。The information signal processing device according to claim 11, wherein the information signal is an image information signal that has been subjected to a predetermined band compression process. 上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である請求項１１に記載の情報信号処理装置。The information signal processing device according to claim 11, wherein the time series is a time series for each I picture when the information signal is an MPEG signal. 上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである請求項１１に記載の情報信号処理装置。The information signal processing device according to claim 11, wherein the dynamic information signal is a motion vector in a predetermined image when the information signal is an MPEG signal. 上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である請求項１１に記載の情報信号処理装置。The calculation means forms a predetermined vector having the characteristic data as a component, and performs a predetermined vector distance operation using the vector, or a scalar of the vector, or a predetermined correlation operation using a vector component. Item 12. The information signal processing device according to item 11. 所定の情報信号から所定の時系列的に所定の特性信号を生成し、
上記特性信号を逐次所定の第１の記憶領域にメモリーし、
上記情報信号における所定の動的情報信号を抽出し、
上記時系列毎に、その時系列時点における上記第１のメモリーに入力する特性データと上記第１のメモリーに既に記憶されているデータとの間で所定の演算を行い、
上記動的情報信号抽出と上記演算の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号を生成し、
上記識別信号を上記時系列に対応して所定の第２のメモリーに記憶することを特徴とする情報信号処理方法。Generate a predetermined characteristic signal in a predetermined time series from a predetermined information signal,
The characteristic signals are sequentially stored in a predetermined first storage area,
Extracting a predetermined dynamic information signal in the information signal,
For each of the time series, perform a predetermined operation between the characteristic data input to the first memory at the time series and the data already stored in the first memory,
According to the signal based on the operation result of the dynamic information signal extraction and the operation, generate a predetermined identification signal to be assigned to the information signal at a predetermined time point in the time series,
An information signal processing method, wherein the identification signal is stored in a predetermined second memory corresponding to the time series. 上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である請求項１６に記載の情報信号処理方法。17. The information signal processing method according to claim 16, wherein the information signal is an image information signal that has been subjected to a predetermined band compression process. 上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である請求項１６に記載の情報信号処理方法。17. The information signal processing method according to claim 16, wherein the time series is a time series for each I picture when the information signal is an MPEG signal. 上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである請求項１６に記載の情報信号処理方法。17. The information signal processing method according to claim 16, wherein the dynamic information signal is a motion vector in a predetermined image when the information signal is an MPEG signal. 上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である請求項１６に記載の情報信号処理方法。The calculation means forms a predetermined vector having the characteristic data as a component, and performs a predetermined vector distance operation using the vector, or a scalar of the vector, or a predetermined correlation operation using a vector component. Item 17. An information signal processing method according to Item 16.
JP2002197311A 2002-07-05 2002-07-05 Information signal processing apparatus and information signal processing method Expired - Fee Related JP4239496B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002197311A JP4239496B2 (en) 2002-07-05 2002-07-05 Information signal processing apparatus and information signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002197311A JP4239496B2 (en) 2002-07-05 2002-07-05 Information signal processing apparatus and information signal processing method

Publications (2)

Publication Number Publication Date
JP2004040629A true JP2004040629A (en) 2004-02-05
JP4239496B2 JP4239496B2 (en) 2009-03-18

Family

ID=31705117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002197311A Expired - Fee Related JP4239496B2 (en) 2002-07-05 2002-07-05 Information signal processing apparatus and information signal processing method

Country Status (1)

Country Link
JP (1) JP4239496B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097015A (en) * 2005-09-30 2007-04-12 Sony Corp Reproducing apparatus, recording and reproducing apparatus, data processing method, and program thereof
WO2011013288A1 (en) * 2009-07-27 2011-02-03 パナソニック株式会社 Video file playback method, video file playback device, and related technology thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097015A (en) * 2005-09-30 2007-04-12 Sony Corp Reproducing apparatus, recording and reproducing apparatus, data processing method, and program thereof
JP4600236B2 (en) * 2005-09-30 2010-12-15 ソニー株式会社 REPRODUCTION DEVICE, RECORDING / REPRODUCTION DEVICE, DATA PROCESSING METHOD, AND PROGRAM THEREOF
WO2011013288A1 (en) * 2009-07-27 2011-02-03 パナソニック株式会社 Video file playback method, video file playback device, and related technology thereof

Also Published As

Publication number Publication date
JP4239496B2 (en) 2009-03-18

Similar Documents

Publication Publication Date Title
JP4569055B2 (en) Signal processing apparatus and signal processing method
JP4584250B2 (en) Video processing device, integrated circuit of video processing device, video processing method, and video processing program
EP0795872B1 (en) Information record medium, apparatus for recording the same and apparatus for reproducing the same
US6163646A (en) Apparatus for a synchronized playback of audio-video signals
JP2985703B2 (en) Image compression recording medium playback device
JP2007265460A (en) Video playback apparatus
JP2003283993A (en) Video information recording/reproducing apparatus and video information recording/reproducing method
JP3879122B2 (en) Disk device, disk recording method, disk reproducing method, recording medium, and program
JP4239496B2 (en) Information signal processing apparatus and information signal processing method
JP3861362B2 (en) Digital signal reproduction method and apparatus
JPH09182019A (en) Video signal recording device and reproducing device
JP2001203967A (en) Information reproducing device
US7031595B2 (en) Disk reproducing apparatus
JP3890655B2 (en) Digital signal reproduction method and apparatus
US20030142961A1 (en) Optical recording medium, apparatus and method for playing the optical recording medium
JPH08181947A (en) Image compression recording medium and image compression recording medium reproduction device
JP2001298711A (en) Image recording and reproducing device and method, and recording medium
JP2004040628A (en) Information signal processing apparatus and information signal processing method
JP4030328B2 (en) Digest video file creation method and video recording / playback apparatus
JPH11203051A (en) Information processing device and method, and supply medium
JP4196475B2 (en) Reproduction apparatus and method, and recording and / or reproduction apparatus and method
JP2985609B2 (en) Compressed image playback method
KR100211327B1 (en) Method of concurrently processing video and audio in a home automation device
JPH09282797A (en) Recording method and recording and reproducing device
JPH08205044A (en) Information service controller and information service control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081003

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees