JP2005065185A - 情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法 - Google Patents

情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法 Download PDF

Info

Publication number
JP2005065185A
JP2005065185A JP2003296329A JP2003296329A JP2005065185A JP 2005065185 A JP2005065185 A JP 2005065185A JP 2003296329 A JP2003296329 A JP 2003296329A JP 2003296329 A JP2003296329 A JP 2003296329A JP 2005065185 A JP2005065185 A JP 2005065185A
Authority
JP
Japan
Prior art keywords
predetermined
data
parameter
image
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003296329A
Other languages
English (en)
Other versions
JP4217964B2 (ja
Inventor
Noboru Murabayashi
昇 村林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003296329A priority Critical patent/JP4217964B2/ja
Priority to US10/920,681 priority patent/US7664376B2/en
Publication of JP2005065185A publication Critical patent/JP2005065185A/ja
Application granted granted Critical
Publication of JP4217964B2 publication Critical patent/JP4217964B2/ja
Priority to US12/647,912 priority patent/US8577207B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】ユーザーが所望の好みに応じたダイジェスト再生を、所定のパラメーターデータを用いて所定の規則に応じて再生区間を決める情報信号処理方法及び情報信号処理装置を提供する。
【解決手段】ユーザが所望の好みに応じたダイジェスト再生のためのパラメータ設定を行うことができ,これによりユーザに応じたより効果的なダイジェスト再生を行うことができる。 又,調整は所定の画像音声ファイルを再生して,ファイルを指定するだけなので,簡単な操作で複雑なパラメータ変更を容易に行うことができる。 更に,調整用パラメータに応じたファイルを再生することで調整するので,パラメータを変更したことでどのように再生状況が変化するかを実際に見ていることになるので,より効果的なパラメータ調整ができる。
【選択図】図1

Description

本発明は、例えば放送番組における映像信号、音声信号などの情報信号を、光磁気ディスク、ハードディスク(HDD:Hard Disk Drive)、半導体メモリーなどの所定記録媒体に記録し再生する記録再生装置において、ダイジェスト再生、記録などの特殊再生処理、特殊記録処理などを行う場合の技術に関するものであり、更に、インターネットなどの所定のネットワーク系において伝送する場合に、画像データから所定の特徴データを抽出し、その特徴抽出データと設定される所定のパラメーターデータか所定の画像分類を行う場合の信号処理技術に関するものである。
従来のVTRやディスク記録再生装置においては、長時間記録した記録内容を短時間で再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ1.5〜2倍速程度で再生処理が行われている。
さらに短時間で再生しその要約再生(ダイジェスト再生)を行おうとすると、高速度の音声出力では内容が理解できにくいため、無音とし画像出力のみの再生処理を行うことが一般的であった。
そこで、記録する画像音声データから所定の特徴データを抽出して、所定の規則に従って所定の特徴的な区間だけを選択して再生すること、或いは、所定のパラメーターデータを用いて所定の規則に従って所定の特徴的な区間だけを選択して再生することで、ダイジェスト再生を行うことが考えられている。
この特徴データを用いてビデオの再生処理を行う技術としては、例えば、特開2000−285243号公報に開示されているように、映像、音声データから特徴データを検出してビデオ構造を解析し類似チェーン検出することで要約再生に適用する技術がある。
更に、音声特徴を検出してビデオブラウジングを行う技術で、音声信号から音楽区間を検出する技術としては例えば、南憲一他:「音情報を用いた映像インデクシングとその応用」(電子情報通信学会論文誌)(D-2 Vol.J81-D-2 No.3 pp.529-537 1998年3月)および、南憲一他:「音情報を用いたビデオ・ブラウジング・インターフェイス」(テレビジョン学会技術報告(Vol.19 No.7 pp.1-6 1995年)などに記載されている。
また、例えば、特願平8−513478号公報「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」、特願平8−513479号公報「デジタル・オーディオとビデオ・データを走り読みするための方法とそのシステム」などのように所定の画像セグメント、および音声セグメントからビデオを走り読みする技術が知られている。
更に、テレビ番組や、ビデオカメラで記録した画像シーンを類似画像毎に分類して、編集に利用したり、分類した画像シーンだけをダイジェスト再生することが考えられる。
分類処理については例えば、特開2002−344872号公報、特開2002−344852号公報において所定の特徴データと所定のしきい値により所定の類似画像分類する技術、類似分類処理した画像データを所定の表示をする技術について開示されている。
画像分類の結果によっては、分類の仕方を変えたいとか、類似分類する類似度の許容範囲を広げたいとか、あるいは許容範囲を狭めたいなど、ユーザー毎に所望の分類方法が異なる場合が考えられる。
特開2002−281449号公報(第4頁 第1図)
しかしながら、ある放送番組のある番組ジャンルを記録して、ダイジェスト再生を行ってみた所、ユーザーが期待していた区間が再生されなかったり、スキップしても良いと思う区間があった場合には、再生する度にパラメーター設定変更するなど、わずらわしい調整を行うほかに適当な解決手段がなかった。
又、ユーザーが分類処理の結果を変えてみたいと思う場合に、パラメーターとしてのしきい値をどの程度可変すれば、どのように分類処理が変化する、容易に把握することができず、調整をすることが煩わしいなどの問題がある
本発明は上記のような観点から、多くのユーザーに対して多くの番組ジャンルに対応でき、できるだけ効率良く、効果的なダイジェスト再生用のパラメーターを調整行うことがきる技術を提案し、更に、ユーザーが画像分類の結果を調整したい場合に、複雑な調整を行うことなく、容易にパラメーター調整を行い、所望の画像分類を行う技術を提供するものである。
(1)情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系の設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、所定の特徴抽出処理が施され、所定の第2のパラメーター系の設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルを記録した所定の記録媒体と、上記記録媒体から所定の画像音声情報ファイルを選択して再生を行う情報ファイル再生手段と、上記再生した幾つかの情報ファイルの中から一つを選択し、その情報ファイルに対応し、上記第1または上記第2のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定するパラメーター設定手段と、
上記特徴データと上記第1、上記第2のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーター設定手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める再生区間処理手段と、上記再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、を備えたことである。
(2)上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする(1)に記載の情報信号処理装置。
(3)上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも2以上のファイルを備えた(1)に記載の情報信号処理装置。
(4)情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、所定の特徴抽出処理が施され、所定の第2のパラメーター系設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルが記録される第2のステップ、上記記録媒体から所定の画像音声情報ファイルを選択して再生する処理を行う第3のステップ、上記再生した幾つかの情報ファイルの中から一つを選択してその情報ファイルに対応し上記第1または上記第2のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定する処理を行う第4のステップ、上記特徴データと上記第1、上記第2のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータの設定により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める処理を行う第5のステップ、上記第5のステップの再生区間処理の信号に応じて所定の再生制御を行う第6のステップ、からなる。
(5)上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする(4)に記載の情報信号処理方法。
(6)上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも2以上のファイルを備えた(4)に記載の情報信号処理方法。
(7)情報信号処理システムは、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、ユーザーの所定入力により所定の動作モードを行うことができる動作モード設定手段と、所定のネットワーク接続手段と、上記動作モード設定手段により所定の動作モードに設定する場合に、上記ネットワーク接続手段により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行うことができるネットワーク接続調整手段と、あらかじめ設定されている初期設定パラメーターデータまたは上記ネットワーク接続調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、を備えたことである。
(8)上記ネットワーク接続調整手段により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする(7)に記載の情報信号処理システム。
(9)上記ネットワーク接続調整手段により所定のパラメーター調整が行えない場合は、所定の表示手段または、情報出力手段によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる設定データ調整手段を備えた(7)に記載の情報信号処理システム。
(10)上記ネットワーク接続調整手段によるパラメーター調整または、上記ネットワーク接続調整手段によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合はその番組のジャンルに応じて、または上記画像音声データが放送番組データによるものでない場合は、その画像音声データの所定の属性情報信号に応じて、所定のパラメーター調整が行えることを特徴とする(7)に記載の情報信号処理システム。
(11)情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、ユーザーの所定入力により所定の動作モードを行う第2のステップ、上記第2のステップで所定の動作モードを設定する場合に、所定のネットワーク接続処理により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行う第3のステップ、あらかじめ設定されている初期設定パラメーターデータまたは上記第3のステップのネットワーク接続処理により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める第4のステップ、上記第4のステップの要約再生区間処理に応じて所定の再生制御を行う第5のステップ、からなる。
(12)上記第3のステップのネットワーク接続処理により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする(11)に記載の情報信号処理方法。
(13)上記第3のステップのネットワーク接続処理により所定のパラメーター調整が行えない場合は、所定の表示または、情報出力によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる(11)に記載の情報信号処理方法。
(14)上記第3のステップのネットワーク接続処理によるパラメーター調整または、上記ネットワーク接続処理によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合は、その番組のジャンルに応じて、または上記画像音声データが放送番組によるものでない場合は、その画像音声データの所定の属性情報信号に応じて所定のパラメーター調整が行えることを特徴とする(11)に記載の情報信号処理方法。
(15)情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、所定のパラメーター調整用の再生画像音声テストファイルを再生するテストファイル再生手段と、ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整するパラメーター調整手段と、上記パラメーター調整手段で調整された初期設定パラメーターデータの結果を所定方法で表示する表示手段と、上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータ調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段とを備えたことである。
(16)上記パラメーター調整手段は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる(16)に記載の情報信号処理装置。
(17)上記パラメーター調整手段は、所定の調整を行う場合に、ユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる(15)に記載の情報信号処理装置。
(18)上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする(15)に記載の情報信号処理装置。
(19)上記表示手段による表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う(15)に記載の情報信号処理装置。
(20)情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する第1のステップ、所定のパラメーター調整用の再生画像音声テストファイルを再生する処理を行う第2のステップ、ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整する処理を行う第3のステップ、上記第3のステップで調整された初期設定パラメーターデータの結果を所定の表示方法で表示する処理を行う第4のステップ、上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記第3のステップで調整された初期設定パラメーターデータにより調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第5のステップ、上記第5のステップの要約再生区間処理に応じて所定の再生制御を行う処理を行う第6のステップ、からなる。
(21)上記第3のステップでの初期設定パラメーターデータの調整は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる(20)に記載の情報信号処理方法。
(22)上記第3のステップでの初期設定パラメーターデータの調整は、所定の調整を行う場合にユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる(20)に記載の情報信号処理方法。
(23)上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする(20)に記載の情報信号処理方法。
(24)上記第4のステップにおける表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う(20)に記載の情報信号処理方法。
(25)情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データによって所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、上記特徴データと所定の第2のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力手段と、上記動作モード入力手段の信号に応じて再生制御を行う再生制御手段と、上記再生制御手段による再生制御状態に応じて上記第1または第2のパラメーター系データを調整できるデータ調整手段と、を備えたことである。
(26)上記再生制御手段により、所定の再生制御を行った場合にその再生区間を記憶する再生区間記憶手段を備えたことを特徴とする(25)に記載の情報信号処理装置。
(27)上記データ調整手段は、上記再生制御手段により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第2のパラメーター系データを調整することを特徴とする(25)に記載の情報信号処理装置。
(28)所定時間長のテスト画像音声データを記録した記録媒体を備え、上記データ調整手段による調整の後、そのテスト用画像音声データを用いて調整できる(25)に記載の情報信号処理装置。
(29)情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データにより所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、上記特徴データと所定第2のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第2のステップ、上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力の処理を行う第3のステップ、上記第3のステップによる動作モード入力の信号に応じて再生制御を行う第4のステップ、上記第4のステップによる再生制御状態に応じて上記第1または第2のパラメーター系データを調整する第5のステップ、からなる。
(30)上記第4のステップによる再生制御により、所定の再生制御を行った場合にその再生区間を記憶することを特徴とする(29)に記載の情報信号処理方法。
(31)上記第5のステップによる第1または第2のパラメーター系データの調整は、上記第4のステップによる再生制御により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第2のパラメータ系データを調整することを特徴とする(29)に記載の情報信号処理方法。
(32)所定時間長の所定テスト画像音声データが所定の方法により蓄積されており、上記第5のステップによる調整の後、そのテスト用画像音声データを用いて調整できる(29)に記載の情報信号処理方法。
(33)情報信号処理装置は、所定の特徴抽出データと所定の設定パラメーターデータから所定画像データの所定の分類処理を行う画像分類処理手段と、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、 所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、上記動作モード設定手段により所定の調整モードに設定された場合に上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、上記所定の操作系で上記画像表示手段により画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、を備えたことである。
(34)上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである(33)に記載の情報信号処理装置。
(35)上記画像分類処理手段による分類処理は、所定の類似分類とする(33)に記載の情報信号処理装置。
(36)上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う(33)に記載の情報信号処理装置。
(37)情報信号処理方法は、所定の特徴抽出データと所定の設定パラメーターデータから所定の画像データの所定の分類処理を行う第1のステップ、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第2のステップ、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第3のステップ、上記第2のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第3のステップで記憶された画像から所定の分類処理された画像データを読み出し表示する第4のステップ、上記所定の操作系で上記画像表示された何れかの画像を選択しその画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第5のステップ、からなる。
(38)上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである(37)に記載の情報信号処理方法。
(39)上記第1のステップによる分類処理は、所定の類似分類とする(37)に記載の情報信号処理方法。
(40)上記第1のステップの画像分類処理、上記第3のステップの画像データ記憶、上記第5のステップのパラメーター調整は所定のジャンル毎に所定の処理を行う(37)に記載の情報信号処理方法。
(41)情報信号処理装置は、所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する判定検出手段と、上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う画像分類処理手段と、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、上記動作モード設定手段により所定の調整モードに設定された場合に、上記判定検出手段で特徴データが検出できると判定される場合は、特徴データを検出し上記設定パラメーターデータを所定の複数の可変を行い上記画像分類処理手段により可変した各々のパラメーターで所定の分類処理を行い、上記判定検出手段で特徴データが検出されないと判定される場合は、上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、を備えたことである。
(42)上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された(41)に記載の情報信号処理装置。
(43)上記画像分類処理手段による分類処理は、所定の類似分類とする(41)に記載の情報信号処理装置。
(44)上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う(41)に記載の情報信号処理装置。
(45)情報信号処理方法は、所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する第1のステップ、上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う第2のステップ、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第3のステップ、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第4のステップ、上記第3のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第1のステップによる判定検出で特徴抽出データが検出できると判定される場合は、特徴抽出データを検出し上記設定パラメーターデータを所定の複数の可変を行い画像分類により可変した各々のパラメーターで所定の分類処理を行い、上記第1のステップによる判定検出で特徴抽出データが検出されないと判定される場合は、上記第4のステップで画像記憶から所定の分類処理された画像データを読み出し表示する第5のステップ、
上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第6のステップ、からなる。
(46)上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された(45)に記載の情報信号処理方法。
(47)上記第2のステップによる分類処理は、所定の類似分類とする(45)に記載の情報信号処理方法。
(48)上記第2のステップによる画像分類処理、上記第4のステップによる画像データ記憶、上記第6のステップによるパラメーター調整は所定のジャンル毎に所定の処理を行う(45)に記載の情報信号処理方法。
請求項1〜6における情報信号処理装置及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、調整は所定の画像音声ファイルを再生して、ファイルを指定するだけなので、簡単な操作だけで複雑なパラメーター変更を容易に行うことができる。
更に、調整用パラメーターに応じたファイルを再生することで調整するので、パラメーターを変更したことでどのように再生状況が変化するかを実際に見ていることになるので、より効果的なパラメーター調整が容易に行える。
このパラメーター調整は番組ジャンルに応じたパラメータ調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
請求項7〜14における情報信号処理システム及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、ダイジェスト再生用のパラメーターデータ調整を行った場合に、そのデータ設定でユーザーの所望のダイジェスト再生が行えるかを確認できるので、より的確なシステムを効果的に構成できる。
更に、その調整確認用のデータは、装置の内部に備えていないので、装置自体の調整処理に対する構成は、同等の機能を備えた場合に比較して簡単になり、効果的、効率的なシステムを構成できる。
このパラメーター調整は番組ジャンルに応じたパラメーター調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
請求項15〜24における情報信号再生装置及び情報信号再生方法においては、複数あるパラメーター調整で、どのようにパラメーター調整を行ったらどのようなシーンがダイジェスト再生されるかを実際に視覚的に確認しながら容易に調整が行えるので、調整が効率的に効果的に行える。
又、パラメーター調整によるダイジェスト再生シーンの変化が時間系列で把握でき、前後関係のシーンを視覚的に比較しながら調整が行えるので、効率的、効果的な調整が行いやすくなる。
更に、ユーザー毎にパラメーター調整を行えるので、各ユーザーに応じた適切なダイジェスト再生をより効果的に実現できる。
請求項25〜32における情報信号処理装置及び情報信号処理方法においては、ユーザーはリモコンなどの操作系によりダイジェスト再生用のパラメーターデータ調整を容易にまた、効率的に行うことができる。
又、調整用の複雑なモード設定を行うことなく、倍速再生や一時停止といった、一般的な動作モードを行うことで、容易にパラメーター調整を行うことができ、これによりユーザーに応じた効果的なダイジェスト再生が実現できる。
請求項33〜48における情報信号処理装置及び情報信号処理方法においては、画像分類の分類結果をパラメーター調整によりユーザーの嗜好に合わせて変えることができる。
又、パラメーター調整は、パラメーターを可変して処理されたサンプル画像を見比べてユーザーが選択するだけで行うことができ複雑な操作なく容易に調整できる。
更に、特徴抽出されたデータが調整時に利用できない場合は、サンプル画像を、利用できる場合は、サンプル画像の他に実際に分類処理したい画像を一覧表示して見比べることができるので、分類処理のパラメーター調整が効率的に行える。
このパラメーター調整は、分類したい画像ジャンル毎に行えるので、ユーザーの嗜好により対応できる効果的な処理が行える。
次に、本発明に係る情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法の実施形態について、図面を参照して説明する。
本発明に係る第1の実施形態の情報信号処理方法を具現化できる情報信号処理装置は、放送番組などの画像音声データをMPEGなど所定の帯域圧縮処理を施し、所定の記録媒体に記録する際に、その信号処理の過程における所定のデータ信号を用いて、画像、音声信号における所定の特徴抽出を行う。
特徴抽出データから所定の信号処理を行い、記録した所定の記録データから所定の再生区間を取捨選択することでダイジェスト再生動作を行うように、所定のパラメーターデータを用いて所定の規則に応じて再生区間(プレイリスト)を決める信号処理(プレイリスト生成処理)を行う。
上記プレイリスト生成処理によりダイジェスト再生を行い、ユーザーが所望の区間が再生されていないと思う場合は、上記パラメーターデータを変更することで、プレイリスト生成の調整を行うことができる。
ユーザーがパラメーター調整を行う場合は、動作モードを所定のパラメーター調整モードに移行し、幾つかある調整用テストファイルを再生する。
その各テスト用パラメーター調整ファイルは、各々所定のパラメーター設定により所定の要約処理が施されており、ユーザーが自分の嗜好に近いと思うファイルを選択することで、その調整ファイルに対応したパラメーターが自動的にパラメーター設定変更に反映される。
このように、通常再生と同様に、再生動作を行うだけで、また、実際に視聴することで、容易にユーザーはダイジェスト再生用(要約再生用)パラメーター変更設定を行うことができる。
本発明の情報信号処理装置の実施例を図面を用いて以下の順序で説明する。
(1)ブロック構成例
(2)動作フローチャート
ここでは簡単のため、記録する画像音声情報信号は、放送番組データとし、MPEGにより所定の圧縮処理が行なわれるものとする。
(1)ブロック構成例
(記録処理ブロックの説明)
図1は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声A/D変換処理系1と、音声A/D変換処理系1で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系2と、音声エンコーダー処理系2からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系3と、多重化処理系で多重化した音声/映像信号を記録するように制御する記録処理系4と、記録処理系4で制御された音声/映像信号を記録する記録媒体系5と、映像データを入力しデジタル信号に変換する画像A/D変換処理系6と、画像A/D変換処理系6で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系7と、音声エンコーダー処理系2及び映像エンコーダー処理系7で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系10と、記録媒体系5に記録されているデータを再生する再生処理系11と、再生処理系11で再生された音声及び映像のデータを分離する再生データ分離処理系12と、分離された音声データをデコードする音声デコード処理系13と、デコードされた音声データをアナログ信号に変換して出力する音声D/A変換処理系14と、再生データ分離処理系12で分離された映像データをデコードする映像デコード処理系15と、デコードされた映像データをアナログ信号に変換して出力する映像D/A変換処理系16と、記録媒体系5の再生をシステムコントローラー系18からの指示により制御する再生制御系8と、再生データ分離処理系12で分離された特徴データを検出する識別信号/特徴抽出データ検出系17と、ユーザーの操作入力を受信するユーザー入力I/F系19と、ユーザー入力I/F系19からの操作データの入力、識別信号/特徴抽出データ検出系17からの特徴データの入力、再生制御系8の制御、表示処理系20への表示を制御するシステムコントローラー系18と、システムコントローラー系18の制御により再生表示する表示処理系20と、パラメーター調整用テストデータを生成するパラメーター調整用テストデータ系21と、パラメーター調整系22と、プレイリストデータを生成するプレイリストデータ生成系23とから、大略構成されている。
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声AD変換処理系1で所定のAD変換された後、音声エンコーダー処理系2で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系9に入力し、所定の音声特徴抽出を行う。
映像信号も同様で、映像AD変換処理系6で所定のAD変換された後、映像エンコーダー処理系7で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、映像信号特徴抽出系10に入力し、所定の画像特徴抽出を行う。
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系5の所定記録領域に記録される。
上記特徴抽出データは、システムコントローラー系18を介して、所定区間の特徴データ蓄積の後、プレイリスト生成系23で所定のダイジェスト再生(要約再生)用プレイリストデータを生成する。
生成されたプレイリストデータは、記録処理系4において所定の記録処理がなされた後、記録媒体系5の所定の記録領域に記録される。
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
図3はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生(要約再生)を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやMPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプデータでも良い。
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
(再生処理ブロックの説明)
ユーザー入力I/F系19により、再生モードになると、記録媒体系5から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系11において所定の再生処理がなされる。
再生された所定のデータは、再生データ分離処理系において所定のデータに分離処理され、音声データは、音声デコード処理系13に入力し所定のデコード処理がなされ、その後、音声D/A変換処理系に入力しD/A変換処理された後、音声信号として出力する。
所定の分類処理された画像データは、映像デコード処理系15において、所定のデコード処理がなされた後、映像D/A変換処理系に入力しD/A変換処理が行なわれ、映像信号として出力する。
特徴抽出データ、またはパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別データ/特徴抽出データ/パラメーターデータ検出系17において検出する。
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
(ダイジェスト再生(要約再生)モードの説明)
ダイジェスト再生を行う場合は、ユーザー入力I/F系19を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系5から再生して、上記識別データ/特徴データ検出系17からシステムコントローラー系18に入力する。
システムコントローラー系18では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとから生成する。
(パラメーター調整モードの説明)
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更して生成することができる。
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出データ検出系17における第1のパラメーターを調整方法とし、特徴抽出されたデータから第2のパラメーターを調整してプレイリストデータの生成を変更調整することの2通りがある。
例えば、第1のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第2のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
ここで、記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ(.audデータファイル)、テロップ情報の出現に応じたテロップ特徴データ(.tlpデータファイル)について考える。
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴に応じたカメラ特徴データ(.camデータファイル)、画面における色情報の特徴に応じた色特徴データ(.col データファイル)、類似シーンが出現しているかを所定のIDで示すシーンIDデータ(.sidデータファイル)などが考えられる。
図2は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
音声信号について考えると、図4のような信号あった場合に、パラメーターとして、しきい値Athを設定し、所定区間の平均パワーがAthより大きい場合にはその区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
また人の話し声では、子音、母音区間、息継ぎなどがあるので、音楽などと比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Tthを設定し、所定パワー以上の平均継続時間長がTthより小さい場合にはその区間は話者区間(V(Voice)区間)とし、大きい場合は話者区間でない(NV(Non Voice)区間)と判定する。
次に、テロップ検出について考えるが、公知技術として、例えば、特開2001−76094号公報(文字列情報抽出装置及び方法及びその方法を記録した記録媒体)、特開2000−187732号公報(字領域判定方法および装置およびこの方法を記録した記録媒体)その他の技術が知られている。
ここで簡単に説明すると、図5のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ethを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
エッジ数は画像MPEGデータにおけるAC係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
以上のように、第1のパラメーター系として、音声特徴データ処理におけるAth、Tth、テロップ特徴データ処理おけるEth、検出領域などを変更すると、特徴抽出データも変わることになる。
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.camデータファイル、.colデータファイル、.sidデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
図6は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
図6(6a)は、話者音声区間だけを優先的に考慮した処理で、(6b)は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、(6c)は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
上記のように第2のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
例えば、前記、(6a)の処理区間で、ユーザーが指定した再生時間Pbtに満たない場合は、平均的に各スキップ再生終了点の後に、a1、a2などの区間を付加して、全体として再生時間Pbtに近くなるようにする等の処理を行う。
また例えば、前記(6c)の処理で、再生時間Pbtよりも長い場合は、c1、c2、など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Pbtに近くなるような処理を行う。
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第1または、第2のパラメーター設定を変更して、プレイリスト調整できる。
パラメーター調整モードは、ユーザー入力I/F系19を介してシステムコントローラー系18により、パラメーター調整系22を制御する。
これにより、プレイリストデータ生成系23または、画像特徴抽出系10、音声特徴抽出系9の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
ここで、パラメーターには、前記したように、特徴抽出処理における第1のパラメーター系、特徴抽出データを用いてプレイリストを生成処理における第2のパラメーター系があり、各々のパラメーター系で複数の調整を行うことになるので、ユーザーにとっては複雑な調整になってしまう。
そこで、簡単のため、ここでは、第2のパラメーター調整について考える。
前記、図6(6a)、(6b)、(6c)に対応したパラメーター設定をし、ダイジェスト再生処理を行った、調整用ファイルをそれぞれ備え、パラメーター調整モードにおいて、ユーザーは適宜その調整用ファイルを再生することで、自分の嗜好に近いと思うファイルを指定することで、自動的に、そのファイルに対応した、パラメーター設定変更が行えるようにする。
調整用ファイルは図7のように、番組ジャンル別に設けられており、ジャンル毎にパラメーター調整を行うことができる。
ユーザー入力I/F系19によりパラメーター調整モードに移行し、図7に示すような各ファイルの中からパラメーター調整する番組ジャンルを選択する。
例えば、番組ジャンルとしてニュースを選択し、ファイルA80〜ファイルA82のどれかを選択すると、パラメーター調整用テストデータ系21に蓄積されているそれらの調整用データは再生処理系11に入力し、その後、各種所定の信号処理が行なわれ、音声データ出力、画像データ出力される。
ユーザーは、その再生された調整用ファイルデータを視聴して、自分の所望するダイジェスト再生に近いと思うファイルを、リモコンなどによりユーザー入力I/F系19を介して、システムコントローラー系18に入力する。
システムコントローラー系18は、この指定されたファイルに対応したパラメーター設定変更を、パラメーター調整系22を介して行う。
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
たとえば、通常の記録再生においてMPEG2で画サイズが720×480であったら、通常画サイズでも良いし、縦横1/4の180×120くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い10〜2Mbps程度でも良い。
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図8に示す。
(2)動作フローチャート
図8は、パラメーター調整モードにおける動作フローチャートの一例であり、ステップ毎に説明する。
ステップS0から始まり、ステップS1でパラメーター調整モードに設定され、ステップS2において調整したい番組ジャンルを選択し、その後、ステップS3において再生するファイルを選択する。
ステップS4において選択した調整用ファイルが再生され、そのステップS5でユーザーがそのファイルで良いか判断する。
そのファイルで良い場合は、ステップS6でそのジャンルの調整は終了して、ステップS7においてそのファイルに対応したパラメーターが変更設定される。
ステップS8では他の番組ジャンルの調整を行うか判定し、他のジャンルの調整を行わない場合は、ステップS9で調整モードは終了し、他の番組ジャンルの調整を行う場合は、ステップS2に戻り、調整を続ける。
ステップS5で所望の再生ファイルでない場合は、ステップS10で調整を終了するか判定し、終了しないで調整を続ける場合は、ステップS3に戻り再度ファイルを選択して調整を続ける。
次に、本発明に係る第2の実施形態の情報信号処理方法を具現化できる情報信号処理システムについて、図面を参照して説明する。
本発明に係る情報信号処理システムは、放送番組などの画像音声データをMPEGなど所定の帯域圧縮処理を施し、所定の記録媒体に記録する際に、その信号処理の過程における所定のデータ信号を用いて、画像、音声信号における所定の特徴抽出を行う。
特徴抽出データから所定の信号処理を行い、記録した所定の記録データから所定の再生区間を取捨選択することでダイジェスト再生動作を行うように、所定のパラメーターデータを用いて所定の規則に応じて再生区間(プレイリスト)を決める信号処理(プレイリスト生成処理)を行う。
上記プレイリスト生成処理によりダイジェスト再生を行い、ユーザーが所望の区間が再生されていないと思う場合は、上記パラメーターデータを変更することで、プレイリスト生成の調整を行うことができる。
ユーザーがパラメーター調整を行う場合は、リモコンまたは、その装置における所定のモード選択で調整モードに移行し、調整モードと装置が認識したら、ネットワーク接続が自動的に行われ、所定のパラメーター調整用の専用サイトに接続される。
接続が行なわれたら、所定の手続きにより、所定のデータをダウンロードし、パラメーター調整を行うことができる。またネットワークの障害やネットワーク接続系の故障などにより、所定のサイトに正常に接続できない場合は、それを自動的に認識し、リモコンまたはその装置自体においてネットワーク接続によらないパラメーターの調整を行うことができる。
ネットワーク接続によるパラメーター調整では、番組ジャンルに応じた微調整も行うことができるが、ネットワーク接続によらない調整では、所定の調整用データを装置に備えることになるので、装置自体の構成を簡単にする場合は、上記のような、微調整は行えないようにしても良い。
(実施例)
本発明の実施例について図面を用いて以下の順序で説明する。
(1)ブロック構成例
(2)動作フローチャート
(1)ブロック構成例
(記録処理ブロックの説明)
図9は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声A/D変換処理系1と、音声A/D変換処理系1で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系2と、音声エンコーダー処理系2からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系3と、多重化処理系で多重化した音声/映像信号を記録するように制御する記録処理系4と、記録処理系4で制御された音声/映像信号を記録する記録媒体系5と、映像データを入力しデジタル信号に変換する画像A/D変換処理系6と、画像A/D変換処理系6で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系7と、音声エンコーダー処理系2及び映像エンコーダー処理系7で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系10と、記録媒体系5に記録されているデータを再生する再生処理系11と、再生処理系11で再生された音声及び映像のデータを分離する再生データ分離処理系12と、分離された音声データをデコードする音声デコード処理系13と、デコードされた音声データをアナログ信号に変換して出力する音声D/A変換処理系14と、再生データ分離処理系12で分離された映像データをデコードする映像デコード処理系15と、デコードされた映像データをアナログ信号に変換して出力する映像D/A変換処理系16と、記録媒体系5の再生をシステムコントローラー系18からの指示により制御する再生制御系8と、再生データ分離処理系12で分離された特徴データを検出する識別信号/特徴抽出データ検出系17と、ユーザーの操作入力を受信するユーザー入力I/F系19と、ユーザー入力I/F系19からの操作データの入力、識別信号/特徴抽出データ検出系17からの特徴データの入力、再生制御系8の制御、表示処理系20への表示を制御するシステムコントローラー系18と、システムコントローラー系18の制御により再生表示する表示処理系20と、ネットワーク接続系21と、パラメーター調整系22と、プレイリストデータを生成するプレイリストデータ生成系23とから、大略構成されている。
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声AD変換処理系1で所定のAD変換された後、音声エンコーダー処理系2で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系9に入力し、所定の音声特徴抽出を行う。
映像信号は、映像AD変換処理系6で所定のAD変換された後、映像エンコーダー処理系7で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、映像信号特徴抽出系10に入力し、所定の画像特徴抽出を行う。
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系5の所定記録領域に記録される。
上記特徴抽出データは、システムコントローラー系18を介して、所定区間の特徴データ蓄積の後、プレイリスト生成系23で所定のダイジェスト再生(要約再生)用プレイリストデータを生成する。
生成されたプレイリストデータは、記録処理系4において所定の記録処理がなされた後、記録媒体系5の所定の記録領域に記録される。
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
図3はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生(要約再生)を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやMPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプデータでも良い。
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
(再生処理ブロックの説明)
ユーザー入力I/F系19により、再生モードになると、記録媒体系5から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系11において所定の再生処理がなされる。
再生された所定のデータは、再生データ分離処理系において所定のデータに分離処理され、音声データは、音声デコード処理系13に入力し所定のデコード処理がなされ、その後、音声D/A変換処理系14に入力しD/A変換処理された後、音声信号として出力する。
所定の分類処理された画像データは、映像デコード処理系15において、所定のデコード処理がなされた後、映像D/A変換処理系16に入力しD/A変換処理が行なわれ、映像信号として出力する。
特徴抽出データ、またパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別番号/特徴抽出データ/パラメーターデータ検出系17において検出する。
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
(ダイジェスト再生(要約再生)モードの説明)
ダイジェスト再生を行う場合は、ユーザー入力I/F系19を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系5から再生して、上記識別番号/特徴抽出データ/パラメーターデータ検出系17からシステムコントローラー系18に入力する。
システムコントローラー系18では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じて、システムコントローラー系18からの信号で再生制御系8を制御して記録媒体系の所定データを、スキップ再生を行うことでダイジェスト再生の動作を行う。
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとからプレイリストデータを生成する。
(パラメーター調整モードの説明)
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更してプレイリストデータを修正することができる。
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出データ検出系17における第1のパラメーターを調整方法とし、特徴抽出されたデータから第2のパラメーターを調整してプレイリストデータの生成を変更調整することの2通りがある。
例えば、第1のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第2のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
ここで記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ(.audデータファイル)、テロップ情報の出現に応じたテロップ特徴データ(.tlpデータファイル)について考える。
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴に応じたカメラ特徴データ(.camデータファイル)、画面における色情報の特徴に応じた色特徴データ(.colデータファイル)、類似シーンが出現しているかを所定のIDで示すシーンIDデータ(.sidデータファイル)などが考えられる。
図2は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
音声信号について考えると、図4のような信号あった場合に、パラメーターとして、しきい値Athを設定し、所定区間の平均パワーがAthより大きい場合にはその区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
また人の話し声では、子音、母音区間、息継ぎなどがあるので、音楽などと比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Tthを設定し、所定パワー以上の平均継続時間長がTthより小さい場合にはその区間は話者区間(V(Voice)区間)とし、大きい場合は話者区間でない(NV(Non Voice)区間)と判定する。
次にテロップ検出について考えるが、公知技術として、例えば、特開2001−76094号公報(文字列情報抽出装置及び方法及びその方法を記録した記録媒体)、特開2000−187732号公報(字領域判定方法および装置およびこの方法を記録した記録媒体)その他の技術が知られている。
ここで簡単に説明すると、図5のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ethを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
エッジ数は画像MPEGデータにおけるAC係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
以上のように、第1のパラメーター系として、音声特徴データ処理におけるAth、Tth、テロップ特徴データ処理おけるEth、検出領域などを変更すると、特徴抽出データも変わることになる。
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.camデータファイル、.colデータファイル、.sidデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
図6は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
図6(6a)は話者音声区間だけを優先的に考慮した処理で、(6b)は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、(6c)は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
上記のように第2のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
例えば、前記、(6a)の処理区間で、ユーザーが指定した再生時間Pbtに満たない場合は、平均的に各スキップ再生終了点の後に、a1、a2などの区間を付加して、全体として再生時間Pbtに近くなるようにする等の処理を行う。
また例えば、前記(6c)の処理で、再生時間Pbtよりも長い場合は、c1、c2、など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Pbtに近くなるような処理を行う。
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第1または、第2のパラメーター設定を変更して、プレイリスト調整できる。
ここで、パラメーターには、前記したように、特徴抽出処理における第1のパラメーター系、特徴抽出データを用いてプレイリストを生成処理における第2のパラメーター系があり、各々のパラメーター系で複数の調整を行うことになるので、ユーザーにとっては複雑な調整になってしまう。
パラメーター調整モードでは、ユーザー入力I/F系19を介してシステムコントローラー系18により、ネットワーク接続系21を介して所定のネットワークに接続され、自動的に所定のパラメーター調整用サイトに接続される。
このネットワーク調整サイトでは、例えば、番組ジャンルを選択することができ、一つの番組ジャンルに対して複数のデータファイルが備えられており、ユーザーはその中から所望のデータを選択して、画像音声再生(ストリーミング再生、または所定のダウンロード再生)を行うことができる。
上記パラメーター調整サイトの画像音声データは、幾つかの異なるパラメーター設定で所定の番組ジャンルの画像音声プログラムが要約再生処理(ダイジェスト再生処理)されたもので、上記サイト内の一つのデータファイルに所定のパラメーター系が対応している。
ユーザーは任意に、上記所定のサイトから順次、幾つかの画像音声データを再生し所望の再生が行えたと思う場合は、所定の操作を行うことで、その再生したデータファイルに対応する所定のパラメーター系(パラメーター群)を、ネットワーク系21を介してダウンロードすることができ、システムコントローラー18により、パラメーター調整系22を制御することでユーザーは容易に所定のパラメーター調整を行うことができる。
これにより、プレイリストデータ生成系23または、画像特徴抽出系10、音声特徴抽出系9の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
ここで、上記、パラメーター調整サイトにおける画像音声ファイル(ストリーミング用ファイル、またはダウンロード再生用ファイル)の一例について説明する。
上記パラメーター調整サイトには、図7のように、番組ジャンル別に画像音声ファイルが設けられており、ジャンル毎にパラメーター調整を行うことができる。
例えば、ユーザーはリモコンなどの操作系を用いて、パラメーター調整サイトの所定ホームページにおいて番組ジャンルとしてニュースを選択し、ファイルA80〜ファイルA82のどれかを選択すると、調整用の画像音声ストリーミング、あるいは、ダウンロードデータはネットワーク接続系21を介してシステムコントローラー系18を経由し、再生処理系11に入力する。
その後所定の信号処理がなされ、映像D/A変換処理系16、音声D/A変換処理系14からそれぞれ画像音声が出力され、ユーザーは再生されたデータを視聴して、自分の所望するダイジェスト再生に近いものかどうかを判断する。
調整用の画像音声ファイルは、図7に示すように所定のパラメーターが対応している。この例では、番組ジャンルがニュースでファイル1のもので、音声区間検出パラメーターのしきい値Ath1、テロップ検出のパラメーターEth1、その他が対応しており、それら対応する各種パラメーターを調整により選択されるパラメーター系(パラメーター群)とする。
他のファイル、例えばファイル2を選択した場合は、Ath2、Eth2、- - -、などと、違ったパラメーターが対応している。
ユーザーが良いと思うファイルをリモコンなどの操作系で選択して所定のコマンドで指定すると対応するパラメーター系が、ネットワーク接続系21を介してダウンロードされ、システムコントローラー系18を経てパラメーター調整系22に行く。
これにより、画像信号特徴抽出系10、音声信号特徴抽出系9が調整されることになり、調整前とは違ったパラメーター調整後の特徴抽出処理を行うことができる。
上記では、特徴抽出処理のための第1のパラメーター系の調整について説明したが、ユーザーは第2のパラメーター調整を行ってもよく、パラメーター調整サイトでは、第1のパラメーター調整か、第2のパラメーター調整を行うかを選択することができる。
第2のパラメーター調整では、あらかじめ決められた所定のパラメーターセンター値での画像音声ファイルが複数備えられており、その中からユーザーが任意に選択して、自分が適すると思うファイルを指定する。
ファイルを所定のコマンドで指定すると、上記、第1のパラメーター調整の場合と同様、所定のパラメーター系がダウンロードされ、パラメーター調整系22を介してプレイリストデータ生成系23が調整され、調整後のパラメーターで所定のプレイリスト生成処理を行うことができる。
第2のパラメーター調整は、図6で示したように各特徴データで検出された所定の特徴区間をどのように選択するかという情報のパラメーターとなっており、例えば、番組ジャンルがニュースで、第1のパラメーター設定があらかじめ決められたセンター値のパラメーター(Ath0、Eth0、- - - - - - )で、図6の(6a)、(6b)、(6c)に示すような各所定の特徴区間を選択した、画像音声ファイルが用意されている。
ユーザーはその各ファイルを任意に選択してストリーミングあるいはダウンロード再生し、所定のコマンドでファイル指定することで、前記、第1のパラメーターの説明で行ったように、所定の第2のパラメーター系をダウンロードすることができる。
ここで、何らかの原因でネットワークの障害やサイト内の障害で所定のネットワーク接続が行えない場合や、所定のパラメーター調整やパラメーターのダウンロードが行えない場合は、自動的に動作モード表示系20で表示または音声によりユーザーに対して警告することができるようにしても良い。
その場合は、記録媒体系5における所定の記録領域あるいは、記録媒体系5とは別の所定のメモリー系に記録されている調整用データからデータを再生し上記と同様の調整を行うようにしても良い。
そのような場合に、調整用画像音声ファイルを多く備えると記録容量が大きくなるので、上記第1または第2のパラメーター調整のどちらか一方の調整を行えるにとどめたりするようにしても良い。
また、記録媒体系5または別の媒体に記録される調整用画像は、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
たとえば、通常の記録再生においてMPEG2で画サイズが720×480であったら、通常画サイズでも良いし、縦横1/4の180×120くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い10〜2Mbps程度でも良い。
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図10に示す。
(パラメーター変更による特徴データファイル変化についての一例)
ここで、パラメーター調整により検出区間がどのように調整され変化するかの概念を説明する。
図11は音声特徴パラメーターにより検出区間がどうのように調整されるかを示すものである。
パラメーターとして、Atha、Athb、Athcがあり、この順で値が大きいとすると所定区間の音声信号の平均パワーを検出し、パラメーターがAthaの場合は、所定区間の平均パワーがその値以上である区間10Aが音声検出区間として判定される。
同様に、パラメーターがAthbの場合は、所定区間の平均パワーがAthb以上である区間10Bが音声区間として判定され、パラメーターがAthcの場合は、所定区間の平均パワーがAthc以上である区間10Cが音声区間として判定される。
図10は、テロップ特徴パラメーターの場合について説明する概念図である。
一例としてテロップ検出のパラメーターを検出エッジ数のしきい値としEtha、Ethb、Ethcがある。
例えば、図12に示すように画面にテロップが表示されたら、それぞれの検出値に応じて、設定パラメーターがEthaの場合は区間Taがテロップ検出区間として判定される。
同様に、設定パラメーターがEthbの場合は区間Tbがテロップ検出区間として判定され、Ethcの場合は区間Tcがテロップ検出区間として判定される。
(2)動作フローチャート
図13、図14は本願の調整モードにおける動作フローチャートの一例である。
(ネットワーク接続調整モードの動作フロー例)
ステップS20からスタートし、ステップS21で動作モードを選択して調整モードの場合は、ステップS22で調整モードに移行し、調整モード以外の場合は、ユーザーが選択した所定の動作モードに移行する。
調整モードでは、優先的に、あるいはユーザーが設定したこの装置におけるシステム設定の初期設定でネットワーク接続調整モードに自動的に移行し、所定のネットワーク接続動作が行なわれ、ステップS23でネットワークに問題がないかの判定がなされる。
ネッワークケーブルが未接続、または装置自体の問題、その他の問題によりネットワーク接続ができない場合は、ステップS29において後で説明する調整Bモードに移行する。
ネットワーク接続される場合は、ステップS24で所定のパラメーター調整サイトに接続される処理が行われ、ステップS25で接続が行われたかの判定を行う。
ステップS25で接続が行なわれたと判定される場合は、ステップS30に移行するが、接続がまだ行われない場合は、ステップS26で接続されるまで待つ動作になる。
ステップS27で、接続をまだ待つか停止するかの判定を行い、接続を待つ場合は、ステップS26に戻りウェイト状態を続け、接続を停止する場合は、ステップS29に移行し後で説明する調整Bモードに移行する。
所定の調整サイトに接続されたら、ステップS30でその所定のホームページで調整する番組ジャンルを選択し、その後、ステップS31で再生するファイルを選択する。
ステップS32で選択した調整用の画像音声ファイルをストリーミングまたは、ダウンロード再生し、ステップS33でその再生によるダイジェスト再生(要約再生)で良いかの判定を行う。
良いと思わない場合は、ステップS39でそのジャンルの調整を終了するか判定し、調整を続ける場合は、ステップS31に戻りファイルを選択し調整を続ける。
ステップS33でそのファイルで良い場合は、ステップS34でそのジャンルの調整を終了するか判定し、終了しない場合は、ステップS31で再度、ファイルを選択し調整を続ける。
ステップS34で調整を終了する場合は、選択したファイルに対応する所定のパラメーター系がステップS35でダウンロードされる。
ステップS39で終了と判定された場合は、ステップS35でその調整ジャンルで最後に再生したファイルに対応する所定のパラメーター系をダウンロードする。
ステップS35でダウンロードされた所定のパラメーター系は、ステップS36において所定の調整後のパラメーターとして、所定の特徴抽出処理系、またはプレイリスト生成系のパラメーターとして更新される。
ステップS37で他の番組ジャンルの調整を行うか判定し、調整を行う場合は、ステップS30に戻り調整を続け、調整を行わない場合は、ステップS38で調整モードは終了し、接続されたネットワーク接続は自動的に接続解除される。
(ネットワーク接続によらない調整モードの動作フロー例)
ステップS29で調整Bモードに移行した場合は、ネットワーク接続によらないパラメーター調整モードとなる。
ステップR1でネットワーク接続によらないパラメーター調整モード(調整Bモード)に設定され、ステップR2において調整したい番組ジャンルを選択し、その後、ステップR3において再生するファイルを選択する。
ステップR4において選択した調整用ファイルが再生され、その後、ステップR5でユーザーがそのファイルで良いか判断する。
そのファイルで良い場合は、ステップR6でそのジャンルの調整は終了して、ステップR7においてそのファイルに対応したパラメーターが変更設定される。
ステップR8では他の番組ジャンルの調整を行うか判定し、他のジャンルの調整を行わない場合は、ステップR9で調整モードは終了し、他の番組ジャンルの調整を行う場合は、ステップR2に戻り、調整を続ける。
ステップR5で所望の再生ファイルでない場合は、ステップR10で調整を終了するか判定し、終了しないで調整を続ける場合は、ステップR3に戻り再度ファイルを選択して調整を続ける。
ここで、上記調整Bモードでは、調整系の構成を簡単にするため、プレイリストの再生区間選択処理である第2のパラメーター調整だけを行うようにしても良い。
また、ネットワーク接続調整では、調整Bモードに比べて番組ジャンルの数を多くしたり、微調整が行えるなど、調整モードに応じて調整の差別化を行うようにシステムを構成することで、装置自体の構成をできるだけ複雑にしないようにしても良い。
次に、本発明に係る第3の実施形態の情報信号再生方法を具現化できる情報信号再生装置について、図面を参照して説明する。
本発明に係る情報信号再生装置は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する。
上記特徴データとあらかじめ設定されている初期設定パラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約区間(ダイジェスト再生区間)を決める。
ユーザーがダイジェスト再生モードに設定し、その要約再生区間を順次スキップ再生することでダイジェスト再生を行うが、ユーザーがその再生を視聴し、自分の所望の再生区間が再生されない場合や、再生されなくても良いと思う場合は、上記所定のパラメーターを変更することで、要約再生を変更することができる。
本発明の実施例について図面を用いて以下の順序で説明する。
(1)ブロック構成例
(2)動作フローチャート
(1)ブロック構成例
(記録処理ブロックの説明)
図15は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声A/D変換処理系1と、音声A/D変換処理系1で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系2と、音声エンコーダー処理系2からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系3と、多重化処理系で多重化した音声/映像信号を記録するように制御する記録処理系4と、記録処理系4で制御された音声/映像信号を記録する記録媒体系5と、映像データを入力しデジタル信号に変換する画像A/D変換処理系6と、画像A/D変換処理系6で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系7と、音声エンコーダー処理系2及び映像エンコーダー処理系7で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系10と、記録媒体系5に記録されているデータを再生する再生処理系11と、再生処理系11で再生された音声及び映像のデータを分離する再生データ分離処理系12と、分離された音声データをデコードする音声デコード処理系13と、デコードされた音声データをアナログ信号に変換して出力する音声D/A変換処理系14と、再生データ分離処理系12で分離された映像データをデコードする映像デコード処理系15と、デコードされた映像データをアナログ信号に変換して出力する映像D/A変換処理系16と、記録媒体系5の再生をシステムコントローラー系18からの指示により制御する再生制御系8と、再生データ分離処理系12で分離された特徴データを検出する識別信号/特徴抽出データ検出系17と、ユーザーの操作入力を受信するユーザー入力I/F系19と、ユーザー入力I/F系19からの操作データの入力、識別信号/特徴抽出データ検出系17からの特徴データの入力、再生制御系8の制御、表示処理系20への表示を制御するシステムコントローラー系18と、システムコントローラー系18の制御により再生表示する表示処理系20と、パラメーター調整用テストデータを生成するパラメーター調整用テストデータ処理系21と、パラメーター調整系22と、プレイリストデータを生成するプレイリストデータ生成系23と、パスワード処理系25とから、大略構成されている。
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声AD変換処理系1で所定のAD変換された後、音声エンコーダー処理系2で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系9に入力し、所定の音声特徴抽出を行う。
映像信号も同様で、画像AD変換処理系6で所定のAD変換された後、画像エンコーダー処理系7で所定のエンコーダー処理がなされ、このAD変換処理された信号、または、エンコード処理された信号は、画像信号特徴抽出系10に入力し、所定の画像特徴抽出を行う。
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系5の所定記録領域に記録される。
上記特徴抽出データは、システムコントローラー系18を介して、所定区間の特徴データ蓄積の後、プレイリストデータ生成系23で所定のダイジェスト再生(要約再生)用プレイリストデータを生成する。
生成されたプレイリストデータは、記録処理系4において所定の記録処理がなされた後、記録媒体系5の所定の記録領域に記録される。
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
図3はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生(要約再生)を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやMPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプデータでも良い。
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
(再生処理ブロックの説明)
ユーザー入力I/F系19により、再生モードになると、記録媒体系5から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系11において所定の再生処理がなされる。
再生された所定のデータは、再生データ分離処理系12において所定のデータに分離処理され、音声データは、音声デコード処理系13に入力し所定のデコード処理がなされ、その後、音声D/A変換処理系14に入力しD/A変換処理された後、音声信号として出力する。
所定の分類処理された画像データは、映像デコード処理系15において、所定のデコード処理がなされた後、映像D/A変換処理系16に入力しD/A変換処理が行なわれ、映像信号として出力する。
特徴抽出データ、またパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別信号/特徴抽出データ検出系17において検出する。
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
(ダイジェスト再生(要約再生)モードの説明)
ダイジェスト再生を行う場合は、ユーザー入力I/F系19を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系5から再生して、上記識別信号/特徴データ検出系17からシステムコントローラー系18に入力する。
システムコントローラー系18では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとから生成する処理を行う。
(パラメーター調整モードの説明)
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更して生成することができる。
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出処理系における第1のパラメーターを調整方法とし、特徴抽出されたデータから第2のパラメーターを調整してプレイリストデータの生成を変更調整することの2通りがある。
例えば、第1のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第2のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
ここで記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ(.audデータファイル)、テロップ情報の出現に応じたテロップ特徴データ(.tlpデータファイル)について考える。
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴ニ応じたカメラ特徴データ(.camデータファイル)、画面における色情報の特徴に応じた色特徴データ(.colデータファイル)、類似シーンが出現しているかを所定のIDで示すシーンIDデータ(.sidデータファイル)などが考えられる。
図2は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
音声信号について考えると、図4のような信号あった場合に、パラメーターとして、しきい値Athを設定し、所定区間の平均パワーがAthより大きい場合には、その区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
また話者音声区間では、子音、母音区間、息継ぎなどがあるので、音楽など話者音声以外と比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Tthを設定し、所定パワー以上の平均継続時間長がTthより小さい場合にはその区間は話者区間(V(Voice)区間)とし、大きい場合は話者区間でない(NV(Non Voice)区間)と判定する。
次に、テロップ検出について考えるが、公知技術として、例えば、特開2001−76094号公報(文字列情報抽出装置及び方法及びその方法を記録した記録媒体)、特開2000−187732号公報(字領域判定方法および装置およびこの方法を記録した記録媒体)その他の技術が知られている。
ここで簡単に説明すると、図5のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ethを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
エッジ数は画像MPEGデータにおけるAC係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
以上のように、第1のパラメーター系として、音声特徴データ処理におけるAth、Tth、テロップ特徴データ処理おけるEth、検出領域などを変更すると、特徴抽出データも変わることになる。
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.cam データファイル、.colデータファイル、.sidデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
図6は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
図6(6a)は話者音声区間だけを優先的に考慮した処理で、(6b)は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、(6c)は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
上記のように第2のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
例えば、前記、(6a)の処理区間で、ユーザーが指定した再生時間Pbtに満たない場合は、平均的に各スキップ再生終了点の後に、a1、a2などの区間を付加して、全体としてPbtに近くなるようにする等の処理を行う。
また、例えば、前記(6c)の処理で、Pbtよりも長い場合は、c1、c2など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Pbtに近くなるような処理を行う。
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第1または、第2のパラメーター設定を変更して、プレイリスト調整できる。
パラメーター調整モードは、ユーザー入力I/F系19を介してシステムコントローラー系18により、パラメーター調整系22を制御する。
これにより、プレイリストデータ生成系23または、画像特徴抽出系10、音声特徴抽出系9の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
図16は本発明のパラメーター調整モードによる表示例である。
ユーザー入力I/F系19により調整モードに移行すると、図16(A)のように、時間系列でプレイリストの、ある時点のダイジェスト再生開始フレームおよび終了フレーム近傍の画像がサムネール表示される。
例えば、図3に示したプレイリストデータの一番上の段における、400〜500フレームのスキップ再生区間を調整したい場合は、リモコンなどの操作系により、このプレイリストデータを指定することで、400〜500フレーム区間の所定画像シーンが図16(A)のように時間系列でサムネール表示される。
ここで、図3のプレイリストデータは、図16(C)のように、サムネール画像と同じ画面に表示させることができ、調整しているプレイリスト区間は、図16(C)に示すように、例えば、データの場所が所定の太い枠で表示されたり、所定の色で表示される様にしても良い。
リモコンなどの操作系により、所定のパラメーター調整を行うと、例えば図16(A)、(B)のように調整に応じてダイジェスト再生開始、終了フレームが移動し、サムネール表示の外枠(表示枠、表示フレーム)が所定の太さで表示されたり、または所定の色表示で表示されたりする。
図16の例では、初期設定パラメーター、または現在の設定値でのダイジェスト再生開始フレーム、終了フレームは、サムネール表示枠を太い点線で示している。
またフレーム番号もサムネール画像と対応して同時に表示させることもでき、フレーム番号に他に、時間表示を行えるようにしても良い。
表示画面が煩雑になるなど、ユーザーの操作状況に応じて、フレーム番号表示、時間表示などは行わないようにしても良い。
このように、パラメーター調整に応じてダイジェスト再生の開始、終了フレームの変化の様子が容易に把握できるので、ユーザーは容易に自分の好みの調整を行うことができる。
また、ユーザーはパスワードなどを用いることで、自分のパラメーター設定を個別に行うようにしても良く、そのようにすることで、各ユーザーが良く見る番組ジャンルにおいて、できるだけそのユーザーに対して所望のダイジェスト再生が行えるようにできる。
あらかじめ設定されている初期設定パラメーターは、多くのユーザーに対して、そのダイジェスト再生の内容が、平均的に満足されるである仮定のもとで設定されるものなので、上記のように個々のユーザー毎にパラメーター設定が行えれば、それだけよりユーザーに対して効果的なシステムを提供できることになる。
ユーザーが個別のパラメーター設定を行う場合は、リモコンなどの操作系により、ユーザー入力I/F系19を介して所定の動作の操作モードにおいて所定のパスワード設定を行うか、所定のユーザー登録などの所定の操作を行う。
ここで、リモコンなどの操作系から入力されたパスワードデータはユーザー入力I/F系19を経てパスワード処理系24に入力し、ユーザー毎の認証設定が行われる。
パラメーター設定モードで、所定のパラメーター調整処理を行う場合には、上記、設定登録されたパスワードと対応させてシステムコントローラー系18が判定処理など所定の処理を行い、ユーザー毎のパラメーター調整、データ設定処理を行うことができる。
ダイジェスト再生モードでは、リモコンなどの操作系により、そのユーザーの所定のパスワードや、登録情報データなどを入力し、ユーザー入力I/F系19を介してシステムコントローラー系18に所定のデータが入力され、認証処理など所定の判定処理をおこなう。
それにより、システムコントローラー系18からの信号によりパラメーター調整系22が制御され、そのユーザーに応じた所定のパラメーター設定が、画像特徴抽出処理系10、音声特徴抽出処理系9、プレイリスト生成系23に対して行なわれる。
画像、音声特徴抽出処理系10、9に対する第1のパラメーター系調整により、所定番組ジャンルの放送番組などを、あらためて記録する場合などに有効であり、プレイリストデータ生成系23に対する第2のパラメーター系調整は、すでに特徴抽出処理が済んだ所定の番組などを、ダイジェスト再生の途中でパラメーター調整して再生し直したり、調整後の設定でそれより先を再生する場合などの他、同じジャンルの他のプログラムや番組をダイジェスト再生する場合などに有効である。
調整用ファイルは、図7のように、番組ジャンル別に設けられており、ジャンル毎にパラメーター調整を行うことができる。
前記したように、パラメーター調整モードでは、図7のようにサムネール表示するが、動画として再生することができ、通常再生、そのパラメーター設定やパラメーター調整後のダイジェスト再生の具合を動画として確認することもできる。
このパラメーター調整に用いるファイルは、図15においてパラメーター調整用テストデータ系21として備えるか、記録媒体系5の所定領域にパラメーター調整用テストデータファイル30として記録させても良い。
パラメーター調整モードではユーザー入力I/F系19によりパラメーター調整モードに移行し、図7に示すような各ファイルの中からパラメーター調整する番組ジャンルを選択する。
例えば、番組ジャンルとしてニュースを選択し、ファイルA80〜ファイルA82のどれかを選択すると、パラメーター調整用テストデータ系21に蓄積されているそれらの調整用データは再生処理系11に入力し、その後、各種所定の信号処理が行なわれ、音声データ出力、画像データ出力される。
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
たとえば、通常の記録再生においてMPEG2で画サイズが720×480であったら、通常画サイズでも良いし、縦横1/4の180×120くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い2〜10Mbps程度でも良い。
例えば、第1のパラメーター系を調整する調整モードでは、音声特徴処理における、所定のしきい値Ath、テロップ特徴処理におけるEthなどの所定のパラメーター系の個々の設定データをリモコンなど所定の操作系で、前記した図16の調整モード画面を見ながら、データを可変して調整を行うことになる。
また、第2のパラメーター系を調整する調整モードでは、前記した図16の調整用画面を見ながら、図6で説明したプレイリスト生成処理の選択区間方法をパラメーター(6a)、(6b)、(6c)を切り換えて調整することになる。
(パラメーター変更による特徴データファイル変化についての一例)
ここで、パラメーター調整により検出区間がどのように調整され変化するかの概念を説明する。
簡単のため、音声特徴データとテロップ特徴データについて説明する。
図11は音声特徴パラメーターにより検出区間がどのように調整されるかを示すものである。
パラメーターとして、Atha、Athb、Athcがあり、この順で値が大きいとすると所定区間の音声信号の平均パワーを検出し、パラメーターがAthaの場合は、所定区間の平均パワーがその値以上である区間10Aが音声検出区間として判定される。
同様に、パラメーターがAthbの場合は、所定区間の平均パワーがAthb以上である区間10Bが音声区間として判定され、パラメーターがAthcの場合は、所定区間の平均パワーがAthc以上である区間10Cが音声区間として判定される。
図12は、テロップ特徴パラメーターの場合について説明する概念図である。
一例としてテロップ検出のパラメーターを検出エッジ数のしきい値としEtha、Ethb、Ethcがある。
例えば、図12に示すように、画面にテロップが表示されたら、それぞれの検出値に応じて、設定パラメーターがEthaの場合は区間Taがテロップ検出区間として判定される。
同様に、設定パラメーターがEthbの場合は区間Tbがテロップ検出区間として判定され、Ethcの場合は区間Tcがテロップ検出区間として判定される。
(2)動作フローチャート
(パラメーター調整モード)
図17は調整モードの動作フローチャートの一例である。
ステップS40からスタートし、ステップS41で調整モードかの判定がなされ、調整モードの場合は、ステップS42に移行し、調整モード以外の場合は、ステップS60で所定の動作モードに移行する。
ステップS42では調整する番組ジャンルを選択し、ステップS43において第1のパラメーター系を調整するモードか、第2のパラメーター系を調整するモードを選択する。
第1のパラメーター系調整モードの場合は、ステップS44移行のルーチンに移行し、第2のパラメーター調整モードの場合は、ステップS53以降のルーチンに移行する。
ここで、ステップS53〜S59の第2のパラメーター系調整モードの処理ルーチンは、第1のパラメーター系調整ルーチンのステップS44〜S50と動作処理的には同様なので、第1のパラメーター系処理ルーチンについて述べる。
ステップS44で第1のパラメーター系調整モードに移行し、ステップS45でファイルを選択する。なお、ステップS45の処理は、ステップS42の後に行っても良く、同様に第2のパラメーター系調整モードのステップS54の処理もステップS42のすぐ後で行うようにしても良い。
ステップS46で調整画面が表示され、ステップS47で所定のパラメーター調整を行い、ステップS48で調整画面表示の更新処理が行われる。
ステップS49で調整が良いか判定し、調整を続ける場合は、ステップS47に戻り調整を続け、そのパラメーター調整で良い場合は、ステップS50に移行し、そのパラメーターが所定の特徴抽出処理系に設定される。
ステップS51で他の番組ジャンルの調整を行うか選択し、調整を行う場合は、ステップS42に戻り調整を行い、他のジャンルの調整を行わない場合は、ステップS52に移行し、調整モードを終了する。
(ユーザー登録パラメーター調整モード)
図18はユーザーの認証を行い、ユーザー毎にパラメーター調整を行う場合の調整モードの動作フローチャートの一例である。
ステップR11でユーザーの登録認証を行うか選択し、登録認証を行う場合は、ステップR12に移行し所定のパスワード処理を行い、登録または認証処理を行い、登録認証を行わない場合は、ステップR17に移行し、前記した通常の調整モードで所定の処理を行う。
ステップR13では、前記したステップS42〜S50またはステップS42、S53〜S59の所定のパラメーター調整処理が行われる。
ステップR15で他の番組ジャンルの調整を行うか選択し、処理を行う場合は、ステップR13に戻り、調整を続ける。
(認証ダイジェスト再生モード)
図19はユーザー認証ダイジェストモードの動作フローチャート例である。
このモードは説明を簡単にするため、ユーザー登録パラメーター設定が行われているとする。
ステップA1で動作モードが選択され、ダイジェスト再生モードの場合は、ステップA2に移行し、他のモードの場合は、ステップA20で所定の動作モードに移行する。
ステップA2で認証ダイジェスト再生モードかの選択を行い、認証モードの場合には、ステップA3でパスワード入力カウンターの初期設定を行い、ステップA4で所定のパスワード入力を行う。
ここで、パスワードの他に、ユーザーを特定する他の情報データの場合はそのデータを入力するようにしても良い。
その場合には、前記したパラメーター調整モードにおいても、そのような情報データでユーザー登録して、パラメーター調整設定を行ったものとする。
ステップA5で認証、データマッチング処理など所定のパスワード処理を行い、ステップA6で入力情報が正しい場合は、ステップA7に移行し、正しくない場合は、ステップA11で、カウンターが1インクリメントする。
ステップA12でカウンターの値が所定値以下であるか判定され、所定値以下の場合には、ステップA4に戻り、パスワード情報などを再入力することができる。
ステップA6でユーザーの入力パスワード情報が正しいと判定されたら、ステップA7で所定のメモリーに記憶されている、そのユーザーが調整した所定のパラメーター系が読み出され、所定のプレイリスト生成処理系に設定される。
ステップA8では、設定されたパラメーターでプレイリストデータが生成され、そのデータに応じて所定のダイジェスト再生が行なわれる。
ステップA2に認証モードでない通常のダイジェスト再生モードと選択された場合、またステップA12で所定カウンター値以上と判定された場合は、パラメーターの変更は行われず、ステップA8で初期設定パラメーター、あるいは最後に設定されたパラメーターで所定のダイジェスト再生動作が行なわれる。
そのように初期設定または最後のパラメーター値での動作の場合には、すでに処理されたプレイリストデータを用いて所定のダイジェスト再生を行う。
ステップA9で動作を終了するか選択し、終了する場合は、ステップA10で終了し、終了しない場合は、ステップA13で他の動作モードに移行するか選択する。
他の動作モードに移行する場合は、ステップA1に戻り、動作モードを選択し、ダイジェスト再生動作をそのまま続ける場合は、ステップA8に戻り、そのダイジェスト再生モードを続ける。
(認証登録特徴抽出モード)
図20はユーザー認証ダイジェストモードの動作フローチャート例である。
このモードは説明を簡単にするため、ユーザー登録パラメーター設定が行われているとする。
特徴抽出は、放送番組などの画像音声情報を記録する場合に、記録と同時に行うことができる。
また、すでに番組を記録したファイルがある場合には、特徴抽出処理だけを行うこともできる。
ここで説明を簡単にするため、番組を記録したファイルがあり、特徴抽出だけを行う処理について言及するが、記録モードにおいて以下で説明する処理が同時に行われているとしても良い。
ステップB1で動作モードが選択され、特徴抽出モードの場合は、ステップB2に移行し、他のモードの場合は、ステップB20で所定の動作モードに移行する。
ステップB2で認証特徴モードかの選択を行い、認証モードの場合には、ステップB3でパスワード入力カウンターの初期設定を行い、ステップB4で所定のパスワード入力を行う。
ここで、パスワードの他に、ユーザーを特定する他の情報データの場合はそのデータを入力するようにしても良い。
その場合には、前記したパラメーター調整モードにおいても、そのような情報データでユーザー登録して、パラメーター調整設定を行ったものとする。
ステップB5で認証、データマッチング処理など所定のパスワード処理を行い、ステップB6で入力情報が正しい場合は、ステップB7に移行し、正しくない場合は、ステップB11で、カウンターが1インクリメントする。
ステップB12でカウンターの値が所定値以下であるか判定され、所定値以下の場合には、ステップB4に戻り、パスワード情報などを再入力することができる。
ステップB6でユーザーの入力パスワード情報が正しいと判定されたら、ステップB7で所定のメモリーに記憶されている、そのユーザーが調整した所定のパラメーター系が読み出され、所定の画像特徴抽出処理系、音声特徴抽出処理系に設定される。
ステップB8では、設定されたパラメーターで所定の特徴抽出処理がおこなわれる。
ステップB2に認証モードでない通常の特徴抽出モードと選択された場合、また、ステップB12で所定カウンター値以上と判定された場合は、パラメーターの変更は行われず、ステップB8で初期設定パラメーター、あるいは最後に設定されたパラメーターで所定の特徴抽出処理動作が行なわれる。
ステップB9で動作を終了するか選択し、終了する場合は、ステップB10で終了し、終了しない場合は、ステップB13で他の動作モードに移行するか選択する。
他の動作モードに移行する場合は、ステップB1に戻り、動作モードを選択し、特徴抽出動作をそのまま続ける場合は、ステップB8に戻り、その特徴抽出モードを続ける。
次に、本発明に係る第4の実施形態の情報信号処理方法を具現化できる情報信号処理装置について、図面を参照して説明する。
本発明に係る情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定第1のパラメーター系を用いて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する。
上記特徴データと第2のパラメーター系データを用いて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約区間(ダイジェスト再生区間)を決める。
ユーザーがダイジェスト再生モードに設定し、その要約再生区間を順次スキップ再生することでダイジェスト再生を行うが、ユーザーがその再生を視聴し、自分の所望の再生区間が再生されない場合や、再生されなくても良いと思う場合は、上記第1または第2の所定のパラメーター系を変更することで、要約再生区間を変更することができる。
その場合に、記録した番組ファイルや、あらかじめ記録蓄積されている調整用テストファイルを再生し、ユーザーが倍速再生、逆再生、一時停止などの動作をリモコンなどの操作系で行い、その動作区間、動作状態(再生動作モード)などを記録し、その動作区間、動作状態などと区間に対応した特徴データから上記ダイジェスト再生用のパラメーターデータの調整変更を行うことができ、これによりユーザーが所望のダイジェスト再生を行うことができる。
次に、本発明の実施例について図面を用いて説明する。本発明の情報信号処理装置のブロック構成は、上記第1の実施形態で説明した図1に示すものと同じであるので、その構成及び動作についての説明は省略する
又、このような構成からなる、記録処理ブロックの説明、再生処理ブロックの説明、ダイジェスト再生(要約再生)モードの説明、パラメーター調整モードの説明、プレイリストデータについての説明、は上記第1の実施形態で説明したことと同じであるため、その説明は省略し、調整モードについて、以下説明する。
図21は調整モードを説明する概念図であり、画像系列を1、2、3 - - - -、とし、初期設定パラメーターにより処理された特報抽出データが図のような所定の画像系列の所定区間に対応しているものとする。
第2のパラメーター系調整モードでニュース番組の調整を行うものとし、図7に示した番組ジャンルでファイル1を調整に用いるとし、ここでは簡単のため、特徴抽出データとして、図21に示すように、音声特徴、テロップ特徴、色特徴の各所定の特徴抽出データを考えるが、カメラのパン、ズームなどのカメラ特徴など他の特徴抽出データも含めて、同様の処理動作を考えても勿論良い。また他の番組ジャンルにつても同様に調整を考えることができる。
始めに便宜上、第2のパラメーター調整モードについて説明する。
図21(A)は、調整前の初期設定状態のプレイリストとする。
すなわち、調整前では、音声の話者区間とテロップ区間の両方を含む所定の区間をダイジェスト再生区間とし、その区間における各スキップ再生開始フレーム、終了フレームをプレイリストデータとする。
ユーザーは調整モードの所定操作で、リモコンなど操作系により、フォワード方向早送り、一時停止、などの操作を行い、図21(B)に示す区間を通常再生し、その他の区間は通常再生しなかったとする。
ユーザーからの早送り、一時停止、通常再生などの再生制御情報は、ユーザー入力I/F系19からシステムコントローラー系18に入力し、再生制御系8により所定の再生制御が行われ、所定の再生処理が行われ、識別信号/特徴抽出データ検出系17にて所定の特徴データが検出され、システムコントローラー系18に入力する。
所定パラメーター系による特徴抽出データとプレイリストデータは図6で説明したように対応しているので、上記、再生制御により、通常再生区間における特徴データはシステムコントローラー系18で対応づけられる。
図21(B)ではユーザーがテロップ検出区間を通常再生しており、その他の区間は、早送りなど通常再生以外の動作を行っているので、所定のユーザーから操作コマンドにより、テロップ区間が優先して再生されるように、システムコントローラー系18からの信号により、パラメーター調整系22がコントロールされ、第2のパラメーター系を用いるプレイリスト生成系23が調整変更される。
図21(C)の場合は、話者音声区間でかつテロップが検出区間か、または話者音声区間でかつ人物(肌色)検出区間が通常再生されており、上記の処理と同様に、パラメーター調整系22によりプレイリスト生成系23が調整される。
次に、第1のパラメーター系調整モードについて考える。
例えば、図21(D)のように通常再生動作を行った場合を考えてみる。
この場合、図21(B)のテロップ検出区間を優先して再生しているようだが、画像系列21ではテロップ検出区間とは判定されていない。
そこで、識別信号/特徴データ検出系17からの所定信号とユーザー入力I/F系19からの再生制御コマンドとから、システムコントローラー系18で再生フレーム番号と所定の特徴抽出データを対応させて、ユーザーがどの特徴区間を優先的に再生させているかを判定し、判定された特徴区間で所定の処理が行なわれるように、パラメーター系を調整する。
図21(D)では、音声特徴区間、テロップ特徴区間、特定色特徴区間の3つの特徴区間のうち、テロップ特徴区間と再生される区間の割合が、他の特徴区間に比べて大きいので、上記のようにユーザーはテロップ特徴区間を優先的に再生していると判定できる。
すなわち、音声特徴区間と一致するのは、再生区間1〜5の内1〜3、再生区間13〜15では音声特徴区間はなく、再生区間18〜21の内18〜20で、その割合は、
6/12 = 0.5
となる。
テロップ特徴区間と一致するのは、同様に図8から、再生区間1〜5の内1〜5、再生区間13〜15の内13〜15、再生区間18〜21の内18〜20で、その割合は、
11/12 = 0.92
となる。
同様に、色特徴区間と一致するのは、図8から、再生区間1〜5の内1〜3、再生区間13〜15の内13〜15、再生区間18〜21で一致区間は無く、その割合は、
5/12 = 0.42
となる。
以上から、テロップ特徴をユーザーは優先的に再生したいと判定でき、システムコントローラー系18からの信号で、パラメーター調整系22を制御し、画像特徴抽出系10の所定のテロップ特徴抽出処理のパラメーター系を調整し、しきい値Eth1を小さくするなど所定の変更を行い、テロップを検出されやすくするなどし、図21の画像系列の21もテロップ特徴区間と判定されるようにする。
上記のように、ユーザーが通常再生を行った区間と、そのパラメーター系における、各特徴区間と一致する割合を求めることで、どの特徴抽出処理のパラメーターを調整するかを判定することができる。
上記の例では、通常再生を行った後、所定のユーザーコマンドにより、自動的に再生区間の開始フレームと終了フレームの処理を行ったが、スロー再生や、通常再生、一時停止などその他の動作を行い、リモコンなどにより所定ボタンなどを操作するなどして、そのフレームを決めるようにしても良い。
通常再生だけでは、見過ごしてしまったり、正確にそのフレームを決めるのが難しい場合もあるので、上記のようにボタン操作その他の方法によりフレームを決めるようにしても良い。
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
たとえば、通常の記録再生においてMPEG2で画サイズが720×480であったら、通常画サイズでも良いし、縦横1/4の180×120くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い10〜2Mbps程度でも良い。
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図10に示す。
次に、本発明に係る第5の実施形態の情報信号処理方法を具現化できる情報信号処理装置について、図面を参照して説明する。
本発明に係る情報信号処理装置の実施例について、図面を用いて以下の順序で説明する。
(1)ブロック構成例
(2)動作フローチャート
(1)ブロック構成例
図22は本発明を記録再生装置に適用した場合の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声A/D変換処理系1と、音声A/D変換処理系1で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系2と、音声エンコーダー処理系2からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系3と、多重化処理系で多重化した音声/映像信号を記録するように制御する記録処理系4と、記録処理系4で制御された音声/映像信号を記録する記録媒体系5と、映像データを入力しデジタル信号に変換する画像A/D変換処理系6と、画像A/D変換処理系6で変換された映像のデジタル信号を入力してエンコードする画像エンコーダー処理系7と、画像エンコーダー処理系7で得られたデジタル信号のなかで特徴的な部分を抽出する特徴抽出処理系10と、記録媒体系5に記録されているデータを再生する再生処理系11と、再生処理系11で再生された音声及び映像のデータを分離する再生データ分離処理系12と、分離された音声データをデコードする音声デコード処理系13と、デコードされた音声データをアナログ信号に変換して出力する音声D/A変換処理系14と、再生データ分離処理系12で分離された映像データをデコードする映像デコード処理系15と、デコードされた映像データをアナログ信号に変換して出力する映像D/A変換処理系16と、記録媒体系5の再生をシステムコントローラー系18からの指示により制御する再生制御系8と、再生データ分離処理系12で分離された特徴データを検出する特徴抽出データ検出系17と、分類処理系26と、ユーザーの操作入力を受信するユーザー入力I/F系19と、ユーザー入力I/F系19からの操作データの入力、特徴抽出データ検出系17からの特徴データの入力、再生制御系8を制御するシステムコントローラー系18と、システムコントローラー系18の制御により画像データを読み出し表示する画像表示手段に相当する表示処理系20Aと、特徴データを蓄積するメモリー系28と、パラメーター系27と、サンプル画データを蓄積するメモリー系29とから、大略構成されている。
このような構成からなる情報信号処理装置における動作について、以下説明する。尚、本発明の分類処理ブロックについては、後で説明する。
(記録処理の説明)
初めに記録側の処理ブロックの動作について説明すると、先ず、音声信号は音声A/D変換処理系1で所定のA/D変換処理がなされ音声エンコーダー処理系2でMPEGオーディオなど所定のエンコーダー処理が行われる。
映像信号は画像A/D変換処理系6で所定のA/D変換処理がなされ画像エンコーダー処理系7でMPEGビデオなど所定のエンコーダー処理が行われる。
画像エンコーダー処理系7における所定信号の一部は特徴抽出処理系10に入力し、所定の特徴抽出処理が行われる。
ここで、例えば映像エンコーダー処理がMPEGビデオとすると特徴抽出データとして、DCT係数を考えることができる。
特徴抽出処理系10からの特徴データは、記録媒体とは別に、本体に備えられたメモリー系28に記憶するようにしても良い。
これは、例えば、IピクチャーのDCTのDC係数だけをメモリーしておき、このデータから後で、説明する分類処理を行い、メモリーからデータを読み出して表示処理に利用することで、記録媒体からデータを再生するよりも早く、処理を行うこともできる。
後で説明するように、分類処理を行って図24に示すように、サムネール表示する場合を考えると、画像解像度はあまり問題ではないので、DCTの輝度信号(Y)色信号(Cb、Cr)のDC係数データからRGBデータ変換して、所定の画サイズになるように処理して、サムネール表示に使用することができる。
所定のエンコーダー処理がなされた音声データ、画像データおよび、後で説明する識別IDデータは多重化処理系3に入力し、所定の多重化処理が行われ、記録処理系4で所定の記録処理がなされた後、記録媒体系5に記録される。
ここで、記録処理を行いながら、識別IDデータの生成を行うことができ、特徴抽出処理系10からのデータは、後で説明する分類処理系26に入力し、所定の分類処理の後、この識別IDデータを出力する。
(再生処理の説明)
次に再生側の処理ブロックの動作について説明する。
記録媒体系5から再生された信号は再生処理系11で所定の再生処理が行われた後、再生データ分離処理系12で、音声データ、画像データ、特徴データなどが所定の分類処理がなされ、各々のデータが出力される。
音声データは音声デコード処理系13で所定のデコード処理がなされ、音声D/A変換処理系14で所定のD/A変換処理がなされた後、音声信号として出力される。
画像データは、映像デコード処理系15で所定のデコード処理がなされ、映像D/A変換処理系16で所定のD/A変換処理がなされた後、映像信号として出力される。
(分類処理の説明)
分離処理された特徴データは、特徴抽出データ検出系17で、特徴データのうち分類処理に使用するDCTデータ、分類処理後のサムネール表示に使用するDC係数データなどを検出して出力する。
分類処理系26は、パラメーター系27のパラメーターデータを用いて所定の分類処理がなされ、所定の識別データが出力される。
例えば、この識別データは前記した特開2002−344872号公報、特開2002−344852号公報などに開示されているような、所定の処理により、類似画像と判定される画像に対して同一の識別番号を割り当てるもので良く、記録時に同時に行っても良く、再生時に行っても良い。
記録時に行う場合は、特徴抽出データは逐次、記録されて行き、あらかじめ設定されたパラメーターデータによって分類処理されるため、分類結果をユーザーが可変して処理の結果を見ることはできない。
そこで、記録を行っている場合や、これから記録を行いながら分類処理を行おうとするとき、予想される分類の結果をある程度確認したり、以前に分類処理した結果とは違う結果を得たいなどの場合には、メモリー系29から、システムコントローラー系18の制御でサンプル画像を読み出し、その画像を表示処理系20Aで表示し、その画像サムネール画を見てユーザーがパラメーター設定することができる。
すなわち、このメモリー系29には、幾つかのパラメーターを変化させて分類処理したサムネール画データが記録されており、ユーザーは表示処理系20Aに表示された所望の分類が系列をリモコンなどの所定の操作系で選択し、その選択信号がシステムコントローラー系18に入力し、システムコントローラー系18は、ユーザーが選択した画像系列に対応するパラメーターが設定されるようにパラメーター系27を制御し、所定のパラメーター設定や変更を行う。
図24は分類処理を行った結果のサムネール画像の一例で、横系列の画像が分類処理された同一分類画系列とし、(1)〜(8)はパラメーターを変化させた分類画系列とする。
再生時に分類処理を行い、分類結果を変更したい場合に、特徴データが記録媒体系5に記録されている場合は、特徴データを読み返すことができるので、パラメーターを変化させて、記録した所定プログラム区間を分類処理し、パラメーター変化毎にその分類結果を、例えば前記した図24のように見ることができる。
ここで、記録時に分類処理を同時に行い、識別IDデータは記録し、特徴データは記録しない場合も想定でき、その場合には特徴抽出データ検出系17において特徴抽出データが検出できない情報信号をシステムコントローラー系18に入力し、前記したように、メモリー系29からサンプル画を読み出してパラメーター調整できる動作が行えるようにする。
ここで、メモリー系29には分類ジャンル毎に、パラメーターを変化させた分類処理を行ったサンプル画データが記憶されており、ユーザーはリモコンなど所定の操作系で調整モードにおいて選択することができ、ジャンル毎にパラメーター調整することができる。
(分類処理系ブロック構成例)
分類処理については、前記した公知例に開示されている。
ここでは、本発明を適用し改良したブロック構成例について説明する。
図23は分類処理系26のブロック構成例で、特徴抽出データを入力して特徴データを処理する特徴データ再処理系260と、特徴データ再処理系260からのデータを蓄積するメモリー系261と、特徴データ再処理系260からのデータを蓄積するメモリー系262と、メモリー系261、262に蓄積されている特徴データから距離を演算するベクトル距離演算処理系262と、IDを生成するID生成処理系264と、メモリー系265とから構成されている。
このような構成からなる分類処理系26において、先ず、画像エンコーダー処理系7からの特徴データが特徴データ再処理系260に入力する。
その後、メモリー系261、262に入力し所定の記憶処理が行われ、各メモリー系261、262に記憶されたデータは所定のタイミングで読み出され、ベクトル距離演算処理系263に入力しデータ間の所定ベクトル間距離が比較演算される。
メモリー系261には、いま類似検出したい画像フレーム(k)の特徴データが記憶されており、メモリー系262には、それよりも以前に記憶した特徴データが記憶されている。
メモリー系261から読み出したデータを、メモリー系262に記憶されているデータのどの時点のフレームデータと最も近いかを検出するため、メモリー系262からデータを逐次読み出して、ベクトル距離演算処理系263で所定の処理を行う。
特徴データは、前記したように、輝度信号(Y信号)、色信号(Cb、Cr信号)のDCT係数を使うことができ、図25(A)に示すような例えば、25領域の対応するように平均値のデータを特徴データとする。
すなわち、Y,Cb,Crについて、25次のベクトルとなり、ベクトル距離演算処理系263では、この25次のベクトル間距離を演算し、その時点よりも前に記憶した特徴データのどのフレームと最もベクトル距離が近いか検出される。
その後、ID生成処理系264で所定しきい値Thと比較処理され、所定しきい値より小さい場合は、上記で説明したようにベクトル距離が近い検出したフレームnに対応するIDデータID(n)をメモリー系265から読み出し同じIDデータID(n)を出力すると共に、そのIDデータをメモリー系265に記憶する。
すなわち、いまのフレームはkなので、ID(k)=ID(n)として、ID(k)をメモリー系265に記憶する。
ID生成処理系264で所定しきい値Thより大きい場合は、メモリー系265に記憶されているデータの最大値をID生成処理系264で検出し、その最大値IDaに1を加算してIDa+1を、今演算処理したフレーム(k)のIDデータID(k)とし、そのIDデータID(k)をメモリー系265に記憶する。すなわち、この場合は、ID(k)=IDa+1となる。
以上のような処理を逐次、各画像フレームについて行うことで、同じIDデータのフレーム画は類似している画像とすることができ、このようなIDを使うことで、分類処理が行われることになる。
メモリー系265は、初期データとしてすべてのメモリー領域に0データを記憶され、上記のような類似検出信号処理を行っていき、上記で説明したように、所定しきい値Thより大きい場合は、1づつ大きくなっていきIDの上限値IDmaxを超える場合には、0にリセットする。
ここで、上記のようなベクトル演算を行う類似検出処理は、すべてのフレームについて行うことなく、MPEGビデオのIピクチャー毎に行うようにする。
Iピクチャーが15フレームおきに出現すると仮定し、30フレーム/秒とすると、0.5秒に1回処理を行うことになるが、例えば、10時間まったく類似検出できない場合がもしあったとしても、
10(時間)×3600(秒)×0.5=18000
までIDが増加するだけで、15ビットあれば十分でIDのためのビット数が少なくてすむ。
ここで、特徴データ再処理系260において、例えば、図25(A)に示すような25分割された画面領域1〜25に対応する、DCT係数などの特徴データを図25(B)に示すような画面領域に対応するように再処理することを考える。
図25(B)で5つの領域に分割され、図25(A)のように25分割の場合に比較して特徴量があらくなっていることになる。
図25(B)の場合には特徴データ1b〜5bは、図25(A)の特徴データ1a〜25aを用いて、以下のように再処理される。
1b=(1a+6a+11a+16a+21a)/5
2b=(2a+7a+12a+17a+22a)/5
3b=(3a+8a+13a+18a+23a)/5
4b=(4a+9a+14a+19a+24a)/5
5b=(5a+10a+15a+20a+25a)/5
また、図25(C)は別の再処理方法で、特徴データ1c〜9cは、以下のようになる。
1c=(1a+2a+6a+7a)/4
2c=(3a+8a)/2
3c=(4a+5a+9a+10a)/4
4c=(11a+12a)/2
5c=(7a+8a+9a+12a+13a+14a+17a+18a+19a)/9
6c=(14a+15a)/2
7c=(16a+17a+21a+22a)/4
8c=(18a+23a)/2
9c=(19a+20a+24a+25a)/4
以上のように所定領域を選択して、平均値を算出するが、平均値算出の方法は、上記の例に限らず設定することができる。
また、平均値を算出するのではなく、例えば、25のベクトル成分のうち、偶数成分、または奇数成分だけを使って特性データとするなどの方法も考えられる。
例えば、元のベクトルa'は、25次のベクトルで、
a' =(1a、2a、3a、4a、―――――、25a)
偶数成分だけをとると、12次のベクトルで、
ae'=(2a、4a、6a、―――――、24a)
奇数成分だけを取ると、13次のベクトルで、
ao'=(1a、3a、5a、―――――、25a)
となる。
このように特徴データを加工処理することで、後で説明する類似度の比較処理において、許容範囲の広い類似検出が行われることになる。
すなわち、上記のような加工処理をおこない、これを特徴データとして、分類処理することで、分類結果を変化させることができる。
また上記で説明した、ID生成処理系264における、しきい値Thを変えることで、分類結果を変えることができる。
すなわち、しきい値Thを大きくすれば、許容範囲が広くなり、しきい値Thを小さくすれば許容範囲が狭くなりより類似度が近いフレーム毎に分類されることになる。
またベクトル距離演算処理系263では、Y(輝度信号)、Cb,Cr(色信号)の特徴データを用いてベクトル距離演算したが、Y(輝度信号)だけ、または、Cb、Cr(色信号)だけでベクトル演算することも考えられ、Y(輝度信号)だけの場合は、色特徴よりは輝度特徴で類似分類したいとか、Cb、Cr(色信号)だけの場合は輝度特徴よりは色特徴で類似分類したいなど、分類方法も変えることで、分類結果を変化することができる。
(2)動作フローチャート
図26は動作フローチャートの一例である。
ステップS60からスタートし、ステップS61でユーザーが動作モードを設定し、ステップS62で画像分類モードである場合は、ステップS63でパラメーターのデフォルト設定を行い、画像分類モードではない場合は、ステップS67で他の所定動作モードに移行する。
ステップS63のデフォルト設定は、装置の初期設定パラメーターまたは、前回に動作させて設定されていた最終のパラメーター設定となる。
ここでパラメーターは、前記ブロック構成図で説明したように、特徴抽出データ再処理系260の再処理の方法、ベクトル距離演算処理系263での演算で使う信号の取り方、ID生成処理系264でのしきい値Thの値などである。
ステップS64では設定されているパラメーターで所定の類似画像分類処理を行い、ステップS65で分類処理の結果をサムネール表示する。
ステップS66で分類処理の結果がユーザーの所望の結果であったか判定し、所望の結果であった場合は、ステップS76に移行し終了かどうか判定し、終了の場合は、ステップS77で終了し、終了しない場合は、ステップS78で他モードに移行するか選択し、他モードに移行しない場合は、ステップS65に戻り、分類表示を継続する。
ステップS78で他モードに移行する場合は、ステップS61に戻り動作モードを選択する。
ステップS66で分類結果を変えたい場合は、ステップS68に移行してパラメーターを調整するか判定し、変えない場合は、ステップS76で終了するか判定し、パラメーターを調整する場合は、ステップS69で特徴抽出データが検出できるか判定する。
特徴抽出データが検出できる場合は、いま分類しようとする画像を使って分類処理できるので、ステップS70でパラメーターを可変して分類処理を行う。
ここでパラメーターの可変は、前記ブロック構成図で説明したように、特徴抽出データ再処理系260の再処理の方法の可変、ベクトル距離演算処理系263での演算で使う信号の取り方の可変、ID生成処理系264でのしきい値Thの値の可変など、である。
特徴抽出データが検出できない場合は、ステップS74で分類ジャンルを選択し、ステップS75でのジャンルにおける、パラメーターを幾つか可変した場合の分類サンプル画データの読出し処理を行う。
ステップS71では分類処理画像の表示処理を行い、ステップS72で表示されたサムネール画の中から所望の分類画を選択し、ステップS73で選択したサムネール画に対応するパラメーターを設定する。その後、ステップS65に戻り、表示を行う。
上記実施例1における情報信号処理装置及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、調整は所定の画像音声ファイルを再生して、ファイルを指定するだけなので、簡単な操作だけで複雑なパラメーター変更を容易に行うことができる。
更に、調整用パラメーターに応じたファイルを再生することで調整するので、パラメーターを変更したことでどのように再生状況が変化するかを実際に見ていることになるので、より効果的なパラメーター調整が容易に行える。
このパラメーター調整は番組ジャンルに応じたパラメータ調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
上記実施例2における情報信号処理システム及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、ダイジェスト再生用のパラメーターデータ調整を行った場合に、そのデータ設定でユーザーの所望のダイジェスト再生が行えるかを確認できるので、より的確なシステムを効果的に構成できる。
更に、その調整確認用のデータは、装置の内部に備えていないので、装置自体の調整処理に対する構成は、同等の機能を備えた場合に比較して簡単になり、効果的、効率的なシステムを構成できる。
このパラメーター調整は番組ジャンルに応じたパラメーター調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
上記実施例3における情報信号再生装置及び情報信号再生方法においては、複数あるパラメーター調整で、どのようにパラメーター調整を行ったらどのようなシーンがダイジェスト再生されるかを実際に視覚的に確認しながら容易に調整が行えるので、調整が効率的に効果的に行える。
又、パラメーター調整によるダイジェスト再生シーンの変化が時間系列で把握でき、前後関係のシーンを視覚的に比較しながら調整が行えるので、効率的、効果的な調整が行いやすくなる。
更に、ユーザー毎にパラメーター調整を行えるので、各ユーザーに応じた適切なダイジェスト再生をより効果的に実現できる。
上記実施例4における情報信号処理装置及び情報信号処理方法においては、ユーザーはリモコンなどの操作系によりダイジェスト再生用のパラメーターデータ調整を容易にまた、効率的に行うことができる。
又、調整用の複雑なモード設定を行うことなく、倍速再生や一時停止といった、一般的な動作モードを行うことで、容易にパラメーター調整を行うことができ、これによりユーザーに応じた効果的なダイジェスト再生が実現できる。
上記実施例5における情報信号処理装置及び情報信号処理方法においては、画像分類の分類結果をパラメーター調整によりユーザーの嗜好に合わせて変えることができる。
又、パラメーター調整は、パラメーターを可変して処理されたサンプル画像を見比べてユーザーが選択するだけで行うことができ複雑な操作なく容易に調整できる。
更に、特徴抽出されたデータが調整時に利用できない場合は、サンプル画像を、利用できる場合は、サンプル画像の他に実際に分類処理したい画像を一覧表示して見比べることができるので、分類処理のパラメーター調整が効率的に行える。
このパラメーター調整は、分類したい画像ジャンル毎に行えるので、ユーザーの嗜好により対応できる効果的な処理が行える。
本願発明に係る第1の実施形態の情報信号処理装置の全体ブロック構成例である。 同、特徴データの一例を示した説明図である。 同プレイリストデータの一例を示した説明図である。 同、音声特徴抽出の説明図である。 同、テロップ特徴抽出の説明図である。 同、プレイリストデータ生成の説明図である。 同、調整用テストファイルの説明図である。 同、調整モード動作のフローチャートである。 本願発明に係る第2の実施形態の情報信号処理システムの全体ブロック構成例である。 同、調整モード(子画面)表示例を示した説明図である。 同、音声の特徴パラメーターを調整するときの説明図である 同、テロップの特徴パラメーターを調整するときの説明図である。 同、調整モードの動作を示すフローチャートである。 同、調整モードの動作を示すフローチャートである。 本願発明に係る第3の実施形態の情報信号再生装置の全体ブロック構成例である。 同、パラメーター調整モード画面の一例である。 同、調整モードの動作を示すフローチャートである。 同、調整モードの動作を示すフローチャートである。 同、認証ダイジェスト再生モードの動作を示すフローチャートである。 同、認証特徴抽出モードの動作を示すフローチャートである。 本願発明に係る第4の実施形態の情報信号処理装置における調整モードを示す説明図である。 本願発明に係る第5の実施形態の情報信号処理装置の全体ブロック構成例である。 同、分類処理系のブロック構成例である。 同、分類処理画像の表示例を示す説明図である。 同、特徴抽出データの再処理例を示す説明図である。 同、分類するための動作を示すフローチャートである。
符号の説明
1;音声A/D変換処理系、2;音声エンコーダー処理系、3;多重化処理系、5;記録媒体系、6;映像A/D変換処理系、7;映像エンコーダー処理系、8;再生制御系、9;音声信号特徴抽出系、10;画像信号特徴抽出系、11;再生処理系、12;再生データ分離処理系、13;音声デコード処理系、14;音声D/A変換処理系、15;映像デコード処理系、16;映像D/A変換処理系、17;識別信号/特徴抽出データ/(パラメーターデータ)検出系、18;システムコントローラー系、19;ユーザー入力I/F系、20;表示処理系、20A;表示処理系、21;パラメーター調整用テストデータ系、22;パラメーター調整系、23;プレイリストデータ生成系、24;ネットワーク調整系、25;パスワード処理系、26;分類処理系、27;パラメーター系、28;メモリー系、29;メモリー系、260;特徴データ再処理系、261;メモリー系、262;メモリー系、263;ベクトル距離演算処理系、264;ID生成処理系、265;メモリー系。


Claims (48)

  1. 所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系の設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
    所定の特徴抽出処理が施され、所定の第2のパラメーター系の設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルを記録した所定の記録媒体と、
    上記記録媒体から所定の画像音声情報ファイルを選択して再生を行う情報ファイル再生手段と、
    上記再生した幾つかの情報ファイルの中から一つを選択し、その情報ファイルに対応し、上記第1または上記第2のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定するパラメーター設定手段と、
    上記特徴データと上記第1、上記第2のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーター設定手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める再生区間処理手段と、
    上記再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、
    を備えたことを特徴とする情報信号処理装置。
  2. 上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする請求項1に記載の情報信号処理装置。
  3. 上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも2以上のファイルを備えた請求項1に記載の情報信号処理装置。
  4. 所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、
    所定の特徴抽出処理が施され、所定の第2のパラメーター系設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルが記録される第2のステップ、
    上記記録媒体から所定の画像音声情報ファイルを選択して再生する処理を行う第3のステップ、
    上記再生した幾つかの情報ファイルの中から一つを選択してその情報ファイルに対応し上記第1または上記第2のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定する処理を行う第4のステップ、
    上記特徴データと上記第1、上記第2のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータの設定により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める処理を行う第5のステップ、
    上記第5のステップの再生区間処理の信号に応じて所定の再生制御を行う第6のステップ、
    からなる情報信号処理方法。
  5. 上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする請求項4に記載の情報信号処理方法。
  6. 上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも2以上のファイルを備えた請求項4に記載の情報信号処理方法。
  7. 所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
    ユーザーの所定入力により所定の動作モードを行うことができる動作モード設定手段と、
    所定のネットワーク接続手段と、
    上記動作モード設定手段により所定の動作モードに設定する場合に、上記ネットワーク接続手段により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行うことができるネットワーク接続調整手段と、
    あらかじめ設定されている初期設定パラメーターデータまたは上記ネットワーク接続調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
    上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、
    を備えたことを特徴とする情報信号処理システム。
  8. 上記ネットワーク接続調整手段により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする請求項7に記載の情報信号処理システム。
  9. 上記ネットワーク接続調整手段により所定のパラメーター調整が行えない場合は、所定の表示手段または、情報出力手段によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる設定データ調整手段を備えた請求項7に記載の情報信号処理システム。
  10. 上記ネットワーク接続調整手段によるパラメーター調整または、上記ネットワーク接続調整手段によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合はその番組のジャンルに応じて、または上記画像音声データが放送番組データによるものでない場合は、その画像音声データの所定の属性情報信号に応じて、所定のパラメーター調整が行えることを特徴とする請求項7に記載の情報信号処理システム。
  11. 所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、
    ユーザーの所定入力により所定の動作モードを行う第2のステップ、
    上記第2のステップで所定の動作モードを設定する場合に、所定のネットワーク接続処理により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行う第3のステップ、
    あらかじめ設定されている初期設定パラメーターデータまたは上記第3のステップのネットワーク接続処理により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める第4のステップ、
    上記第4のステップの要約再生区間処理に応じて所定の再生制御を行う第5のステップ、
    からなる情報信号処理方法。
  12. 上記第3のステップのネットワーク接続処理により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする請求項11に記載の情報信号処理方法。
  13. 上記第3のステップのネットワーク接続処理により所定のパラメーター調整が行えない場合は、所定の表示または、情報出力によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる請求項11に記載の情報信号処理方法。
  14. 上記第3のステップのネットワーク接続処理によるパラメーター調整または、上記ネットワーク接続処理によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合は、その番組のジャンルに応じて、または上記画像音声データが放送番組によるものでない場合は、その画像音声データの所定の属性情報信号に応じて所定のパラメーター調整が行えることを特徴とする請求項11に記載の情報信号処理方法。
  15. 所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
    所定のパラメーター調整用の再生画像音声テストファイルを再生するテストファイル再生手段と、
    ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整するパラメーター調整手段と、
    上記パラメーター調整手段で調整された初期設定パラメーターデータの結果を所定方法で表示する表示手段と、
    上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータ調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
    上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と
    を備えたことを特徴とする情報信号処理装置。
  16. 上記パラメーター調整手段は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる請求項15に記載の情報信号処理装置。
  17. 上記パラメーター調整手段は、所定の調整を行う場合に、ユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる請求項15に記載の情報信号処理装置。
  18. 上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする請求項15に記載の情報信号処理装置。
  19. 上記表示手段による表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う請求項15に記載の情報信号処理装置。
  20. 所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する第1のステップ、
    所定のパラメーター調整用の再生画像音声テストファイルを再生する処理を行う第2のステップ、
    ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整する処理を行う第3のステップ、
    上記第3のステップで調整された初期設定パラメーターデータの結果を所定の表示方法で表示する処理を行う第4のステップ、
    上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記第3のステップで調整された初期設定パラメーターデータにより調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第5のステップ、
    上記第5のステップの要約再生区間処理に応じて所定の再生制御を行う処理を行う第6のステップ、
    からなる情報信号処理方法。
  21. 上記第3のステップでの初期設定パラメーターデータの調整は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる請求項20に記載の情報信号処理方法。
  22. 上記第3のステップでの初期設定パラメーターデータの調整は、所定の調整を行う場合にユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる請求項20に記載の情報信号処理方法。
  23. 上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする請求項20に記載の情報信号処理方法。
  24. 上記第4のステップにおける表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う請求項20に記載の情報信号処理方法。
  25. 所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データによって所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
    上記特徴データと所定の第2のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
    上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力手段と、
    上記動作モード入力手段の信号に応じて再生制御を行う再生制御手段と、
    上記再生制御手段による再生制御状態に応じて上記第1または第2のパラメーター系データを調整できるデータ調整手段と、
    を備えたことを特徴とする情報信号処理装置。
  26. 上記再生制御手段により、所定の再生制御を行った場合にその再生区間を記憶する再生区間記憶手段を備えたことを特徴とする請求項25に記載の情報信号処理装置。
  27. 上記データ調整手段は、上記再生制御手段により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第2のパラメーター系データを調整することを特徴とする請求項25に記載の情報信号処理装置。
  28. 所定時間長のテスト画像音声データを記録した記録媒体を備え、上記データ調整手段による調整の後、そのテスト用画像音声データを用いて調整できる請求項25に記載の情報信号処理装置。
  29. 所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データにより所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第1のステップ、
    上記特徴データと所定第2のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第2のステップ、
    上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力の処理を行う第3のステップ、
    上記第3のステップによる動作モード入力の信号に応じて再生制御を行う第4のステップ、
    上記第4のステップによる再生制御状態に応じて上記第1または第2のパラメーター系データを調整する第5のステップ、
    からなる情報信号処理方法。
  30. 上記第4のステップによる再生制御により、所定の再生制御を行った場合にその再生区間を記憶することを特徴とする請求項29に記載の情報信号処理方法。
  31. 上記第5のステップによる第1または第2のパラメーター系データの調整は、上記第4のステップによる再生制御により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第2のパラメータ系データを調整することを特徴とする請求項29に記載の情報信号処理方法。
  32. 所定時間長の所定テスト画像音声データが所定の方法により蓄積されており、上記第5のステップによる調整の後、そのテスト用画像音声データを用いて調整できる請求項29に記載の情報信号処理方法。
  33. 所定の特徴抽出データと所定の設定パラメーターデータから所定画像データの所定の分類処理を行う画像分類処理手段と、
    所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、
    所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、
    上記動作モード設定手段により所定の調整モードに設定された場合に上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、
    上記所定の操作系で上記画像表示手段により画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、
    を備えたことを特徴とする情報信号処理装置。
  34. 上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである請求項33に記載の情報信号処理装置。
  35. 上記画像分類処理手段による分類処理は、所定の類似分類とする請求項33に記載の情報信号処理装置。
  36. 上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う請求項33に記載の情報信号処理装置。
  37. 所定の特徴抽出データと所定の設定パラメーターデータから所定の画像データの所定の分類処理を行う第1のステップ、
    所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第2のステップ、
    所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第3のステップ、
    上記第2のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第3のステップで記憶された画像から所定の分類処理された画像データを読み出し表示する第4のステップ、
    上記所定の操作系で上記画像表示された何れかの画像を選択しその画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第5のステップ、
    からなる情報信号処理方法。
  38. 上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである請求項37に記載の情報信号処理方法。
  39. 上記第1のステップによる分類処理は、所定の類似分類とする請求項37に記載の情報信号処理方法。
  40. 上記第1のステップの画像分類処理、上記第3のステップの画像データ記憶、上記第5のステップのパラメーター調整は所定のジャンル毎に所定の処理を行う請求項37に記載の情報信号処理方法。
  41. 所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する判定検出手段と、
    上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う画像分類処理手段と、
    所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、
    所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、
    上記動作モード設定手段により所定の調整モードに設定された場合に、上記判定検出手段で特徴データが検出できると判定される場合は、特徴データを検出し上記設定パラメーターデータを所定の複数の可変を行い上記画像分類処理手段により可変した各々のパラメーターで所定の分類処理を行い、上記判定検出手段で特徴データが検出されないと判定される場合は、上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、
    上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、
    を備えたことを特徴とする情報信号処理装置。
  42. 上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された請求項41に記載の情報信号処理装置。
  43. 上記画像分類処理手段による分類処理は、所定の類似分類とする請求項41に記載の情報信号処理装置。
  44. 上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う請求項41に記載の情報信号処理装置。
  45. 所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する第1のステップ、
    上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う第2のステップ、
    所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第3のステップ、
    所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第4のステップ、
    上記第3のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第1のステップによる判定検出で特徴抽出データが検出できると判定される場合は、特徴抽出データを検出し上記設定パラメーターデータを所定の複数の可変を行い画像分類により可変した各々のパラメーターで所定の分類処理を行い、上記第1のステップによる判定検出で特徴抽出データが検出されないと判定される場合は、上記第4のステップで画像記憶から所定の分類処理された画像データを読み出し表示する第5のステップ、
    上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第6のステップ、
    からなる情報信号処理方法。
  46. 上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された請求項45に記載の情報信号処理方法。
  47. 上記第2のステップによる分類処理は、所定の類似分類とする請求項45に記載の情報信号処理方法。
  48. 上記第2のステップによる画像分類処理、上記第4のステップによる画像データ記憶、上記第6のステップによるパラメーター調整は所定のジャンル毎に所定の処理を行う請求項45に記載の情報信号処理方法。
JP2003296329A 2003-08-20 2003-08-20 情報信号処理装置および情報信号処理方法 Expired - Fee Related JP4217964B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003296329A JP4217964B2 (ja) 2003-08-20 2003-08-20 情報信号処理装置および情報信号処理方法
US10/920,681 US7664376B2 (en) 2003-08-20 2004-08-18 Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method
US12/647,912 US8577207B2 (en) 2003-08-20 2009-12-28 Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003296329A JP4217964B2 (ja) 2003-08-20 2003-08-20 情報信号処理装置および情報信号処理方法

Publications (2)

Publication Number Publication Date
JP2005065185A true JP2005065185A (ja) 2005-03-10
JP4217964B2 JP4217964B2 (ja) 2009-02-04

Family

ID=34372270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003296329A Expired - Fee Related JP4217964B2 (ja) 2003-08-20 2003-08-20 情報信号処理装置および情報信号処理方法

Country Status (2)

Country Link
US (2) US7664376B2 (ja)
JP (1) JP4217964B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049331A (ja) * 2005-08-09 2007-02-22 Sony Corp 記録装置、記録方法および記録プログラム、並びに、記録再生装置および記録再生方法
JP2008053877A (ja) * 2006-08-23 2008-03-06 Hitachi Ltd 動画再生装置及び動画再生方法
JP2008098726A (ja) * 2006-10-06 2008-04-24 Sharp Corp 特徴情報付プログレスバー構成情報生成機能を有するav装置
JP2008165850A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 記録方法
JP2009004994A (ja) * 2007-06-20 2009-01-08 Hitachi Ltd ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2009536490A (ja) * 2006-05-05 2009-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザの関連フィードバックによりビデオのサマリを更新する方法
US8103149B2 (en) 2005-08-23 2012-01-24 Sony Corporation Playback system, apparatus, and method, information processing apparatus and method, and program therefor
JP2012074759A (ja) * 2010-09-27 2012-04-12 Toshiba Corp コンテンツ要約装置およびコンテンツ要約表示装置
JP2012195811A (ja) * 2011-03-17 2012-10-11 Fujitsu Ltd ダイジェスト映像生成装置およびプログラム
US8340475B2 (en) 2006-10-24 2012-12-25 Sony Corporation Database production method, database production program, database production apparatus and image content recording apparatus
US8793733B2 (en) 2005-05-31 2014-07-29 Sony Corporation Information processing apparatus, information processing method, and program for enabling computer to execute same method
JP2017157990A (ja) * 2016-03-01 2017-09-07 京セラドキュメントソリューションズ株式会社 動画生成装置、動画生成プログラムおよび動画生成方法
JP2017225174A (ja) * 2014-09-04 2017-12-21 インテル コーポレイション リアル・タイム・ビデオ要約
JP2020129763A (ja) * 2019-02-08 2020-08-27 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3997197B2 (ja) * 2003-12-02 2007-10-24 キヤノン株式会社 画像処理システム
US7706663B2 (en) * 2004-10-12 2010-04-27 Cyberlink Corp. Apparatus and method for embedding content information in a video bit stream
JP4670683B2 (ja) * 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
US8745496B2 (en) * 2006-09-21 2014-06-03 Apple Inc. Variable I/O interface for portable media device
JP4239108B2 (ja) * 2006-10-24 2009-03-18 ソニー株式会社 内容文字情報取得方法、内容文字情報取得プログラム、内容文字情報取得装置及び映像コンテンツ記録装置
WO2008096543A1 (ja) * 2007-02-07 2008-08-14 Panasonic Corporation 記録装置、サーバ装置、記録方法、コンピュータプログラムを記録した記録媒体、及び集積回路
JP5090834B2 (ja) * 2007-09-11 2012-12-05 株式会社リコー 情報処理装置及び認証制御プログラム
FR2940691B1 (fr) * 2008-12-31 2011-02-25 Viaccess Sa Procedes de transmission, de reception et d'identification, processeur de securite et support d'enregistrement d'informations pour ces procedes.
US20130129308A1 (en) * 2011-11-18 2013-05-23 Keith Stoll Karn Display device with adaptive fast navigation mode
JP5349649B1 (ja) * 2012-05-25 2013-11-20 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
CN104409086A (zh) * 2014-12-01 2015-03-11 联想(北京)有限公司 一种用于音频处理的方法和电子设备
CN110914864A (zh) * 2017-07-31 2020-03-24 富士通株式会社 信息处理装置、信息处理程序和信息处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW305043B (ja) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
KR100322853B1 (ko) * 1996-01-08 2002-06-24 니시무로 타이죠 정보기록매체및기록방법및재생장치
US6580870B1 (en) * 1997-11-28 2003-06-17 Kabushiki Kaisha Toshiba Systems and methods for reproducing audiovisual information with external information
JP2000285243A (ja) 1999-01-29 2000-10-13 Sony Corp 信号処理方法及び映像音声処理装置
JP4227241B2 (ja) 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
JP2002259720A (ja) 2001-03-02 2002-09-13 Internatl Business Mach Corp <Ibm> コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
JP4615166B2 (ja) 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793733B2 (en) 2005-05-31 2014-07-29 Sony Corporation Information processing apparatus, information processing method, and program for enabling computer to execute same method
JP2007049331A (ja) * 2005-08-09 2007-02-22 Sony Corp 記録装置、記録方法および記録プログラム、並びに、記録再生装置および記録再生方法
US8103149B2 (en) 2005-08-23 2012-01-24 Sony Corporation Playback system, apparatus, and method, information processing apparatus and method, and program therefor
JP2009536490A (ja) * 2006-05-05 2009-10-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザの関連フィードバックによりビデオのサマリを更新する方法
JP2008053877A (ja) * 2006-08-23 2008-03-06 Hitachi Ltd 動画再生装置及び動画再生方法
JP4730253B2 (ja) * 2006-08-23 2011-07-20 株式会社日立製作所 動画再生装置及び動画再生方法
JP2008098726A (ja) * 2006-10-06 2008-04-24 Sharp Corp 特徴情報付プログレスバー構成情報生成機能を有するav装置
US8340475B2 (en) 2006-10-24 2012-12-25 Sony Corporation Database production method, database production program, database production apparatus and image content recording apparatus
JP2008165850A (ja) * 2006-12-27 2008-07-17 Hitachi Ltd 記録方法
JP2009004994A (ja) * 2007-06-20 2009-01-08 Hitachi Ltd ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2012074759A (ja) * 2010-09-27 2012-04-12 Toshiba Corp コンテンツ要約装置およびコンテンツ要約表示装置
US9189545B2 (en) 2010-09-27 2015-11-17 Kabushiki Kaisha Toshiba Content summarizing apparatus and content summarizing displaying apparatus
JP2012195811A (ja) * 2011-03-17 2012-10-11 Fujitsu Ltd ダイジェスト映像生成装置およびプログラム
JP2017225174A (ja) * 2014-09-04 2017-12-21 インテル コーポレイション リアル・タイム・ビデオ要約
JP2017157990A (ja) * 2016-03-01 2017-09-07 京セラドキュメントソリューションズ株式会社 動画生成装置、動画生成プログラムおよび動画生成方法
JP2020129763A (ja) * 2019-02-08 2020-08-27 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム
JP7218198B2 (ja) 2019-02-08 2023-02-06 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム

Also Published As

Publication number Publication date
US8577207B2 (en) 2013-11-05
JP4217964B2 (ja) 2009-02-04
US7664376B2 (en) 2010-02-16
US20050084244A1 (en) 2005-04-21
US20100098393A1 (en) 2010-04-22

Similar Documents

Publication Publication Date Title
JP4217964B2 (ja) 情報信号処理装置および情報信号処理方法
EP1971134B1 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
JP3667262B2 (ja) ビデオスキミング方法及び装置
JP5322550B2 (ja) 番組推奨装置
US9124860B2 (en) Storing a video summary as metadata
KR101454025B1 (ko) 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법
TWI472228B (zh) 資訊處理裝置,成像裝置,影像顯示控制方法及電腦程式
JP4039873B2 (ja) 映像情報記録再生装置
US9071806B2 (en) Reproducing apparatus
JP2002142189A (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2008294584A (ja) ダイジェスト再生装置及び方法
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2003274352A (ja) コンテンツ記録再生装置およびコンテンツ編集方法
JP3947979B2 (ja) ビデオコンテンツ自動レビューシステム
EP1134974B1 (en) Image recording and playback apparatus and method
JP2002354406A (ja) 動画像再生装置
JP4239074B2 (ja) 情報信号再生装置および情報信号再生方法
JP2006217060A (ja) 記録装置、記録再生装置および記録方法並びに記録再生方法
JP2004531920A (ja) デジャヴュ・ビデオシステム用のユーザ・インタフェースを提供するシステム及び方法
JP2011076551A (ja) 電子機器、アクセス制御方法及びプログラム
JP4441572B2 (ja) 記録装置
JP2006121183A (ja) 映像記録再生装置
JP2007006025A (ja) 映像再生装置及び映像再生方法
KR100438302B1 (ko) 비디오 스키밍 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees