JP2000350124A - 動画像記録再生装置および方法、並びに媒体 - Google Patents

動画像記録再生装置および方法、並びに媒体

Info

Publication number
JP2000350124A
JP2000350124A JP11159172A JP15917299A JP2000350124A JP 2000350124 A JP2000350124 A JP 2000350124A JP 11159172 A JP11159172 A JP 11159172A JP 15917299 A JP15917299 A JP 15917299A JP 2000350124 A JP2000350124 A JP 2000350124A
Authority
JP
Japan
Prior art keywords
recording
representative
image
evaluation value
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11159172A
Other languages
English (en)
Other versions
JP4292627B2 (ja
Inventor
Koichi Nagatoku
弘一 長徳
Masashi Ota
正志 太田
Toshimichi Hamada
敏道 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15917299A priority Critical patent/JP4292627B2/ja
Priority to KR1020000030002A priority patent/KR100654077B1/ko
Priority to US09/587,437 priority patent/US6728473B1/en
Publication of JP2000350124A publication Critical patent/JP2000350124A/ja
Application granted granted Critical
Publication of JP4292627B2 publication Critical patent/JP4292627B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575—DVD-RAMs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 テレビジョン番組を録画する際、その番組の
内容を把握可能な代表画像を記録する。 【解決手段】 ステップＳ２において、録画される動画
像からフレーム画像が抽され、ステップＳ３において、
フレーム画像に文字が存在する確度が演算され、ステッ
プＳ４において、フレーム画像に人の顔が存在する確度
が演算され、ステップＳ５において、フレーム画像に対
応する音声信号のレベルが検出され、ステップＳ６で、
ステップＳ３乃至Ｓ５の結果を用いて評価値が演算さ
れ、ステップＳ７で評価値の極大値が検出され、ステッ
プＳ８で、極大値に対応するフレーム画像が縮小され
て、ステップＳ９で記録媒体に記録される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像記録再生装
置および方法、並びに媒体に関し、特に、動画像信号を
録画する際、動画像信号とともに当該動画像信号の内容
を特定可能な縮小静止画像を記録媒体に記録することに
より、当該縮小静止画像を記録媒体のインデックスとし
て利用できるようにした動画像記録再生装置および方
法、並びに媒体に関する。
【０００２】
【従来の技術】従来、テレビジョン放送を録画するVCR
(Video Cassette Recorder)には、録画した番組の放映
日時、チャンネル、および番組のジャンル等のインデッ
クス情報を、ビデオカセットテープの冒頭に記録する機
能を有するものが存在する。
【０００３】そのようなVCRによれば、番組が録画され
ているビデオカセットテープの冒頭を再生させるだけ
で、録画されている番組のインデックス情報を得ること
が可能である。しかしながら、録画されている番組の具
体的な内容は、ビデオカセットテープの冒頭から終端ま
でを再生しなければ把握することはできない。
【０００４】そこで、ビデオカセットテープの全てを再
生することなく、録画されている番組の具体的な内容を
ユーザに把握させる方法として、例えば、録画時におい
て、録画している番組の動画像信号から一定の時間間隔
で静止画像（または、サムネイル画像）を抽出して、ビ
デオテープの所定の位置にまとめて記録し、ビデオカセ
ットテープに録画されている番組の内容を確認するとき
に、その所定の位置だけを再生する方法が考えられる。
【０００５】ところで、近年、ハードディスク等の記憶
媒体の大容量化および低価格化、並びに、AV信号（動画
像信号および音声信号）を圧縮符号化する処理の高速化
が進められており、これらの技術が活用され、テレビジ
ョン番組のAV信号を圧縮符号化して録画し、また再生す
ることができる電子機器が開発されている。
【０００６】そのような電子機器によれば、大容量の記
録媒体に数多くの番組のAV信号を記録することが可能と
なるので、記録されている複数の番組のAV信号をユーザ
が容易に把握できるように、上述したような録画中の番
組の画像信号から静止画像を抽出して記録する機能を当
該電子機器にも持たせることが望ましい。
【０００７】
【発明が解決しようとする課題】しかしながら、上述し
たように、テレビジョン番組の動画像信号から一定の時
間間隔で静止画像を抽出した場合、番組の内容を把握す
るには不適当な静止画像（例えば、コマーシャルの静止
画像等）を記録してしまうこともあり、番組の内容を把
握できる適切な静止画像を確実に抽出することができな
い課題があった。
【０００８】本発明はこのような状況に鑑みてなされた
ものであり、所定のアルゴリズムに基づいてテレビジョ
ン番組の内容を特徴付ける静止画像を決定することによ
り、テレビジョン番組を録画する際、その番組の内容を
把握可能な代表画像を記録できるようにするものであ
る。
【０００９】
【課題を解決するための手段】請求項１に記載の動画像
記録再生装置は、入力された動画像信号を記録媒体に録
画する録画手段と、動画像信号から所定のサンプリング
レートで静止画像を抽出する抽出手段と、抽出手段が抽
出した静止画像の画素値を用いて、静止画像の評価値を
演算する演算手段と、演算手段が演算した評価値の極大
値を検出する検出手段と、検出手段が検出した評価値の
極大値に対応する静止画像を縮小して代表画像を生成す
る生成手段と、生成手段が生成した代表画像を記録媒体
に記録する記録手段と、記録手段が記録した代表画像を
記録媒体から読み出す読み出し手段と、読み出し手段が
読み出した少なくとも１以上の代表画像を貼付して代表
画像一覧を作成する作成手段とを含むことを特徴とす
る。
【００１０】前記検出手段は、単位時間当たり任意の数
の評価値の極大値を検出するようにすることができる。
【００１１】前記演算手段は、抽出手段が抽出した静止
画像の画素値を用いて、静止画像上に文字が存在する確
度を求め、文字が存在する確度を用いて評価値を演算す
るようにすることができる。
【００１２】前記演算手段は、抽出手段が抽出した静止
画像の画素値を用いて、静止画像上に人の顔が存在する
確度を求め、人の顔が存在する確度を用いて評価値を演
算するようにすることができる。
【００１３】前記演算手段は、抽出手段が抽出した静止
画像に対応する音声信号のレベルを検出して、音声信号
のレベルを用いて評価値を演算するようにすることがで
きる。
【００１４】請求項６に記載の動画像記録再生方法は、
入力された動画像信号を記録媒体に録画する録画ステッ
プと、動画像信号から所定のサンプリングレートで静止
画像を抽出する抽出ステップと、抽出ステップで抽出し
た静止画像の画素値を用いて、静止画像の評価値を演算
する演算ステップと、演算ステップで演算した評価値の
極大値を検出する検出ステップと、検出ステップで検出
した評価値の極大値に対応する静止画像を縮小して代表
画像を生成する生成ステップと、生成ステップで生成し
た代表画像を記録媒体に記録する記録ステップと、記録
ステップで記録した代表画像を記録媒体から読み出す読
み出しステップと、読み出しステップで読み出した少な
くとも１以上の代表画像を貼付して代表画像一覧を作成
する作成ステップとを含むことを特徴とする。
【００１５】請求項７に記載の媒体のプログラムは、入
力された動画像信号を記録媒体に録画する録画ステップ
と、動画像信号から所定のサンプリングレートで静止画
像を抽出する抽出ステップと、抽出ステップで抽出した
静止画像の画素値を用いて、静止画像の評価値を演算す
る演算ステップと、演算ステップで演算した評価値の極
大値を検出する検出ステップと、検出ステップで検出し
た評価値の極大値に対応する静止画像を縮小して代表画
像を生成する生成ステップと、生成ステップで生成した
代表画像を記録媒体に記録する記録ステップと、記録ス
テップで記録した代表画像を記録媒体から読み出す読み
出しステップと、読み出しステップで読み出した少なく
とも１以上の代表画像を貼付して代表画像一覧を作成す
る作成ステップとを含むことを特徴とする。
【００１６】請求項１に記載の動画像記録再生装置、請
求項６に記載の動画像記録再生方法、および請求項７に
記載の媒体のプログラムにおいては、入力された動画像
信号が記録媒体に録画され、動画像信号から所定のサン
プリングレートで静止画像が抽出され、抽出された静止
画像の画素値を用いて、静止画像の評価値が演算され
て、演算された評価値の極大値が検出され、検出された
評価値の極大値に対応する静止画像が縮小されて代表画
像が生成され、生成された代表画像が記録媒体に記録さ
れる。さらに、記録された代表画像が記録媒体から読み
出され、読み出された少なくとも１以上の代表画像が貼
付されて代表画像一覧が作成される。
【００１７】
【発明の実施の形態】本発明を適用したビデオレコーダ
の構成例について、図１を参照して説明する。このビデ
オレコーダにおいて、入力信号処理回路１は、チューナ
（不図示）から入力されるテレビジョン番組のAV信号
に、AGC(Auto Gain Control)等の処理を施してアナログ
デジタル変換回路(A/D)２に出力する。アナログデジタ
ル変換回路２は、入力信号処理回路１から入力されるア
ナログAV信号をデジタルAV信号に変換してエンコーダ３
および代表画像生成回路４に出力する。
【００１８】エンコーダ３は、アナログデジタル変換回
路２から入力されるデジタルAV信号を、所定の方式（例
えば、MPEG(Moving Picture Experts Group)２方式）を
用いて圧縮符号化し、さらにエラー訂正符号の付加、EF
M(Eight to Fourteen Modulation)変調等を施して記録
回路５に出力する。代表画像生成回路４は、所定のアル
ゴリズムに基づくタイミング（詳細は後述する）におい
て、アナログデジタル変換回路２から入力されるデジタ
ルAV信号の動画像信号を用いて圧縮静止画像（代表画
像）を生成して、その画像データを記録回路５に出力す
る。
【００１９】記録回路５は、エンコーダ３から入力され
る符号化されているAV信号（以下、AV符号化信号と記述
する）、および、代表画像生成回路４から入力される代
表画像データを記録媒体６に記録する。記録媒体６は、
例えばハードディスクやDVD-RAM(Digital Versatile Di
sc-Random Access Memory)等である。再生回路７は、記
録媒体６に記録されているAV符号化信号を読み出してデ
コーダ８に出力する。再生回路７はまた、記録媒体６に
記録されている代表画像データを読み出して代表画像表
示制御９に出力する。
【００２０】デコーダ８は、再生回路７から入力される
AV符号化信号にEFM復調、誤り訂正等を施した後、デコ
ードし、得られたデジタルAV信号をデジタルアナログ変
換回路(D/A)１０に出力する。代表画像表示制御回路９
は、再生回路７から入力される複数の代表画像を、１つ
画像に張り付けて、図２に示すような代表画像一覧を生
成し、その画像データをデジタルアナログ変換回路１０
に出力する。
【００２１】デジタルアナログ変換回路１０は、デコー
ダ８から入力されるデジタルAV信号、または代表画像表
示制御回路９から入力される代表画像一覧の画像データ
をアナログ信号に変換して出力信号処理回路１１に出力
する。出力信号処理回路１１は、デジタルアナログ変換
回路１０から入力されるアナログのAV信号、または代表
画像一覧の画像データにクロマエンコード等を施して後
段のディスプレイ（不図示）に出力する。
【００２２】次に動作について説明する。録画時におい
て、チューナからビデオレコーダに入力されたテレビジ
ョン番組のAV信号は、入力信号処理回路１でAGC等の処
理が施され、アナログデジタル変換回路２でデジタルAV
信号に変換されてエンコーダ３および代表画像生成回路
４に出力される。さらに、エンコーダ３で、所定の方式
で圧縮符号化されてエラー訂正符号の付加、EFM変調等
が施され、記録回路５で記録媒体６に記録される。
【００２３】一方、代表画像生成回路４では、デジタル
AV信号の動画像信号を用いて、番組の内容を特徴付ける
代表画像が生成され、その画像データが記録回路５に出
力されて記録媒体６に記録される（詳細については、図
３乃至図７を参照して後述する）。
【００２４】再生時において、記録媒体６に記録されて
いる代表画像は、再生回路７に読み出されて代表画像表
示制御回路９に供給される。代表画像表示制御回路９で
は、再生回路７から供給された複数の代表画像が、１つ
画像に張り付けられ、図２に示すような代表画像一覧が
生成され、その画像データがデジタルアナログ変換回路
１０に出力される。代表画像一覧の画像データは、デジ
タルアナログ変換回路１０では、アナログ信号に変換さ
れ、出力信号処理回路１１ではクロマエンコード等が施
され、後段のディスプレイに供給されて表示される。
【００２５】この代表画像一覧の表示を参照したユーザ
が、再生する番組を決定して、ある番組の再生を指示す
ると、再生回路７では、記録媒体６に記録されている当
該番組に対応する符号化AV信号が読み出され、デコーダ
８では、EFM復調、誤り訂正等が施された後にデコード
され、デジタルアナログ変換回路１０では、アナログ信
号に変換され、出力信号処理回路１１ではクロマエンコ
ード等が施され、後段のディスプレイに供給されて表示
される。
【００２６】次に、ビデオレコーダの代表画像記録処理
について、図３のフローチャートを参照して説明する。
この代表画像記録処理は、ビデオレコーダに入力される
AV信号の録画が開始されたとき、その録画処理と並行し
て実行される。
【００２７】ステップＳ１において、代表画像生成回路
４は、AV信号の録画が終了したか否かを判定し、録画が
終了していないと判定した場合、ステップＳ２に進む。
ステップＳ２において、代表画像生成回路４は、アナロ
グデジタル変換回路２から入力されたAV信号の動画像信
号から所定のサンプリングレート（例えば、１枚／秒）
でフレーム画像（静止画像）を抽出する。ステップＳ３
において、代表画像生成回路４は、ステップＳ２で抽出
したフレーム画像にタイトル文字検出処理を施す。な
お、このタイトル文字検出処理は、画面上に番組タイト
ルやテロップ等の文字が表示された画像は、番組の内容
を特徴付ける代表画像となり得ることを根拠として実行
される。
【００２８】タイトル文字検出処理の詳細について、図
４のフローチャートを参照して説明する。ステップＳ１
１において、代表画像生成回路４は、ステップＳ２で抽
出したフレーム画像（ｘ画素×ｙ画素）を、ａ画素×ｂ
画素のブロックに分割する。これにより、フレーム画像
は、ｘｙ／ａｂ（＝（ｘ／ａ）×（ｙ／ｂ））個のブロ
ックに分割される。
【００２９】ステップＳ１２において、代表画像生成回
路４は、各ブロック毎に、ブロックを構成するａｂ個の
画素の画素値（Ｕ値およびＶ値、それぞれＣ階調）のヒ
ストグラムを生成する。ステップＳ１３において、代表
画像生成回路４は、最も出現頻度が高いＵ値およびＶ値
を次式（１）に代入して、ブロック毎に彩度Ｓを演算す
る。
【００３０】 彩度Ｓ＝（Ｕ2＋Ｖ2）1/2 ・・・（１ ） ステップＳ１４において、代表画像生成回路４は、ステ
ップＳ１３で演算した各ブロックの彩度Ｓを所定の閾値
Ｔ１と比較して、所定の閾値Ｔ１よりも大きい彩度Ｓを
持つブロックを１次タイトル文字ブロック候補とする。
次に、代表画像生成回路４は、１次タイトル文字ブロッ
ク候補であって、それに隣接するブロックも１次タイト
ル文字ブロック候補であるブロックを２次タイトル文字
ブロック候補とする。さらに、代表画像生成回路４は、
２次タイトル文字ブロック候補であるブロックのうちの
フレーム画像の所定の領域（例えば、中央付近の領域）
に存在するものを３次タイトル文字ブロック候補として
検出する。
【００３１】ステップＳ１５において、代表画像生成回
路４は、フレーム画像に対するタイトル文字検出処理結
果の値Ｕ１として、ステップＳ１４で３次タイトル文字
ブロック候補としたブロックの数をカウントし、図３の
ステップＳ４にリターンする。
【００３２】ステップＳ４において、代表画像生成回路
４は、ステップＳ２で抽出したフレーム画像に顔検出処
理を施す。なお、この顔検出処理は、画面上に人の顔
（肌色の画像）が表示された画像は、番組の内容を特徴
付ける代表画像となり得ることを根拠として実行され
る。
【００３３】顔検出処理の詳細について、図５のフロー
チャートを参照して説明する。ステップＳ２１におい
て、代表画像生成回路４は、タイトル文字検出処理のス
テップＳ１１と同様に、フレーム画像をｘｙ／ａｂ個の
ブロックに分割する。
【００３４】ステップＳ２２において、代表画像生成回
路４は、タイトル文字検出処理のステップＳ１２と同様
に、各ブロック毎に、ブロックを構成するａｂ個の画素
の画素値のヒストグラムを生成する。ステップＳ２３に
おいて、代表画像生成回路４は、最も出現頻度が高いＵ
値およびＶ値を次式（２）に代入して、ブロック毎に評
価値Ｆを演算する。
【００３５】 評価値Ｆ＝arctan（Ｖ／Ｕ） ・・・（２） ステップＳ２４において、代表画像生成回路４は、ステ
ップＳ２３で演算した各ブロックの評価値Ｆを所定の閾
値Ｔ２，Ｔ３と比較して、所定の閾値Ｔ２とＴ３の間に
位置する評価値Ｆを持つブロックを１次顔ブロック候補
とする。ただし、所定の閾値Ｔ２，Ｔ３は、肌色（顔の
色）を検出するための値であり、適宜、変更することが
可能である。次に、代表画像生成回路４は、１次顔ブロ
ック候補であって、それに隣接するブロックも１次顔ブ
ロック候補であるブロックを２次顔ブロック候補とす
る。さらに、代表画像生成回路４は、２次顔ブロック候
補であるブロックのうちのフレーム画像の所定の領域
（例えば、中央付近の領域）に存在するものを３次顔ブ
ロック候補として検出する。
【００３６】ステップＳ２５において、代表画像生成回
路４は、フレーム画像に対する顔検出処理結果の値Ｕ２
として、ステップＳ２４で３次顔ブロック候補としたブ
ロックの数をカウントし、図３のステップＳ５にリター
ンする。
【００３７】ステップＳ５において、代表画像生成回路
４は、ステップＳ２で抽出したフレーム画像に対する音
声検出処理結果の値Ｕ３として、フレーム画像に対応す
る音声信号を抽出し、所定の値に対するその音声レベル
の割合を演算する。なお、この音声検出処理処理は、音
声レベルが高い画像は、番組の内容を特徴付ける代表画
像となり得ることを根拠として実行される。
【００３８】ステップＳ６において、代表画像生成回路
４は、ステップＳ２で抽出したフレーム画像が代表画像
として適切であるか否かを示す評価値Ｕｄを、ステップ
Ｓ３乃至Ｓ５で求めた値Ｕ１乃至Ｕ３を次式（３）に代
入して演算する。
【００３９】 評価値Ｕｄ＝Σ（Ｕｉ＊Ｗｉ） （ｉ＝１，２，３） ・・・（３） ただし、Ｗｉは、Ｕｉの重要度を示す係数である。
【００４０】ステップＳ７において、代表画像生成回路
４は、ステップＳ６で求めた評価値Ｕｄが所定の時間間
隔Ｔにおいて極大値となるフレーム画像を、番組の内容
を特徴付ける代表画像に決定する。なお、この代表画像
決定処理の詳細は、図６のフローチャートを参照して後
述する。
【００４１】ステップＳ８において、代表画像生成回路
４は、ステップＳ７で代表画像に決定されたフレーム画
像を縮小して、得られた縮小静止画像を記録回路５に出
力する。ステップＳ９において、記録回路５は、代表画
像生成回路４から入力された縮小静止画像を記録媒体６
に出力する。この後、ステップＳ１に戻り、録画が終了
したと判定されるまで、それ以降の処理が繰り返され
る。
【００４２】代表画像決定処理について、図６のフロー
チャートを参照して説明する。ステップＳ３１におい
て、代表画像生成回路４は、極大評価値Ｕｄmaxの前回
の更新から、所定の時間Ｔが経過したか否かを判定し、
所定の時間Ｔが経過していないと判定した場合、ステッ
プＳ３４に進む。ステップＳ３４において、代表画像生
成回路４は、ステップＳ６で演算した評価値Ｕｄが極大
評価値Ｕｄmaxよりも大きいか否かを判定し、評価値Ｕ
ｄが極大評価値Ｕｄmaxよりも大きいと判定した場合、
ステップＳ３５に進み、極大評価値Ｕｄmaxを当該評価
値Ｕｄで更新して、図３のステップＳ８にリターンす
る。
【００４３】なお、ステップＳ３１において、極大評価
値Ｕｄmaxの前回の更新から、所定の時間Ｔが経過した
と判定された場合、ステップＳ３２に進む。ステップＳ
３２において、代表画像生成回路４は、極大評価値Ｕｄ
maxに対応するフレーム画像を代表画像に決定する。ス
テップＳ３３において、代表画像生成回路４は、極大評
価値Ｕｄmaxを０に初期化する。
【００４４】また、ステップＳ３４において、評価値Ｕ
ｄが極大評価値Ｕｄmaxよりも大きくないと判定された
場合、ステップＳ３５をスキップして、図３のステップ
Ｓ８にリターンする。
【００４５】この代表画像決定処理を実行することによ
り、図７に示すように、所定の時間間隔Ｔ毎に評価値Ｕ
ｄの極大値（例えば、図７のポイントＡ，Ｂ、Ｃ）に対
応するフレーム画像が代表画像に決定される。なお、時
間間隔Ｔは適宜、設定できるので、単位時間に任意の数
のフレーム画像を代表画像に決定することが可能であ
る。
【００４６】以上のように、番組の録画と同時に、代表
画像記憶処理が実行されることにより、同一の記録媒体
６に記録された複数の番組それぞれの代表画像が記録さ
れるので、代表画像一覧を表示させることで、ユーザは
容易に記録されている番組を把握することが可能とな
る。また、１つの番組に対して複数の代表画像を記録す
ることも可能であるので、番組中の見たいシーンを容易
に検索することが可能となる。
【００４７】なお、代表画像記録処理において、ステッ
プＳ３乃至Ｓ５のタイトル文字検出処理、顔検出処理、
音声検出処理のいずれか１つだけを実行して、代表画像
を決定するようにしてよいし、３つの処理のうちの２つ
の処理を組み合わせて、代表画像を決定するようにして
もよい。
【００４８】また、テレビジョン信号に含まれる番組ジ
ャンル、タイトル、放映時刻、チャンネル、コマーシャ
ル等の情報の解析結果を組み合わせて代表画像を検出す
るようにしてもよい。
【００４９】なお、本発明のビデオレコーダに入力する
AV信号は、テレビジョン番組には限定されず、例えば、
ビデオカメラを用いて撮像したAV信号を入力してその代
表画像を記録するようにしてもよい。
【００５０】また、本実施の形態においては、番組のAV
信号と代表画像とを同一の記録媒体６に記録するように
したが、それぞれを異なる記録媒体に記録するようにし
てもかまわない。
【００５１】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアとしてのビデ
オレコーダに組み込まれているコンピュータ、または、
各種のプログラムをインストールすることで、各種の機
能を実行することが可能な、例えば汎用のパーソナルコ
ンピュータなどにインストールされる。
【００５２】次に、図８を参照して、上述した一連の処
理を実行するプログラムをコンピュータにインストール
し、コンピュータによって実行可能な状態とするために
用いられる媒体について、そのコンピュータが汎用のパ
ーソナルコンピュータである場合を例として説明する。
【００５３】プログラムは、図８(A)に示すように、パ
ーソナルコンピュータ３０１に内蔵されている記録媒体
としてのハードディスク３０２や半導体メモリ３０３に
予めインストールした状態でユーザに提供することがで
きる。
【００５４】あるいはまた、プログラムは、図８(B)に
示すように、フロッピーディスク３１１、CD-ROM(Compa
ct Disc-Read Only Memory)３１２、ＭＯ(Magneto Opti
cal)ディスク３１３、DVD(Digital Versatile Disc)３
１４、磁気ディスク３１５、半導体メモリ３１６などの
記録媒体に、一時的あるいは永続的に格納し、パッケー
ジソフトウエアとして提供することができる。
【００５５】さらに、プログラムは、図８(C)に示すよ
うに、ダウンロードサイト３２１から、無線で衛星３２
２を介して、パーソナルコンピュータ３０１に転送した
り、ローカルエリアネットワーク、インターネットとい
ったネットワーク３３１を介して、有線または無線でパ
ーソナルコンピュータ３０１に転送し、パーソナルコン
ピュータ３０１において、内蔵するハードディスク３０
２などに格納させることができる。
【００５６】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。
【００５７】パーソナルコンピュータ３０１は、例え
ば、図９に示すように、CPU(CentralProccessing Unit)
３４１を内蔵している。CPU３４１にはバス３４１を介
して、入出力インタフェース３４５が接続されており、
CPU３４２は、入出力インタフェース３４５を介して、
ユーザから、キーボード、マウスなどよりなる入力部３
４７から指令が入力されると、それに対応して、図８
(A)の半導体メモリ３０３に対応するROM(Read Only Mem
ory)３４３に格納されているプログラム、衛生３２２も
しくはネットワーク３３１から転送され、通信部３４８
により受信され、さらにハードディスク３０２にインス
トールされたプログラム、またはドライブ３４９に装着
されたフロッピディスク３１１、CD-ROM３１２、ＭＯデ
ィスク３１３、DVD３１４、もしくは磁気ディスク３１
５から読み出され、ハードディスク３０２にインストー
ルされたプログラムを、RAM(Random Access Memory) ３
４４にロードして実行する。さらに、CPU３４２は、そ
の処理結果を、例えば、入出力インタフェース３４５を
介して、LCD(Liquid Crystal Display)などよりなる表
示部３４６に必要に応じて出力する。
【００５８】なお、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【００５９】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。
【００６０】
【発明の効果】以上のように、請求項１に記載の動画像
記録再生装置、請求項６に記載の動画像記録再生方法、
および請求項７に記載の媒体のプログラムによれば、入
力された動画像信号から所定のサンプリングレートで静
止画像を抽出し、その静止画像の画素値を用いて静止画
像の評価値を演算して、評価値の極大値に対応する静止
画像を縮小し、代表画像として記録するようにしたの
で、テレビジョン番組を録画する際、その番組の内容を
把握可能な代表画像を記録できるようにすることが可能
となる。
【図面の簡単な説明】
【図１】本発明を適用したビデオデコーダの構成例を示
すブロック図である。
【図２】代表画像一覧の表示例を示す図である。
【図３】代表画像記録処理を説明するフローチャートで
ある。
【図４】タイトル文字検出処理を説明するフローチャー
トである。
【図５】顔検出処理を説明するフローチャートである。
【図６】代表画像決定処理を説明するフローチャートで
ある。
【図７】代表画像決定処理を説明するための図である。
【図８】プログラムをパーソナルコンピュータ３０１に
インストールし、実行可能な状態とするために用いられ
る媒体について説明するための図である。
【図９】パーソナルコンピュータ３０１について説明す
るための図である。
【符号の説明】
３ エンコーダ， ４ 代表画像生成回路， ５ 記録
回路， ６ 記録媒体， ７ 再生回路， ８ デコー
ダ， ９ 代表画像制御回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 濱田 敏道 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C052 AA01 AA03 AB04 AC08 CC11 CC12 CC20 DD04 5C053 FA23 FA25 GB14 GB15 GB37 GB40 HA30 KA24 KA25 LA06 LA07

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 入力された動画像信号を記録媒体に録画
    する録画手段と、 前記動画像信号から所定のサンプリングレートで静止画
    像を抽出する抽出手段と、 前記抽出手段が抽出した前記静止画像の画素値を用い
    て、前記静止画像の評価値を演算する演算手段と、 前記演算手段が演算した前記評価値の極大値を検出する
    検出手段と、 前記検出手段が検出した前記評価値の極大値に対応する
    前記静止画像を縮小して代表画像を生成する生成手段
    と、 前記生成手段が生成した前記代表画像を前記記録媒体に
    記録する記録手段と、 前記記録手段が記録した前記代表画像を前記記録媒体か
    ら読み出す読み出し手段と、 前記読み出し手段が読み出した少なくとも１以上の前記
    代表画像を貼付して代表画像一覧を作成する作成手段と
    を含むことを特徴とする動画像記録再生装置。
  2. 【請求項２】 前記検出手段は、単位時間当たり任意の
    数の前記評価値の極大値を検出することを特徴とする請
    求項１に記載の動画像記録再生装置。
  3. 【請求項３】 前記演算手段は、前記抽出手段が抽出し
    た前記静止画像の画素値を用いて、前記静止画像上に文
    字が存在する確度を求め、前記文字が存在する前記確度
    を用いて前記評価値を演算することを特徴とする請求項
    １に記載の動画像記録再生装置。
  4. 【請求項４】 前記演算手段は、前記抽出手段が抽出し
    た前記静止画像の画素値を用いて、前記静止画像上に人
    の顔が存在する確度を求め、前記人の顔が存在する前記
    確度を用いて前記評価値を演算することを特徴とする請
    求項１に記載の動画像記録再生装置。
  5. 【請求項５】 前記演算手段は、前記抽出手段が抽出し
    た前記静止画像に対応する音声信号のレベルを検出し
    て、前記音声信号のレベルを用いて前記評価値を演算す
    ることを特徴とする請求項１に記載の動画像記録再生装
    置。
  6. 【請求項６】 入力された動画像信号を記録媒体に録画
    する録画ステップと、 前記動画像信号から所定のサンプリングレートで静止画
    像を抽出する抽出ステップと、 前記抽出ステップで抽出した前記静止画像の画素値を用
    いて、前記静止画像の評価値を演算する演算ステップ
    と、 前記演算ステップで演算した前記評価値の極大値を検出
    する検出ステップと、 前記検出ステップで検出した前記評価値の極大値に対応
    する前記静止画像を縮小して代表画像を生成する生成ス
    テップと、 前記生成ステップで生成した前記代表画像を前記記録媒
    体に記録する記録ステップと、 前記記録ステップで記録した前記代表画像を前記記録媒
    体から読み出す読み出しステップと、 前記読み出しステップで読み出した少なくとも１以上の
    前記代表画像を貼付して代表画像一覧を作成する作成ス
    テップとを含むことを特徴とする動画像記録再生方法。
  7. 【請求項７】 入力された動画像信号を記録媒体に録画
    する録画ステップと、 前記動画像信号から所定のサンプリングレートで静止画
    像を抽出する抽出ステップと、 前記抽出ステップで抽出した前記静止画像の画素値を用
    いて、前記静止画像の評価値を演算する演算ステップ
    と、 前記演算ステップで演算した前記評価値の極大値を検出
    する検出ステップと、 前記検出ステップで検出した前記評価値の極大値に対応
    する前記静止画像を縮小して代表画像を生成する生成ス
    テップと、 前記生成ステップで生成した前記代表画像を前記記録媒
    体に記録する記録ステップと、 前記記録ステップで記録した前記代表画像を前記記録媒
    体から読み出す読み出しステップと、 前記読み出しステップで読み出した少なくとも１以上の
    前記代表画像を貼付して代表画像一覧を作成する作成ス
    テップとを含むことを特徴とするプログラムをコンピュ
    ータに実行させる媒体。
JP15917299A 1999-06-07 1999-06-07 動画像記録再生装置および方法、並びに記録媒体 Expired - Fee Related JP4292627B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP15917299A JP4292627B2 (ja) 1999-06-07 1999-06-07 動画像記録再生装置および方法、並びに記録媒体
KR1020000030002A KR100654077B1 (ko) 1999-06-07 2000-06-01 동화상 기록재생 장치및 방법,및 매체
US09/587,437 US6728473B1 (en) 1999-06-07 2000-06-05 Moving picture recording and reproduction apparatus and method as well as medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15917299A JP4292627B2 (ja) 1999-06-07 1999-06-07 動画像記録再生装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2000350124A true JP2000350124A (ja) 2000-12-15
JP4292627B2 JP4292627B2 (ja) 2009-07-08

Family

ID=15687872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15917299A Expired - Fee Related JP4292627B2 (ja) 1999-06-07 1999-06-07 動画像記録再生装置および方法、並びに記録媒体

Country Status (3)

Country Link
US (1) US6728473B1 (ja)
JP (1) JP4292627B2 (ja)
KR (1) KR100654077B1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008288899A (ja) * 2007-05-17 2008-11-27 Canon Inc 動画撮像装置及び動画撮像方法
JP2009194491A (ja) * 2008-02-13 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> 動画検閲装置、動画検閲方法、動画検閲プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010028773A (ja) * 2008-07-24 2010-02-04 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2011077883A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置
US8253794B2 (en) 2006-04-04 2012-08-28 Sony Corporation Image processing apparatus and image display method
US8538247B2 (en) 2009-08-17 2013-09-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US8842189B2 (en) 2007-05-17 2014-09-23 Canon Kabushiki Kaisha Moving image capture apparatus and moving image capture method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4304839B2 (ja) * 2000-07-13 2009-07-29 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
JP4465827B2 (ja) * 2000-07-13 2010-05-26 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
JP4431923B2 (ja) * 2000-07-13 2010-03-17 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
GB0029861D0 (en) * 2000-12-07 2001-01-24 Sony Uk Ltd Replaying video information
JP2002314919A (ja) * 2001-04-18 2002-10-25 Toshiba Corp 記録情報管理装置、記録情報管理方法及び記録情報管理システム
US7333712B2 (en) * 2002-02-14 2008-02-19 Koninklijke Philips Electronics N.V. Visual summary for scanning forwards and backwards in video content
KR20050054557A (ko) * 2003-12-05 2005-06-10 삼성전자주식회사 방송 영상 저장 및 재생 장치 및 방법
JP2005293555A (ja) * 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定
JP2008017042A (ja) * 2006-07-04 2008-01-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
CN102055888B (zh) * 2009-11-05 2014-02-19 鸿富锦精密工业（深圳）有限公司 网络摄像机、网络摄像系统及网络摄像方法
KR102340196B1 (ko) * 2014-10-16 2021-12-16 삼성전자주식회사 동영상 처리 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546191A (en) * 1992-02-25 1996-08-13 Mitsubishi Denki Kabushiki Kaisha Recording and reproducing apparatus
JP3367268B2 (ja) * 1995-04-21 2003-01-14 株式会社日立製作所 映像のダイジェスト作成装置及び方法
US6427048B2 (en) * 1997-04-28 2002-07-30 Sony Corporation Apparatus and method for recording, reproducing and displaying a video signal received by a signal receiver

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8253794B2 (en) 2006-04-04 2012-08-28 Sony Corporation Image processing apparatus and image display method
JP2008288899A (ja) * 2007-05-17 2008-11-27 Canon Inc 動画撮像装置及び動画撮像方法
US8842189B2 (en) 2007-05-17 2014-09-23 Canon Kabushiki Kaisha Moving image capture apparatus and moving image capture method
JP2009194491A (ja) * 2008-02-13 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> 動画検閲装置、動画検閲方法、動画検閲プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010028773A (ja) * 2008-07-24 2010-02-04 Canon Inc 画像処理装置、画像処理方法及びプログラム
US8538247B2 (en) 2009-08-17 2013-09-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2011077883A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置

Also Published As

Publication number Publication date
KR20010007174A (ko) 2001-01-26
KR100654077B1 (ko) 2006-12-07
JP4292627B2 (ja) 2009-07-08
US6728473B1 (en) 2004-04-27

Similar Documents

Publication Publication Date Title
JP4292627B2 (ja) 動画像記録再生装置および方法、並びに記録媒体
JP3512098B2 (ja) 情報記録装置および方法、並びに情報再生装置および方法
JP3701051B2 (ja) 情報記録装置及び情報再生装置
JP4767216B2 (ja) ダイジェスト生成装置、方法及びプログラム
JP2003061030A (ja) 記録済みビデオデータの境界を検出するシステムおよび方法
JP2000057749A (ja) 記録装置および記録方法、再生装置および再生方法、ならびに、記録媒体
US7822569B2 (en) Specific-condition-section detection apparatus and method of detecting specific condition section
US20100202749A1 (en) Contents processing apparatus and method
US7076151B2 (en) Image recording apparatus and method, image playback apparatus and method, and recording medium
JP4600236B2 (ja) 再生装置、記録再生装置、データ処理方法及びそのプログラム
JP2002077803A (ja) 映像情報記録装置及び撮像装置
JP4465827B2 (ja) 映像信号記録再生装置および方法、並びに記録媒体
JP2002247516A (ja) 記録装置、再生装置および記録再生装置
JP2007201988A (ja) 録画再生装置
JP2000175133A (ja) 情報記録再生装置および方法、並びに提供媒体
JP4384564B2 (ja) 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム
JP2002262240A (ja) 録画シーン検索方法および記録再生装置
JP2002044573A (ja) 情報信号処理装置および情報信号処理方法
JP2003061012A (ja) 映像再生装置
JPH10228729A (ja) 信号記録方法及び装置、信号再生方法及び装置、信号記録再生方法及び装置
US7599607B2 (en) Information processing apparatus and method, recording medium, and program
JP2006303868A (ja) 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体
JP2003333528A (ja) 圧縮映像記録再生装置および圧縮映像記録再生方法
JP2004015611A (ja) 記録装置および方法、記録媒体、並びにプログラム
WO2005104547A1 (ja) 動画像情報記録装置、動画像情報記録方法、並びに、動画像情報記録プログラムおよびそれを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees