JP2008283432A - 画像記録再生装置 - Google Patents

画像記録再生装置 Download PDF

Info

Publication number
JP2008283432A
JP2008283432A JP2007125454A JP2007125454A JP2008283432A JP 2008283432 A JP2008283432 A JP 2008283432A JP 2007125454 A JP2007125454 A JP 2007125454A JP 2007125454 A JP2007125454 A JP 2007125454A JP 2008283432 A JP2008283432 A JP 2008283432A
Authority
JP
Japan
Prior art keywords
encoding rate
encoding
operation history
viewing operation
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007125454A
Other languages
English (en)
Other versions
JP2008283432A5 (ja
JP4869147B2 (ja
Inventor
Satoru Kobayashi
悟 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007125454A priority Critical patent/JP4869147B2/ja
Priority to US12/116,129 priority patent/US8355432B2/en
Publication of JP2008283432A publication Critical patent/JP2008283432A/ja
Publication of JP2008283432A5 publication Critical patent/JP2008283432A5/ja
Application granted granted Critical
Publication of JP4869147B2 publication Critical patent/JP4869147B2/ja
Priority to US13/717,496 priority patent/US8948244B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】
データ量を削減し、興味度に合わせた画像品質に調整する。
【解決手段】
ユーザは操作装置１２を使って、画像記録再生装置１０のシステム制御装置１４に再生操作とトランスコード等を指示できる。動画像復号化装置１８は、記録媒体１６に記録される符号化動画データを復号化する。動画像符号化装置２２は、符号化レート決定装置２４により指示される符号化レートで、動画像復号化装置１８の出力映像信号を符号化する。動画像符号化装置２２で符号化された画像データは、記録媒体２６に記録される。視聴操作履歴記憶装置２８は、操作装置１２によるユーザの再生操作履歴を記憶する。符号化レート決定装置２４は、視聴操作履歴記憶装置２８に記憶される視聴操作履歴を参照して、トランスコードの符号化レートを決定する。
【選択図】 図１

Description

本発明は、画像記録再生装置に関し、より具体的には、画像の圧縮符号を変換（トランスコード）する画像記録再生装置に関する。
画像を高圧縮符号化する技術として、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ２）といった符号化方式が確立されている。各メーカは、このＭＰＥＧ２符号化方式を利用して画像（静止画又は動画）を記録するデジタルカメラ又はデジタルビデオカメラといった撮像装置、或いはＤＶＤ（Digital Versatile Disk）レコーダなどを開発し、製品化している。そして、ユーザは、これらの装置で、又は、パーソナルコンピュータやＤＶＤプレーヤーなどを用いて、記録画像を再生できる。
ＭＰＥＧ２符号化方式で圧縮された動画像を一旦復号化し、再符号化することにより、符号化レートを変更できる。これは、一般に、トランスコードと呼ばれる。トランスコードは一般的には、データ量を少なくなるために用いられ、トランスコード前の符号化レートよりも低い符号化レートで動画像を再圧縮する。例えば、デジタルビデオカメラで撮り溜めたＤＶＤ複数枚分の動画像をトランスコードすることにより、１枚のＤＶＤディスクにまとめて記録することが可能となる。
一方、ＭＰＥＧ２符号化方式の符号化効率を向上させる技術の一つに、可変符号化レート（ＶＢＲ）符号化方式がある。可変符号化レート符号化は、動画の各フレームにおいて、画像の複雑さ又は動きの激しさに応じて符号化レートを可変制御する方法である。
ユーザが視聴した番組の内容や出演者といった視聴履歴に応じて符号化レートを変更することにより、ユーザの興味度の高いシーンを高画質に符号化する技術が知られている（例えば、特許文献1）。
特開２００４−１８６８４５号公報
特許文献１に記載の技術を用いると、例えば、ユーザが以前、視聴した出演者が出演しているシーンが高画質で符号化される。
しかし、以前、視聴した出演者が出演しているシーンだからといって、ユーザの興味が常に高いとは限らず、実際は興味が低く、視聴したくない場合もありうる。このようなシーンが高画質になるのは、記録媒体の無駄になる。
本発明は、ユーザの興味度が高い部分のみを的確に高画質化する画像記録再生装置を提示することを目的とする。
このような課題を解決するために、本発明に係る画像記録再生装置は、符号化動画像を記録する記録媒体と、前記記録媒体に記録される符号化動画像を復号化する復号化手段と、前記記録媒体に記録される前記符号化動画像の視聴操作履歴を記憶する視聴操作履歴記憶手段と、前記復号化手段によって復号化された動画像を再符号化する符号化手段と、前記視聴操作履歴記憶手段に記憶される前記視聴操作履歴で示される視聴操作に従って、前記符号化手段による符号化の符号化レートを制御する符号化レート決定手段とを具備することを特徴とする。
本発明によれば、視聴操作履歴で示される視聴操作に応じてトランスコードの符号化レートを変更するので、興味度が高いシーンを高画質で、興味度が低いシーンを低画質でトランスコードできる。これにより、データ量を削減でき、興味度に合わせた画像品質に調整できる。
以下、図面を参照して、本発明の実施例を詳細に説明する。
図１は、本発明の一実施例である画像記録再生装置１０の概略構成ブロック図を示す。本実施例では、ＭＰＥＧ２方式で動画像が圧縮符号化されている。ＭＰＥＧ２方式は、離散コサイン変換（ＤＣＴ）、量子化及び可変長符号化を基本として、フレーム内符号化、フレーム間符号化（予測符号化）及び動き補償を併用する。
ユーザは操作装置１２を使って、画像記録再生装置１０のシステム制御装置１４に種々の操作、例えば、通常再生、早送り再生、巻き戻し及び再生停止等の再生操作とトランスコード等を指示できる。システム制御装置１４は、ユーザによる操作装置１２の操作に従って以下の各部を制御する。
記録媒体１６には、トランスコード前の符号化動画データが記録されている。動画像復号化装置１８は、記録媒体１６に記録される符号化動画データを読み出して復号化し、再生映像信号を出力する。表示装置２０は、動画像復号化装置１８により復号化された再生映像信号を画面上に画像として表示する。
トランスコードのために、画像記録再生装置１０は動画像符号化装置２２を具備する。動画像符号化装置２２は、符号化レート決定装置２４により指示される符号化レートで、動画像復号化装置１８の出力映像信号を符号化する。動画像符号化装置２２で符号化された画像データは、記録媒体２６に記録される。
視聴操作履歴記憶装置２８は、操作装置１２によるユーザの再生操作履歴を記憶する。詳細は後述するが、ユーザによる再生操作履歴のある動画像のトランスコードに対して、符号化レート決定装置２４は、視聴操作履歴記憶装置２８に記憶される視聴操作履歴を参照して各フレームの符号化レートを決定する。
図２は、動画像復号化装置１８の概略構成ブロック図を示す。記録媒体１６から読み出された符号化動画データは入力バッファ３０に逐次、格納される。符号化動画データは離散コサイン変換、量子化及び可変長符号化により圧縮符号化されている。可変長復号化装置３２は、入力バッファ３０に格納される符号化画像データの可変長符号化による符号を復号化し、量子化変換係数を逆量子化器３４に供給する。可変長復号化装置３２はまた、入力バッファ３０に格納される符号化画像データに多重される動き補償のための動きベクトルを分離して、動き補償装置４２に供給する。
逆量子化器３４は、可変長復号化装置３２からの量子化変換係数を逆量子化し、変換係数（代表値）を逆離散コサイン変換装置３６に供給する。逆離散コサイン変換（逆ＤＣＴ）装置３６は、逆量子化器３４からの変換係数値（代表値）を逆離散コサイン変換する。これにより、フレーム内符号化された画像データに対して画像データが復元され、フレーム間符号化（予測符号化）された画像データに対しては、予測値との差分を示す画像残差データが復元される。
加算器３８は、フレーム間符号化された画像データに対しては、逆ＤＣＴ装置３６の出力データをそのまま出力する。他方、フレーム間符号化された画像データに対しては、加算器３８は、動き補償装置４２からの予測値を逆ＤＣＴ装置３６の出力データに加算する。加算器３８の出力データが、復号化された画像データになり、表示装置２０又は動画像符号化装置２２に供給される。
加算器３８の出力画像データは、フレーム間符号化画像データの復号化と動き補償のために、フレームメモリ４０に格納される。動き補償装置４２は、フレームメモリ４０から予測符号化の参照フレームの画像データを読み出し、可変長復号化装置３２からの動きベクトルに従って画面内で移動させる。動き補償装置４２により動き補償された画像データが、予測値として加算器３８に供給される。
図３は、動画像符号化装置２２の概略構成ブロック図を示す。入力バッファ５０には、動画像復号化装置１８により復号化された動画像の画像データがフレーム単位で格納され、符号化のブロック順に読み出される。減算器５２は、フレーム内符号化の場合、入力バッファ５０からの画像データをそのまま出力し、フレーム間符号化（予測符号化）の場合、入力バッファ５０からの画像データから動き補償装置７４からの動き補償された予測値を減算して出力する。
離散コサイン変換装置５４は、減算器５２の出力データを離散コサイン変換し、その変換係数データを出力する。量子化器５６は、離散コサイン変換装置５４からの変換係数データを符号量制御装置６２により指示される量子化スケールに従い量子化する。量子化スケールを変更することで、発生符号量を制御できる。
可変長符号化装置５８は、量子化器５６からの量子化された変換係数を可変長符号化する。可変長符号化装置５８はまた、フレーム間符号化された画像データの復号化のために、動き検出装置７２からの動きベクトルを符号化画像データに多重する。可変長符号化装置５８の出力データは、出力バッファ６０を介して記録媒体２６に書き込まれる。即ち、符号化画像データと動きベクトルが多重され、符号化動画像データとして記録媒体２６に記録される。
符号量制御装置６２は、出力バッファ６０の記憶データ量を監視し、発生符号量と出力バッファ６０の占有率を取得する。そして、符号量制御装置６２は、符号化レート決定装置２４により決定される符号化レートと、出力バッファ６０から取得した発生符号量及び占有率とに従い、量子化器５６の量子化スケールを制御する。これにより、可変ビットレート（ＶＢＲ）方式に基づき、発生符号量が動的に制御される。
量子化器５６から出力される量子化された変換係数データは、フレーム間符号化のために、ローカルで復号化される。逆量子化器６４は、量子化器５６からの量子化変換係数を逆量子化し、変換係数（代表値）を逆離散コサイン変換（逆ＤＣＴ）装置６６に供給する。逆ＤＣＴ装置６６は、逆量子化器６４からの変換係数値（代表値）を逆離散コサイン変換する。これにより、フレーム内符号化された画像データに対して画像データが復元され、フレーム間符号化（予測符号化）された画像データに対しては、予測値との差分を示す画像残差データが復元される。
加算器６８は、フレーム間符号化された画像データの復号化の場合には、逆ＤＣＴ装置６６の出力データをそのまま出力する。他方、加算器６８は、フレーム間符号化（予測符号化）された画像データに対しては、動き補償装置７４からの予測値を逆ＤＣＴ装置６６の出力データに加算する。加算器６８の出力画像データは、フレーム間符号化の参照用にフレームメモリ７０に格納される。
動き検出装置７２は、フレームメモリ７０に記憶される参照画像と現在の画像とを比較して動きベクトルを算出し、算出した動きベクトルを動き補償装置７４と、可変長符号化装置５８に供給する。動き補償装置７４は、フレームメモリ４０から予測符号化の参照フレームの画像データを読み出し、動き検出装置７２からの動きベクトルに従って画面内で移動させる。動き補償装置７４により動きを補償された画像データが、予測値として減算器５２及び加算器６８に供給される。
図４を参照して、視聴操作履歴記憶装置２８を詳細に説明する。視聴操作履歴記憶装置２８は、記録媒体１６に記録されている各動画像の再生操作を視聴操作履歴として記憶する。視聴操作履歴は、例えば、図４に示すように、時間情報、視聴操作情報、操作回数情報及び速度情報からなる。動画像が１度視聴されると、視聴された動画像毎に視聴操作履歴が作成及び記録される。複数回、視聴が行われた場合、視聴毎に視聴操作履歴が更新される。例えば、１度目の視聴で早送り操作をされたシーンが、２度目の視聴で再生操作された場合、視聴操作履歴記憶装置２８に、再生操作の履歴が追加記憶される。こうすることにより、ユーザの興味の変更に対応できる。
図４は、時間ｔ０〜ｔ８の動画像の視聴操作履歴の例を示す。この視聴操作履歴例では、時間ｔ０〜ｔ１、ｔ２〜ｔ３、ｔ４〜ｔ５、ｔ６〜ｔ７において、１倍速（等速）の再生が１回、行われている。また、時間ｔ１〜ｔ２において、０．５倍速（スロー）の再生が２回、行われている。時間ｔ７〜ｔ８において、０．２５倍速（スーパースロー）の再生が、４回、行われている。低倍速でスロー再生されている部分は、視聴者がじっくりと視聴した場面であり、視聴者の興味度が高いと考えられる。また、視聴回数が多いほど、視聴者の興味度が高いと考えられる。
また、時間ｔ３〜ｔ４において、２倍速の早送りが１回、行われている。時間ｔ５〜ｔ６において、４倍速の早送りが２回、行われている。高倍速で早送りされている部分は、視聴者の関心の薄いシーンであり、視聴者の興味度が低いと考えられる。また、早送りの回数が多いほど、又は早送り速度が速いほど、視聴者の興味度が低いと考えられる。
図５乃至図１０を参照して、符号化レート決定装置２４の動作を詳細に説明する。符号化レート決定装置２４は、トランスコードを行う際の符号化レートを決定する。動画像符号化装置２２は、符号化レート決定装置２４により決定された符号化レートに従い、動画像復号化装置１８で復号化された動画像を再符号化する。
図５は、視聴操作履歴例を示し、図６は、図５に示す視聴操作履歴例に対して符号化レート決定装置２４が決定した符号化レートの時間変化の一例を示す。図６で、横軸は時間を示し、縦軸は符号化レートを示す。
図５に示す視聴操作履歴例では、この動画像は、時間ｔ０〜ｔ１、ｔ２〜ｔ３及びｔ４〜ｔ５の期間において再生操作が行われ、時間ｔ１〜ｔ２及びｔ３〜ｔ４の期間において早送り操作が行われている。図６に示す例では、符号化レート決定装置２４は、通常再生操作期間の基準符号化レートを６Ｍｂｐｓとし、早送り操作期間の符号化レートを、基準符号化レートより低いレート、例えば４Ｍｂｐｓとする。ユーザは、基準符号化レートを予め決めておくことができるのが好ましい。
図７は、視聴操作履歴の第２例を示し、図８は、図７に示す視聴操作履歴例に対して符号化レート決定装置２４が決定した符号化レートの時間変化の一例を示す。図８で、横軸は時間を示し、縦軸は符号化レートを示す。
図７に示す例では、視聴操作が複数回、行われている。時間ｔ０〜ｔ１、ｔ２〜ｔ３、ｔ４〜ｔ５及びｔ６〜ｔ７の期間では、通常再生操作が1回、行われている。時間ｔ１〜ｔ２の期間では、通常再生操作が２回、行われている。時間ｔ７〜ｔ８の期間では、通常再生操作が４回、行われている。時間ｔ３〜ｔ４の期間では、早送り操作が1回、行われている。時間ｔ５〜ｔ６の期間では、早送り操作が２回、行われている。
図７に示す例に対し、符号化レート決定装置２４は、トランスコードを行う際の符号化レートとして、1回の通常再生操作期間に対して基準符号化レート（例えば、６Ｍｂｐｓ）を設定する。視聴者の興味度が低いと考えられる早送り操作回数が１回の期間に対し、基準符号化レートよりも低いレート、例えば４Ｍｂｐｓを設定する。さらに視聴者の興味度が低いと考えられる早送り操作回数が２回の期間に対し、早送り操作回数が１回の期間の符号化レートよりも低いレート、例えば３Ｍｂｐｓを設定する。視聴者の興味度が高いと考えられる通常再生操作回数が２回の期間に対し、基準符号化レートよりも高いレート、例えば７Ｍｂｐｓを設定する。さらに視聴者の興味度が高いと考えられる通常再生操作回数が４回の期間に対し、２回の通常再生操作期間の符号化レートよりもさらに高いレート、例えば８Ｍｂｐｓを設定する。
図９は、視聴操作履歴の第３例を示し、図１０は、図９に示す視聴操作履歴例に対して符号化レート決定装置２４が決定した符号化レートの時間変化の一例を示す。図１０で、横軸は時間を示し、縦軸は符号化レートを示す。
図９に示す例では、スロー再生が含まれている。時間ｔ０〜ｔ１、ｔ２〜ｔ３、ｔ４〜ｔ５及びｔ６〜ｔ７の期間において1倍速（等速）で再生された。時間ｔ１〜ｔ２の期間において０．５倍速（スロー）で再生された。時間ｔ７〜ｔ８の期間において０．２５倍速（スーパースロー）で再生された。また、時間ｔ３〜ｔ４の期間において２倍速の早送り操作が行われ、時間ｔ５〜ｔ６の期間において４倍速の早送り操作が行われた。
図９に示す例に対し、符号化レート決定装置２４は、トランスコードを行う際の符号化レートとして、１倍速（等速）の再生操作期間、即ち、通常再生操作期間に対して、基準符号化レート（例えば、６Ｍｂｐｓ）を設定する。視聴者の興味度が低いと考えられる２倍速の早送り操作期間に対し、基準符号化レートよりも低いレート、例えば４Ｍｂｐｓを設定する。さらに視聴者の興味度が低いと考えられる４倍速の早送り操作期間に対し、２倍速の早送り操作期間の符号化レートよりもさらに低いレート、例えば３Ｍｂｐｓを設定する。視聴者の興味度が高いと考えられる０．５倍速（スロー）再生操作期間に対し、基準符号化レートよりも高いレート、例えば７Ｍｂｐｓを設定する。さらに視聴者の興味度が高いと考えられる０．２５倍速（スーパースロー）再生操作期間に対し、０．５倍速（スロー）再生操作期間の符号化レートよりもさらに高いレート、例えば８Ｍｂｐｓを設定する。つまり、再生速度が遅いほど、符号化レートを高くする。
このように視聴操作履歴に応じてトランスコードの際の符号化レートを決定することにより、視聴者の興味度の低いシーンを低画質で圧縮符号化し、視聴者の興味度の高いシーンを高画質で圧縮符号化することができ、データ量を積極的に削減することができる。
上述の例では、視聴操作履歴として再生や早送りといった再生操作について説明してきたが、視聴操作履歴としては、プレイリスト参照情報でもよい。プレイリストとは、視聴者が視聴したいシーンを集めて（参照して）、再生したい順に並べたものである。この例について、図１１及び図１２を参照して説明する。
図１１は、ある動画像の何れかのプレイリストによる視聴操作履歴例を示す。この例では、この動画像は、時間ｔ０〜ｔ１、ｔ２〜ｔ３及びｔ４〜ｔ５の期間にプレイリスト参照されていない。時間ｔ１〜ｔ２の期間に1回、時間ｔ３〜ｔ４の期間に２回、プレイリスト参照され、再生されている。
図１２は、図１１に示す視聴操作履歴例に対して符号化レート決定装置２４が決定した符号化レートの時間変化の一例を示す。図１２で、横軸は時間を示し、縦軸は符号化レートを示す。
図１２に示す例では、符号化レート決定装置２４は、トランスコードを行う際の符号化レートとして、プレイリスト参照されていない期間に対して、基準符号化レート（例えば、６Ｍｂｐｓ）を設定する。そして、視聴者の興味度が高いと考えられる1回プレイリストに参照されている期間に対し、基準符号化レートよりも高いレート、例えば７Ｍｂｐｓを設定する。さらに視聴者の興味度が高いと考えられる２回プレイリストに参照されている期間に対し、１回プレイリストに参照されている期間の符号化レートよりもさらに高いレート、例えば８Ｍｂｐｓを設定する。即ち、プレイリスト参照回数が多いほど、符号化レートを基準符号化レートよりも高くする。
図１３は、符号化レート決定装置２４の符号化レート決定動作のフローチャートを示す。トランスコードが開始されると（Ｓ１）、トランスコードの対象となる動画像の視聴操作履歴が視聴操作履歴記憶装置２８に記憶されているかどうかを調べる（Ｓ２）。視聴操作履歴が視聴操作履歴記憶装置２８に記憶されている場合（Ｓ２）、符号化レート決定装置２４は、視聴操作履歴記憶装置２８から視聴操作履歴を読み出し（Ｓ３）、上述のような方法に基づき符号化レートを決定する（Ｓ４）。視聴操作履歴が視聴操作履歴記憶装置２８に記憶されていない場合（Ｓ２）、符号化レート決定装置２４は、対象の動画像に基準符号化レートを適用する（Ｓ４）。
本実施例では、視聴操作履歴に応じてトランスコード時の符号化レートを変更することにより、ユーザの興味度が高いシーンを高画質で、ユーザの興味度が低いシーンを低画質でトランスコードすることができる。これにより、データ量を削減でき、画質をユーザの興味度に合わせて調整できる。
ＭＰＥＧ符号化方式を使用する実施例を説明したが、他の動画像符号化方式、例えば、Ｈ．２６４符号化方式を利用しても良い。また、記録媒体１６，２６に記録される動画像の圧縮方式は互いに異なっても良いことは明らかである。
記録媒体１６，２６はハードディスク装置と光ディスクのように、外形的に別の記録媒体であってもよいし、また、外形的には同じ記録媒体の別の記録領域であってもよい。
本発明の一実施例の概略構成ブロック図である。 動画像復号化装置１８の概略構成ブロック図である。 動画像符号化装置２２の概略構成ブロック図である。 視聴操作履歴記憶装置２６に記憶される視聴操作履歴の一例である。 符号化レート決定装置２４の動作を説明するための視聴操作履歴の第１例である。 図５に示す例に対する符号化レートの変化例である。 符号化レート決定装置２４の動作を説明するための視聴操作履歴の第２例である。 図７に示す例に対する符号化レートの変化例である。 符号化レート決定装置２４の動作を説明するための視聴操作履歴の第３例である。 図９に示す例に対する符号化レートの変化例である。 符号化レート決定装置２４の動作を説明するための視聴操作履歴の第４例である。 図１１に示す例に対する符号化レートの変化例である。 符号化レート決定装置２４の動作フローチャートである。
符号の説明
１０ 画像記録再生装置
１２ 操作装置
１４ システム制御装置
１６ 記録媒体
１８ 復号化装置
２０ 表示装置
２２ 動画像符号化装置
２４ 符号化レート決定装置
２６ 記録媒体
２８ 視聴操作履歴記憶装置
３０ 入力バッファ
３２ 可変長復号化装置
３４ 逆量子化器
３６ 逆離散コサイン変換装置
３８ 加算器
４０ フレームメモリ
４２ 動き補償装置
５０ 入力バッファ
５２ 減算器
５４ 離散コサイン変換装置
５６ 量子化器
５８ 可変長符号化装置
６０ 出力バッファ
６２ 符号量制御装置
６４ 逆量子化器
６６ 逆離散コサイン変換装置
６８ 加算器
７０ フレームメモリ
７２ 動き検出装置
７４ 動き補償装置

Claims (14)

  1. 符号化動画像を記録する記録媒体と、
    前記記録媒体に記録される符号化動画像を復号化する復号化手段と、
    前記記録媒体に記録される前記符号化動画像の視聴操作履歴を記憶する視聴操作履歴記憶手段と、
    前記復号化手段によって復号化された動画像を再符号化する符号化手段と、
    前記視聴操作履歴記憶手段に記憶される前記視聴操作履歴で示される視聴操作に従って、前記符号化手段による符号化の符号化レートを制御する符号化レート決定手段
    とを具備することを特徴とする画像記録再生装置。
  2. 前記符号化手段は、可変符号化レート（ＶＢＲ）符号化方式による符号量制御手段を備えることを特徴とする請求項１に記載の画像記録再生装置。
  3. 前記符号化レート決定手段は、前記符号化手段で符号化する動画像に対応する視聴操作履歴が前記視聴操作履歴記憶手段に記憶されていない場合には、基準符号化レートを前記符号化手段に適用することを特徴とする請求項１に記載の画像記録再生装置。
  4. 前記視聴操作履歴は、再生操作を含むことを特徴とする請求項１に記載の画像記録再生装置。
  5. 前記視聴操作履歴は、早送り操作を含むことを特徴とする請求項１に記載の画像記録再生装置。
  6. 前記視聴操作履歴は、プレイリスト参照による再生を含むことを特徴とする請求項１に記載の画像記録再生装置。
  7. 前記符号化レート決定手段は、前記視聴操作が早送り操作である場合は、符号化レートを基準符号化レートよりも低くすることを特徴とする請求項１、２、３又は５に記載の画像記録再生装置。
  8. 前記符号化レート決定手段は、プレイリスト参照に対して、符号化レートを基準符号化レートよりも高くすることを特徴とする請求項１、２、３又は６に記載の画像記録再生装置。
  9. 前記符号化レート決定手段は、再生操作回数が多いほど、符号化レートを基準符号化レートよりも高くすることを特徴とする請求項１、２、３又は４に記載の画像記録再生装置。
  10. 前記符号化レート決定手段は、早送り操作回数が多いほど、符号化レートを基準符号化レートよりも低くすることを特徴とする請求項１、２、３、５又は７に記載の画像記録再生装置。
  11. 前記符号化レート決定手段は、プレイリスト参照回数が多いほど、符号化レートを基準符号化レートよりも高くすることを特徴とする請求項１、２、３、６又は８に記載の画像記録再生装置。
  12. 前記符号化レート決定手段は、再生速度が遅いほど、符号化レートを基準符号化レートよりも高くすることを特徴とする請求項１、２、３、４又は９に記載の画像記録再生装置。
  13. 前記符号化レート決定手段は、早送り速度が速いほど、符号化レートを基準符号化レートよりも低くすることを特徴とする請求項１、２、３、５、７又は１０に記載の画像記録再生装置。
  14. 前記視聴操作履歴記憶手段に記憶される前記視聴操作履歴は、視聴される毎に更新されることを特徴とする請求項１に記載の画像記録再生装置。
JP2007125454A 2007-05-10 2007-05-10 画像記録再生装置 Expired - Fee Related JP4869147B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007125454A JP4869147B2 (ja) 2007-05-10 2007-05-10 画像記録再生装置
US12/116,129 US8355432B2 (en) 2007-05-10 2008-05-06 Image-processing apparatus and method
US13/717,496 US8948244B2 (en) 2007-05-10 2012-12-17 Image-processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007125454A JP4869147B2 (ja) 2007-05-10 2007-05-10 画像記録再生装置

Publications (3)

Publication Number Publication Date
JP2008283432A true JP2008283432A (ja) 2008-11-20
JP2008283432A5 JP2008283432A5 (ja) 2010-06-17
JP4869147B2 JP4869147B2 (ja) 2012-02-08

Family

ID=39969499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007125454A Expired - Fee Related JP4869147B2 (ja) 2007-05-10 2007-05-10 画像記録再生装置

Country Status (2)

Country Link
US (2) US8355432B2 (ja)
JP (1) JP4869147B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217197A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、再生制御システム、再生制御方法及びプログラム
US8630501B1 (en) 2011-01-28 2014-01-14 Dr Systems, Inc. Dual technique compression
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム
US9164979B1 (en) * 2012-11-14 2015-10-20 Amazon Technologies, Inc. Implicit ratings
US10609405B2 (en) 2013-03-18 2020-03-31 Ecole De Technologie Superieure Optimal signal encoding based on experimental data
US9338450B2 (en) 2013-03-18 2016-05-10 Ecole De Technologie Superieure Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
US9661331B2 (en) * 2013-03-18 2017-05-23 Vantrix Corporation Method and apparatus for signal encoding realizing optimal fidelity
US9438652B2 (en) 2013-04-15 2016-09-06 Opentv, Inc. Tiered content streaming

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033987A (ja) * 2000-07-17 2002-01-31 Sharp Corp 記録装置および記録方法
JP2005117541A (ja) * 2003-10-10 2005-04-28 Sony Corp 編集装置、編集方法
JP2005312023A (ja) * 2004-03-25 2005-11-04 Matsushita Electric Ind Co Ltd 番組選択装置、番組録画装置およびその方法
JP2006311079A (ja) * 2005-04-27 2006-11-09 Victor Co Of Japan Ltd 画像ビットストリーム変換装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE237181T1 (de) * 1990-01-19 2003-04-15 Sony Corp Daten-aufzeichnungsgerät und daten- wiedergabegerät
JP3322998B2 (ja) * 1994-04-12 2002-09-09 三菱電機株式会社 ディジタルｖｔｒ
US6965724B1 (en) * 1995-03-30 2005-11-15 Thomson Licensing S.A. Trick-play modes for pre-encoded video
US6654539B1 (en) * 1998-10-26 2003-11-25 Sony Corporation Trick playback of digital video data
US7333711B2 (en) * 2000-06-14 2008-02-19 Sony Corporation Data distribution apparatus and method, and data distribution system
JP4408537B2 (ja) * 2000-07-21 2010-02-03 シャープ株式会社 情報圧縮記録装置
JP3738353B2 (ja) * 2001-04-20 2006-01-25 カシオ計算機株式会社 動画再生装置及び動画再生プログラム
JP2003087785A (ja) * 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
AU2003264414A1 (en) * 2002-09-12 2004-04-30 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction device, program, reproduction method, and recording method
US20050187960A1 (en) * 2002-10-30 2005-08-25 Fujitsu Limited Stream server
US20050055710A1 (en) * 2002-11-22 2005-03-10 Kabushiki Kaisha Toshiba Motion picture storage apparatus and motion picture distributing system
JP3903912B2 (ja) * 2002-12-02 2007-04-11 株式会社日立製作所 記録装置および記録方法
JPWO2005013274A1 (ja) * 2003-07-30 2006-09-28 松下電器産業株式会社 データ処理装置
US7433815B2 (en) * 2003-09-10 2008-10-07 Dilithium Networks Pty Ltd. Method and apparatus for voice transcoding between variable rate coders
US7397855B2 (en) * 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
JP2005317139A (ja) * 2004-04-28 2005-11-10 Fujitsu Ten Ltd 記録再生装置
US7460178B2 (en) * 2004-05-14 2008-12-02 Sony Corporation Image processing apparatus and image processing method
US20060109900A1 (en) * 2004-11-23 2006-05-25 Bo Shen Image data transcoding
JP4353124B2 (ja) * 2005-04-05 2009-10-28 株式会社日立製作所 記録装置
JP4682759B2 (ja) * 2005-09-08 2011-05-11 ソニー株式会社 再生装置、再生方法および再生プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033987A (ja) * 2000-07-17 2002-01-31 Sharp Corp 記録装置および記録方法
JP2005117541A (ja) * 2003-10-10 2005-04-28 Sony Corp 編集装置、編集方法
JP2005312023A (ja) * 2004-03-25 2005-11-04 Matsushita Electric Ind Co Ltd 番組選択装置、番組録画装置およびその方法
JP2006311079A (ja) * 2005-04-27 2006-11-09 Victor Co Of Japan Ltd 画像ビットストリーム変換装置

Also Published As

Publication number Publication date
US20130107939A1 (en) 2013-05-02
US20080279286A1 (en) 2008-11-13
US8948244B2 (en) 2015-02-03
US8355432B2 (en) 2013-01-15
JP4869147B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
US7231132B1 (en) Trick-mode processing for digital video
JP4869147B2 (ja) 画像記録再生装置
JPH05153577A (ja) 動画像復号化装置
WO2006027880A1 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
KR20060088303A (ko) 디지털 방송 수신기의 동영상 저장/재생 장치 및 방법
JP4284370B2 (ja) ビデオサーバ及びビデオ編集システム
JP4797974B2 (ja) 撮像装置
WO2006016418A1 (ja) 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP3951152B2 (ja) 画像符号化装置および方法
JP4462559B2 (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
KR100543453B1 (ko) 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP2010050616A (ja) 記録装置および記録方法、再生装置および再生方法、プログラム、並びに記録再生装置
JP2003023637A (ja) 画像符号化方法および画像符号化装置
JP4291185B2 (ja) トランスコーディング方法、トランスコーダ及びプログラム
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
JP3964563B2 (ja) ビデオサーバ装置
JP4178521B2 (ja) 符号化映像信号の記録方法、及び映像信号符号化装置
JP5248583B2 (ja) 動画像復号装置及び動画像復号方法
KR100686137B1 (ko) 디지털 방송 수신기 및 캡처된 이미지 편집 및 저장 방법
JP5067492B2 (ja) デジタル動画像記録装置
JP4641023B2 (ja) 映像信号再生装置
JP2009232370A (ja) 動画像復号装置
JP2007027857A (ja) マルチメディアデータ記録装置および方法
JP2008211555A (ja) 映像信号符号化装置および映像信号符号化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees