JP2010538500A - 特殊再生用のビデオデータの生成方法 - Google Patents

特殊再生用のビデオデータの生成方法 Download PDF

Info

Publication number
JP2010538500A
JP2010538500A JP2010508644A JP2010508644A JP2010538500A JP 2010538500 A JP2010538500 A JP 2010538500A JP 2010508644 A JP2010508644 A JP 2010508644A JP 2010508644 A JP2010508644 A JP 2010508644A JP 2010538500 A JP2010538500 A JP 2010538500A
Authority
JP
Japan
Prior art keywords
file
data
picture
playback
fast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010508644A
Other languages
English (en)
Other versions
JP5120981B2 (ja
Inventor
晃 竹本
裕康 木上
裕 伊左次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010538500A publication Critical patent/JP2010538500A/ja
Application granted granted Critical
Publication of JP5120981B2 publication Critical patent/JP5120981B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

送信サーバ10は、自端末内の記憶領域やリムーバブルメディアなどの記憶媒体に記憶された符号化画像ファイルを、再生装置20からの要求に応じて読出及び送信する。1つのAVストリームに対し、複数の符号化画像ファイルが対応付けられている。これらの符号化ファイルは、異なる再生モードにそれぞれ対応している。送信サーバ10は、再生装置20から要求されたAVストリーム及び再生モードに対応する符号化ファイルを、要求元に送信する。早送り再生用ファイルはオリジナルデータの一部であるため、早送り再生モード用ファイル102bはオリジナルファイルよりもデータ量が少ない。
【選択図】図1

Description

本発明は、ディジタル動画データの特殊再生に関する。
ディジタル動画データからビデオを再生する再生モードには、早送り再生や逆方向再生などの特殊再生モードがある。特殊再生モード下での映像の滑らかさを実現するために、例えば特許文献1、2に記載の技術が提案されている。
特許文献1には、予め通常再生用のデータの他に早送り再生用及び逆早送り再生用の専用データを作成しておき、端末から要求される再生モードに応じて読み出すデータを切り替える技術が記載されている。n倍速用早送り専用データとは、フレーム番号が1,n+1,2n+1・・・からなるデータである。この技術を用いれば、通常再生モード及び特殊再生モード間を即座に移行でき、データの読み出し時間を短縮できる。
特許文献2には、MPEG方式の動画像圧縮技術により圧縮された画像符号データの再生装置が記載されている。この再生装置は、アンカーフレームの間隔がnフレーム(n=2,3)の場合、Iピクチャ及びPピクチャのみを復号して得られたフレームを再生し、n倍速再生を実現する。またこの再生装置は、アンカーフレームの間隔が3フレームの場合、2フレームに1回の割合で同じフレームを繰り返した後に画像出力データとして出力することにより、2倍速再生を実現する。ここでアンカーフレームの間隔とは、IピクチャとPピクチャとの間隔またはPピクチャ同士の間隔である。
特開平6−133262号公報 特開平11−155129号公報
特許文献1に記載の特殊再生制御処理方法を用いる際には問題が生じる。特許文献1の方法は、等間隔でフレームを間引き、残ったフレームを連続フレームとして再生する。そのため、フレーム間圧縮を用いて圧縮されている動画データにこの方法を適用することは難しい。
特許文献2に記載の読出装置は、フレーム間圧縮を用いて圧縮されている動画データに適用できるものの、Iピクチャ及びPピクチャしか再生しない。そのため、アンカーフレームだけを表示すると所望の再生速度を超えてしまう場合、同じフレームを繰り返し表示する。例えば、アンカーフレームの間隔が3フレーム、再生速度が2倍速の場合である。この場合、復号化して得られたフレームを、2回に1回の割合で繰り返し再生するよう、再生装置の表示制御が必要である。表示制御を行うためには、アンカーフレームの間隔を示すM伝達信号を、デコーダから表示コントロール部に出力しなければならず、汎用のMPEG用デコーダをそのまま用いることができない。その上、同じフレームを繰り返し再生するため、早送り再生において映像の動きの滑らかさを欠くことになる。
さらに、ネットワーク上の蓄積装置から特許文献2の再生装置に符号化動画データをダウンロードしてn倍速再生を実現しようとすると、ネットワークの負担が大きくなる。なぜならBピクチャをスキップし、IピクチャとBピクチャとを選択的に復号化する処理は、再生装置側で実行される。そのため、Bピクチャを含む全符号化フレームをダウンロードする必要がある。つまり、n倍速早送り再生時には、n倍の速さで圧縮動画データを伝送しなければならない。
本発明は、フレーム間圧縮を用いて圧縮されている動画データを特殊再生したときに、映像を滑らかに再生する再生装置を提供することを目的とする。また本発明は、符号化されている動画データのストリーミング再生時に、ネットワークの負荷が増加することを防止することを目的とする。
本発明の第1の態様によれば、非圧縮または低圧縮のビデオデータを符号化して通常再生用データを生成するステップと、早送り再生用データを生成するステップと、通常再生用データに含まれるイントラフレームと早送り再生用データに含まれるイントラフレームとを関連づけるステップと、を含むデータ生成方法が提供される。通常再生用データは、イントラフレームと非イントラフレームとを含む。イントラフレームは単独で復号される。非イントラフレームは前および/または後のフレームを参照して復号される。早送り再生用データは、通常再生用データに含まれるイントラフレームと、通常再生用データに含まれる非イントラフレームの一部と、を含む。
通常再生用データを生成するステップにおいて非イントラフレームとイントラフレームとが逐次生成される間に、非イントラフレームのうちの一部とイントラフレーム(I)とを選択的に取得することにより、早送り再生用データを生成してもよい。
通常再生用データを生成した後に通常再生用データから非イントラフレームの一部を間引くことにより、早送り再生用データを生成してもよい。
本発明の他の態様によれば、非圧縮または低圧縮のビデオデータを符号化して通常再生用データを生成するステップと、早送り再生用データを生成するステップと、を含むデータ生成方法が提供される。通常再生用データ内の各イントラフレームと早送り再生用データ内の各イントラフレームとは、通常再生用データ及び早送り再生用データのそれぞれの先頭に対する相対アドレスが同一である。通常再生用データは、イントラフレームと非イントラフレームとを含む。イントラフレームは単独で復号される。非イントラフレームは前および/または後のフレームを参照して復号される。早送り再生用データは、通常再生用データに含まれるイントラフレームと、通常再生用データに含まれる非イントラフレームの一部と、ダミーデータと、を含む。ダミーデータは、通常再生用データにのみ含まれる残りの非イントラフレームに代わるものである。
通常再生用データを生成するステップにおいて非イントラフレームとイントラフレームとが逐次生成される間に、非イントラフレームのうちの一部とイントラフレームとを選択的に取得することにより、早送り再生用データを生成してもよい。
通常再生用データを生成した後に通常再生用データに含まれる非イントラフレームの一部を間引き、間引かれた非イントラフレームに代わるダミーデータを挿入することにより、早送り再生用データを生成してもよい。
本発明の他の態様によれば、符号化されたビデオデータを記憶した記憶媒体が提供される。ビデオデータは、通常再生用データと、早送り再生用データとを含む。イントラフレームは単独で復号される。非イントラフレームは前および/または後のフレームを参照して復号される。早送り再生用データは、通常再生用ファイルに含まれるイントラフレームと、通常再生用データに含まれる非イントラフレームの一部と、を含んでいる。
次に本発明の目的、特徴及び利点を、添付図面と好ましい実施形態とを用い、当業者に明らかになるよう詳細に説明する。
本発明の第1実施形態に係る再生システムの構成ブロック図である。 図1の送信サーバのハードウェア構成を示す構成ブロック図である。 図1の再生装置のハードウェア構成を示す構成ブロック図である。 送信サーバの機能構成を示す機能ブロック図である。 (A)はオリジナル符号化ファイルの概念説明図、(B)はオリジナル符号化ファイルから作成される早送りファイルの概念説明図である。 (A)はオリジナル符号化ファイルの概念説明図、(B)はオリジナル符号化ファイルから作成される別の早送りファイルの概念説明図である。 (A)はストリームテーブルの概念説明図、(B)はオフセットテーブルの概念説明図を示す。 図1の再生装置の機能構成を示す機能ブロック図である。 図1の送信サーバが実行するファイル作成処理の流れの一例を示すフローチャートである。 図1の送信サーバが実行する読出及び送信処理の流れの一例を示すフローチャートである。 図1の再生装置が実行する再生処理の流れの一例を示すフローチャートである。 第2実施形態の再生装置のハードウェア構成を示す構成図である。 図12の再生装置の機能構成を示す機能ブロック図である。 (A)はオリジナル符号化ファイルの概念説明図、(B)はオリジナル符号化ファイルから作成される早送りファイルの概念説明図である。 図12の再生装置が実行する読出及び再生処理の流れの一例を示すフローチャートである。 (A)はソースビデオデータから生成されるオリジナル符号化ファイル、(B)は図(A)と同一のソースビデオデータから生成される逆再生ファイルを示す説明図である。 (A)は再生モードが通常再生モードであるときにオリジナル符号化ファイルから読み出されるピクチャを、(B)は再生モードが逆再生モードであるときに逆再生ファイルから読み出されるピクチャを示す。(C)は再生装置において再生モードの切替前後に出力されるピクチャを示す説明図である。 ソースビデオデータから逆再生ファイルを生成する方法を示す説明図である。 (A)は各フレーム内のフィールド及びフレームを並べ替える一方法を示し、(B)は各フレーム内のフィールドフレームを並べ替える他の方法を示す。 切替テーブルの説明図である。 送信サーバが実行する逆再生ファイル生成方法を例示するフローチャートである。 (A)は、コンピュータが実行する、特殊再生用ファイル及びオフセットテーブルを作成する方法を例示するフローチャートであり、(B)は、コンピュータが実行する、ダミーデータを含む特殊再生用ファイルを作成する他の方法を例示するフローチャートである。
<第1実施形態>
〔概要〕
図1は、本発明の第1実施形態に係る再生システム100の構成ブロック図である。再生システム100は、送信サーバ10と再生装置20とを含む。送信サーバ10と再生装置20とは、インターネットなどの通信ネットワーク30を介して通信可能に接続されている。
送信サーバ10は、自端末内の記憶領域やリムーバブルメディアなどの記憶媒体に記憶された符号化画像ファイルを、再生装置20からの要求に応じて読出及び送信する。1つのコンテンツに対し、複数の符号化画像ファイル(以下、単に符号化ファイルという)が対応付けられている。これらの符号化ファイルは、異なる再生モードにそれぞれ対応している。送信サーバ10は、再生装置20から要求されたAVコンテンツ及び再生モードに対応する符号化ファイルを、要求元に送信する。また送信サーバ10は、再生装置20からの再生モードの変更要求に応じ、送信するファイルを切り替える。すなわち、変更前の再生モードに対応する符号化ファイルから、変更後の再生モードに対応する符号化ファイルに、送信するファイルを切り替える。
AVコンテンツに対応する複数の符号化ビデオデータファイルは、1倍速順方向再生用のオリジナル符号化データファイル(以下、「オリジナル符号化ファイル」という。)と、n倍速再生用(n≧1)の特殊再生用ファイル(以下、「特殊再生ファイル」という。)と、を含む。オリジナル符号化ファイルは、MPEG2やMPEG4などの公知のフレーム間予測符号化技術により生成されている。以下の説明では、MPEG2により圧縮されたオリジナル符号化ファイルを例に取る。特殊再生用ファイルは、少なくともn倍速順方向再生用(n>1)の早送りファイルを含み、n倍速(n=1)の逆方向再生用の逆再生ファイルを含んでいてもよい。早送りファイルは、オリジナル符号化ファイルのフレームの一部を間引くことにより作成されている。そのため早送りファイルは、オリジナル符号化ファイルよりもデータ量が少ない。従って、サーバ10から再生装置20に符号化されたビデオデータストリームを送信する時には、再生装置20は、早送りデータの読出速度やネットワーク30上での早送りデータの伝送速度を増大させることなく、早送りモードでの再生を行う。「フレーム」とは画像一枚分の符号化データを意味し、通常、MPEGプロトコルでのピクチャに相当する。
〔ハードウェア構成〕
(1)送信サーバ
図2は、前記図1の送信サーバ10のハードウェア構成を示す構成ブロック図である。送信サーバ10は、コンピュータを用いて実現することができる。例えば送信サーバ10は、ドライブ101、HDD(ハードディスクドライブ)102、ROM103、RAM104、CPU105、通信インターフェース(図中I/Fと表記、以下同じ)106、入力インターフェース107、デコーダユニット108、MPEGエンコーダ109及びこれらを接続するバス110を有している。これらの要素に加え、送信サーバ10は、外部のアナログAVデータを取り込み、ディジタルAVデータとするための外部AVユニット(図示せず)を有していてもよい。
ドライブ101は、リムーバブルメディアから、符号化ファイルを読み出す。リムーバブルメディアとしては、光ディスク、磁気ディスク、光磁気ディスク、ブルーレイディスク、半導体メモリなどが挙げられる。ドライブ101は、送信サーバ10に必須の構成ではないものの、ドライブ101が設けられていればリムーバブルメディアに記録された符号化ファイルを読み出すことができる。
HDD102は、AVコンテンツ毎に、複数の符号化ファイルと複数の音声ファイルとを記憶する。符号化ファイルと音声ファイルとは、それぞれ所定の再生速度の再生モードに対応付けられている。本例では、再生モードとして、通常再生モード及び早送り再生モードを想定している。
ROM103は、複数の制御プログラムと、制御プログラムを実行するのに必要な制御用データを記憶する。
RAM104は、制御プログラムを実行するのに必要なデータを一時的に記憶する。
CPU105は、ROM103またはHDD102に記録されている制御プログラムをRAM104等の揮発性記憶領域に展開し、送信サーバ10全体の動作を制御する。例えば、CPU105は、ドライブ101を制御し、リムーバブルディスクからオリジナル符号化ファイルを読み出し、それをHDD102に書き込む。
通信インターフェース106は、通信ネットワーク30を介し、再生装置20との間でデータを送受信する。再生装置との間で送受信するデータは、少なくとも符号化動画ファイルを含み、通信ネットワーク30上の任意のリソースから提供される非圧縮動画ファイルを含んでいても良い。
入力インターフェース107は、キーボードやマウスなどの操作部11に対するユーザの操作を受け付ける。操作信号は、バス110を介してCPU105に供給される。インターフェース107は、本発明の送信サーバ10を実現する上で必須の構成ではない。
デコーダユニット108は、MPEGデコーダ108aと、ビデオ信号生成部108bと、を有している。デコーダユニット108は、送信サーバ10に必須の構成ではない。ただしデコーダユニット108が送信サーバ10に設けられていると、符号化ファイルを送信サーバ10で再生できる利点がある。MPEGデコーダ108aは、CPU105の命令に基づいて、バス110から供給されるMPEG形式の符号化データに伸長復号化処理を施し、ディジタル動画像データを生成する。ディジタル動画像データはビデオ信号生成部108bに供給される。ビデオ信号生成部108bは、ディジタル動画像データを、液晶ディスプレイ(図中、LCD)12の表示画素数に合わせて表示できるように表示データに変換する。生成された表示データは、図示しないLCDドライバを介してLCD12に出力される。
MPEGエンコーダ109は、CPU105の命令に基づいて、低圧縮または非圧縮のディジタル動画像データをMPEG方式で圧縮符号化する。生成された符号化データは、バス110を介し、HDD102に書き込まれる。なおMPEGエンコーダ109は、送信サーバ10に必須の構成ではなく、送信サーバ10の外部に存在しても良い。
(2)再生装置
図3は、図1の再生装置20のハードウェア構成を示す構成ブロック図である。再生装置20は、この例では、ドライブ201、HDD202、ROM203、RAM204、CPU205、通信インターフェース206、入力インターフェース207、デコーダユニット208、MPEGエンコーダ209及びこれらを接続するバス120を有している。
ドライブ201は、光ディスクなどのリムーバブルメディアから、符号化ファイルを読み出す。リムーバブルメディアには、AVコンテンツ毎に、複数の符号化ファイルと複数の音声ファイルとが記録されている。本実施形態では、ドライブ201は再生装置20に必須ではない。ただしドライブ201が設けられていると、リムーバブルメディアに記録された符号化ファイルを読み出して再生することができる。
HDD202は、AVコンテンツ毎に、複数の符号化動画データファイルと複数の符号化音声データファイルとを記憶する。符号化された動画データファイル及び音声データファイルは、それぞれ所定の再生速度の再生モードに対応付けられている。本実施形態では、HDD202は再生装置20のオプションとしての構成である。ただしHDD202が再生装置20に設けられていると、ドライブ201が読み出した符号化動画データファイルや送信サーバ10から受信した符号化動画データファイルをハードディスクに格納し、再生することができる。
ROM203は、複数の制御プログラムと、制御プログラムを実行するのに必要な制御用データを記憶する。
RAM204は、制御プログラムを実行するのに必要なデータを一時的に記憶する。
CPU205は、ROM203に記録されている制御プログラムをRAM204等の揮発性記憶領域に展開し、再生装置20全体の動作を制御する。例えば、CPU205は、通信インターフェース206を制御し、送信サーバ10から符号化ファイルを受信し、それをバス210を介してデコーダユニット208に供給する。
通信インターフェース206は、通信ネットワーク30を介し、再生装置20との間でデータを送受信する。また通信インターフェース206は、送信サーバ10から、符号化ファイルを受信したり、ユーザ入力に基づく操作信号を送信サーバ10に送信したりする。
入力インターフェース207は、キーボードやマウスなどの操作部21に対する操作を受け付ける。操作信号は、バス210を介してCPU205に供給される。
デコーダユニット208は、MPEGデコーダ208aと、ビデオ信号生成部208bと、を有している。MPEGデコーダ208aは、CPU205の命令に基づいて、バス210から供給されるMPEG形式の符号化データに伸長復号化処理を施し、ディジタル動画像データを生成する。ディジタル動画像データはビデオ信号生成部208bに供給される。ビデオ信号生成部208bは、ディジタル動画像データを、液晶ディスプレイ(図中、LCD)22の表示画素数に合わせて表示できるように表示データに変換する。生成された表示データは、図示しないLCDドライバを介してLCD22に出力される。
〔機能構成〕
(1)送信サーバの機能構成
図4は、送信サーバ10の機能構成を示す機能ブロック図である。送信サーバ10のCPU105は、ファイル作成部105a、ファイル読出部105b、要求受付部105c及びファイル切替部105dとして送信サーバ10を機能させる。以下に、まず送信サーバ10が送信する早送りファイルを説明する。次いで、送信サーバ10に記憶されているテーブルを説明する。その後、送信サーバ10の各機能を説明する。
(1−1)オリジナル符号化ファイル及び早送りファイル
図5(A)は、オリジナル符号化ファイルの概念説明図である。図5(B)は、図5(A)のオリジナル符号化ファイルから生成される早送りファイルの概念説明図である。図5(A),(B)は同時に、オリジナル符号化ファイルから早送りファイルを作成する作成方法の説明図でもある。これらのファイルは、リムーバブルメディアやハードディスク等の記録媒体に記憶されている。
オリジナル符号化ファイルとは、低圧縮または非圧縮AVデータをフレーム間予測符号化により圧縮符号化した、1倍速再生用ファイルである。フレーム間予測符号化技術としては、MPEG2、MPEG4などを挙げることができる。ここでは、オリジナル符号化ファイルは、上述したようにMPEG2圧縮符号化ファイルであり、I,B,Pピクチャを含んでいる。Iピクチャは独立して復号化可能なピクチャである。Bピクチャは、双方向予測により符号化され、時間的に前後のピクチャを用いて復号化される。Pピクチャは、時間並びで前のピクチャのみに基づいて符号化され、前のピクチャに基づいてのみ復号化可能である。オリジナル符号化ファイルは、Bピクチャ及びPピクチャが異なるGOPのピクチャを参照しないクローズドGOP方式であっても、またBピクチャ及びPピクチャが異なるGOPのピクチャを参照するオープンGOP方式であっても良い。
早送りファイルは、早送りモードにおけるn倍速(n>1)の早送り再生のためのファイルである。異なる再生速度に対応して複数の早送りファイルが設けられている場合も考えられる。その場合、再生モード及び再生速度の指定に基づいて、ファイルが読み出される。
図5(A)はオリジナル符号化ファイル、同図(B)は早送りファイルである。図中、I,B,B,P・・・のように、1GOP内で各ピクチャに付された「1」から始まる連番はピクチャ番号であり、ストリーム内での時間並びにおける順番である。言い換えれば、各GOP内での順番を示すピクチャ番号は、読み出し、符号化及び復号化の順番を示す。表示番号は、GOP内での各ピクチャの表示順を示す。
図5(A)は、オリジナル符号化ファイルにおける、それぞれのピクチャの読出順と、ピクチャタイプと、各ピクチャの表示番号と、を示す。図中、斜線で示したピクチャ、すなわちB,B,B12が間引かれるピクチャである。図中、ファイル先頭に対する各Iピクチャの相対アドレスを、「00000000」、「00013629」で示している。
同図(B)は、早送りファイルの生成を示す図である。この早送りファイルは、オリジナル符号化ファイルの各GOPからB,B,B12を間引いて作成される。GOPに含まれるピクチャの枚数は、12枚から9枚に減少している。そのため、この早送りファイルに基づいて再生処理を行えば、ファイルの送信速度や読出速度、再生処理速度を変更することなく、約1.3倍速の早送り再生を実現することができる。図中、ファイル先頭に対する各Iピクチャの相対アドレスを、「00000000」、「00010843」で示している。
ピクチャIは、どのファイルにおいてもファイルの先頭からの相対アドレスが「00000000」である。しかし、対応するピクチャIの相対アドレスは、オリジナル符号化ファイルでは「00013629」、早送りファイルでは「00010843」である。ここで対応するピクチャI2は、2つの相対アドレスを有し、1つはオリジナル符号化ファイルの先頭に対する相対アドレスであり、もう1つは早送りファイルの先頭に対する相対アドレスである。このように異なるファイルに含まれる対応するIピクチャのアドレスは、後述するオフセットテーブル(図7)で対応付けられる。
GOP内の一部又は全部のピクチャの表示番号は、オリジナル符号化ファイルの表示番号とは異なる。早送りファイルのGOP内で表示番号をゼロから始まる連番にするために、新たな表示番号が各ピクチャに割り当てられるからである。
例えば、オリジナル符号化ファイルで表示番号「1」〜表示番号「5」のピクチャは、早送りファイルで表示番号「0」〜「4」となり、表示番号が1つずつ繰り上がっている。同様に、オリジナル符号化ファイルで表示番号「7」〜表示番号「9」のピクチャは、早送りファイルで表示番号「5」〜「7」となり、表示番号が2つずつ繰り上がっている。オリジナル符号化ファイルで表示番号「11」のピクチャは、早送りファイルで表示番号「8」となり、表示番号が3つ繰り上がっている。
図6(A)は、図5(A)と同じオリジナル符号化ファイルを示す。図6(B)は、図6(A)のオリジナル符号化ファイルから生成される別の早送りファイルの例を示す。この例では、12枚のピクチャを含む1GOPから4枚のピクチャを間引くことにより、1.5倍速用の早送りファイルが作成されている。対応するIピクチャ同士のファイル先頭からの相対アドレスがオフセットテーブルに対応付けられているのは、前述と同様である。GOP内の表示番号が早送りファイルでは新たに割り当てられているのも、前述と同様である。
なお、図5,6では、1つのオリジナル符号化ファイルから1つの早送りファイルを生成している。しかし、1つのオリジナル符号化ファイルから、再生速度の異なる早送りファイルを生成することもできる。
以上説明した早送りファイルは、通常のMPEGデコーダで復号化することができる。早送りファイルは、オリジナル符号化ファイルからピクチャを間引いて生成されているため、オリジナル符号化ファイルよりもデータ量が少ない。そのため、送信サーバ10から再生装置20に早送りファイルを送信し、n倍速再生を実行する時には、送信サーバ10のデータ送信速度やネットワークの伝送速度を増加させることなくダウンロード可能であり、ダウンロードされたファイルの再生速度を増加させずにすむ。
(1−2)テーブル
図7(A),(B)は、送信サーバ10がROM103に記憶するテーブルの概念説明図である。同図(A)はストリームテーブル、同図(B)はオフセットテーブルを示す。
同図(A)のストリームテーブルは、オリジナル符号化ファイルとそれに基づいて生成された早送りファイルとを関連付けている。関連付けられたファイルは、同一のAVコンテンツに対応している。この例では、オリジナル符号化ファイルは、1つの早送りファイルに対応付けられている。
具体的には、ストリームテーブルは、「ストリームID」、「オリジナル符号化ファイル名」、「早送りファイルアドレス」を対応付けて記憶している。「ストリームID」は、AVコンテンツの識別子である。「オリジナル符号化ファイル名」は、オリジナル符号化ファイルのファイル名を示す。「早送りファイル名」は、早送りファイルのファイル名を示す。
ストリームテーブルは、上記のデータに加え、再生速度をさらに記憶しても良い。これによりストリームテーブルは、1つのオリジナル符号化ファイルに対し、再生速度の異なる複数の早送りファイルを対応付けることができる。その場合、ストリームテーブルは、それぞれの早送りファイルと、その再生速度と、をさらに対応付けて記憶するとよい。さらにこの図では示していないが、ストリームテーブルにより、n倍速再生用音声ファイルを、n倍速再生用早送りファイルと対応付けることもできる。
図7(B)は、オフセットテーブルを示す。オフセットテーブルは、オリジナル符号化ファイル及び早送りファイル内での対応するIピクチャを対応付けている。この例では、各ファイルに含まれるIピクチャの相対アドレス、言い換えればオフセットを、同一レコードに記憶している。より具体的には、本例のオフセットテーブルは、「GOP番号」、「表示番号」、「オリジナル符号化ファイルのアドレス」、及び「早送りファイルのアドレス」を、同一レコードに記憶している。
「GOP番号」は、各ファイル内のGOPを特定する。「表示番号」は、GOP内での表示順を示す。本例では、GOP内にIピクチャが1つしか含まれていないので、表示番号はなくてもよい。複数のIピクチャが1GOP内に含まれる場合には、表示番号または他の手段によりGOP内でIピクチャを識別する必要がある。「オリジナル符号化ファイルのアドレス」は、オリジナル符号化ファイルの先頭アドレスからのIピクチャの相対アドレスである。「早送りファイルのアドレス」は、早送りファイルの先頭アドレスからのIピクチャの相対アドレスを示す。「オリジナル符号化ファイルのアドレス」及び「早送りファイルの相対アドレス」は、各ファイルの先頭に対するオフセットである。
図7(B)のオフセットテーブルにより、あるファイルのIピクチャ・アドレスから、対応する別ファイルのIピクチャ・アドレスへ、読出ポイントを切り替えることができる。
(1−3)各機能
(a)ファイル作成部
ファイル作成部105aは、オリジナル符号化ファイルの時間方向の並びにおいて画像を間引き、情報量を削減することにより、早送りファイルを作成する。ファイル作成部105aは、作成した早送りファイルを、リムーバブルメディアやHDD102等の記憶領域に書き込む。本発明では、説明を容易にするために、作成された早送りファイルは、オリジナル符号化ファイルと共にHDD102に書き込まれるものとする。ファイル作成部105aは、送信サーバ10に必須の構成ではないが、ファイル作成部105aを設けておくことにより、送信サーバ10上での早送りファイルの作成が可能になる利点がある。
ファイル作成部105aが間引くピクチャは、独立して復号化可能なフレーム以外、すなわちIピクチャ以外である。本実施形態では、Bピクチャの一部または全部を間引く。ファイル作成部105aは、1GOPから間引くピクチャ数Neを下式に基づいて決定する。
Ngop/R=Ngop−Ne
ここでR:再生速度
ファイル作成部105aは、時間並びにおけるピクチャの間引き箇所が、オリジナル符号化ファイル全体に渡ってできるだけ均等になるように間引くことが好ましい。再生時に画質が劣化しにくいからである。そのため、オリジナル符号化ファイルにおいて時間並びでSピクチャ毎に1枚のBピクチャを削除することが好ましい。ここで、スキップ数Sは、間引くピクチャ数Neから算出することができる。スキップ数Sは、下式に基づいて決定することができる。
S=Ngop/Ne
ファイル作成部105aは、Bピクチャを間引いた後、残ったピクチャに新たな表示番号を割り振る。表示番号は、各GOP内で表示番号が「0」から始まる連番である。
(b)ファイル読出部
ファイル読出部105bは、再生装置20から指定されたストリームID及び再生モードに対応するファイルを、HDD102から読み出す。ファイル読出部105bは、ファイル切替部105dから指定された読出アドレスからのファイルの読出を行う。このカレントファイルの読出中に、別の読出アドレスを指定して次ファイルの読出を指示されると、ファイル読出部105bは読出対象をカレントファイルから次ファイルに切り替える。つまり、ファイル読出部105bは、カレントファイルの読出を停止し、指定された読出アドレスから次ファイルの読出を開始する。
(c)要求受付部
要求受付部105cは、再生装置20から送信要求及び変更要求を受け付ける。送信要求及び変更要求は、送信元の通信アドレス、ストリームID及び再生モードの指定を含む。再生モードは、少なくとも通常モード及び早送りモードを含んでいる。
(d)ファイル切替部
(d−1)ファイルの読出アドレスの通知
ファイル切替部105dは、再生装置20からの送信要求に応じて読み出すファイルを決定し、読み出すファイルの先頭アドレスをファイル読出部105bに通知する。再生装置20からの送信要求には、少なくともストリームID及び再生モードが含まれている。
またファイル切替部105dは、変更要求に応じて次に読み出すファイルを決定し、次に読み出す次ファイルの読出アドレスをファイル読出部105bに通知する。この通知は、現在読出中のファイルの読出中に行われる。再生装置20からの変更要求には、ストリームID及び再生モードが含まれている。
(d−2)ファイルの切替位置の決定
ファイル切替部105dは、ファイルの切替位置を決定する。ファイル切替部105dは、カレントファイル及び次ファイルの両方に含まれているIピクチャを切替位置とすることが好ましい。2つのIピクチャは、同一であり、カレントファイルと次ファイルとにそれぞれ含まれている。2つの対応するIピクチャ間で切替を行うことにより、再生モード切替時の画像が滑らかになる。Iピクチャは単独で復号化可能なため、その復号結果にはファイル間で差異が生じないからである。前記図5を用いて説明する。例えばオリジナル符号化ファイルのピクチャPを読み出して送信した後に、早送りモードが指定されたとする。オリジナル符号化ファイル及び早送りファイルの次のGOP(GOP)に含まれるIピクチャが切替位置に決定される。これらのIピクチャは、両ファイルにおいて、Pピクチャの後に読み出されるIピクチャである。ここで、B,P10,B11ピクチャは、両ファイルに含まれ、Pピクチャの後に読み出されるが切替位置とはならない。
ファイル切替部105dは、変更要求を受け付けた後、カレントファイルから最初に読み出すIピクチャを切替位置に決定するとよい。これにより、変更要求を受信してからファイルが切り替わるまでの時間を最短化することができる。次ファイルの切替位置は、カレントファイルの切替位置となるIピクチャと同一の対応Iピクチャである。前記図5を用いて説明する。例えばオリジナル符号化ファイルのピクチャBを読み出して送信した後に早送りモードを指定されたとする。その場合、ピクチャBの後、最初に読み出されるIピクチャであるGOPのIピクチャが切替位置に決定される。
(d−3)読出アドレスの算出
次ファイルの読出位置は、カレントファイルの決定した切替位置に基づいて算出される。次ファイルの切替位置であるIピクチャのアドレスは、オフセットテーブルから得ることができる。ファイル切替部105dは、次ファイルのIピクチャの相対アドレスを、オフセットテーブルから読み出す。ここで、次ファイルのIピクチャは、切替位置となったカレントファイルのIピクチャと同一である。読み出した相対アドレスと次ファイルの先頭アドレスとに基づいて、次ファイルの読出アドレスが決定される。切替位置であるIピクチャを、カレントファイルまたは次ファイルのどちらから読み出すかは特に限定されない。オフセットテーブルを用いてIピクチャの相対アドレスを求める方法は、後述するダミーデータを用いる方法に比して、早送りファイルの格納領域が少なくなる利点がある。
(2)再生装置の機能構成
図8は、再生装置20の機能構成を示す機能ブロック図である。再生装置20のCPU205は、ストリーム再生部205a及び指示受付部205bとして再生装置20を機能させる。以下に再生装置20の各機能を説明する。
(a)ストリーム再生部
ストリーム再生部205aは、送信サーバ10から受信する符号化ストリームの復号化をMPEGデコーダ208aに指示する。この指示に応じ、MPEGデコーダ208aは、通信インターフェース206を介して受信するピクチャの復号化及び再生を、停止の指示があるまで実行する。またストリーム再生部205aは、ドライブ201に挿入されるリムーバブルディスクやHDD202から読み出した符号化ファイルの復号化をMPEGデコーダ208aに指示しても良い。リムーバブルディスクやHDD202に記憶されている符号化ファイルの再生が可能となる。
(b)指示受付部
指示受付部205bは、入力インターフェース207を介し、ストリームID及び再生モードの指定を受け付ける。また指示受付部205bは、指定されたストリームID及び再生モードを送信サーバ10に送信する。
〔処理〕
以下に、再生システム100で実行される処理の流れについて、図面を参照しながら具体的に説明する。
(1)送信サーバが行う処理
送信サーバ10は、少なくとも送信処理を実行し、本実施形態ではファイル作成処理も行う。ファイル作成処理は、送信サーバ10だけでなく、それ以外の装置で行ってもよい。
(1−1)ファイル作成処理
図9は、送信サーバ10のCPU105が実行するファイル作成処理の流れの一例を示すフローチャートである。この処理により、早送りファイルが作成される。この処理は、新たな低圧縮または非圧縮AVデータの取得により開始しても良い。またこの処理は、新たなオリジナル符号化ファイルの取得または作成により開始することもできる。ここでは一例として、CPU105が、新たなオリジナル符号化ファイルとしてMPEG2ファイルを作成し、HDD102に格納した後に、早送りファイルを作成する場合を考える。
ステップS101:CPU105は、スキップ数Sを算出する。CPU105は、S個のピクチャ毎に1ピクチャを間引くことにより、早送りファイルを作成する。またCPU105は、以下の初期化処理を行う。CPU105は、HDD102の読出開始アドレスを、オリジナル符号化ファイルの先頭に設定する。またCPU105は、作成途中の早送りファイルを一時的に記憶するためのバッファを、RAM104などの揮発性記憶領域に作成する。
ステップS102:CPU105は、オリジナル符号化ファイルから1GOP分のデータを読み出す。このGOPをカレントGOPという。また、CPU105は、スキップ番号Nskipの初期値を「−S」に設定する。スキップ番号Nskipは、カレントGOP内で前回間引かれたピクチャの表示順を示す。
ステップS103:CPU105は、読出ピクチャの表示番号を示す読出変数Nを初期化し、「0」に設定する。読出変数Nの値は、次に読み出されるピクチャの表示番号を示す。表示番号は、ピクチャを間引くかどうかを判断するために用いられる。
ステップS104:CPU105は、RAM104から表示番号Nのピクチャを1つ読み出す。
ステップS105:CPU105は、読み出したピクチャがIピクチャまたはPピクチャか否かを判断する。
ステップS106:読み出したピクチャがIピクチャまたはPピクチャであれば、ステップS101で作成したバッファに読み出したIまたはPピクチャを書き込む。この例では、間引かれるピクチャをBピクチャに限定しているからである。読み出したピクチャがIピクチャまたはPピクチャ以外、すなわちBピクチャであれば、後述するステップS109に移行する。
ステップS107:CPU105は、RAM104を参照し、カレントGOP内に表示番号が(N+1)のピクチャが存在するか否かを判断する。
ステップS108:カレントGOP内に表示番号が(N+1)のピクチャが存在する場合、CPU105は、読出変数Nの値を「N+1」とし、表示番号(N+1)のピクチャを読み出す(S104)。表示番号(N+1)のピクチャがカレントGOP内に存在しない場合、後述するステップS111に移行する。
ステップS109:CPU105は、Bピクチャを読み出した場合、下式が成立するか否かを判断する。言い換えれば、前回間引いたBピクチャと現在のBピクチャとの間の表示順の差が、スキップ数S以上か否かを判断する。
N≧Nskip+S
ステップS110:上式が成立する場合、CPU105は、読み出したBピクチャをバッファに書き込むことなく、次のピクチャを読み出す処理に移る。すなわち、CPU105は、スキップ番号Nskipの値を現在の表示番号「N」とする(Nskip←N)。その後、前記ステップS107に移行する。これにより、表示順においてSピクチャ毎に、オリジナル符号化ファイルからBピクチャを間引く。
ステップS111:CPU105は、HDD102の読出開始アドレスを1GOP分移動させ、次のGOPが存在するか否かを判断する。次のGOPが存在する場合、次のGOPについて、上述の処理S102〜S110を繰り返す。次のGOPが存在しない場合、オリジナル符号化ファイル内の全GOPについて、Bピクチャの間引き処理が終了している。この場合、ステップS112に移行する。
ステップS112:CPU105は、バッファを参照し、各GOPに含まれるピクチャにゼロから始まる連番の新たな表示番号を割り当てる。
ステップS113:CPU105は、バッファ内の早送り再生用のデータを、オリジナル符号化ファイルと対応付けてHDD102に書き込む。CPU105は、オリジナル符号化ファイルのファイル名と早送りファイルのファイル名とを対応付けて、ストリームテーブルに書き込む。またCPU105は、オリジナル符号化ファイル及び作成した早送りファイル内のIフレームのアドレスを、オフセットテーブルに書き込む。
(1−2)送信処理
図10は、送信サーバ10のCPU105が実行する送信処理の流れの一例を示すフローチャートである。この処理は、送信サーバ10の起動と共に開始される。
ステップS201:CPU105は、再生装置20からの送信要求を待機し、送信要求を受信するとステップS202に移行する。送信要求は、ストリームID及び再生モードの指定を含む。
ステップS202:CPU105は、ストリームテーブルを参照し、要求されたストリームIDに対応するファイルのうち、指定された再生モードに対応するファイルの先頭アドレスを、読出アドレスとする。具体的には、そのファイルの先頭からの読み出しを、OS(オペレーティング・システム)に依頼する。
ステップS203:CPU105は、読出アドレスからのピクチャの読出及び送信を開始する。すなわち、CPU105は、読出アドレスから1ピクチャを読み出し、読み出したピクチャを通信インターフェース106を介して再生装置20に送信する。
ステップS204:CPU105は、送信サーバ10が再生モードの変更要求を再生装置20から受信したか否かを判断する。変更指示を受信した場合、後述するステップS209に移行する。
ステップS205:再生モードの変更要求を受信していない場合、CPU105は、1ピクチャ分すすめたアドレスからピクチャの読み出しを行う。
ステップS206:CPU105は、新たな読出アドレスが、ファイルの終了EOFを示しているか否かを判断する。
ステップS207:ファイルが終了した場合、CPU105は、本処理を終了するか否かを判断する。本処理を終了するのは、例えば送信サーバ10の電源をオフにする場合である。新たな読出アドレスがEOFを示している場合、CPU105は次の送信要求を待機する。
ステップS208:再生モードの変更要求を受信した場合、CPU105は、最新の送信済ピクチャがIピクチャだったか否かを判断する。すなわち、CPU105は、前記ステップS203で送信したピクチャがIピクチャだったか否かを判断する。
ステップS209:このピクチャがIピクチャだった場合、CPU105は、カレントファイルの先頭アドレスに対する現在の読出アドレスの相対アドレスを算出する。なお、「現在の読出アドレス」は、ステップS203で送信されたIピクチャのアドレスである。
ステップS210:CPU105は、現在の再生モード、算出した相対アドレス及び新たに指定された再生モードに基づいて、オフセットテーブルから新たな相対アドレスを読み出す。CPU105は、新たな読出相対アドレスに基づいて、次の再生対象ファイルの読出アドレスを算出する。次の再生対象ファイルの読出アドレスは、スキップS203で送信されたIピクチャに対応するIピクチャの次のピクチャの先頭アドレスである。さらにCPU105は、再生対象ファイルの読出をOSに依頼する。具体的には、CPU105は、要求された再生モードに対応するファイル名と算出した読出アドレスとをOSに渡し、ファイルの読出を依頼する。その後ステップS203に戻り、読出アドレスから順次ピクチャの読出及び送信を行う。
ステップS211:CPU105は、最新の送信済ピクチャがIピクチャではなかった場合、読出アドレスを次ピクチャの先頭アドレスとする。
ステップS212〜S213:CPU105は、次ピクチャの読出及び送信をファイルが終了しない限り行う。CPU105は、ピクチャを送信する度にIピクチャを送信したか否かを判断する(S208)。Iピクチャを送信した場合は、CPU105は次ファイルの読出アドレスの算出を行う(S209〜S210)。結局、次ファイルの読出アドレスは、すでに送信されたIピクチャの次のIピクチャの、さらに次ピクチャの先頭アドレスとなる。
以上の処理により、送信サーバ10は、再生装置20からの送信要求に応じた画像ストリームを送信する。送信サーバ10は、ストリーム送信中に再生モードの変更を受信した場合、次再生モードに対応するファイルを読み出して送信する。ファイルの切替は、カレントファイルと次ファイルとに含まれるIフレーム間で行う。この例では、次再生ファイルの読出は、Iフレームの次ピクチャの先頭アドレスである。そのため、切替時の画質の劣化を防止することができる。
(2)再生装置が行う処理
図11は、再生装置20のCPU205が実行する再生処理の流れの一例を示すフローチャートである。この処理は、再生処理2の起動により開始される。
ステップS301:CPU205は、入力インターフェース207からの再生指示を待機し、再生指示を受け付けるとステップS302に移行する。再生指示は、ストリームID及び再生モードの指示を含む。
ステップS302:CPU205は、通信インターフェース206を介し、送信要求を送信サーバ10に送信する。送信要求は、受け付けたストリームID及び再生モードの指示を含む。
ステップS303〜S304:CPU205は、送信サーバ10からのピクチャの受信開始を待機し(S303)、受信し始めるとMPEGデコーダ208aに伸長復号化を指示する(S304)。この指示に応じ、MPEGデコーダ208aは、通信インターフェース206を介して受信したピクチャを、受信順に伸長復号化処理を行う。復号化されたピクチャは、表示順にLCD22に再生出力される。
ステップS305〜S306:CPU205は、再生モードの変更の指示を任意のタイミングで受け付け(S305)、通信インターフェース206を介して送信サーバ10に変更要求を送信する(S306)。この変更要求に応じ、次ファイルのピクチャが送信サーバ10から送信されてくる。次ファイルのピクチャも、変更要求前のピクチャと同様、MPEGデコーダ208aにより伸長復号化される。
ステップS307:CPU205は、ファイルの最後を示すEOFの受信を監視する。CPU205は、EOFを受信するまで再生モードの変更指示を受け付ける(S305)。CPU205は、EOFを受信すると、MPEGデコーダ208aに処理の終了を指示し、ステップS308に移行する。
ステップS308:CPU205は、EOFを受信すると、本処理を終了するか否かを判断する。本処理を終了するのは、例えば再生装置20の電源をオフにする場合である。本処理を終了しない場合は再びステップS301に戻り、次の再生指示を待機する。
以上の処理により、再生装置20は、送信サーバ10から受信する動画ストリームを再生する。受信中に再生モードの変更指示を受け付けると、送信サーバ10に変更要求を送信する。これにより、再生装置20は、変更要求で指定した再生モードに対応するファイルのピクチャを、送信サーバ10から受信するようになる。結局、再生装置20では、送信サーバ10から受信するピクチャを次々に再生さえしていれば、変更指示に応じた再生モードの切替を実現することができる。
本実施形態では、再生装置20から送信サーバ10に変更要求を送信し、送信サーバ10が送信するファイルを切り替える。再生装置20では、送信サーバ10から受信するピクチャを復号化し、再生するだけで、再生モードの切替を実現することができる。
<第2実施形態>
本実施形態では、符号化ファイルが再生装置50に格納されている場合を説明する。再生装置50は、記録媒体から読み出すファイルを切り替えることにより、再生モードを切り替える。記録媒体としては、再生装置50内のハードディスクやリムーバブルメディアが挙げられる。本実施形態では、説明を容易にするために、ハードディスクに記憶されている符号化ファイルを再生装置50が読み出す場合を説明する。
〔ハードウェア構成〕
図12は、本実施形態の再生装置50のハードウェア構成を示す構成図である。再生装置50は、この例では、ドライブ501、HDD502、ROM503、RAM504、CPU505、通信インターフェース506、入力インターフェース507、デコーダユニット508及びこれらを接続するバス510を有している。第1実施形態で示した再生装置20の要素と同様の機能を有する要素については、同一名称を付して示している。
ドライブ501は、光ディスクなどのリムーバブルメディアから、符号化ファイルを読み出す。本実施形態では、ドライブ501は再生装置20に必須ではない。
HDD502は、AVコンテンツ毎に、複数の符号化ファイルと複数の音声ファイルとを記憶する。
ROM503は、複数の制御プログラムと、制御プログラムを実行するのに必要な制御用データを記憶する。
RAM504は、制御プログラムを実行するのに必要なデータを一時的に記憶する。
CPU505は、ROM503に記録されている制御プログラムをRAM504等の揮発性記憶領域に展開し、再生装置20全体の動作を制御する。例えば、CPU505は、通信インターフェース506を制御し、送信サーバ10から符号化ファイルを受信し、それをバス510を介してデコーダユニット508に供給する。
入力インターフェース507は、キーボードやマウスなどの操作部51に対する操作を受け付ける。操作信号は、バス510を介してCPU505に供給される。
デコーダユニット508は、MPEGデコーダ508aと、ビデオ信号生成部508bと、を有している。MPEGデコーダ508aは、CPU505の命令に基づいて、バス510から供給されるMPEG形式の符号化データに伸長復号化処理を施し、ディジタル動画像データを生成する。ディジタル動画像データはビデオ信号生成部508bに供給される。ビデオ信号生成部508bは、ディジタル動画像データを、液晶ディスプレイ(図中、LCD)52の表示画素数に合わせて表示できるように表示データに変換する。生成された表示データは、図示しないLCDドライバを介してLCD52に出力される。
〔機能構成〕
図13は、再生装置50の機能構成を示す機能ブロック図である。再生装置50のCPU505は、ファイル読出部505a、指示受付部505b、及びファイル切替部505cとして、再生装置50を機能させる。まず早送りファイルの構造について説明し、次いで各部の機能を説明する。なお、再生装置50のROM503には、前記ストリームテーブルが記憶されている。ストリームテーブルに蓄積される情報は第1実施形態と同様である。
(a)早送りファイル
(a−1)早送りファイルの構成
図14(A)はオリジナル符号化ファイルを示す。同図(B)は、図14(A)のオリジナル符号化ファイルから生成される早送りファイルを示す。これらのファイルは、リムーバブルメディアやハードディスク等の記録媒体に記憶されている。本実施形態の早送りファイルは、クローズドGOP方式またはオープンGOP方式のオリジナル符号化ファイルのピクチャの一部を間引いて作成されている点で第1実施形態と一致する。第1実施形態の早送りファイルと異なるのは、間引かれたデータ量と同じデータ量のダミーデータが早送りファイルに挿入され、各GOP内のIピクチャの相対アドレスが、ファイル間でずれることなく同一に保たれている点である。
図14(B)は、オリジナル符号化ファイルの各GOPあたり4ピクチャを間引くことにより生成された早送りファイルを示す。さらに各早送りファイルには、4ピクチャ分のダミーデータPDが挿入されている。
このような構造の早送りファイルには、次の利点がある。異なるファイルにおける対応するIピクチャの相対アドレスが同じであるので、第1実施形態で示したオフセットテーブルが不要になる。従って、カレントファイルにおいて切替位置となるIピクチャの相対アドレスと、ストリームテーブルに蓄積されている次ファイルの先頭アドレスと、に基づいて次ファイルの読出アドレスを算出できる。「相対アドレス」とは、第1実施形態と同様、ファイルの先頭アドレスに対する相対アドレスである。
(a−2)早送りファイルの生成方法
このような早送りファイルは、例えば前記第1実施形態に示す送信サーバ10のファイル作成部105aにおいて生成することができる。下記のステップを前記図9に示したフローチャートに加えることで、ダミーデータを含む早送りファイルを生成することができる(図示せず)。
ファイル作成部105aは、前記図9のステップS109で「Yes」と判断した回数をGOP毎に計数し、記憶しておく。すなわち、オリジナル符号化ファイルの各GOPにおいて間引いたピクチャ数を計数する。パラメータ“Pr”をこの処理のために新たに用い、間引かれたピクチャの数をカウントする。ステップS102で「Pr=0」とし、別の付加ステップで変数Prをインクリメントする。ステップS109で「Yes」と判断した後、ステップS107に戻るまでに、Prをインクリメントする(Pr++)。
さらに、ステップS107の実行後、ステップS111の前に、間引いたピクチャ数Pr分のダミーデータをバッファに書き込む(ステップS107a、図示せず)。つまり、1つのGOPについてピクチャの間引き処理を完了後、ダミーデータをバッファに書き込む。これにより、そのGOPの残っているピクチャの後に続いて、間引いたデータ量に相当するダミーデータがバッファに書き込まれることになる。
(b)ファイル読出部
ファイル読出部505aは、入力インターフェース507が受け付けたストリームID及び再生モードに対応するファイルを、HDD502から読み出す。そのファイルは、ファイル切替部505cから指定された読出アドレスから読み出される。カレントファイルの読出中に、読出アドレスを指定して次ファイルの読出を指示されると、ファイル読出部505aは読出対象をカレントファイルから次ファイルに切り替える。つまり、ファイル読出部505aは、カレントファイルの読出を停止し、指定された読出アドレスから次ファイルの読出を開始する。
(c)指示受付部
指示受付部505bは、入力インターフェース507を介し、ストリームID及び再生モードの指定を受け付ける。また指示受付部505bは、指定されたストリームID及び再生モードをファイル切替部505cに通知する。
(d)ファイル切替部
(d−1)ファイルの読出アドレスの通知
ファイル切替部505cは、指示受付部505bが受け付けたストリームID及び再生モードに応じて読み出すファイルを決定し、読み出すファイルの先頭アドレスをファイル読出部505aに通知する。
またファイル切替部505cは、指示受付部505bが受け付けたストリームID及び再生モードに応じて、カレントファイルの読み出し中に次ファイル及びその読出アドレスを決定し、ファイル読出部505aに通知する。
(d−2)ファイルの切替位置の決定
ファイル切替部505cは、カレントファイル及び次ファイルの切替位置を決定する。ファイル切替部505cは、カレントファイル及び次ファイルに含まれているIピクチャを切替位置とする。次ファイルの切替位置は、カレントファイルの切替位置のIピクチャと同一である対応Iピクチャである。ファイル切替部505cは、変更指示を受け付けた後、カレントファイルから最初に読み出すIピクチャを切替位置に決定するとよい。カレントファイル及び次ファイルにおける切替位置となるIピクチャは、各ファイルの先頭に対する相対アドレスが同一である。
(d−3)読出アドレスの算出
ファイル切替部505cは、次ファイルの読出位置を、決定した切替位置に基づいて算出する。次ファイルのIピクチャの読出アドレスは、次ファイルの先頭アドレスに切替位置のIピクチャの相対アドレスを加算することにより算出できる。
〔処理〕
図15は、再生装置50のCPU505が実行する再生処理の流れの一例を示すフローチャートである。この処理は、再生処理2の起動により開始される。
ステップS401:CPU505は、入力インターフェース507からの再生指示を待機し、再生指示を受け付けるとステップS402に移行する。再生指示は、少なくともストリームID及び再生モードの指示を含む。
ステップS402:CPU505は、ステップS401で受け付けたストリームID及び再生モードに基づいて、ストリームテーブルからいずれかの符号化ファイルのファイル名を読み出す。
ステップS403:CPU505は、読み出したファイル名で特定されるファイルからのピクチャの読出を開始する。またCPU505は、伸長復号化を指示するコマンドを、MPEGデコーダ508aに送る。このコマンドに応じ、MPEGデコーダ508aは、読み出したピクチャに対し、読出順に伸長復号化処理を行う。復号化されたピクチャは、表示番号に基づいて表示順にLCD52に再生出力される。
ステップS404〜S405:CPU505は、再生モードの変更が指示されたか否かを判断する(S404)。指示されていない場合、CPU505は1ピクチャ分先の読出アドレスから読み出しを行う(S405)。変更指示を受信した場合、後述するステップS408に移行する。
ステップS406〜S407:CPU505は、新たな読出アドレスに基づいて、ファイルが終了したか否かを判断する(S406)。新たな読出アドレスがファイルの終了を示している場合、CPU505は、本処理を終了するか否かを判断し(S407)、終了しない場合はステップS401に戻って次の再生指示を待機する。本処理を終了するのは、例えば再生装置50の電源をオフにする場合である。
ステップS408〜S409:再生モードの変更が指示された場合、CPU505は、最新の読出済ピクチャがIピクチャだったか否かを判断する(S408)。すなわち、CPU505は、前記ステップS403で読出・再生したピクチャがIピクチャだったか否かを判断する。このピクチャがIピクチャだった場合、CPU505は、カレントファイルの先頭アドレスに対する現在の読出アドレスの相対アドレスを算出する(S409)。なお、「現在の読出アドレス」は、ステップS403で読み出されたIピクチャのアドレスである。
ステップS410:CPU505は、次ファイルの読出をOSに依頼する。次ファイルのファイル名は、ストリームテーブルから得ることができる。次ファイルの読出アドレスは、前記相対アドレスに1ピクチャ分のアドレスを足したアドレスである。その後ステップS403に戻り、読出アドレスから順次ピクチャの読出及び復号化を行う。
ステップS411〜S413:CPU505は、最新の読出済ピクチャがIピクチャではなかった場合、「次ピクチャの先頭アドレス」を読出アドレスに決定する(S411)。さらにCPU505は、次ピクチャの読出及び復号化をファイルが終了するまで行う(S412,S413)。CPU505は、ピクチャの読出の度にIピクチャを読み出したか否かを判断する(S408)。Iピクチャを読み出した場合は、CPU505は次ファイルの読出アドレスの算出を行う(S409〜S410)。結局、次ファイルの読出アドレスは、ステップS408で読み出されたIピクチャの次のIピクチャの、さらに次ピクチャの先頭アドレスとなる。
以上の処理により、再生装置50は、再生モードの変更指示に応じ、記録媒体から読み出したファイルを切替ながら再生処理を行う。
<第3実施形態>
本実施形態では、オリジナル符号化ファイルと逆再生ファイルとの切替について説明する。第1実施形態と同様に、送信サーバ10は、再生システム100に含まれ、再生システム100の再生装置20とネットワーク30を介して接続され、符号化ファイルを切り替える。送信サーバ10には、オリジナル符号化ファイルの他に、逆再生ファイルが特殊再生用ファイルとして蓄積されている。送信サーバ10及び再生装置20のハードウェア構成及び機能構成は、第1実施形態と同様である。ただし、送信サーバ10のファイル作成部105aは、さらに逆再生ファイルを生成する。以下では、逆再生ファイルのデータ構造、モードの切替及び逆再生ファイルの生成方法について説明する。
(a)逆方向再生用ファイルのデータ構造
逆再生ファイルは、n倍速(n=1)の逆方向再生のための符号化ファイルである。異なる再生速度に対応して複数の逆再生ファイルが設けられている場合も考えられる。
図16(A)は、ソースビデオデータから生成されるオリジナル符号化ファイルの説明図である。図16(B)は、同一のソースビデオデータから生成される逆再生ファイルの説明図である。早送りファイルとは異なり、逆再生ファイルはソースビデオデータから生成される。ここでソースビデオデータとは、非圧縮または低圧縮のAVデータであり、複数のフレームを含む。各フレームは、偶数フィールドと奇数フィールドとを含み、MPEG2符号化ファイルの1ピクチャに符号化される。本実施形態のオリジナル符号化ファイル及び逆再生ファイルでは、IBBPBBPBBPBB・・・の順に、I,P,Bの各ピクチャが生成されている。
図16(A)はオリジナル符号化ファイルを示す。図中、各ピクチャの番号は、ソースビデオデータの各フレームの表示順を示す通し番号である。通し番号は、本来はファイルの先頭から始まる番号であるが、説明を容易にするために図示したGOPの先頭から始まる番号を通し番号として示している。各GOPには基本的に同じ数のピクチャが含まれる。この図では、GOP内のピクチャ数Pは「12」である。ただし、最後のGOP「GOPlast」のピクチャ数「Plast」は、「11」になっている。これは、ソースビデオデータにおける総フレーム数が、ピクチャ数Pの「k」倍になっているとは限らない(ここで、「k」はゼロを除く整数である)ためである。そのため、最後のGOPのピクチャ数「Plast」は、ソースビデオデータにおける総フレーム数をピクチャ数Pで割ったときの余りとなる。
図16(B)は逆再生ファイルを示す。逆再生ファイルは、ソースビデオデータを逆順に並べ替え、MPEG2符号化したファイルである。図16(B)中、各ピクチャの番号は、ソースビデオデータの各フレームの表示順を示す通し番号である。従って、逆再生ファイルでは、通し番号はファイルの先頭から最後に向かうに連れて次第に小さくなる。各GOPには、オリジナル符号化ファイルのGOPと同じ数のピクチャが含まれる。この例では、各GOPのピクチャ数Pは「12」である。ただし、最初のGOP「GOP1」のピクチャ数P1は「10」となっている。最初のGOPのピクチャ数P1をどのように決定するかについては後述する。
(b)再生モードの切替
図17(A),(B),(C)は、オリジナル符号化ファイルから逆再生ファイルへの切替を示す説明図である。図17(A)は、通常再生モード時にオリジナル符号化ファイルから読み出されるピクチャを示す。送信サーバ10は、オリジナル符号化ファイルから「GOP」を読み出し中に、逆再生モードへの切替要求を再生装置20から受信する。「GOP」はi番目のGOPであり、オリジナル符号化ファイルの最後から2番目のGOPである。この実施形態では、まず、モード切替要求を受信すると、GOPの最後に配置されているvピクチャB10を含む、GOP内のピクチャが全て読み出される。次いで、読み出されるファイルが逆再生ファイルに切り替わる。
図17(B)は、逆再生モード時に逆再生ファイルから読み出されるピクチャを示す。2番目のGOP「GOP」内の最初のピクチャI10から逆再生ファイルのピクチャが逐次読み出され、再生装置20に送信及び出力される。しかし、再生装置20では、GOPに含まれるピクチャB12、B11の出力がスキップされる。これらは、逆再生ファイルのGOP1のピクチャを参照しているからである。
図17(C)は、再生モードの切替前後で再生装置20に出力されるピクチャを示した説明図である。
逆再生ファイルのGOPに含まれるピクチャB12、B11の出力をスキップするには、逆再生ファイル内の各GOPのヘッダに含まれるブロークンリンクビットを「1」に設定しておけばよい。これにより、他のGOPに含まれる他のピクチャを参照するGOPのピクチャの出力をスキップすることができる。従って、オープンGOP方式、クローズドGOP方式のどちらも逆再生ファイルとして用いることができる。
再生モード切替の前後で読み出されるピクチャの通し番号が連続していると、再生モード切替時の画像の乱れを抑えることができる。図17(C)の例では、モード切替前の通し番号は、「・・・9,10,11」と増加し、再生モード切替後は「10,9,8・・・」と減少変化する。オリジナル符号化ファイルの最後の通し番号と、逆再生ファイルの最初の通し番号とは連続している。出力ピクチャのこの連続的な通し番号の変化は、再生モード切替時の画像の乱れを防止するのに有効である。なお、再生モード切替前後で読み出されるピクチャの通し番号は、必ずしも連続している必要はないが、通し番号の差が少ないほどモード切替時の画像の乱れを抑えやすい。
(c)逆再生ファイルの生成
図18は、ソースビデオデータから生成された逆再生ファイルを示す説明図である。逆再生ファイルは、主に(i)ソースビデオデータの並べ替え、(ii)グループ化、(iii)符号化パラメータの決定、(iv)符号化、の4段階を経て生成される。各段階について以下に説明する。
(i)ソースビデオデータにおけるフレームの並べ替え
送信サーバ10のファイル作成部105aは、ソースビデオデータに含まれる各フレームを時間的に逆順に並べ替え、逆ソースビデオデータを生成する。さらに、各フレーム内に含まれるフィールドの時間順序も逆にする必要がある。
図19(A),(B)は、時間順序を逆にしたフィールドの説明図である。図19中、OFは奇数フィールドを、EFは偶数フィールドを示す。図19(A)は、各フレームにおいて最も上の1ラインを削除し、各フレームの各奇数フィールドOFの一番下のラインにダミーラインDL1を付加する方法を示す。図19(B)は、各フレームにおいて最も下の1ラインを削除し、各フレームの各偶数フィールドの一番上のラインにダミーラインDL2を付加する方法を示す。付加するダミーラインの値は、黒色でも良いし、奇数又は偶数一フィールドのダミーラインの隣のラインの値と同じとしても良い。
(ii)グループ化
ファイル作成部105aは、逆ソースビデオデータに含まれるフレームをグループ化することによって複数のグループを生成する。これらのグループは、生成される逆再生ファイルのGOPに対応する。各グループに含まれるフレーム数は、基本的にはオリジナル符号化ファイルのGOPに含まれるピクチャ数と同じである。但し、最初及び最後のグループに含まれるフレーム数は、下式で表される。下式において、Plastはオリジナル符号化ファイルの最後のGOP内のピクチャ数である。Kは、オリジナル符号化ファイル内のGOPの先頭Iピクチャに続くBピクチャの数である。
(最初のグループのフレーム数)=Plast−K+1((Plast−K+1)>0の場合)
(最初のグループのフレーム数)=Plast−K+1+P((Plast−K+1)≦0の場合)
(最後のグループのフレーム数)=K−1(K−1>0の場合)
(最後のグループのフレーム数)=K−1+P(K−1≦0の場合)
本例では、Plast=11、K=2である。上記式を使ったグループ化により、オリジナル符号化ファイルの最後のGOPが、逆再生ファイルの最初のGOP「GOP」に対応するようになる。また、このグループ化では、オリジナル符号化ファイルのJ番目のGOP「GOPj」が、逆再生ファイルのH番目のGOP「GOPh」に対応するようになる。これは、オリジナル符号化ファイルのJ番目のGOP「GOP」を読み出し中に再生モードが切り替わる場合、逆再生ファイルのGOPhの最初のピクチャが読み出されることを意味する。「H」と「J」との関係は下式で表される。ここで、Lはオリジナル符号化ファイル内のGOPの総数である。
H=L−J+1 ((Plast−K+1)>0の場合)
H=L−J ((Plast−K+1)≦0の場合)
図20は、切替テーブルの説明図である。オリジナル符号化ファイルと逆再生ファイルとの間のGOPの対応関係を、切替テーブルとして記憶しても良い。この切替テーブルによれば、再生モードを切り替えた後に、読み出すべきGOPを直ぐに決定することができる。
(iii)符号化パラメータを決定
ファイル作成部105aは、オリジナル符号化ファイルと同じ「K」の値を有する、I,P,BのピクチャパターンをMPEGエンコーダ109に送信する。これにより、最終GOPのピクチャ枚数が(K+1)よりも小さい場合、最終GOPではKの値が変わるが、それ以外のGOPではKの値を変えずにすむ。具体的には、H番目のグループにおける最初のIピクチャの通し番号が下式(1)を満たすように、I,P,Bのピクチャパターンを決定する。これにより、切替前後の両ピクチャの通し番号が大きく飛ぶことを防ぐことができる。
(オリジナル符号化ファイルのJ番目のGOP内の最後から2番目のPピクチャの通し番号)
≦(逆ソースビデオデータのH番目のグループにおける最初のIピクチャの通し番号)
≦(オリジナル符号化ファイルの(J+1)番目のGOP内の最初のIピクチャの通し番号) ・・・・・(1)
好ましくは、I,P,Bのピクチャパターンは、逆再生ファイルのIピクチャの通し番号が下式(2)を満たすように決定される。
(オリジナル符号化ファイルのJ番目のGOP内の最後のPピクチャの通し番号)
≦(逆ソースビデオデータのH番目のグループにおける最初のIピクチャの通し番号)
≦(オリジナル符号化ファイルの(J+1)番目のGOP内の最初のIピクチャの通し番号) ・・・・・(2)
上記式(2)において、「オリジナル符号化ファイルのJ番目のGOPの最後のPピクチャの通し番号」と、「逆ソースビデオデータのH番目のグループの最初のIピクチャの通し番号」と、が連続していると、再生モード切替時に滑らかな再生を期待できる。
図17を参照して具体的に説明する。図17は、J=i、H=2の例を示す。GOP2の最初のIピクチャの通し番号は「10」である。オリジナル符号化ファイルのGOPの最後から2番目のPピクチャの通し番号は「8」である。オリジナル符号化ファイルの(i+1)番目のGOPの最初のIピクチャの通し番号は「14」である。従って、GOP2の最初のIピクチャの通し番号は、8以上14以下が好ましい。
再生モード切替時の再生をより滑らかにするためのより好ましい例は、以下の通りである。オリジナル符号化ファイルのGOPiの最後のPピクチャの通し番号「11」である場合、GOP2最初のIピクチャの通し番号は「11」以上「14」以下が好ましい。GOP2の最初のIピクチャの通し番号が「10」であることがより好ましく、この場合は「11」と連番となり、かつ「11」よりも小さくなる。したがって、再生モード切替時に滑らかな再生を期待できる。
(iv)符号化
ファイル作成部105aは、エンコードに必要なパラメータと共に、逆ソースビデオデータをMPEGエンコーダ109に出力する。パラメータは、Iピクチャの通し番号や、I,P,Bのパターンを含む。MPEGエンコーダ109は、入力されたパラメータに基づいて、時間的に逆順に並べられたフレームをエンコードする。これにより、逆再生ファイルが生成される。生成された逆再生ファイルは、例えばHDD102に蓄積される。
〔処理〕
図21は、ファイル作成部105aとして機能するCPU105が実行する逆再生ファイル生成方法のフローチャートを示す。この処理は、例えば新たなソースビデオデータがHDD102に書き込まれると開始される。
ステップS501:CPU105は、HDD102から、ソースビデオデータを読み出す。
ステップS502:CPU105は、ソースビデオデータに含まれるフレーム及び各フレーム内のフィールドを時間的に逆順に並べ替え、逆ソースビデオデータを生成する。
ステップS503:CPU105は、逆ソースビデオデータのフレームをグループ化する。まず、最初のGOP、最後のGOP、それ以外のGOPのピクチャ数を決定する。その後、決定したピクチャ数に従い、グループ化を行う。
ステップS504:CPU105は、逆ソースビデオデータの符号化に用いるパラメータを決定する。
ステップS505:CPU105は、ステップS504で決定したパラメータをMPEGエンコーダ109に出力し、MPEGエンコーダ109は逆再生ファイルを作成する。
以上の処理により、送信サーバ10は、1倍速逆再生ファイルを生成する。
<その他の実施形態>
(A)第1実施形態では、オリジナル符号化ファイル及び早送りファイルがHDD102に記憶されている。しかし、これらのファイルはリムーバブル記憶媒体に蓄積されていても良い。その場合、送信サーバ10は、符号化ファイルをリムーバブル記録媒体や外部リソースから取得し、再生装置20に送信する。ストリームテーブルやオフセットテーブルは、符号化ファイルが記憶されている同じ場所に記憶されているとよい。
(B)前記第1,第2実施形態とは異なり、前方向予測により符号化され時間的に過去の画像に基づいてのみ復号化される画像を間引くことも可能である。例えばオリジナル符号化ファイルがMPEG2で符号化されている場合に、Pピクチャを間引くことを考える。
Pピクチャは、時間並びでPピクチャの直前及び直後に位置するBピクチャ群がない場合、かつGOP内の最後のPピクチャであれば、削除することができる。従って、所望の再生倍率を実現するためにGOP内のBピクチャを全て間引いてもさらに間引きを行いたい場合に、PピクチャをGOP内で時間並びで後ろから順に間引くと良い。
オリジナル符号化ファイルがBピクチャを含んでいない場合も、同様に考えることができる。すなわち、GOP内で時間並びで後からPピクチャを削除することによりPピクチャを削除すればよい。
(C)前記第1、第2実施形態とは異なり、早送りファイルをオリジナル符号化ファイルとは独立に圧縮符号化しても良い。2つの方法を次に説明する。第1の方法は、時間並びにおいてGOP内の定位置にIピクチャを生成する場合である。第2の方法は、オリジナル符号化ファイルのGOP内の不特定の位置にIピクチャを作成する場合である。
(C−1)CPUは、オリジナル符号化ファイルを作成する場合には、エンコーダに対し、定位置でIピクチャを作成するよう指示する。CPUはエンコーダに対し、指定倍速になり、かつIピクチャが定位置に合うように、I,P,Bのピクチャパターンを指定する。これにより、1つのエンコーダでオリジナル符号化ファイルと早送りファイルとを独立に作成することができる。なお、2つのエンコーダを用いてオリジナル符号化ファイルと早送りファイルとをそれぞれ作成させることも可能である。
(C−2)オリジナル符号化ファイルと早送りファイルとを作成するコンピュータ上に、主従のエンコーダと外部回路とを設ける。コンピュータは、図22(A)、(B)に示す2つの処理を実行することができる。図22(A)に示す処理では、主エンコーダはオリジナル符号化ファイル作成用のエンコーダである(ステップS601)。従エンコーダは早送りファイル用のエンコーダである。外部回路は、主エンコーダがIピクチャを作成したタイミングを、従エンコーダに通知する。また外部回路は、主エンコーダが従エンコーダに渡すピクチャ数を、指定された倍速数に合わせて間引く(ステップS602)。このとき、外部回路は、主エンコーダがIピクチャに符号化したピクチャ以外のピクチャを間引く。この選択的間引きを実現するために、主エンコーダから外部回路に、Iピクチャを作成したことを通知すると良い(ステップS603)。この通知に基づいて、オリジナル符号化ファイルのIピクチャのアドレスと早送りファイルのIピクチャのアドレスとを対応づけたオフセットテーブルを作成することができる。
図22(B)に示す処理は、図22(A)に示す処理と同様ステップS601,S602を含む。ステップS602の後、外部回路は、ピクチャを間引くとともに、所定のダミーデータを従エンコーダに入力しても良い(ステップS604)。これにより、オリジナル符号化ファイルの先頭からのIピクチャのアドレスと、早送りファイルの先頭からのIピクチャのアドレスと、を一致させることができる。
(D)上記の方法をコンピュータ上で実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、プログラムは、ダウンロード可能なものであっても良い。記録媒体としては、コンピュータが読み書き可能なフレキシブルディスク、ハードディスク、半導体メモリ、CD−ROM、DVD、光磁気ディスク(MO)、その他のものが挙げられる。
本発明を説明するのに用いた実施形態は本発明の一例であって、本発明の範囲から逸脱しない範囲で当業者に自明な変更は、本発明の範囲に含まれる。実施形態の記載は、本発明の一例であって、本発明を限定するものではなく、本発明はクレーム及び明細書の記載に基づいて定義される。
本発明は、ディジタル動画像データの再生処理に好適に適用することができる。

Claims (7)

  1. 非圧縮または低圧縮のビデオデータを符号化して、単独で復号可能なイントラフレーム(I)と、前および/または後のフレームを参照して復号される非イントラフレーム(P,B)とを含む通常再生用データを生成するステップ(S109,S601)と、
    前記通常再生用データに含まれるイントラフレーム(I)と、前記通常再生用データに含まれる非イントラフレーム(P,B)の一部と、を含む早送り再生用データを生成するステップ(S109,S602)と、
    前記通常再生用データに含まれるイントラフレーム(I)と、前記早送り再生用データに含まれるイントラフレーム(I)と、を関連づけるステップ(S113、S603)と、
    を含むデータ生成方法。
  2. 前記通常再生用データを生成するステップにおいて前記非イントラフレームと前記イントラフレームとが逐次生成される間に、前記非イントラフレーム(P,B)のうちの一部と前記イントラフレーム(I)とを選択的に取得することにより、前記早送り再生用データを生成する、請求項1に記載のデータ生成方法。
  3. 前記通常再生用データを生成した後に前記通常再生用データから前記非イントラフレームの一部を間引くことにより、前記早送り再生用データを生成する、請求項1に記載のデータ生成方法。
  4. 非圧縮または低圧縮のビデオデータを符号化して、単独で復号可能なイントラフレーム(I)と、前および/または後のフレームを参照して復号される非イントラフレーム(P,B)とを含む通常再生用データを生成するステップ(105a,S601)と、
    前記通常再生用データに含まれるイントラフレーム(I)と、前記通常再生用データに含まれる非イントラフレーム(P,B)の一部と、前記通常再生用データにのみ含まれる残りの非イントラフレームに代わるダミーデータ(PD)と、を含む早送り再生用データを生成するステップ(105a,S604)と、を含み、
    前記通常再生用データ内の各イントラフレーム(I)と前記早送り再生用データ内の各イントラフレーム(I)とは、前記通常再生用データ及び前記早送り再生用データのそれぞれの先頭に対する相対アドレスが同一である(S604)、
    データ生成方法。
  5. 前記通常再生用データを生成するステップにおいて前記非イントラフレームと前記イントラフレームとが逐次生成される間に、前記非イントラフレームのうちの一部と前記イントラフレームとを選択的に取得することにより、前記早送り再生用データを生成する(S604)、請求項4に記載のデータ生成方法。
  6. 前記通常再生用データを生成した後に前記通常再生用データに含まれる前記非イントラフレームの一部を間引き、間引かれた非イントラフレームに代わるダミーデータ(PD)を挿入することにより、前記早送り再生用データを生成する(105a)、請求項4に記載のデータ生成方法。
  7. 符号化されたビデオデータを記憶した記憶媒体(102)であって、
    前記ビデオデータは、通常再生用データ(102a)と、早送り再生用データ(102b)と、を含み、
    前記通常再生用データは、単独で復号可能なイントラフレーム(I)と、前および/または後のフレームを参照して復号される非イントラフレーム(P,B)と、を含んでおり、
    前記早送り再生用データ(102b)は、前記通常再生用ファイルに含まれるイントラフレーム(I)と、前記通常再生用データに含まれる非イントラフレーム(P,B)の一部と、を含んでいる、
    符号化されたビデオデータを記憶した記憶媒体。
JP2010508644A 2007-08-29 2007-08-29 特殊再生用のビデオデータの生成方法 Expired - Fee Related JP5120981B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/000928 WO2009028012A1 (en) 2007-08-29 2007-08-29 Method for generating video data for trick play

Publications (2)

Publication Number Publication Date
JP2010538500A true JP2010538500A (ja) 2010-12-09
JP5120981B2 JP5120981B2 (ja) 2013-01-16

Family

ID=39166797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010508644A Expired - Fee Related JP5120981B2 (ja) 2007-08-29 2007-08-29 特殊再生用のビデオデータの生成方法

Country Status (6)

Country Link
US (1) US20100246670A1 (ja)
EP (1) EP2186328B1 (ja)
JP (1) JP5120981B2 (ja)
KR (1) KR101380378B1 (ja)
CN (1) CN101861730B (ja)
WO (1) WO2009028012A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063494A (ja) * 2014-09-19 2016-04-25 ヤフー株式会社 動画処理装置、動画処理方法および動画処理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769504B2 (en) 2009-03-31 2017-09-19 Comcast Cable Communications, Llc Dynamic distribution of media content assets for a content delivery network
US8539535B2 (en) * 2009-11-30 2013-09-17 Time Warner Cable Enterprises Llc Methods and apparatus for supporting VOD requests in a system with hierarchical content stores
US20130124994A1 (en) * 2010-07-20 2013-05-16 Thomson Licensing Method for content presentation during trick mode operations
US8984144B2 (en) 2011-03-02 2015-03-17 Comcast Cable Communications, Llc Delivery of content
WO2013172667A1 (en) * 2012-05-17 2013-11-21 Samsung Electronics Co., Ltd. Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
CN106331871B (zh) * 2015-07-08 2020-01-17 阿里巴巴集团控股有限公司 一种实现视频流快进或快退的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154230A (ja) * 1994-11-28 1996-06-11 Fujitsu Ltd 動画符号化データの媒体蓄積方法
JPH09186967A (ja) * 1995-12-28 1997-07-15 Hitachi Ltd 動画処理方法
JP2001268513A (ja) * 2000-03-16 2001-09-28 Sanyo Electric Co Ltd 動画像再生装置および動画像記録再生システム
JP2002077815A (ja) * 2000-08-31 2002-03-15 Sony Corp 画像情報の伝送装置、伝送システムおよび伝送方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2708683B2 (ja) * 1992-10-21 1998-02-04 日本電信電話株式会社 ディジタル動画ファイルの特殊再生制御処理方法
AU681185B2 (en) * 1993-10-22 1997-08-21 Sony Corporation apparatus and method for recording and reproducing digital video data
JP3575100B2 (ja) * 1994-11-14 2004-10-06 ソニー株式会社 データ送信/受信装置及び方法並びにデータ記録/再生装置及び方法
CA2208595C (en) * 1994-12-23 2006-05-09 Imedia Corporation Method and apparatus for providing vcr-like trick mode functions for viewing distributed video data
US6965724B1 (en) * 1995-03-30 2005-11-15 Thomson Licensing S.A. Trick-play modes for pre-encoded video
EP0914740B1 (en) * 1997-04-24 2003-06-04 Koninklijke Philips Electronics N.V. Method of and arrangement for reproducing video images
JP3839911B2 (ja) * 1997-06-05 2006-11-01 株式会社東芝 画像処理装置および画像処理方法
US6219381B1 (en) * 1997-05-26 2001-04-17 Kabushiki Kaisha Toshiba Image processing apparatus and method for realizing trick play
US6330286B1 (en) * 1999-06-09 2001-12-11 Sarnoff Corporation Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus
US7333711B2 (en) * 2000-06-14 2008-02-19 Sony Corporation Data distribution apparatus and method, and data distribution system
US7231132B1 (en) * 2000-10-16 2007-06-12 Seachange International, Inc. Trick-mode processing for digital video
US7218635B2 (en) * 2001-08-31 2007-05-15 Stmicroelectronics, Inc. Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith
JP4564841B2 (ja) * 2002-05-14 2010-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報を記録するための装置および方法
US7187415B2 (en) * 2002-12-12 2007-03-06 Ati Technologies, Inc. System for detecting aspect ratio and method thereof
CN101815228A (zh) * 2003-07-21 2010-08-25 汤姆森许可贸易公司 检测数据流中的微弱或无效信号的方法和系统
EP1673940B1 (en) 2003-10-07 2011-08-24 Ucentric Holdings, Inc. Digital video recording and playback system with quality of service playback from multiple locations via a home area network
JP4118232B2 (ja) * 2003-12-19 2008-07-16 三菱電機株式会社 映像データ処理方法および映像データ処理装置
US7672373B2 (en) * 2005-04-11 2010-03-02 Cisco Technology, Inc. Digital watermarking of a media stream using coded macroblock types
CA2616440C (en) * 2006-12-29 2015-02-17 Broadband Royalty Corporation Source optimized dynamic trickplay
WO2009019739A1 (en) * 2007-08-09 2009-02-12 Thomson Licensing A video data reproduction system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154230A (ja) * 1994-11-28 1996-06-11 Fujitsu Ltd 動画符号化データの媒体蓄積方法
JPH09186967A (ja) * 1995-12-28 1997-07-15 Hitachi Ltd 動画処理方法
JP2001268513A (ja) * 2000-03-16 2001-09-28 Sanyo Electric Co Ltd 動画像再生装置および動画像記録再生システム
JP2002077815A (ja) * 2000-08-31 2002-03-15 Sony Corp 画像情報の伝送装置、伝送システムおよび伝送方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063494A (ja) * 2014-09-19 2016-04-25 ヤフー株式会社 動画処理装置、動画処理方法および動画処理プログラム

Also Published As

Publication number Publication date
CN101861730B (zh) 2013-07-17
WO2009028012A1 (en) 2009-03-05
JP5120981B2 (ja) 2013-01-16
US20100246670A1 (en) 2010-09-30
KR20100058568A (ko) 2010-06-03
EP2186328A1 (en) 2010-05-19
CN101861730A (zh) 2010-10-13
KR101380378B1 (ko) 2014-04-02
EP2186328B1 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5189640B2 (ja) ビデオデータの再生システム
CN101960844B (zh) 用于编码供包含在媒体文件中的应用加强轨道的系统和方法
JP5120981B2 (ja) 特殊再生用のビデオデータの生成方法
JP3825719B2 (ja) 画像再生方法、画像再生装置、および画像記録装置
KR20040039852A (ko) 프레임 인덱스를 이용한 트릭 플레이 구현방법
JPH08336111A (ja) ビデオ・オン・デマンドシステムにおける映像再生位置割り出し方式
JP4362510B2 (ja) 録画再生編集装置
JP4286659B2 (ja) 非順次走査フレーム構造フォーマットで記録されたビデオ表示のための再生速度の変更
KR100950540B1 (ko) 사용자 선택가능한 가변 트릭 모드 속도
KR100770908B1 (ko) 디지털 방송 스트림의 변속 재생 장치 및 방법
JP2006073173A (ja) 情報記録再生装置及び方法
JP2004112769A (ja) 復号制御装置、および復号制御方法、情報処理装置、および情報処理方法、並びにプログラム
JP4487196B2 (ja) 記録装置及びその制御方法
JP2006339995A (ja) 再生装置、再生方法、再生プログラム、及び記憶媒体
JP2004135241A (ja) データ処理装置およびデータ処理方法、並びにプログラム
JP4048809B2 (ja) データ処理装置および方法、記録媒体、並びにプログラム
JP4497019B2 (ja) 映像処理装置
JP4217545B2 (ja) データ処理方法
JP2000032395A (ja) 復号化方法
JP2004140679A (ja) 記録媒体とその再生装置及び記録装置
JP2009200567A (ja) 映像記録再生装置
JP2006121415A (ja) 動画符号化装置
JP2005176330A (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2002223416A (ja) 動画像の復号化方法
JP2006129338A (ja) 映像記録再生装置及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121017

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5120981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130213

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees