JP2009111932A - 動画像復号化装置 - Google Patents
動画像復号化装置 Download PDFInfo
- Publication number
- JP2009111932A JP2009111932A JP2007284562A JP2007284562A JP2009111932A JP 2009111932 A JP2009111932 A JP 2009111932A JP 2007284562 A JP2007284562 A JP 2007284562A JP 2007284562 A JP2007284562 A JP 2007284562A JP 2009111932 A JP2009111932 A JP 2009111932A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- channel
- moving image
- stream
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
Abstract
【課題】デコーダを最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理するできる動画像復号化装置を提供する。
【解決手段】複数のチャンネルからの動画像ストリームを蓄積するバッファメモリ202と、バッファメモリ202から読み出された複数のチャンネルの動画像ストリームをデコードするビデオデコーダ204と、ビデオデコーダ204がデコードした複数のチャンネルの動画像ストリームの動画像データを格納するフレームバッファ206と、フレームバッファ206に格納された動画像データを読み出し、動画像データを動画像信号で出力する表示制御部207と、バッファメモリ202からビデオデコーダ204へチャンネルの動画像ストリームの供給を切り替えることによりビデオデコーダ204に時分割にデコードさせるデコード制御部208とを備えることを特徴とする。
【選択図】図1
【解決手段】複数のチャンネルからの動画像ストリームを蓄積するバッファメモリ202と、バッファメモリ202から読み出された複数のチャンネルの動画像ストリームをデコードするビデオデコーダ204と、ビデオデコーダ204がデコードした複数のチャンネルの動画像ストリームの動画像データを格納するフレームバッファ206と、フレームバッファ206に格納された動画像データを読み出し、動画像データを動画像信号で出力する表示制御部207と、バッファメモリ202からビデオデコーダ204へチャンネルの動画像ストリームの供給を切り替えることによりビデオデコーダ204に時分割にデコードさせるデコード制御部208とを備えることを特徴とする。
【選択図】図1
Description
本発明は動画像復号化装置に関し、特に動画像の復号化技術を用いた動画像復号化装置に関する。
従来、動画像の復号化技術を用いた動画像復号化装置が数多く提案されている(例えば、特許文献1。)。
図7は、特許文献1で開示された従来の動画像復号化装置900の構成を示すブロック図である。従来の動画像復号化装置900では、入力された複数のビットストリームがバッファ903に格納されると共に、ピクチャ層以上の各階層のヘッダ情報と、ヘッダ情報にリンクされたスライス情報とがバッファ903に格納される。従来の動画像復号化装置900では、各チャンネルの同期信号のタイミングで、複数のビットストリームを時分割でデコードする。このとき、バッファ903に格納されたヘッダ情報を解析する。
従来の動画像復号化装置900は、入力された複数のビットストリームをそれぞれ蓄積する手段と、入力された複数のビットストリームのそれぞれからピクチャ層以上の階層のヘッダに含まれている情報を抽出して各ビットストリーム毎のヘッダ情報を生成し、各ビットストリーム毎のヘッダ情報を蓄積する手段と、入力されたビットストリームのそれぞれからスライス層のヘッダに含まれている情報を抽出し、スライスが開始するビットストリームが記憶されている位置とスライスが開始する画面上の位置とを含むスライス情報を生成し、各ビットストリーム毎のスライス情報を蓄積する手段と、各ビットストリーム毎のヘッダ情報のピクチャ情報に、ピクチャを構成するスライス情報の位置を示すリンク情報を付加する手段と、各ビットストリームのそれぞれに対するデコードのタイミングを設定する同期信号を受信したら、この同期信号に対応するビットストリームのヘッダ情報を読み出し、同期信号に対応するビットストリームのヘッダ情報を解析し、かつ、同期信号に対応するビットストリームのヘッダ情報が解析されたら、他のビットストリームと共に、所定単位毎に解析されたヘッダ情報を使って、時分割でデコードする手段とを備える。
特開2003−9147号公報
しかしながら、従来の動画像復号化装置における、同期信号である各チャンネルVSYNCタイミングでデコード処理が起動する方式は、以下のような課題がある。
1)各チャンネルのVSYNCのタイミングによってはデコード回路に空き時間ができる。したがって、デコード処理をするデコード回路を最大限活用できない。
2)一方のチャンネルで特殊再生を行う場合に、他方のチャンネルで処理量不足を生じる。したがって、一方のチャンネルで重いデコード処理があると他のチャンネルでのデコード処理の動作が保証されない。
上記課題について、図を用いて説明する。ここで、時分割されるチャンネル数は2つとする。
図8は、従来の動画像復号化装置が時分割デコード処理する様子を示す図である。
図9は、従来の動画像復号化装置が時分割デコード処理する様子を示す図である。
図9は、従来の動画像復号化装置が時分割デコード処理する様子を示す図である。
2チャンネル分のビットストリームは、1つのデコード手段で時分割してデコード処理される。すなわち、2チャンネル(以下、Ch0及びCh1とする。)のビットストリームは、論理的な2つのデコーダ(以下、Dec0及びDec1とする)でデコード処理される。ここで、Ch0のビットストリームに対応する同期信号Vsync0と、Ch1のビットストリームに対応する同期信号Vsync1とは交互に入力される。また、Vsync0及びVsync1が入力されるタイミングであるTvsync0及びTvsync1は独立である。
図8に示すように、Vsync0とVsync1とが入力される時間であるTvsync0とTvsync1との間に、Dec0でVsync0に対応するビットストリームのデコード処理が終了する。さらに、Tvsync0からTvsync1が入力されるタイミングまでにDec0のデコード処理が終了する場合には、次のTvsync1が入力されDec1でVsync1に対応するビットストリームのデコード処理が開始されるまでに、デコード処理されない空き時間ができる。
図9は、図8の場合で、さらに特殊再生する場合、例えばCh1のビットストリームを倍速処理する場合を示している。図9に示すように、Vsync1及びVsync0が入力される時間であるTvsync1とTvsync0との間では、デコード処理が重くて時間を要する倍速処理中であるDec1はデコード処理を終了できない場合がある。つまり、Ch0に対応するビットストリームをデコード処理するDec0が処理に入れない。したがって、一方のチャンネル(Ch1)で重いデコード処理があると他方のチャンネル(Ch0)でデコード処理が開始できない場合があり、他のチャンネルでのデコード処理の動作が保証されない場合がある。
本発明は上記問題点に鑑みてなされたものであり、時分割処理により複数チャンネルをデコード処理する1つのデコーダを有する動画像復号化装置であって、デコーダを最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理できる動画像復号化装置を提供することを目的とする。
上記課題を達成するために、動画像復号化装置は、複数のチャンネルからの動画像ストリームを蓄積するバッファメモリと、前記バッファメモリから読み出された前記複数のチャンネルの動画像ストリームをデコードするビデオデコーダと、前記ビデオデコーダがデコードした前記複数のチャンネルの動画像ストリームの動画像データを格納するフレームバッファと、前記フレームバッファに格納された前記動画像データを読み出し、前記動画像データを動画像信号で出力する表示制御部と、前記バッファメモリから前記ビデオデコーダへチャンネルの動画像ストリームの供給を切り替えることにより前記ビデオデコーダに時分割にデコードさせるデコード制御部とを備えることを特徴とする。
この構成により、デコード制御部がビデオデコーダのデコード処理する動画像ストリームをビデオデコーダと独立して制御することで、ビデオデコーダはデコード処理に専念できる。デコード制御部が、状況に応じてビデオデコーダがデコード処理する動画像ストリームを適切に制御することで、ビデオデコーダは可能な限り余分な空き時間を作らないで動画像ストリームを時分割にデコード処理することができ、ビデオデコーダがデコード処理する時間を最大限に活用できる。
それにより、時分割処理により複数チャンネルをデコード処理する1つのデコーダを有する動画像復号化装置であって、デコーダを最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理できる動画像復号化装置を実現できる。
また、前記デコード制御部は、前記ビデオデコーダへ前記複数のチャンネルの動画像ストリームそれぞれを周期的に供給し、前記デコード制御部は、前記ビデオデコーダが第1のチャンネルの動画像ストリームのデコードを開始し、当該デコード開始後から前記周期の1周期の時間が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時、前記ビデオデコーダがデコードする前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを前記ビデオデコーダに供給してもよい。
この構成により、デコード制御部が、ビデオデコーダがデコード処理する動画像ストリームを予め定められた所定の時間間隔で制御することで、ビデオデコーダは最低限のデコード時間間隔が保証された上で動画像ストリームを時分割にデコード処理することができる。そのため、表示制御部は動画像信号を複数同時に出力でき、1画面中での複数分割画面表示をユーザは見ることができる。
また、前記フレームバッファは、複数のチャンネルからの動画像ストリームそれぞれに対応する複数の領域を有し、前記デコード制御部は、前記第1のチャンネルの動画像ストリームに対応する前記フレームバッファの領域に空きがない場合、前記周期の1周期の時間が経過していなくても前記ビデオデコーダへ第2のチャンネルの動画像ストリームを供給してもよい。
この構成により、あるチャンネルの動画像ストリームが格納されたフレームバッファの領域がなくなり次第、他のチャンネルの動画像ストリームに切り替えられる。ビデオデコーダでデコード処理されてもフレームバッファに格納できない動画像ストリームのデータをデコード処理しないので、ビデオデコーダが実質的にデコード処理する時間を最大にすることができる。
また、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームのデコードを開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時、前記第1のチャンネルの動画像ストリーム内容に応じて、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給するか、第2のチャンネルの動画像データを供給するかを制御してもよい。
この構成により、予め定まった時間間隔で表示制御部が出力する必要のある動画像信号の元になる動画像が、ビデオデコーダにより、最低限のデコード時間間隔が保証された予め定まった時間間隔以内に時分割にデコード処理されてフレームバッファに格納される。
また、前記動画像復号化装置は、さらに、前記ビデオデコーダがデコード途中の前記複数のチャンネルの動画像ストリームのいずれかのデータを保持する退避メモリを備え、前記デコード制御部は、前記ビデオデコーダがデコードする前記複数のチャンネルの動画像ストリームを第1のチャンネルの動画像ストリームから第2のチャンネルの動画像ストリームへ切り替える際に、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード途中である場合、前記退避メモリに前記ビデオデコーダがデコード途中の前記第1のチャンネルの動画像ストリームのデータを保持するよう指示してもよい。
また、前記デコード制御部は、前記ビデオデコーダがデコードする前記複数のチャンネルの動画像ストリームを第1のチャンネルの動画像ストリームから第2のチャンネルの動画像ストリームへ切り替える際に、前記退避メモリに保持されている前記ビデオデコーダがデコード途中だった前記第2のチャンネルの動画像ストリームのデータがある場合、前記退避メモリに当該第2のチャンネルの動画像ストリームのデータを前記ビデオデコーダに読み出すよう指示してもよい。
この構成により、デコード制御部が、ビデオデコーダがデコード処理する動画像ストリームを予め定められた所定の時間間隔で制御する際に、ビデオデコーダが途中までデコード処理した動画像ストリームのデータを有効に利用することができる。
また、前記デコード制御部は、前記複数のチャンネルの動画像ストリームそれぞれの内容に応じて前記周期の長さを調整してもよい。
また、前記第1及び前記第2のチャンネルの動画像ストリーム内容は画像サイズであり、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、前記第1のチャンネルの動画像ストリームの画像サイズの方が大きい場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、前記第2のチャンネルの動画像ストリームの画像サイズの方が大きい場合、第2のチャンネルの動画像データを供給してもよい。
また、前記第1及び前記第2のチャンネルの動画像ストリーム内容は符号化規格の種類を示し、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、前記第1のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、前記第2のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、第2のチャンネルの動画像データを供給してもよい。
また、前記第1及び前記第2のチャンネルの動画像ストリーム内容はビットレートの高さを示し、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、前記第1のチャンネルの動画像ストリームのビットレートの方が高い場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、前記第2のチャンネルの動画像ストリームのビットレートの方が高い場合、第2のチャンネルの動画像データを供給してもよい。
また、前記第1及び前記第2のチャンネルの動画像ストリーム内容はビデオの画角を示し、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、前記第1のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、前記第2のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、第2のチャンネルの動画像データを供給してもよい。
また、前記第1及び前記第2のチャンネルの動画像ストリーム内容はピクチャ構造であり、前記デコード制御部は、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、前記第1のチャンネルの動画像ストリームがフィールド構造の場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、前記第2のチャンネルの動画像ストリームがフレーム構造の場合、第2のチャンネルの動画像データを供給してもよい。
また、前記動画像復号化装置は、さらに、前記バッファメモリに蓄積された前記複数のチャンネルの動画像ストリームに異常があるかどうかを検出する異常検出部を備え、前記デコード制御部は、前記複数のチャンネルの動画像ストリームの中で前記異常検出部が異常を検出したチャンネルの動画像ストリームを前記ビデオデコーダへ供給してもよい。
このとき、前記異常検出部は、前記複数のチャンネルの動画像ストリームのそれぞれのC/N比(Carrier to Noise ratio)が低下したかどうかを検出してもよい。
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、CD−ROM等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
本発明によれば、時分割処理により複数チャンネルをデコード処理する1つのデコーダを有する動画像復号化装置であって、重いデコード処理があっても動作保証でき、時分割にデコード処理するデコーダを最大限活用できる動画像復号化装置を提供することが可能となる。
以下、図面を参照して本発明における実施の形態を説明する。なお、以下の実施の形態は本発明を具体化した一例であって、本発明の技術範囲を限定するものではない。また、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態1において、動画像復号化装置200の詳細について説明する。
本実施の形態1において、動画像復号化装置200の詳細について説明する。
図1は、本実施の形態1における動画像復号化装置200の構成を示すブロック図である。
動画像復号化装置200は、demux/ストリーム書込み制御部201、バッファメモリ202、ヘッダサーチ/読み出し制御部203、ビデオデコーダ204、退避メモリ205、フレームバッファ206、表示制御部207、デコード制御部208及びメモリ209を備える。
demux/ストリーム書込み制御部201は、入力されたストリームの多重分離を行う。ここで、例えば入力されたストリームは、2チャンネル分(Ch0及びCh1とする。)の動画像ストリームである。
demux/ストリーム書込み制御部201は、多重分離したCh0及びCh1の動画像ストリームをそれぞれバッファメモリ202の対応する領域へ書込む。
バッファメモリ202は、多重分離された複数のチャンネルの動画像ストリームのデータが蓄積されている。バッファメモリ202は、多重分離された複数のチャンネルそれぞれに対応した物理的または論理的な領域を有する。
ここで、例えばバッファメモリ202は、物理的な2つのバッファメモリ202−1及びバッファメモリ202−2からなるとして以下説明する。
バッファメモリ202−1は、例えば多重分離されたチャンネルの一方であるCh0の動画像ストリームのデータが蓄積される。バッファメモリ202−2は、多重分離されたチャンネルの他方であるCh1の動画像ストリームのデータが蓄積される。
ヘッダサーチ/読み出し制御部203は、バッファメモリ202(バッファメモリ202−1及びバッファメモリ202−2)に蓄積されたCh0及びCh1の動画像ストリームのデータからヘッダ情報をサーチする。
ヘッダサーチ/読み出し制御部203は、ビデオデコーダ204を介したデコード制御部208の指示に基づき、サーチしたヘッダ情報から特定されるCh0またはCh1の動画像ストリームのデータを対応するバッファメモリ202−1またはバッファメモリ202−2から読み出して、ビデオデコーダ204へ受け渡す。
ビデオデコーダ204は、ヘッダサーチ/読み出し制御部203を介して読み出されたCh0またはCh1の動画像ストリームのデータをデコード処理する。
ここで、ビデオデコーダ204は、単一のデコーダからなり、複数のチャンネルの動画像ストリームのデータを時分割にデコード処理する。ここでは、Ch0及びCh1の動画像ストリームのデータを時分割にデコード処理する。以下、Ch0の動画像ストリームのデータを時分割にデコード処理する論理的なデコーダをDec0とし、Ch1の動画像ストリームのデータを時分割にデコード処理する論理的なデコーダをDec1とする。
退避メモリ205は、ビデオデコーダ204がデコード処理途中のCh0またはCh1の動画像ストリームのデータ及びその情報を保持するメモリである。
退避メモリ205は、例えばCh0の動画像ストリームのデータがDec0でデコード処理されているときに、別のチャンネルであるCh1の動画像ストリームのデータをDec1でデコード処理開始される場合に(Dec0からDec1へデコーダが切り替えられる場合に)、デコード処理途中であるCh0の動画像ストリームのデータ及びその情報を一時的に退避するために格納される。
また、Dec0からDec1へデコーダが切り替えられ、かつ、Dec1のデコード処理対象である動画像ストリームのデコード処理途中のデータ及びその情報が前回切り替え時に退避メモリ205に格納されて保持されている場合、Dec1は、退避メモリ205から読み出されたデコード処理途中のデータからデコード処理を再開する。
フレームバッファ206は、ビデオデコーダ204が時分割にデコード処理した動画像ストリームのデータを格納する。
フレームバッファ206は、ビデオデコーダ204が時分割にデコード処理した複数のチャンネルの動画像ストリームのデータそれぞれが対応して格納される物理的または論理的な領域を有する。
ここで、例えばフレームバッファ206は、物理的な2つのフレームバッファ206−1及びフレームバッファ206−2からなるとして以下説明する。また、フレームバッファ206−1は、Dec0でデコード処理されたCh0の動画像ストリームのデータが蓄積される。フレームバッファ206−2は、Dec1でデコード処理されたCh1の動画像ストリームのデータが蓄積される。
表示制御部207は、フレームバッファ206(フレームバッファ206−1またはフレームバッファ206−2)に蓄積された動画像ストリームのデータを読み出し、動画像信号を表示機器210に出力する。そして、フレームバッファ206(フレームバッファ206−1またはフレームバッファ206−2)のメモリ容量は1フレーム分消費される。
また、表示制御部207は、フレームバッファ206(フレームバッファ206−1及びフレームバッファ206−2)の状態、例えば、メモリ残量やメモリ使用容量割合等を監視し、その状態をデコード制御部208へ送信する。
表示機器210は、表示制御部207からの動画像信号を受信し、動画像を表示する。
例えば、表示機器210は、表示制御部207からCh0の動画像信号及びCh1の動画像信号を同時に受けてもよく、その場合にはCh0の動画像及びCh1の動画像を2分割に画面表示する、すなわち2チャンネル分の動画像を1画面で表示する「2画面表示」を行う。
例えば、表示機器210は、表示制御部207からCh0の動画像信号及びCh1の動画像信号を同時に受けてもよく、その場合にはCh0の動画像及びCh1の動画像を2分割に画面表示する、すなわち2チャンネル分の動画像を1画面で表示する「2画面表示」を行う。
なお、表示制御部207と表示機器210は、上述したように別々の要素でなく、表示制御部207が表示機器210を含んでいてもよい。また、表示制御部207は、表示機器のドライバーソフトまたは、表示機器のドライバーソフトなどを含み表示機器210の機能を実現してもよい。
デコード制御部208は、ビデオデコーダ204がデコード処理を行うチャンネル、及びデコード実施タイミングを制御する。
デコード制御部208は、下記3つのルールに基づいてデコード処理を行うチャンネル、及びデコードを実施するタイミングを決定することでビデオデコーダ204に時分割にデコード処理させる。ここで、下記3つのルールは、予めデコード制御部208に設定されている。ルール1は、基本規定であり、ルール2及びルール3はルール1を調整する規定である。
1)ビデオデコーダ204がCh0またはCh1の動画像ストリームをデコード処理している時間が所定の時間を経過したとき、ビデオデコーダ204がデコード処理する動画像ストリームのデータを切り替える。
2)フレームバッファ206の状態をトリガとして、ビデオデコーダ204がデコード処理する動画像ストリームのデータを切り替える。
3)動画像ストリームの内容に応じて、ビデオデコーダ204がデコード処理する動画像ストリームのデータを切り替える。
デコード制御部208は、ルール1に基づき、例えば所定の時間である1Vごとにビデオデコーダ204がデコード処理する動画像ストリームのデータをCh0とCh1とで切り替える。言い換えると、デコード制御部208は、所定の時間1Vごとにビデオデコーダ204における論理的なデコーダをDec0とDec1とで切り替える。
ここで、表示機器210で画面表示に必要な1フレームの時間を2Vとしている。例えば、NTSC(National Television Standards Committee)方式だと1秒間に約30フレームであり、1Vは約1/60秒に相当する。
また、所定の時間は、表示機器210で1画面表示できるチャンネル数に依存し、以下の式で算出される。本実施の形態1では、所定の時間1Vは2V/2CH=1Vから算出される。
(所定の時間)=2V(1フレームの時間)/チャンネル数
ルール1により、表示機器210で表示するために必要な最低限(1V)のデコード処理の時間が保証される。また、このルール1により、通常再生の際に必要なデコード処理後に格納されるフレームバッファ206が枯渇(容量不足)することがなくなる。
なお、論理デコーダの切り替えが発生した場合に中断されたデコード処理途中のデータは、復帰が可能な場合は退避メモリ205に格納され、再度デコード処理が該当のチャンネルに切り替わった際にデコード処理を途中から継続して行う。
また、デコード制御部208は、ルール2に基づき、例えば、フレームバッファ206−1またはフレームバッファ206−2の状態(例えば、容量や残量)に応じて、ビデオデコーダ204がデコード処理する動画像ストリームをCh0とCh1とで切り替える。
デコード制御部208は、フレームバッファ206−1に空きがなくなった場合(FM Fullの場合)、これ以上デコード処理を行う必要がないため、ルール1に基づく所定の時間1Vが経過していなくても、ビデオデコーダ204がデコード処理する動画像ストリームを即座にCh0からCh1へ切り替える。つまり、デコード制御部208は、フレームバッファ206−1またはフレームバッファ206−2の状態を監視し、デコード処理不可能な場合に発生する空き時間を別の論理デコーダに対して割り当てる。
ルール2により、ビデオデコーダ204でデコード処理されてもフレームバッファ206に格納できない動画像ストリームのデータはデコード処理しなくてよくなるのでデコード処理した時間が無駄となる時間等を有効活用できるようになる。
また、デコード制御部208は、ルール3に基づき、例えば、バッファメモリ202−1またはバッファメモリ202−2に蓄積される動画像ストリームの内容に応じて、ビデオデコーダ204がデコード処理する動画像ストリームをCh0とCh1とで切り替える。ここで、動画像ストリームの内容とは、例えば、画像サイズ、符号化規格、ビットレート、画角及びビデオの構造(ピクチャ構造)などである。
また、デコード制御部208は、ルール3に基づき、デコード処理に時間がかかる動画像ストリームをより長い時間行えるようにビデオデコーダ204がデコード処理を行うチャンネル、及びデコード処理を実施するタイミングをCh0とCh1とで行う。
画像サイズは、画素(画像を構成する最小単位)の数で表した画像の大きさである。画像サイズは、例えば、画像サイズは2560×1920、1280×960、640×480などの数値、すなわち「横の画素数×縦の画素数」で表示される。また、640×480の画像サイズをSD(Standard Definition)、2560×1920の画像サイズをHD(High Definition)とよぶ場合もある。動画像ストリームの内容が画像サイズの場合、画像サイズによりビデオデコーダ204がデコード処理する場合の負荷が異なってくるため、デコード制御部208は、ルール3に基づき、負荷に応じてデコード処理する動画像ストリームの切り替えをCh0とCh1とで行う。具体的には、デコード制御部208は、画像サイズが大きい動画像ストリームのデータに対しては、ビデオデコーダ204がデコード処理する時間を最大限長くなるように動画像ストリームをCh0とCh1とで切り替える。
符号化規格は、MPEG2、MPEG4、H.264、JPEG、WMV9及びDivXなどの規格であり、動画像データの圧縮方式を示している。動画像ストリームの内容が符号化規格の場合、上述と同様に、規格によりビデオデコーダ204がデコード処理する場合の負荷が異なってくるため、デコード制御部208は、ルール3に基づき、負荷に応じてデコード処理する動画像ストリームの切り替えをCh0とCh1とで行う。すなわち、デコード処理に時間がかかる符号化規格の動画像ストリームをより長い時間行えるように動画像ストリームの切り替えをCh0とCh1とで行う。
ビットレートは、入力される動画像信号の1秒間のデータ量をレートで示しており、1秒あたりの動画像データが変換されるデータ量(ビット数)に相当する。一般に、ビットレートを大きくすると動画像の画質及び音質は向上するがファイルサイズが大きくなる。また、ビットレートを小さくするとファイルサイズは小さくなるが動画像の画質及び音質が落ちる。ビットレートが高ければビデオデコーダ204がデコード処理する場合の負荷が大きくなる。よって、動画像ストリームの内容がビットレートの場合、上述と同様に、デコード制御部208は、ビデオデコーダ204がなるべくビットレートの高い動画像ストリームのデコード処理を長い時間行えるように動画像ストリームの切り替えをCh0とCh1とで行う。
画角は、映像を映し出せる情報量を示しており、例えばHD(High Definition)、SD(Standard Definition)などの解像度に関する情報である。その解像度が高ければビデオデコーダ204がデコード処理する場合の負荷が大きくなる。よって、動画像ストリームの内容が画角の場合、デコード制御部208は、ビデオデコーダ204が高解像度の動画像ストリームのデコード処理をなるべく長い時間行えるように動画像ストリームの切り替えをDec0とDec1とで行う。
また、ピクチャ構造は、具体的にはフィールド及びフレームなどに関する情報である。ある動画像ストリームがフィールド構造であれば、1枚の画像(フレーム)が完全にデコード処理されるためには、トップフィールドとボトムフィールドの2枚の画像がデコードされなければならない。通常再生を行うためには2Vの間に最低1フレームのデコードが行われていれば問題ないため、フィールド構造の場合は2回、フレーム構造の場合は1回のデコードを完了した時点で、動画像ストリームの切り替えをDec0とDec1とで行う。
なお、上述したデコード処理途中の動画像ストリームのデータを退避する退避メモリ205についてはなくても良い。その場合、動画像ストリームの切り替えは、予め定められたデコード処理単位で動画像ストリームのデータのデコード処理が終了するまで待ってからDec0とDec1とで切り替えが行われる。また、デコード処理途中の動画像ストリームのデータを破棄して、再度その動画像ストリームのデータをデコード処理してもよい。その場合には、デコード処理単位のデータの最初からデコード処理を再開することになる。処理速度を優先する場合は、デコード処理途中の動画像ストリームのデータは破棄して、処理を継続すればよい。
また、ルール3に基づいて、デコード処理に時間がかかる動画像ストリームをより長い時間行う方法として、ルール1での所定の時間(1V)の長さを調整してもよい。
また、デコード制御部208に与えられる動画像ストリームの内容は、外部より与えられても良いが、ヘッダサーチ/読み出し制御部203によって解析されるヘッダ情報から判断しても良い。
また、フレームバッファ206の容量の閾値を設定し、その閾値を超えると、メモリ容量が一杯、すなわちメモリ容量に空きがないとしてもよい。この場合、閾値は100%が資源の有効活用の観点から好ましいが、それに限定されない。また、言うまでもないが、フレームバッファ206の残量の閾値を設定し、その閾値を下回ると、メモリ容量が一杯、すなわちメモリ容量に空きがないとしてもよい。
以上のように、ルール1により、最低限のデコード処理時間が保証され、ルール2及びルール3によりルール1を調整することで余った時間を有効活用する。ルール2及びルール3により、ルール1のみの場合に比べて、より長い時間デコード処理が行うことができ、特殊再生や、デコード処理開始時の性能が十分に引き出される。以下、その例について図を用いて説明する。
図2は、動画像復号化装置が時分割にデコード処理する様子を示す図である。
Ch0及びCh1の2チャンネル分の動画像ストリームは、1つのデコード手段であるビデオデコーダ204で時分割にデコード処理される。ここでは、Ch0の動画像ストリームは、Dec0でデコード処理され、Ch1の動画像ストリームは、Dec1でデコード処理される。
Ch0及びCh1の2チャンネル分の動画像ストリームは、1つのデコード手段であるビデオデコーダ204で時分割にデコード処理される。ここでは、Ch0の動画像ストリームは、Dec0でデコード処理され、Ch1の動画像ストリームは、Dec1でデコード処理される。
Dec0及びDec1の切り替えは、ビデオデコーダ204が時分割にデコード処理する動画像ストリームをCh0とCh1とで切り替えられることに相当する。バッファメモリ202−1に格納されるCh0の動画像ストリームのデータまたはバッファメモリ202−2に格納されるCh1の動画像ストリームのデータは、デコード制御部208の指示によりヘッダサーチ/読み出し制御部203によりビデオデコーダ204へ読み出される。
図2は、例えばDec0でCh0を通常再生、Dec1でCh1を通常再生している場合を示している。ここでは、Dec0及びDec1がデコード処理した動画像ストリームのデータは、それぞれフレームバッファ206−1及びフレームバッファ206−2に格納される。また、動画像ストリームのピクチャ構造は、Ch0がフレーム構造であり、Ch1がフィールド構造である。
通常再生の定常状態では、表示制御部207で行われる出画によりフレームバッファ206−1及びフレームバッファ206−2が消費される速度に対して、ビデオデコーダ204のデコード処理によるフレームバッファ206−1及びフレームバッファ206−2へのデータ供給速度の方が速いため、フレームバッファ206−1及びフレームバッファ206−2のメモリ容量はFullの状態(FM Full)を基本とし、表示制御部207でメモリ容量が消費されたタイミングでのみビデオデコーダ204のデコード処理が行われる。フレームバッファ206−1のメモリ容量消費が行われるタイミングをVT、フレームバッファ206−2のメモリ容量消費が行われるタイミングをVBであり、ここでは1V毎にVT及びVBのタイミングが発生するモデルを示している。
VT、またはVBのタイミングでデコード処理が開始されると、1フレーム分のデコード処理が完了した時点で再びフレームバッファ206−1、またはフレームバッファ206−2がFM Fullとなるため、デコードチャンネルの切り替えが行われるが、この時点で全てのチャンネルがFM Fullとなっている為、どのチャンネルのデコードも行われず、フレームバッファ206−1及びフレームバッファ206−2のメモリ容量消費待ち状態となる。
以降、同様にして、デコード制御部208は、ルール2に基づき、Dec0とDec1とを切り替えてゆく。
このように、通常再生状態では、ルール2に基づき動画像ストリームのデータをデコード処理してゆくことで、時分割にデコード処理できる動画像復号化装置200を実現できる。
なお、図2のDec1で同一チャンネルに対するデコード処理が続く際に、空白が挿入されている。これは、ビデオデコーダ204によるデコード処理の前にヘッダサーチ/読み出し制御部203によるデコード処理する動画像ストリームのヘッダの読み出しが必要なためである。同一チャンネルに対するデコード処理が続く場合に必要な僅かな時間の空きを表現している。
図3は、動画像復号化装置が時分割にデコード処理する様子を示す図である。
図3は、Dec0でCh0を通常再生し、Dec1でCh1を特殊再生している場合を示している。ここで、特殊再生とは、例えば、1.6倍速などの高速再生や、逆再生などである。特殊再生は、ユーザにより特殊再生の指示を受けて、表示制御部207から表示機器210へ指定された再生速度で出画が行われる。また、図3では退避メモリ205を備えていない場合または使用しない場合を示している。その他は図2と同様の前提としている。
図3は、Dec0でCh0を通常再生し、Dec1でCh1を特殊再生している場合を示している。ここで、特殊再生とは、例えば、1.6倍速などの高速再生や、逆再生などである。特殊再生は、ユーザにより特殊再生の指示を受けて、表示制御部207から表示機器210へ指定された再生速度で出画が行われる。また、図3では退避メモリ205を備えていない場合または使用しない場合を示している。その他は図2と同様の前提としている。
Dec0は通常再生を行っているために通常FM Fullの状態であり、VTのタイミングで出画によるフレームバッファ206−1のメモリ容量消費が発生するタイミングでのみビデオデコーダ204によるデコード処理を行う。Dec1は特殊再生を行っているため、表示制御部207によるメモリ消費速度がビデオデコーダ204のデコード処理によるフレームバッファ206−2へのデータ供給速度より速いため、FM Fullの状態とはならない。
まず、VTのタイミングでDec0のデコード処理が行われるが、フレームバッファ206−1のメモリ容量はFull(FM Full)となるため、ルール2に基づきDec0からDec1へデコーダを切り替える。そして、Ch1の動画像ストリームのピクチャデータは、Dec1でデコード処理される。
Ch1の動画像ストリームは、フィールド構造である。そのため、ルール3に基づき、Ch1の動画像ストリームのピクチャデータは、1フレームとなるデコード回数(ここでは2回数)分、Dec1でデコード処理される。
ここで、ユーザの指示によりDec1でCh1を特殊再生しているので、Dec1でCh1の動画像ストリームの2つのピクチャデータのデコード処理が完了したとき、フレームバッファ206−2のメモリ容量はFull(FM Full)にならない。つまり、表示制御部207から表示機器210へ通常再生に比べて早いタイミング(前倒し)で出画されているため、フレームバッファ206−2のメモリ容量はFullに(FM Full)ならない。
ここで、1フレームとなるデコード回数(ここでは2回数)分の時間、Ch1の動画像ストリームのピクチャデータがデコード処理された時点で、1Vの時間が経過していないとする。
次に、デコード制御部208は、1フレームとなるデコード回数(ここでは2回数)分の時間、Ch1の動画像ストリームのピクチャデータがデコード処理された時点で、ルール3に基づき、Dec1からDec0へデコーダを切り替える。
しかしながら、フレームバッファ206−1のメモリ容量は、次のVTのタイミングに達していないので、言い換えると表示制御部207により表示機器210に出画されていないため、メモリ容量が消費されていない(未だFM Fullの状態)。そのため、デコード制御部208は、ルール2に基づき、即座にDec0からDec1へデコーダを切り替える。
次に、デコード制御部208は、1Vの時間が経過した時点(VTのタイミング)で、ルール1に基づき、Dec1からDec0へデコーダを切り替えようとする。
しかしながら、退避メモリ205がないため、Dec1でのデコード処理を停止できず、Dec1が1ピクチャ(1フィールド)分デコード処理するまで待機する。
Dec1が1ピクチャ(1フィールド)分デコード処理した時点で、再度ルール1に基づき、Dec1からDec0へデコーダを切り替える。
次に、デコード制御部208は、同様に1Vの時間が経過した時点(図中2つ目のVBの時点)で、ルール1に基づきDec0からDec1へデコーダを切り替えようとする。
しかしながら、退避メモリ205がないため、Dec0でデコード処理を停止できず、Dec0が1ピクチャ(1フレーム)分デコード処理するまで待機する。
Dec0が1ピクチャ(1フレーム)分デコード処理した時点で、再度ルール1に基づき、Dec0からDec1へデコーダを切り替える。
以降、同様にして、デコード制御部208は、ルール2及びルール3の調整規定に従いつつ、ルール1に基づき、Dec0とDec1とを切り替えてゆく。
また、特殊再生中はdemux/ストリーム書込み制御部201によるバッファメモリ202へのストリームデータ供給速度が間に合わないためにビデオデコーダ204によるデコード処理が行えない場合も発生する(図中ではストリームアンダーフローと表記。)。この場合、ルール2、及びルール3によるチャンネル切り替えは発生しないが、1V経過の時点でルール1によるチャンネル切り替えが発生するため、Dec1のデコード処理が停止する事はない。
このように、特殊再生する場合にも、3つのルールに基づき動画像ストリームのデータをデコード処理してゆくことで、ビデオデコーダ204が実質的にデコード処理する時間を最大にすることができる。したがって、Dec1で特殊再生を行った場合でも、Dec0で最低限(1V)のデコード処理時間が保証される。それにより、ビデオデコーダ204を最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理できる動画像復号化装置200を実現できる。
図4は、動画像復号化装置200の時分割デコード処理の動作を説明するためのフローチャートである。
動画像復号化装置200では、デコード制御部208は、ビデオデコーダ204(Dec0及びDec1)がCh0及びCh1の動画像ストリームのデータをデコード処理している時間をカウントしている。
また、デコード制御部208は、表示制御部207を介してバッファメモリ202−1及びバッファメモリ202−2の状態(例えば、メモリ容量)をモニタしている。
また、デコード制御部208は、ヘッダサーチ/読み出し制御部203を介してバッファメモリ202−1及びバッファメモリ202−2に格納されたCh0及びCh1の動画像ストリームの内容をモニタしている。
まず、Dec0のデコード処理時間が1Vの時間(一定の時間)を経過したとき(S102のYesの場合)、デコード制御部208は、ビデオデコーダ204がデコード処理する動画像ストリーム(Ch0)のデータを別の動画像ストリーム(Ch1)のデータに切り替える(S103)。すなわち、デコード制御部208は、ルール1に基づき1Vの時間内(一定の時間内)で、Dec0からDec1へビデオデコーダ204の論理的なデコーダを切り替える。
次に、Dec0のデコード処理時間が1Vの時間(一定の時間)を経過していないとき(S102のNoの場合)、デコード制御部208は、フレームバッファ206−1及びフレームバッファ206−2のメモリ容量を確認する。
Dec0にデコード処理されたCh0の動画像ストリームのデータが格納されるフレームバッファ206−1の状態(メモリ容量)が、例えば、100%、すなわちFullの場合(S104のYesの場合)、デコード制御部208は、ビデオデコーダ204がデコード処理する動画像ストリーム(Ch0)のデータを別の動画像ストリーム(Ch1)のデータに切り替える(S105)。すなわち、デコード制御部208は、ルール2に基づきDec0からDec1へビデオデコーダ204の論理的なデコーダを切り替える。
Dec0にデコード処理されたCh0の動画像ストリームのデータが格納されるフレームバッファ206−1のメモリ容量が、Fullでない場合(S104のNoの場合)、デコード制御部208は、バッファメモリ202−1からビデオデコーダ204に読み出される動画像ストリーム(Ch0)のピクチャ構造、すなわち、Dec0でデコード処理中の動画像ストリームのデータのピクチャ構造を確認する(S106)。
次に、Dec0がデコード処理中の動画像ストリームのデータのピクチャ構造が、例えば、フィールド構造である場合(S106のFieldの場合)、デコード制御部208は、1Vの時間内(一定の時間内)で、表示機器210が表示できる最低単位である1フレームとなるまでDec0でのデコード処理を継続する(S107)。
すなわち、デコード制御部208は、1Vの時間内(一定の時間内)で、ルール3に基づきDec0からDec0へビデオデコーダ204の論理的なデコーダを切り替える。
このようにして、ルール1である1Vの時間(一定の時間内)が経過するまで、S102からS107をループしながら、ピクチャ処理を含むデコード処理を必要時間継続する。
ここで、動画像ストリームのピクチャ構造を考慮してデコード処理を必要時間継続する処理を図4中でピクチャ処理と表現している。
Dec0がデコード処理中の動画像ストリームのデータのピクチャ構造が、例えば、フレーム構造である場合(S106のFrameの場合)、開始に戻ってルール1である1Vの時間(一定の時間内)が経過するまで、S102からS107をループしながら、デコード処理を継続する。
以上のようにして、動画像復号化装置200は、3つのルールに基づき動画像ストリームのデータを時分割にデコード処理する。
なお、図4では、動画像ストリームの内容がピクチャ構造として説明したが、それに限定されない。動画像ストリームの内容は、例えば、画像サイズ、符号化規格、ビットレート、コーデックタイプ及び画角などでもよい。
(変形例)
図5は、動画像復号化装置が時分割デコード処理を切り替える様子を示す図である。
図5は、動画像復号化装置が時分割デコード処理を切り替える様子を示す図である。
図5に示すように、Dec0において、最初の1Vの時間内に、Ch0の動画像ストリームのピクチャデータAのデコード処理が終了する。その場合、次のデコード処理として、Dec0が、動画像ストリームのピクチャデータBを前倒しにデコード処理するか、Dec1が、Ch1の動画像ストリームのピクチャデータXをデコード処理するかを選択させてもよい。
実施の形態1では、Dec0でCh0を通常再生した場合には、フレームバッファ206−1のメモリ容量がFull(一杯)である場合を説明した。本変形例は、Dec0でCh0を通常再生した場合でも、フレームバッファ206−1のメモリ容量がFullでない場合である。この場合、前倒しにデコード処理を行うことで、可能な限り余分な空き時間を作らないで時分割にデコード処理することができる。すなわち、予め定めた一定時間である1Vの時間内で処理時間に余裕があればデコード処理を前倒しにすることで、ビデオデコーダ204を最大限活用できる。
以上より、本発明の実施の形態1において、3つのルールに基づき時分割にデコード処理することで、時分割処理により複数チャンネルをデコード処理する1つのデコーダを有する動画像復号化装置であって、デコーダを最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理できる動画像復号化装置が実現できる。
(実施の形態2)
本実施の形態2において、動画像復号化装置300の詳細について説明する。
本実施の形態2において、動画像復号化装置300の詳細について説明する。
図6は、本実施の形態2における動画像復号化装置300の構成を示すブロック図である。
動画像復号化装置300は、demux/ストリーム書込み制御部201、バッファメモリ202、ヘッダサーチ/読み出し制御部203、ビデオデコーダ204、退避メモリ205、フレームバッファ206、表示制御部207、デコード制御部308、メモリ209及び異常検知部311を備える。
ここで、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図6に示す動画像復号化装置300は、実施の形態1に係る動画像復号化装置200に対して、異常検知部311との構成が追加された点が異なる。
図6に示す動画像復号化装置300は、実施の形態1に係る動画像復号化装置200に対して、異常検知部311との構成が追加された点が異なる。
異常検知部311は、ビデオデコーダ204がデコード処理する動画像ストリーム(Ch0及びCh1)に異常が発生したかどうかの検知を行う。ここで言及する異常とは、例えば、C/N比(Carrier to Noise ratio)が低下した状態などを指している。
ここで、C/N比とは、搬送波と雑音の比であり、数値が大きいほど良好な状態を示す。
異常検知部311は、バッファメモリ202(202−1及び202−2)に格納される各動画像ストリーム(Ch0及びCh1)のデータをモニタする。異常検知部311は、例えば、C/N比が低下しているかなどをモニタする。
異常検知部311は、バッファメモリ202(202−1及び202−2)に格納される各動画像ストリーム(Ch0及びCh1)のデータにC/N比の低下の発生を検知した場合に、どの動画像ストリームで異常検知したかの情報を含めてビデオデコーダ204がデコード処理する動画像ストリームで異常検知したことをデコード制御部308へ通知する。
デコード制御部308は、例えば、バッファメモリ202−1に格納される動画像ストリーム(Ch0)のデータに対して異常検知部311により異常が検知された場合、動画像ストリーム(Ch0)のデータのデコード処理を抑制する処理を行う。すなわち、デコード処理するビデオデコーダ204の論理的なデコーダをDec1からDec0に切り替えしないで、Dec1からDec1へ回帰的に切り替えする。つまり、デコード制御部308は、バッファメモリ202−1に格納される動画像ストリーム(Ch0)のデータに対して異常検知部311により異常が検知された場合、ビデオデコーダ204にDec1でのデコード処理を継続させる。
異常が発生した状態の動画像ストリームのデータに対してデコード処理を継続しても、デコード処理された動画像ストリームのデータは画質が極めて低い状態である場合が多い。そのため、デコード処理自体が無駄な処理になってしまう場合がある。
それゆえ、異常が検知された動画像ストリームのデータに対するデコード処理(例えば、Ch0。)を実施しないで、実施されれば費やされていたデコード資源(デコード時間)を解放して、異常が検知されていない動画像ストリーム(例えば、Ch1。)に対するデコード処理をすることで、デコード資源の有効利用を図ることができる。また、不必要なデコード処理をしないことは、消費電力を低下させる効果もある。
なお、デコード制御部308のその他については、デコード制御部208の要素と同様であるため、説明を割愛する。
また、本実施の形態2では、異常検知部311とデコード制御部308は、異なるブロックとして構成したものとして説明したが、異常検知部311が行う異常状態の監視をデコード制御部308で行ってもよい。
以上、本発明の実施の形態2において、3つのルールに基づき時分割デコード処理することに加えて、動画像ストリームの異常検知の有無での制御を加味することで、動画像復号化装置300は、デコード回路の処理資源を最大限活用できる。それにより、時分割処理により複数チャンネルをデコード処理する1つのデコーダを有する動画像復号化装置であって、デコーダを最大限活用することで、可能な限り余分な空き時間を作らないで時分割にデコード処理できる動画像復号化装置300が実現できる。
なお、ビデオデコーダ204が時分割にデコード処理する複数のチャンネルとして2つを例に挙げて説明したが、それに限定されず、3チャンネルでも6チャンネルでもよく、数は限定されない。また、バッファメモリ202及びフレームバッファ206がそれぞれ2つである場合を説明したが、これに限定されない。論理的であれ物理的であれ数は限定されない。また、2チャンネルの動画像ストリームのピクチャ構造として、フレーム構造/フレーム構造、フレーム構造/フィールド構造の例について説明したが、この例に限定されずフィールド構造及びフレーム構造を自由に組み合わせてもよい。
以上、本発明の動画像復号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
本発明は、動画像復号化装置に利用でき、特に、次世代DVD規格を用いたDVD レコーダ、1画面に複数の画面を表示する必要のある監視カメラなど動画像を復号するセット機器に利用することができる。
200、300、900 動画像復号化装置
201 demux/ストリーム書込み制御部
202 バッファメモリ
203 ヘッダサーチ/読み出し制御部
204 ビデオデコーダ
205 退避メモリ
206 フレームバッファ
207 表示制御部
208、308 デコード制御部
209 メモリ
210 表示機器
311 異常検知部
903 バッファ
201 demux/ストリーム書込み制御部
202 バッファメモリ
203 ヘッダサーチ/読み出し制御部
204 ビデオデコーダ
205 退避メモリ
206 フレームバッファ
207 表示制御部
208、308 デコード制御部
209 メモリ
210 表示機器
311 異常検知部
903 バッファ
Claims (14)
- 複数のチャンネルからの動画像ストリームを蓄積するバッファメモリと、
前記バッファメモリから読み出された前記複数のチャンネルの動画像ストリームをデコードするビデオデコーダと、
前記ビデオデコーダがデコードした前記複数のチャンネルの動画像ストリームの動画像データを格納するフレームバッファと、
前記フレームバッファに格納された前記動画像データを読み出し、前記動画像データを動画像信号で出力する表示制御部と、
前記バッファメモリから前記ビデオデコーダへチャンネルの動画像ストリームの供給を切り替えることにより前記ビデオデコーダに時分割にデコードさせるデコード制御部とを備える
ことを特徴とする動画像復号化装置。 - 前記デコード制御部は、
前記ビデオデコーダへ前記複数のチャンネルの動画像ストリームそれぞれを周期的に供給し、
前記デコード制御部は、
前記ビデオデコーダが第1のチャンネルの動画像ストリームのデコードを開始し、当該デコード開始後から前記周期の1周期の時間が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時、
前記ビデオデコーダがデコードする前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを前記ビデオデコーダに供給する
ことを特徴とする請求項1記載の動画像復号化装置。 - 前記フレームバッファは、複数のチャンネルからの動画像ストリームそれぞれに対応する複数の領域を有し、
前記デコード制御部は、前記第1のチャンネルの動画像ストリームに対応する前記フレームバッファの領域に空きがない場合、前記周期の1周期の時間が経過していなくても前記ビデオデコーダへ第2のチャンネルの動画像ストリームを供給する
ことを特徴とする請求項2記載の動画像復号化装置。 - 前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームのデコードを開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時、
前記第1のチャンネルの動画像ストリーム内容に応じて、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給するか、第2のチャンネルの動画像データを供給するかを制御する
ことを特徴とする請求項2または3記載の動画像復号化装置。 - 前記動画像復号化装置は、さらに、
前記ビデオデコーダがデコード途中の前記複数のチャンネルの動画像ストリームのいずれかのデータを保持する退避メモリを備え、
前記デコード制御部は、
前記ビデオデコーダがデコードする前記複数のチャンネルの動画像ストリームを第1のチャンネルの動画像ストリームから第2のチャンネルの動画像ストリームへ切り替える際に、前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード途中である場合、前記退避メモリに前記ビデオデコーダがデコード途中の前記第1のチャンネルの動画像ストリームのデータを保持するよう指示する
ことを特徴とする請求項1記載の動画像復号化装置。 - 前記デコード制御部は、
前記ビデオデコーダがデコードする前記複数のチャンネルの動画像ストリームを第1のチャンネルの動画像ストリームから第2のチャンネルの動画像ストリームへ切り替える際に、前記退避メモリに保持されている前記ビデオデコーダがデコード途中だった前記第2のチャンネルの動画像ストリームのデータがある場合、前記退避メモリに当該第2のチャンネルの動画像ストリームのデータを前記ビデオデコーダに読み出すよう指示する
ことを特徴とする請求項5記載の動画像復号化装置。 - 前記デコード制御部は、
前記複数のチャンネルの動画像ストリームそれぞれの内容に応じて前記周期の長さを調整する
ことを特徴とする
請求項2記載の動画像復号化装置。 - 前記第1及び前記第2のチャンネルの動画像ストリーム内容は画像サイズであり、
前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、
前記第1のチャンネルの動画像ストリームの画像サイズの方が大きい場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、
前記第2のチャンネルの動画像ストリームの画像サイズの方が大きい場合、第2のチャンネルの動画像データを供給する
ことを特徴とする請求項4記載の動画像復号化装置。 - 前記第1及び前記第2のチャンネルの動画像ストリーム内容は符号化規格の種類を示し、
前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、
前記第1のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、
前記第2のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、第2のチャンネルの動画像データを供給する
ことを特徴とする請求項4記載の動画像復号化装置。 - 前記第1及び前記第2のチャンネルの動画像ストリーム内容はビットレートの高さを示し、
前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、
前記第1のチャンネルの動画像ストリームのビットレートの方が高い場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、
前記第2のチャンネルの動画像ストリームのビットレートの方が高い場合、第2のチャンネルの動画像データを供給する
ことを特徴とする請求項4記載の動画像復号化装置。 - 前記第1及び前記第2のチャンネルの動画像ストリーム内容はビデオの画角を示し、
前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、
前記第1のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、
前記第2のチャンネルの動画像ストリームのデコード処理の方が時間のかかる場合、第2のチャンネルの動画像データを供給する
ことを特徴とする請求項4記載の動画像復号化装置。 - 前記第1及び前記第2のチャンネルの動画像ストリーム内容はピクチャ構造であり、
前記デコード制御部は、
前記ビデオデコーダが前記第1のチャンネルの動画像ストリームをデコード開始し、当該デコード開始後から前記周期が経過する前に前記第1のチャンネルの動画像ストリームのピクチャのデコードが終了した時に、
前記第1のチャンネルの動画像ストリームがフィールド構造の場合、前記デコード制御部は、前記第1のチャンネルの動画像ストリームの前記ピクチャの次のピクチャを供給する制御をし、
前記第2のチャンネルの動画像ストリームがフレーム構造の場合、第2のチャンネルの動画像データを供給する
ことを特徴とする請求項4記載の動画像復号化装置。 - 前記動画像復号化装置は、さらに、
前記バッファメモリに蓄積された前記複数のチャンネルの動画像ストリームに異常があるかどうかを検出する異常検出部を備え、
前記デコード制御部は、前記複数のチャンネルの動画像ストリームの中で前記異常検出部が異常を検出したチャンネルの動画像ストリームを前記ビデオデコーダへ供給しない
ことを特徴とする請求項1記載の動画像復号化装置。 - 前記異常検出部は、
前記複数のチャンネルの動画像ストリームのそれぞれのC/N比(Carrier to Noise ratio)が低下したかどうかを検出する
ことを特徴とする請求項13記載の動画像復号化装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007284562A JP2009111932A (ja) | 2007-10-31 | 2007-10-31 | 動画像復号化装置 |
PCT/JP2008/002442 WO2009057238A1 (ja) | 2007-10-31 | 2008-09-04 | 動画像復号化装置 |
US12/738,773 US20100220781A1 (en) | 2007-10-31 | 2008-09-04 | Moving picture decoding apparatus |
CN2008801132265A CN101889446A (zh) | 2007-10-31 | 2008-09-04 | 运动图像解码装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007284562A JP2009111932A (ja) | 2007-10-31 | 2007-10-31 | 動画像復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009111932A true JP2009111932A (ja) | 2009-05-21 |
Family
ID=40590647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007284562A Withdrawn JP2009111932A (ja) | 2007-10-31 | 2007-10-31 | 動画像復号化装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20100220781A1 (ja) |
JP (1) | JP2009111932A (ja) |
CN (1) | CN101889446A (ja) |
WO (1) | WO2009057238A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013114826A1 (ja) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | 画像復号装置 |
JP2016163134A (ja) * | 2015-02-27 | 2016-09-05 | 沖電気工業株式会社 | 動画再生装置及びプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5802014B2 (ja) * | 2011-01-14 | 2015-10-28 | アイキューブド研究所株式会社 | 信号処理装置、信号処理方法 |
JP6020934B2 (ja) * | 2011-08-05 | 2016-11-02 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP5994367B2 (ja) * | 2012-04-27 | 2016-09-21 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法 |
US10008177B2 (en) * | 2016-03-09 | 2018-06-26 | Panasonic Liquid Crystal Display Co., Ltd. | Display device |
KR102515127B1 (ko) * | 2018-03-22 | 2023-03-28 | 삼성전자주식회사 | 디스플레이 장치의 저 전력 모드에서의 동작을 지원하는 디스플레이 드라이버 회로 |
CN109600619A (zh) * | 2018-12-11 | 2019-04-09 | 晶晨半导体(上海)股份有限公司 | 一种解码硬件的分时复用方法 |
CN111372038B (zh) * | 2018-12-26 | 2021-06-18 | 厦门星宸科技有限公司 | 多串流影像处理装置及方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0767176B2 (ja) * | 1990-11-28 | 1995-07-19 | 松下電器産業株式会社 | 符号化雑音除去フィルタ |
US5305400A (en) * | 1990-12-05 | 1994-04-19 | Deutsche Itt Industries Gmbh | Method of encoding and decoding the video data of an image sequence |
US5491514A (en) * | 1993-01-28 | 1996-02-13 | Matsushita Electric Industrial Co., Ltd. | Coding apparatus, decoding apparatus, coding-decoding apparatus for video signals, and optical disks conforming thereto |
JP2993351B2 (ja) * | 1994-02-14 | 1999-12-20 | 松下電器産業株式会社 | 圧縮データ記録装置 |
US5892882A (en) * | 1994-03-23 | 1999-04-06 | Pioneer Electronic Corporation | Moving picture decoding device having a compressed picture data memory |
US5502493A (en) * | 1994-05-19 | 1996-03-26 | Matsushita Electric Corporation Of America | Variable length data decoder for use with MPEG encoded video data |
JP3474005B2 (ja) * | 1994-10-13 | 2003-12-08 | 沖電気工業株式会社 | 動画像符号化方法及び動画像復号方法 |
US5754241A (en) * | 1994-11-18 | 1998-05-19 | Sanyo Electric Co., Ltd | Video decoder capable of controlling encoded video data |
JP3518700B2 (ja) * | 1995-01-25 | 2004-04-12 | ソニー株式会社 | デイジタル信号復号装置 |
KR100226528B1 (ko) * | 1995-03-29 | 1999-10-15 | 가나이 쓰도무 | 다중화 압축화상/음성데이타의 복호장치 |
JP3713067B2 (ja) * | 1995-04-07 | 2005-11-02 | 富士写真フイルム株式会社 | 画像信号圧縮符号化装置および伸長再生装置 |
JPH08298649A (ja) * | 1995-04-27 | 1996-11-12 | Oki Electric Ind Co Ltd | 映像符号化・復号化システム、映像符号化装置及び映像復号化装置 |
EP0987707B1 (en) * | 1995-08-21 | 2002-11-06 | Matsushita Electric Industrial Co., Ltd. | Optical disc reproduction device and reproduction method which can achieve a dynamic switching of the reproduced content |
JPH09182067A (ja) * | 1995-10-27 | 1997-07-11 | Toshiba Corp | 画像符号化/復号化装置 |
US6075906A (en) * | 1995-12-13 | 2000-06-13 | Silicon Graphics Inc. | System and method for the scaling of image streams that use motion vectors |
US6041067A (en) * | 1996-10-04 | 2000-03-21 | Matsushita Electric Industrial Co., Ltd. | Device for synchronizing data processing |
US6188700B1 (en) * | 1996-11-07 | 2001-02-13 | Sony Corporation | Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers |
US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
US6002440A (en) * | 1996-12-10 | 1999-12-14 | British Telcommunications Public Limited Company | Video coding |
JP2001346206A (ja) * | 2000-03-29 | 2001-12-14 | Matsushita Electric Ind Co Ltd | 復号装置、復号方法、多重化装置及び多重化方法 |
US6925097B2 (en) * | 2000-03-29 | 2005-08-02 | Matsushita Electric Industrial Co., Ltd. | Decoder, decoding method, multiplexer, and multiplexing method |
JP2001309371A (ja) * | 2000-04-27 | 2001-11-02 | Fujitsu Ltd | Mpegデコーダ |
US7327789B2 (en) * | 2001-08-06 | 2008-02-05 | Matsushita Electric Industrial Co., Ltd. | Decoding apparatus, decoding method, decoding program, and decoding program storage medium |
US7042950B2 (en) * | 2001-11-14 | 2006-05-09 | Matsushita Electric Industrial Co., Ltd. | Multichannel video processing unit and method |
WO2004049710A1 (ja) * | 2002-11-28 | 2004-06-10 | Sony Corporation | 再生装置、再生方法、再生プログラムおよび記録媒体 |
EP1714491A2 (en) * | 2004-02-09 | 2006-10-25 | Matsushita Electric Industrial Co Ltd | Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit |
US20080025410A1 (en) * | 2005-05-12 | 2008-01-31 | Tomoko Matsui | Signal Playback Device |
EP1879376A3 (en) * | 2006-06-13 | 2011-04-06 | Samsung Electronics Co., Ltd. | Fast channel switching method and apparatus for digital broadcast receiver |
EP1879382B1 (en) * | 2006-07-10 | 2017-09-06 | Samsung Electronics Co., Ltd. | Multi-screen display apparatus and method for digital broadcast receiver |
WO2008072452A1 (ja) * | 2006-12-11 | 2008-06-19 | Panasonic Corporation | 動画像復号化装置、半導体装置、映像機器および動画像復号化方法 |
-
2007
- 2007-10-31 JP JP2007284562A patent/JP2009111932A/ja not_active Withdrawn
-
2008
- 2008-09-04 US US12/738,773 patent/US20100220781A1/en not_active Abandoned
- 2008-09-04 CN CN2008801132265A patent/CN101889446A/zh active Pending
- 2008-09-04 WO PCT/JP2008/002442 patent/WO2009057238A1/ja active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013114826A1 (ja) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | 画像復号装置 |
JP2016163134A (ja) * | 2015-02-27 | 2016-09-05 | 沖電気工業株式会社 | 動画再生装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2009057238A1 (ja) | 2009-05-07 |
US20100220781A1 (en) | 2010-09-02 |
CN101889446A (zh) | 2010-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009111932A (ja) | 動画像復号化装置 | |
US7342967B2 (en) | System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams | |
JP4534910B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
US20070147517A1 (en) | Video processing system capable of error resilience and video processing method for same | |
JP5011017B2 (ja) | 画像復号化装置 | |
US20100166081A1 (en) | Video stream processing apparatus and control method, program and recording medium for the same | |
US8170375B2 (en) | Image processing apparatus and method for controlling the same | |
JP5030495B2 (ja) | 再生装置、再生方法、プログラム、および記録媒体 | |
JP2007060488A (ja) | 画像処理素子および画像処理方法、記録媒体、並びに、プログラム | |
JP2011014948A (ja) | 画像符号化方法及び画像符号化装置、並びにそれらを用いた画像記録再生装置 | |
JP2008141277A (ja) | デコード回路 | |
KR100995032B1 (ko) | 화면 정지 기능을 갖는 비디오 디코딩 장치 및 방법 | |
KR100640885B1 (ko) | 듀얼 비디오 디코딩을 위한 비디오 버퍼 제어 장치 | |
US7974523B2 (en) | Optimal buffering and scheduling strategy for smooth reverse in a DVD player or the like | |
JP4433319B2 (ja) | 信号再生装置 | |
JP4591549B2 (ja) | 再生処理装置、および再生処理方法、並びにプログラム | |
JP2009071365A (ja) | 動画像復号装置およびその方法 | |
JP2001309371A (ja) | Mpegデコーダ | |
JP3184175B2 (ja) | 復号化装置 | |
US20090092376A1 (en) | Video reproduction apparatus | |
JP2006311587A (ja) | 画像復号装置 | |
JP2009100206A (ja) | 画像符号化データ復号化装置 | |
JP5403784B2 (ja) | 映像処理装置およびノイズ軽減方法 | |
JP2009111531A (ja) | 高速再生装置 | |
JP2007074544A (ja) | 画像復号再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100906 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120423 |