JP2006101322A - Information processing apparatus and program used for the processing apparatus - Google Patents
Information processing apparatus and program used for the processing apparatus Download PDFInfo
- Publication number
- JP2006101322A JP2006101322A JP2004286542A JP2004286542A JP2006101322A JP 2006101322 A JP2006101322 A JP 2006101322A JP 2004286542 A JP2004286542 A JP 2004286542A JP 2004286542 A JP2004286542 A JP 2004286542A JP 2006101322 A JP2006101322 A JP 2006101322A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- information processing
- processing apparatus
- weighted prediction
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明はパーソナルコンピュータのような情報処理装置および同装置で用いられるデコード用のプログラムに関する。 The present invention relates to an information processing apparatus such as a personal computer and a decoding program used in the apparatus.
近年、DVD(Digital Versatile Disc)プレーヤ、TV装置のようなオーディオ・ビデオ(AV)機器と同様のAV機能を備えたパーソナルコンピュータが開発されている。 In recent years, personal computers having the same AV function as audio / video (AV) devices such as DVD (Digital Versatile Disc) players and TV devices have been developed.
このようなパーソナルコンピュータにおいては、圧縮符号化された動画像ストリームをソフトウェアによってデコードするソフトウェアデコーダが用いられている。ソフトウェアデコーダの使用により、専用のハードウェアを設けることなく、圧縮符号化された動画像ストリームをプロセッサ(CPU)によってデコードすることが可能になる。 In such a personal computer, a software decoder that decodes a compression-coded moving image stream by software is used. By using a software decoder, it is possible to decode a compression-coded moving image stream by a processor (CPU) without providing dedicated hardware.
ソフトウェアデコーダを用いたシステムとしては、MPEG2、MPEG4のような動き補償フレーム間予測符号化によって符号化されたストリームをデコードした後に、そのデコードによって得られた出力画像信号に対して画質改善のためのポストフィルタ処理を施すシステムが知られている(例えば、特許文献1参照)。このシステムにおいては、コマ落ちの発生を防止するために、ポストフィルタ処理で実行されるべきフィルタ処理を変更してポストフィルタ処理に要する時間を削減する技術が利用されている。
しかし、ポストフィルタ処理はデコーダの外側で行われる処理である。このため、もしソフトウェアデコーダのデコード処理自体に遅れが生じた場合には、たとえポストフィルタ処理に要する時間を低減しても、コマ落ちの発生を防止することはできない。 However, the post filter process is a process performed outside the decoder. For this reason, if a delay occurs in the decoding process itself of the software decoder, even if the time required for the post filter process is reduced, it is not possible to prevent the occurrence of frame dropping.
ところで、最近では、次世代の動画像圧縮符号化技術として、H.264/AVC(AVC:Advanced Video Coding)規格が注目されている。H.264/AVC規格は、MPEG2、MPEG4のような従来の圧縮符号化技術よりも高能率の圧縮符号化技術である。このため、H.264/AVC規格に対応するエンコード処理およびデコード処理の各々においては、MPEG2、MPEG4のような従来の圧縮符号化技術よりも多くの処理量が必要とされる。 Recently, as a next-generation moving image compression coding technology, H.264 has been introduced. The H.264 / AVC (AVC: Advanced Video Coding) standard has attracted attention. H. The H.264 / AVC standard is a compression encoding technique that is more efficient than conventional compression encoding techniques such as MPEG2 and MPEG4. For this reason, H.C. Each of the encoding process and the decoding process corresponding to the H.264 / AVC standard requires a larger amount of processing than the conventional compression encoding techniques such as MPEG2 and MPEG4.
したがって、H.264/AVC規格で圧縮符号化された動画像ストリームをソフトウェアによってデコードするように設計されたパーソナルコンピュータにおいては、システムの負荷が増大すると、デコード処理自体に遅れが生じ、これによってスムーズな動画再生を実行できなくなる危険がある。 Therefore, H.H. In a personal computer designed to decode a video stream compressed and encoded by the H.264 / AVC standard by software, if the system load increases, the decoding process itself will be delayed, thereby enabling smooth video playback. There is a risk that it cannot be executed.
本発明は上述の事情を考慮してなされたものであり、動画像ストリームのデコードをスムーズに実行することが可能な情報処理装置およびプログラムを提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and an object thereof is to provide an information processing apparatus and a program that can smoothly decode a moving image stream.
上述の課題を解決するため、本発明は、圧縮符号化された動画像ストリームをデコードする情報処理装置において、デコードされた1以上の参照画面からデコード対象画面に対応するフレーム間予測信号を生成する動き補償手段と、前記フレーム間予測信号に重み係数を掛けることによって重み付き予測信号を生成する重み付き予測処理を実行する重み付き予測手段と、前記デコード対象画面に対応する予測誤差信号に前記デコード対象画面に対応する重み付き予測信号を加算して前記デコード対象画面をデコードする手段と、前記情報処理装置の負荷を検出する負荷検出手段と、前記負荷検出手段によって検出された負荷が所定の基準値よりも大きい場合、前記重み係数の値に応じて、前記重み付き予測信号を零とする処理を実行する制御手段とを具備することを特徴とする。 In order to solve the above-described problems, the present invention generates an inter-frame prediction signal corresponding to a decoding target screen from one or more decoded reference screens in an information processing apparatus that decodes a compressed and encoded moving image stream. Motion compensation means, weighted prediction means for executing weighted prediction processing for generating a weighted prediction signal by multiplying the interframe prediction signal by a weighting factor, and decoding the prediction error signal corresponding to the decoding target screen Means for decoding the decoding target screen by adding a weighted prediction signal corresponding to the target screen; load detecting means for detecting the load of the information processing apparatus; and the load detected by the load detecting means is a predetermined reference Control that executes processing for setting the weighted prediction signal to zero according to the value of the weighting coefficient when the value is larger than the value Characterized by comprising a stage.
本発明によれば、動画像ストリームのデコードをスムーズに実行することが可能となる。 According to the present invention, it is possible to smoothly decode a moving image stream.
以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ10として実現されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, the configuration of an information processing apparatus according to an embodiment of the present invention will be described with reference to FIG. 1 and FIG. This information processing apparatus is realized as, for example, a notebook
図1はノートブック型パーソナルコンピュータ10のディスプレイユニットを開いた状態における正面図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12にはLCD(Liquid Crystal Display)17から構成される表示装置が組み込まれており、そのLCD17の表示画面はディスプレイユニット12のほぼ中央に位置されている。
FIG. 1 is a front view of the notebook
ディスプレイユニット12は、コンピュータ本体11に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ1を電源オン/オフするためのパワーボタン14、入力操作パネル15、およびタッチパッド16などが配置されている。
The
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV起動ボタン15A、DVD(Digital Versatile Disc)起動ボタン15Bも含まれている。TV起動ボタン15Aは、デジタルTV放送番組のような放送番組データの再生及び記録を行うためのTV機能を起動するためのボタンである。TV起動ボタン15Aがユーザによって押下された時、TV機能を実行するためのアプリケーションプログラムが自動的に起動される。DVD起動ボタン15Bは、DVDに記録されたビデオコンテンツを再生するためのボタンである。DVD起動ボタン15Bがユーザによって押下された時、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。
The
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
Next, the system configuration of the
本コンピュータ10は、図2に示されているように、CPU111、ノースブリッジ112、主メモリ113、グラフィクスコントローラ114、サウスブリッジ119、BIOS−ROM120、ハードディスクドライブ(HDD)121、光ディスクドライブ(ODD)122、デジタルTV放送チューナ123、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)124、およびネットワークコントローラ125等を備えている。
As shown in FIG. 2, the
CPU111は本コンピュータ10の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ(HDD)121から主メモリ113にロードされる、オペレーティングシステム(OS)、およびビデオ再生アプリケーションプログラム201のような各種アプリケーションプログラムを実行する。
The
ビデオ再生アプリケーションプログラム201は、圧縮符号化された動画像データをデコードおよび再生するためのソフトウェアである。このビデオ再生アプリケーションプログラム201は、H.264/AVC規格に対応するソフトウェアデコーダである。ビデオ再生アプリケーションプログラム201は、H.264/AVC規格で定義された符号化方式で圧縮符号化されている動画像ストリーム(例えば、デジタルTV放送チューナ123によって受信されたデジタルTV放送番組、光ディスクドライブ(ODD)122から読み出されるHD(High Definition)規格のビデオコンテンツ、など)をデコードするための機能を有している。
The video
このビデオ再生アプリケーションプログラム201は、図3に示すように、負荷検出モジュール211、デコード制御モジュール212、およびデコード実行モジュール213を備えている。
As shown in FIG. 3, the video
デコード実行モジュール213は、H.264/AVC規格で定義されたデコード処理を実行するデコーダである。負荷検出モジュール211は、コンピュータ10の負荷を検出するモジュールである。この負荷検出モジュール211は、例えば、オペレーティングシステム(OS)200にコンピュータ10の現在の負荷を問い合わせることによって、コンピュータ10の現在の負荷量を検出する。コンピュータ10の負荷量は、例えば、CPU111の使用率に基づいて決定される。
The
また、コンピュータ10の負荷量は、CPU111の使用率とメモリ113の使用率との組み合わせによって決定することもできる。通常、ソフトウェアデコーダをスムーズに実行するためには、ある一定サイズ以上のメモリが必要である。システムのメモリ使用率が高くなると、OSのページングにより、ソフトウェアデコーダのデコードパフォーマンスは低下する。よって、CPU111の使用率とメモリ113の使用率との組み合わせによってコンピュータ10の負荷量を検出することにより、コンピュータ10の現在の負荷量がソフトウェアデコーダの実行に支障を来す負荷量(高負荷状態)であるかどうかをより精度よく判別することができる。
Further, the load amount of the
デコード制御モジュール212は、負荷検出モジュール211によって検出されたコンピュータ10の負荷に応じて、デコード実行モジュール213によって実行されるデコード処理の内容を制御する。
The
具体的には、デコード制御モジュール212は、コンピュータ10の負荷量が予め決められた基準値以下である場合には、H.264/AVC規格で定義されたデコード処理がCPU111によって実行されるように、デコード実行モジュール213によって実行すべきデコード処理の内容を制御する。一方、コンピュータ10の負荷量が基準値よりも大きい場合には(高負荷状態)、デコード制御モジュール212は、H.264/AVC規格で定義されたデコード処理の一部が省略または簡略された処理に置換されるように、デコード実行モジュール213によって実行すべきデコード処理の内容を制御する。
Specifically, when the load amount of the
ビデオ再生アプリケーションプログラム201によってデコードされた動画像データは、表示ドライバ202を介してグラフィクスコントローラ114のビデオメモリ114Aに順次書き込まれる。これにより、デコードされた動画像データはLCD17に表示される。表示ドライバ202はグラフィクスコントローラ114を制御するためのソフトウェアである。
The moving image data decoded by the video
また、CPU111は、BIOS−ROM120に格納されたシステムBIOS(Basic Input Output System)も実行する。システムBIOSはハードウェア制御のためのプログラムである。
The
ノースブリッジ112はCPU111のローカルバスとサウスブリッジ119との間を接続するブリッジデバイスである。ノースブリッジ112には、主メモリ113をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ112は、AGP(Accelerated Graphics Port)バスなどを介してグラフィクスコントローラ114との通信を実行する機能も有している。
The
グラフィクスコントローラ114は本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このグラフィクスコントローラ114はビデオメモリ(VRAM)114Aに書き込まれた画像データからLCD17に送出すべき表示信号を生成する。
The
サウスブリッジ119は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ119は、HDD121、ODD122を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ119は、デジタルTV放送チューナ123を制御する機能、およびBIOS−ROM120をアクセス制御するための機能も有している。
The
HDD121は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ(ODD)123は、ビデオコンテンツが格納されたDVDなどの記憶メディアを駆動するためのドライブユニットである。デジタルTV放送チューナ123は、デジタルTV放送番組のような放送番組データを外部から受信するための受信装置である。
The HDD 121 is a storage device that stores various software and data. The optical disk drive (ODD) 123 is a drive unit for driving a storage medium such as a DVD in which video content is stored. The digital
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)124は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)124は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)124は、ユーザによるTV起動ボタン15A、DVD起動ボタン15Bの操作に応じて、本コンピュータ10をパワーオンすることもできる。ネットワークコントローラ125は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。
The embedded controller / keyboard controller IC (EC / KBC) 124 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard (KB) 13 and the
次に、図4を参照して、ビデオ再生アプリケーションプログラム201によって実現されるソフトウェアデコーダの機能構成を説明する。
Next, the functional configuration of the software decoder realized by the video
ビデオ再生アプリケーションプログラム201のデコード実行モジュール213は、H.264/AVC規格に対応しており、図示のように、エントロピー復号部301、逆量子化部302、逆DCT部(DCT:Discrete Cosine Transform)303、加算部304、デブロッキングフィルタ部305、フレームメモリ306、動きベクトル予測部307、補間予測部308、重み付き予測部309、イントラ予測部310、およびモード切替スイッチ部311を含む。H.264の直交変換は整数精度であり、従来のDCTとは異なるが、ここではDCTと称することとする。
The
各画面(ピクチャ)の符号化は、たとえば16x16画素のマクロブロック単位で実行される。各マクロブロックごとに、フレーム内符号化モード(イントラ符号化モード)および動き補償フレーム間予測符号化モード(インター符号化モード)のいずれか一方が選択される。 Each screen (picture) is encoded in units of macroblocks of 16 × 16 pixels, for example. For each macroblock, either the intraframe coding mode (intra coding mode) or the motion compensated interframe prediction coding mode (inter coding mode) is selected.
動き補償フレーム間予測符号化モードにおいては、既に符号化された画面(ピクチャ)からの動きを推定することによって、符号化対象画面に対応する動き補償フレーム間予測信号が定められた形状単位で生成される。そして、符号化対象画面(ピクチャ)から動き補償フレーム間予測信号を引いた予測誤差信号が、直交変換(DCT)、量子化、およびエントロピー符号化によって、符号化される。また、イントラ符号化モードにおいては、符号化対象画面(ピクチャ)から予測信号が生成され、その予測信号が直交変換(DCT)、量子化、およびエントロピー符号化によって、符号化される。 In motion-compensated interframe predictive coding mode, motion-predicted interframe prediction signals corresponding to the current picture are generated in a defined shape unit by estimating the motion from the already coded picture (picture). Is done. A prediction error signal obtained by subtracting the motion compensation inter-frame prediction signal from the encoding target screen (picture) is encoded by orthogonal transform (DCT), quantization, and entropy encoding. Further, in the intra coding mode, a prediction signal is generated from a coding target screen (picture), and the prediction signal is encoded by orthogonal transform (DCT), quantization, and entropy coding.
H.264/AVC規格に対応するコーデックは、さらに圧縮率を高めるために、
(1)従来のMPEGよりも高い画素精度(1/4画素精度)の動き補償
(2)フレーム内符号化を効率的に行うためのフレーム内予測
(3)ブロック歪みを低減するためのデブロッキングフィルタ
(4)4x4画素単位の整数DCT
(5)任意の位置の複数の画面(ピクチャ)を参照画面として使用可能なマルチリファレンスフレーム
(6)重み付け予測
等の技術を利用する。
H. In order to further increase the compression rate, the codec corresponding to the H.264 / AVC standard
(1) Motion compensation with higher pixel accuracy (1/4 pixel accuracy) than conventional MPEG (2) Intraframe prediction for efficient intraframe coding (3) Deblocking to reduce block distortion Filter (4) 4x4 pixel integer DCT
(5) A technique such as multi-reference frame (6) weighted prediction that can use a plurality of screens (pictures) at arbitrary positions as a reference screen is used.
以下、図4のソフトウェアデコーダの動作を説明する。 Hereinafter, the operation of the software decoder of FIG. 4 will be described.
H.264/AVC規格にしたがって圧縮符号化された動画像ストリームは、まず、エントロピー復号部301に入力される。圧縮符号化された動画像ストリームには、符号化された画像情報の他に、動き補償フレーム間予測符号化(インター予測符号化)で用いられた動きベクトル情報、フレーム内予測符号化(イントラ予測符号化)で用いられたフレーム内予測情報、予測モード(インター予測符号化/イントラ予測符号化)を示すモード情報等が含まれている。
H. A moving image stream compression-encoded according to the H.264 / AVC standard is first input to the
デコード処理は、たとえば16x16画素のマクロブロック単位で実行される。エントロピー復号部301は動画像ストリームに対して可変長復号のようなエントロピー復号処理を施して、動画像ストリームから、量子化DCT係数、動きベクトル情報(動きベクトル差分情報)、フレーム内予測情報、およびモード情報を分離する。この場合、例えば、デコード対象画面(ピクチャ)内の各マクロブロックは4x4画素(または8x8画素)のブロック毎にエントロピー復号処理され、各ブロックは4x4(または8x8画素)の量子化DCT係数に変換される。以下では、各ブロックが4x4である場合を想定する。
The decoding process is executed in units of macro blocks of 16 × 16 pixels, for example. The
動きベクトル情報は、動きベクトル予測部307に送られる。フレーム内予測情報は、イントラ予測部310に送られる。モード情報はモード切替スイッチ部311に送られる。
The motion vector information is sent to the motion
各デコード対象ブロックの4x4の量子化DCT係数は、逆量子化部302による逆量子化処理により4x4のDCT係数(直交変換係数)に変換される。この4x4のDCT係数は、逆DCT部303による逆整数DCT(逆直交変換)処理によって、周波数情報から、4x4の画素値に変換される。この4x4の画素値は、デコード対象ブロックに対応する予測誤差信号である。この予測誤差信号は加算部304に送られ、そこでデコード対象ブロックに対応する予測信号(動き補償フレーム間予測信号またはフレーム内予測信号)が加算され、これによってデコード対象ブロックに対応する4x4の画素値がデコードされる。
The 4 × 4 quantized DCT coefficients of each decoding target block are converted into 4 × 4 DCT coefficients (orthogonal transform coefficients) by the inverse quantization process by the
イントラ予測モードにおいては、モード切替スイッチ部311によってイントラ予測部310が選択され、これによってイントラ予測部310からのフレーム内予測信号が予測誤差信号に加算される。インター予測モードにおいては、モード切替スイッチ部311によって重み付き予測部309が選択され、これによって、動きベクトル予測部307、補間予測部308、および重み付き予測部309によって得られる動き補償フレーム間予測信号が予測誤差信号に加算される。
In the intra prediction mode, the
このように、デコード対象画面に対応する予測誤差信号に予測信号(動き補償フレーム間予測信号またはフレーム内予測信号)を加算してデコード対象画面をデコードする処理が所定のブロック単位で実行される。 As described above, the process of adding the prediction signal (motion-compensated inter-frame prediction signal or intra-frame prediction signal) to the prediction error signal corresponding to the decoding target screen and decoding the decoding target screen is executed in predetermined block units.
デコードされた各画面(ピクチャ)は、デブロッキングフィルタ部305によってデブロッキングフィルタ処理が施された後に、フレームメモリ306に格納される。このデブロッキングフィルタ部305は、例えば4x4画素のブロック単位で、デコードされた各画面に対してブロックノイズを低減するためのデブロッキングフィルタ処理を施す。このデブロッキングフィルタ処理は、ブロック歪みが参照画像に含まれてしまい、これによってブロック歪みが復号画像に伝搬してしまうことを防止する。デブロッキングフィルタ処理のための処理量は膨大であり、ソフトウェアデコーダの全処理量の50パーセントを占める場合もある。デブロッキングフィルタ処理は、ブロック歪みが生じやすい箇所に対してはより強いフィリタリングが施され、ブロック歪みが生じにくい箇所に対しては弱いフィリタリングが施されるように、適応的に実行される。デブロッキングフィルタ処理はループフィルタ処理によって実現されている。
Each decoded screen (picture) is subjected to deblocking filter processing by the
そして、デブロッキングフィルタ処理された各画面は、フレームメモリ306から出力画像フレーム(または出力画像フィールド)として読み出される。また、動き補償フレーム間予測のための参照画像として使用されるべき各画面(参照画面)は、フレームメモリ306内に一定期間保持される。H.264/AVC規格の動き補償フレーム間予測符号化においては、複数の画面を参照画面として使用することができる。このため、フレームメモリ306は、複数画面分の画像を記憶するための複数個のフレームメモリ部を備えている。
Each screen subjected to the deblocking filter processing is read out from the
動きベクトル予測部307は、デコード対象ブロックに対応する動きベクトル差分情報に基づいて、動きベクトル情報を生成する。補間予測部308は、デコード対象ブロックに対応する動きベクトル情報に基づいて、参照画面内の、整数精度の画素群および1/4画素精度の予測補間画素群から、動き補償フレーム間予測信号を生成する。1/4画素精度の予測補間画素の生成においては、6タップフィルタ(入力6つ、出力1つ)が用いられる。このため、高周波成分まで考慮した高精度の予測補間処理を実行できるが、その分、動き補償には多くの処理量が必要となる。
The motion
重み付け予測部309は、動き補償フレーム間予測信号に対して重み係数を掛ける処理を動き補償ブロック(マクロブロック)単位で実行することにより、重み付けされた動き補償フレーム間予測信号(重み付き予測信号)を生成する。この重み付け予測は、デコード対象画面の明るさを予測する処理である。図5には、重み付き予測の例が示されている。図5においては、デコード対象のマクロブロックが2つの画像を参照画像として使用している場合が示されている。重み付き予測信号は、動き補償予測信号Y0,Y1に適応的に重み係数W0,W1を掛け合わせることによって生成される。重み付け予測は以下のように実行される。
The
(1)P(predictive)スライスのフレーム間予測の場合
L0動き補償予測信号をY0、重み係数をW0とすると、重み付け予測部309は、重み付き予測信号W0Y0を生成する。重み係数W0は、エンコーダからの動画像ストリーム(H.264ストリーム)の中に含まれている。
(1) Inter-frame prediction of P (predictive) slice
Assuming that the L0 motion compensated prediction signal is Y 0 and the weighting coefficient is W 0 , the
(2)Bスライスの中で参照画像を1枚だけ用いる予測の場合
L0(またはL1)動き補償予測信号をY0(またはY1)、重み係数をW0(またはW1)とすると、重み付け予測部309は、重み付き予測信号W0Y0(またはW1Y1)を生成する。重み係数W0(またはW1)はH.264ストリームの中に含まれている。
(2) In the case of prediction using only one reference image in a B slice
When the L0 (or L1) motion compensated prediction signal is Y 0 (or Y 1 ) and the weighting coefficient is W 0 (or W 1 ), the
(3)参照画像を2枚用いるBスライスのBi-predictive予測の場合
(3-1) 明示的(Explicit)モード
L0,L1動き補償予測信号をY0,Y1、重み係数をW0,W1、オフセットをDとすると、重み付け予測部309は、重み付き予測信号W0Y0+W1Y1+Dを生成する。重み係数W0,W1、オフセットDはH.264ストリームの中に含まれている。
(3) Bi-predictive prediction of B slice using two reference images
(3-1) Explicit mode
If the L0 and L1 motion compensated prediction signals are Y0 and Y1, the weighting coefficients are W0 and W1, and the offset is D, the
(3-2) 暗黙的(Implicit)モード
暗黙的モードでは、重み係数W0、W1、オフセットDはエンコーダからのH.264ストリーム中には含まれていない。参照画像0への時間距離をtb、参照画像1への時間距離をtdとした場合、重み付け予測部309は、以下の計算式で、重み係数W0、W1、オフセットDを算出し、そして重み付き予測信号W0Y0+W1Y1+Dを生成する。
(3-2) Implicit mode In the implicit mode, the weighting factors W 0 , W 1 and offset D are not included in the H.264 stream from the encoder. When the time distance to the
W1=tb/td
W0=1-W1
D=0
このような重み付け予測処理により、フェード・イン、フェード・アウトのように、明るさが時間の経過と共に変化する画像の画質を向上することができる。しかし、その分、ソフトウェアデコードに必要な処理量は増大する。
W1 = tb / td
W0 = 1-W1
D = 0
Such weighted prediction processing can improve the image quality of an image whose brightness changes with time, such as fade-in and fade-out. However, the amount of processing required for software decoding increases accordingly.
イントラ予測部310は、上述のフレーム内予測情報に従って画面内予測処理を実行して、デコード対象ブロックと同一画面内に存在する、当該デコード対象ブロックに近接する既にデコードされた他のブロック内の画素値からフレーム内予測信号を生成する。このフレーム内予測(イントラ予測)は、ブロック間の画素相関を利用して圧縮率を高める技術である。このフレーム内予測においては、フレーム内予測情報に従って、垂直予測(予測モード0)、水平予測(予測モード1)、平均値予測(予測モード3)、平面予測(予測モード4)を含む4種類の予測モードの内の一つが、フレーム内予測ブロック(例えば16x16画素)単位で選択される。平面予測が選択される頻度は他のフレーム内予測モードよりも低いが、平面予測のために必要とされる処理量は、他のどのフレーム内予測モードの処理量よりも多い。
The
本実施形態においては、たとえコンピュータ10の負荷が増大しても時間制約内に動画像ストリームをリアルタイムにデコードできるようにするために、コンピュータ10の負荷に応じて、図4で説明した全てのデコード処理(以下、通常デコード処理と称する)と、特殊デコード処理とを選択的に実行する。特殊デコード処理は、重み付き予測に関する処理を簡略化したデコード処理である。特殊デコード処理においては、重み係数の値が零またはその近傍である場合に、重み付き予測信号を零として予測誤差信号のみから復号画像を生成する処理が実行される。
In the present embodiment, in order to be able to decode a moving image stream in real time within a time constraint even if the load on the
以下、図6のフローチャートを参照して、ビデオ再生アプリケーションプログラム201によって実行されるデコード処理の手順を説明する。
Hereinafter, the procedure of the decoding process executed by the video
ビデオ再生アプリケーションプログラム201は、デコード処理の実行期間中、OSに対してコンピュータ10の現在の負荷を問い合わせることによってコンピュータ10の現在の負荷を検出する処理を定期的に繰り返し実行する(ステップS101)。このステップS101においては、ビデオ再生アプリケーションプログラム201は、CPU111の現在の使用率(プロセッサ使用率)と主メモリ113の現在の使用率(メモリ使用率)とをOSから取得する。
During the execution of the decoding process, the video
そして、ビデオ再生アプリケーションプログラム201は、コンピュータ10の現在の負荷量が所定の基準値よりも大きいかどうかによって、コンピュータ10が高負荷状態であるかどうかを判別する(ステップS102)。ステップS102においては、例えば、ビデオ再生アプリケーションプログラム201は、現在のプロセッサ使用率が予め決められたプロセッサ基準使用率よりも大きいか否かを判別するとともに、現在のメモリ使用率が予め決められたメモリ基準使用率よりも大きいか否かを判別する。現在のプロセッサ使用率および現在のメモリ使用率のいずれか一方でもそれに対応する基準使用率よりも大きい場合には、ビデオ再生アプリケーションプログラム201は、コンピュータ10が高負荷状態であると判定する。現在のプロセッサ使用率および現在のメモリ使用率の双方がそれらに対応する基準使用率以下ならば、ビデオ再生アプリケーションプログラム201は、コンピュータ10が高負荷状態ではないと判定する。
Then, the video
コンピュータ10が高負荷状態ではないならば(ステップS102のNO)、ビデオ再生アプリケーションプログラム201は、CPU111に実行させるべきデコード処理として上述の通常デコード処理を選択し、これによって図4で説明した一連の処理をCPU111上で実行する(ステップS103)。コンピュータ10が高負荷状態にならない限り、つまりデコードパフォーマンスが低下しない限り、動画像ストリームは通常デコード処理によってデコードされる。
If the
一方、コンピュータ10が高負荷状態であるならば(ステップS102のYES)、ビデオ再生アプリケーションプログラム201は、CPU111に実行させるべきデコード処理として上述の特殊デコード処理を選択し、これによって重み付け予測に関する処理が簡略化されたデコード処理をCPU111上で実行する(ステップS104)。ステップS104の特殊デコード処理においては、ビデオ再生アプリケーションプログラム201は、重み係数W0, W1が、0、または、0近傍のとき、予測信号の計算処理を省略する。すなわち、重み係数W0, W1が、0、または、0近傍のとき、ビデオ再生アプリケーションプログラム201は、重み付け予測信号をゼロとして出力する。
On the other hand, if the
重み付け予測に関する処理を簡略化することにより、再生される画像は符号化画像とは厳密には一致しなくなるものの、1画面あたりのソフトウェアデコードに必要な処理量を大幅に低減することができる。よって、ソフトウェアデコードの実行中にたとえ他のプログラムが実行されてコンピュータ10が高負荷状態となっても、コマ落ちや、オブジェクトの動きが極端に遅くなるなどの不具合を招くことなく、動画像データのデコードおよび再生をスムーズに継続して実行することができる。
By simplifying the processing related to weighted prediction, the reproduced image does not exactly match the encoded image, but the processing amount required for software decoding per screen can be greatly reduced. Therefore, even if another program is executed during execution of software decoding and the
動画像ストリーム全てのデコードが完了するまで、上述のステップS101〜S104の処理は繰り返し実行される(ステップS105)。他のプログラムの実行が終了されること等によってコンピュータ10の負荷が下がると、デコード処理は、特殊デコード処理から通常デコード処理に再び切り替えられる。
Until the decoding of all the moving image streams is completed, the processes in steps S101 to S104 described above are repeatedly executed (step S105). When the load on the
次に、図7のフローチャートを参照して、ビデオ再生アプリケーションプログラム201によって実行される特殊デコード処理の手順を説明する。
Next, the procedure of special decoding processing executed by the video
ビデオ再生アプリケーションプログラム201は、まず、重み係数W0, W1が、0、または、0近傍であるか否かを判断する(ステップS201)。このステップS201では、ビデオ再生アプリケーションプログラム201は、重み係数W0, W1が例えば-5から5までの範囲内に属するかいなかによって、重み係数W0, W1が、0、または、0近傍であるか否かを判断する。重み係数W0, W1が-5から5までの範囲内に属する場合、つまり重み係数W0, W1が、0、または、0近傍である場合(ステップS201のYES)、ビデオ再生アプリケーションプログラム201は、重み付け予測処理を実行せずに、零の重み付け予測信号を出力する(ステップS202)。そして、ビデオ再生アプリケーションプログラム201は、予測誤差信号と重み付け予測信号との合成(加算)を行わずに、予測誤差信号をデコード対象ブロックの復号画像として出力する(ステップS203)。
The video
一方、重み係数W0, W1が、0、または、0近傍ではない場合、つまり重み係数W0, W1が-5から5までの範囲に属さないならば(ステップS204のNO)、ビデオ再生アプリケーションプログラム201は、通常デコード処理と同じ重み付け予測処理を実行して重み付け予測信号を生成する(ステップS204)。そして、ビデオ再生アプリケーションプログラム201は、予測誤差信号と重み付け予測信号とを合成(加算)して、デコード対象ブロックの復号画像を生成する(ステップS203)。
On the other hand, if the weighting factors W 0 and W 1 are not 0 or not near 0, that is, if the weighting factors W 0 and W 1 do not belong to the range from -5 to 5 (NO in step S204), the video The
以上のように、本実施形態によれば、システムが高負荷状態の場合には、多くの処理量を必要とする重み付き予測処理を簡略化してシステムの負荷を低減することにより、コマ落ちや、オブジェクトの動きが極端に遅くなるなどの不具合を招くことなく、スムーズな動画再生を実現することができる。 As described above, according to the present embodiment, when the system is in a heavy load state, the weighted prediction process that requires a large amount of processing is simplified to reduce the load on the system. Smooth video playback can be realized without causing problems such as extremely slow movement of the object.
なお、上述のデコード制御処理は全てコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することができる。 Since all the decoding control processes described above are realized by a computer program, the same effect as that of the present embodiment can be easily realized simply by introducing this computer program into a normal computer through a computer-readable storage medium. be able to.
また、本実施形態のソフトウェアデコーダは、パーソナルコンピュータに限らず、PDA、携帯型電話機等にも適用することができる。 Further, the software decoder of the present embodiment can be applied not only to a personal computer but also to a PDA, a mobile phone, and the like.
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.
10…コンピュータ、111…CPU、113…メモリ、114…グラフィクスコントローラ、201…負荷検出モジュール、212…デコード制御モジュール、213…デコード実行モジュール、301…エントロピー復号部、302…逆量子化部、303…逆DCT部、304…加算部、305…デブロッキングフィルタ部、306…フレームメモリ、307…動きベクトル予測部、308…補間予測部、309…重み付き予測部、310…イントラ予測部、311…モード切替スイッチ部。
DESCRIPTION OF
Claims (9)
デコードされた1以上の参照画面からデコード対象画面に対応するフレーム間予測信号を生成する動き補償手段と、
前記フレーム間予測信号に重み係数を掛けることによって重み付き予測信号を生成する重み付き予測処理を実行する重み付き予測手段と、
前記デコード対象画面に対応する予測誤差信号に前記デコード対象画面に対応する重み付き予測信号を加算して前記デコード対象画面をデコードする手段と、
前記情報処理装置の負荷を検出する負荷検出手段と、
前記負荷検出手段によって検出された負荷が所定の基準値よりも大きい場合、前記重み係数の値に応じて、前記重み付き予測信号を零とする処理を実行する制御手段とを具備することを特徴とする情報処理装置。 In an information processing apparatus for decoding a compression-coded moving image stream,
Motion compensation means for generating an inter-frame prediction signal corresponding to a decoding target screen from one or more decoded reference screens;
Weighted prediction means for performing weighted prediction processing for generating a weighted prediction signal by multiplying the interframe prediction signal by a weighting factor;
Means for adding the weighted prediction signal corresponding to the decoding target screen to the prediction error signal corresponding to the decoding target screen and decoding the decoding target screen;
Load detecting means for detecting a load of the information processing apparatus;
Control means for executing a process of setting the weighted prediction signal to zero according to the value of the weighting coefficient when the load detected by the load detecting means is larger than a predetermined reference value. Information processing apparatus.
前記情報に基づいて前記重み係数を算出する手段をさらに具備することを特徴とする請求項1記載の情報処理装置。 The moving image stream includes information indicating a time distance between the decoding target screen and the reference screen,
The information processing apparatus according to claim 1, further comprising means for calculating the weighting factor based on the information.
デコードされた1以上の参照画面からデコード対象画面に対応するフレーム間予測信号を生成する動き補償処理を、前記コンピュータに実行させる手順と、
前記フレーム間予測信号に重み係数を掛けることによって重み付き予測信号を生成する重み付き予測処理を前記コンピュータに実行させる手順と、
前記デコード対象画面に対応する予測誤差信号に前記デコード対象画面に対応する重み付き予測信号を加算して前記デコード対象画面をデコードする処理を前記コンピュータに実行させる手順と、
前記コンピュータの負荷を検出する処理を前記コンピュータに実行させる手順と、
前記検出された負荷が所定の基準値よりも大きい場合、前記重み係数の値に応じて、前記重み付き予測信号を零とする処理を実行する制御処理を、前記コンピュータに実行させる手順とを具備することを特徴とするプログラム。 A program for causing a computer to execute a decoding process for decoding a moving image stream,
A procedure for causing the computer to execute motion compensation processing for generating an inter-frame prediction signal corresponding to a decoding target screen from one or more decoded reference screens;
A procedure for causing the computer to execute a weighted prediction process for generating a weighted prediction signal by multiplying the interframe prediction signal by a weighting factor;
A procedure for causing the computer to execute a process of decoding the decoding target screen by adding a weighted prediction signal corresponding to the decoding target screen to a prediction error signal corresponding to the decoding target screen;
A procedure for causing the computer to execute a process of detecting a load on the computer;
A procedure for causing the computer to execute a control process for executing the process of setting the weighted prediction signal to zero according to the value of the weighting coefficient when the detected load is greater than a predetermined reference value. The program characterized by doing.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004286542A JP2006101322A (en) | 2004-09-30 | 2004-09-30 | Information processing apparatus and program used for the processing apparatus |
DE602005015067T DE602005015067D1 (en) | 2004-09-30 | 2005-08-11 | Information processing device and program |
EP05107386A EP1646243B1 (en) | 2004-09-30 | 2005-08-11 | Information processing apparatus and program for use in the same |
US11/210,308 US8040951B2 (en) | 2004-09-30 | 2005-08-24 | Information processing apparatus and program for use in the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004286542A JP2006101322A (en) | 2004-09-30 | 2004-09-30 | Information processing apparatus and program used for the processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006101322A true JP2006101322A (en) | 2006-04-13 |
Family
ID=36240693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004286542A Pending JP2006101322A (en) | 2004-09-30 | 2004-09-30 | Information processing apparatus and program used for the processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006101322A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042566A (en) * | 2006-08-07 | 2008-02-21 | Toshiba Corp | Information processor and decoding control method of the information processor |
JP2008245131A (en) * | 2007-03-28 | 2008-10-09 | Toshiba Corp | Moving image decoding apparatus and method |
WO2011142277A1 (en) * | 2010-05-13 | 2011-11-17 | シャープ株式会社 | Prediction image generation device, moving image decoding device, and moving image coding device |
JP2012500602A (en) * | 2008-08-19 | 2012-01-05 | クゥアルコム・インコーポレイテッド | Power and computational load management techniques in video processing. |
US8908763B2 (en) | 2008-06-25 | 2014-12-09 | Qualcomm Incorporated | Fragmented reference in temporal compression for video coding |
US8948822B2 (en) | 2008-04-23 | 2015-02-03 | Qualcomm Incorporated | Coordinating power management functions in a multi-media device |
US8948270B2 (en) | 2008-08-19 | 2015-02-03 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US9319695B2 (en) | 2010-04-28 | 2016-04-19 | Fujitsu Limited | Moving image output apparatus and method |
-
2004
- 2004-09-30 JP JP2004286542A patent/JP2006101322A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042566A (en) * | 2006-08-07 | 2008-02-21 | Toshiba Corp | Information processor and decoding control method of the information processor |
US8130832B2 (en) | 2007-03-28 | 2012-03-06 | Kabushiki Kaisha Toshiba | Video decoding device and video decoding method |
JP2008245131A (en) * | 2007-03-28 | 2008-10-09 | Toshiba Corp | Moving image decoding apparatus and method |
US8948822B2 (en) | 2008-04-23 | 2015-02-03 | Qualcomm Incorporated | Coordinating power management functions in a multi-media device |
US8908763B2 (en) | 2008-06-25 | 2014-12-09 | Qualcomm Incorporated | Fragmented reference in temporal compression for video coding |
JP2012500602A (en) * | 2008-08-19 | 2012-01-05 | クゥアルコム・インコーポレイテッド | Power and computational load management techniques in video processing. |
JP2014041628A (en) * | 2008-08-19 | 2014-03-06 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US8948270B2 (en) | 2008-08-19 | 2015-02-03 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US8964828B2 (en) | 2008-08-19 | 2015-02-24 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US9462326B2 (en) | 2008-08-19 | 2016-10-04 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US9565467B2 (en) | 2008-08-19 | 2017-02-07 | Qualcomm Incorporated | Power and computational load management techniques in video processing |
US9319695B2 (en) | 2010-04-28 | 2016-04-19 | Fujitsu Limited | Moving image output apparatus and method |
JPWO2011142277A1 (en) * | 2010-05-13 | 2013-07-22 | シャープ株式会社 | Predicted image generation device, moving image decoding device, and moving image encoding device |
WO2011142277A1 (en) * | 2010-05-13 | 2011-11-17 | シャープ株式会社 | Prediction image generation device, moving image decoding device, and moving image coding device |
JP5784596B2 (en) * | 2010-05-13 | 2015-09-24 | シャープ株式会社 | Predicted image generation device, moving image decoding device, and moving image encoding device |
US10034012B2 (en) | 2010-05-13 | 2018-07-24 | Sharp Kabushiki Kaisha | Prediction image generation device, moving image decoding device, and moving image coding device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8040951B2 (en) | Information processing apparatus and program for use in the same | |
JP4643453B2 (en) | Information processing apparatus and moving picture decoding method for information processing apparatus | |
JP4825524B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
JP2006254230A (en) | Information processing apparatus and program | |
JP2007174196A (en) | Information processing unit, control method, and program | |
JP2008072647A (en) | Information processor, decoder, and operational control method of reproducing device | |
US20090034615A1 (en) | Decoding device and decoding method | |
JP2006254231A (en) | Information processing apparatus and program used for the apparatus | |
JP2006254232A (en) | Information processing apparatus and program | |
US20060203910A1 (en) | Information processing apparatus and decoding method | |
JP4834590B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
US8611433B2 (en) | Information processing apparatus and video decoding method of information processing apparatus | |
JP2006101322A (en) | Information processing apparatus and program used for the processing apparatus | |
JP5066232B2 (en) | Information processing apparatus and image processing method | |
JP2006101321A (en) | Information processing apparatus and program used for the processing apparatus | |
JP2006101405A (en) | Information processing apparatus and program used for the processing apparatus | |
JP2007318615A (en) | Moving image reproducing device, moving image reproduction method and program | |
JP2006101406A (en) | Information processing apparatus and program used for the processing apparatus | |
JP4282582B2 (en) | Information processing apparatus and program used in the same apparatus | |
JP2006101323A (en) | Information processing apparatus and program used for the processing apparatus | |
JP2006101404A (en) | Information processing apparatus and program used for the processing apparatus | |
JP2009182891A (en) | Information processor and program | |
JP2006101402A (en) | Information processing apparatus and program used for the processing apparatus | |
JP2008085868A (en) | Information processor and information processing method | |
JP5248583B2 (en) | Moving picture decoding apparatus and moving picture decoding method |