JP2006311587A - 画像復号装置 - Google Patents
画像復号装置 Download PDFInfo
- Publication number
- JP2006311587A JP2006311587A JP2006152025A JP2006152025A JP2006311587A JP 2006311587 A JP2006311587 A JP 2006311587A JP 2006152025 A JP2006152025 A JP 2006152025A JP 2006152025 A JP2006152025 A JP 2006152025A JP 2006311587 A JP2006311587 A JP 2006311587A
- Authority
- JP
- Japan
- Prior art keywords
- display
- frame
- decoding
- image
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供する。
【解決手段】画面ごとに復号処理にかかる時間、表示処理にかかる時間を、画面の処理ブロック数、表示のための後処理時間などから推定し、その結果、所望の表示タイミングまでにこれらの処理ができないと判定された場合には、当該画面の表示を行わないように制御するものである。
【選択図】図2
【解決手段】画面ごとに復号処理にかかる時間、表示処理にかかる時間を、画面の処理ブロック数、表示のための後処理時間などから推定し、その結果、所望の表示タイミングまでにこれらの処理ができないと判定された場合には、当該画面の表示を行わないように制御するものである。
【選択図】図2
Description
本発明は、フレーム内予測およびフレーム間予測により符号化された動画像を復号して表示する画像復号装置に関するものである。
動画像の符号化方式は、国際標準化機関により、MPEG−1、MPEG−2、MPEG−4等の規格が制定されている。これらは、いずれも動き補償付きフレーム間予測とDCTによりフレーム内予測を組み合わせたハイブリッド符号化になっている。
これらのMPEG規格においては、復号に必用な技術の集合であるプロファイルと、フレーム画像の大きさやビットレートなどの復号器が備えなければならない能力の集合であるレベルが規定されている。復号器の能力は、このプロファイルとレベルの組み合わせにより規定される。
図4は従来の画像復号装置の概略構成を示すブロック図である。図4において、401は復号処理部であり、入力されたビットストリームをフレーム単位で復号して復号フレーム画像に変換し、復号画像格納メモリ402へ格納する。
復号画像格納メモリ402に格納されたフレーム画像は、復号処理部401において次のフレームの復号時にフレーム間予測にも使用される。403は表示変換処理部であり、復号画像格納メモリ402に格納された復号画像を表示のためのデータへ変換し、表示フレームメモリ404へ格納する。
405は表示回路であり、表示フレームメモリ404に格納されている画像を表示走査のタイミングで読み出して、表示信号に変換し出力する。表示回路405による表示メモリの走査による読み出しは、通常表示変換処理部403によるフレームメモリの書き換え処理が見えないように行う必要があるため、表示メモリの走査の開始を示す垂直同期信号に同期して表示用フレームメモリを更新する必要がある。
また、表示変換処理部403による表示変換処理が、表示回路405が画像表示用フレームメモリ404を走査するより遅い場合には、表示用フレームメモリ404は2フレーム分のメモリを用意し、一方のフレームメモリを表示している間に、もう一方のフレームメモリの書き換えを行い、書き換えが完了したら、表示用のフレームメモリと書き換え用のフレームメモリを入れ替えるデュアルバッファ構成にする必要がある。
この場合、復号および表示変換のための処理の過程において、表示の垂直同期に対し同期を取る必要があるが、入力データが復号装置のレベルを満たしている場合には、復号処理と表示変換処理にかかる合計の時間は、所定時間以下を保証できるため、符号化の開始を表示時間の所定時間前の垂直同期に同期して開始すれば、正常な表示が可能となる。
406は制御部であり、復号装置の処理の状態やユーザー操作等の復号装置の動作に必要な信号を監視し、各回路を制御する。表示変換処理部403では、表示用回路が対応する画素アスペクトレシオと異なる復号画像を表示回路の対応するアスペクトレシオへの変換や、表示装置が対応しない画像サイズの復号画像を表示装置対応する画像サイズへの変換、復号画像からブロックノイズなど符号化に特有の視覚上の妨害を軽減するためのフィルタ処理などを行う。
図5は従来の復号装置において復号可能なデータが入力された場合の動作を示すタイミングチャートである。また、図6は従来の復号装置において復号可能なレベルを上回る符号データが入力された場合の復号処理および表示変換処理の様子を示すタイミングチャートである。それぞれのタイミングチャートにおける各欄の意味について以下説明を行う。
垂直同期の欄は、縦線が垂直同期信号のタイミングを示す。表示回路405はこの同期信号にしたがってフレームの表示処理を行う。本来の表示フレームは、入力された符号データに指定されているフレームデータの表示タイミングを示す。
復号処理の欄は、それぞれのフレームの復号動作が行われているタイミングを示す。表示変換処理の欄は、表示変換処理部403で処理が行われているタイミングと処理を行っているフレームを示す。実際の表示フレームの欄は、実際に表示回路405で表示されるフレームと表示されるタイミングを示す。
図5においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレームを下回っているため、正常にデコードおよび表示が行われている。
一方、図6においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレーム期間を上回る時間がかかっているため、復号を開始してから表示フレームの切り替えタイミングである2フレーム期間を過ぎてしまい、実際に表示が切り替わるのは、符号化開始から3フレーム期間過ぎた時点になる。
次の垂直同期のタイミングで表示を切り替えた時点で次の画像の復号を開始するため、画像の表示されるタイミングが符号で指定されたタイミングに対し実際の表示がどんどん遅れていく現象が起きる。この結果、音声と画像との同期がずれていったり、また、符号化時に想定しているタイミングで符号データが消費されないため、符号バッファがあふれる等の現象が生じ、再生に破綻をきたす。
したがって、復号開始以前に入力の符号データのプロファイル及びレベル等をチェックし、復号装置の想定しているレベルを超える符号データは復号を開始しないといった処理を行っている。
上述した従来の画像復号装置では、レベルの規定を上回る画像符号が入力された場合、正常な画像を出力できない。しかしながら、レベルを上回る符号を入力された場合でも、完全な表示はできなくても画像の内容の確認が可能な程度の簡易再生でも良いから画像を表示したいという要求がある。
本発明は、上記課題に鑑みてなされたものであり、復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供するものである。
本願の第1の発明は、フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、現在の時刻を求める手段と、符号化データの処理を行う第1乃至第3の符合化データ処理手段と、前記第1乃至第3の符合化データ処理手段を選択する選択手段とを備え、前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第1乃至第3の符合化データ処理手段のいずれか1つを選択し、前記第1の符合化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第2の符合化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、前記第3の符合化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符合化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする。
前記第2の符合化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、前記第3の符合化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符合化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする。
本発明の画像復号装置は、上記のような構成としているので、入力されたビットストリームがレベルにより規定された上限を超える入力であった場合でも、すべてのフレームが表示されるわけではないが、一応の表示が可能となり、画像の内容の確認が可能になる。
以下、本発明の一実施形態を、図1乃至図3とともに詳細に説明する。
図1は本実施形態における概略構成を示すプロック図である。図1において、図4と同じ符号を付したブロックは、上述の従来例と同一動作を行う部分であるため、その詳細な説明は省略する。本実施形態の画像復号装置は、制御部406に代えて制御部506を備えたものである。
図1は本実施形態における概略構成を示すプロック図である。図1において、図4と同じ符号を付したブロックは、上述の従来例と同一動作を行う部分であるため、その詳細な説明は省略する。本実施形態の画像復号装置は、制御部406に代えて制御部506を備えたものである。
図2は本実施形態におけるレベルを超えた画像が入力された場合の復号処理及び表示変換処理のシーケンスを示すタイミングチャートである。各欄の意味は上述の従来例で示したタイミングチャートと同一であるので、その説明は省略する。
すなわち、図6とともに上述した従来例における動作との違いは、図1における制御部506と図4における制御部406との動作の違いによるものである。
図3は制御部506の動作を示すフローチャートである。以下では、制御部506の状態遷移とそれぞれの状態における復号処理及び表示変換処理の制御に関する制御部506の動作について、図3のフローチャートにより説明する。
(1)状態S1フレーム1の復号処理開始時点において、1フレーム分の復号時間の予測値T1と、1フレーム分の表示変換処理時間の予測値T2とを、ビットレートや復号画像の画像サイズおよび表示変換処理の処理画素数や処理内容を元にそれぞれ求める(S601)。
求めたそれぞれの処理時間と、符号データから求めたそのフレームを表示しなければならない時間であるtd、および、フレームの復号開始時点の時間t1とすると、復号処理および表示変換処理に使用できる時間であるtd−t1を求めTthとする(S602)。
T1+T2 < Tthであれば、状態S2に遷移する。T1 < Tth < T1+T2であれば、状態S3へ遷移する。T1 > Tthであれば、状態S4に移行する。
(2)状態S2制御部506は、復号処理と表示処理の両方が可能であると判断し、復号処理部401へ復号処理の開始するよう制御する(S603)。復号処理部401は復号処理が終了したら、それを制御部506へ通知する。復号処理の終了の通知を受けて制御部506は次に表示変換処理部403へ変換処理の開始するよう制御する(S604)。
表示変換処理部403は変換処理が終了したら制御部506へ通知する。制御部506はそのフレームの表示タイミングに一番近い垂直同期信号まで待って表示の切り替えを行い(S605)、状態S1へ遷移する。
(3)状態S3制御部506は、復号処理部401へ復号の開始を行うように制御し、復号処理の終了が復号処理部1から通知されるのを待つ(S606)。復号処理部401は復号が終了したら、それを制御部506へ通知する。制御部506は復号の終了の通知により状態S1へ移行する。
(4)状態S4制御部506は、復号処理部401に対し、次のフレーム内予測フレームまで、符号データを破棄する動作になるよう制御する(S607)。次のフレーム内予測フレームが見つかったら、状態S1へ遷移する。
制御部506は、上記のような状態遷移を繰り返すことにより、図2のタイミングチャートに示すような動作を行う。従って、表示がスキップされる画面数を減らし、効率的な処理を行うことが可能であり、簡易表示ではあるが、画像の内容を確認することができる。
401 復号処理部
402 復号画像格納メモリ
403 表示変換処理部
404 表示フレームメモリ
405 表示回路
506 制御部
402 復号画像格納メモリ
403 表示変換処理部
404 表示フレームメモリ
405 表示回路
506 制御部
Claims (1)
- フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、
各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、
現在の時刻を求める手段と、
符号化データの処理を行う第1乃至第3の符合化データ処理手段と、
前記第1乃至第3の符合化データ処理手段を選択する選択手段とを備え、
前記選択手段は、前記現在の時刻と前記フレーム表示時刻との差分に応じて前記第1乃至第3の符合化データ処理手段のいずれか1つを選択し、
前記第1の符合化データ処理手段は、フレームの復号処理と表示変換処理を行い、
前記第2の符合化データ処理手段は、フレームの表示変換処理を行うことなく復号処理を行い、
前記第3の符合化データ処理手段は、フレームの復号処理と表示変換処理を行うことなく、フレーム間予測によるに符合化データを含まないフレームが現れるまで符号化データを破棄することを特徴とする画像復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152025A JP2006311587A (ja) | 2006-05-31 | 2006-05-31 | 画像復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152025A JP2006311587A (ja) | 2006-05-31 | 2006-05-31 | 画像復号装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000352124A Division JP3888848B2 (ja) | 2000-11-20 | 2000-11-20 | 画像復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006311587A true JP2006311587A (ja) | 2006-11-09 |
Family
ID=37477805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006152025A Pending JP2006311587A (ja) | 2006-05-31 | 2006-05-31 | 画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006311587A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2124446A1 (en) * | 2008-05-19 | 2009-11-25 | Saab Ab | A control device and a method for adjusting the frame rate of a video image sequence |
JP2013089105A (ja) * | 2011-10-20 | 2013-05-13 | Mitsubishi Electric Corp | 表示端末 |
-
2006
- 2006-05-31 JP JP2006152025A patent/JP2006311587A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2124446A1 (en) * | 2008-05-19 | 2009-11-25 | Saab Ab | A control device and a method for adjusting the frame rate of a video image sequence |
WO2009142582A1 (en) * | 2008-05-19 | 2009-11-26 | Saab Ab | A control device and a method for adjusting the frame rate of a video image sequence |
JP2013089105A (ja) * | 2011-10-20 | 2013-05-13 | Mitsubishi Electric Corp | 表示端末 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10511849B2 (en) | Decoding method and apparatus enabling fast channel change of compressed video | |
US20090086818A1 (en) | Frame buffer memory operating method used to decompress compressed moving pictures, and decoding apparatus adapted to frame buffer memory operating method | |
JP6094126B2 (ja) | 動画像復号装置 | |
US8170375B2 (en) | Image processing apparatus and method for controlling the same | |
JP2009111932A (ja) | 動画像復号化装置 | |
JP3888848B2 (ja) | 画像復号装置 | |
JP2006311587A (ja) | 画像復号装置 | |
JP6021153B2 (ja) | ビデオ画像を復号する方法及び装置 | |
JP2009071365A (ja) | 動画像復号装置およびその方法 | |
EP1755343A1 (en) | Signal reproducing device | |
JP2006238378A (ja) | ビデオビットストリーム復号化出力装置 | |
JP2005236386A (ja) | 画像処理装置 | |
JP6490945B2 (ja) | 画像処理装置 | |
JP6229758B2 (ja) | 動画像符号化方法 | |
JP6202140B2 (ja) | 動画像符号化装置 | |
JP6202141B2 (ja) | 動画像符号化復号システム | |
JP6229759B2 (ja) | 動画像復号方法 | |
JP6490946B2 (ja) | 画像処理装置 | |
JP2002152743A (ja) | 動画像復号装置 | |
JP2010206463A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム | |
JP2005080122A (ja) | 画像復号化装置 | |
JP2009159374A (ja) | 画像圧縮符号化装置および画像圧縮符号化方法 | |
JP2010206464A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |