JP2002159011A - 画像復号装置 - Google Patents

画像復号装置

Info

Publication number
JP2002159011A
JP2002159011A JP2000352124A JP2000352124A JP2002159011A JP 2002159011 A JP2002159011 A JP 2002159011A JP 2000352124 A JP2000352124 A JP 2000352124A JP 2000352124 A JP2000352124 A JP 2000352124A JP 2002159011 A JP2002159011 A JP 2002159011A
Authority
JP
Japan
Prior art keywords
display
image
decoding
frame
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000352124A
Other languages
English (en)
Other versions
JP3888848B2 (ja
Inventor
Motohiro Ito
元浩 伊藤
Shinya Hasegawa
伸也 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000352124A priority Critical patent/JP3888848B2/ja
Publication of JP2002159011A publication Critical patent/JP2002159011A/ja
Application granted granted Critical
Publication of JP3888848B2 publication Critical patent/JP3888848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 復号装置のレベルを上回るフレームレートの
画像データが入力された場合でも、簡易表示することが
可能な画像復号装置を提供する。 【解決手段】 画面ごとに復号処理にかかる時間、表示
処理にかかる時間を、画面の処理ブロック数、表示のた
めの後処理時間などから推定し、その結果、所望の表示
タイミングまでにこれらの処理ができないと判定された
場合には、当該画面の表示を行わないように制御するも
のである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、フレーム内予測お
よびフレーム間予測により符号化された動画像を復号し
て表示する画像復号装置に関するものである。
【0002】
【従来の技術】動画像の符号化方式は、国際標準化機関
により、MPEG-1、MPEG-2、MPEG-4等の規格が制定されて
いる。これらは、いずれも動き補償付きフレーム間予測
とDCTによりフレーム内予測を組み合わせたハイブリッ
ド符号化になっている。
【0003】これらのMPEG規格においては、復号に必用
な技術の集合であるプロファイルと、フレーム画像の大
きさやビットレートなどの復号器が備えなければならな
い能力の集合であるレベルが規定されている。復号器の
能力は、このプロファイルとレベルの組み合わせにより
規定される。
【0004】図4は従来の画像復号装置の概略構成を示
すブロック図である。図4において、401は復号処理
部であり、入力されたビットストリームをフレーム単位
で復号して復号フレーム画像に変換し、復号画像格納メ
モリ402へ格納する。
【0005】復号画像格納メモリ402に格納されたフ
レーム画像は、復号処理部401において次のフレーム
の復号時にフレーム間予測にも使用される。403は表
示変換処理部であり、復号画像格納メモリ402に格納
された復号画像を表示のためのデータへ変換し、表示フ
レームメモリ404へ格納する。
【0006】405は表示回路であり、表示フレームメ
モリ404に格納されている画像を表示走査のタイミン
グで読み出して、表示信号に変換し出力する。表示回路
405による表示メモリの走査による読み出しは、通常
表示変換処理部403によるフレームメモリの書き換え
処理が見えないように行う必要があるため、表示メモリ
の走査の開始を示す垂直同期信号に同期して表示用フレ
ームメモリを更新する必要がある。
【0007】また、表示変換処理部403による表示変
換処理が、表示回路405が画像表示用フレームメモリ
404を走査するより遅い場合には、表示用フレームメ
モリ404は2フレーム分のメモリを用意し、一方のフ
レームメモリを表示している間に、もう一方のフレーム
メモリの書き換えを行い、書き換えが完了したら、表示
用のフレームメモリと書き換え用のフレームメモリを入
れ替えるデュアルバッファ構成にする必要がある。
【0008】この場合、復号および表示変換のための処
理の過程において、表示の垂直同期に対し同期を取る必
要があるが、入力データが復号装置のレベルを満たして
いる場合には、復号処理と表示変換処理にかかる合計の
時間は、所定時間以下を保証できるため、符号化の開始
を表示時間の所定時間前の垂直同期に同期して開始すれ
ば、正常な表示が可能となる。
【0009】406は制御部であり、復号装置の処理の
状態やユーザー操作等の復号装置の動作に必要な信号を
監視し、各回路を制御する。表示変換処理部403で
は、表示用回路が対応する画素アスペクトレシオと異な
る復号画像を表示回路の対応するアスペクトレシオへの
変換や、表示装置が対応しない画像サイズの復号画像を
表示装置対応する画像サイズへの変換、復号画像からブ
ロックノイズなど符号化に特有の視覚上の妨害を軽減す
るためのフィルタ処理などを行う。
【0010】図5は従来の復号装置において復号可能な
データが入力された場合の動作を示すタイミングチャー
トである。また、図6は従来の復号装置において復号可
能なレベルを上回る符号データが入力された場合の復号
処理および表示変換処理の様子を示すタイミングチャー
トである。それぞれのタイミングチャートにおける各欄
の意味について以下説明を行う。
【0011】垂直同期の欄は、縦線が垂直同期信号のタ
イミングを示す。表示回路405はこの同期信号にした
がってフレームの表示処理を行う。本来の表示フレーム
は、入力された符号データに指定されているフレームデ
ータの表示タイミングを示す。
【0012】復号処理の欄は、それぞれのフレームの復
号動作が行われているタイミングを示す。表示変換処理
の欄は、表示変換処理部403で処理が行われているタ
イミングと処理を行っているフレームを示す。実際の表
示フレームの欄は、実際に表示回路405で表示される
フレームと表示されるタイミングを示す。
【0013】図5においては、復号処理と表示変換処理
との合計時間が復号装置の想定している最大の処理時間
である2フレームを下回っているため、正常にデコード
および表示が行われている。
【0014】一方、図6においては、復号処理と表示変
換処理との合計時間が復号装置の想定している最大の処
理時間である2フレーム期間を上回る時間がかかってい
るため、復号を開始してから表示フレームの切り替えタ
イミングである2フレーム期間を過ぎてしまい、実際に
表示が切り替わるのは、符号化開始から3フレーム期間
過ぎた時点になる。
【0015】次の垂直同期のタイミングで表示を切り替
えた時点で次の画像の復号を開始するため、画像の表示
されるタイミングが符号で指定されたタイミングに対し
実際の表示がどんどん遅れていく現象が起きる。この結
果、音声と画像との同期がずれていったり、また、符号
化時に想定しているタイミングで符号データが消費され
ないため、符号バッファがあふれる等の現象が生じ、再
生に破綻をきたす。
【0016】したがって、復号開始以前に入力の符号デ
ータのプロファイル及びレベル等をチェックし、復号装
置の想定しているレベルを超える符号データは復号を開
始しないといった処理を行っている。
【0017】
【発明が解決しようとする課題】上述した従来の画像復
号装置では、レベルの規定を上回る画像符号が入力され
た場合、正常な画像を出力できない。しかしながら、レ
ベルを上回る符号を入力された場合でも、完全な表示は
できなくても画像の内容の確認が可能な程度の簡易再生
でも良いから画像を表示したいという要求がある。
【0018】本発明は、上記課題に鑑みてなされたもの
であり、復号装置のレベルを上回るフレームレートの画
像データが入力された場合でも、簡易表示することが可
能な画像復号装置を提供するものである。
【0019】
【課題を解決するための手段】本願の第1の発明は、フ
レーム内予測およびフレーム間予測により符号化された
動画像を復号して表示する画像復号装置であって、各フ
レーム毎にそのフレームの表示を行う時間を復号により
求める手段と、画像の復号開始時点の時間を得る手段
と、画像のサイズおよびビットレートから復号が完了す
る時間を予測する手段と、画像のサイズから復号画像を
表示用画像データへ変換するために必要な時間を予測す
る手段と、前記予測した時間から、復号および表示を行
うかどうかを判定する手段とを備え、表示が間に合わな
いと判定した場合には、復号画像の表示用画像データへ
の変換と表示画像の切り替えを行わずに次のフレームの
復号へ移行し、また、フレームの復号の開始時の時間が
その表示時間より所定の時間以上遅れた場合には、フレ
ームの復号を行わずに次のフレーム内符号化のみを使用
したフレームデータが現れるまで、符号の廃棄を行うこ
とを特徴とする。
【0020】本願の第2の発明は、復号画像の表示用画
像データへの変換処理が複数の処理を含み、表示のため
に必須な処理と、必須でない処理からなる場合に、表示
を行うために必須な処理に懸かる時間を予測する手段
と、表示のために必須ではない処理に懸かる時間を予測
する手段とを備え、必須処理と必須でない処理との処理
時間の合計では表示時間に間に合わないが、必須処理の
みの時間では表示に間に合う場合には、必須処理のみを
行うように制御することを特徴とする。
【0021】
【発明の実施の形態】以下、本発明の一実施形態を、図
1乃至図3とともに詳細に説明する。
【0022】図1は本実施形態における概略構成を示す
プロック図である。図1において、図4と同じ符号を付
したブロックは、上述の従来例と同一動作を行う部分で
あるため、その詳細な説明は省略する。本実施形態の画
像復号装置は、制御部406に代えて制御部506を備
えたものである。
【0023】図2は本実施形態におけるレベルを超えた
画像が入力された場合の復号処理及び表示変換処理のシ
ーケンスを示すタイミングチャートである。各欄の意味
は上述の従来例で示したタイミングチャートと同一であ
るので、その説明は省略する。
【0024】すなわち、図6とともに上述した従来例に
おける動作との違いは、図1における制御部506と図
4における制御部406との動作の違いによるものであ
る。
【0025】図3は制御部506の動作を示すフローチ
ャートである。以下では、制御部506の状態遷移とそ
れぞれの状態における復号処理及び表示変換処理の制御
に関する制御部506の動作について、図3のフローチ
ャートにより説明する。
【0026】(1)状態S1 フレーム1の復号処理開始時点において、1フレーム分
の符号化時間の予測値T1と、1フレーム分の表示変換処
理時間の予測値T2とを、ビットレートや復号画像の画像
サイズおよび表示変換処理の処理画素数や処理内容を元
にそれぞれ求める(S601)。
【0027】求めたそれぞれの処理時間と、符号データ
から求めたそのフレームを表示しなければならない時間
であるtd1、および、フレームの復号開始時点の時間t
1とすると、復号処理および表示変換処理に使用できる
時間であるtd1−t1を求めTth1とする(S602)。
【0028】T1+T2 < Tth1であれば、状態S2に遷移す
る。T1 < Tth < T1+T2であれば、状態S3へ遷移する。
T1 > Tthであれば、状態S4に移行する。
【0029】(2)状態S2 制御部506は、復号処理と表示処理の両方が可能であ
ると判断し、復号処理部401へ復号処理の開始するよ
う制御する(S603)。復号処理部401は復号処理
が終了したら、それを制御部506へ通知する。復号処
理の終了の通知を受けて制御部506は次に表示変換処
理部403へ変換処理の開始するよう制御する(S60
4)。
【0030】表示変換処理部403は変換処理が終了し
たら制御部506へ通知する。制御部506はそのフレ
ームの表示タイミングに一番近い垂直同期信号まで待っ
て表示の切り替えを行い(S605)、状態S1へ遷移す
る。
【0031】(3)状態S3 制御部506は、復号処理部401へ復号の開始を行う
ように制御し、復号処理の終了が復号処理部1から通知
されるのを待つ(S606)。復号処理部401は復号
が終了したら、それを制御部506へ通知する。制御部
506は復号の終了の通知により状態S1へ移行する。
【0032】(4)状態S4 制御部506は、復号処理部401に対し、次のフレー
ム内予測フレームまで、符号データを破棄する動作にな
るよう制御する(S607)。次のフレーム内予測フレ
ームが見つかったら、状態S1へ遷移する。
【0033】制御部506は、上記のような状態遷移を
繰り返すことにより、図2のタイミングチャートに示す
ような動作を行う。従って、表示がスキップされる画面
数を減らし、効率的な処理を行うことが可能であり、簡
易表示ではあるが、画像の内容を確認することができ
る。
【0034】
【発明の効果】本発明の画像復号装置は、上記のような
構成としているので、入力されたビットストリームがレ
ベルにより規定された上限を超える入力であった場合で
も、すべてのフレームが表示されるわけではないが、一
応の表示が可能となり、画像の内容の確認が可能にな
る。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像復号装置の概略
構成を示すブロック図である。
【図2】本発明の一実施形態において、レベルを上回る
フレームレートの符号データが入力された場合の、復号
処理、表示変換および表示される表示画像のシーケンス
を示すタイミングチャートである。
【図3】本発明の一実施形態における制御部506の動
作を示すフローチャートである。
【図4】従来の画像復号装置の概略構成を示すブロック
図である。
【図5】従来の画像復号装置において、レベル内の符号
データを入力した場合の復号処理、表示変換および表示
される表示画像のシーケンスを示すタイミングチャート
である。
【図6】従来の画像復号装置において、レベルを上回る
フレームレートの符号データが入力された場合の復号処
理、表示変換および表示される表示画像のシーケンスを
示すタイミングチャートである。
【符号の説明】
401 復号処理部 402 復号画像格納メモリ 403 表示変換処理部 404 表示フレームメモリ 405 表示回路 506 制御部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK35 MA00 MA04 MA05 MA23 PP04 TA07 TB04 TC18 UA05 UA38 5C082 BA41 BB44 BB49 MM10

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 フレーム内予測およびフレーム間予測に
    より符号化された動画像を復号して表示する画像復号装
    置であって、 各フレーム毎にそのフレームの表示を行う時間を復号に
    より求める手段と、 画像の復号開始時点の時間を得る手段と、 画像のサイズおよびビットレートから復号が完了する時
    間を予測する手段と、 画像のサイズから復号画像を表示用画像データへ変換す
    るために必要な時間を予測する手段と、 前記予測した時間から、復号および表示を行うかどうか
    を判定する手段とを備え、 表示が間に合わないと判定した場合には、復号画像の表
    示用画像データへの変換と表示画像の切り替えを行わず
    に次のフレームの復号へ移行し、また、フレームの復号
    の開始時の時間がその表示時間より所定の時間以上遅れ
    た場合には、フレームの復号を行わずに次のフレーム内
    符号化のみを使用したフレームデータが現れるまで、符
    号の廃棄を行うことを特徴とする画像復号装置。
  2. 【請求項2】 上記請求項1に記載の画像復号装置にお
    いて、 復号画像の表示用画像データへの変換処理が複数の処理
    を含み、表示のために必須な処理と、必須でない処理か
    らなる場合に、 表示を行うために必須な処理に懸かる時間を予測する手
    段と、 表示のために必須ではない処理に懸かる時間を予測する
    手段とを備え、 必須処理と必須でない処理との処理時間の合計では表示
    時間に間に合わないが、必須処理のみの時間では表示に
    間に合う場合には、必須処理のみを行うように制御する
    ことを特徴とする画像復号装置。
JP2000352124A 2000-11-20 2000-11-20 画像復号装置 Expired - Fee Related JP3888848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000352124A JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000352124A JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006152025A Division JP2006311587A (ja) 2006-05-31 2006-05-31 画像復号装置

Publications (2)

Publication Number Publication Date
JP2002159011A true JP2002159011A (ja) 2002-05-31
JP3888848B2 JP3888848B2 (ja) 2007-03-07

Family

ID=18825070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000352124A Expired - Fee Related JP3888848B2 (ja) 2000-11-20 2000-11-20 画像復号装置

Country Status (1)

Country Link
JP (1) JP3888848B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011156074A (ja) * 2010-01-29 2011-08-18 Daiichi Shokai Co Ltd 遊技機
WO2011135704A1 (ja) * 2010-04-28 2011-11-03 富士通株式会社 動画出力装置、動画出力方法、および動画出力プログラム
JP2012165475A (ja) * 2012-06-06 2012-08-30 Toshiba Corp 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法
WO2018066695A1 (ja) * 2016-10-07 2018-04-12 株式会社デンソー 車載表示制御装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011156074A (ja) * 2010-01-29 2011-08-18 Daiichi Shokai Co Ltd 遊技機
WO2011135704A1 (ja) * 2010-04-28 2011-11-03 富士通株式会社 動画出力装置、動画出力方法、および動画出力プログラム
US9319695B2 (en) 2010-04-28 2016-04-19 Fujitsu Limited Moving image output apparatus and method
JP2012165475A (ja) * 2012-06-06 2012-08-30 Toshiba Corp 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法
WO2018066695A1 (ja) * 2016-10-07 2018-04-12 株式会社デンソー 車載表示制御装置
JP2018058544A (ja) * 2016-10-07 2018-04-12 株式会社デンソー 車載表示制御装置
US11194154B2 (en) 2016-10-07 2021-12-07 Denso Corporation Onboard display control apparatus

Also Published As

Publication number Publication date
JP3888848B2 (ja) 2007-03-07

Similar Documents

Publication Publication Date Title
JP3395166B2 (ja) 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体
US20090034625A1 (en) Image Decoder
EP1122952A2 (en) Device for and method of converting a frame rate in a moving picture decoder, and a record medium and an integrated circuit device for implementing such a method
JP2009111932A (ja) 動画像復号化装置
JP2008022475A (ja) 再生装置および再生方法、並びにプログラム
JPH09200695A (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP2002159011A (ja) 画像復号装置
JP2005045787A (ja) プログレッシブ及びインターレースビデオ信号の両方を生成するビデオ信号処理装置
JP2008294669A (ja) 画像符号化装置
JP2005124091A (ja) 復号装置及び復号方法
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
JPH10136381A (ja) 動画像符号化復号化装置及びその方法
JP2002218472A (ja) 可変画像レート復号化装置及び可変画像レート復号化方法
US20060245735A1 (en) Image recording device and method for driving image recording device
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
JP2006311587A (ja) 画像復号装置
JP2002354428A (ja) Dvmpeg変換装置
JP4433319B2 (ja) 信号再生装置
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
KR100252810B1 (ko) 엠펙디코더
JP2006319645A (ja) 映像再生装置及び方法及びプログラム及び記憶媒体
JPH0898142A (ja) 画像再生装置
KR100425136B1 (ko) 비디오 디코딩 시스템
JP2005236386A (ja) 画像処理装置
JPH11308620A (ja) 画像復号装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees