JP2003250154A - 画像処理装置及びその制御方法 - Google Patents

画像処理装置及びその制御方法

Info

Publication number
JP2003250154A
JP2003250154A JP2002046436A JP2002046436A JP2003250154A JP 2003250154 A JP2003250154 A JP 2003250154A JP 2002046436 A JP2002046436 A JP 2002046436A JP 2002046436 A JP2002046436 A JP 2002046436A JP 2003250154 A JP2003250154 A JP 2003250154A
Authority
JP
Japan
Prior art keywords
data string
header information
image
decoding
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002046436A
Other languages
English (en)
Inventor
Yukiro Chiba
幸郎 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002046436A priority Critical patent/JP2003250154A/ja
Priority to US10/369,544 priority patent/US7155063B2/en
Publication of JP2003250154A publication Critical patent/JP2003250154A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 画像中に含まれる符号誤りの量に応じて、ユ
ーザの利便性を損なわない範囲の復号化に要する処理時
間で適切に圧縮画像データの復号化処理を行うことがで
きる画像処理装置及びその制御方法を提供する。 【解決手段】 本画像処理装置に入力される符号化デー
タ入力信号8は、ヘッダ情報処理部1において、ヘッダ
情報が解析され、符号化パラメータ出力信号11が出力
される。また、可変長符号復号化部2において、画像情
報が復号化され、直交変換係数シーケンス出力信号9が
出力される。これらの2つの信号は、画像データ再構成
部10に入力され、画像データが再構成される。ここ
で、符号化データ入力信号8に符号誤りが含まれる場
合、補正用データを用いて当該符号化データ入力信号8
が補正される。尚、符号誤り数に基づいて、当該符号化
データ入力信号8を補正する補正用データが決定され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、圧縮画像データを
復号化する画像処理装置に関し、特に、符号誤りを含む
圧縮画像データに対して、より原画像に近い画像を好適
に再構成することができる画像処理装置及びその制御方
法に関する。
【0002】
【従来の技術】従来から、CD−ROMやハードディス
ク等の記録媒体に静止画像を保存・表示するための符号
化方式として、ISO(国際標準化機構)により標準化
されたJPEG方式が広く用いられている。また、動画
像を同様に記録媒体に保存・表示し、通信路を介して放
送し、または双方向通信するための動画像の符号化方式
として、ISOにより標準化されたMPEG方式が広く
用いられている。
【0003】上記JPEG方式及びMPEG方式のいず
れにおいても、画像符号化に際して、画像のサイズや、
画像を構成する色成分の数、色成分毎のサンプリング係
数値等の画像を復号化するために必要な情報を含むヘッ
ダ部分と、可変長符号によりエントロピー符号化された
画像データ部分とから成る符号化データ列が生成され
る。
【0004】このような符号化データ列において8×8
画素のブロック毎に色成分を繰り返し符号化するブロッ
ク・インターリーブ方式では、すべての色成分のブロッ
クをサンプリング係数に基づいて符号化した場合の最も
小さな単位を「最小符号化単位(MCU)」と呼ぶ。例
えば、色成分が輝度Y、色差CbおよびCrから構成さ
れ、サンプリング係数がそれぞれ2:1:1である画像
の場合、(Y、Y、Cb、Cr)の4ブロックで1MC
Uが構成される。
【0005】一方、符号化データ列中には、MCUを単
位とした任意の周期でリスタート・マーカと呼ばれる再
同期用識別子を挿入することが可能であり、何らかの理
由で誤りを含んだ符号化データ列を復号化する場合に、
その影響をリスタート・マーカ周期の範囲内だけに抑え
ることができる。また、リスタート・マーカは、符号化
データ列中のバイト境界に存在することが規定されてお
り、リスタート・マーカを挿入する直前の符号化データ
列がバイト境界で終わっていない場合は、パディング・
ビットと呼ばれる1〜7ビットの複数の「1」を挿入し
た後にリスタート・マーカを挿入する。
【0006】何らかの理由で符号誤りを含んだ符号化デ
ータ列を復号化する場合、その符号誤りの多くは、次に
示すいずれかの現象により検出される。 (1)復号化の際に使用される変換テーブルに存在しな
い可変長符号が検出された場合。 (2)1つのブロック内に64個以上の可変長符号が検
出された場合。
【0007】符号化データ列中にリスタート・マーカが
挿入されている場合、符号誤りが検出された箇所以降の
符号化データ列を探索し、次のリスタート・マーカが出
現した箇所から再び復号化を開始することが可能であ
る。そして、符号誤りが検出された箇所とリスタート・
マーカが出現した箇所の間の復号化不可能な符号化デー
タに対して補償データを挿入することにより、原画像と
水平画素数及び垂直画素数が一致した同一サイズの再構
成画像を得ることができる。
【0008】また、符号誤りが検出された箇所以降の符
号化データ列中にリスタート・マーカが出現しなかった
場合でも、原画像の水平画素数及び垂直画素数を満たす
ように補償データを挿入することにより、少なくとも誤
りが検出される以前の画像部分を表示することが可能な
再構成画像を得ることができる。
【0009】
【発明が解決しようとする課題】しかしながら、従来の
画像処理装置において、符号誤りが検出された箇所以降
の符号化データ列からリスタート・マーカを探索し、補
償データを挿入する誤り補償処理は、通常の符号誤りを
含まない符号化データ列の復号化においては実行されな
いものである。従って、このような画像処理装置は、一
般的に、コストの観点からハードウェアで実装されるよ
りも、マイクロ・プロセッサ上のソフトウェアとして実
装される。しかし、処理速度の観点から見れば、ソフト
ウェアとして実装された場合の方が、ハードウェアで実
装された場合よりも処理に要する時間が長くなってしま
う。
【0010】一方、連続する可変長符号として構成され
ている符号化データ列で一度符号誤りが検出された場
合、その符号化データ列全体にどの程度の符号誤りが含
まれているかを知るためには、逐次的に符号誤りが検出
された箇所以降の符号化データ列を検査していく必要が
ある。従って、大きなサイズの画像の中に多くの符号誤
りが分散して存在していた場合、符号誤り検出、リスタ
ート・マーカ探索、補償処理、復号化再開といった4つ
の処理を繰り返し実行しなければ検査することができな
い。尚、これらの4つの処理の内、一般的にソフトウェ
アで実装されるリスタート・マーカ探索及び補償処理の
2つの処理は、全体の復号化に要する処理時間の大半を
占めることになる。そのため、結果として、復号化に要
するために極めて長い処理時間が必要となり、ユーザの
利便性を著しく損なうという問題がある。
【0011】また、上述したような問題は、単位時間あ
たりに処理するべき画像の枚数が規定されている動画像
に対する復号化処理においては、更に顕著となってい
た。
【0012】本発明は、このような事情を考慮してなさ
れたものであり、画像中に含まれる符号誤りの量に応じ
て、ユーザの利便性を損なわない範囲の復号化に要する
処理時間で適切に圧縮画像データの復号化処理を行うこ
とができる画像処理装置及びその制御方法を提供するこ
とを目的とする。
【0013】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、入力された符号化データ列のヘッダ情報
を解析するヘッダ情報処理手段と、該符号化データ列の
画像情報を復号化する復号化手段と、ヘッダ情報の解析
結果と復号化された画像情報とに基づいて画像データを
再構成する再構成手段とを備える画像処理装置であっ
て、入力された符号化データ列に含まれる符号誤り数に
基づいて、該符号化データ列を補正するための補正用デ
ータを決定する決定手段と、前記補正用データを用いて
該符号化データ列を補正する補正手段とを備えることを
特徴とする。
【0014】
【発明の実施の形態】以下、図面を参照して、本発明の
一実施形態について説明する。
【0015】図1は、本発明の一実施形態を適用した画
像処理装置の機能を説明するためのブロック図である。
図1において、ヘッダ情報処理部1は、プログラムの記
述に従って動作する汎用マイクロ・プロセッサ等で構成
される。ヘッダ情報処理部1は、入力符号化データ列の
ヘッダ情報を解析して符号化パラメータを得る手段であ
る。可変長符号復号化部2は、入力符号化データ列の連
続する複数の可変長符号からなる画像情報を順次復号化
して一連の周波数変換係数シーケンスを得る手段であ
る。また、画像データ再構成部10は、符号化パラメー
タと一連の周波数変換係数シーケンスを基に画像データ
を再構成する手段である。
【0016】また、符号3は、ヘッダ情報処理部1から
出力される動作開始指示信号、符号4及び5は、それぞ
れ可変長符号復号化部2から出力される動作終了通知信
号及び符号誤り検出通知信号を示す。さらに、符号6
は、ヘッダ情報処理部1から出力される補償データ書き
込み信号、符号7は、可変長符号復号化部2から出力さ
れる符号化データ出力信号を示す。
【0017】さらに、符号8は、ヘッダ情報処理部1及
び可変長符号復号化部2に入力される符号化データ列入
力信号を示す。また、符号9は、可変長符号復号化部2
から画像データ再構成部10に出力される一連の直交変
換係数シーケンス出力信号、符号11は、ヘッダ情報処
理部1から画像データ再構成部10に出力される符号化
パラメータ出力信号を示す。さらに、符号12は、画像
データ再構成部10から出力される再構成画像データ出
力信号を示す。
【0018】次に、上述した構成を有する画像処理装置
を用いた復号化処理に関する一連の動作、特にヘッダ情
報処理部1と可変長符号復号化部2との間における制御
フローについて図面を用いて説明する。
【0019】まず、符号化データ列中に符号誤りが検出
されない場合の正常な復号化処理について、図面を参照
して説明する。図2は、図1に示した画像処理装置の一
実施形態における復号化処理手順を説明するためのフロ
ーチャートである。
【0020】図1に示されるように、符号化データ列入
力信号8を介して入力された符号化データ列は、ヘッダ
情報処理部1及び可変長符号復号化部2の両方にそれぞ
れ供給される(ステップS101)。ここで、ヘッダ情
報処理部1は、内部プログラムによって符号化データ列
入力信号8から符号化データ列に含まれるヘッダ情報を
読み出して、その内容を解析して得られた符号化パラメ
ータを符号化パラメータ出力信号11を介して画像デー
タ再構成部10に出力する(ステップS102)。その
後、ヘッダ情報処理部1は、可変長符号復号化処理Aを
実行する(ステップS103)。
【0021】図3は、ヘッダ情報処理部1において実行
される可変長符号復号化処理Aの詳細な手順を説明する
ためのフローチャートである。ここで、ヘッダ情報処理
部1は、符号化データ列中に出現する符号誤りの数を計
数する符号誤り計数値と、符号化データ列中に出現する
不正な識別子(マーカ)の数を計数する不正マーカ計数
値と、復号化するべき総符号量に対する未処理分の符号
量を計数する符号量計数値について、レジスタやメモリ
等を用いて内部に記憶している。
【0022】そこで、ヘッダ情報処理部1では、可変長
符号復号化処理Aを実行するに際して、可変長符号復号
化処理部2による復号化処理の開始に先立ち、符号誤り
計数値を初期化して「0」とする(ステップS20
1)。また、同様にして、不正マーカ計数値を初期化し
て「0」にする(ステップS202)。さらに、符号量
計数値へ復号化するべき総符号量を代入する(ステップ
S203)。
【0023】そして、入力符号化データ列において次に
続く符号が、画像情報、すなわち一連の直交変換係数シ
ーケンスを可変長符号符号化処理した連続する複数の可
変長符号である場合、ヘッダ情報処理部1は、可変長符
号復号化部2に対して可変長符号復号化処理Bの動作開
始指示を行う(ステップS204)。尚、この動作開始
指示は、図1に示される専用の動作開始指示信号3によ
って可変長符号復号化部2に通知される。
【0024】図4は、可変長符号復号化部2における可
変長符号復号化処理Bの動作手順を説明するためのフロ
ーチャートである。可変長符号復号化部2では、まず、
可変長符号復号化処理Bに関する動作開始指示である動
作開始指示信号3を受信したか否かが判定される(ステ
ップS301)。その結果、動作開始指示信号3をまだ
受信していない場合(No)、引き続き信号の受信を待
つ。
【0025】また、動作開始指示信号3を受信した場合
(Yes)、符号化データ列入力信号8から連続する複
数の可変長符号を順次読み出し、それぞれの可変長符号
に対して別途設定された可変長符号テーブルを参照しな
がら対応する直交変換係数シーケンスに順次変換する。
そして、結果として得られた一連の直交変換係数シーケ
ンスが、直交変換係数シーケンス出力信号9を介して画
像データ再構成部10に順次出力される(ステップS3
02)。
【0026】尚、画像データの変換処理に使用された、
量子化ステップ値に代表される符号化パラメータは、別
途符号化パラメータ出力信号11を介してヘッダ情報処
理部1から画像データ再構成部10に順次供給される。
【0027】次に、可変長符号復号化部2では、符号誤
りが検出されたか否かが判定される(ステップS30
3)。ここでは、符号誤りが検出されない場合について
説明しているので、符号誤りが検出されないので(N
o)、符号化データ入力信号8を介して入力されるすべ
ての符号化データ列に対する可変長符号復号化処理を行
う。そして、次に復号化処理が終了したか否かが判定さ
れる(ステップS304)。その結果、復号化処理が終
了したと判定された場合(Yes)、動作終了通知信号
4を介して可変長符号復号化処理Bが終了したことをヘ
ッダ情報処理部1へ通知する(ステップS305)。一
方、まだ復号化処理が終了していないと判定された場合
(No)、ステップS302に戻って上述した処理が繰
り返される。
【0028】一方、ヘッダ情報処理部1では、同様に、
符号誤りが検出されない場合について説明しているの
で、ステップS205において符号誤りが検出されず
(No)、上述した可変長符号復号化部2から可変長符
号復号化処理Bが終了した通知を受信したか否かが判定
される(ステップS212)。その結果、動作終了通知
信号4を受信した場合(Yes)、可変長符号復号化処
理Aを終了する(ステップS103)。一方、動作終了
通知信号4を受信していない場合(No)、ステップS
205に戻って上述した処理が繰り返される。
【0029】そして、画像データ再構成部10では、一
連の直交変換係数シーケンスに含まれる有意係数に対し
て、別途指定された量子化ステップ値によってスカラー
逆量子化がなされ、所定の順序で一次元データ列に配列
されていた直交変換係数が再び二次元配列に戻される。
そして、そのブロック単位に直交逆変換演算が施され、
矩形ブロックの再構成画像データに復元される(ステッ
プS104)。そして、最終的に再構成された画像デー
タが再構成画像データ出力信号12を介して出力される
(ステップS105)。
【0030】次に、符号化データ列中に符号誤りが検出
された場合の復号化処理について、図面を参照して説明
する。
【0031】上述した可変長符号復号化部2における可
変長符号復号化処理Bの実行中、可変長符号復号化部2
は、常時符号誤りの監視を行っている(ステップS30
3)。その結果、符号誤りが検出された場合(Ye
s)、可変長符号復号化部2は、符号誤り検出通知信号
5を介してヘッダ情報処理部1へ符号誤りが検出された
ことを通知する(ステップS306)。
【0032】ヘッダ情報処理部1は、可変長符号復号化
部2からの符号誤り検出通知信号5を受信すると(ステ
ップS205でYesの場合)、符号誤り計数値に
「1」を加算して、符号誤りが検出された回数を計数す
る(ステップS206)。
【0033】ここで、上述した処理は入力される符号化
データ列全部について行われるが、ヘッダ情報処理部1
では、符号誤り計数値があらかじめ設定されたしきい値
T1よりも大きいか否かを判定する(ステップS20
7)。その結果、符号誤り計数値がしきい値T1よりも
大きい場合(Yes)、ヘッダ情報処理部1は、直ちに
補償データ排出処理を実行する(ステップS208)。
【0034】図5は、ヘッダ情報処理部1における補償
データ排出処理手順を説明するためのフローチャートで
ある。図5に示す補償データ排出処理において、ヘッダ
情報処理部1は、復号化処理を行っていない部分の符号
化データ列に対応したMCU数をMCU計数値に代入す
る(ステップS401)。次に、ヘッダ情報処理部1
は、所定の単色で塗りつぶす、一番最後の画素の色で塗
りつぶす、あるいは周囲の色に合わせる等の適切な方法
で補償データを1MCU分生成し、補償データ書き込み
信号6を介して可変長符号復号化部2へ排出する(ステ
ップS402)。そして、MCU計数値から「1」を減
算して、排出すべき残りのMCU数を計数する(ステッ
プS403)。上述した補償データ排出処理をMCU計
数値が「0」になるまで繰り返すことにより(ステップ
S404)、原画像の水平画素数および垂直画素数を満
たす補償データが可変長符号復号化部2へ排出される。
【0035】ここで、符号誤り計数値が大きい値となる
ことは、符号化データ列が受けた損傷の度合いが大きい
ことを反映している。すなわち、符号誤り計数値が大き
い値となるような損傷を受けた符号化データ列に対し
て、符号誤りが検出された以降に再び正常なリスタート
・マーカ(再同期用識別子)が出現することを期待して
その探索を続けても、それが出現する確率は低いと推測
できる。さらに、このリスタート・マーカ探索を、プロ
グラムの記述に従って動作する汎用マイクロ・プロセッ
サ等で構成されるヘッダ情報処理部1を用いて行う場
合、その処理時間は極めて長くなり、ユーザの利便性を
著しく損なう結果となる。そこで、本発明に係る画像処
理装置ではしきい値T1に適切な値を設定し、符号誤り
計数値がその値よりも大きくなった場合には、さらなる
リスタート・マーカの探索を行わずに、直ちに補償デー
タ排出処理を実行する。これは、ユーザの利便性に配慮
した極めて合理的な判断である。
【0036】一方、ステップS207で符号誤りが検出
された時点において、符号誤り計数値があらかじめ設定
されたしきい値T1よりも大きくない場合(No)、ヘ
ッダ情報処理部1は、符号量計数値から復号化処理済み
の符号量を減算して未処理の符号化データ列の符号量を
計数する(ステップS209)。その後、ヘッダ情報処
理部1は、リスタート・マーカを利用した再同期処理を
実行する(ステップS210)。
【0037】図6は、ヘッダ情報処理部1における再同
期処理手順を説明するためのフローチャートである。ス
テップS210に再同期処理において、まず、ヘッダ情
報処理部1は、符号誤りが検出された時点までに取得済
みのリスタート・マーカ数と符号化データ列中に含まれ
る総リスタート・マーカ数を比較する(ステップS50
1)。その結果、取得済みのリスタート・マーカ数が符
号化データ列中に含まれる総リスタート・マーカ数より
も小さくない場合(No)、すなわち、すでに全てのリ
スタート・マーカが出現した場合には、直ちに補償デー
タ排出処理を実行して(ステップS512)、再同期処
理を終了する。
【0038】一方、ステップS501において、取得済
みのリスタート・マーカ数が符号化データ列中に含まれ
る総リスタート・マーカ数よりも小さい場合(Ye
s)、すなわち、まだ符号化データ列中にリスタート・
マーカの存在を期待できる場合、ステップS502に進
む。ステップS502では、符号量計数値が「0」より
も大きいか否かが判定される。その結果、符号量計数値
が「0」以下の場合(No)、同様に、直ちに補償デー
タ排出処理を実行して(ステップS512)、再同期処
理を終了する。
【0039】ここで、再同期処理において、符号化デー
タ列中にリスタート・マーカの存在を期待できる場合で
あって、かつ、符号量計数値が「0」よりも大きい場合
(Yes)、ヘッダ情報処理部1は、符号化データ出力
信号7を介して可変長符号復号化部2から1バイトの符
号化データを取得する(ステップS503)。そして、
符号量計数値から「1」を減算して、未処理の符号化デ
ータ列の符号量を計数する(ステップS504)。例え
ば、JPEG符号化方式の場合、すべてのマーカは16
進数で「0xFF」である1バイト・データから始まっ
ている。そこで、ヘッダ情報処理部1は、取得した1バ
イトの符号化データが「0xFF」であるか否かを調べ
(ステップS505)、異なる符号化データの場合(N
o)、ステップS502に戻って「0xFF」である符
号化データが出現するまで可変長符号復号化部2から符
号化データの取得を継続して行う。
【0040】一方、ステップS505において「0xF
F」である1バイトの符号化データが出現した場合(Y
es)、さらに次の1バイトを取得し(ステップS50
6)、その値によってリスタート・マーカであるか判断
する。ここで、JPEG符号化方式の場合、バイト境界
において可変長符号「0xFF」が出現する場合には、
その直後に「0x00」を挿入することによりマーカと
区別することが可能となっている。従って、「0xF
F」の次に取得した1バイトが「0x00」であるか否
かが判定される(ステップS507)。その結果、当該
1バイトが「0x00」である場合(Yes)、マーカ
ではないとしてステップS502に戻って、再び符号化
データ列中から「0xFF」を探す動作を繰り返す。
【0041】一方、「0xFF」の次に取得した1バイ
トが「0x00」でない場合(No)、リスタート・マ
ーカであるか否かが判定される(ステップS508)。
JPEG符号化方式の場合、リスタート・マーカは「0
xFFD0」〜「0xFFD7」の8通りの値を順番に
とる。ここで、「0xFFD7」まで値が進んだ場合、
その次は「0xFFD0」から再び順番に値をとる。仮
に、符号誤りが検出される直前に出現したリスタート・
マーカが「0xFFD2」であった場合、次に出現する
べきであったのは「0xFFD3」である。
【0042】一度、符号誤りが検出された後は、リスタ
ート・マーカが現れるかどうかは符号化データ列の損傷
度合いに依存し、予測不可能であるが、いずれかのリス
タート・マーカが出現した場合(Yes)、直ちに補償
データ排出処理が実行される(ステップS509)。補
償データ排出処理においては、符号誤りが検出される直
前に出現したリスタート・マーカと、リスタート・マー
カ探索中に出現したリスタート・マーカの値の差分から
推定される欠損した分の補償データを排出した後、可変
長符号復号化処理Aへ戻る。
【0043】ステップS210における再同期処理が終
了して可変長符号復号化処理Aへ戻った場合、ヘッダ情
報処理部1は、動作開始指示信号3を介して可変長符号
復号化部2へ再び可変長符号復号化処理Bの開始を指示
する(ステップS211)。その後、ヘッダ情報処理部
1は、符号誤りが再び検出される場合、上述した処理手
順を繰り返し、検出されなければ可変長符号復号化部2
によるすべての符号化データ列に対する可変長符号復号
化処理Bが終了したか否かを動作終了通知信号4を受信
したか否かで判定する(ステップS212)。その結
果、当該信号を受信した場合(Yes)、可変長符号復
号化処理Aを終了するとともに、ヘッダ情報処理部1も
すべての処理を終了する。
【0044】一方、再同期処理におけるステップS50
8において、いずれかのリスタート・マーカでもないマ
ーカが出現した場合(No)、それは符号化データ列が
受けた損傷により生成された不正なマーカと考えられ
る。そこで、ヘッダ情報処理部1は、不正マーカ計数値
に「1」を加算して、出現した不正マーカの数を計数す
る(ステップS510)。この時点で、不正マーカ計数
値があらかじめ設定されたしきい値T2よりも大きいか
否かが判定される(ステップS511)。その結果、不
正マーカ計数値があらかじめ設定されたしきい値T2よ
りも大きくない場合(No)、ヘッダ情報処理部1は、
ステップS502に戻って再び符号化データ列中から
「0xFF」を探す動作を繰り返す。一方、不正マーカ
計数値があらかじめ設定されたしきい値T2よりも大き
い場合(Yes)、ヘッダ情報処理部1は、直ちに補償
データ排出処理を実行する(ステップS512)。
【0045】不正マーカ計数値が大きい値となること
は、符号化データ列が受けた損傷の度合いが大きいこと
を反映している。すなわち、不正マーカ計数値が大きい
値となるような損傷を受けた符号化データ列に対して、
符号誤りが検出された以降に再び正常なリスタート・マ
ーカが出現することを期待してその探索を続けても、そ
れが出現する確率は低いと推測できる。さらに、このリ
スタート・マーカ探索を、プログラムの記述に従って動
作する汎用マイクロ・プロセッサ等で構成されるヘッダ
情報処理部1を用いて行う場合、その処理時間は極めて
長くなり、ユーザの利便性を著しく損なう結果となる。
そこで、しきい値T2に適切な値を設定し、不正マーカ
計数値がその値よりも大きくなった場合、さらなるリス
タート・マーカの探索を行わずに、直ちに補償データ排
出処理を実行することは、ユーザの利便性に配慮した極
めて合理的な判断と言える。
【0046】上述した本発明の一実施形態においては、
JPEG符号化方式による静止画像の復号化処理へ適用
して説明したが、本発明は、MPEG符号化方式による
動画像の復号化処理に対しても同様に適用可能である。
【0047】すなわち、本発明は、入力された符号化デ
ータ列のヘッダ情報を解析するヘッダ情報処理手段(ヘ
ッダ情報処理部1)と、符号化データ列の画像情報を復
号化する復号化手段(可変長符号復号化部2)と、ヘッ
ダ情報の解析結果と復号化された画像情報とに基づいて
画像データを再構成する再構成手段(画像データ再構成
部10)とを備える画像処理装置であって、入力された
符号化データ列に含まれる符号誤り数に基づいて、符号
化データ列を補正するための補正用データを決定する決
定手段と、補正用データを用いて符号化データ列を補正
する補正手段とを備えることを特徴とする。
【0048】また、本発明は、複数のブロックに分割さ
れた符号化画像データの入力されたブロックごとの符号
化データ列におけるヘッダ情報を解析して符号化パラメ
ータを得るヘッダ情報処理手段(ヘッダ情報処理部1)
と、符号化データ列の連続する複数の可変長符号からな
る画像情報を順次復号化して一連の周波数変換係数シー
ケンスを得る復号化手段(可変長符号復号化部2)と、
符号化パラメータと一連の周波数変換係数シーケンスと
に基づいて画像データを再構成する再構成手段(画像デ
ータ再構成部10)とを備える画像処理装置であって、
入力されたブロックの符号化データ列に含まれる符号誤
りを検出する検出手段と、検出された符号誤り数を計数
する計数手段と、符号化データ列に含まれる再同期用識
別子を探索する探索手段と、検出された符号誤り数が所
定数以下の場合であって探索された2つの再同期用識別
子間の部分データ列中に符号誤りが含まれる場合、部分
データ列を補正用データ列で補正し、検出された符号誤
り数が所定数よりも多い場合、ブロックの符号化データ
列をブロックと同サイズの補正用データ列で補正する補
正手段とを備えることを特徴とする。
【0049】さらに、本発明は、補正手段が、符号誤り
を含む符号化データ列を補正するための補正用データ列
として所定の周波数変換係数シーケンスを生成する生成
手段と、生成された周波数変換係数シーケンスを排出す
る排出手段とを備えることを特徴とする。
【0050】さらにまた、本発明は、符号化データ列か
ら探索された不正な再同期用識別子数を計数する第2の
計数手段をさらに備え、補正手段が、計数された不正な
再同期用識別子数が所定値以上の場合、補正用データを
用いて符号化データ列を補正することを特徴とする。
【0051】さらにまた、本発明は、ヘッダ情報処理手
段(ヘッダ情報処理部1)に対して符号化データ列中に
符号誤りが検出されたことを通知する検出通知手段をさ
らに備えることを特徴とする。さらにまた、本発明は、
ヘッダ情報処理手段(ヘッダ情報処理部1)から復号化
手段(可変長符号復号化部2)に対して、復号化処理の
動作開始指示を行う指示手段と、復号化手段からヘッダ
情報処理手段に対して、復号化処理の動作終了通知を行
う終了通知手段とをさらに備えることを特徴とする。
【0052】すなわち、本発明による画像処理装置によ
れば、符号化データ列に対する復号化処理において、符
号誤り計数値が適切な値を設定したしきい値T1よりも
大きくなった場合、または、不正マーカ計数値が適切な
値を設定したしきい値T2よりも大きくなった場合に
は、さらなるリスタート・マーカの探索を行わずに、直
ちに補償データ排出処理を実行するようにしたことによ
り、いかなる程度の誤りを含む静止画像または動画像に
対しても、その復号化に要する処理時間をユーザの利便
性を損なわない範囲で完了させ、かつ、その範囲内で最
も原画像に一致した再構成画像が得られる効果を有す
る。
【0053】尚、本発明は、複数の機器(例えばホスト
コンピュータ、インタフェイス機器、リーダ、プリンタ
等)から構成されるシステムに適用しても、一つの機器
からなる装置(例えば、複写機、ファクシミリ装置等)
に適用してもよい。
【0054】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム(OS)等が実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0055】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPU等が実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0056】
【発明の効果】以上説明したように、本発明によれば、
画像中に含まれる符号誤りの量に応じて、ユーザの利便
性を損なわない範囲の復号化に要する処理時間で適切に
圧縮画像の復号化処理を行うことができる。
【図面の簡単な説明】
【図1】本発明の一実施形態を適用した画像処理装置の
機能を説明するためのブロック図である。
【図2】図1に示した画像処理装置の一実施形態におけ
る復号化処理手順を説明するためのフローチャートであ
る。
【図3】ヘッダ情報処理部1において実行される可変長
符号復号化処理Aの詳細な手順を説明するためのフロー
チャートである。
【図4】可変長符号復号化部2における可変長符号復号
化処理Bの動作手順を説明するためのフローチャートで
ある。
【図5】ヘッダ情報処理部1における補償データ排出処
理手順を説明するためのフローチャートである。
【図6】ヘッダ情報処理部1における再同期処理手順を
説明するためのフローチャートである。
【符号の説明】
1 ヘッダ情報処理部 2 可変長符号復号化部 3 動作開始指示信号 4 動作終了通知信号 5 符号誤り検出通知信号 6 補償データ書き込み信号 7 符号化データ出力信号 8 符号化データ入力信号 9 直交変換係数シーケンス出力信号 10 画像データ再構成部 11 符号化パラメータ出力信号 12 再構成画像データ出力信号

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 入力された符号化データ列のヘッダ情報
    を解析するヘッダ情報処理手段と、該符号化データ列の
    画像情報を復号化する復号化手段と、ヘッダ情報の解析
    結果と復号化された画像情報とに基づいて画像データを
    再構成する再構成手段とを備える画像処理装置であっ
    て、 入力された符号化データ列に含まれる符号誤り数に基づ
    いて、該符号化データ列を補正するための補正用データ
    を決定する決定手段と、 前記補正用データを用いて該符号化データ列を補正する
    補正手段とを備えることを特徴とする画像処理装置。
  2. 【請求項2】 複数のブロックに分割された符号化画像
    データの入力されたブロックごとの符号化データ列にお
    けるヘッダ情報を解析して符号化パラメータを得るヘッ
    ダ情報処理手段と、該符号化データ列の連続する複数の
    可変長符号からなる画像情報を順次復号化して一連の周
    波数変換係数シーケンスを得る復号化手段と、前記符号
    化パラメータと前記一連の周波数変換係数シーケンスと
    に基づいて画像データを再構成する再構成手段とを備え
    る画像処理装置であって、 入力されたブロックの符号化データ列に含まれる符号誤
    りを検出する検出手段と、 検出された符号誤り数を計数する計数手段と、 前記符号化データ列に含まれる再同期用識別子を探索す
    る探索手段と、 検出された符号誤り数が所定数以下の場合であって探索
    された2つの再同期用識別子間の部分データ列中に符号
    誤りが含まれる場合、該部分データ列を補正用データ列
    で補正し、検出された符号誤り数が所定数よりも多い場
    合、前記ブロックの符号化データ列を該ブロックと同サ
    イズの補正用データ列で補正する補正手段とを備えるこ
    とを特徴とする画像処理装置。
  3. 【請求項3】 前記補正手段が、 符号誤りを含む符号化データ列を補正するための補正用
    データ列として所定の周波数変換係数シーケンスを生成
    する生成手段と、 生成された周波数変換係数シーケンスを排出する排出手
    段とを備えることを特徴とする請求項1又は2に記載の
    画像処理装置。
  4. 【請求項4】 前記符号化データ列から探索された不正
    な再同期用識別子数を計数する第2の計数手段をさらに
    備え、 前記補正手段が、計数された不正な再同期用識別子数が
    所定値以上の場合、補正用データを用いて前記符号化デ
    ータ列を補正することを特徴とする請求項1から3まで
    のいずれか1項に記載の画像処理装置。
  5. 【請求項5】 前記ヘッダ情報処理手段に対して前記符
    号化データ列中に符号誤りが検出されたことを通知する
    検出通知手段をさらに備えることを特徴とする請求項1
    から4までのいずれか1項に記載の画像処理装置。
  6. 【請求項6】 前記ヘッダ情報処理手段から前記復号化
    手段に対して、復号化処理の動作開始指示を行う指示手
    段と、 前記復号化手段から前記ヘッダ情報処理手段に対して、
    復号化処理の動作終了通知を行う終了通知手段とをさら
    に備えることを特徴とする請求項1から5までのいずれ
    か1項に記載の画像処理装置。
  7. 【請求項7】 入力された符号化データ列のヘッダ情報
    を解析するヘッダ情報処理手段と、該符号化データ列の
    画像情報を復号化する復号化手段と、ヘッダ情報の解析
    結果と復号化された画像情報とに基づいて画像データを
    再構成する再構成手段とを備える画像処理装置の制御方
    法であって、 入力された符号化データ列に含まれる符号誤り数に基づ
    いて、該符号化データ列を補正するための補正用データ
    を決定する決定工程と、 前記補正用データを用いて該符号化データ列を補正する
    補正工程とを有することを特徴とする画像処理装置の制
    御方法。
  8. 【請求項8】 複数のブロックに分割された符号化画像
    データの入力されたブロックごとの符号化データ列にお
    けるヘッダ情報を解析して符号化パラメータを得るヘッ
    ダ情報処理手段と、該符号化データ列の連続する複数の
    可変長符号からなる画像情報を順次復号化して一連の周
    波数変換係数シーケンスを得る復号化手段と、前記符号
    化パラメータと前記一連の周波数変換係数シーケンスと
    に基づいて画像データを再構成する再構成手段とを備え
    る画像処理装置の制御方法であって、 入力されたブロックの符号化データ列に含まれる符号誤
    りを検出する検出工程と、 検出された符号誤り数を計数する計数工程と、 前記符号化データ列に含まれる再同期用識別子を探索す
    る探索工程と、 検出された符号誤り数が所定数以下の場合であって探索
    された2つの再同期用識別子間の部分データ列中に符号
    誤りが含まれる場合、該部分データ列を補正用データ列
    で補正し、検出された符号誤り数が所定数よりも多い場
    合、前記ブロックの符号化データ列を該ブロックと同サ
    イズの補正用データ列で補正する補正工程とを有するこ
    とを特徴とする画像処理装置の制御方法。
  9. 【請求項9】 前記補正工程が、 符号誤りを含む符号化データ列を補正するための補正用
    データ列として所定の周波数変換係数シーケンスを生成
    する生成工程と、 生成された周波数変換係数シーケンスを排出する排出工
    程とを有することを特徴とする請求項7又は8に記載の
    画像処理装置の制御方法。
  10. 【請求項10】 前記符号化データ列から探索された不
    正な再同期用識別子数を計数する第2の計数工程をさら
    に有し、 前記補正工程が、計数された不正な再同期用識別子数が
    所定値以上の場合、補正用データを用いて前記符号化デ
    ータ列を補正することを特徴とする請求項7から9まで
    のいずれか1項に記載の画像処理装置の制御方法。
  11. 【請求項11】 前記ヘッダ情報処理手段に対して前記
    符号化データ列中に符号誤りが検出されたことを通知す
    る検出通知工程をさらに有することを特徴とする請求項
    7から10までのいずれか1項に記載の画像処理装置の
    制御方法。
  12. 【請求項12】 前記ヘッダ情報処理手段から前記復号
    化手段に対して、復号化処理の動作開始指示を行う指示
    工程と、 前記復号化手段から前記ヘッダ情報処理手段に対して、
    復号化処理の動作終了通知を行う終了通知工程とをさら
    に有することを特徴とする請求項7から11までのいず
    れか1項に記載の画像処理装置の制御方法。
  13. 【請求項13】 入力された符号化データ列のヘッダ情
    報を解析するヘッダ情報処理手段と、該符号化データ列
    の画像情報を復号化する復号化手段と、ヘッダ情報の解
    析結果と復号化された画像情報とに基づいて画像データ
    を再構成する再構成手段とを備える画像処理装置を制御
    するためのコンピュータプログラムであって、 入力された符号化データ列に含まれる符号誤り数に基づ
    いて、該符号化データ列を補正するための補正用データ
    を決定する決定手段と、 前記補正用データを用いて該符号化データ列を補正する
    補正手段として機能することを特徴とするコンピュータ
    プログラム。
  14. 【請求項14】 複数のブロックに分割された符号化画
    像データの入力されたブロックごとの符号化データ列に
    おけるヘッダ情報を解析して符号化パラメータを得るヘ
    ッダ情報処理手段と、該符号化データ列の連続する複数
    の可変長符号からなる画像情報を順次復号化して一連の
    周波数変換係数シーケンスを得る復号化手段と、前記符
    号化パラメータと前記一連の周波数変換係数シーケンス
    とに基づいて画像データを再構成する再構成手段とを備
    える画像処理装置を制御するためのコンピュータプログ
    ラムであって、 入力されたブロックの符号化データ列に含まれる符号誤
    りを検出する検出手段と、 検出された符号誤り数を計数する計数手段と、 前記符号化データ列に含まれる再同期用識別子を探索す
    る探索手段と、 検出された符号誤り数が所定数以下の場合であって探索
    された2つの再同期用識別子間の部分データ列中に符号
    誤りが含まれる場合、該部分データ列を補正用データ列
    で補正し、検出された符号誤り数が所定数よりも多い場
    合、前記ブロックの符号化データ列を該ブロックと同サ
    イズの補正用データ列で補正する補正手段として機能す
    ることを特徴とするコンピュータプログラム。
  15. 【請求項15】 請求項13又は14に記載のコンピュ
    ータプログラムを格納することを特徴とする記録媒体。
JP2002046436A 2002-02-22 2002-02-22 画像処理装置及びその制御方法 Withdrawn JP2003250154A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002046436A JP2003250154A (ja) 2002-02-22 2002-02-22 画像処理装置及びその制御方法
US10/369,544 US7155063B2 (en) 2002-02-22 2003-02-21 Image processing apparatus and method of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002046436A JP2003250154A (ja) 2002-02-22 2002-02-22 画像処理装置及びその制御方法

Publications (1)

Publication Number Publication Date
JP2003250154A true JP2003250154A (ja) 2003-09-05

Family

ID=27750632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002046436A Withdrawn JP2003250154A (ja) 2002-02-22 2002-02-22 画像処理装置及びその制御方法

Country Status (2)

Country Link
US (1) US7155063B2 (ja)
JP (1) JP2003250154A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221761B1 (en) * 2000-09-18 2007-05-22 Sharp Laboratories Of America, Inc. Error resilient digital video scrambling
JP2005129043A (ja) * 2003-10-02 2005-05-19 Fuji Photo Film Co Ltd 画像処理方法および装置ならびにプログラム
JP2007104519A (ja) * 2005-10-07 2007-04-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置、画像符号化方法および画像復号化方法
GB0721648D0 (en) * 2007-11-05 2007-12-19 Roke Manor Research Internet data processing systems
US8279945B2 (en) * 2008-01-28 2012-10-02 Mediatek Inc. Method for compensating timing mismatch in A/V data stream
US9357226B2 (en) * 2009-07-17 2016-05-31 Arcsoft, Inc. Generating entropy encoded data indexing auxiliary information to assist quick JPEG decoding at JPEG encoding phase
US8615700B2 (en) * 2009-08-18 2013-12-24 Viasat, Inc. Forward error correction with parallel error detection for flash memories
JP2011244031A (ja) * 2010-05-14 2011-12-01 Fujifilm Corp 画像データ伸張装置および画像データ圧縮装置,ならびにそれらの動作制御方法
KR101782978B1 (ko) * 2010-11-12 2017-09-29 삼성전자주식회사 참조 데이터의 가용성에 기초하여 영상 데이터를 복호화하는 장치 및 방법
CN114764237A (zh) * 2020-12-30 2022-07-19 南京泉峰科技有限公司 一种自驱动设备系统和充电站

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US154042A (en) * 1874-08-11 Improvement in vapor-baths
US90142A (en) * 1869-05-18 Improvement in potato-diggers
US164080A (en) * 1875-06-08 Improvement in annealing wire
US122599A (en) * 1872-01-09 Improvement in planing-machines
US5548340A (en) * 1995-05-31 1996-08-20 International Business Machines Corporation Intelligent television receivers combinations including video displays, and methods for diversion of television viewers by visual image modification
US5801785A (en) * 1996-02-13 1998-09-01 International Business Machines Corporation Method and system for processing two analog composite video signals
EP1217843B1 (en) 2000-12-19 2012-11-28 Canon Kabushiki Kaisha Image processing method, apparatus, and storage medium
US6603413B2 (en) 2001-02-07 2003-08-05 Canon Kabushiki Kaisha Variable-length decoding apparatus and method
JP3977087B2 (ja) 2001-02-13 2007-09-19 キヤノン株式会社 画像符号化装置、方法及びプログラム
JP2002261623A (ja) 2001-02-28 2002-09-13 Canon Inc 復号装置、復号方法、記憶媒体及びプログラムソフトウェア

Also Published As

Publication number Publication date
US7155063B2 (en) 2006-12-26
US20030161538A1 (en) 2003-08-28

Similar Documents

Publication Publication Date Title
US11595055B2 (en) Methods and apparatus to parallelize data decompression
KR101695681B1 (ko) 상황-기반의 적응형 이진 산술 코딩(cabac)비디오 스트림 준수
US8867612B2 (en) Decoding method for decoding an incoming bitstream and method for performing the same
US20070115154A1 (en) Method of decoding bin values using pipeline architecture and decoding device therefor
US20060133507A1 (en) Picture information decoding method and picture information encoding method
US6947602B2 (en) Image processing method, apparatus, and storage medium
JP2003250154A (ja) 画像処理装置及びその制御方法
US20110058613A1 (en) Method and apparatus for generating bitstream based on syntax element
KR101044935B1 (ko) 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치
JP5049942B2 (ja) 復号装置、復号方法、及びプログラム
KR100987777B1 (ko) 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치
JP3924420B2 (ja) 画像圧縮装置及びその方法
JP2008099134A (ja) データ復号装置及びプログラム
US7185264B2 (en) Image processing apparatus and method therefor
JP3170313B2 (ja) 画像処理装置
JP2002077637A (ja) 画像符号化装置及び画像符号化方法
CN117440166B (zh) 基于内存访问特征分析的视频编码和解码方式检测方法
JP4095454B2 (ja) データ復号装置及びデータ復号方法
JP2010212882A (ja) 動画像エラー処理装置
JPH09307456A (ja) 可変長符号復号装置及び方法
JPH09246989A (ja) 復号装置及びその方法
JP4640652B2 (ja) スタートコード割当装置及びスタートコード割当方法
JP2004328647A (ja) 復号化方法、および復号化装置
JP2000138933A (ja) 画像符号化装置
JP2000333018A (ja) 符号化装置、復号化装置及び符号化方法、復号化方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050510