JP2008072734A - 波紋スキャン装置及びその方法 - Google Patents

波紋スキャン装置及びその方法 Download PDF

Info

Publication number
JP2008072734A
JP2008072734A JP2007262719A JP2007262719A JP2008072734A JP 2008072734 A JP2008072734 A JP 2008072734A JP 2007262719 A JP2007262719 A JP 2007262719A JP 2007262719 A JP2007262719 A JP 2007262719A JP 2008072734 A JP2008072734 A JP 2008072734A
Authority
JP
Japan
Prior art keywords
ripple
data
image
scan
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007262719A
Other languages
English (en)
Other versions
JP4988498B2 (ja
Inventor
Gwang-Hoon Park
クァン フン バク
Chie-Teuk Ahn
ヂ ドク アン
Won-Sik Cheong
ウォン シク ジョン
Jin Woong Kim
ジン ウン キム
Kyu-Heon Kim
キュ ヒョン キム
Myoung-Ho Lee
ミョン ホ リ
Yoon-Jin Lee
ユン ジン イ
Young-Kwon Lim
ヨン クォン イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2008072734A publication Critical patent/JP2008072734A/ja
Application granted granted Critical
Publication of JP4988498B2 publication Critical patent/JP4988498B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】波紋スキャン装置及びその方法を提供すること。
【解決手段】本発明の波紋スキャン装置は、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))の情報をスキャンするための波紋スキャン開始手段と、前記波紋発生位置を取り囲む四角形状のリング形態であるi番目の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、前記波紋スキャン位置決定手段で決定されたi番目の波紋スキャン位置の情報をスキャンするための波紋スキャン手段とを含む。
【選択図】図６Ｂ

Description

本発明は、波紋スキャン装置及びその方法に関し、より詳細には、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法に関する。
通常、画像(静止画像または動画)コーディング方法において、スケーラブルコーディング方法に対する需要が激増している。特に、いつでも、どこでも、誰にでも画像情報を用いて通信できるようにする移動通信サービスや、無線インターネットなどの登場によりノートブック、パームトップ(palm top computer)、個人携帯端末機(PDA)などのような多様なコンピュータと結合された情報家電を用いて遠隔地の画像情報を得て管理し、変更できることを所望する。
従って、多様な形態の画像情報家電(例えば、IMT-2000ビデオホン、HDTV等)が今後、実用化される予定であり、発売される画像情報家電製品の復号化能力や伝送環境などは、それぞれの端末機が有すべき特性や適用環境のため自然に異なるようになる。
この場合、考慮すべき事項は、それぞれの端末機に好適な動画をどんな方法で伝送するかということである。例えば、低い品質の復号器に合わせてエンコーダ端で符号化を施行すると、高い品質の復号器を有している使用者は高価で購入した高品質の復号器で低い品質の画像を伝送されるようになり、こうした状況が生じることは誰も所望しない。すなわち、高品質の復号器を有している使用者は当然に高品質の画像を獲得すべきであり、低品質の復号器を有している人も満足できる水準の画像が必ず伝送されるべきである。
このような問題を解決するため、画像をコーディングして伝送することにおいて、MPEG-4(Moving Pictures Expert Group-4)では、受信者側の端末機の状況や性能に応じて多様な画質が提供できるように設計されている。例えば、受信端の端末器の性能(Computing power)が優れており、伝送線路(Delivery Layer : 無線、ATM、LAN等)の状態が良い時は、高画質の動画を受信してディスプレイできるが、受信器の性能が優れていなかったり、通信ラインの状態が良くない時などには高画質を受信できなくなる。前記の2つの場合をすべて収容するために、MPEG-4ではスケーラブルコーディング(Scalable Coding)ができるように設計されている。
スケーラブル画像コーディングは、受信端側で多様な画質(低い品質から高い品質まで: Low quality to High quality)の画像が受信できるようにエンコーダ側でスケーラブルなビットストリーム(Bitstream)を作って伝送するのである。すなわち、伝送ビットストリームがスケーラブルなら、多様な種類の受信器が存在できるようになって、低性能(Low Performance)の受信器は、基本階層(Base Layer)でエンコーディングされた基本画質の画像ビットストリームを伝送されて、ディスプレイするようにし、高性能(High Performance)の受信器は強化階層(Enhancement Layer)でエンコーディングされた高い品質の画像ビットストリーム(Bitstream)を伝送されて、ディスプレイするようにできる。
スケーラブルコーディング(Scalable coding)方法は、基本的に大きく基本階層(Base Layer)と強化階層(Enhancement Layer)とから構成される。エンコーダ端の基本階層では基本品質の動画情報を伝送し、エンコーダ端の強化階層では基本品質の動画に加えて、受信端側に向上した画質を提供できる情報を伝送することによって、受信端側で該当情報を受信して基本階層から伝送された情報と合わせられて、高品質の画像情報が復号できるようにしている。
従って、受信端では端末器の性能や伝送線路の状態に応じて伝送された2つの階層の画像情報を選択して復号するようになる。すなわち、復号器が伝送線路を介して伝達されたすべての情報に対する復号能力を有していなければ、復号器は最小の画像品質の補償階層である基本階層に対する情報のみを復号し、残りの強化階層に該当する情報は復号せず捨てることになる。
一方、高品質の受信器の場合は、すべての階層の情報を全部受信して、高品質の画像を具現するようになる。これによって、高品質の復号器を所有している使用者と低品質の復号器を所有している使用者を両方ともに満足させることができる画像伝送を、スケーラブルコーディング方法を用いて実現できるようになる。
現在のスケーラブルコーディング方法は、大きく空間的(Spatial)スケーラブルコーディング方法と時間的(temporal)スケーラブルコーディング方法とに区分される。空間的スケーラブルコーディング方法は、空間的解像度を段階的に向上させることに用いられ、時間的スケーラブルコーディング方法は、時間軸上でディスプレイされる単位時間当りの画像の数(テレビ放送の場合、30フレーム/秒)を段階的に向上させるようにする(例:10Hz==>30Hz)。それぞれのスケーラブルコーディングを行うために、MPEG-4では一つ以上の強化階層を構成して、ビットストリームを受信端側に伝達するようになるが、一階層(one layer)の強化階層を用いた動画コーディングの場合に、基本階層では基本的に空間的に、また時間的に低い解像度の画像をコーディングして伝送するようにし、強化階層では基本階層から既に伝送された画像情報に加えて向上した解像度を具現できるようにするための画像情報を付加的にコーディングして伝送するようにしている。
上述した既存のスケーラブルコーディング方法などは、伝送線路の状態が急変せず相対的に安定した場合に適するように設計されている。すなわち、受信端側で強化階層から送信されたビットストリームをすべて受信しなければ、該当画像フレームは復元できない。もし、伝送線路の状態が急変(伝送線路の収容可能なビットストリームの帯域幅(bandwidth)が急変する:インターネットなどのような伝送線路はインターネット使用者の人数などのような外部要因によって、各使用者に割り当て可能な帯域幅が急変)して、強化階層に該当するビットストリームをすべて伝送されない場合には該当画像をまともに復元できない。従って、再伝送を送信端側に要求するか、すべてのビットストリームを受信するまで画像復元を行うことができないか、または以前フレームの画像を用いて伝送エラー隠蔽(error concealment)を行わなければならない。
上記のように伝送線路の状態が不安定であり、計画された画像ビットストリームをリアルタイムに合わせて伝送できない場合が有/無線インターネットなどを伝送線路に選択した場合に頻繁に起きる。すなわち、有/無線インターネットのように伝送線路の状態が不安定であり、帯域幅(Bandwidth)が急変する場合にも伝送された画像のリアルタイム復元を行うためには、送信端側から伝送されたすべてのビットストリームを受信端側ですべて受信できない場合にも、それまで受信された部分的な画像ビットストリームのみを用いて伝送画像をリアルタイムに復元できなければならない。このための一例として、MPEG-4においては微細粒子スケーラビリティ(FGS : Fine Granular Scalability)方法論が提案されており、国際標準案として制定されている。
微細粒子スケーラブルコーディング方法は、スケーラブルコーディングを行う時、伝送線路の状態が不安定な場合、例えば、有/無線インターネットのように伝送線路の状態が急変して各使用者に割り当てられる帯域幅の変動が激しい場合に、送信端側の基本階層エンコーダと、強化階層エンコーダでエンコーディングされて伝送されたビットストリームとを、受信端側ですべて受信されない場合にもそれまで受信された部分的なビットストリームのみを用いて、伝送画像の復元ができるようにする方法であって、既存のスケーラブルコーディング方法が安定した伝送線路を考慮して具現されたものの短所(すべてのビットストリームを受信した場合にのみ、画像復元が可能であり、受信遅延が生じたり、伝送誤差が発生した場合に再伝送を要求するか、伝送エラー隠蔽などを行わなければならないなどの短所)を補完できるように設計されている。
受信端側で部分的な画像ビットストリームのみを受信して伝送画像の復元が效率的に行われるようにするために、微細粒子スケーラブルコーディング方法においては、送信端側で基本階層から伝送された画像に基づいて、強化階層で向上した画質の画像ビットストリームを具現して伝送する時、ビットプレーン(Bitplane)単位で伝送する方法を用いる。すなわち、送信端側から受信端側に強化階層に必要なビットストリームを伝送する時、原画像(original image)と基本階層から伝送される画像との差(difference)のみを伝送して、伝送画像の画質を向上させることは既存のスケーラブルコーディング方法に似ているが、強化階層から受信端側に伝送する画像情報をビットプレーン別に分けて、最も重要なビット(MSB：Most significant bit)を最優先的に伝送し、その次に重要なビットプレーン別に分けて、連続的に伝送する方式を用いて、受信端側で伝送線路の帯域幅(Bandwidth)が急変して画像復元に必要なすべてのビットを受信されない場合にも、それまで受信されたビットストリームのみを用いて、伝送画像の復元をある程度行うことができるようにする。
例えば、25という画像情報を伝送すると仮定すると、これを2進数で表わせると、「11001」になり、これは５個のビットプレーンで構成されている。この情報をビットプレーン別に送信するためには、一応送信端側から受信端側にすべての伝送情報の構成が５個のビットプレーンで構成されていることを知らせ、最上位ビットMSBから最下位ビット(LSB : Least significant bit)までビット単位で受信端に伝送するとした場合、最初のMSBビットの伝送が完了したら、受信端側では伝送される情報が16(10000)以上の値であることが分かり、２番目のビット列が伝送されると、24以上の値(11000)が伝送されることがわかる。もし、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上のビットストリームを受信端側に伝送できないとすると、受信端側ではそれまで伝送されたビット列(11000)を用いて24という数字が復元できる(元々伝送しようとした25と類似する数)。
このようにMPEG-4で用いる微細粒子スケーラブルコーディング方法は、伝送線路の帯域幅がいつでも急変できるという状況を考慮している。基本的な微細粒子スケーラブルコーディング方法の構造は図１Ａと同様である。図１Ａは、従来の基本的な微細粒子スケーラブル(FGS: Fine Granular Scalability)コーディング方法の一実施例の構造図であり、図に示すように、基本階層(Base Layer)と、強化階層(enhancement layer)として微細粒子スケーラビリティ階層(FGS Layer)とを置いている。基本階層は、既存のMPEG-4エンコーディング方法をそのまま用いている。そして、強化階層であるFGS階層間にコーディング効率を増加させる何かの方法論(FGS階層間の動き推定及び補償など)は伝送線路を考慮しなければならないので、用いられておらず、ただ基本階層でコーディング効率を増加させる方法論のみを考慮していることが特徴である。
このように空間的スケーラビリティを具現するためには、図１Ａに示すような構造を用いて具現し、時間的スケーラービリティ(Temporal Scalability)を具現するためには、図１Ｂ及び図１Ｃに示すような構造を用いて具現する。
図１Ｂは、従来の２段階のFGSとFGST(Fine Granular Scalability Temporal)の向上段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図であり、図１Ｃは、従来のFGSとFGSTとが一つの段階に統合運営される強化段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。
この場合、FGST(Fine Granular Scalability Temporal)は、コーディングの効率を高めるために、動き予測及び補償などを行うが、これもやはり単に基本階層からのコーディングの効率を増加させる方法論のみを考慮して行う。
図２Ａは、MPEG-4ドラフト国際基準に係る従来の微細粒子スケーラブルコーディング方法のエンコーダ端(すなわち、送信端)の一実施例の構造図である。
図２Ａは、本発明の一実施例に係る微細粒子スケーラブル(FGS)コーディング方法におけるエンコーダを表す構造図である。
図に示すように、基本階層は、MPEG-4画像エンコーディング方法をそのまま用いている。基本階層に用いられる画像エンコーディング方法を例に挙げると、離散的コサイン変換(DCT：Discrete Cosine Transform)、量子化(Q：Quantization)、動き予測(ME：Motion Estimation)、動き補償(MC：Motion Compensation)、逆量子化(Q-1)、逆離散的コサイン変換(IDCT : Inverse Discrete Cosine Transform)などを行って、空間軸(Spatial)と時間軸(Temporal)方向で画像情報圧縮(Image Data Compression)を行い、可変長符号化(VLC : Variable Length Coding)を行って、符号の発生確率の偏重によるエントロピー符号化(Entropy Coding)を実施し、送信バッファを用いてエンコーディング時に発生した基本階層ビットストリーム(Base Layer Bitstream)を伝送線路に伝送するようになる。
図に示すように、強化階層のFGSエンコーディング(FGS Enhancement Encoding)は、原画像と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換(DCT)を行う過程、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、ビットプレーン別に可変長符号化遂行過程(Bitplane VLC)とに分かれて行われる。
前記誤差を求める過程においては、基本階層でコーディングされた後、再生された画像(図面でQ-1とIDCTを通過した後、クリッピングされた再生画像)と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
離散的コサイン変換を行う過程においては、前記誤差を求める過程で求められた画像基盤の誤差値(residues)をブロック単位(8X8単位)DCTを用いて、DCTドメイン(domain)に変換する。
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト過程で行う。
最大値検索過程においては、離散的コサイン変換を終了したすべての値の絶対値に対する最大値を求める。この値は、該当画像フレームを伝送するための最大ビットプレーン(bit-plane)の個数を求めることに用いられる。
ビットプレーンの可変長符号化過程においては、ビットプレーン別にブロック単位で求められた６４個のDCT係数(DCT係数の該当ビットプレーンのビット:0または1)がジグザグスキャン(zigzag scan)順に一つの行列に入ることになり、各行列は可変長コード表(VLC table)によって、ランレングス(Run-length)符号化される。
図２Ｂは、MPEG-4ドラフト国際基準に係る従来の微細粒子スケーラブルコーディング方法のデコーダ端(すなわち、受信端)の一実施例の構造図である。
図２Ｂは、本発明の一実施例に係る従来の微細粒子スケーラブルコーディング方法におけるデコーダ端を示す構造図である。
図に示すように、基本階層(Base Layer)と強化階層(Enhancement Layer)とに分かれて伝送線路から受信された伝送ビットストリームのデコーディングを図２Ａに示すエンコーダと逆順に行うようになる。
基本階層においては、MPEG-4画像デコーディング方法をそのまま用いている。基本階層にビットストリームが入力されると、可変長復号化(VLD：Variable Length Decoding)を行った後、逆量子化(Q-1：Inverse Quantization)を行い、該当値を逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って、動き補償された値(MC：Motion Compensation)と合わせた後に、該当値を0と255値との間にクリッピング(Clipping)して、最終的に基本階層の伝送画像を復元するようになる。
そして、微細粒子スケーラブルコーディング方法の強化階層においては、エンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をビットプレーン別に可変長復号化(Bit-plane VLD)を行った後、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う。
その後、前記ビットプレーン別にVLDが行われ、選択的にシフトが行われて、導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元した後、基本階層で復号された画像と合わせた後、合算値を0と255値との間にクリッピング(Clipping)して最終的に向上した画質の画像を復元するようになる。
次に、前述した従来技術の問題点について説明する。
従来の動画コーディングにおいて、主に用いられているスケーラブルコーディング方法などは、伝送線路の状態が急変せず相対的に安定した場合に適するように設計されており、送信端側の強化階層から送信されたビットストリームをすべて受信端で受信しないと、該当画像フレームは復元できない。この場合、もし、伝送線路の状態が急変(伝送線路の収容可能なビットストリームの帯域幅が急変する、例えば、インターネットなどのような伝送線路はインターネット使用者の人数などのような外部要因によって各使用者に割り当て可能な帯域幅が急変する)して、強化階層に該当するビットストリームをすべて伝送されていない場合には、該当画像を正常的に復元できない。従って、再伝送を送信端側に要求するか、すべてのビットストリームを受信するまで画像復元を行うことができないか、または以前フレームの画像を用いて伝送エラー隠蔽(error concealment)を行わなければならない短所がある。
一方、前記従来のスケーラブルコーディング方法が安定した伝送線路を考慮して具現されたことの短所を補完して、有/無線インターネットのように伝送線路の状態が不安定なため、帯域幅(Bandwidth)が急変する場合にも送信端側から受信端側に伝送された画像をリアルタイムに復元できるようにしなければならないが、その具現可能な方法論としては伝送されたビットストリームを受信端側ですべて受信していない場合にも、それまで受信された部分的な画像ビットストリームのみを用いて伝送画像をリアルタイムに復元可能にする微細粒子スケーラービリティ(FGS：Fine Granular Scalability)方法がある。この場合、部分的なビットストリームのみを受信しても画像復元が可能となるようにするためには、強化階層間に画像のコーディングの効率を増大させる何かの方法論(強化階層間の動き補償など)も用いることができず、専ら基本階層からコーディングの効率を極大化させる方法のみを用いるべきである。
JPEG(Joint Photographics Expert Group)、H.263、MPEGなどに主に用いられるDCTを用いた動画コーディング方法を説明すると、マクロブロックと8X8ブロック単位で画像データをコーディングして伝送するようになるが、この場合、すべての画像フレーム(またはビデオ物体プレーン(VOP：Video Object Plane))に対するエンコーディングとデコーディングは最上側左側(Upper-Left)に位置したマクロブロック(またはブロック)から始まって最下側右側(bottom-left)部分のマクロブロック(またはブロック)までの画像データを順次処理するようになる。これを本発明では正常スキャンオーダ(Normal Scan Order)と表記することにし、これは図３Ａに示す通りである。
正常スキャンオーダは、既存の画像や動画処理方法が基本階層と強化階層、そして強化階層間のコーディングの効率を増大させる方法論(動き推定や補償DC値予測など)を用いることによって、受信端側で正常に画像を復元するためには必須的に用いるべきスキャンオーダである。
もし、このスキャンオーダを、部分的なビットストリームのみを受信しても画像復元が可能となるようにするスケーラブルコーディング方法に適用するようになると、図３Ｂに示すように、上位部分の部分的なマクロブロックやブロックのみでデコーディングが行われて(黒くなっているブロックはデコーディングが行われたブロック、白くなっているブロックはデコーディングが行われていないブロック)、その復元画像が受信端側の画面に表示されるようになる。
すなわち、基本階層から伝送されたビットストリームと強化階層で部分的に受信されてデコーディングされたビットストリームが合わせられて、向上した画像が受信端で再生されるようになるが、図３Ｂに示すように、画像の上位部分のデータのみ強化階層で受信されてデコーディングが完了すると、再生画像の画質は強化階層でデコーディングが完了した部分の画質のみ向上するようになる。もし、この場合、向上した部分の画像が、視聴者が注目しない所(例えば、背景や主人公の顔などではない部分)なら、強化階層用ビットストリームを受信して復元する過程が、使用者の認知できない部分を処理するようになって無駄に処理されるようになる短所がある。
一方、図４に示すように、従来のウェーブレットコーディング(Wavelet Coding)のような方法を用いたサブバンドコーディング(Subband Coding)を適用した画像及び動画コーディング方法においても、各サブバンドごとにピクセル(Pixel)単位にエンコーディングとデコーディングを、最上側左側(Upper-Left)に位置したピクセルから始まって最下側右側(bottom-left)部分のピクセルの画像データを処理する正常スキャンオーダを用いて処理している。この方法を、部分的なビットストリームのみを受信しても画像復元が可能となるようにするスケーラブルコーディング方法に用いると、最終的に受信されたサブバンドの上位部分の部分的なピクセル値のみデコーディングが完了して、その復元画像が受信端側の画面に表示されるようになる。すなわち、基本階層から伝送されたビットストリームと強化階層で部分的に受信されてデコーディングされたビットストリームが合わせられて向上した画像が受信端で再生されるようになるが、画像の上位部分のデータのみ強化階層で受信されてデコーディングが完了したら、再生画像の画質は強化階層でデコーディングが完了した部分(図４において表示された部分)の画質のみ向上するようになる。もし、この場合、向上した部分の画像が、視聴者が注目しない所(例えば、背景や主人公の顔などではない部分)なら、強化階層用ビットストリームを受信して復元する過程が、使用者で認知できない部分を処理するようになって無駄に処理されるようになる短所がある。
本発明は、前記問題点を解決するために提案されたものであり、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法を提供することにその目的がある。
このような目的を達成するために、本発明の装置は、波紋スキャン装置において、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))の情報をスキャンするための波紋スキャン開始手段と、前記波紋発生位置を取り囲む四角形状のリング形態である次の波紋スキャン位置(波紋(1))を決定し、その前に処理した四角形状のリングを取り囲む四角形状のリング形態である次の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、前記波紋スキャン位置決定手段で決定された波紋スキャン位置の情報をスキャンするための波紋スキャン手段とを含む。
また、本発明の他の装置は、画像コーディングのための波紋スキャン装置において、画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行うための波紋発生位置データコーディング手段と、前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをコーディングするための波紋位置決定及びデータコーディング手段と、前記画像フレーム内のすべてのデータがコーディングされるまで波紋の位置決定と該当画像データのコーディングを繰り返し行うようにする反復遂行如何決定手段とを含む。
また、本発明の他の装置は、画像デコーディングのための波紋スキャン装置において、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行うための波紋発生位置データデコーディング手段と、前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをデコーディングするための波紋位置決定及びデータデコーディング手段と、前記画像フレーム内のすべてのデータがデコーディングされるまで波紋の位置決定と該当画像データのデコーディングを繰り返し行うようにする反復遂行如何決定手段とを含む。
また、前記各装置は、前記波紋発生位置(波紋(0))を決定するための波紋発生位置決定手段をさらに含むことを特徴とする。
一方、本発明の方法は、波紋スキャン装置に適用される波紋スキャン方法において、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを開始する第１段階と、前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２段階と、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３段階とを含む。
また、本発明の他の方法は、画像コーディングのための波紋スキャン装置に適用される波紋スキャン方法において、画像フレーム内で優先的にコーディングして伝送するべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１段階と、すべてのデータに対してコーディングを行ったか否かを判断する第２段階と、前記第２段階の判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３段階とを含む。
また、本発明の他の方法は、画像デコーディングのための波紋スキャン装置に適用される波紋スキャン方法において、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１段階と、すべてのデータに対してデコーディングを行ったか否かを判断する第２段階と、前記第２段階の判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３段階とを含む。
また、前記各方法は、前記波紋発生位置(波紋(0))を決定する第４段階をさらに含むことを特徴とする。
一方、本発明は、プロセッサを備えた波紋スキャン装置に、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを開始する第１機能と、前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２機能と、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、本発明は、プロセッサを備えた波紋スキャン装置に、画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１機能と、すべてのデータに対してコーディングを行ったか否かを判断する第２機能と、前記第２機能での判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、本発明は、プロセッサを備えた波紋スキャン装置に、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１機能と、すべてのデータに対してデコーディングを行ったか否かを判断する第２機能と、前記第２機能での判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、前記本発明は、前記波紋発生位置(波紋(0))を決定する第４機能をさらに実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
一方、前記他の目的を達成するための本発明の装置は、波紋スキャン装置を用いた画像コーディング/デコーディング装置において、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して波紋を発生させるための第１波紋発生手段と、前記第１波紋発生手段で発生した波紋位置によるデータをコーディングして前記デコーディング装置側に伝達するためのコーディング手段と、前記第１波紋発生手段で発生した波紋位置によって、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して波紋を発生させるための第２波紋発生手段と、前記第２波紋発生手段で発生した波紋位置によるデータをデコーディングするためのデコーディング手段とを含むことを特徴とする。
また、前記本発明の装置は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第１波紋発生位置決定手段と、前記コーディング装置側の前記第１波紋発生位置決定手段から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定するための第２波紋発生位置決定手段とをさらに含むことを特徴とする。
また、本発明の方法は、波紋スキャン装置を用いた画像コーディング/デコーディング装置に適用される画像コーディング/デコーディング方法において、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して順次波紋を発生させる第１段階と、前記第１段階で発生した波紋位置によるデータを順次コーディングして前記デコーディング装置側に伝達する第２段階と、前記第１段階で発生した波紋位置によって前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して順次波紋を発生させる第３段階と、前記第３段階で発生した波紋位置の受信データを順次デコーディングする第４段階とを含むことを特徴とする。
また、前記本発明の方法は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第５段階と、前記コーディング装置側から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定する第６段階とをさらに含むことを特徴とする。
また、本発明の他の装置は、波紋スキャン装置を用いたスケーラブル画像コーディング/デコーディング装置において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送するための基本階層コーディング手段と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送するための強化階層コーディング手段と、前記基本階層コーディング手段から基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元するための基本階層デコーディング手段と、前記強化階層コーディング手段から強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元するための強化階層デコーディング手段とを含むことを特徴とする。
また、本発明の他の方法は、波紋スキャン装置を用いたスケーラブル画像コーディング/デコーディング装置に適用されるスケーラブル画像コーディング/デコーディング方法において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１段階と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２段階と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３段階と、前記強化階層コーディングされた強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って画像を復元する第４段階とを含むことを特徴とする。
また、本発明の他の装置は、波紋スキャン装置を用いた微細粒子スケーラブル画像コーディング/デコーディング装置において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送するための基本階層コーディング手段と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送するための強化階層コーディング手段と、前記基本階層コーディング手段から基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元するための基本階層デコーディング手段と、前記強化階層コーディング手段から強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元するための強化階層デコーディング手段とを含むことを特徴とする。
また、本発明の他の方法は、波紋スキャン装置を用いた微細粒子スケーラブル画像コーディング/デコーディング装置に適用される微細粒子スケーラブル画像コーディング/デコーディング方法において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１段階と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２段階と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３段階と、前記強化階層コーディングされた強化ビットストリームを伝達されて、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第４段階とを含むことを特徴とする。
一方、本発明は、プロセッサを備えた画像コーディング/デコーディング装置に、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して順次波紋を発生させる第１機能と、前記第１機能で発生した波紋位置によるデータを順次コーディングして前記デコーディング装置側に伝達する第２機能と、前記第１機能で発生した波紋位置によって前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して順次波紋を発生させる第３機能と、前記第３機能で発生した波紋位置の受信データを順次デコーディングする第４機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、前記本発明は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第５機能と、前記コーディング装置側から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定する第６機能とをさらに実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、本発明は、プロセッサを備えたスケーラブル画像コーディング/デコーディング装置に、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１機能と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２機能と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３機能と、前記強化階層コーディングされた強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第４機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
また、本発明は、プロセッサを備えた微細粒子スケーラブル画像コーディング/デコーディング装置に、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１機能と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２機能と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて従来通りの方法で基本階層デコーディングを行って、画像を復元する第３機能と、前記強化階層コーディングされた強化ビットストリームを伝達されて、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第4機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
前述したように、部分的なビットストリームのみを受信しても画像復元が可能となるようにするためには、強化階層間に画像のコーディングの効率を増大させる何かの方法論(強化階層間の動き補償など)も用いることができず、専ら基本階層からコーディングの効率を極大化させる方法のみを用いるべきである。
従って、強化階層の画像情報を伝送する時に正常スキャンオーダ(Normal Scan Order)を用いてコーディングする必要なしに任意のスキャンオーダを用いて伝送してもデコーダ端から伝送されたビットストリームを誤りなく復元できる(因果関係(Causality)と関係なく処理できる)。
従って、本発明では、エンコーダ端で画像フレーム内の任意の特定部分(画像フレームの中央部分または画像フレーム内で向上した画質を提供すべき部分)からエンコーディングして伝送した後、伝送された画像ビットストリームがすべて受信されなくてもデコーダ端で現在まで受信された特定部分の画像情報を優先的にコーディングすることによって該当する特定部分の画質を優先的に向上させることができるようにする。
すなわち、本発明は、伝送すべき画像フレーム内の任意の特定部分から優先的にエンコーディングを行って、受信端に伝送した後、受信端側で優先的に伝送された部分からデコーディングを行うようにして、伝送線路の問題によって、それ以上受信できない状況になる時、それまでに伝送されたビットストリームのみを用いて伝送された画像を復元するようにする方法であり、向上した画質を、提供すべき部分を優先的に送受信するようにする。
本発明に係る波紋スキャンオーダは、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングすることを繰り返し行う。これは湖水面上に石を投げた時、石が水面上に落ちた位置から波紋(Water Ring)が起きることと同じものであり、波紋発生位置からコーディングを始めて次第に周辺に波紋が連鎖的に発生すると、該当位置のデータを処理することと同様である。すなわち、波紋発生位置から始まって四角形状のリングを、継続的にその前に処理した四角形状のリングを取り囲む形態のスキャンオーダを提案する。
そして、本発明は人間の視覚システムに適するように視覚的に重要な特定画像部分の情報を優先的にエンコーディングを行い、受信端でも該当特定部分の画像情報を優先的にデコーディングするようにして、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上エンコーダ端で伝送されたすべてのビットストリームを受信されない場合にも特定の重要部分の画質が保障できるようにすることを特徴とする。
本発明によれば、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法を提供することができる。
以下、添付する図面を参照して本発明に係る好ましい一実施例を詳細に説明する。
図５は、本発明に係る波紋スキャンオーダ(Water Ring Scan Order)に対する基本原理を説明するための概念図である。
本発明に係る波紋スキャンオーダは、優先的にコーディングして伝送すべき任意の特定位置がコーディングしようとする画像フレーム内で決定されるか決定されたら、該当位置からコーディングを行って、次第に周辺にコーディングを拡張して行うようにする。すなわち、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングすることを繰り返し行う。
これは、湖上に石を投げた時、石が水面上に落ちた位置から波紋(Water Ring)が起きることと同様のことであり、基本概念は、図５に示す通りである。図面において各ブロックは画像及び動画処理方法に係るピクセルやブロックまたはマクロブロックを意味する。これを動画コーディングに適用した時、波紋発生位置(湖上に石が落ちた位置)からコーディングを始めて次第に周辺に波紋が連鎖的に発生すると、該当位置のデータを処理することと同様である。すなわち、波紋発生位置から始まって四角形状のリングを、継続的にその前に処理した四角形状のリングを取り囲む形態のスキャンオーダを提案する。
図５に示すように、まず波紋発生位置(波紋(0))のデータを処理した後、隣接する波紋(1)のデータ(波紋(0)の直ぐ外郭に位置した８個の隣接するデータ)を処理し、その後、波紋(2)のデータ(波紋(1)の外郭に位置する１６個の隣接するデータ)及び波紋(3)のデータなどを、連続的に次第に波紋が広がる形態に処理することになる。本発明では、波紋が広がる形態に波紋を発生させ、該当波紋位置の画像情報を処理するスキャンオーダを波紋スキャンオーダ(Water Ring Scan Order)とすることにする。
画像及び動画コーディングにおいて波紋スキャンオーダの適用は、ピクセル単位またはブロック単位、そしてマクロブロック単位で適用できる。ピクセル単位で適用する時は、ウェーブレット変換方法などを用いる画像ピクセル単位のコーディング方法に適用するようになり、DCTを用いる方法論にはブロック単位やマクロブロック単位で波紋スキャンオーダを用いて、動画データ処理を行うようになる。
図６Ａは、本発明に係る波紋スキャン方法に対する一実施例のフロー図であり、図６Ｂは、本発明に係る波紋スキャン装置に対する一実施例の構成図である。
図に示すように、まず波紋発生位置決定部６５で任意の特定波紋発生位置(波紋(0))を決定する(S61)。その後、データ処理部６６で該当位置のデータ(波紋(0))を処理する。以後、反復遂行如何決定部６７で最後のデータまで処理したか否かを判断して（S63）、最後まで処理したら、終了し、そうではなかったら、次の波紋位置決定部６８で隣接する波紋(1)の位置を決定した後に(S64)該当位置のデータ処理過程(S62)から繰り返し行う。
このように波紋スキャン装置は、画像フレーム内で任意の波紋発生位置が決定されると、該当する波紋発生位置のデータを処理する波紋発生位置決定及び処理部６５，６６、波紋発生位置からi番目に発生した波紋(i)の位置決定と該当位置のデータを処理する波紋位置決定及び処理部６８，６６及び画像フレーム内のすべてのデータが処理されるまで波紋の位置決定と該当画像データの処理とを繰り返し行うようにする反復遂行如何決定部６７とを含む。
図７は、本発明に係る波紋スキャンオーダでi番目に発生した波紋の画像情報位置(波紋(i))に対する説明図である。
前記図６Ａ及び図６Ｂで説明した波紋スキャン装置及び方法の波紋発生位置決定及び処理過程を、図７を参照して詳細に説明すると、次の通りである。
第１過程：波紋発生位置(波紋(0))を決定して、それに位置したデータを処理する。
(a)任意の波紋発生位置を決定する(図面において波紋原位置(Water Ring
Origin Point)x、yと表示された地点)。この場合、伝送しようとする画像フレームの中央部分を波紋発生位置に決めるか、または使用者が任意の位置を波紋発生位置に指定できる。
(b)前記決定した波紋発生位置のデータを処理する(エンコーダではエンコーディング遂行、デコーダではデコーディング遂行)。
第２過程：波紋(i)の位置を決定して、それに位置するデータを処理する。
(a)波紋発生位置からi番目(ピクセル単位ではピクセルの個数、ブロックやマクロブロック単位では該当単位の個数)に発生した波紋(波紋(i))の位置を決定する。
(b)波紋(i)に位置するデータを処理する(エンコーダではエンコーディング遂行、デコーダではデコーディング遂行)。
第３過程：画像フレーム内のすべてのデータが処理されるまで第２過程から繰り返し行う。
ここでは、伝送しようとする画像フレーム内のすべてのデータが処理されるまで第２過程から繰り返し行う。
図７に示すように、波紋(i)は1-1、1-2、2-1、2-2、3-1、3-2、3-3、3-4に位置したピクセルやブロックまたはマクロブロックから構成されており、波紋発生位置(波紋(0))からi番目に発生した波紋を意味する。
図において1-1と定義された位置は、波紋発生位置からx軸には-iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、1-1は次のように表現できる。
1-1：x-iであり、(y-i<y<y+i)に位置するすべてのデータ。
図において1-2と定義された位置は、波紋発生位置からx軸には+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、1-2は次のように表現できる。
1-2：x+iであり、(y-i<y<y+i)に位置するすべてのデータ。
図において2-1と定義された位置は、波紋発生位置からy軸には-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、2-1は次のように表現できる。
2-1：y-iであり、(x-i<x<x+i)に位置するすべてのデータ。
図において2-2と定義された位置は、波紋発生位置からy軸には+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、2-2は次のように表現できる。
2-2：y+iであり、(x-i<x<x+i)に位置するすべてのデータ。
図において3-1、3-2、3-3、3-4と定義された位置は、波紋発生位置からx軸には±iほど、そしてy軸には±iほど離れた所に位置するピクセルやブロックまたはマクロブロックの画像データがある所である。すなわち、波紋発生位置を(x、y)とした場合、3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置である。
そして、波紋スキャン方法において波紋(i)に位置するデータは、図７に示すように1-1、1-2、2-1、2-2、3-1、3-2、3-3、3-4に位置するすべてのピクセルデータ(ウェーブレットなど画像ドメインでの処理である場合)またはブロックやマクロブロックに含まれたデータ(DCTドメインで処理した場合)であり、波紋(i)における処理順序は次の例で説明する。
１．波紋(i)における処理順序の例１
波紋(i)に該当する位置にあるデータに対して、最上側左側(upper-left)のデータから最下側右側(bottom-right)のデータまで配列順に波紋スキャンを実施する。波紋スキャン遂行は、波紋(i)の形態を、図７に示すように、上側ライン(Top Line)、中間ライン(Middle Lines)、下側ライン(Bottom Line)に区分し、左側から右側に上側ライン(Top Line)==>中間ライン(Middle Lines)==>下側ライン(Bottom Line)の順に波紋スキャンを実施する。その具体的な第１実施例の処理順序を、図７を参照して説明すると、次の通りである。
●上側ライン(Top Line)のデータをスキャンする。この場合、3-1(x-i、y-i)==>2-1(x-i<x<x+i、y-i)==>3-2(x+i、y-i)の順に左側から右側にスキャンを行う。
●中間ライン(Middle Line)のデータをスキャンする。中間ラインのデータは、1-1(x-i、y-i<y<y+i)と1-2(x+i、y-i<y<y+i)の位置にあるデータを意味しており、左側から右側に1-1ラインのデータと1-2ラインのデータとを交互にスキャンし、1行のスキャンが終了すると、上行から下行に中間ラインにあるすべてのデータがスキャン完了するまで繰り返し行う。例えば、1-1(x-i、y-i+1)==>1-2(x+i、y-i+1)==>1-1(x-i、y-i+2)==>1-2(x+i、y-i+2)==>1-1(x-i、y-i+3)==>1-2(x+i、y-i+3)==>............==>1-1(x-i、y+i-1)==>1-2(x+i、y+i-1)のようにスキャンを繰り返す。
●下側ライン(Bottom Line)のデータをスキャンする。この場合、3-3(x-i、y+i)==>2-2(x-i<x<x+i、y+i)==>3-4(x+i、y+i)の順に左側から右側にスキャンを行う。
前記第１実施例の実際の具現例は次の通りである。
◎ Initial parameter
n : n'th Ring
N : number of MB in n'th Ring
prev_n : (n-1)'th Ring
start_x, start_y : start position of Ring
(left_top X of Ring, left_top Y of Ring)
curr_x, curr_y : each position of MB in Ring
◎ Algorithm
Step 1 : Initial MB Fill
n = 1;
curr_x = start_x;
curr_y = start_y;
if ( InBoundary(curr_x, curr_y) )
FillMB(start_x, start_y);
Step 2 : Top Line MB Fill
n++;
N = 2*n - 1;
prev_n = 2*(n-1) - 1;
start_x--;
start_y--;
curr_x = start_x;
curr_y = start_y;
for j=1 to N {
if( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 3 : Middle Line MB Fill
N = prev_n;
for j=1 to N {
curr_x = start_x;
curr_y = start_y + j;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x + prev_n + 1;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
}
Step 4 : Bottom Line MB Fill
N = 2*n - 1;
curr_x = start_x;
curr_y = start_y + prev_n + 1;
for j=1 to N {
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 5
if ( not VOP Fill )
goto Step 2.
else
Stop
２．波紋(i)における処理順序の例２
波紋(i)に該当する位置にあるデータに対して、3(3-1、3-2、3-3、3-4)==>2-1==>1-1==>1-2==>2-2のような順に波紋スキャンを行う。
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置をスキャン及びデータ処理を行い、
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●1-1(x-i、y-I<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+I)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理を順に行う。
３．波紋(i)における処理順序の例３
波紋(i)に該当する位置にあるデータに対して、2-1==>1-1==>1-2==>2-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●1-1(x-i、y-i<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
４．波紋(i)における処理順序の例４
波紋(i)に該当する位置にあるデータに対して、2-1==>2-2==>1-1==>1-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理、
●1-1(x-i、y-i<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+i)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-I、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
５．波紋(i)における処理順序の例５
波紋(i)に該当する位置にあるデータに対して、1-1==>1-2==>2-1==>2-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
●1-1(x-i、y-I<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+I)の位置スキャン及びデータ処理、
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+I)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
一方、波紋スキャンオーダを画像及び動画コーディングに適用する場合、用いる方法及び装置は、図８Ａに示すように、波紋発生位置決定部８１と波紋発生部８２、そして波紋の位置に該当するデータを処理する画像コーディング部８３に大きく分けられる。そして、波紋スキャンオーダを画像及び動画デコーディングに適用する場合、用いる方法及び装置は、図８Ｂに示すように、波紋発生位置定部８４と波紋発生部８５、そして波紋の位置に該当するデータを処理する画像デコーディング部８６に大きく分けられる。
図８Ａは、本発明に係る波紋スキャンオーダを用いた画像コーディング装置の一実施例の構成図であり、図８Ｂは、本発明に係る波紋スキャンオーダを用いた画像デコーディング装置の一実施例の構成図である。
前記波紋発生位置決定部８１，８４のうち、エンコーダ側の波紋発生位置決定部８１は、波紋が発生する任意の位置を決定し、該当座標をデコーダ側に送信する機能を行う部分である。デコーダ側の波紋発生位置決定部８４は、エンコーダ側から伝送された座標に基づいて画像フレーム内の波紋発生位置を決定する。一方、波紋発生位置を事前に画像フレームの中央部分などに決定してエンコーダとデコーダが互いに、本決定部の役割をスキップ(Skip)する。
波紋発生部８２.８５では前述した様々な波紋発生方法を用いて、i番目の波紋(波紋(i))を発生させる役割を果たし、波紋(i)の発生位置を画像コーディング部(または画像デコーディング部)に知らせて、画像コーディング部(または画像デコーディング部)が該当画像フレームのコーディング(またはデコーディング)を行うようにする。
画像コーディング部(または画像デコーディング部)では波紋発生部８２，８５で決定された座標に該当する画像データを処理する。
本方法を実際コーディングに適用した時の例を、図９Ａ及び図９Ｂを参照して説明すると、次の通りである。
図９Ａは、DCTを用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図であり、図９Ｂは、ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。
DCTを用いるコーディング方法を用いる時は、8X8のブロック単位や、16X16のマクロブロック単位で波紋を発生させて画像コーディングを行い、ウェーブレット変換などを用いたピクセル単位の画像コーディング方法に適用時にはピクセル単位で波紋を発生させて画像コーディングを行う。
DCTを用いた動画処理に波紋スキャンオーダを適用した時の例は、図９Ａのように示される。QCIF(176X144ピクセル)画像フレームに適用する場合に11X9個のマクロブロック(16X16)が存在するが、画像フレームの中央部に位置するマクロブロックからマクロブロック単位で波紋を発生させてコーディングに適用した例を図９Ａに示しており、波紋発生位置(波紋(0)から)から波紋(1)、...、波紋(5)まで６個の波紋が発生して全体画像がコーディングされる。デコーダ端で伝送線路の帯域幅(Bandwidth)の制約によって、すべてのデータが受信されない場合にも波紋(0)から波紋(1)など画像フレームの中央部に該当するマクロブロックなどのデータは受信されて、デコーディングが完了する場合が確率的に多く(最優先的に送信されたので)、縁部分のマクロブロックのデータが処理されなくても、画像の中央部分の画質の向上は保障するようになる。
図９Ｂは、ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用した例であって、各サブバンド(Subband)に該当する画像をピクセル単位で各サブバンドの中心から波紋を発生させて画像コーディングに適用した例である。これは上側右側(upper-right)に位置するサブバンドのコーディングには波紋が発生されてコーディングされたが、伝送線路上の帯域幅の制約によって全体領域のデータが処理されず、中央部分の画像データのみ処理された例を図式化したものである。
一方、スケーラブル動画コーディングの応用例として微細粒子スケーラブルコーディング(FGS Coding)に波紋スキャンオーダを適用した例を説明すると、次の通りである。
２つの例を提示したが、１番目の例では波紋発生位置と発生した位置のデータを同時に処理することに焦点が合わせられており、２番目の例では波紋発生位置決定過程と発生位置のデータ処理過程とを分けて行うことに焦点が合わせられている。
１番目の例には、各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)または復号化を行う時、任意の特定位置から波紋スキャンを行って、優先的にコーディングまたはデコーディングするマクロブロックやブロックの位置を決定し、該当マクロブロックやブロックにある画像情報を位置決定と同時に処理する過程がエンコーダ端とデコーダ端に存在する場合である。
図１０Ａは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の一実施例の構造図であり、図１０Ｂは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の一実施例の構造図である。
FGS強化階層エンコーディングは、図１０Ａに示すように、原画像(original image)と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換を行う過程(DCT)、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、ビットプレーン別に可変長符号化を行う時に波紋スキャンオーダに合うように行う過程(波紋スキャンオーダに係るビットプレーンVLC過程：Bit-plane VLC along Water Ring Scan Order)に分かれて行われる。
前記誤差を求める過程においては、基本階層でコーディングされた後に再生された画像と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
前記離散的コサイン変換を行う過程(DCT)においては、先に求められた画像基盤誤差値(residues)をブロック単位(8X8単位)DCTを用いて、DCTドメインに変換する。
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト(Bit-plane Shift)過程で行われる。
前記最大値検索過程においては、離散的コサイン変換を終了したすべての値の絶対値に対する最大値を求める。この値は該当画像フレームを伝送するための最大ビットプレーンの個数を求めることに用いられる。
前記波紋スキャンオーダに従うビットプレーン可変長符号化過程においては、各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)を行う時、任意の特定位置から波紋スキャンを行って、優先的にコーディングするマクロブロックやブロックの位置を決定し、決定されたコーディング順序(優先順位)に合うようにブロック単位で求められた６４個のDCT係数(DCT係数の該当ビットプレーンのビット：0または1)をジグザグスキャン(zigzag scan)順序に一つの行列に入力し、それらを可変長コード表(VLC table)に応じてランレングス(Run-length)符号化を同時に行う。その他の基本階層の符号化過程は、従来の技術において説明したものと同様であるので、ここではそれ以上の説明しないことにする。
図１０Ｂに示すように、FGS強化階層のデコーディングはエンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をエンコーダと約束(エンコーダで開始位置を伝送して受信された位置や、または事前に約束された位置：例えば、画像フレームの中央マクロブロックやブロック)された波紋発生位置からビットプレーン別に可変長復号化(Bit-plane VLD)を波紋スキャンオーダに合わせて行う過程(Bit-plane VLD along Water Ring Scan Order)、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う過程、ビットプレーン別にVLDが行われ、選択的にシフトが行われて導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元する過程、基本階層から復号化された画像と合わせた後にそれらの値を0と255値との間にクリッピング(Clipping)して最終的に向上した画像を復元する過程とから構成される。その他の基本階層の復号化過程は、従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
一方、スケーラブル動画コーディングの応用例として微細粒子スケーラブルコーディング(FGS Coding)に波紋スキャンオーダを適用した２番目の例は次の通りであり、波紋発生位置決定過程と発生位置のデータ処理過程とを分けて行うことが１番目の例と異なる。
ここで、微細粒子スケーラブルコーディングを行う時、エンコーダ端では波紋スキャンを用いて波紋発生位置を決定した後、コーディングすべき画像情報をバッファに波紋発生順に配列しておいて、バッファに配列された順にビットプレーンVLCを行い、デコーダ端ではビットプレーンVLDを行って再生された画像情報の位置を、波紋スキャンオーダを用いて再配置した後、ビットプレーンシフトとIDCTを行う。
図１１Ａは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の他の実施例構造図であり、図１１Ｂは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の他の実施例構造図である。
FGS強化階層エンコーディングは、図１１Ａに示すように、原画像と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換を行う過程(DCT)、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、画像フレーム内の画像情報をビットプレーン別に波紋スキャンオーダに合うように再構成する過程(Water Ring Scan)、ビットプレーン別に可変長符号化を行う過程(Bit-plane VLC)とに分かれて行われる。
前記誤差を求める過程においては、基本階層でコーディングされた後、再生された画像と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
前記離散的コサイン変換を行う過程(DCT)においては、先に求められた画像基盤誤差値(residues)をブロック単位(8X8単位)DCTを用いてDCTドメインに変換する。
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト(Bit-plane Shift)過程で行う。
前記最大値検索過程においては、離散的コサイン変形を終了したすべて値の絶対値に対する最大値を求める。この値は該当画像フレームを伝送するための最大ビットプレーンの個数を求めることに用いられる。
前記波紋スキャン過程(Water Ring Scan)においては、任意の特定位置から波紋スキャンを行って、優先的にコーディングするマクロブロックやブロックを決定し、決定されたコーディング順序に合うように画像フレーム内の画像情報をビットプレーン別に特定バッファに再配置する。
前記ビットプレーン可変長符号化過程においては、波紋スキャン過程でビットプレーン別に特定バッファに再配置した画像情報を各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)を行う時、ブロック単位で求められた64個のDCT係数(DCT係数の該当ビットプレーンのビット:0または1)をジグザグスキャン(zigzag scan)順序で一つの行列に入力し、それらを可変長コード表(VLC table)に応じてランレングス(Run-length)符号化を行う。その他の基本階層の符号化過程は、従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
図１１Ｂに示すように、FGS強化階層のデコーディングはエンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をビットプレーン別に可変長復号化(Bit-plane VLD)を行う過程、エンコーダと約束(エンコーダで開始位置を伝送して受信された位置や、または事前に約束された位置：例えば、画像フレームの中央マクロブロックやブロック)された波紋発生位置から波紋スキャンオーダに合わせて受信された画像データを再配置する過程、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う過程、ビットプレーン別にVLDが行われ、選択的にシフトが行われて導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元する過程、基本階層から復号化された画像と合わせた後にその値を0と255値の間にクリッピング(Clipping)して最終的に向上した画像を復元する過程とから構成される。その他の基本階層の復号化過程は従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
図１２は、MPEG-4基盤微細粒子スケーラブルコーディング方法に波紋スキャン方法を挿入して実際に実験した結果の一例示図である。
図に示した２個の画像は、MPEG-4標準化会議で主に用いられるフォアマン(Foreman)画像シーケンス(Sequence)をOCIF級(176ピクセルX144ピクセル)で1秒当たり5フレームをコーディング(5Hz)して伝送すると仮定した時、基本階層は16kbpsで伝送し、強化階層ですべての強化ビットストリームをコーディングして伝送したが、伝送線路の帯域幅(Bandwidth)制約によって総48kbpsのビットストリームのみデコーダ端で受信されて再生された画像を示している(図はフォアマンシーケンスの24番目のフレームの画像をキャプチャー(Capture)したものである)。
図において1201に表示された画像は、元来(Original)のMPEG-4微細粒子スケーラブルコーディングで再生された画像であり、2に表示された画像はMPEG-4微細粒子スケーラブルコーディング方法に波紋スキャン(Water Ring Scan)方法を付加して行った結果画像である。
フォアマンの顔部分を見ると、1201の画像より1202の画像でさらに高い画質を示していることが主観的にも観察でき、客観的な画質をPSNR(Peak Signal to Noise Ratio)を用いてグラフに表したが、1205に表示されたグラフはルミナンス(Luminance)(Y)部分のPSNR比較グラフであり、12066と1207に表示されたグラフはクロミナンス(Chrominance)(U、V)部分のPSNR比較グラフであって、波紋スキャンを用いた方法のPSNRがルミナンス(Luminance)(Y)(5に表示されたグラフ)で約2.32dB(図において波紋スキャン方法は、Water Ringに表記される。結果が39.448540dBであり、元来の方法はOriginalに表記される。結果は37.124660dBが導出された)優れていることが分かる。PSNRの計算は人間の視覚システムを考慮して画像の中央部のPSNRを計算した。
図で実際コーディング結果を観察したように主観的にも客観的にも波紋スキャン方法を適用したFGSコーディング方法が、元来のFGS方法より優れていることが観察できるが、画質の差が生じる原因を1203と1204に表記された絵を通して比較できる。
図において、1203に表記された絵は、元来のFGS方法でビットプレーン別にデコーディングを行ったマクロブロックを表現したものであり、伝送線路の帯域幅の制約によってデコーダ端で総48Kbpsのみを受信して受信完了した画像情報のみを用いてデコーディングを行った結果であって、最も重要なビットプレーン(３つの絵のうち、MSB(Most Significant Bit)と表示された部分)、その次に重要なビットプレーン(３つの絵のうち、MSB-1と表記された部分)の画像データはすべてコーディング完了したが(すべて黒くなっている)、MSB-2ビットプレーンのデータが上位1/3以下のみデコーディング完了した状況であって(黒くなっていない部分は受信されたデータがないため、デコーディングを行っていない場合である)、人間の視覚システムに比較したら、人間が顕著に認知できない画像フレームの縁部分、すなわち、フォアマンの顔部分に該当しない上部の縁部分のみ画質が向上した結果であり、画像フレームの全体画質を主観的に評価する時、画質が相対的に落ちることに気づく。
これに対して、波紋スキャン方法を用いたFGSコーディング方法は、図において、1204に表記された部分にデコーディングが完了したマクロブロックを示しているが、MSBとMSB-1のビットプレーンは、元来の方法と同様にすべてデコーディングが完了しており、またMSB-2ビットプレーンの画像情報は部分的にデコーディングが完了したことが分かる。しかし、波紋スキャン方法を用いて人間の視覚システムに適するように画像フレームの中央部からエンコーディングとデコーディングを行って、中央部に位置したマクロブロックの画像情報を処理してその結果を示しているが、図において1202に表示された画像から分かるように画面の中央部の画像の画質が相対的に非常に優れていることが分かることから、波紋スキャン方法の優秀性を確認することができる。
これは人間の視覚システムに適するように波紋スキャンオーダを適用して、画像フレームの中央部(または任意の特定位置)からエンコーディングを行って伝送し、デコーダ部でも画像の中央部(または任意の特定位置)からデコーディングを行って、伝送線路の帯域幅の制約によって、それ以上エンコーダ端から伝送されたビットストリームが受信されない場合にも画像フレームの中央部(または特定位置)は常に優れた画質の画像が再生できる。
しかし、既存の方法は常に最上側左側(upper-left)部分から最下側右側(bottom-right)部分までのマクロブロックを順にエンコーディング及びデコーディングするように設計されているので、伝送線路の制約によってすべての伝送ビットストリームが受信されない場合には常に画像フレームの上側の縁部分から始める部分的なビットストリームのみを処理するようになっており、人間の視覚システムに適しない画質を再生するようになるので、画像フレームの中央部分の画質が保障できない。
波紋スキャンオーダを16:9画面比率に合わせて適用した他の実施例を、図１３を参照して説明する。
図１３は、本発明の他の実施例に係る16:9画面比率のための波紋スキャンオーダ原理を説明するための概念図である。
16:9画面比率のための任意の中心波紋スキャンオーダで波紋(i)における処理順序を説明する。
波紋は任意の波紋中心点の核心部分(core)から符号化を始める。図１３の真中のマクロブロック(Control Point)が任意中心(Arbitrary Center：(x、y))に与えられた時、符号化が始まるマクロブロックは開始地点に指定されたマクロブロック(Start point)になり、1301と明示されたマクロブロックと真中のマクロブロックを含む符号化が右方向に進行される。核心部分に対する符号化が終了したら、2と明示された上側と右側部分に対するマクロブロック(Top and Right line)の符号化が行われ、その後、1303と明示された左側と下側のマクロブロック(Left and Bottom line)に対する符号化が行われる。マクロブロック1302と1303は中心地点から波を起こすように繰り返しフレーム内のすべてのマクロブロックが符号化されるまで繰り返し符号化を行う。
開始地点は画面比率に応じてその位置が変わるようになる。開始地点は下記の式のように、横の方向は横の長さのマクロブロック(MB)の個数から縦の長さのマクロブロックの個数を引いた値の半分を引いた値になり、縦の方向は与えられた開始地点と同じである。例えば、横１６個、縦９個のマクロブロックがあると仮定し、開始点を(7、4)にしたら、符号化を始める開始地点は(4、4)となる。
Figure 2008072734
Figure 2008072734
核心部分の符号化が行われ、繰り返し波紋に対する符号化を行うが、事前にまず全体ブロックの符号化がすべて終了したか否か検査を行う。この検査を行わない場合、最大4倍の作業量がより損失(Overhead)される。
各部分の符号化の順序は、1302と明示されたマクロブロック(Top and Right Line)から1403と明示されたマクロブロック(Bottom and Left Line)に行われ、各部分内においては常に左側から右側方向への順次符号化が行われる。
図１４は、本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目に発生した波紋に対する説明図である。
i-1番目の波紋に対する符号化が終了したら、まず開始地点に明示されたマクロブロック(Start point of ith Water Ring)の符号化を行い、右側方向に上位ライン(Top Line)に対する符号化が順次W+i-1個まで行われ、以後、右側ライン(Right Line)に対する符号化が下側方向に総合W+3*i+1個まで行われる。
以後、すべてのブロックに対する符号化が終了したか否かを検査し、また底部と左側部分(Bottom and Left Line)に対する符号化が行われる。i番目の波紋でW+3*i+2と明示されたブロックに対する符号化が先に行われ、そのマクロブロックから下側方向にI個のマクロブロックに対する符号化が左側部分(Left Line)に対して行われる。以後、直ぐ下側マクロブロックから右側方向にi番目の波紋で全体2*(W+3*i+1)個のブロックに対する符号化が底部部分(Bottom Line)に対して行われる。
16:9画面比率での波紋スキャン方法の実際の具現例は次の通りである。
◎ Initial Parameter

Width : The number of MBs in Width of Map
Height : The number of MBs in Height of Map
Control Point : (x,y) : Coordination of Center MB position of Water Ring
Start Point : (Sx,Sy) : Coordination of Start MB Position of Water Ring
Figure 2008072734
 CodeMB(x,y) : A coding function for designated macroblock. According to Water Ring scan order, VLC or VLD for each bitplane are performed in the FGS encoder and decoder, respectively. x and y are coordinate of macroblock in the image frame.

flag CheckBound() : A checking function for out of bound Map. If the CheckBound() set(return TRUE), bellow iteration Aborted. This mean is coded All block already. If the CheckBound() function return FALSE, Next step is executed.

coordinate is an unit of macroblock.

◎ Algorithm

Step 1. code the start point of Water Ring and core part(include control point).
The Water Ring origin is located at (x,y)
for(i=0;i<W;i++)
CodeMB(Sx+i,Sy);
j=1;

Step 2. Check Stopping condition of the Algorithm.
if(CheckBound()==NULL) go to step 6.

Step 3. Code the top line and right line of the Water Ring
for(i=-j;i<W+3*j-1;i++)
if(i<W+j)
CodeMB(Sx+i,Sy-j);
else
CodeMB(Sx+W+j-1,Sy+i-(W+2*j-1));

Step 4. Check stopping condition of the Algorithm.
if(CheckBound()==NULL) go to step 6.

Step 5. Code the Bottom line and left line of the Water Ring.
for(i=-j;i<W+3*j-1;i++)
if(i<j)
CodeMB(Sx-j,Sy+i+1);
else
CodeMB(Sx+i-2*j+1,Sy+j);
Figure 2008072734
実施例１で説明した波紋スキャンオーダ方法は、基本原理を説明するためのものであり、ハードウェア具現を考慮していない。1-1と1-2の符号化において、ジグザグ(zigzag)方向の符号化を行い、キャッシュ(Cache)の的中率(hit-rate)を下げる主な要因となった。従って、2-1の符号化以後、1-1と1-2の符号化をジグザグ順序にせず、1-2の符号化を下側方向に符号化し、1-1の符号化を下側方向に行い、2-2の符号化を行って、順次的な(予測可能な)方法を用いると、キャッシュの的中率を高めることができる。このような方法は図１５を参照して説明する。
図１５は、本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目の波紋を效果的にスキャンするための順序を説明する説明図である。
i番目の波紋でまず2-1に対する符号化を行い、同時に右側部分に対する符号化を行う(1501)。右側ラインに対する符号化が終了すると、左側部分に対する符号化を行い下側部分に対する符号化を行う(1502)。すなわち、基本方法としては3番目の波紋を符号化している場合、総１１回の予測できない地点への分岐が行われるが、新しく提示された方法論に従う場合、i番目の波紋の開始地点と波紋の分岐地点、すなわち、上側と右側マクロブロックに対する符号化が終了し、左側と下側マクロブロックに対する符号化が始まる時点の総２回のみ分岐が行われ、的中率を大きく高めることができる。既存に提示した方法論は波紋が大きくなるほど分岐がより多くなるが、新しい方法論は波紋の繰り返し回数に関係なく無条件に2回とその回数が決まっている。このような方式で波紋をフレームの全体が符号化されるまで繰り返す。
前記のような本発明は、人間の視覚システムに適するように視覚的に重要な特定画像部分の情報を優先的にエンコーディングを行って伝送し、受信端でも該当特定部分の画像情報を優先的にデコーディングするようにして、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上エンコーダ端で伝送されたすべてのビットストリームをデコーダ端で受信されない場合にも特定の重要部分の画質を常に保障できる効果がある。
なお、本発明は、本実施例に限られるものではない。本発明の趣旨から逸脱しない範囲内で多様に変更実施することが可能である。
従来の基本的な微細粒子スケーラブル(FGS: Fine Granular Scalability)コーディング方法の一実施例の構造図である。 従来の２段階のFGSとFGST(Fine Granular Scalability Temporal)の向上段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。 従来のFGSとFGSTとが一つの段階に統合運営される強化段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。 従来の微細粒子スケーラブルコーディング方法のエンコーダ端の一実施例の構造図である。 従来の微細粒子スケーラブルコーディング方法のデコーダ端の一実施例の構造図である。 従来のDCTを用いた画像及び動画コーディング方法において正常スキャンオーダ(Normal Scan Order)の一例示図である。 従来の正常スキャンオーダをスケーラブルコーディング方法に適用した一例示図である。 従来の正常スキャンオーダをスケーラブルコーディング方法に適用した他の例示図である。 本発明に係る波紋スキャンオーダ(Water Ring Scan Order)に対する基本原理を説明するための概念図である。 本発明に係る波紋スキャン方法に対する一実施例のフロー図である。 本発明に係る波紋スキャン装置に対する一実施例の構成図である。 本発明に係る波紋スキャンオーダにおいてi番目に発生した波紋の画像情報位置(波紋(i))に対する説明図である。 本発明に係る波紋スキャンオーダを用いた画像コーディング装置の一実施例の構成図である。 本発明に係る波紋スキャンオーダを用いた画像デコーディング装置の一実施例の構成図である。 DCTを用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。 ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。 本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の一実施例の構造図である。 本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の一実施例の構造図である。 本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の他の実施例の構造図である。 本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の他の実施例の構造図である。 MPEG-4基盤微細粒子スケーラブルコーディング方法に波紋スキャン方法を挿入して実際に実験した結果の一例示図である。 本発明の他の実施例に係る16:9画面比率のための波紋スキャンオーダの原理を説明するための概念図である。 本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目に発生した波紋に対する説明図である。 本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダにおいてi番目の波紋を效果的にスキャンするための順序を説明するための説明図である。
符号の説明
６５ 波紋発生位置決定部
６６ データ処理部
６７ 反復遂行如何決定部
６８ 波紋位置決定部
８１，８４ 波紋発生位置決定部
８２，８５ 波紋発生部
８３ 画像コーディング部
８６ 画像デコーディング部

Claims (20)

  1. 波紋スキャン装置において、
    優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを始めるための波紋スキャン開始手段と、
    前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定し、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、
    前記波紋スキャン位置決定手段で決定された波紋スキャン位置によって波紋スキャンを行うための波紋スキャン手段と
    を含む波紋スキャン装置。
  2. 画像コーディングのための波紋スキャン装置において、
    画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行うための波紋発生位置データコーディング手段と、
    前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをコーディングするための波紋位置決定及びデータコーディング手段と、
    前記画像フレーム内のすべてのデータがコーディングされるまで波紋の位置決定と該当画像データのコーディングを繰り返し行うようにする反復遂行如何決定手段と
    を含むことを特徴とする波紋スキャン装置。
  3. 画像デコーディングのための波紋スキャン装置において、
    画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行うための波紋発生位置データデコーディング手段と、
    前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをデコーディングするための波紋位置決定及びデータデコーディング手段と、
    前記画像フレーム内のすべてのデータがデコーディングされるまで波紋の位置決定と該当画像データのデコーディングを繰り返し行うようにする反復遂行如何決定手段と
    を含むことを特徴とする波紋スキャン装置。
  4. 前記波紋発生位置は、
    既に決定されていることを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  5. 前記既に決定された波紋発生位置は、
    画像フレームの中央部であることを特徴とする請求項４に記載の波紋スキャン装置。
  6. 前記波紋発生位置（波紋（0））を決定するための波紋発生位置決定手段をさらに含むことを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  7. 前記決定された波紋(i)の位置は、
    波紋発生位置からx軸に-iほど離れた位置にあり、y軸に±iより小さい位置に該当するすべての位置(1-1:x-iであり、(y-i<y<y+i)であるすべての位置)と、
    波紋発生位置からx軸に+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべての位置(1-2：x+iであり、(y-i<y<y+i)であるすべての位置)と、
    波紋発生位置からy軸に-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-1：y-iであり、(x-i<x<x+i)であるすべての位置)と、
    波紋発生位置からy軸に+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-2：y+iであり、(x-i<x<x+i)であるすべての位置)と、
    波紋発生位置からx軸に±iほど、そしてy軸に±iほど離れた所のすべての位置(3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置)と
    を含むことを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  8. 前記波紋スキャン装置は、
    マクロブロック単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  9. 前記波紋スキャン装置は、
    ブロック単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  10. 前記波紋スキャン装置は、
    ピクセル単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
  11. 波紋スキャン装置に適用される波紋スキャン方法において、
    優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを始める第１段階と、
    前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２段階と、
    四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３段階と
    を含むことを特徴とする波紋スキャン方法。
  12. 画像コーディングのための波紋スキャン装置に適用される波紋スキャン方法において、
    画像フレーム内で優先的にコーディングして伝送するべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１段階と、
    すべてのデータに対してコーディングを行ったか否かを判断する第２段階と、
    前記第２段階の判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３段階と
    を含むことを特徴とする波紋スキャン方法。
  13. 画像デコーディングのための波紋スキャン装置に適用される波紋スキャン方法において、
    画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１段階と、
    すべてのデータに対してデコーディングを行ったか否かを判断する第２段階と、
    前記第２段階の判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３段階と
    を含むことを特徴とする波紋スキャン方法。
  14. 前記波紋発生位置は、
    既に決定されていることを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
  15. 前記既決定された波紋発生位置は、
    画像フレームの中央部であることを特徴とする請求項１４に記載の波紋スキャン方法。
  16. 前記波紋発生位置(波紋(0))を決定する第4段階をさらに含むことを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
  17. 前記決定された波紋(i）の位置は、
    波紋発生位置からx軸に-iほど離れた位置にあり、y軸に±iより小さい位置に該当するすべての位置(1-1：x-iであり、(y-i<y<y+i)であるすべての位置)と、
    波紋発生位置からx軸に+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべての位置(1-2：x+iであり、(y-i<y<y+i)であるすべての位置)と、
    波紋発生位置からy軸に-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-1：y-iであり、(x-i<x<x+i)であるすべての位置)と、
    波紋発生位置からy軸に+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-2：y+iであり、(x-i<x<x+i)であるすべての位置)と、
    波紋発生位置からx軸に±iほど、そしてy軸に±iほど離れた所のすべての位置(3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置)と
    を含むことを 特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
  18. 前記波紋スキャン方法は、
    マクロブロック単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
  19. 前記波紋スキャン方法は、
    ブロック単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
  20. 前記波紋スキャン方法は、
    ピクセル単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
JP2007262719A 2000-07-07 2007-10-05 波紋スキャン装置 Expired - Lifetime JP4988498B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR2000/38962 2000-07-07
KR20000038962 2000-07-07
KR2000/83366 2000-12-27
KR1020000083366A KR100353851B1 (ko) 2000-07-07 2000-12-27 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002508844A Division JP2004503154A (ja) 2000-07-07 2001-07-07 波紋スキャン装置及びその方法並びにそれを用いた画像コーディング／デコーディング装置及びその方法

Publications (2)

Publication Number Publication Date
JP2008072734A true JP2008072734A (ja) 2008-03-27
JP4988498B2 JP4988498B2 (ja) 2012-08-01

Family

ID=26638195

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002508844A Pending JP2004503154A (ja) 2000-07-07 2001-07-07 波紋スキャン装置及びその方法並びにそれを用いた画像コーディング／デコーディング装置及びその方法
JP2007262719A Expired - Lifetime JP4988498B2 (ja) 2000-07-07 2007-10-05 波紋スキャン装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002508844A Pending JP2004503154A (ja) 2000-07-07 2001-07-07 波紋スキャン装置及びその方法並びにそれを用いた画像コーディング／デコーディング装置及びその方法

Country Status (11)

Country Link
US (8) US7388916B2 (ja)
EP (3) EP1300025B1 (ja)
JP (2) JP2004503154A (ja)
KR (1) KR100353851B1 (ja)
CN (3) CN1984337A (ja)
AU (1) AU2001269582A1 (ja)
CA (3) CA2854524C (ja)
DK (1) DK1300025T3 (ja)
ES (1) ES2459417T3 (ja)
PT (1) PT1300025E (ja)
WO (1) WO2002005564A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
KR100603592B1 (ko) * 2001-11-26 2006-07-24 학교법인 고황재단 영상 화질 향상 인자를 이용한 지능형 파문 스캔 장치 및 그 방법과 그를 이용한 영상 코딩/디코딩 장치 및 그 방법
WO2003053066A1 (en) 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20030156637A1 (en) * 2002-02-15 2003-08-21 Koninklijke Philips Electronics N.V. Memory-bandwidth efficient FGS encoder
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7657111B2 (en) 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
CN100471220C (zh) * 2004-02-17 2009-03-18 Nxp股份有限公司 在小尺寸显示器上显现大静止画面的方法
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20050114751A (ko) * 2004-06-01 2005-12-06 경희대학교 산학협력단 예측 부호화/복호화 장치 및 예측 부호화/복호화 방법
KR100982518B1 (ko) * 2004-06-11 2010-09-16 삼성전자주식회사 영상 데이터 유닛의 ｄｃ 계수 예측 방법 및 그 장치
EP1607858A1 (en) * 2004-06-16 2005-12-21 Koninklijke Philips Electronics N.V. Bit-plane extraction operation
DE102004041664A1 (de) * 2004-08-27 2006-03-09 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR100775788B1 (ko) * 2005-07-15 2007-11-13 경희대학교 산학협력단 화질 향상을 위한 사이클릭 미세입자 스케일러빌리티기반에서 플렉서블 매크로 블록 오더링에 의한 코딩방법 및 그 방법을 기록한 기록매체
US8279918B2 (en) * 2005-07-15 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using residual signal clipping
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
AU2006303886B2 (en) * 2005-10-12 2011-11-17 Interdigital Vc Holdings, Inc. Region of interest H .264 scalable video coding
FR2893806A1 (fr) 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
US8233544B2 (en) * 2006-07-13 2012-07-31 Qualcomm Incorporated Video coding with fine granularity scalability using cycle-aligned fragments
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR20090097015A (ko) 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造
CN102291533B (zh) * 2011-06-22 2014-01-08 李泉 视频采集方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52143712A (en) 1976-05-26 1977-11-30 Oki Electric Ind Co Ltd Tv static picture transmission system
JPH0256187A (ja) 1988-08-22 1990-02-26 Matsushita Electric Ind Co Ltd 動画像符号化装置
GB9020082D0 (en) * 1990-09-14 1990-10-24 Crosfield Electronics Ltd Methods and apparatus for defining contours in coloured images
DE69230922T2 (de) 1991-01-17 2000-11-30 Mitsubishi Denki K.K., Tokio/Tokyo Videosignalkodierer mit Blockvertauschungstechnik
JPH0548914A (ja) 1991-08-08 1993-02-26 Sanyo Electric Co Ltd 画像データ符号化装置
JPH0583567A (ja) 1991-09-24 1993-04-02 N T T Data Tsushin Kk 画像符号化装置
JPH06105168A (ja) * 1992-03-25 1994-04-15 Nec Corp イメージデータの処理方式
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
DE4405803C2 (de) * 1994-02-23 1997-04-30 Bosch Gmbh Robert Verfahren zur Quellcodierung
JPH08294119A (ja) * 1995-04-21 1996-11-05 Toshiba Corp 画像符号化／復号化装置
JPH09182073A (ja) 1995-03-15 1997-07-11 Toshiba Corp 動画像符号化装置および復号装置
DE69629442T2 (de) * 1995-12-06 2004-06-09 Harman Becker Automotive Systems (Xsys Division) Gmbh Verfahren und Einrichtung zur Kodierung digitaler Videosignale
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5838830A (en) * 1996-09-18 1998-11-17 Sharp Laboratories Of America, Inc. Vertex-based hierarchical shape representation and coding method and apparatus
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
JPH10215454A (ja) 1997-01-30 1998-08-11 Pioneer Electron Corp 符号化装置及び符号化方法
JP3213582B2 (ja) 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
KR100476386B1 (ko) 1997-07-02 2005-07-21 주식회사 팬택앤큐리텔 신축형대상물영상의스캔인터리빙방법및이를이용한mpeg-4의신축형모양정보부호화방법
US6501861B1 (en) * 1998-09-17 2002-12-31 Samsung Electronics Co., Ltd. Scalable coding/decoding methods and apparatus for producing still image using wavelet transformation
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US7020195B1 (en) * 1999-12-10 2006-03-28 Microsoft Corporation Layered coding and decoding of image data
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US6973128B2 (en) * 2003-02-21 2005-12-06 Mitsubishi Electric Research Labs, Inc. Multi-path transmission of fine-granular scalability video streams

Also Published As

Publication number Publication date
US8406310B2 (en) 2013-03-26
US8184719B2 (en) 2012-05-22
CN1448028A (zh) 2003-10-08
US20070116127A1 (en) 2007-05-24
CA2854524A1 (en) 2014-06-17
CA2414362A1 (en) 2002-01-17
CN1638482A (zh) 2005-07-13
EP1991006A2 (en) 2008-11-12
US20070201561A1 (en) 2007-08-30
EP1300025A1 (en) 2003-04-09
KR100353851B1 (ko) 2002-09-28
CA2848591A1 (en) 2002-01-17
US20040062444A1 (en) 2004-04-01
AU2001269582A1 (en) 2002-01-21
CA2414362C (en) 2015-09-22
JP4988498B2 (ja) 2012-08-01
CN1312935C (zh) 2007-04-25
US7881388B2 (en) 2011-02-01
KR20020005365A (ko) 2002-01-17
US20070121732A1 (en) 2007-05-31
CN100407794C (zh) 2008-07-30
US8184717B2 (en) 2012-05-22
US20070110165A1 (en) 2007-05-17
EP1971148A3 (en) 2011-11-09
CN1984337A (zh) 2007-06-20
US20080025405A1 (en) 2008-01-31
EP1300025A4 (en) 2008-12-03
US7388916B2 (en) 2008-06-17
JP2004503154A (ja) 2004-01-29
US20070116120A1 (en) 2007-05-24
WO2002005564A1 (en) 2002-01-17
US8036276B2 (en) 2011-10-11
US8184718B2 (en) 2012-05-22
DK1300025T3 (da) 2014-02-17
EP1300025B1 (en) 2014-01-29
US20070116121A1 (en) 2007-05-24
US8036275B2 (en) 2011-10-11
EP1991006A3 (en) 2011-11-09
ES2459417T3 (es) 2014-05-09
EP1971148A2 (en) 2008-09-17
CA2848591C (en) 2017-02-07
CA2854524C (en) 2015-09-22
PT1300025E (pt) 2014-04-04

Similar Documents

Publication Publication Date Title
JP4988498B2 (ja) 波紋スキャン装置
JP2008172810A (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
JP2005510979A6 (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
KR100491445B1 (ko) Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
KR20060063619A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100775788B1 (ko) 화질 향상을 위한 사이클릭 미세입자 스케일러빌리티기반에서 플렉서블 매크로 블록 오더링에 의한 코딩방법 및 그 방법을 기록한 기록매체
Cheong et al. A new scanning method for h. 264 based fine granular scalable video coding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080403

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080604

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081222

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20091113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091113

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091210

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20120301

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120426

R150 Certificate of patent or registration of utility model

Ref document number: 4988498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term