JP2005510979A6 - 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法 - Google Patents

画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法 Download PDF

Info

Publication number
JP2005510979A6
JP2005510979A6 JP2003548545A JP2003548545A JP2005510979A6 JP 2005510979 A6 JP2005510979 A6 JP 2005510979A6 JP 2003548545 A JP2003548545 A JP 2003548545A JP 2003548545 A JP2003548545 A JP 2003548545A JP 2005510979 A6 JP2005510979 A6 JP 2005510979A6
Authority
JP
Japan
Prior art keywords
ripple
image
encoding
decoding system
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003548545A
Other languages
English (en)
Other versions
JP2005510979A (ja
JP4722395B2 (ja
Inventor
チョン、ウォン‐シク
キム、キュヘオン
パク、ウァン、フーン
リー、ユン、ジン
キム、ジンウーン
アーン、キエテウク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Kohwang Foundation
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Kohwang Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Kohwang Foundation filed Critical Electronics and Telecommunications Research Institute ETRI
Priority claimed from PCT/KR2002/002215 external-priority patent/WO2003047263A1/en
Publication of JP2005510979A publication Critical patent/JP2005510979A/ja
Publication of JP2005510979A6 publication Critical patent/JP2005510979A6/ja
Application granted granted Critical
Publication of JP4722395B2 publication Critical patent/JP4722395B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

知能型波紋スキャン装置及びその方法とそれを利用した画像符号化/復号化装置及びその方法と前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関するものである。本発明に係る装置及び方法は、人間の視覚システム(ＨＶＳ:Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ)に適合するように画像情報を伝達して視覚的に優れた画質が得られるように優先的に符号化を行わなければならない部分の画像画質を、選択的に向上させる。画像符号化装置は、符号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように前記画像の特定部分の位置の重要度に応じて処理する情報の量を異にすることを特徴とする。

Description

本発明は、知能型波紋スキャン技術に関し、さらに詳細には波紋スキャン(Ｗａｔｅｒ Ｒｉｎｇ Ｓｃａｎ)技術を利用して、各々の波紋別に人間の視覚システム(ＨＶＳ: Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ)に適合するように画像情報を交換させることによって、悪い伝送環境でも画質を向上させることのできる装置及びその方法と、その方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。前記波紋スキャン技術は、任意の特定位置の画像情報を最優先的にスキャンした後、すぐ隣接する外郭に位置する画像情報をその次にスキャンする過程を繰り返し行う。
一般に、停止画像及び動画像を含む画像の符号化方法において、スケーラブル符号化(Ｓｃａｌａｂｌｅ Ｃｏｄｉｎｇ)方法に対する要求が大幅に増加している。時間、場所、対象に拘らずに画像情報を利用して通信ができるようにする移動通信サービスや、無線インターネットなどの登場によって、使用者はノートブック、パームトップ、個人用携帯端末器(ＰＤＡ)などのような多様なコンピュータと結合した情報端末を利用して遠隔地の画像情報を獲得、管理、変更できることを希望する。したがって、多様な形態の画像情報などを伝達するためのＩＭＴ-２０００ビデオフォン、ＨＤＴＶなどが今後発売され、発売される画像情報端末製品の符号化能力や伝送環境などは、各々の端末器が持つべき特性や適用環境により当然に異なるようになる。
この場合、考慮しなければならない事項は、受信環境に適合した動画像をどんな方法で伝送するかである。例えば、低品質の復号器のみを想定して符号器で符号化を行うならば、高品質の復号器を有している使用者は高品質の復号器で低品質の画像を伝送されるようになり、このような状況が発生することは誰も望まない。すなわち、高品質の復号器を所有している使用者は、当然に高品質の画像を獲得できなければならず、低品質の復号器を有した者も満足するほどの水準の画像を伝送することができなければならない。また、受信端の端末器の性能が優れており、伝送線路(無線、ＡＴＭ、ＬＡＮ等）の状態がよい場合には、高画質の動画像を受信して表示できるが、受信機の性能が不良であるか、通信環境の状態が悪い場合などには高画質を受信することができなくなる。
このような問題を解決するため、ＭＰＥＧ-４(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ-４)では、受信者側の端末器の受信環境や性能によって多様な画質を提供できるように設計されている。
スケーラブル画像符号化は、受信端で低画質から高画質まで多様な画質の画像を受信できるように、符号器でスケーラブル可能なビットストリームを作って伝送する技術である。すなわち、伝送ビットストリームがスケーラブル可能であれば、低性能(Low Performance)受信機は基本階層(Base Layer)で符号化された基本画質の画像ビットストリームを受信して表示するようにし、高性能(High Performance)受信機は強化階層(Enhancement Layer)で符号化された高画質の画像ビットストリームを受信して表示することができる。
スケーラブル符号化方法は、基本的に大きく基本階層と強化階層から構成される。符号器の基本階層では基本品質の動画像情報を伝送しており、符号器の強化階層では基本品質の画像情報に加えて、受信端に向上した画質を提供できる情報を伝送することによって、受信端で基本階層画像情報と強化階層画像情報とに基づいて高品質の画像情報を復号化できるようにしている。
したがって、受信端では端末器の性能や伝送環境に応じて伝送された２種類の階層の画像情報を選択して復号化する。すなわち、送信端から伝送された全ての情報を受信機性能、または伝送環境により復号器が復号化できなければ、復号器は最小画像品質の補償階層である基本階層に対する情報のみを復号化し、残りの強化階層に該当する情報は復号化せずに捨てる。一方、高品質の受信機は、全階層の情報に基づいて高品質の画像を取得する。これによって、高品質の復号器を所有した使用者と低品質の復号器を所有した使用者の双方を満足させることのできる画像伝送が、スケーラブル符号化方法により可能となる。
しかし、従来のスケーラブル符号化方法は、伝送環境が急変せず相対的に安定した場合に適合するように設計されている。すなわち、受信端で強化階層から送信されたビットストリームを全て受信するということを前提として、画像フレームを復元できるように設計されている。もし、伝送線路が受け入れ可能なビットストリームの帯域幅が急変(例えば、インターネットなどのような伝送線路においてネットワークを使用するクライアント数の急増のような外部要因によって各使用者に割り当て可能な帯域幅が急変)して、強化階層に該当する全てのビットストリームが受信機で受信されない場合には、該当画像を正しく復元できない。この場合、受信端は再伝送を送信端に要求するか、全てのビットストリームを受信するまで画像復元を行なえないか、または前のフレームの画像を利用して伝送誤り隠蔽(error concealment)を行なわなければならない。
伝送環境の状態が不安定で、画像ビットストリームがリアルタイムに追随するだけの速さで伝送できない場合が、有線/無線インターネットにおいて、多く発生する。したがって、有線/無線インターネットのように伝送環境の状態が不安定で帯域幅が急変する場合にも、伝送された画像のリアルタイム復元を行うためには、送信端で伝送された全てのビットストリームを受信端で全部受信していない場合にも、それまで受信された部分的な画像ビットストリームのみを利用して伝送画像をリアルタイムに復元できなければならない。このための一例として、ＭＰＥＧ-４では微細粒子スケーラブル(ＦＧＳ:Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ)方法論を提案して国際標準案を制定している。
付言すれば、微細粒子スケーラブル符号化(Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｌｅ Ｃｏｄｉｎｇ)方法は、スケーラブル符号化を行う時、伝送環境の状態が不安定な場合、送信端の基本階層符号器と強化階層符号器で符号化されて伝送されたビットストリームを受信端で全部受信できない場合にも、それまで受信した部分的なビットストリームのみを利用して伝送画像の復元を可能にする方法であって、安定した伝送線路のみが考慮された従来のスケーラブル符号化方法の短所を補完できるように設計されている。
受信端で部分的な画像ビットストリームを用いて、効率的に画像を復元するため、送信端が基本階層から伝送された画像を基礎として向上した画質の画像を形成して送信する場合、画像ビットストリームはビットプレーン単位で伝送される。すなわち、強化階層に必要なビットストリームが伝送される場合、元画像(Ｏｒｉｇｉｎａｌ Ｉｍａｇｅ）と基本階層から伝送される画像との差のみを伝送して伝送画像の画質向上を図るようにすることは、従来のスケーラブル符号化方法と類似しているが、強化階層から受信端に伝送する画像情報をビットプレーン別に分けて最上位ビット(ＭＳＢ:Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ)を最優先的に伝送し、その次の上位ビットプレーン別に分けて連続的に伝送することによって、受信端で伝送環境が急変して画像復元に必要な全てのビットを受信できない場合にも、その時まで受信された部分的な画像ビットストリームのみを利用して伝送画像をリアルタイムに復元できるように設計されている。
図１Ａは、従来の微細粒子スケーラブル符号化方法の符号器の一実施の形態の構造図であり、図１Ｂは従来の微細粒子スケーラブル符号化方法の復号器の一実施の形態の構造図である。ＭＰＥＧ-４国際標準案で用いられる微細粒子スケーラブル符号化方法の符号器構造は、図１Ａに示すように、基本階層はＭＰＥＧ-４画像符号化方法をそのまま利用している。
前記ＦＧＳ符号器は、離散コサイン変換部、ビットプレーンシフト部、最大値演算部、ビットプレーン別可変長符号化部、量子化部、可変長符号化部、動き補償部(ＭＣ)、逆量子化部、逆離散コサイン変換部(ＩＤＣＴ)、動き推定部(ＭＥ)、フレームメモリ、クリッピング部を含む。
基本階層に用いられる画像符号化のため、離散コサイン変換部（ＤＣＴ)、量子化部（Ｑ)、動き推定部(ＭＥ)、動き補償部(ＭＣ)、逆量子化部(Ｑ−１)及び逆離散コサイン変換部(ＩＤＣＴ)を介して空間軸と時間軸の方向で画像情報圧縮が行われ、可変長符号化部(ＶＬＣ:Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)により符号化が行われることによって、符号の発生確率の偏重によるエントロピー符号化が行なわれて、基本階層ビットストリームが伝送される。
一方、図面に示すように、強化階層のＦＧＳ符号化は、元画像と基本階層から再生された画像との誤差を求める誤差演算部、離散コサイン変換部、ビットプレーンシフト部、最大値演算部及びビットプレーン別可変長符号化部を通して行われる。
前記誤差演算部では、基本階層で符号化された後再生される画像(図面において、逆量子化部(Ｑ−１)と逆離散コサイン変換部とを通過した後クリッピングされた再生画像）と元画像との差を求めてその誤差値を求める。離散コサイン変換部(ＤＣＴ）は、前記誤差を求める過程で求められた画像基盤誤差値をブロック単位(８×８単位)ＤＣＴを利用してＤＣＴドメインに変換する。
この場合、選択的に良好な画質を有するブロックが必要であれば、該当値を最優先的に伝送しなければならず、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト部で行う。
最大値演算部では離散コサイン変換を終了した全ての値の絶対値に対する最大値を求める。この値は該当画像フレームを伝送するための最大ビットプレーンの個数を求めることに用いられる。
ビットプレーン可変長符号化部は、ビットプレーン別にブロック単位に求められた６４個のＤＣＴ係数(ＤＣＴ係数の該当ビットプレーンのビット:０または１）がジグザグスキャン順に一つの行列を構成し、各行列は可変長コード表(ＶＬＣ Ｔａｂｌｅ)によってランレングス(Ｒｕｎ-Ｌｅｎｇｔｈ)符号化される。
一方、ＭＰＥＧ-４国際標準案に開示されている従来のスケーラブル符号化方法の復号器構造は、図１Ｂに示すように、基本階層と強化階層とに分けられて伝送環境を通して受信された伝送ビットストリームの復号化を図１Ａに示す符号器と逆順に行うようになる。
基本階層ではＭＰＥＧ-４画像復号化方法をそのまま使用している。基本階層にビットストリームが入力されると、可変長復号化部(ＶＬＤ:Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ ＤｅＣｏｄｉｎｇ)により復号化が行なわれた後に逆量子化部(Ｑ−１:Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ)を通して逆量子化が行なわれ、該当値を逆離散コサイン変換部がコサイン変換を行なって動き補償部から出力された動き補償値(ＭＣ:Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と合算した後に、クリッピング部が該当値を０から２５５値の間にクリッピングして、最終的に基本階層の伝送画像を復元する。
また、微細粒子スケーラブル符号化方法が適用された復号器の強化階層では、符号器と逆順に強化階層に伝送されたビットストリームの復号化を行うが、先に入力された強化ビットストリームに対してビットプレーン可変長復号化部がビットプレーン別に可変長復号化を行なった後、選択的に良好な画質を有するブロックの位置などが伝送されるならば、ビットプレーンシフト部はビットプレーンシフトを選択的に行う。
以後、逆離散コサイン変換部は、前記ビットプレーン別に可変長復号化が行なわれ、選択的にシフトが行なわれて算出された値に、ブロック単位(８×８単位）の逆離散コサイン変換を行なって強化階層から伝送された画像を復元した後、クリッピング部が基本階層で復号された画像と合算された値を０から２５５値の間にクリッピングして、最終的に向上した画質の画像を復元する。
この場合、部分的なビットストリームのみを受信しても画像復元が可能となるようにするためには、強化階層間に画像の符号化効率を増大させるいかなる方法論(強化階層間の動き補償等)も使用できず、単に基本階層の符号化効率を可及的に向上させる方法のみを使用しなければならない。
図２Ａは、従来のＤＣＴを利用した画像及び動画像符号化方法におけるラスタースキャン順序の一例を示す図であり、図２Ｂは従来のラスタースキャン順序をスケーラブル符号化方法に適用した一例を示す図である。
ＪＰＥＧ、Ｈ.２６３、ＭＰＥＧなどに主に用いられるＤＣＴを利用した動画像符号化方法においては、マクロブロックと８×８ブロック単位に画像データを符号化して伝送するが、この場合、全ての画像フレーム(またはビデオオブジェクトプレーン)に対する符号化と復号化は最上段右側(Upper-Left)に位置したマクロブロック(またはブロック)から始めて最下段右側(bottom-left)部分のマクロブロック(またはブロック)までの画像データを順に処理する。これを本発明ではラスタースキャン順序と表記することにし、これは図２Ａに示してある。
ラスタースキャンの順序は、既存の画像や動画像処理方法に基本階層と強化階層そして強化階層との間の符号化効率を増大させる方法論(動き推定や補償ＤＣ値予測等）を適用するため、必然的に使用しなければならないスキャン順序である。
部分的なビットストリームのみを受信しても画像復元を可能にするスケーラブル符号化方法にラスタースキャン順序を適用すると、図２Ｂに示すように復号化が行なわれた部分(黒く書かれたブロックが復号化が行なわれたブロック、書かれなかったブロックが復号化が行なわれなかったブロック)のみが復元画像として受信端の画面に表示される。
すなわち、基本階層で伝送されたビットストリームと強化階層で部分受信されて復号化されたビットストリームとに基づいて向上した画像が受信端で再生される過程において、図２Ｂに示すように、画像の一部データのみ強化階層で受信されて復号化されると、再生画像の画質は強化階層で復号化が完了した部分の画質のみ向上するようになる。しかし、もし向上した部分の画像が視聴者が注目しない所(例えば背景や主人公の顔などでない所)であれば、強化階層用ビットストリームを受信して復元する過程が使用者が注意を払わない部分を処理するようになって無用に処理されたことと同様となる短所がある。
しかし、上記されたように部分的なビットストリームのみを受信しても画像復元を可能にするためには、単に基本階層からの符号化効率を可及的に向上させる方法のみが使用可能である。このため、強化階層の画像情報を伝送する時ラスタースキャン順序によって符号化する代わりに、任意のスキャン順序を使用して伝送しても、復号器から伝送されたビットストリームをエラーなしに復元できる。
したがって、本発明は前記問題点に鑑みてなされたものであって、その目的とするところは、任意の特定位置の画像情報を最優先的に符号化した後、すぐ隣接する外郭に位置する画像情報をその次に符号化する過程を繰り返す波紋スキャン技術を利用して、各々の波紋別に決定された重要度によって差別的に画像情報を符号化し、優先的に伝送することによって、画像情報伝送環境が悪化しても画像フレームの主要部分を優先的に最上の品質に向上させてＨＶＳに適合した画像を提供できる装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供することにある。
また、本発明は上記の問題点に鑑みてなされたものであって、画像情報伝送環境が悪くても動画像符号化装置の受信端で強化段階の部分的な伝送ビットストリームのみを受信しても画像が復元されるように、単に基本階層から符号化効率を可及的に向上させる方法のみを使用しなければならないため、ラスタースキャン順序を使用して伝送する必要により、人間の視覚システム(ＨＶＳ:Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ)を考慮して受信画像の画質を可及的に向上させるスキャン方法及び装置を提案し、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供することにある。
本発明が属する技術分野における通常の知識を有するものは、本明細書の図面、発明の詳細な説明及び特許請求の範囲から本発明の他の目的及び長所を容易に認識できる。
前記目的を達成するために本発明は、画像符号化装置において、符号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理する情報の量を異にすることを特徴とする画像符号化装置を提供する。
また、前記目的を達成するため、本発明は、画像符号化方法において、符号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理する情報の量を異にすることを特徴とする画像符号化方法を提供する。
また、前記目的を達成するために本発明は、プロセッサを備えた画像符号化装置に、符号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理する情報の異を別にする機能を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供する。
また、前記目的を達成するため、本発明は、画像復号化装置において、復号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理される情報の量を異にすることを特徴とする画像復号化装置を提供する。
また、前記目的を達成するため、本発明は、画像復号化方法において、復号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理される情報の量を異にすることを特徴とする画像復号化方法を提供する。
また、前記目的を達成するため、本発明は、プロセッサを備えた画像復号化装置に、復号化される画像に対して部分別に人間視覚システムに適合した多様な画質に処理されるように、前記画像の特定部分の位置の重要度に応じて処理される情報の量を異にする機能を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供する。
また、前記目的を達成するため、本発明は、画像符号化/復号化システムの波紋スキャン装置において、画像符号化/復号化過程でデータ処理を容易にするため、所定の順序によって符号化/復号化される画像データをスキャンしてデータを処理することを特徴とする波紋スキャン装置を提供する。
また、前記目的を達成するため、本発明は、画像符号化/復号化システムの波紋スキャン方法において、画像符号化/復号化過程でデータ処理を容易にするため、所定の順序によって符号化/復号化される画像データをスキャンしてデータを処理することを特徴とする波紋スキャン方法を提供する。
また、前記目的を達成するために本発明は、プロセッサを備えた波紋スキャン装置に画像符号化/復号化過程でデータ処理を容易にするため、に所定の順序によって符号化/復号化される画像データをスキャンしてデータを処理する機能を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供する。
本発明は、上述したような構成によって、重要な特定画像部分の情報を人間の視覚システムに適合するように画質を向上させた後、優先的に符号化を行なって伝送し、受信端でも該当特定部分の画像情報を優先的に復号化して、伝送環境が悪くてこれ以上符号器から伝送された全ビットストリームを復号器で受信できない場合にも特定のの重要部分の画質を最大限保障できるという効果を提供する。
発明を実施するための最良の実施の形態
以下には添付された図面を参照しながら、発明に係る好ましい実施の形態を詳細に説明する。
本発明によると、波紋スキャンプロセスで波紋発生位置、すなわち最優先的に符号化すべき位置の画質を良好に伝送し、外郭へ行くほど画質を漸進的に下げる(graceful degradation)方法を利用して画像情報の送受信が可能に構成して情報の重要度によってＨＶＳに適合するように画質向上を行うことができるようになる。
例えば、画面の中央位置を波紋の発生位置とすれば(大部分のビデオ撮影の時関心のある物体が画面中央に位置する)、該当位置の画質は使用者が非常に関心の高い領域であるため、最優先的に送受信を可能にすると共に該当位置の画質を高くして伝送及び受信を可能にして、次第に外郭へ行くほど使用者の関心度が低いため、送受信の優先順位を低くすると共に画質も漸進的に劣化させて、従来の動画像符号化方法と同じ伝送ビット率を維持しながら関心領域の画質を受信側に最大限保障できる。
また、本発明によれば、伝送すべきな画像フレーム内の任意の特定部分から優先的に符号化を行う。この場合、当該特定部分の重要度に応じて情報の伝送量を異に伝送するようにして、特定部分位置の画質をＨＶＳに適合して向上できる知能的方法が行われる。知能的方法では、最優先的に符号化を行なわなければならない部分の画像画質をＨＶＳに適合して向上させる。受信端に伝送した後、受信端側で優先的に伝送された部分から復号化を行なうようにして、伝送環境の問題でこれ以上画像情報を受信できなくなった時までに受信したビットストリームのみを利用して、伝送された画像が復元される。向上した画質を提供しなければならない位置の情報を優先的に送受信し、また該当位置の情報を重要度に応じてその情報を向上させることができる。
また、本発明によれば、優先的に符号化して伝送すべき任意の特定位置を符号化しようとする画像フレーム内で決定した後、当該位置から符号化を行い、順次周辺に符号化を拡張して行なうようにする。すなわち、任意の特定位置の画像情報を最優先的に符号化した後、すぐ隣接する外郭に位置する画像情報をその次に符号化することを繰り返して行う。この方法は、最優先的に符号化すべき位置に多量の情報を、周辺外郭に位置する地点には少量の情報を伝送及び受信して、画像フレームがＨＶＳに適合して向上するようにする。
これは湖面上に石を投げた時、石が投げられた位置から水面に波紋が生じることと同じ概念であって、その基本概念を図３に図示した。
図３は、波紋スキャン順序に対する基本原理を説明するための概念図である。図面で表現されるブロックは画像及び動画像処理方法によってピクセル、ブロックまたはマクロブロックを意味する。これを動画像符号化に適用した時、波紋発生位置(湖面上に石が投げられた位置)から符号化を開始して波紋進行方向に該当位置のデータを処理することと同様である。すなわち、波紋発生位置から開始して四角形状のリングを続けてその前に処理した四角形状のリングを取り囲む形態のスキャン方法である。
図３に示すように、まず波紋発生位置(波紋(０)）のデータを処理した後、隣接した波紋(１）のデータ(波紋(０）の外郭に位置したデータ)を処理し、以後波紋(２）のデータ(波紋(１）の外郭に位置する隣接したデータ)及び波紋(３）のデータなどを連続的に順次波紋が広がる形態に処理する。波紋が広がる形態に波紋を発生させ、該当波紋位置の画像情報を処理するスキャン順序を波紋スキャン順序(Ｗａｔｅｒ Ｒｉｎｇ Ｓｃａｎ Ｏｒｄｅｒ)ということにする。
画像及び動画像符号化において、波紋スキャン順序の適用は、ピクセル単位、ブロック単位またはマクロブロック単位に適用できる。ピクセル単位に適用する時はウェーブレット(Ｗａｖｅｌｅｔ)変換方法などを利用する画像ピクセル単位の符号化方法に適用するようになり、ＤＣＴを利用する方法論にはブロック単位やマクロブロック単位に波紋スキャン順序を利用して動画像データ処理を行う。
図４は、画像の領域関心度と波紋の大きさとの関係を説明するためのグラフである。図４に示すように、湖面上に石を投げた時の波紋発生位置の波紋の大きさは一番大きく、波紋が広がる距離に反比例して波紋の大きさが、次第に小さくなる形状を取っている。本発明では波紋発生位置、すなわち最優先的に符号化しなければならない位置の画質を良好に伝送し、外郭へ行くほど画質を漸進的に下げる方法を利用してビデオ情報の送受信を可能に構成して、情報の重要度に応じてＨＶＳに適合した画質向上を行なうことができるようにする。
例えば、画面の中央位置を波紋の発生位置とすれば(大部分のビデオ撮影時、関心のある物体が画面中央に位置する)、該当位置の画質は使用者が非常に関心の高い領域であるため、最優先的に送受信可能にすると共に、該当位置の画質を高くして伝送及び受信が可能にし、順次外郭へ行くほど使用者の関心度が低いので、送受信の優先順位を低くすると共に画質も漸進的に劣化させて、従来の動画像符号化方法と同じ伝送ビット率を維持しながら関心領域の画質を受信側に最大限保障するようになる。
図５は、波紋発生位置と画像の領域関心度にともなう加重値との関係を説明するための概念図である。波紋発生位置と関心画像領域の重要度に対する加重値(Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ: ＱＦ)との関係の実施の形態を図５に図示した。本図面では波紋発生位置(波紋(０)）の画像情報が最も重要であるという仮定の下に最大ＱＦを４にした時、波紋(０）のＱＦは４に、波紋(１)に該当する位置のＱＦは３に、波紋(２)に該当する位置の画像情報にはＱＦを２に、波紋３に位置する画像情報にはＱＦを１に決定し、その外郭に該当する位置のＱＦは０として各々位置に対する加重値を知能的に割り当てる。画像符号化の際には各々与えられたＱＦに合うように符号化を行う。この場合、符号器では波紋(０)から開始して復号器に各々の波紋内の画像情報を伝送した後復号器で復号化を行なう。復号化遂行の時、ＱＦの情報が予め定まっているか、或いは、復号器に送信された場合、該当加重値に基づいて、復号化が行われる。したがって、画像フレームの重要位置の画像情報が最優先的に送受信されると共に、知能的に該当重要位置の画質を高く維持できる。
図６ないし図８に各々本発明に係る知能型波紋スキャン方法と装置に対する実施の形態のフローチャートと構成図を示している。図６Ａは、本発明の１つの実施の形態に係るＱＦが適用された波紋スキャンデータ処理を説明するフローチャートであり、図６Ｂは本発明の１つの実施の形態に係るＱＦが適用された波紋スキャンデータ処理装置の構成図である。波紋スキャン装置は、画像フレーム内で任意の波紋発生位置(波紋(０))を決める波紋発生位置決定部、波紋の重要度によってＱＦを決める波紋ＱＦ決定部、データ符号化/復号化及び送受信に関連したデータ処理部、波紋発生位置(波紋(０))からi番目に発生された波紋(ｉ)の位置を決める波紋位置決定部、及び、現入力画像フレーム内の全てのデータが処理されるまで、各波紋に対して波紋位置決定部及びデータ処理部を繰り返して動作させる反復遂行決定部から構成されている。
図６Ａ及び図６Ｂの実施の形態は、いかに波紋スキャン方法によって画像符号化及び伝送を同期するかを示している。
一実施の形態として、図６Ａと図６Ｂに示すように、まず波紋発生位置決定部６１で任意の特定波紋発生位置(波紋(０))を決める(Ｓ６１)。以後、波紋ＱＦ決定部６３で該当位置の画像重要度に基づいて、ＱＦを決める(Ｓ６３)。続いて、データ処理部６５で波紋(０）のＱＦに基づいてデータを処理(S６５)するが、符号器でのデータ処理はデータ符号化及び伝送を意味し、復号器でのデータ処理はデータ受信及び復号化を意味する。続いて、繰り返し遂行の可否決定部６７で最後のデータまで全部処理されたかを判断(S６７)して、最後まで処理されたらリターンし、最後まで処理されなかったら波紋位置決定部６９から外郭へ隣接した波紋の位置(例:波紋(１)、波紋(２)、．．．、波紋(ｉ))を決定(S６９)した後、当該波紋に対してデータ処理過程(S６５）を繰り返し行う。
図７Ａは、本発明に係るＱＦが適用された波紋スキャン符号化過程を説明するための他の実施の形態フローチャートであり、図７Ｂは図７Ａの符号器構成図である。図８Ａは、本発明に係るＱＦが適用された波紋スキャン復号化過程を説明するための他の実施の形態フローチャートであり、図８Ｂは図８Ａの復号器の構成図である。
他の実施の形態として、図７Ａと図７Ｂに波紋スキャン方法が適用された符号器及び符号化/伝送のためのデータ処理方法と図８Ａと図８Ｂに波紋スキャン方法が適用された復号器及び受信/復号化のためのデータ処理方法を図示した。本実施の形態は、入力画像の符号化はラスタースキャン順序(Raster Scan order)によって処理し、データ送受信及びそれにともなう復号化は波紋スキャン順序によって処理する場合である。もちろん、ＱＦは波紋別に決定される。
図７Ａと図７Ｂに示すように、符号器ではまず波紋発生位置決定部６１で任意の特定波紋発生位置(波紋(０))を決める(S６１)。続いて、波紋ＱＦ決定部６３で該当位置の画像重要度にともなうＱＦを決める(S６３)。続いて、データ符号化部７１で波紋発生位置からＱＦを適用して当該入力画像フレーム全体に対して符号化を行い(S７１)、データ伝送部７３から該当波紋位置の処理結果を伝送する(S７３)。ここで符号化は任意のスキャン方法によって行なわれる。続いて、繰り返し遂行の可否決定部６７で最後のデータまで全て処理されたかを判断(S６７)し、最後まで処理されたらリターンし、最後まで処理されなかったら波紋位置決定部６９から外郭へ隣接した波紋の位置(例:波紋(１)、波紋(２)、．．．、波紋(ｉ))を決定(S６９)した後に該当波紋のデータ伝送過程(S７３)から繰り返し行う。
また、図８Ａと図８Ｂに示すように、復号器ではまず波紋発生位置決定部８１で任意の特定波紋発生位置(波紋(０))を決める(S８１)。波紋(０）の位置を決める方法は後述されるように、復号器に予め格納された波紋(０）の位置を確認するか、符号器から画像情報を受信するごとに波紋(０）の位置を受信することによって行うことができる。続いて、波紋ＱＦ決定部８３で該当位置の画像重要度にともなうＱＦを決める(S８３)。ＱＦを決める方法は後述されるように、復号器に予め格納されたＱＦを確認するか、符号器から画像情報を受信するごとにＱＦを受信することによって行うことができる。続いて、データ受信部８４で該当波紋位置の伝送ビットストリームを受信する(Ｓ８４)。続いて、データ復号化部８５で該当波紋位置で決定されたＱＦを適用して復号化を行い(Ｓ８５)、続いて、繰り返し遂行の可否決定部８７で最後のデータまで全て処理されたかを判断(Ｓ８７)し、最後まで処理されたらリターンし、最後まで処理されなかったら波紋位置決定部８９から外郭へ隣接した波紋の位置(例:波紋(１)、波紋(２)、．．．、波紋(ｉ))を決定(Ｓ８９)した後に該当位置のデータ受信過程(Ｓ８４)及びデータ復号化過程(Ｓ８７）を繰り返し行う。
すなわち、本発明の１つの実施の形態に係る知能型波紋スキャン装置は、画像フレーム内で優先的に波紋スキャンを行なわなければならない視覚的に重要な特定画像部分である波紋発生位置(波紋(０))を決める波紋発生位置決定部、波紋の重要度に応じてＱＦを決める波紋ＱＦ決定部、前記決定されたＱＦに基づいてデータ符号化/復号化及び送受信を行なうデータ処理部、波紋発生位置(波紋(０))からi番目に発生された波紋(ｉ)、例えば現在波紋発生位置(波紋(０))に四角形状のリングを取り囲む形態に決定される次の波紋スキャン位置(波紋(１))、または四角形状のリングをその前に処理した四角形状のリングを取り囲む形態に決定される次の波紋スキャン位置(波紋(ｉ))の位置を決める波紋位置決定部及び現入力画像フレーム内の全てのデータが処理される時まで各波紋に対して波紋位置決定部及びデータ処理部を繰り返して活性化させる繰り返し遂行決定部から構成されている。
波紋発生位置決定部、ＱＦ決定部、波紋位置決定部、データ符号化部及び伝送部などを詳細に述べると、以下のようである。
波紋発生位置決定部
波紋発生位置決定部に対して詳細に述べると以下のようである。
波紋発生位置決定部では任意の波紋発生位置を決めるが、これは大きく次の三つの方法に分けられる。
１．画像フレームの中央部が波紋発生位置であると予め定まっている場合
伝送しようとする画像フレームの中央部分を波紋発生位置として決める場合を例えることができるが、これは大部分の動画像撮影の際、重要物体を画像の中に位置させることを利用するものであって、画像フレームの中央部(中央部に位置したピクセル、ブロックまたはマクロブロック）を波紋発生位置と予め定める場合、符号器から復号器に該当発生位置に対する情報を伝送する必要なしに符号器と復号器で予め波紋発生位置を記憶することによって決定される。
２．画像フレームの任意の位置が波紋発生位置であると予め定まっている場合
伝送しようとする画像フレームの任意の特定位置(ピクセル位置、またはブロック、またはマクロブロック位置）が、波紋発生位置であると、符号器と復号器との間で予め定まっている。この場合、画像シーケンスを送信する際に、発生位置の画像データをヘッダとともに送信することにより、任意に決められた発生位置から、波紋スキャンが行われる。
最大画像サイズが２０００ × ２０００ピクセルであり、マクロブロックごとに波紋スキャン順序を適用する場合、任意の波紋発生位置(マクロブロック当たり）のｘ軸情報として７ビット、y軸情報として７ビットをシーケンスヘッダ(sequence header)に含んで符号器から復号器に伝送すると、復号器は受信した波紋発生位置の情報から、波紋発生位置を決定できる。
３．波紋発生位置が、画像フレームごとに変更される場合
伝送しようとする画像シーケンス内の主となる物体の位置が可変的であれば、各画像フレームを伝送するごとに任意の波紋発生位置を伝送する方法を利用できる。この場合、任意に決められた波紋発生位置の情報は、ヘッダに含ませて、各画像フレーム毎に、符号器から復号器にヘッダとともに送信される。この手法の実施の形態は次の通りである。
a)各画像フレームのヘッダとともに、任意に決められた波紋発生位置の絶対位置を、復号器に伝送する方法
b)任意の固定された特定位置(例:画像中央部)を基準とする相対位置のみを伝送することによって、伝送される情報の量を低減させる方法
c)先に伝送された前フレームの波紋発生位置との相対位置のみを伝送して、伝送される情報の量を減少させる方法
図９Ａは、波紋発生位置として設定された絶対位置を説明するための概念図であり、図９Ｂは波紋発生位置として設定された画像中央部との相対位置を説明するための概念図であり、図９Ｃは波紋発生位置として設定された前フレームの波紋発生位置に対する相対位置を説明するための概念図である。上記のa)、b)、c）の３つの実施の形態を図９Ａ、図９Ｂ及び図９Ｃに区分して示した。
波紋ＱＦ決定部
波紋内のＨＶＳに適合した画質向上のためのＱＦ決定部に対して詳細に述べると次の通りである。まず、波紋発生位置決定部６１、８１で任意の特定波紋発生位置(波紋(０))を決めるか、波紋位置決定部６９、８９で現在の波紋の次の波紋(波紋(ｉ)）を決めると、各々の波紋に対して波紋ＱＦ決定部６３、８３で当該波紋の画像重要度にともなうＱＦを決める。波紋(ｉ)の位置別ＱＦを基礎としてＨＶＳに適合した画質向上をもたらすデータ符号化/復号化が行われる。ＨＶＳに適合した画質向上のための波紋ＱＦ決定部６３、８３の適用方法は次のようである。
図１０は、波紋(ｉ)とＱＦとの関係を説明するための図面である。波紋(ｉ)別にＨＶＳに適合して画質を向上させるための異なるＱＦが適用される。このような関係は、図１０に波紋(ｉ)対ＱＦグラフで図示されている。波紋(０)、波紋(１)に位置した情報の相対的な重要度が非常に高いため、最も高いＱＦが割り当てられており、順に低い画像ＱＦが割り当てられている。
波紋(ｉ)別にＱＦを決める方法として、使用者が選定するＱＦをテーブルを利用して決める方法と、数学的なモデルを利用して決める方法を利用できる。テーブルを利用する方法は、使用者の要求を正確に受け入れて多様に適用できる。一方、数学的モデルを利用する場合、伝送ビットストリームに追加されるオーバーヘッドは相対的に減少する。本発明では前記２つの方法をともに考慮する。
１.波紋(ｉ)別ＱＦテーブルを利用する方法
符号器と復号器の波紋(ｉ)別のＱＦは、波紋(ｉ)別ＱＦテーブルを符号器から復号器に伝送するか、事前に符号器及び復号器に格納されている同じ波紋(ｉ)別ＱＦテーブルを利用することによって、同期化できる。
(Ａ-方法) 事前に符号器及び復号器に格納されている同じ波紋(ｉ)別ＱＦテーブルを利用して決める方法である。
波紋(ｉ)別ＱＦテーブルの１つの実施の形態を図１１に示した。この図では、最大のＱＦ値は、４に設定されている。したがって、波紋(０)の場合には最大値である４を、波紋(１）の場合にはＱＦを３に、波紋(２）と波紋(３）の場合にはＱＦを２に、波紋(４）と波紋(５）の場合にはＱＦを１に、その他の外郭に位置した波紋の場合には加重値を０に決定している。Ａ-方法の場合、符号器と復号器に、図１１と同様の参照テーブルを格納してＱＦを決める。
(Ｂ-方法) Ｂ−方法においては、符号器から復号器に画像シーケンスを伝送するたびに、シーケンスヘッダにＱＦテーブルを挿入する。
(Ｃ-方法) この方法は、ＱＦを各画像フレームごとに変更する必要がある場合に利用される。各々の画像フレームを伝送する際に、その画像フレームに適した波紋(ｉ)別ＱＦテーブルを伝送する。
Ｂ-方法とＣ-方法の場合、シーケンスヘッダやフレームヘッダに図１１に示すＱＦテーブル情報を符号器から復号器に伝送して情報を同期させるが、テーブル情報を伝送する過程において、多様な方法で伝送されるビットの量を減少する方法が用いられる。
図１２は、符号器から復号器に伝送される波紋(ｉ)別ＱＦテーブルであって、固定長コード(Fixed Length Coding；以下、「ＦＬＣ」と記す)テーブルの１つの実施の形態を示す図面である。符号器から復号器に送信されるＦＬＣテーブルの１つの実施の形態を図１２に示した。ＱＦを有する波紋の個数と、最大ＱＦ値と、各波紋が有するＱＦとを、符号器から復号器に伝送することにより、波紋(ｉ)別ＱＦテーブルを同期化できる。
この図に示すように、復号器がＱＦ値を有する波紋の最大個数(i)を知っていれば、i+１番目の波紋以後のＱＦを０に処理できる。実施の形態として最大ＱＦのＦＬＣに４ビットを割り当てたら、２４、すなわち１６個の波紋に該当するＱＦを指定できる。この場合、ＱＦが指定された波紋の最大個数が５であれば、復号器は波紋(０)、波紋(１)、波紋(２)、波紋(３)、波紋(４)、波紋(５)までは０でないＱＦを有することを認識し、それまでの値のみを受信すればよい。波紋(６)以上からはＱＦを０に割り当てるようにすればよい。もし、１６個以上の波紋にＱＦを指定するためには、それに合う割り当てビット(４ビット以上)に増加させればよい。図１２は、最大ＱＦが４である場合であって、２ビットが割り当てられた場合を示している。図面に示すように、ＱＦを有する波紋の個数と最大ＱＦを知れば、復号器は最大波紋の個数だけ波紋別ＱＦを決めるが、これは波紋別ＱＦに対するＦＬＣコードテーブルを利用して処理する。図１１の波紋別ＱＦテーブルを伝送する必要がある場合、図１２の右側に示すように、１８ビットを割り当てることによってＱＦテーブルを伝送できる。これは１つの実施の形態にすぎない。その他多様な方法により、符号器と復号器との間でＱＦテーブルを定めることができ、伝送することができる。
図１３は、図１２のＦＬＣテーブル生成過程を説明するための１つの実施の形態のフローチャートである。図１３に符号器から復号器に波紋(ｉ)別ＱＦテーブルを伝送する方法のＦＬＣテーブルを生成する過程のフローチャートを図示した。図面において、ＱＦを有する波紋の個数Ｆ(Ｓ１３０１)及び最大ＱＦ(Ｒ)(Ｓ１３０３）が設定されれば、入力値Ｒを波紋(０）の初期ＱＦに割り当てる(Ｖ(０)=Ｒ、Ｓ１３０３)。一方、ステップＳ１３０３で後述するＱＦ補正値演算のため、ダミーとして波紋(-１）にも入力値Ｒを割り当てる(Ｖ(-１)=Ｒ)。
以後、インデックスｉがＱＦを有する波紋の最大個数Ｆを超過しない範囲内で繰り返して、前の波紋のＱＦ(Ｖ(ｉ-１))から現在の波紋のＱＦ(Ｖ(ｉ)）の差をＱＦ補正値として演算を行う(Ｓ１３０５、Ｓ１３０７、Ｓ１３０９)。このような過程を通して図１２に示すＱＦテーブル(ＦＬＣ）が生成される。このような波紋別ＱＦテーブルを符号器から復号器に伝送する必要がある時は、図１３のフローチャートに相当するシンタックス(ＳＹＮＴＡＸ)を伝送ビットストリームに含めることができる。
図１４は、波紋(ｉ)別ＱＦテーブル利用過程を説明するための１つの実施の形態フローチャートである。図１４のフローチャートは、同じ波紋(ｉ)別ＱＦテーブルが符号器と復号器に格納されている場合、符号器から復号器に画像シーケンスを伝送する時にシーケンスヘッダにＱＦテーブルを挿入して伝送する場合、及び、画像フレームを伝送するごとに当該画像フレームに適合した波紋(ｉ)別ＱＦテーブルを伝送する場合の、すべてのケースにおける波紋（ｉ）別ＱＦテーブルを用いる符号器/復号器を示している。
図面に示すように、まずシーケンスヘッダレベル以上で波紋別ＱＦを利用するか否かを決める(Ｓ１４０１)。波紋別ＱＦを利用しない場合、波紋スキャン順序のみ適用して画像を符号化して伝送し受信して復号化する(Ｓ１４０３)。ステップＳ１４０１において、波紋別ＱＦを利用する場合、可変ＱＦテーブルを利用するか否かを決定し(Ｓ１４０５)、可変ＱＦテーブルを使用しないならば、事前に符号器と復号器に格納された同じＱＦテーブルを利用(符号化/伝送/受信/復号化)する(Ｓ１４０７)。ステップＳ１４０５において、可変ＱＦテーブルを使用するならば、各画像シーケンス毎にＱＦテーブルを送受信して、各画像シーケンス毎に対応するＱＦテーブルを用いて、符号化と復号化とを行う(Ｓ１４０９)。
次に、フレームヘッダレベルにおいて、フレーム別可変ＱＦテーブルを更新するか否かを決定して(Ｓ１４１１)、フレーム別可変ＱＦテーブルを更新しないならば、既に伝送されているシーケンス単位のＱＦテーブルを利用して符号化と復号化とを行い(Ｓ１４１３)、フレーム別可変ＱＦテーブルを更新する場合には、該当フレームのＱＦテーブルを更新する(Ｓ１４１５)。
図１４のフローチャートに示された装置を構成し、その方法を実行するためには、シーケンスヘッダレベルとフレームヘッダレベルに前記動作を行うためのシンタックス(ＳＮＴＡＸ)を、ビットストリーム構造に追加すればよい。
２.ＱＦモデルに基づいてＱＦを決める方法
波紋(ｉ)別にＨＶＳに適した画質向上のためのＱＦを符号器と復号器との間に設定された数学的モデルを利用して決める方法を説明すると、次のようである。ＨＶＳに適した数学的モデルとして、ガウス(Gaussian)関数を利用できる。ＱＦを決めるため、関数は次のように表すことができる。
Figure 2005510979
ここで、ｉは波紋(ｉ)のインデックスを示している。上記式を利用してＱＦ(ＱＦvalue)を求めるためには、モデルパラメータの値を入力しなければならないが、本発明で利用したモデルパラメータは数式においてＱＦMaxとＱＦFactor値を例に上げることができる。ＱＦMaxには最大ＱＦを入力し、ＱＦFactor値はガウス関数において分散(Variance)値として利用されるが、ＱＦの拡散程度を調整する値として使用できる。
図１５Ａは、ＱＦ決定モデルに関連パラメータを適用した結果を説明するためのテーブルであり、図１５ＢはＱＦ決定モデルに関連パラメータを適用した結果を説明するためのグラフである。数式１を実際適用した実施の形態を図１５に示したが、図１５Ａは、ＱＦを決めるためのＱＦモデルにＱＦ関連パラメータを適用した時の結果の１つの実施の形態であり、図１５Ｂは、図１５Ａで関連パラメータを適用した結果を示している。このようにＱＦモデルを利用して波紋(ｉ)別ＱＦを決めると、単に２個のモデルパラメータ(ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)値の変更のみでも適用可能である。ここで用いられる数学的モデルは、ガウス関数のみでなく複数の数学的な関数を導入して適用できる。ｉを波紋(ｉ)のインデックスとし他の実施の形態を例にすれば次のようである。
Figure 2005510979
このように多様な数学的モデルを利用する場合、伝送ビットストリームに追加されるオーバーヘッドは相対的に減少するという長所がある。
ＱＦモデルパラメータを適用した実施の形態としてＱＦＭａｘに２ビット、ＱＦＦａｃｔｏｒに４ビットを適用すると、ＱＦ決定に全６ビットだけが必要となって伝送に必要な追加オーバーヘッドはテーブルを利用する方法より顕著に低減される。
図１６は、ＱＦモデルを利用してＱＦを決める方法及び装置を示す概念図である。ＱＦモデルを利用してＱＦを決める方法及び装置は、図１６に示すように、まずＱＦモデルパラメータ((ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)が入力されると(モデルパラメータ入力部１６０１)、ＱＦモデル適用部１６０３で数式１または数式２のようなモデル式を適用してＱＦ出力部１６０５に波紋別ＱＦを出力し、この出力値を利用して画像符号化/復号化を行う。
図１６に示すＱＦ決定装置におけるＱＦ決定方法は、波紋ＱＦテーブルを利用する方法と同じ方式によって、符号器と復号器との間でＱＦを同期化できる。すなわち、
(Ａ-方法) 事前に符号器及び復号器に格納されている波紋(ｉ)別ＱＦ決定用パラメータ(ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)を同じ数学的モデルに適用してＱＦを決める方法。
(Ｂ-方法) 符号器から復号器に画像シーケンスを伝送する場合、シーケンスヘッダにＱＦ生成のためのパラメータ(ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)を挿入して伝送する方法。
(Ｃ-方法) ＱＦを各画像フレームごとに頻繁に変更する必要がある場合、各々の画像フレームを伝送するごとに各々の画像フレームに適したＱＦ生成のためのパラメータ(ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)を伝送する方法。
図１７は、波紋(ｉ)別ＱＦモデル利用過程を説明するための１つの実施の形態のフローチャートである。この処理を利用するＱＦモデルパラメータは、同じ波紋(ｉ)別ＱＦモデルパラメータ(ＱＦＭａｘ、ＱＦＦａｃｔｏｒ)が符号器と復号器に格納されている場合、符号器から復号器に画像シーケンスを伝送する時、シーケンスヘッダにＱＦモデルパラメータを挿入して伝送する場合、及び、各画像フレームを伝送するごとに当該画像フレームの波紋(ｉ)別ＱＦモデルパラメータを伝送する場合の、全てのケースで適用できる。
図面に示すように、まずシーケンスヘッダレベル以上で波紋別ＱＦを利用するか否かを決める(Ｓ１７０１)。波紋別ＱＦを利用しない場合、波紋スキャン順序のみ適用して画像を符号化して伝送し受信して復号化する(Ｓ１７０３)。ステップＳ１７０１において波紋別ＱＦを利用する場合、可変ＱＦモデルパラメータを利用するか否かを決定し(Ｓ１７０５)、可変ＱＦモデルパラメータを使用しないならば、事前に符号器と復号器に格納された同じＱＦモデルパラメータを利用(符号化/伝送/受信/復号化)する(Ｓ１７０７)。ステップＳ１７０５で可変ＱＦモデルパラメータを使用するならば、シーケンス単位のＱＦモデルパラメータを送受信して、各画像シーケンスに対応するＱＦモデルパラメータを利用して、符号化と復号化を行う(Ｓ１７０９)。
次に、フレームヘッダレベルにおいて、フレーム別可変ＱＦモデルパラメータを更新するか否かを決定して(Ｓ１７１１)、フレーム別可変ＱＦモデルパラメータを更新しないならば、既に伝送されているシーケンス単位のＱＦモデルパラメータを利用して符号化と復号化を行い(Ｓ１７１３)、フレーム別可変ＱＦモデルパラメータを更新する場合には、対応するフレームのＱＦモデルパラメータを更新する(Ｓ１７１５)。
図１７のフローチャートに明示された方法を行い、装置を実現るためには、シーケンスヘッダレベルとフレームヘッダレベルに前記動作を行うためのシンタックス(ＳＹＮＴＡＸ)を、ビットストリーム構造に追加すればよい。
波紋位置決定部
波紋位置決定部では、i番目の波紋(波紋(ｉ)）を発生させ、波紋(ｉ)の発生位置をデータ処理部に伝送して波紋内のデータ処理を行なうようにする。
図１８は、円状の(正四角形)波紋形態と楕円状の(長方形)波紋形態を説明するための概念図である。波紋の形態は大きく円状の波紋形態と楕円状の波紋形態とに区分でき、これを画像に適用した場合、各々正四角形波紋形態と長方形波紋形態に区分されることができる。これは図１８に示しており、長方形波紋形態の場合、必要に応じて１６:９の画面比率で利用可能である。
正四角形(円状)の波紋位置決定部
図１９は、正四角形形態のｉ番目の波紋発生位置を説明するための概念図である。波紋スキャン順序方法において、ｉ番目に発生された正四角形形態をした波紋のデータ位置を図１９に示し、正四角形形態の波紋発生位置決定は次のような方法により行われる。
ステップ１．波紋発生位置(波紋(０))の決定
任意の波紋発生位置を決める(図面において波紋発生位置(x、y)と表示された地点)。この場合、伝送しようとする画像フレームの中央部分を波紋発生位置として決めるか、または使用者が任意の位置を指定できる。
ステップ２．波紋(ｉ)位置の決定
波紋発生位置からｉ番目(ピクセル単位ではピクセルの個数、ブロックやマクロブロック単位では該当単位の個数)に発生された波紋の位置を決める。
ステップ３．ステップ２の繰り返し
伝送しようとする画像フレーム内の全データが処理される時まで、ステップ２を繰り返して行う。
正四角形形態の波紋(ｉ)は、図１９において、Ａ-ライン(上段ライン)、Ｂ-ライン(左側ライン)、Ｃ-ライン(右側ライン）とＤ-ライン(下段ライン)に位置したピクセルやブロック、またはマクロブロックから構成されており、波紋発生位置(波紋(０))からi番目に発生された正四角形形態の波紋を意味する。
図面において、上段-ライン(Ａ-ライン)と定義された位置は、波紋発生位置からy軸に-ｉほど外れた位置におり、x軸には±ｉより小さいか同じ位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(x、y)とすれば、次のように表現される。

Ａ-ライン:ｙ-ｉであり(ｘ-ｉ≦ｘ≦ｘ+ｉ)に位置した全データ
図面において左側ライン(Ｂ-ライン)と定義された位置は、波紋発生位置からx軸に-ｉほど外れた位置におり、y軸には±ｉより小さな位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、次のように表現される。

Ｂ-ライン:ｘ-ｉである(y-i＜y＜y+i)に位置した全データ
図面において、右側ライン(c-ライン)として定義される位置は、波紋発生位置からx軸に+ｉほど外れた位置におり、ｙ軸には±ｉより小さな位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(ｘ、ｙ)とすると、次のように表現される。

Ｃ-ライン:ｘ+ｉであり(y-i＜y＜y+i)に位置した全データ
図面において、下段-ライン(Ｄ-ライン)と定義された位置は、波紋発生位置からｙ軸に+ｉほど外れた位置におり、ｘ軸には±ｉより小さいか同じ位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(ｘ、ｙ)とすると、次のように表現される。

Ｄ-ライン:ｙ+ｉであり(x-i≦x≦x+i)に位置した全データ
波紋(ｉ)において、該当位置のデータ処理順序として色々な例を上げることができるが、代表的な例はラスタースキャン(Raster Scan)による順序と、代替スキャン(alternate scan)による順序に区分できる。
ラスタースキャンによる方法により、波紋(ｉ)に該当する位置にあるデータに対して最上段左側(upper-left）のデータから最下段右側(bottom-right）のデータまで配列順にラスタースキャンによる順序でデータを処理する。遂行は、Ａ-ライン、Ｂ-ライン、Ｃ-ライン、Ｄ-ラインに区分し、左側から右側へＡ-ライン、Ｂ-ライン/Ｃ-ライン、Ｄ-ラインの順に波紋スキャンを実施する。この際、Ｂ-ラインとＣ-ライン上のデータを処理する場合には、左側から右側へＢ-ラインのデータとＣ-ラインのデータを交互にスキャンし、一行のスキャンが終わると、上から下へ中間ラインにある全データがスキャン完了するまで繰り返し行う。この方法は容易に適用可能であるという長所がある。
ラスタースキャンによる波紋位置決定部の例示的な実施の形態は、次のようである。

** Initial parameter **
n : n th Ring
N : number of MB in n th Ring
prev_n : (n-１) th Ring
start_x、 start_y : start position of Ring (left_top X of Ring、 left_top Y of Ring)
curr_x、 curr_y : each position of MB in Ring

** Algorithm **
Step １. : Initial MB Fill
n = １;
curr_x = start_x;
curr_y = start_y;
if ( InBoundary(curr_x、 curr_y) )
FillMB(start_x、 start_y);
Step ２. : Top Line MB Fill
n++;
N = ２*n - １;
prev_n = ２*(n-１) - １;
start_x--;
start_y--;
curr_x = start_x;
curr_y = start_y;
for j=１ to N {
if ( InBoundary(curr_x、 curr_y) )
FillMB(curr_x、 curr_y);
curr_x++;
}
Step ３. : Middle Ling MB Fill
N = prev_n;
for j=１ to N {
curr_x = start_x;
curr_y = start_y + j;
if ( InBoundary(curr_x、 curr_y) )
FillMB(curr_x、 curr_y);
curr_x + prev_n + １;
if ( InBoundary(curr_x、 curr_y) )
FillMB(curr_x、 curr_y);
}
Step ４. : Bottom Line MB Fill
N = ２*n - １;
curr_x = start_x;
curr_y = start_y + prev_n + １; for j=１ to N {
if ( InBoundary(curr_x、 curr_y) )
FillMB(curr_x、 curr_y);
curr_x++;
}
Step ５.
if ( not VOP Fill )
goto Step ２.
else
Stop
一方、画像データは、隣接したデータ間の相関関係が極めて高いため、画像符号化方法の多くの場合には、隣接ピクセル/ブロック/マクロブロック間の相関関係を考慮する予測符号化(Predictive Coding)方法が多く利用されている。
図２０は、予測方法を隣接画像データの処理に用いた場合に、ラスタースキャンを利用して、ｉ番目の波紋発生位置に該当するデータを処理する予測経路を説明するための図面である。前記ラスタースキャンによる方法を使用する場合、図２０に示すように、Ｂ-ラインとＣ-ラインを交互に該当位置のデータを処理しなければならないが、波紋内のｉが増加すればするほど隣接データ間の予測符号化方法を使用することが困難となる(約２ｉ個の分岐が発生されて隣接データ間の予測を利用する場合、正確な予測結果を期待することが困難である)。
したがって、本発明では隣接データ間に予測技法の使用を容易にするため、図２１に示すような代替スキャンによる波紋(ｉ)のデータ処理順序を導入する。図２１は、代替スキャンを利用してｉ番目の波紋発生位置に該当するデータを処理する過程を説明するための図面である。図２１に示すように、データ処理順序をＡ-ラインのデータを左側から右側へ処理した後、Ｃ-ラインのデータを上方から下方に順に処理する。続いて、Ｂ-ラインのデータを上方から下方へ処理した後、最後にＤ-ラインのデータを処理する。このように画像データを処理する方法を代替スキャンと言う。すなわち、代替スキャンにおいては、波紋(ｉ)内のデータを処理する時、Ａ-ライン、Ｃ-ライン、Ｂ-ライン、Ｄ-ラインの順に行う。
図２２は、予測方法を隣接画像データの処理に用いた場合に、代替スキャンを利用して、ｉ番目の波紋発生位置に該当するデータを処理する予測経路を説明するための図面である。代替スキャンを利用する場合、図２２に示すように、ほとんど全ての場合において、隣接したデータを利用して予測符号化を行なうことができる。但し、Ｃ-ライン処理後にＢ-ラインのデータを処理する場合、分岐が１回発生するが、Ｂ-ライン上の最上位に位置したデータを処理する時、Ｃ-ラインの最後のデータを予測に使用するのではなく、Ａ-ラインの最初(一番左側)のデータを利用して予測する方法を利用するようにする。
長方形(楕円状)の波紋位置決定部
長方形波紋形態の場合、画像の大きさが相対的に横が縦の大きさより大きい１６:９の画面比率を利用する画像などに必要に応じて適用可能である。長方形の波紋は横方向の長さが縦方向の長さより、長い。したがって、任意の波紋発生位置の左右対称形態のコア(core:核心)ラインを設定し、その部分のデータ処理を優先的に行うようにする。
図２３は、長方形の波紋において、コアラインとi番目の波紋の発生位置を示す概念図である。波紋スキャン順序方法において、i番目に発生された長方形の形態をした波紋のデータ位置を図２３に示し、長方形の波紋発生位置決定は次のような方法により行われる。
ステップ１. 波紋発生位置(波紋(０))の決定
任意の波紋発生位置を決める(図面において波紋発生位置(x、y)と表示された地点)。この場合、伝送しようとする画像フレームの中央部分を波紋発生位置と決めるか、または使用者が任意の位置を指定できる。
ステップ２. コアライン(core-line)パラメータの決定
長方形の波紋は、横方向の長さが縦方向の長さより、長い。したがって、任意の波紋発生位置に対して、左右対称になるコアラインの長さを設定する必要がある。このコアラインの長さを決めるために、コアラインの長さを調整するパラメータ(m)を決定しなければならない。
ステップ３. コアライン位置の決定
波紋発生位置とコアラインパラメータが決定されると、これを利用して波紋発生位置(ｘ、ｙ)にｙ軸は固定させ、ｘ軸方向に(ｘ-ｍ）の位置から(ｘ＋ｍ)位置まで(ピクセル単位ではピクセルの個数、ブロックやマクロブロック単位では該当単位の個数）の波紋の位置をコアラインで決める。
ステップ４. 波紋(ｉ)位置決定
波紋発生位置からx軸上で±(ｉ+ｍ)番目の列、ｙ軸上で±(ｉ+ｍ)番目の行(ピクセル単位ではピクセルの個数、ブロックやマクロブロック単位では該当単位の個数)に、波紋（ｉ）の位置を発生させる。
ステップ５ 画像フレーム内の全データが処理されるまでステップ４を繰り返して行う。
伝送しようとする画像フレーム内の全データが処理される時までステップ４を繰り返して行う。
図２３において、コアラインの波紋はコアラインから構成されており、長方形の波紋(ｉ)は、Ａ-ライン(上段ライン)、Ｂ-ライン(左側ライン)、Ｃ-ライン(右側ライン）、及び、Ｄ-ライン(下段ライン)の各々に位置したピクセルやブロック、またはマクロブロックから構成されている。長方形の波紋(ｉ)は、波紋発生位置(波紋(０)と称する)からi番目に発生された長方形の波紋を意味する。
図面において、コアラインと定義される位置は、波紋発生位置から、ｙ軸は固定され、ｘ軸に±mより小さいか同じ位置に該当する全ピクセルやブロック、またはマクロブロックを含んでいる。波紋発生位置を(ｘ、ｙ)とすれば次のように表現される。

コアライン:yであり、(x-m≦x≦x+m)に位置した全データ
図面において、上段-ライン(Ａ-ライン)と定義された位置は、波紋発生位置からｙ軸に-iだけ外れた位置にあり、x軸には±(ｉ+ｍ)より小さいか同じ位置に該当する全てのピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(ｘ、ｙ)とすると、次のように表現される。

Ａ-ライン:ｙ-ｉであり、(x-(i+m)≦x≦x+(i+m))に位置した全データ
図面において、左側ライン(Ｂ-ライン)と定義された位置は、波紋発生位置からｘ軸に-(ｉ+ｍ)だけ外れた位置にあり、ｙ軸には±iより小さい位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(ｘ、ｙ)とすると、次のように表現される。

Ｂ-ライン:x-(i+m）であり(y-i＜y＜y+i)に位置した全データ
図面において、右側ライン(Ｃ-ライン)と定義される位置は、波紋発生位置からx軸に+(i+m)だけ外れた位置にあり、ｙ軸には±iより小さな位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、次のように表現される。

Ｃ-ライン:x+(i+m）であり(y-i＜y＜y+i)に位置した全データ
図面において、下段-ライン(d-ライン)と定義される位置は、波紋発生位置からy軸に+iだけ外れた位置にあり、x軸には±(i+m)より小さいか、同じ位置に該当する全ピクセルやブロック、またはマクロブロックの画像データである。波紋発生位置を(ｘ，ｙ)とすると、次のように表現される。

Ｄ-ライン:y+iであり、(x-(i+m)≦x≦x+(i+m))に位置した全データ
長方形の波紋を発生させるため、正四角形の波紋処理方法及び装置に、コアライン部分の波紋を処理する方法及び装置を追加すればよい。
図２４Ａは、長方形の波紋発生過程を説明するための１つの実施の形態に係るフローチャートであり、図２４Ｂは長方形の波紋発生装置に対する１つの実施の形態の構成図である。すなわち、波紋発生位置入力部(２４０１)において、任意の波紋発生位置が決定され(または入力され)(Ｓ２４０１)、コアパラメータ入力部２４０３でコアパラメータが決定されると(または入力されると)(S２４０３)、コアライン波紋生成部２４０５はこれらの値を利用してコアライン波紋を生成させて該当位置のデータを処理(S２４０５)した後、波紋(ｉ)生成部２４０７でi番目の波紋を発生させて該当位置のデータを処理(S２４０７)するよう構成しなければならない。これは画像内の全波紋位置が生成されて該当位置のデータが全部処理される時まで繰り返し行う(Ｓ２４０９、S２４１１)。
正四角形波紋処理方法と同様に、長方形波紋処理方法でも波紋(ｉ)で該当位置のデータ処理順序として複数の例を上げることができる。その中で代表的なことがラスタースキャンによる順序と、代替スキャンによる順序である。
ラスタースキャンによる方法においては、波紋(ｉ)に該当する位置にあるデータに対して最上段左側のデータから最下段右側のデータまで配列順にラスタースキャンによる順序にデータを処理する。遂行は、コア-ラインのデータを処理した後、各々の波紋別にＡ-ライン、Ｂ-ライン/Ｃ-ライン、Ｄ-ラインの順序に波紋スキャンを行う。この場合、Ｂ-ラインとＣ-ライン上のデータを処理する時は、左側から右側へＢ-ラインのデータとＣ-ラインのデータを交互にスキャンし、１行のスキャンが終わると、上行から下行へ中間ラインにある全データがスキャン完了される時まで繰り返し的に行う。この方法は容易に適用可能であるという長所がある。隣接データ間に予測技法の使用を容易にするため、図２５に示している代替スキャンによる波紋(ｉ)のデータ処理順序を導入することができる。
図２５は、代替スキャンを利用して長方形の波紋の中でコアラインの波紋発生位置とｉ番目の波紋発生位置に該当するデータを処理する方法の概要図であって、データ処理順序を波紋発生位置であるコア-ラインのデータを最優先的に処理した後、波紋(ｉ)の生成及び処理のため、Ａ-ラインのデータを左側から右側へ処理する。次いで、Ｃ-ラインのデータを上方から下方の順に処理する。続いて、Ｂ-ラインのデータを上方から下方へ処理した後、最後にＤ-ラインのデータを処理する方法を代替スキャンと言う。すなわち、コア-ラインのデータを優先的に処理した後、波紋(ｉ)内のデータを処理する時、Ａ-ラインＣ-ライン、Ｂ-ライン、Ｄ-ラインの順に行う。
図２６は、代替スキャンを利用して、長方形の波紋の中でコアラインの波紋発生位置とｉ番目の波紋発生位置に該当するデータを処理するための予測経路を図式化した図面である。代替スキャンを利用する場合、図２６に示すように、殆ど全ての場合において、隣接したデータを利用して予測符号化を行うことができる。但し、Ｃ-ライン処理後にＢ-ラインのデータを処理する場合、分岐が１回発生するが、Ｂ-ライン上の最上位に位置したデータを処理する時、Ｃ-ラインの最後のデータを予測に使用するのではなく、Ａ-ラインの一番左側データを利用して予測する方法を利用するようにする。
データ処理部
波紋位置決定部で決定された波紋スキャン位置と波紋内の画像ＱＦ決定部で決定された画像重要度にともなう加重値とを利用して、画像データの符号化と伝送を実施する。
処理を実行するための方法と装置は、２つの方式に分けることができる。１つは、図６に示すように、画像の符号化と伝送(符号器では符号化と伝送、復号器では受信と復号化）を波紋発生位置と同期させて処理する方式であり、他の１つは、図７と図８に示すように、ラスタースキャン順序(Raster Scan order)を利用してデータ符号化を行なう場合、画像の符号化(符号化/復号化）と伝送(ビットストリーム伝送及び受信）を別に処理する方式である。これらはデータ処理を行う順序が異なっているが、各々の処理部で行なう処理に差はない。
上述したように、データ処理部では波紋内の画像ＱＦ決定部で決定されたＱＦ値を各々の波紋(ｉ)に適用して、ＨＶＳに適合して画質を向上する符号化方式に従っており、波紋位置決定部で決定された各々の波紋(ｉ)の位置順に符号器から復号器へのデータ伝送を行う。
波紋ＱＦ決定部で決定されたＱＦを画像符号化に適用する方法は、ビットプレーン別にデータ符号化を行なう方式に適用することなどを例に挙げることができる。なお、ＱＦを適用できる多様な方法があり得るが、本発明では下記のように提案する。
ビットプレーン単位のＱＦを適用する方式
ビットプレーン単位に画像符号化を行う方式は色々あり、その中でＭＰＥＧにおける微細粒子スケーラブル符号化方法がある。この方式は送信端側から受信端に伝送する画像情報をビットプレーン別に分け、その中で最上位ビット(Ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ:ＭＳＢ)を最優先的に伝送し、その次に重要なビットをビットプレーン別に分けて連続的に伝送する方式を使用している。
例えば、２５の画像情報を伝送すると仮定すれば、これを２進数で表現すれば１１００１となり、これは５個のビットプレーンから構成されている。この情報をビットプレーン別に送信するためには、符号器から復号器に全ての伝送情報の構成が５個のビットプレーンから構成されていると通知すべきである。最上位ビット(ＭＳＢ)から最下位ビット(ＬＳＢ:Ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ)までビット単位で受信端に伝送すると仮定する場合、最初のＭＳＢビットが伝送されたら、受信端側では伝送される情報が１６(１００００）以上の値であることが分かり、２番目のビット列が伝送されたら２４(１１０００)以上の値が伝送されることが分かる。
本発明では、ビットプレーン単位に符号化を行う方法にＱＦを適用する手法として、ＱＦをビットシフトファクタ(Shift Factor）として利用する方法を提案する。これは各々の波紋(ｉ)ごとにＱＦをシフトファクタとして適用して、該当データの値をシフトファクタほど左側に移動させることによって、より多いビットプレーンを受信端に優先的に伝送及び受信可能にして、選択的に該当データ値を正確に復号化することによって、画質向上をなすことができるようにする。復号器では現在復号化しようとするデータに適用するＱＦを受信して、これをシフトファクタとして使用して、該当データのビット列を右側に移動させて、さらに正確にデータ復元を行うことができるようにする。
例えば、データの値が５５でビットプレーンが８個から構成されているとすると、該当値をビット単位に変えた場合、００１１０１１１となる。該当データの伝送は、最初のビットプレーンに０、２番目のビットプレーンに０、３番目のビットプレーンに１のように、伝送することが一般的な方法である。もし、ＱＦが２であれば、２個のビットを左側にシフトして１１０１１１００のビット列を作り、送受信時最初ビットプレーンに１、２番目のビットプレーンに１、３番目のビットプレーンに０の値を符号器から復号器に伝送する。復号器ではＱＦ２を先に伝送され、以後３個のビットプレーン１１０を受信されたとすれば、ＱＦを利用して右側に２ビットをシフトして００１１００００の値に復元できる。これは該当データの値が４８に復元された結果である。ＱＦを利用しない場合、やはり３個のビットプレーンの値が受信されたら００１を受信し、これを復元した場合００１０００００となって３２の値に復元される。すなわち、同じデータ値にＱＦを適用する場合、より本来のデータ値に近い値に復号化が可能となり、該当データの画像の画質が向上する結果をもたらす。
波紋(ｉ)別にＱＦを決定してビットプレーン単位の画像データ符号化に利用する場合、ＱＦをシフトファクタとして使用する。ＱＦが大きい波紋のデータはそうでない波紋のデータの場合よりさらに多い情報が伝送されて復元される。結果的に、該当データの復元値が相対的に正確になって該当画像の画質がＨＶＳに適合するように向上する結果をもたらす符号化方式である。
実施の形態として、下記の表１に実際データ値が２２と１２である時、ＱＦが２の場合とＱＦがない場合とに分けて、復号器で全７個のビットプレーンの中で上位３個のみ受信した時の復元されたデータ値の例を示した。表１に示しているように、ＱＦが付与されたデータの復元値がＱＦが付与されない場合に比べて正確であることが分かり、これは該当データの画像画質が相対的に優れていることを示している。
Figure 2005510979
知能型波紋スキャン方法を動画像符号化方法に適用した具現例
本発明で提案された方式を実際のビデオ符号化方式に適用した時の具体例は次のようである。ＤＣＴ変換を利用する符号化方法を利用する時は、４ ×４または８ ×８のブロック単位や、１６ ×１６のマクロブロック単位に波紋を発生させて画像符号化を行い、ウェーブレット変換などを利用したピクセル単位の画像符号化方法に適用する時は、ピクセル単位に波紋を発生させて画像符号化を行う。
ＤＣＴ変換を利用した動画像処理に波紋スキャン順序を適用した時の例として、ＱＣＩＦ(１７６×１４４ピクセル)画像フレームに適用する場合、１１ ×９個のマクロブロックが１６×１６個存在する。１つの実施の形態として、画像フレームの中央部に位置するマクロブロックからマクロブロック単位に波紋を発生させて符号化に適用した場合を述べると、波紋発生位置(波紋(０))から波紋(１)、…、波紋(５)まで全６個の波紋を発生させて該当波紋のＱＦを利用してＨＶＳに適合した画質向上をなすように画像を符号化する。復号器で伝送環境が悪くて全データが受信されなかった場合にも、波紋(０)から波紋(１)など画像フレームの中央部に該当するマクロブロックなどのデータは最優先的に送信されるため、当該ブロック等のデータが受信されて復号化が完了する場合が確率的に多いので、縁の部分のマクロブロックのデータが処理されなくても、画像の中央部分の画質の向上は最大限保障される。スケーラブル動画像符号化の応用例として微細粒子スケーラブル符号化に知能型波紋スキャン方法を適用した例は次のようである。
図２７は、知能型波紋スキャン方法を微細粒子スケーラブル符号化方法に適用した場合の符号器の１つの実施の形態の構造図であり、図２８は、知能型波紋スキャン方法を微細粒子スケーラブル符号化方法に適用した場合の復号器の１つの実施の形態の構造図である。
提案された方法のＦＧＳ強化階層符号化は、図２７に示しているように、元画像と基本階層で再生された画像との誤差を求める誤差演算部、離散コサイン変換部(ＤＣＴ)、波紋別ＱＦにともなうビットプレーンシフト部(Ｂｉｔ-Ｐｌａｎｅ Ｓｈｉｆｔ Ｕｎｉｔ Ｕｓｉｎｇ ＱＦ ｆｏｒ ｅａｃｈ Ｗａｔｅｒ ｒｉｎｇ)、最大値演算部及び波紋スキャン順序にともなうビットプレーン別ＶＬＣを通して行われる。
前記誤差演算部では、基本階層で符号化されてから再生された画像(図面において、逆量子化部(Ｑ−１)と逆離散コサイン変換部を通過した後クリッピングされた再生画像）と元画像との差を求めてその誤差値を求める。
離散コサイン変換部は、前記誤差を求める過程で求められた画像単位の誤差値をブロック単位(８×８単位)ＤＣＴを利用してＤＣＴドメインに変換する。波紋別ＱＦにともなうビットプレーンシフト部は、選択的にＨＶＳに適合した良い画質を有するように波紋別ＱＦを適用してビットプレーンシフトを行う。
最大値演算部では、離散コサイン変換を終了した全ての値の絶対値に対する最大値を求める。この値は、該当画像フレームを伝送するための最大ビットプレーンの個数を求めるのに用いられる。
波紋スキャン順序にともなうビットプレーン別ＶＬＣは、各ビットプレーン別にビットプレーンＶＬＣを行なう時、任意の特定位置から波紋スキャンを行なって、優先的に符号化するマクロブロックやブロックの位置を決定する。そして、決定された符号化順序(優先順位)に合うように、ビットプレーン別にブロック単位に求められた６４個のＤＣＴ係数(ＤＣＴ係数の該当ビットプレーンのビット:０または１）をジグザグスキャン(zigzag scan)順序に一つの行列を構成し、各行列は可変長コード表(ＶＬＣ ｔａｂｌｅ)に基づいて、ランレングス(Ｒｕｎ-Ｌｅｎｇｔｈ)符号化される。その他の基本階層の符号化過程は、従来の技術で説明したので、ここでは説明を省略する。
一方、図２８に示すように、提案された方法のＦＧＳ強化階層の復号化は、符号器と逆順に、強化階層で伝送されたビットストリームの復号化を行う。早く入力された強化ビットストリームに対して、波紋スキャン順序にともなうビットプレーン別可変長復号化部は、波紋発生位置からビットプレーン別に可変長復号化を波紋スキャン順序で行う。
続いて、波紋別ＱＦ利用したビットプレーンシフト部は、ＨＶＳに適合した画質のための波紋別ＱＦが伝送されると、波紋別ＱＦを利用したビットプレーンシフトを行う。逆離散コサイン変換部は、波紋スキャン順序によってビットプレーン別に可変長復号化が行なわれ、波紋別ＱＦを利用したビットプレーンシフトが行なわれて算出された値に、ブロック単位(８×８単位）の逆離散コサイン変換を行なって強化階層から伝送された画像を復元した後、クリッピング部が基本階層で復号された画像と合算された値を０から２５５値の間にクリッピングして、最終的に向上した画質の画像を復元する。
上述したような本発明の方法は、プログラムとして具現化されて、コンピュータで読み出すことのできる記録媒体(ＣＤ-ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど)に格納することができる。
なお、本発明は、上記の実施の形態として開示した範囲に限定されるものではない。本発明に係る技術的思想から逸脱しない範囲内で多くの改良、変更が可能であり、それらも本発明の技術的範囲に属する。
従来の微細粒子スケーラブル符号化方法の符号器の構造図である。 従来の微細粒子スケーラブル符号化方法の復号器の構造図である。 従来の離散コサイン変換部を利用した画像及び動画像符号化方法におけるラスタースキャン順序の例示図である。 従来のラスタースキャン順序をスケーラブル符号化方法に適用した例示図である。 波紋スキャン順序に対する基本原理を説明するための概念図である。 画像の領域関心度と波紋の大きさとの関係を説明するためのグラフである。 波紋発生位置と画像の領域関心度にともなうＱＦとの関係を説明するための概念図である。 本発明に係るＱＦが適用された波紋スキャンデータ処理過程を説明するためのフローチャートである。 本発明の実施の形態に係るＱＦが適用された波紋スキャンデータ処理装置の構成図である。 本発明の他の実施の形態に係るＱＦが適用された波紋スキャン符号化過程を説明するためのフローチャートである。 図７Ａの符号器の構成図である。 本発明の他の実施の形態に係るＱＦが適用された波紋スキャン復号化過程を説明するためのフローチャートである。 図８Ａの復号器の構成図である。 波紋発生位置として設定された絶対位置を説明するための概念図である。 波紋発生位置として設定された画像中央部との相対位置を説明するための概念図である。 波紋発生位置として設定された前フレームの波紋発生位置に対する相対位置を説明するための概念図である。 波紋(ｉ)とＱＦとの関係を説明するための図面である。 本発明の実施の形態に係る波紋(ｉ)別ＱＦテーブルを示す図面である。 符号器から復号器に伝送される波紋(ｉ)別ＱＦテーブルとしてＦＬＣテーブルを示す図面である。 本発明の実施の形態に係る図１２のＦＬＣテーブル生成過程を説明するためのフローチャートである。 波紋(ｉ)別ＱＦテーブル利用過程を説明するためのフローチャートである。 ＱＦ決定モデルに関連パラメータを適用した結果を説明するためのテーブルである。 ＱＦ決定モデルに関連パラメータを適用した結果を説明するためのグラフである。 ＱＦモデルを利用してＱＦを決める方法及び装置を示す概念図である。 本発明の実施の形態に係る波紋(ｉ)別ＱＦモデル利用過程を説明するためのフローチャートである。 円状(正四角形)波紋形態と楕円状(長方形)波紋形態を説明するための概念図である。 正四角形のｉ番目の波紋発生位置を説明するための概念図である。 ラスタースキャンを利用してｉ番目の波紋発生位置に該当するデータを処理するにおいて、隣接データ予測方法を使用する場合、予測経路を説明するための図面である。 代替スキャンを利用してｉ番目の波紋発生位置に該当するデータを処理する過程を説明するための図面である。 代替スキャンを利用してｉ番目の波紋発生位置に該当するデータを処理する際に、隣接データ予測方法を使用する場合の予測経路を説明するための図面である。 長方形の波紋において、コアラインとi番目の波紋の発生位置を示す概念図である。 本発明の実施の形態に係る長方形の波紋発生過程を説明するためのフローチャートである。 本発明の実施の形態に係る長方形の波紋発生装置の構成図である。 代替スキャンを利用して長方形の波紋でコアラインの波紋発生位置とｉ番目の波紋発生位置に該当するデータを処理する方法の概要図である。 代替スキャンを利用して長方形の波紋でコアラインの波紋発生位置とｉ番目の波紋発生位置に該当するデータを処理する際に、隣接データ予測方法を使用する場合の予測経路を図式化した図面である。 本発明の実施の形態に係る知能型波紋スキャン方法を微細粒子スケーラブル符号化方法に適用した場合の符号器の構造図である。 本発明の実施の形態に係る知能型波紋スキャン方法を微細粒子スケーラブル符号化方法に適用した場合の復号器の構造図である。

Claims (60)

  1. 画像符号化/復号化システムに適用される波紋スキャン装置において、
    画像フレーム内の波紋発生位置(波紋(０))を決める波紋発生位置決定手段と、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める波紋位置決定手段と、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて、波紋画質因子(Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ、ＱＦ)値を決める波紋ＱＦ決定手段と
    を含むことを特徴とする波紋スキャン装置。
  2. 前記波紋発生位置は、
    予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項１に記載の波紋スキャン装置。
  3. 前記波紋発生位置は、
    画像シーケンスを構成する全画像フレームに対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  4. 前記波紋発生位置は、
    画像フレーム毎に前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  5. 前記波紋発生位置は、
    画像フレーム内の絶対位置で表現されることを特徴とする請求項４に記載の波紋スキャン装置。
  6. 前記波紋発生位置は、
    画像フレーム内の中央位置を基準とする相対位置で表現されることを特徴とする請求項４に記載の波紋スキャン装置。
  7. 前記波紋発生位置は、
    前記符号化システムから前記復号化システムに伝送された直前の画像フレームの波紋発生位置を基準とする相対位置で表現されることを特徴とする請求項４に記載の波紋スキャン装置。
  8. 前記ＱＦは、
    前記波紋発生位置及び波紋位置に対応するＱＦを有するテーブルで予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項１に記載の波紋スキャン装置。
  9. 前記ＱＦは、
    画像シーケンスを構成する全画像フレームの前記波紋発生位置及び波紋位置に対して、前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  10. 前記ＱＦは、
    画像フレームの前記波紋発生位置及び波紋位置に対して、前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  11. 前記ＱＦは、
    画像フレームで前記ＱＦを有する波紋の最大個数情報と、
    前記ＱＦの最大値情報と、
    前記ＱＦを有する波紋別ＱＦ補正値情報であって、前の波紋のＱＦから現在の波紋のＱＦを引いた値である波紋別ＱＦ補正値情報と
    を含むように可変長符号化(Ｆｌｅｘｉｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)により前記符号化システムから復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  12. 前記ＱＦは、
    予め決定されて前記符号化/復号化システムに格納されている前記ＱＦの最大値情報及び前記ＱＦの分散(Ｖａｒｉａｎｃｅ)情報をパラメーターとして、前記波紋発生位置及び波紋位置に対応して決定されることを特徴とする請求項１に記載の波紋スキャン装置。
  13. 画像シーケンスを構成する全画像フレームの前記波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  14. 画像フレームの波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項１に記載の波紋スキャン装置。
  15. 画像符号化/復号化システムに適用される波紋スキャン方法において、
    画像フレーム内の波紋発生位置(波紋(０))を決める第１ステップと、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める第２ステップと、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて、波紋画質因子値を決める第３ステップと
    を含むことを特徴とする波紋スキャン方法。
  16. 前記波紋発生位置は、
    予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項１５に記載の波紋スキャン方法。
  17. 前記波紋発生位置は、
    画像シーケンスを構成する全画像フレームに対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  18. 前記波紋発生位置は、
    画像フレーム別に前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  19. 前記波紋発生位置は、
    画像フレーム内の絶対位置で表現されることを特徴とする請求項１８に記載の波紋スキャン方法。
  20. 前記波紋発生位置は、
    画像フレーム内の中央位置を基準とする相対位置で表現されることを特徴とする請求項１８に記載の波紋スキャン方法。
  21. 前記波紋発生位置は、
    前記符号化システムから前記復号化システムに伝送された直前の画像フレームの波紋発生位置を基準とする相対位置で表現されることを特徴とする請求項１８に記載の波紋スキャン方法。
  22. 前記ＱＦは、
    前記波紋発生位置及び波紋位置に対応するＱＦを有するテーブルで予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項１５に記載の波紋スキャン方法。
  23. 前記ＱＦは、
    画像シーケンスを構成する全画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  24. 前記ＱＦは、
    画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  25. 前記ＱＦは、
    画像フレームで前記ＱＦを有する波紋の最大個数情報と、
    前記ＱＦの最大値情報と、
    前記ＱＦを有する波紋別ＱＦ補正値情報であって、前の波紋のＱＦから現在波紋のＱＦを引いた値である波紋別ＱＦ補正値情報と
    を含むように可変長符号化(Ｆｌｅｘｉｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)により前記符号化システムから復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  26. 前記ＱＦは、
    予め決定されて前記符号化/復号化システムに格納されている前記ＱＦの最大値情報及び前記ＱＦの分散情報をパラメーターとして、前記波紋発生位置及び波紋位置に対応して決定されることを特徴とする請求項１５に記載の波紋スキャン方法。
  27. 画像シーケンスを構成する全画像フレームの前記波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  28. 画像フレームの波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項１５に記載の波紋スキャン方法。
  29. 波紋スキャン符号化を行う画像符号化システムにおいて、
    画像フレーム内の波紋発生位置(波紋(０))を決める波紋発生位置決定手段と、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める波紋位置決定手段と、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて波紋画質因子値を決める波紋ＱＦ決定手段と、
    前記決定されたＱＦをビットシフトファクタ(ｂｉｔ ｓｈｉｆｔ ｆａｃｔｏｒ）として、ビットプレーン(ｂｉｔ-ｐｌａｎｅ)単位に符号化を行って、波紋スキャン符号化データを生成して画像復号化システムに伝送するデータ処理手段と
    を含むことを特徴とする画像符号化システム。
  30. 前記波紋発生位置は、
    予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項２９に記載の画像符号化システム。
  31. 前記波紋発生位置は、
    画像シーケンスを構成する全画像フレームに対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  32. 前記波紋発生位置は、
    画像フレーム別に前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  33. 前記波紋発生位置は、
    画像フレーム内の絶対位置で表現されることを特徴とする請求項３２に記載の画像符号化システム。
  34. 前記波紋発生位置は、
    画像フレーム内の中央位置を基準とする相対位置で表現されることを特徴とする請求項３２に記載の画像符号化システム。
  35. 前記波紋発生位置は、
    前記符号化システムから前記復号化システムに伝送された直前画像フレームの波紋発生位置を基準とする相対位置で表現されることを特徴とする請求項３２に記載の画像符号化システム。
  36. 前記ＱＦは、
    前記波紋発生位置及び波紋位置に対応するＱＦを有するテーブルで予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項２９に記載の画像符号化システム。
  37. 前記ＱＦは、
    画像シーケンスを構成する全画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  38. 前記ＱＦは、
    画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  39. 前記ＱＦは、
    画像フレームで前記ＱＦを有する波紋の最大個数情報と、
    前記ＱＦの最大値情報と、
    前記ＱＦを有する波紋別ＱＦ補正値情報であって、前の波紋のＱＦから現在波紋のＱＦを引いた値である波紋別ＱＦ補正値情報と
    を含むように可変長符号化(Ｆｌｅｘｉｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)により前記符号化システムから復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  40. 前記ＱＦは、
    予め決定されて前記符号化/復号化システムに格納されている前記ＱＦの最大値情報及び前記ＱＦの分散情報をパラメーターとして、前記波紋発生位置及び波紋位置に対応して決定されることを特徴とする請求項２９に記載の画像符号化システム。
  41. 画像シーケンスを構成する全画像フレームの前記波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  42. 画像フレームの波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項２９に記載の画像符号化システム。
  43. 前記データ処理手段は、
    前記各々の波紋(ｉ）ごとに決定された前記ＱＦをビットシフトファクタとして用いて、２進数の元データの値を決定された前記ＱＦだけ左側にシフトさせることによって、ビットプレーン単位で符号化を行うことを特徴とする請求項２９に記載の画像符号化システム。
  44. 波紋スキャン復号化を行う画像復号化システムにおいて、
    画像符号化システムから受信した波紋スキャン符号化データの画像フレーム内の波紋発生位置(波紋(０))を決める波紋発生位置決定手段と、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める波紋位置決定手段と、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて、波紋画質因子値を決める波紋ＱＦ決定手段と、
    前記決定されたＱＦをビットシフトファクタとしてビットプレーン単位で波紋スキャン符号化データの画像フレームを復号化するデータ処理手段と
    を含むことを特徴とする画像復号化システム。
  45. 前記波紋発生位置は、
    予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項４４に記載の画像復号化システム。
  46. 前記波紋発生位置は、
    画像シーケンスを構成する全画像フレームに対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  47. 前記波紋発生位置は、
    画像フレーム別に前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  48. 前記波紋発生位置は、
    画像フレーム内の絶対位置で表現されることを特徴とする請求項４７に記載の画像復号化システム。
  49. 前記波紋発生位置は、
    画像フレーム内の中央位置を基準とする相対位置で表現されることを特徴とする請求項４７に記載の画像復号化システム。
  50. 前記波紋発生位置は、
    前記符号化システムから前記復号化システムに伝送された直前画像フレームの波紋発生位置を基準とする相対位置で表現されることを特徴とする請求項４７に記載の画像復号化システム。
  51. 前記ＱＦは、
    前記波紋発生位置及び波紋位置に対応するＱＦを有するテーブルで予め決定されて前記符号化/復号化システムに格納されていることを特徴とする請求項４４に記載の画像復号化システム。
  52. 前記ＱＦは、
    画像シーケンスを構成する全画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  53. 前記ＱＦは、
    画像フレームの前記波紋発生位置及び波紋位置に対して前記符号化システムで決定されて前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  54. 前記ＱＦは、
    画像フレームで前記ＱＦを有する波紋の最大個数情報と、
    前記ＱＦの最大値情報と、
    前記ＱＦを有する波紋別ＱＦ補正値情報であって、以前波紋のＱＦから現在波紋のＱＦを引いた値である波紋別ＱＦ補正値情報と
    を含むように可変長符号化(Ｆｌｅｘｉｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)により前記符号化システムから復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  55. 前記ＱＦは、
    予め決定されて前記符号化/復号化システムに格納されている前記ＱＦの最大値情報及び前記ＱＦの分散情報をパラメーターとして、前記波紋発生位置及び波紋位置に対応して決定されることを特徴とする請求項４４に記載の画像復号化システム。
  56. 画像シーケンスを構成する全画像フレームの前記波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  57. 画像フレームの波紋の前記ＱＦは、
    前記ＱＦの最大値情報及び前記ＱＦの分散情報に基づいて決定されるとともに、前記ＱＦの最大値情報及び前記ＱＦの分散情報は、前記符号化システムで決定されて、前記復号化システムに伝送されることを特徴とする請求項４４に記載の画像復号化システム。
  58. 前記データ処理手段は、
    前記各々の波紋(ｉ）ごとに決定された前記ＱＦをビットシフトファクタとして用いて、２進数の元データの値を決定された前記ＱＦだけ左側にシフトさせることによって、ビットプレーン単位で復号化を行うことを特徴とする請求項４４に記載の画像復号化システム。
  59. 波紋スキャン符号化を行う画像符号化方法において、
    画像フレーム内の波紋発生位置(波紋(０))を決める波紋発生位置決定ステップと、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める波紋位置決定ステップと、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて、紋画質因子値を決める波紋ＱＦ決定ステップと、
    前記決定されたＱＦをビットシフトファクタとして、ビットプレーン単位で符号化を行って波紋スキャン符号化データを生成し、前記波紋スキャン符号化データを画像復号化システムに伝送するステップと
    を含むことを特徴とする画像符号化方法。
  60. 波紋スキャン復号化を行う画像復号化方法において、
    画像符号化システムから受信した波紋スキャン符号化データの画像フレーム内の波紋発生位置(波紋(０))を決める波紋発生位置決定ステップと、
    前記波紋発生位置を取り囲むｉ番目の波紋位置(波紋(ｉ)；ｉは整数)を決める波紋位置決定ステップと、
    前記波紋発生位置及び波紋位置の画像領域重要度に応じて、波紋画質因子値を決める波紋ＱＦ決定ステップと、
    前記決定されたＱＦをビットシフトファクタとして、ビットプレーン単位で波紋スキャン符号化データの画像フレームを復号化するステップと
    を含むことを特徴とする画像復号化方法。
JP2003548545A 2001-11-26 2002-11-26 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法 Expired - Fee Related JP4722395B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20010073987 2001-11-26
KR2001-0073987 2001-11-26
PCT/KR2002/002215 WO2003047263A1 (en) 2001-11-26 2002-11-26 Intelligent water ring scan apparatus and method based on quality factor, and video encoding/decoding apparatus and method using the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008025245A Division JP2008172810A (ja) 2001-11-26 2008-02-05 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法

Publications (3)

Publication Number Publication Date
JP2005510979A JP2005510979A (ja) 2005-04-21
JP2005510979A6 true JP2005510979A6 (ja) 2005-08-04
JP4722395B2 JP4722395B2 (ja) 2011-07-13

Family

ID=19716317

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003548545A Expired - Fee Related JP4722395B2 (ja) 2001-11-26 2002-11-26 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
JP2008025245A Pending JP2008172810A (ja) 2001-11-26 2008-02-05 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008025245A Pending JP2008172810A (ja) 2001-11-26 2008-02-05 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法

Country Status (7)

Country Link
US (2) US7995657B2 (ja)
EP (1) EP1449381A4 (ja)
JP (2) JP4722395B2 (ja)
KR (1) KR100603592B1 (ja)
CN (1) CN100525442C (ja)
AU (1) AU2002356458A1 (ja)
WO (1) WO2003047263A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1076711C (zh) 1996-08-08 2001-12-26 日立化成工业株式会社 石墨颗粒、其生产方法、含该颗粒的负极和锂二次电池
ATE435567T1 (de) * 2003-08-29 2009-07-15 Koninkl Philips Electronics Nv System und verfahren zur codierung und decodierung von daten der verbesserungsebene durch verwendung deskriptiver modellparameter
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
EP2077620B1 (en) * 2004-06-07 2012-01-04 Agency For Science, Technology And Research System for scalably encoding and decoding data
US8948523B2 (en) 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
JP5099860B2 (ja) * 2008-11-13 2012-12-19 長門 大矢 樹状形式によるデータ処理方法およびデータ処理装置
WO2013086724A1 (en) * 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
WO2013156084A1 (en) * 2012-04-20 2013-10-24 Huawei Technologies Co., Ltd. Method for processing an image
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
KR102410035B1 (ko) * 2017-07-06 2022-06-20 삼성디스플레이 주식회사 영상 신호 처리 장치 및 그것을 포함하는 표시 장치
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256187A (ja) 1988-08-22 1990-02-26 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP2647929B2 (ja) 1988-10-28 1997-08-27 日本電信電話株式会社 ２地点間画像符号化方式
DE69230922T2 (de) 1991-01-17 2000-11-30 Mitsubishi Denki K.K., Tokio/Tokyo Videosignalkodierer mit Blockvertauschungstechnik
JPH04266286A (ja) * 1991-02-21 1992-09-22 Seiko Epson Corp テレビ電話用映像信号圧縮装置
JP2762821B2 (ja) 1992-02-25 1998-06-04 日本電気株式会社 固体イメージセンサ
JPH05316493A (ja) * 1992-05-06 1993-11-26 Sanyo Electric Co Ltd 画像データ圧縮方法
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
JPH06284395A (ja) * 1993-03-26 1994-10-07 Toshiba Corp 画像圧縮符号化器
JPH09182073A (ja) 1995-03-15 1997-07-11 Toshiba Corp 動画像符号化装置および復号装置
JPH0998418A (ja) * 1995-10-02 1997-04-08 N T T Data Tsushin Kk 画像符号化・復号化方法及びシステム
US6192081B1 (en) * 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH09214977A (ja) * 1996-02-06 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> ビデオ符号化方法およびビデオ符号化装置
JPH09322164A (ja) * 1996-05-31 1997-12-12 Nec Corp 画像信号圧縮装置および画像信号圧縮伸張装置
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
JP3856267B2 (ja) 1998-07-27 2006-12-13 株式会社リコー 画像伝送方法、画像送信方法及び装置、画像受信方法及び装置、並びに記録媒体
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
EP1046136B1 (en) * 1998-09-29 2007-03-28 Koninklijke Philips Electronics N.V. Partition coding method and device
US6192082B1 (en) * 1998-11-13 2001-02-20 Compaq Computer Corporation Digital television data format conversion with automatic parity detection
GB9919805D0 (en) * 1999-08-21 1999-10-27 Univ Manchester Video cording
CN1197384C (zh) * 1999-08-27 2005-04-13 皇家菲利浦电子有限公司 可缩放编码
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
US6792044B2 (en) * 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
KR20040058304A (ko) * 2001-11-21 2004-07-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 개선된 비트 평면 압축 방법
US8300690B2 (en) * 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
US6925123B2 (en) * 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search

Similar Documents

Publication Publication Date Title
JP2008172810A (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
US8036276B2 (en) Water ring scanning apparatus and method, and apparatus and method for encoding/decoding video sequences using the same
US8531321B1 (en) Signal processing and inheritance in a tiered signal quality hierarchy
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
US20150229943A1 (en) Device and method for image encoding/decoding using prediction direction conversion and selective encoding
JP2013251903A (ja) 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム
US7177356B2 (en) Spatially transcoding a video stream
JP2005510979A6 (ja) 画像画質向上因子を利用した知能型波紋スキャン装置及びその方法と、それを利用した画像符号化／復号化装置及びその方法
JP2005519543A (ja) レイヤ映像符合化のための方法及びシステム
Afsana et al. Efficient scalable uhd/360-video coding by exploiting common information with cuboid-based partitioning
KR100491445B1 (ko) Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
JP2006246351A (ja) 画像符号化装置および画像復号化装置
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备