JP2007527126A - 画像部分の圧縮方法および装置 - Google Patents

画像部分の圧縮方法および装置 Download PDF

Info

Publication number
JP2007527126A
JP2007527126A JP2006500157A JP2006500157A JP2007527126A JP 2007527126 A JP2007527126 A JP 2007527126A JP 2006500157 A JP2006500157 A JP 2006500157A JP 2006500157 A JP2006500157 A JP 2006500157A JP 2007527126 A JP2007527126 A JP 2007527126A
Authority
JP
Japan
Prior art keywords
block
image
blocks
sub
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006500157A
Other languages
English (en)
Inventor
アレクサンドレ ドゥラトゥル
ジェローム ラリュー
Original Assignee
アクトイマジン エス.エー.アール.エル.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクトイマジン エス.エー.アール.エル. filed Critical アクトイマジン エス.エー.アール.エル.
Publication of JP2007527126A publication Critical patent/JP2007527126A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

連続する画像のL×Hサイズのブロック(310)を圧縮する方法であって、
- 前記ブロックに最も類似するL×Hピクセルの領域の連続する画像の1画像におけるサーチ処理(240)と、
- 前記領域と前記ブロックの類似性が所定の基準値に対応するか否かの判定処理(245)と、
- 前記類似性が対応する場合に、ブロックと類似領域との距離を示す運動ベクトルを保存する処理(255)と、
- 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズでない場合に、前記ブロックをサブブロック(320、330、340、350)に分割し、サブブロック毎に分割を繰り返す処理(280、281)と、
- 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する処理(266)を
ブロック毎に反復実行する方法。

Description

本発明は画像部分を圧縮する方法と装置に関するものである。
特に、ビデオなどの連続する画像をインターネットなどのコンピュータネットワーク上で送信したり、あるいは、デジタルデータとして保存するなどの用途に適用する画像圧縮に係わるものである。
本発明の方法および装置は、あらゆるハードウエアシステムにおいて、画像のいかなる部分でも圧縮・復号を行うことができるシステムを統合構築できる。
特に、本発明は、ビデオフィルムやコンピュータでアニメ化されたフィルムの配給、卓上またはポータブルまたは家庭用のゲーム、個人電子システム、携帯電話、家庭用DVDプレーヤーなどにも適用できる。
MPEG(Motion Picture Expert Group)方式などの画像圧縮に係わる公知の標準規格は、図1において、ビデオストリームの画像をイントラ画像、つまり、他のビデオストリーム画像を参照してエンコードした画像に圧縮する2つの処理100および110を利用している。
他のビデオストリーム画像にある要素から各画像(多くの場合、先行画像、最終イントラ画像、次イントラ画像)のエンコード処理を行う動き検出100。 この処理は次のように行う。
- 処理101: 画像を切り出し、L×Hピクセル(多くの場合、16×16)の固定サイズのブロックにエンコードし、
- 処理102: 画像のブロック毎に、ブロックに最も類似するL×Hピクセルのフローティング帯(一例)における先行画像をサーチし、
- 処理103: ブロックと類似領域間の(空間座標における)動きを示す運動ベクトルを記憶し、
- 処理105: ブロックと類似領域間の差である剰余画像を演算する。
剰余画像を圧縮するための運動補正110は、次のように実行する。
- 剰余画像の圧縮: 多くの場合、DCT(離散コサイン変換)のような数学関数による。
- 処理112: 圧縮した剰余画像の保存。
- 処理113: 下記ブロックをエンコードする処理102に戻る。
次に、ビデオの復号処理を以下のように実行する。
- 処理121: 1以上のイントラ画像(ビデオストリームにおける他の画像を参照しないでエンコードした画像)を復号する。
- 一連の処理130: 非イントラ画像の再構成をブロック毎に行う。
- 処理131: ビデオストリームにおける他の画像の類似領域の運動ベクトルによるローカリゼーションを行う。
- 処理132: 余剰画像を復号する。
- 処理133: 剰余画像を類似領域に加えて最終ブロックを得る。
剰余画像のエンコード(処理111)を行う従来のアルゴリズムが、「輝度クロミナンス」(YUV)形式で画素値をエンコードする条件下のみで最適な圧縮比を達成する。画素形式が「光の三原色」(RGB)で処理するハードウェアで復号するためには、処理133で更にYUVをRGBに色空間補正することが必要になる。
従来公知の画像圧縮規格は、小型ゲームコンソールや携帯電話などの効率の低いプラットフォームでの画像表示にはあまり適応していない。
本発明の目的は斯かる欠点を解消することにあり、本発明の第1の態様における連続する画像のL×Hサイズのブロックを圧縮する方法は、
- 前記ブロックに最も類似するL×Hピクセルの領域の連続する画像の1画像におけるサーチ処理と、
- 前記領域と前記ブロックの類似性が所定の基準値に対応するか否かの判定処理と、
- 前記類似性が対応する場合に、ブロックと類似領域との距離を示す運動ベクトルを保存する処理と、
- 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズでない場合に、前記ブロックをサブブロックに分割し、サブブロック毎に分割を繰り返す処理と、
- 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する処理と
からなることを特徴とする。
L×Hのサイズは、通常、16×16ピクセルであり、所定の最小サイズは1×1もしくは2×2ピクセルであり、この画素数を多数繰り返してなる。更に、類似性が所定の基準値に対応しておらず、ブロックが所定の最小サイズである場合は、剰余画像を保存するのではなくブロックそのものを保存する。
上記の構成を有する本発明によれば、
- 従来の符号-復号(コーディク)に等価な品質で、
- 従来の復号化に十分な能力を必要としないハードウェアのプラットフォーム、あるいは、構成のハードウェア・プラットフォームでも可能であるが、他の処理に用いるハードの能力を抑えることなく、
- 高圧縮率で
連続画像の圧縮および復号(表示)が可能となる。
本発明で提案する方法によれば、動き検出処理の効率を著しく向上させることができ、これによって、復号処理において最も高くつく運動補正処理を不要にできる。
本発明によれば、運動補正処理をなくすことによって、従来のアルゴリズムを利用したハードウェアに必要であった色空間補正を必要としなくなる。こうしたハードウェアによって、当該従来技術に比べて復号化の速度を更に早めることができる。
以下の特徴的構成を挙げることができる。
- サーチ処理において、前記ブロックに最も類似する画像変換領域となる領域の画像変換を連携して判定する。
- 判定処理において、画像変換された領域と前記ブロックの類似性が所定の基準値に対応しているか否かの判定を行う。
- ベクトルデータ保存処理において、前記画像変換後の領域が最も類似性を有する領域の一つである場合、前記画像変換を表すデータを保存する。
上記本発明の構成によって、圧縮率を高めることができる。
こうした特徴的構成では、最小サイズのブロックの保存処理中に基準画像を参照しないでブロックの圧縮を行う。
この構成によって、圧縮率と圧縮特性を向上することができる。
本発明の特徴的構成では、サーチ処理において、前記ブロックに最も類似するL×Hピクセルの領域を一連の複数の連続画像間でサーチし、且つ、ベクトル保存処理において、前記領域よりなる画像を表すデータを保存する。
この構成によって、候補領域間の選択を大きくして、圧縮率を高くすることができる。
本発明の特徴的構成では、サーチ処理において、前記ブロックに最も類似するL×Hピクセル領域における一連の連続画像の先行画像のみにサーチを行う。
この構成によって、前記領域よりなる画像を表すデータを保存する必要がなくなるので、圧縮量を増やすことが可能となる。
また、本発明の特徴的構成では、画像切出処理において、前記ブロックを同じ大きさのサブブロックに切り出す。
この構成によって、処理すべき多数のサブブロック数を少なくでき、圧縮速度を速めることができる。
本発明の特徴的構成において、各切出処理で、ブロックまたはサブブロックを垂直に切り出す一方で、他方で水平に切り出し、切出処理で切り出した各々のサブブロック全体の類似性を連続画像の画像領域と共に最適化するための切出選択を選択処理で行う。
この構成によって、圧縮品質を向上させることができる
本発明の特徴的構成において、所定の基準値は着目するブロックの大きさに依存する。
本発明の第2の態様における連続する画像のL×Hサイズのブロックを圧縮する装置は、前記ブロックについて反復的に制御する処理手段からなり、斯かる処理手段が、
- 前記ブロックに最も類似するL×Hピクセル領域について一連の画像のうちの一画像においてサーチする手段と、
- 前記領域と前記ブロックの類似性が所定の基準値に対応しているか否かを判定する判定手段と、
- 前記類似性が所定の基準値に対応している場合に、ブロックと最も類似されていると見なされた領域との距離を示す運動ベクトルを保存する記憶手段と、
- 前記類似性が所定の基準値に対応しておらず、ブロックが所定の最小サイズでない場合に、前記ブロックをサブブロックに切り出し、各サブブロックについて反復実行する切出手段と、
- 前記類似性が所定の基準値に対応しておらず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する記憶手段と
からなることを特徴とする。
本発明の第3の態様における画像ブロックの復号方法は、
- ブロックを表す情報を読み取る工程と、
- 前記ブロックが複数のサブブロックにエンコードされたか否かを判定する工程と、
- ブロックが複数のサブブロックにエンコードされていない場合は、ブロックが所定の最小サイズかどうかの判定を行う工程と、
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズでない場合は、運動ベクトルを読み取って、基準画像における運動ベクトルに対応する同じ大きさのブロックを単純に複写することでブロックの復号を行う工程と、
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズである場合は、基準画像を参照しない復号方法で前記ブロックを復号する工程と、
- 前記ブロックが複数のサブブロックにエンコードされている場合は、前記サブブロックの夫々の判定工程に戻る工程と
からなることを特徴とする。
本発明の第4の態様における画像ブロックの復号装置は、
- 前記ブロックを表す情報を読み取る読取手段と、
- 前記ブロックが複数のサブブロックにエンコードされている否かを判定する判定手段と、
- 前記ブロックが複数のサブブロックにエンコードされていない場合に、ブロックが所定の最小サイズか否かを判定する判定手段と、
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズでない場合は、運動ベクトルを読み取って、基準画像における運動ベクトルに対応する同じ大きさのブロックを単純に複写することでブロックの復号を行う復号手段と、
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズである場合は、基準画像を参照しない復号方法で前記ブロックを復号する復号手段と、
- 前記ブロックが複数のサブブロックにエンコードされている場合は、前記サブブロックの夫々の判定工程に戻る手段と
を反復して制御する処理手段(410)を備えていることを特徴とする。
本発明による第1、第2乃至第3の態様による方法および装置の特長、目的および特徴は上記概説した復号方法と同じであるので説明を省略する。
以下に、本発明の他の特長、目的、特徴を添付の図面に従う説明によって明らかにする。
図2に、連続する画像の圧縮開始の処理200と、連続する画像の最初の画像を取り込む処理205を示している。値Hは、処理対象の画像を複数走査線状に分割するための数値で、2の乗数が好ましい(例えば、512走査線画像では16)。Lは処理対象の画像を複数列に分割するための数値で、2の乗数が好ましい(例えば、768列画像では16)。選択したブロックのリストは空である。
処理210では、従来の公知方法によって、例えば、基準画像(イントラ画像)を参照せずに第1画像を圧縮する。
処理220において、連続画像の後続の画像を選択する。処理225では、処理対象の画像を縦方向にHピクセル、幅方向にLピクセルのブロックに切り出す。
処理230では、処理対象の第1画像ブロックを選択ブロックのリストに加える。
処理235において、連続する画像に処理すべき画像が存在するかどうかを判定する。存在する場合は、処理220に戻り、存在しない場合は、処理を終了する。
処理235の結果、「否」であれば、つまり、選択ブロックのリストにブロックがある場合は、処理240において、第1ブロックをリストから外し、同じサイズの先行する画像のフローティング・ブロック(以下、「領域」と称する)と比較する。必要に応じて(例えば、水平と垂直対称性、輝度の大小、全画像変換の回転及び合成など)画像変換処理と共に、処理対象のブロックに最も類似する先行画像の一つの領域を検出して、所定の領域と処理対象のブロック間の類似性をより高めるようにできる。
ブロックと領域の間の最高の類似性を判定するための考え得る比較の基準値は極めて多く、一例として、MPEG基準では2ブロックを比較するために用いるべき方法を指定できない。当該分野の技術者であれば夫々において問題解決の選択肢があり、最も用いられている2つの関数としては「平均平方差」あるいは「MSD」と「平均平方差」あるいは「MAD」がある。
理論的には圧縮方法は、画像変換後に必要な場合、最も類似する領域を見つけるために最も類似するブロックもしくは最も近似するブロックを見つけるべく多数の画像をサーチすることになるが、好ましくは、実際には下記のうちのいずれかのサーチ方法に限定される。
- 先行画像におけるサーチ
- 最後のイントラ画像におけるサーチ
- 最後のイントラ画像と次のイントラ画像におけるサーチ
処理245において、画像変換が必要な場合、最も類似する領域が処理対象のブロックに関する所定の類似性基準値に対応しているか否かを判定する。
処理対象のブロックのサイズによって所定の基準値を決めることが望ましい(サイズは反復処理において変化する)。
処理245の結果が「正」であれば、処理250において、処理対象のブロックの空間座標を最も類似する領域の空間座標に移動させる運動ベクトルを決定する。ベクトル保存処理255では次の代表的記憶データを保存する:
- 続くデータが運動ベクトルによって記述されたブロックに関連があるという事実のデータ
- 処理240において決定された画像変形のデータ
- 最も類似する領域が関係する画像のデータ
- 処理250において決定された運動ベクトルのデータ
損失のない標準的な圧縮技術が望ましいのであるが、損失の有無に拘わらず標準的な圧縮技術によって保存データを圧縮できる。
改変例とし、先行する画像のみを考慮して、先行する画像を表すデータを保存しない。
処理256において処理対象の画像に続くブロックが1つあれば、これを選択ブロックのリストに加え、処理235に戻る。
処理245の結果が「否」であれば、処理260において、斯かるブロックの高さと幅が所定の最小値(例えば、1対1、もしくは、1対2)に等しいか否かを検出することによって、当該ブロックが所定の最小サイズ(例えば、1×1ピクセルもしくは1×2ピクセル)かどうかを判定する。
当該ブロックが所定の最小サイズであれば、処理265において、基準画像を参照しないで斯かる最小サイズブロックを公知の方法で圧縮し、更に、ブロックの保存処理266において、次のデータを保存する:
- 続くデータが最小ブロックに関連することを表す情報
- 圧縮の結果
その上で、処理270において、処理対象の画像の後続ブロックが1つあれば選択ブロックのリストに加え、処理235に戻る。
処理235の結果が「否」であれば、つまり、斯かるブロックが所定の最小サイズでない場合は、処理280において、処理対象のブロックを垂直区分に沿って等しいサイズの左右2つのサブブロックに分割し(図3)、予定される分割サブブロックの夫々をテストするために処理240でシミュレートする。処理281において、処理対象のブロックを水平区分に沿って等しいサイズの上下2つのサブブロックに分割し、予定される分割サブブロックの夫々をテストするために処理240でシミュレートする。こうして類似性を判定するために2種類の分割サブブロックを生成し、処理282において、所定の基準値(例えば、絶対値の合計および所期の画像変換が行われた場合の最適領域とブロック間の差)、および、連続する画像の領域を踏まえて垂直および水平の切り出し画像の夫々を考慮し、生成されたサブブロックの全体の類似性に従って全体の最良の類似性を作り出す、つまり、最適化された(垂直あるいは水平)分割区分を選び出す。
改変例として、分割区分の任意の1区分ずつを選択していく(例えば、最初に垂直分割のみを、更に水平分割、次に水平区分…)。これにより圧縮を早めることができるが、圧縮品質を犠牲にする。
分割区分の情報保存処理283において次の情報を保存する。
- 続くデータが2つのサブブロックに分割した区分に関係があることを示す情報
- ブロックが垂直あるいは水平に分割されたかどうかを示す情報
処理285において、ブロックを垂直あるいは水平に分割したことによる2つのサブブロックを選択ブロックのリストに加え、処理235に戻る。
上記した反復再分割により、効率的な方法で、先行する画像に十分な類似性のある領域のない統計的には数が少ない、所謂「変形」ブロックを分離することができる。残りの多くの画像部分を運動の予測のみによってエンコードし、これによって圧縮率を高め、且つ、復号処理速度を速めることができる。
変形例として、処理240と処理245を逆にして、処理245で最も類似する領域が所定の類似性基準値に対応するか否かを画像変換可能な前方のブロックで判定することができる。
更に変形例として、処理240を省略し、処理245で最も類似する領域が所定の類似性基準値に対応するか否かを画像変換していないブロックで判定することができる。
図3の処理310では一例として、画像ブロックにおける画像305を最初に32×32ピクセルに切り出す。ブロック310について処理280で実行した場合、斯かるブロックは、例えばブロック310を左右等しい分割区分からなる2つのサブブロック320、330に分割される。サブブロック320、330は、高さが32ピクセル、幅が16ピクセルになる。ブロック320に対して処理281を実行すると、ブロックはサブブロック340、350に分割され、夫々、例えばブロック320を上下等しい分割区分になり。サブブロック340、350は高さ8ピクセル、幅8ピクセルになる。分割処理を更に実行すると、前記サブブロックを2つずつ等しい分割区分に分割していくことができる。
図4に示す装置400は処理部410と、下記情報を記憶したメモリー420とからなる。
- 図2、3を参照して上記した圧縮方法を実行するためのソフトウェアと、図5を参照した復号方法を実行するためのソフトウェアの命令
- 連続画像の非イントラ・フォーマットおよび圧縮乃至復号フォーマットの画像データ
処理部410はメモリー420に設定されたソフトウェアの命令を実行し、圧縮処理された画像データの授受を行う。たとえば、処理部としてインテルのペンティアム4(登録商標)を用いることができる。メモリー420としては、たとえば、集積回路などの電子素子、フレキシブルディスク、ハードディスク、光ディスク、CD-RW、CD-Rなどを利用できる。
処理部乃至処理手段410は処理対象ブロックを反復して制御するもので、下記要素からなる:
- 連続画像の1画像においてL×Hピクセルの領域で当該ブロックに最も類似する1画像をサーチするサーチ手段
- 前記領域と前記ブロックの類似性が所定の基準値に対応するか否かを判定する判定手段
- 前記類似性が基準値に対応する場合に前記ブロックと最も類似する領域との距離を示す運動ベクトルを求めて記憶する記憶手段
- 前記類似性が基準値に対応せず、且つ、前記ブロックが所定の最小サイズでない場合に当該ブロックをサブブロックに切り出し、各サブブロックについて反復実行する切出手段
- 前記類似性が所定の基準値に対応しておらず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する記憶手段
また、処理部乃至処理手段410は処理対象ブロックを反復して制御するもので、下記要素からなる:
- 前記ブロックを表す情報を読み取る読取手段
- 前記ブロックが複数のサブブロックにエンコードされている否かを判定する判定手段
- 前記ブロックが複数のサブブロックにエンコードされていない場合に、ブロックが所定の最小サイズか否かを判定する判定手段
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズでない場合は、運動ベクトルを読み取って、基準画像における運動ベクトルに対応する同じ大きさのブロックを単純に複写することでブロックの復号を行う復号手段
- ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズである場合は、基準画像を参照しない復号方法で前記ブロックを復号する復号手段
- 前記ブロックが複数のサブブロックにエンコードされている場合は、前記サブブロックの夫々の判定工程に戻る手段
図5の論理図において、本発明の処理方法による圧縮画像復号方法を示している。
処理500において1乃至複数のイントラ画像(ビデオストリーム画像において他の画像を参照しないでエンコードされた画像)の復号が実行される。
その上で処理505において、続くデータの形式を含めたブロックに関する記憶情報を読み出して、記憶情報の特性を確定する。先行する画像領域に関連する運動ベクトルに関しては処理510の処理系が機能し、最小サイズブロックに関しては処理520の処理系が機能し、ブロックのサブブロックへの分割に関しては処理530の処理系が機能する。
復号化処理におけるブロックのサイズは連続して知ることができ、例えば、処理530が働かない場合は16×16ピクセル、処理530が働かない場合は8×16ピクセルか、16×8ピクセルであるなどの判断ができる。
処理510の処理系が運動ベクトルで記述されたブロックを以下の処理で復号する:
- 処理511において、処理250で判定された運動ベクトルを読み出して、このベクトルでビデオストリーム画像の他の画像に最も類似する領域を位置づけ、
- 処理512において、必要に応じて処理235で行われた所定の画像変換を適用し、
- 処理513において、(画像変換できる)最も類似する領域を再複写して復号ブロックを作成し、
- 処理520の処理系が、処理266に記憶された最小サイズのブロックを復号する。
- 処理521で、復号ブロックを読み出し、
- 処理522で、読み出されたブロックを公知の復号技術で復号して復号ブロックを作り出し、
- 処理530の処理系が、2つのサブブロックに分割されたブロックを復号し、
- 処理531において、前記ブロックが水平及び垂直方向に分割されているか否かを判定する処理282で判定された情報を読み出し、
- 処理532において、判定された2つのサブブロックに関して処理505に戻って処理を続ける。
処理すべきブロックもしくは画像が残っている限り、処理513、522の一方もしくは他方が引き続いて処理505に戻り次のブロックに関連する記憶情報を読み出す。
ブロックを2の乗数の複数サイズの矩形状サブブロックに切り出す処理は本発明の一実施例であり、本発明をこの実施例のみに限定するものでなく、3つ以上の任意形状のサブブロックに切り出してもよい。
本発明を、連続画像における1画像内のブロックの圧縮のみに限定するものでなく、上で簡単に述べた方法を用いたコーディクと同様に、同じ画像の異なったブロックをエンコードする(或る基準値の機能のひとつとして)複数の方法を用いたコーディック処理や、各画像の或る部分のみをエンコードするための方法を用いたコーディック処理を包括するものである。
図1は本発明の前提となる従来技術の方法を論理的に示している。 図2は本発明による方法の一実施例を論理的に示している。 図3は本発明による処理中の画像ブロックを示している。 図4は本発明による装置の一実施例を概略的に示している。 図5は本発明による方法で圧縮画像を復号するための実施例を論理的に示している。

Claims (10)

  1. 連続する画像のL×Hサイズのブロック(310)を圧縮する方法であって、
    - 前記ブロックに最も類似するL×Hピクセルの領域の連続する画像の1画像におけるサーチ処理(240)と、
    - 前記領域と前記ブロックの類似性が所定の基準値に対応するか否かの判定処理(245)と、
    - 前記類似性が対応する場合に、ブロックと類似領域との距離を示す運動ベクトルを保存する処理(255)と、
    - 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズでない場合に、前記ブロックをサブブロック(320、330、340、350)に分割し、サブブロック毎に分割を繰り返す処理(280、281)と、
    - 前記類似性が前記基準に対応せず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する処理(266)を
    ブロック毎に反復実行することを特徴とする方法。
  2. 請求の範囲1に記載の方法において、
    - サーチ処理(240)で、前記ブロックに最も類似する画像変換領域となる領域の画像変換を連携して判定し、
    - 判定処理(245)で、画像変換された領域と前記ブロックの類似性が所定の基準値に対応しているか否かの判定を行い、
    - ベクトルデータ保存処理(255)において、前記画像変換後の領域が最も類似性を有する領域の一つである場合、前記画像変換を表すデータを保存する
    ことを特徴とする方法。
  3. 請求の範囲1あるいは2に記載の方法において、サーチ処理(240)で、前記ブロックに最も類似するL×Hピクセルの領域を一連の複数の連続画像間でサーチし、ベクトル保存処理(255)において、前記領域よりなる画像を表すデータを保存することを特徴とする方法。
  4. 請求の範囲1〜3に記載の方法において、サーチ処理(240)で、前記ブロックに最も類似するL×Hピクセルの領域を先行する画像でサーチすることを特徴とする方法。
  5. 請求の範囲1〜4に記載の方法において、切出手段(280、281)で、前記ブロックを同じ大きさのサブブロックに切り出すことを特徴とする方法。
  6. 請求の範囲1〜5に記載の方法において、各切出処理(280、281)でブロック(310)またはサブブロック(320)を垂直に切り出す一方で、他方で水平に切り出し、選択処理(282)で切り出した各々のサブブロック全体の類似性を連続画像の画像領域と共に最適化するための切出選択を行うことを特徴とする方法。
  7. 請求の範囲6に記載の方法において、所定の基準値は処理対象のブロックの大きさに依存することを特徴とする方法。
  8. 連続する画像のL×Hサイズのブロックを圧縮する装置であって、各ブロックを反復して制御する処理部乃至処理手段(410)を有し、前記処理部乃至処理手段が、
    - 連続画像の1画像においてL×Hピクセルの領域で当該ブロックに最も類似する1画像をサーチするサーチ手段と、
    - 前記領域と前記ブロックの類似性が所定の基準値に対応するか否かを判定する判定手段と、
    - 前記類似性が基準値に対応する場合に前記ブロックと最も類似する領域との距離を示す運動ベクトルを求めて記憶する記憶手段と、
    - 前記類似性が基準値に対応せず、且つ、前記ブロックが所定の最小サイズでない場合に当該ブロックをサブブロックに切り出し、各サブブロックについて反復実行する切出手段と、
    - 前記類似性が所定の基準値に対応しておらず、ブロックが所定の最小サイズである場合に、ブロックデータを記憶しながら基準画像に関係なくブロックを圧縮する記憶手段と
    からなることを特徴とする装置。
  9. 画像ブロックの復号方法であって、
    - ブロックを表す情報を読み取る工程(505)と、
    - 前記ブロックが複数のサブブロックにエンコードされたか否かを判定する工程(505)と、
    - ブロックが複数のサブブロックにエンコードされていない場合は、ブロックが所定の最小サイズかどうかの判定を行う工程(505)と、
    - ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズでない場合は、運動ベクトルを読み取って、基準画像における運動ベクトルに対応する同じ大きさのブロックを単純に複写することでブロックの復号を行う工程(510、511、512、513)と、
    - ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズである場合は、基準画像を参照しない復号方法で前記ブロックを復号する工程(520、521、522)と、
    - 前記ブロックが複数のサブブロックにエンコードされている場合は、前記サブブロックの夫々の判定工程に戻る工程(530、531、532)と
    を反復実行することを特徴とする方法。
  10. 画像ブロックの復号装置であって、
    - 前記ブロックを表す情報を読み取る読取手段と、
    - 前記ブロックが複数のサブブロックにエンコードされているか否かを判定する判定手段と、
    - 前記ブロックが複数のサブブロックにエンコードされていない場合に、ブロックが所定の最小サイズか否かを判定する判定手段と、
    - ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズでない場合は、運動ベクトルを読み取って、基準画像における運動ベクトルに対応する同じ大きさのブロックを単純に複写することでブロックの復号を行う復号手段と、
    - ブロックが複数のサブブロックにエンコードされておらず、所定の最小サイズである場合は、基準画像を参照しない復号方法で前記ブロックを復号する復号手段と、
    - 前記ブロックが複数のサブブロックにエンコードされている場合は、前記サブブロックの夫々の判定工程に戻る手段と
    を反復して制御することを特徴とする装置。
JP2006500157A 2003-02-03 2004-01-28 画像部分の圧縮方法および装置 Pending JP2007527126A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0301226A FR2850827B1 (fr) 2003-02-03 2003-02-03 Procede et dispositif de compression de parties d'images
PCT/FR2004/000187 WO2004070651A2 (fr) 2003-02-03 2004-01-28 Procede et dispositif de compression de parties d'images

Publications (1)

Publication Number Publication Date
JP2007527126A true JP2007527126A (ja) 2007-09-20

Family

ID=32696316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006500157A Pending JP2007527126A (ja) 2003-02-03 2004-01-28 画像部分の圧縮方法および装置

Country Status (5)

Country Link
US (1) US20040156552A1 (ja)
JP (1) JP2007527126A (ja)
CN (1) CN1965582A (ja)
FR (1) FR2850827B1 (ja)
WO (1) WO2004070651A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
GB2431795A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Motion vector selection based on integrity
JP4853199B2 (ja) * 2006-09-25 2012-01-11 株式会社ニコン 画像圧縮方法、装置、電子カメラ、およびプログラム
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
JP2008219224A (ja) * 2007-03-01 2008-09-18 Actimagine Kk 携帯端末用動画像転送システム
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101503829B1 (ko) * 2007-09-07 2015-03-18 삼성전자주식회사 데이터 압축 장치 및 방법
CN102186025B (zh) * 2011-03-09 2012-10-03 天津大学 基于压缩感知的cmos成像测量值获取系统及其方法
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
EP2773111B1 (en) * 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
CN111966282A (zh) * 2020-07-03 2020-11-20 西安万像电子科技有限公司 数据存储访问控制方法及系统
CN113613022B (zh) * 2021-06-18 2023-11-14 山东云海国创云计算装备产业创新中心有限公司 一种jpeg图像的压缩方法、装置、设备及可读介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
FR2684258B1 (fr) * 1991-11-27 1998-06-05 Thomson Consumer Electronics Procede d'estimation et de codage hierarchise du mouvement de sequences d'images.
KR960013055A (ko) * 1994-09-27 1996-04-20 김광호 조건부 퀴드트리 분할방식의 화상압축방법 및 장치
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
US6584226B1 (en) * 1997-03-14 2003-06-24 Microsoft Corporation Method and apparatus for implementing motion estimation in video compression
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images

Also Published As

Publication number Publication date
FR2850827B1 (fr) 2005-11-04
US20040156552A1 (en) 2004-08-12
CN1965582A (zh) 2007-05-16
WO2004070651A2 (fr) 2004-08-19
FR2850827A1 (fr) 2004-08-06
WO2004070651A3 (fr) 2006-08-10

Similar Documents

Publication Publication Date Title
US10284846B2 (en) Image predictive encoding and decoding device
US11792405B2 (en) Codec
KR101208863B1 (ko) 비디오 데이터의 인코딩을 위한 인코딩 유형 및 예측 모드 선택
EP1762101B1 (en) Methods and apparatus for image encoding/decoding, and extended image compression/expansion
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP6072678B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US20130034160A1 (en) Apparatus and method for video processing
EP1104199A1 (en) Image coding/decoding method and recorded medium on which program is recorded
CN113784124B (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
JP2007527126A (ja) 画像部分の圧縮方法および装置
US8131095B2 (en) Process and device for the compression of portions of images
JP2007189276A (ja) 画像圧縮装置及び画像圧縮プログラム
US8284843B2 (en) Information encoding apparatus and method, information searching apparatus and method, information searching system and method, and program therefor
US9020283B2 (en) Electronic device and method for splitting image
JP3432039B2 (ja) 画像符号化方法及びその装置
CN114449294A (zh) 运动估计方法、装置、设备、存储介质和计算机程序产品
CN110312129B (zh) 最可能模式列表的构建、帧内预测、编码的方法及设备
US20090268822A1 (en) Motion vector detection by stepwise search
US7424057B2 (en) Data format transcoding apparatus and associated method
JPH11136674A (ja) 画像符号化方法及び記憶媒体
JPH09186861A (ja) 画像処理方法とその装置
JP2009110211A (ja) 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
JP2018160776A (ja) 画像符号化装置及びその制御方法及びプログラム
JPH1066083A (ja) 動きべクトル探索方式

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090907