JP2001309384A - 画像圧縮装置 - Google Patents
画像圧縮装置Info
- Publication number
- JP2001309384A JP2001309384A JP2000116318A JP2000116318A JP2001309384A JP 2001309384 A JP2001309384 A JP 2001309384A JP 2000116318 A JP2000116318 A JP 2000116318A JP 2000116318 A JP2000116318 A JP 2000116318A JP 2001309384 A JP2001309384 A JP 2001309384A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- difference
- frame images
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】 動画像圧縮装置において、符号化しようとす
るフレームの画像と直前あるいは直後のフレーム画像と
の間の差分が大きい場合に生じる画質の低下を防止す
る。 【解決手段】 フレーム画像間の動きベクトルを検出す
る動きベクトル探索手段１０１と、検出された動きベク
トルに基づき動き補償を行ってフレーム画像間の差分画
像を生成し、圧縮符号化するエンコード手段１０３とを
有する画像圧縮装置において、動きベクトル探索手段１
０１は、輝度補正手段１０２によりメモリ１０４に保存
されている参照画像の輝度レベルを補正してから動きベ
クトルを検出することを特徴とする。
るフレームの画像と直前あるいは直後のフレーム画像と
の間の差分が大きい場合に生じる画質の低下を防止す
る。 【解決手段】 フレーム画像間の動きベクトルを検出す
る動きベクトル探索手段１０１と、検出された動きベク
トルに基づき動き補償を行ってフレーム画像間の差分画
像を生成し、圧縮符号化するエンコード手段１０３とを
有する画像圧縮装置において、動きベクトル探索手段１
０１は、輝度補正手段１０２によりメモリ１０４に保存
されている参照画像の輝度レベルを補正してから動きベ
クトルを検出することを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、デジタル動画像を
圧縮する画像圧縮装置に関する。
圧縮する画像圧縮装置に関する。
【０００２】
【従来の技術】ＭＰＥＧ（Moving Picture Experts Gro
up）１、ＭＰＥＧ２、ＩＴＵ−ＴＨ．２６３等の規格で
は、エンコード単位として、画像を１６×１６画素の小
さなマクロブロック（マクロブロックはさらに輝度成分
を表す４個のブロックと色成分を表す２個のブッロクと
にそれぞれ分割される）に分割し、時間的に前後する画
像の中からエンコードしようとする画像に類似する領域
を参照画像領域として抽出し、該参照画像領域とエンコ
ードしようとするマクロブロックの空間的距離及び方向
（動きベクトル）を検出し、該動きベクトルにより動き
補償を行ってから差分情報を計算し、更に差分情報をブ
ロック毎にＤＣＴ（離散コサイン変換）変換し、動きベ
クトルとともに可変長符号化して画像を圧縮している。
このように動きベクトルと差分情報だけを圧縮するほう
が、原画像そのものを圧縮するよりはるかに効率が高
い。
up）１、ＭＰＥＧ２、ＩＴＵ−ＴＨ．２６３等の規格で
は、エンコード単位として、画像を１６×１６画素の小
さなマクロブロック（マクロブロックはさらに輝度成分
を表す４個のブロックと色成分を表す２個のブッロクと
にそれぞれ分割される）に分割し、時間的に前後する画
像の中からエンコードしようとする画像に類似する領域
を参照画像領域として抽出し、該参照画像領域とエンコ
ードしようとするマクロブロックの空間的距離及び方向
（動きベクトル）を検出し、該動きベクトルにより動き
補償を行ってから差分情報を計算し、更に差分情報をブ
ロック毎にＤＣＴ（離散コサイン変換）変換し、動きベ
クトルとともに可変長符号化して画像を圧縮している。
このように動きベクトルと差分情報だけを圧縮するほう
が、原画像そのものを圧縮するよりはるかに効率が高
い。
【０００３】しかし、差分情報により圧縮された画像は
参照する画像がないと復元できないため、ランダムアク
セスを実現するためには周期的に原画像そのものを圧縮
し、他の画像を参照しないで復元できる画像を設ける必
要がある。このような画像をＩ（Intra）ピクチャと呼
ぶ。Ｉピクチャを参照画像として次の画像を圧縮し、さ
らに、すでに圧縮された画像を参照画像として圧縮して
いくことができる。尚、時間的に前の画像のみを参照し
て圧縮する画像をＰピクチャと呼び、時間的に前及び後
の画像を参照して圧縮する画像をＢピクチャと呼ぶ。
参照する画像がないと復元できないため、ランダムアク
セスを実現するためには周期的に原画像そのものを圧縮
し、他の画像を参照しないで復元できる画像を設ける必
要がある。このような画像をＩ（Intra）ピクチャと呼
ぶ。Ｉピクチャを参照画像として次の画像を圧縮し、さ
らに、すでに圧縮された画像を参照画像として圧縮して
いくことができる。尚、時間的に前の画像のみを参照し
て圧縮する画像をＰピクチャと呼び、時間的に前及び後
の画像を参照して圧縮する画像をＢピクチャと呼ぶ。
【０００４】また、隣接するマクロブロックでは、動き
ベクトルが同じであることが多いので、ＭＰＥＧ１、Ｍ
ＰＥＧ２、ＩＴＵ−ＴＨ．２６３等では、スキップと呼
ばれる方法を用いて更に圧縮効率を高めている。これ
は、差分情報が０であれば、マクロブロック（あるいは
マクロブロックを構成するブロック）のすべての情報を
送らずスキップさせるものである。マクロブロックやブ
ロックの情報には各種のヘッダ情報が含まれるが、スキ
ップするとヘッダ情報を送らなくてもよいので圧縮効率
が大幅に向上する。また、この隣接するマクロブロック
では、動きベクトルが同じであることが多いということ
を利用して、動きベクトルそのものではなく、動きベク
トル探索により検出された動きベクトルと各マクロブロ
ックとの差分を符号化することで圧縮効率を更に上げて
いる。
ベクトルが同じであることが多いので、ＭＰＥＧ１、Ｍ
ＰＥＧ２、ＩＴＵ−ＴＨ．２６３等では、スキップと呼
ばれる方法を用いて更に圧縮効率を高めている。これ
は、差分情報が０であれば、マクロブロック（あるいは
マクロブロックを構成するブロック）のすべての情報を
送らずスキップさせるものである。マクロブロックやブ
ロックの情報には各種のヘッダ情報が含まれるが、スキ
ップするとヘッダ情報を送らなくてもよいので圧縮効率
が大幅に向上する。また、この隣接するマクロブロック
では、動きベクトルが同じであることが多いということ
を利用して、動きベクトルそのものではなく、動きベク
トル探索により検出された動きベクトルと各マクロブロ
ックとの差分を符号化することで圧縮効率を更に上げて
いる。
【０００５】
【発明が解決しようとする課題】デジタル放送などで、
画像がフェードインあるいはフェードアウトするときや
同一シーンで明るさが変化するときなど、デジタル圧縮
に特有のマクロブロック歪やモスキートノイズがよく見
られる。これは、動きベクトル探索時に、従来、ピクセ
ル間の差分の絶対値の総和を領域間の類似度の指標とし
て用いているので、画像の平均輝度レベルが変化した場
合、輝度が互いに近い領域を参照領域として抽出するこ
とになり動きベクトルを正しく検出することができない
という理由による。また、正しい動きベクトルを検出し
た場合でも、輝度レベルの相違により、ＤＣＴ変換・量
子化後にも符号化すべきＤＣ成分の係数が多く残り、ス
キップされるブロックが少なくなり圧縮率が低下すると
いう問題もある。
画像がフェードインあるいはフェードアウトするときや
同一シーンで明るさが変化するときなど、デジタル圧縮
に特有のマクロブロック歪やモスキートノイズがよく見
られる。これは、動きベクトル探索時に、従来、ピクセ
ル間の差分の絶対値の総和を領域間の類似度の指標とし
て用いているので、画像の平均輝度レベルが変化した場
合、輝度が互いに近い領域を参照領域として抽出するこ
とになり動きベクトルを正しく検出することができない
という理由による。また、正しい動きベクトルを検出し
た場合でも、輝度レベルの相違により、ＤＣＴ変換・量
子化後にも符号化すべきＤＣ成分の係数が多く残り、ス
キップされるブロックが少なくなり圧縮率が低下すると
いう問題もある。
【０００６】また、上記したように、従来、符号量を減
少させ、圧縮効率を更に高めるため、動きベクトルの差
分を符号化しているが、探索により得られた動きベクト
ルと、各マクロブロックの動きベクトルとの差が大きい
場合には逆に符号量が増加してしまうこともある。ＩＴ
Ｕ−ＴＨ．２６３では、動きベクトルの差分値の符号長
として、水平及び垂直方向合せて最大２６ビットまで使
用することができるが、最大の２６ビットまで使用する
場合の符号量は、例えば、１７６ピクセル×１４４ピク
セルのＱＣＩＦと呼ばれるフォーマットを３２kbits/se
c、１５frame/secで符号化する場合の一マクロブロック
の平均符号量を上回ってしまう。動きベクトルの差分の
符号化に必要な符号量を除いたものがＤＣＴ係数の符号
化に割り当てられるため、動きベクトルの精度が必要以
上に高く、その分ＤＣＴ係数の精度が低下してしまうと
いう問題がある。
少させ、圧縮効率を更に高めるため、動きベクトルの差
分を符号化しているが、探索により得られた動きベクト
ルと、各マクロブロックの動きベクトルとの差が大きい
場合には逆に符号量が増加してしまうこともある。ＩＴ
Ｕ−ＴＨ．２６３では、動きベクトルの差分値の符号長
として、水平及び垂直方向合せて最大２６ビットまで使
用することができるが、最大の２６ビットまで使用する
場合の符号量は、例えば、１７６ピクセル×１４４ピク
セルのＱＣＩＦと呼ばれるフォーマットを３２kbits/se
c、１５frame/secで符号化する場合の一マクロブロック
の平均符号量を上回ってしまう。動きベクトルの差分の
符号化に必要な符号量を除いたものがＤＣＴ係数の符号
化に割り当てられるため、動きベクトルの精度が必要以
上に高く、その分ＤＣＴ係数の精度が低下してしまうと
いう問題がある。
【０００７】さらに、従来、Ｐピクチャでは直前のフレ
ームの１枚の画像、Ｂピクチャでは直前及び直後のフレ
ームの２枚の画像を参照画像としてフレーム間符号化を
行っているが、参照画像との差分が大きい場合、例え
ば、クロスフェードなどのシーンチェンジ時やフェード
アウト／イン時は圧縮効率が低下し、マクロブロック歪
が出現している。これは、特に様々な映像効果を使用す
るＣＭなどで問題となる。
ームの１枚の画像、Ｂピクチャでは直前及び直後のフレ
ームの２枚の画像を参照画像としてフレーム間符号化を
行っているが、参照画像との差分が大きい場合、例え
ば、クロスフェードなどのシーンチェンジ時やフェード
アウト／イン時は圧縮効率が低下し、マクロブロック歪
が出現している。これは、特に様々な映像効果を使用す
るＣＭなどで問題となる。
【０００８】本発明の第１の課題は、フレーム間で画像
の輝度の平均レベルに変動があっても、圧縮効率の低下
を抑制し、画像歪を防止することである。
の輝度の平均レベルに変動があっても、圧縮効率の低下
を抑制し、画像歪を防止することである。
【０００９】本発明の第２の課題は、動きベクトルの差
分の符号化に必要な符号量がＤＣＴ係数の符号化に割り
当てられる符号量を圧迫し、画質を低下させることを防
止することである。
分の符号化に必要な符号量がＤＣＴ係数の符号化に割り
当てられる符号量を圧迫し、画質を低下させることを防
止することである。
【００１０】本発明の第３の課題は、符号化しようとす
るフレームの画像と、直前・直後のフレーム画像の差分
が大きい場合に生じる画質の低下を防止することであ
る。
るフレームの画像と、直前・直後のフレーム画像の差分
が大きい場合に生じる画質の低下を防止することであ
る。
【００１１】
【課題を解決するための手段】前記第１の課題は、フレ
ーム画像間の動きベクトルを検出する動きベクトル検出
手段と、検出された動きベクトルに基づき動き補償を行
ってフレーム画像間の差分画像を生成する差分画像生成
手段と、該差分画像を圧縮符号化する圧縮符号化手段と
を含む画像圧縮装置において、前記動きベクトル検出手
段は、フレーム画像間の輝度レベルの差を補償してから
動きベクトルを検出することを特徴とする画像圧縮装置
により解決される。
ーム画像間の動きベクトルを検出する動きベクトル検出
手段と、検出された動きベクトルに基づき動き補償を行
ってフレーム画像間の差分画像を生成する差分画像生成
手段と、該差分画像を圧縮符号化する圧縮符号化手段と
を含む画像圧縮装置において、前記動きベクトル検出手
段は、フレーム画像間の輝度レベルの差を補償してから
動きベクトルを検出することを特徴とする画像圧縮装置
により解決される。
【００１２】前記第１の課題はまた、フレーム画像間の
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、該差
分画像を圧縮符号化する圧縮符号化手段とを含む画像圧
縮装置において、前記差分画像生成手段は、フレーム画
像間の輝度レベルの差を補償してから差分画像を生成す
ることを特徴とする画像圧縮装置により解決される。
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、該差
分画像を圧縮符号化する圧縮符号化手段とを含む画像圧
縮装置において、前記差分画像生成手段は、フレーム画
像間の輝度レベルの差を補償してから差分画像を生成す
ることを特徴とする画像圧縮装置により解決される。
【００１３】前記第１の課題はまた、フレーム画像間の
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、該差
分画像を圧縮符号化する圧縮符号化手段とを含む画像圧
縮装置において、前記動きベクトル検出手段は、フレー
ム画像間の輝度レベルの差を補償してから動きベクトル
を検出し、前記差分画像生成手段は、フレーム画像間の
輝度レベルの差を補償してから差分画像を生成すること
を特徴とする画像圧縮装置により解決される。
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、該差
分画像を圧縮符号化する圧縮符号化手段とを含む画像圧
縮装置において、前記動きベクトル検出手段は、フレー
ム画像間の輝度レベルの差を補償してから動きベクトル
を検出し、前記差分画像生成手段は、フレーム画像間の
輝度レベルの差を補償してから差分画像を生成すること
を特徴とする画像圧縮装置により解決される。
【００１４】上記の各装置において、輝度レベルの補正
は、入力される画像信号中の輝度信号及び色差信号の少
なくとも一方に対して行うことができる。
は、入力される画像信号中の輝度信号及び色差信号の少
なくとも一方に対して行うことができる。
【００１５】上記第２の課題は、フレーム画像間の動き
ベクトルを検出する動きベクトル検出手段と、検出され
た動きベクトルに基づき動き補償を行ってフレーム画像
間の差分画像を生成する差分画像生成手段と、前記動き
補償が行われる領域内のマクロブロックのそれぞれの動
きベクトルを求め、前記検出された動きベクトルとの差
分を求めるベクトル差分生成手段と、前記差分画像と前
記ベクトル差分とを圧縮符号化する圧縮符号化手段とを
含む画像圧縮装置において、前記ベクトル差分生成手段
は、少なくとも前記差分画像の符号化に要する符号量と
前記ベクトル差分の符号化に必要な符号量とを決定要因
としてマクロブロックの動きベクトルを決定する動きベ
クトル判定手段を有することを特徴とする画像圧縮装置
により解決される。
ベクトルを検出する動きベクトル検出手段と、検出され
た動きベクトルに基づき動き補償を行ってフレーム画像
間の差分画像を生成する差分画像生成手段と、前記動き
補償が行われる領域内のマクロブロックのそれぞれの動
きベクトルを求め、前記検出された動きベクトルとの差
分を求めるベクトル差分生成手段と、前記差分画像と前
記ベクトル差分とを圧縮符号化する圧縮符号化手段とを
含む画像圧縮装置において、前記ベクトル差分生成手段
は、少なくとも前記差分画像の符号化に要する符号量と
前記ベクトル差分の符号化に必要な符号量とを決定要因
としてマクロブロックの動きベクトルを決定する動きベ
クトル判定手段を有することを特徴とする画像圧縮装置
により解決される。
【００１６】上記第２の課題はまた、フレーム画像間の
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、前記
動き補償が行われる領域内のマクロブロックのそれぞれ
の動きベクトルを求め、前記検出された動きベクトルと
の差分を求めるベクトル差分生成手段と、前記差分画像
と前記ベクトル差分とを圧縮符号化する圧縮符号化手段
とを含む画像圧縮装置において、フレーム画像間の類似
度をマクロブロック内のブロック単位で算出する手段
と、算出された類似度に基づき差分の符号化をスキップ
するブロックを決定するブロックスキップ判定手段とを
備え、前記ベクトル差分生成手段は、少なくとも前記差
分画像の符号化に要する符号量と前記ベクトル差分の符
号化に必要な符号量とスキップされるブロックの数とを
決定要因としてマクロブロックの動きベクトルを決定す
る動きベクトル判定手段を有することを特徴とする画像
圧縮装置により解決される。
動きベクトルを検出する動きベクトル検出手段と、検出
された動きベクトルに基づき動き補償を行ってフレーム
画像間の差分画像を生成する差分画像生成手段と、前記
動き補償が行われる領域内のマクロブロックのそれぞれ
の動きベクトルを求め、前記検出された動きベクトルと
の差分を求めるベクトル差分生成手段と、前記差分画像
と前記ベクトル差分とを圧縮符号化する圧縮符号化手段
とを含む画像圧縮装置において、フレーム画像間の類似
度をマクロブロック内のブロック単位で算出する手段
と、算出された類似度に基づき差分の符号化をスキップ
するブロックを決定するブロックスキップ判定手段とを
備え、前記ベクトル差分生成手段は、少なくとも前記差
分画像の符号化に要する符号量と前記ベクトル差分の符
号化に必要な符号量とスキップされるブロックの数とを
決定要因としてマクロブロックの動きベクトルを決定す
る動きベクトル判定手段を有することを特徴とする画像
圧縮装置により解決される。
【００１７】動きベクトル判定手段は、更に前記圧縮符
号化手段での量子化に用いる量子化係数の値を決定要因
に含めることができる。
号化手段での量子化に用いる量子化係数の値を決定要因
に含めることができる。
【００１８】前記第３の課題は、フレーム画像間の差分
を圧縮符号化する圧縮符号化手段を含む画像圧縮装置に
おいて、複数のフレーム画像を保存する記憶手段と、該
記憶手段に保存されている複数のフレーム画像をそれぞ
れ重み付けして加算することにより入力画像に類似する
参照画像を生成する参照画像手段とを備え、前記圧縮符
号化手段は前記参照画像と入力画像との差分を圧縮符号
化することを特徴とする画像圧縮装置により解決され
る。
を圧縮符号化する圧縮符号化手段を含む画像圧縮装置に
おいて、複数のフレーム画像を保存する記憶手段と、該
記憶手段に保存されている複数のフレーム画像をそれぞ
れ重み付けして加算することにより入力画像に類似する
参照画像を生成する参照画像手段とを備え、前記圧縮符
号化手段は前記参照画像と入力画像との差分を圧縮符号
化することを特徴とする画像圧縮装置により解決され
る。
【００１９】前記参照画像と入力画像との間の動きベク
トルを検出する動きベクトル検出手段を備え、前記圧縮
符号化手段は、該検出された動きベクトルに基づき前記
参照画像に動き補償を行ってから入力画像との差分を圧
縮符号化するようにすることができる。あるいはまた、
入力フレーム画像と前記記憶手段に保存されている複数
のフレーム画像との動きベクトルをそれぞれ検出する複
数の動きベクトル検出手段を備え、前記参照画像生成手
段は、前記記憶手段に保存されている複数のフレーム画
像にそれぞれ検出された動きベクトルに基づき動き補償
を行ってから参照画像を生成するようにすることができ
る。
トルを検出する動きベクトル検出手段を備え、前記圧縮
符号化手段は、該検出された動きベクトルに基づき前記
参照画像に動き補償を行ってから入力画像との差分を圧
縮符号化するようにすることができる。あるいはまた、
入力フレーム画像と前記記憶手段に保存されている複数
のフレーム画像との動きベクトルをそれぞれ検出する複
数の動きベクトル検出手段を備え、前記参照画像生成手
段は、前記記憶手段に保存されている複数のフレーム画
像にそれぞれ検出された動きベクトルに基づき動き補償
を行ってから参照画像を生成するようにすることができ
る。
【００２０】本発明によればまた、画像圧縮装置から送
られてくるフレーム画像間の差分画像を表す符合からフ
レーム画像を再生する手段を含む画像復号装置におい
て、複数の再生されたフレーム画像を保存する記憶手段
と、該記憶手段に保存されている複数のフレーム画像を
前記画像圧縮装置から送られてくるパラメータに従いそ
れぞれ重み付けして加算することにより参照画像を生成
する参照画像生成手段と、前記画像圧縮装置から送られ
てくるフレーム画像間の差分画像と前記参照画像とを加
算してフレーム画像を再生し、前記記憶手段に保存する
加算手段とを備えたことを特徴とする画像復号装置が得
られる。
られてくるフレーム画像間の差分画像を表す符合からフ
レーム画像を再生する手段を含む画像復号装置におい
て、複数の再生されたフレーム画像を保存する記憶手段
と、該記憶手段に保存されている複数のフレーム画像を
前記画像圧縮装置から送られてくるパラメータに従いそ
れぞれ重み付けして加算することにより参照画像を生成
する参照画像生成手段と、前記画像圧縮装置から送られ
てくるフレーム画像間の差分画像と前記参照画像とを加
算してフレーム画像を再生し、前記記憶手段に保存する
加算手段とを備えたことを特徴とする画像復号装置が得
られる。
【００２１】
【発明の実施の形態】先ず、図１から図５を参照して、
本発明の画像圧縮装置の実施形態１から実施形態３を説
明する。実施形態１から３の装置は、フレーム間で画像
の輝度成分の平均レベルに変動があっても、圧縮効率の
低下を抑制し画像歪を防止することのできる画像圧縮装
置である。
本発明の画像圧縮装置の実施形態１から実施形態３を説
明する。実施形態１から３の装置は、フレーム間で画像
の輝度成分の平均レベルに変動があっても、圧縮効率の
低下を抑制し画像歪を防止することのできる画像圧縮装
置である。
【００２２】図１に示す装置は、ブロック化手段１１
０、エンコード手段１０３、動きベクトル探索手段１０
１、輝度補正手段１０２、メモリ１０４から構成され
る。
０、エンコード手段１０３、動きベクトル探索手段１０
１、輝度補正手段１０２、メモリ１０４から構成され
る。
【００２３】エンコード手段１０３は、ブロック化手段
１１０によりブロックに分割された入力画像をＤＣＴ変
換及び量子化し、更に符号化して外部に出力するととも
に、符号化された画像を逆符号化、逆量子化、逆ＤＣＴ
変換して復元し、参照画像としてメモリ１０４に保存す
る。輝度補正手段１０２は、メモリ１０４に保存された
参照画像の平均輝度レベルと入力画像の平均輝度レベル
とを比較し、入力画像の平均輝度レベルが参照画像の平
均輝度レベルに等しくなるように参照画像の輝度レベル
を補正する。輝度の補正は、参照画像に対するガンマ補
正や一次関数による線形補正などのアルゴリズムを用い
ることができる。複数のアルゴリズムを選択的に切り替
えて用いることもできる。
１１０によりブロックに分割された入力画像をＤＣＴ変
換及び量子化し、更に符号化して外部に出力するととも
に、符号化された画像を逆符号化、逆量子化、逆ＤＣＴ
変換して復元し、参照画像としてメモリ１０４に保存す
る。輝度補正手段１０２は、メモリ１０４に保存された
参照画像の平均輝度レベルと入力画像の平均輝度レベル
とを比較し、入力画像の平均輝度レベルが参照画像の平
均輝度レベルに等しくなるように参照画像の輝度レベル
を補正する。輝度の補正は、参照画像に対するガンマ補
正や一次関数による線形補正などのアルゴリズムを用い
ることができる。複数のアルゴリズムを選択的に切り替
えて用いることもできる。
【００２４】動きベクトル探索手段１０１は入力画像と
輝度補正された参照画像とから動きベクトルを探索し、
エンコード手段１０３に供給する。エンコード手段１０
３は、メモリ１０４から参照領域を読み込むとともにこ
の動きベクトルを用いて動き補償を行い、入力画像と参
照画像の差分を符号化する。
輝度補正された参照画像とから動きベクトルを探索し、
エンコード手段１０３に供給する。エンコード手段１０
３は、メモリ１０４から参照領域を読み込むとともにこ
の動きベクトルを用いて動き補償を行い、入力画像と参
照画像の差分を符号化する。
【００２５】上記の実施形態１では、フレーム間で平均
の輝度レベルに差があっても、輝度補正してから動きベ
クトルを探索するので正しい動きベクトルを検出でき、
従って差分が少なくなるので画質が向上する。上記の実
施形態１は現在標準となっている動画像圧縮アルゴリズ
ムに適用できる。
の輝度レベルに差があっても、輝度補正してから動きベ
クトルを探索するので正しい動きベクトルを検出でき、
従って差分が少なくなるので画質が向上する。上記の実
施形態１は現在標準となっている動画像圧縮アルゴリズ
ムに適用できる。
【００２６】図２に実施形態２の構成を示す。実施形態
２は、動きベクトル探索手段１０１が入力画像と参照画
像との間の動きベクトルを検出し、エンコード手段１０
３は、該動きベクトルにより動き補償を行ってから輝度
補正手段１０２により輝度補正された参照画像と入力画
像との間の差分を生成する点で図１の装置と異なってい
る。すなわち、輝度補正手段は１０２はメモリ１０４に
保存されている画像の一つ又は複数のエンコード単位か
らなる領域あるいは画像全体に対し輝度補正を行い、こ
れを補正パラメータとともにエンコード手段１０３に送
る。複数の輝度補正アルゴリズムを有する場合には、使
用したアルゴリズムを識別するためのパラメータも送
る。動きベクトル探索手段１０１は、メモリ１０４に保
存されている画像と入力画像とから動きベクトルを探索
し、エンコード手段１０３に供給する。
２は、動きベクトル探索手段１０１が入力画像と参照画
像との間の動きベクトルを検出し、エンコード手段１０
３は、該動きベクトルにより動き補償を行ってから輝度
補正手段１０２により輝度補正された参照画像と入力画
像との間の差分を生成する点で図１の装置と異なってい
る。すなわち、輝度補正手段は１０２はメモリ１０４に
保存されている画像の一つ又は複数のエンコード単位か
らなる領域あるいは画像全体に対し輝度補正を行い、こ
れを補正パラメータとともにエンコード手段１０３に送
る。複数の輝度補正アルゴリズムを有する場合には、使
用したアルゴリズムを識別するためのパラメータも送
る。動きベクトル探索手段１０１は、メモリ１０４に保
存されている画像と入力画像とから動きベクトルを探索
し、エンコード手段１０３に供給する。
【００２７】エンコード手段１０３は、この動きベクト
ルを用いて差分画像を生成し、差分画像をＤＣＴ変換、
量子化、可変長符号化し、外部に出力する。このとき、
輝度補正手段１０２から送られる輝度補正パラメータ及
び補正アルゴリズムを識別するパラメータも符号化し出
力する。
ルを用いて差分画像を生成し、差分画像をＤＣＴ変換、
量子化、可変長符号化し、外部に出力する。このとき、
輝度補正手段１０２から送られる輝度補正パラメータ及
び補正アルゴリズムを識別するパラメータも符号化し出
力する。
【００２８】図３に図２の画像圧縮装置から送られてく
る符号を復号する復号器の構成を示す。この復号器は、
デコード手段１０５、加算器１０８、輝度補正手段１０
７、メモリ１０６から構成される。
る符号を復号する復号器の構成を示す。この復号器は、
デコード手段１０５、加算器１０８、輝度補正手段１０
７、メモリ１０６から構成される。
【００２９】デコード手段１０５は、入力符号に対し、
可変長復号、逆量子化、逆ＤＣＴ変換を行って差分画像
を生成するとともに、輝度補正手段１０７に画像圧縮装
置が用いた輝度補正パラメータ及び補正アルゴリズムを
識別するパラメータを送る。輝度補正手段１０７は、デ
コード手段１０５から送られる補正パラメータ、識別パ
ラメータを使用し、メモリ１０６から読み出した画像に
輝度補正を行う。加算器１０８は、デコード手段１０５
からの差分画像に輝度補正手段１０７からの輝度補正さ
れた画像を重ねて画像を生成し、外部に出力するととも
にメモリ１０６に保存する。
可変長復号、逆量子化、逆ＤＣＴ変換を行って差分画像
を生成するとともに、輝度補正手段１０７に画像圧縮装
置が用いた輝度補正パラメータ及び補正アルゴリズムを
識別するパラメータを送る。輝度補正手段１０７は、デ
コード手段１０５から送られる補正パラメータ、識別パ
ラメータを使用し、メモリ１０６から読み出した画像に
輝度補正を行う。加算器１０８は、デコード手段１０５
からの差分画像に輝度補正手段１０７からの輝度補正さ
れた画像を重ねて画像を生成し、外部に出力するととも
にメモリ１０６に保存する。
【００３０】上記実施形態２では、参照画像と入力画像
との間に輝度差があっても輝度補正を行うので差分が小
さく符号化すべきＤＣＴ係数を少なくすることができ、
またスキップされるブロックの数も増加するので圧縮率
及び画質が向上する。
との間に輝度差があっても輝度補正を行うので差分が小
さく符号化すべきＤＣＴ係数を少なくすることができ、
またスキップされるブロックの数も増加するので圧縮率
及び画質が向上する。
【００３１】図４に実施形態３の構成を示す。実施形態
３は、メモリ１０４に保存された参照画像を輝度補正手
段１０２により輝度補正してから動きベクトル探索手段
１０１により動きベクトルを探索する点で実施形態２と
異なる。
３は、メモリ１０４に保存された参照画像を輝度補正手
段１０２により輝度補正してから動きベクトル探索手段
１０１により動きベクトルを探索する点で実施形態２と
異なる。
【００３２】実施形態３では、実施形態２の利点に加
え、輝度レベルの変化の影響を受けることなく動きベク
トルを探索するので動きベクトルの検出精度が高く、ノ
イズが少なく更に画質が向上する。
え、輝度レベルの変化の影響を受けることなく動きベク
トルを探索するので動きベクトルの検出精度が高く、ノ
イズが少なく更に画質が向上する。
【００３３】図５に実施形態３の装置のエンコード手段
１０３の構成例を示す。エンコード手段１０３は、動き
ベクトル探索手段１０１から供給される動きベクトルに
より参照領域を抽出する参照領域抽出部２２、入力画像
と、動きベクトルにより動き補償された参照画像との差
分画像を生成する差分画像生成用減算部１２、差分画像
をＤＣＴ変換してＤＣＴ係数を生成するＤＣＴ部１３、
生成されたＤＣＴ係数を量子化する量子化部１４、量子
化されたＤＣＴ係数を可変長符号化する可変長符号化部
１５、生成された符号を一時的に格納するバッファ１
６、量子化されたＤＣＴ係数を逆量子化する逆量子化部
１８、逆量子化されたＤＣＴ係数を逆ＤＣＴ変換し差分
画像を復元する逆ＤＣＴ部１９、復元された差分画像と
参照領域とを加算し、入力画像を復元する加算部２３と
を含む。
１０３の構成例を示す。エンコード手段１０３は、動き
ベクトル探索手段１０１から供給される動きベクトルに
より参照領域を抽出する参照領域抽出部２２、入力画像
と、動きベクトルにより動き補償された参照画像との差
分画像を生成する差分画像生成用減算部１２、差分画像
をＤＣＴ変換してＤＣＴ係数を生成するＤＣＴ部１３、
生成されたＤＣＴ係数を量子化する量子化部１４、量子
化されたＤＣＴ係数を可変長符号化する可変長符号化部
１５、生成された符号を一時的に格納するバッファ１
６、量子化されたＤＣＴ係数を逆量子化する逆量子化部
１８、逆量子化されたＤＣＴ係数を逆ＤＣＴ変換し差分
画像を復元する逆ＤＣＴ部１９、復元された差分画像と
参照領域とを加算し、入力画像を復元する加算部２３と
を含む。
【００３４】エンコード手段１０３はまた、入力画像の
空間周波数分布から差分画像の空間周波数分布などを推
定し、マクロブロックのエンコード方法を差分画像生成
用減算部１２に指示するマクロブロック属性決定部２
１、決定されたマクロブロックの属性に基づきスキップ
を行うか否かを判定し、量子化部１４に指示するマクロ
ブロック属性判定手段２０を含む。マクロブロックの属
性としては、動き補償を行わず原画像をエンコードする
イントラマクロブロック、動き補償を行い差分画像をエ
ンコードするノンイントラマクロブロック等があり、マ
クロブロック属性決定部２１は、符号量がより少なくな
るように属性を決定する。
空間周波数分布から差分画像の空間周波数分布などを推
定し、マクロブロックのエンコード方法を差分画像生成
用減算部１２に指示するマクロブロック属性決定部２
１、決定されたマクロブロックの属性に基づきスキップ
を行うか否かを判定し、量子化部１４に指示するマクロ
ブロック属性判定手段２０を含む。マクロブロックの属
性としては、動き補償を行わず原画像をエンコードする
イントラマクロブロック、動き補償を行い差分画像をエ
ンコードするノンイントラマクロブロック等があり、マ
クロブロック属性決定部２１は、符号量がより少なくな
るように属性を決定する。
【００３５】エンコード手段１０３は、更に、バッファ
１６内の符号量に応じて量子化係数やカットする高周波
成分を決定し、量子化部１４に指示する符号化制御部１
７を含む。
１６内の符号量に応じて量子化係数やカットする高周波
成分を決定し、量子化部１４に指示する符号化制御部１
７を含む。
【００３６】実施形態１及び２のエンコード手段にも上
記の構成とほぼ同じ構成を用いることができる。尚、上
記実施形態１〜３では、輝度を補正することにより高画
質を達成するものであるが、色差成分に対しても補正を
行うこともできる。
記の構成とほぼ同じ構成を用いることができる。尚、上
記実施形態１〜３では、輝度を補正することにより高画
質を達成するものであるが、色差成分に対しても補正を
行うこともできる。
【００３７】次に図６から図８を参照して本発明の画像
圧縮装置の実施形態４及び実施形態５を説明する。実施
形態４及び５は、動きベクトルの差分に過大な符号量が
割り当てられることを防止し、画質の低下を抑制する構
成を有するものである。
圧縮装置の実施形態４及び実施形態５を説明する。実施
形態４及び５は、動きベクトルの差分に過大な符号量が
割り当てられることを防止し、画質の低下を抑制する構
成を有するものである。
【００３８】図６に実施形態４の構成を示す。実施形態
４は、ブロック化手段２１０、エンコード手段２０４、
動きベクトル探索手段２０１、ベクトル符号量計算手段
２０２、動きベクトル判定手段２０３から構成される。
４は、ブロック化手段２１０、エンコード手段２０４、
動きベクトル探索手段２０１、ベクトル符号量計算手段
２０２、動きベクトル判定手段２０３から構成される。
【００３９】動きベクトル探索手段２０１は先行フレー
ムの画像との比較から動きベクトルを探索するととも
に、該動きベクトルを用いて動き補償後の先行フレーム
の画像と符号化中の画像との類似度を表す差分情報をマ
クロブロック単位で求める。差分情報は、ピクセルごと
の差分の絶対値の総和SAD(x,y)とすることができる。ま
た、ベクトル符号量計算手段２０２は、各マクロブロッ
クの動きベクトルと動きベクトル探索手段２０１により
検出された動きベクトルの予測値との差分を計算し、こ
の差分の符号化に必要な符号量BMVD(x,y)を計算する。
この計算は、例えばあらかじめ用意された表を参照する
ことにより以下の式により行うことができる。
ムの画像との比較から動きベクトルを探索するととも
に、該動きベクトルを用いて動き補償後の先行フレーム
の画像と符号化中の画像との類似度を表す差分情報をマ
クロブロック単位で求める。差分情報は、ピクセルごと
の差分の絶対値の総和SAD(x,y)とすることができる。ま
た、ベクトル符号量計算手段２０２は、各マクロブロッ
クの動きベクトルと動きベクトル探索手段２０１により
検出された動きベクトルの予測値との差分を計算し、こ
の差分の符号化に必要な符号量BMVD(x,y)を計算する。
この計算は、例えばあらかじめ用意された表を参照する
ことにより以下の式により行うことができる。
【００４０】 BMVD(x,y)=TABLE(x-MVPCx)+TABLE(y-MVPCy) ただし、MVPCx及びMVPCyは、動きベクトルの予測値 (x-MVPCx)及び(y-MVPCy)は、動きベクトルの差分値 TABLE(x-MVPCx)は、水平方向の動きベクトル差分値の符
号化に必要な符号量 TABLE(y-MVPCy)は、垂直方向の動きベクトル差分値の符
号化に必要な符号量 動きベクトル判定手段２０３は、上記差分情報SAD(x,y)
を動きベクトルの差分の符号化に必要な符号量で重み付
けを行って加算することにより重み付けされた差分情報
SADweight(x,y)として求める。この計算は例えば以下の
式により行うことができる。
号化に必要な符号量 TABLE(y-MVPCy)は、垂直方向の動きベクトル差分値の符
号化に必要な符号量 動きベクトル判定手段２０３は、上記差分情報SAD(x,y)
を動きベクトルの差分の符号化に必要な符号量で重み付
けを行って加算することにより重み付けされた差分情報
SADweight(x,y)として求める。この計算は例えば以下の
式により行うことができる。
【００４１】SADweight(x,y)=SAD(x,y)×(a+(b×(1-(B
MB-BMVD(x,y)/BMB))) ただし、 BMB=(Btarget-B)/MBremain Btarget=framerate/bitrate aは、0.0〜1.0の正数 bは、a+b=1.0を満たす正数 BMBは、マクロブロックの目標ビット量 Btargetは、ピクチャの目標ビット量 Bは、ピクチャ内の符号化の終わったマクロブロックま
での符号量 MBremainは、まだ符号化の行われていないマクロブロッ
ク数 framerateは、一秒間に送信するフレーム数 bitrateは、一秒間に送信するビット数 動きベクトル判定手段２０３は、重み付けされた差分情
報SADweight(x,y)を最小とするx,yを動きベクトルとし
て求め、エンコード手段２０４に送る。エンコード手段
２０４はこの動きベクトルを元に符号化を行う。
MB-BMVD(x,y)/BMB))) ただし、 BMB=(Btarget-B)/MBremain Btarget=framerate/bitrate aは、0.0〜1.0の正数 bは、a+b=1.0を満たす正数 BMBは、マクロブロックの目標ビット量 Btargetは、ピクチャの目標ビット量 Bは、ピクチャ内の符号化の終わったマクロブロックま
での符号量 MBremainは、まだ符号化の行われていないマクロブロッ
ク数 framerateは、一秒間に送信するフレーム数 bitrateは、一秒間に送信するビット数 動きベクトル判定手段２０３は、重み付けされた差分情
報SADweight(x,y)を最小とするx,yを動きベクトルとし
て求め、エンコード手段２０４に送る。エンコード手段
２０４はこの動きベクトルを元に符号化を行う。
【００４２】上記実施形態４の画像圧縮装置は、単に類
似度の最も高い領域のフレーム間の動きから動きベクト
ルを決定するのでなく、画像の差分の符号化に必要な符
号量と動きベクトルの差分の符号化に必要な符号量を考
慮して決定するので、動きベクトルの差分に過大な符号
量が割り当てられ、差分画像の符号化に割り当てられる
符号量が減少し、画質が低下することを防止できる。
似度の最も高い領域のフレーム間の動きから動きベクト
ルを決定するのでなく、画像の差分の符号化に必要な符
号量と動きベクトルの差分の符号化に必要な符号量を考
慮して決定するので、動きベクトルの差分に過大な符号
量が割り当てられ、差分画像の符号化に割り当てられる
符号量が減少し、画質が低下することを防止できる。
【００４３】図７に実施形態５の構成を示す。実施形態
７は、動きベクトル探索手段２０１からの差分情報の値
に基づき、一つのマクロブロックを構成する６個のブロ
ックのうちスキップするものをブロックスキップ判定手
段２０５により判定するとともに、動きベクトル判定手
段２０３は、スキップされるブロック数Nskipも考慮し
てマクロブロックの差分情報SAD(x,y)に重み付けする点
で実施形態６と異なる。スキップされるブロックのＤＣ
Ｔ係数の個数は０に設定される。この場合、重み付けは
例えば以下の式により行うことができる。
７は、動きベクトル探索手段２０１からの差分情報の値
に基づき、一つのマクロブロックを構成する６個のブロ
ックのうちスキップするものをブロックスキップ判定手
段２０５により判定するとともに、動きベクトル判定手
段２０３は、スキップされるブロック数Nskipも考慮し
てマクロブロックの差分情報SAD(x,y)に重み付けする点
で実施形態６と異なる。スキップされるブロックのＤＣ
Ｔ係数の個数は０に設定される。この場合、重み付けは
例えば以下の式により行うことができる。
【００４４】SADweight(x,y)=SAD(x,y)×(a+(b×(B
MVD(x,y)×(6-Nskip)/(BMB×6)))) 上記式の各変数及び定数は実施形態４の場合と同じであ
る。動きベクトル判定手段２０３は、SADweight(x,y)を
最小にする(x,y)を動きベクトルとして求め、スキップ
情報と共にエンコード手段２０４に送る。エンコード手
段２０４はこの動きベクトル及びスキップ情報を元に入
力画像の符号化を行う。
MVD(x,y)×(6-Nskip)/(BMB×6)))) 上記式の各変数及び定数は実施形態４の場合と同じであ
る。動きベクトル判定手段２０３は、SADweight(x,y)を
最小にする(x,y)を動きベクトルとして求め、スキップ
情報と共にエンコード手段２０４に送る。エンコード手
段２０４はこの動きベクトル及びスキップ情報を元に入
力画像の符号化を行う。
【００４５】図８に実施形態５の装置のエンコード手段
の構成例を示す。図８において図５に示した要素と同じ
要素には同じ符号を付し、説明は省略する。図８のエン
コード手段２０４は、復元した画像を格納するメモリ２
０を内蔵し、また、動きベクトルの差分を可変長符号化
するために、動きベクトルの差分を保存する動きベクト
ル保存手段２４を備える点で図５のエンコード手段と異
なる。
の構成例を示す。図８において図５に示した要素と同じ
要素には同じ符号を付し、説明は省略する。図８のエン
コード手段２０４は、復元した画像を格納するメモリ２
０を内蔵し、また、動きベクトルの差分を可変長符号化
するために、動きベクトルの差分を保存する動きベクト
ル保存手段２４を備える点で図５のエンコード手段と異
なる。
【００４６】実施形態５の装置では、実施形態４の装置
の利点に加え、スキップされるブロックの数も考慮して
動きベクトルを決定するので、更に圧縮効率を高めるこ
とができるという利点を有する。尚、実施形態４及び５
において、ビットレートやフレームレートに加え、量子
化係数の値に応じて、SADweight(x,y)が変化するように
することもできる。
の利点に加え、スキップされるブロックの数も考慮して
動きベクトルを決定するので、更に圧縮効率を高めるこ
とができるという利点を有する。尚、実施形態４及び５
において、ビットレートやフレームレートに加え、量子
化係数の値に応じて、SADweight(x,y)が変化するように
することもできる。
【００４７】次に図９から図１２を参照して本発明の画
像圧縮装置の実施形態６及び７を説明する。実施形態６
及び７の装置は、符号化しようとするフレームの画像
と、直前・直後のフレーム画像の差分が大きい場合に、
圧縮率の低下を抑制し画質の低下を防止する構成を有す
るものである。
像圧縮装置の実施形態６及び７を説明する。実施形態６
及び７の装置は、符号化しようとするフレームの画像
と、直前・直後のフレーム画像の差分が大きい場合に、
圧縮率の低下を抑制し画質の低下を防止する構成を有す
るものである。
【００４８】図９に実施形態６の構成を示す。この装置
は、ブロック化手段３１０、動きベクトル探索手段３０
１、画像加算手段３０２、エンコード手段３０３、メモ
リ３０４を含む。
は、ブロック化手段３１０、動きベクトル探索手段３０
１、画像加算手段３０２、エンコード手段３０３、メモ
リ３０４を含む。
【００４９】画像加算手段３０２は、メモリ３０４に保
存されている一枚以上の画像に重み付けして加算するこ
とにより、入力画像に最も類似する画像を生成し、参照
画像として動きベクトル探索手段３０１に送る。動きベ
クトル探索手段３０１はこの参照画像と入力画像とから
動きベクトルを探索し、エンコード手段３０３に送る。
存されている一枚以上の画像に重み付けして加算するこ
とにより、入力画像に最も類似する画像を生成し、参照
画像として動きベクトル探索手段３０１に送る。動きベ
クトル探索手段３０１はこの参照画像と入力画像とから
動きベクトルを探索し、エンコード手段３０３に送る。
【００５０】エンコード手段３０３は、画像加算手段３
０２からの参照画像と、動きベクトル探索手段３０１か
らの動きベクトルに基づき参照画像領域の動きを補償
し、入力画像と参照画像との差分画像を生成し、これを
ＤＣＴ変換、量子化、可変長符号化する。エンコード手
段３０３はまた、参照画像の生成に用いた画像を特定す
るパラメータ及びそれらの重み係数も符号化する。
０２からの参照画像と、動きベクトル探索手段３０１か
らの動きベクトルに基づき参照画像領域の動きを補償
し、入力画像と参照画像との差分画像を生成し、これを
ＤＣＴ変換、量子化、可変長符号化する。エンコード手
段３０３はまた、参照画像の生成に用いた画像を特定す
るパラメータ及びそれらの重み係数も符号化する。
【００５１】図１０に、図９の画像圧縮装置からの符号
を受信し、画像を再生する復号器の構成を示す。この復
号器は、デコード手段３０６、画像加算手段３０９、加
算器３１１、メモリ３０７から構成される。
を受信し、画像を再生する復号器の構成を示す。この復
号器は、デコード手段３０６、画像加算手段３０９、加
算器３１１、メモリ３０７から構成される。
【００５２】デコード手段３０６は、画像圧縮装置から
の符号を復号し、逆量子化、逆ＤＣＴ変換により画像を
生成する。デコード手段３０６により順次生成された複
数の画像は、メモリ３０７に保存される。また、デコー
ド手段３０６は、画像圧縮装置が参照画像を生成する際
に使用した画像を特定するパラメータ及び重み係数を復
号し、画像加算手段３０９に送る。画像加算手段３０９
は、復号されたパラメータ及び重み係数に基づき、メモ
リ３０７に保存されている画像を選択して加算し参照画
像を再生する。加算器３１１は参照画像とデコード手段
３０６により生成された差分画像とを加算し画像を再生
する。
の符号を復号し、逆量子化、逆ＤＣＴ変換により画像を
生成する。デコード手段３０６により順次生成された複
数の画像は、メモリ３０７に保存される。また、デコー
ド手段３０６は、画像圧縮装置が参照画像を生成する際
に使用した画像を特定するパラメータ及び重み係数を復
号し、画像加算手段３０９に送る。画像加算手段３０９
は、復号されたパラメータ及び重み係数に基づき、メモ
リ３０７に保存されている画像を選択して加算し参照画
像を再生する。加算器３１１は参照画像とデコード手段
３０６により生成された差分画像とを加算し画像を再生
する。
【００５３】実施形態６の装置では、複数の先行画像か
ら入力画像に似た画像を参照画像として生成し、この参
照画像との差分を送るので、符号化しようとするフレー
ムの画像と、直前・直後のフレーム画像の差分が大きい
場合、例えば、クロスフェードなどのシーンチェンジや
フェードアウト／インの場合にも符号化する差分を小さ
くすることができ画質の劣化を防止できる。
ら入力画像に似た画像を参照画像として生成し、この参
照画像との差分を送るので、符号化しようとするフレー
ムの画像と、直前・直後のフレーム画像の差分が大きい
場合、例えば、クロスフェードなどのシーンチェンジや
フェードアウト／インの場合にも符号化する差分を小さ
くすることができ画質の劣化を防止できる。
【００５４】図１１に画像圧縮装置の実施形態７の構成
を示す。図１１の装置は、動きベクトル探索手段３１１
がメモリ３０４に保存された複数の画像のそれぞれと入
力画像との間の動きベクトルを個別に探索し、画像加算
手段３０２に供給する点で図１０の装置と異なる。
を示す。図１１の装置は、動きベクトル探索手段３１１
がメモリ３０４に保存された複数の画像のそれぞれと入
力画像との間の動きベクトルを個別に探索し、画像加算
手段３０２に供給する点で図１０の装置と異なる。
【００５５】動きベクトル探索手段３１１は、時間的に
連続していなくともよい任意の複数の画像と入力画像と
の間の動きベクトルを個別に探索し、各画像の動きベク
トルを求める。画像加算手段３０２は、各画像の動きベ
クトルが指示する領域を動き補償し、重み付け加算して
参照画像を生成する。参照画像の画素値は例えば、以下
の式により計算することができる。
連続していなくともよい任意の複数の画像と入力画像と
の間の動きベクトルを個別に探索し、各画像の動きベク
トルを求める。画像加算手段３０２は、各画像の動きベ
クトルが指示する領域を動き補償し、重み付け加算して
参照画像を生成する。参照画像の画素値は例えば、以下
の式により計算することができる。
【００５６】ref(x,y)=(1/N)×Σ(w(n)×image(n,x+vx
(n),y+vy(n))) ただし、 ref(x,y)：保存された画像を重み付け加算して生成した
参照画像の水平ｘ位置及び垂直ｙの位置にある画素値 x,y：入力画像の画素の水平及び垂直位置 Ｎ：加算する画像数 w(n)：保存された画像(n)の重み付け係数 image(n,x,y)：保存された画像(n)の水平ｘ位置及び垂
直ｙの位置にある画素値 vx(n),vy(n)：動きベクトル探索手段３１１により検出
された保存画像(n)の動きベクトルの水平、垂直成分 画像加算手段３０２は、加算して得られる画像が入力画
像に最も類似するような重み付け係数w(n)及び画像数
(N)を求め参照画像を生成する。類似度としては、例え
ば、ピクセル単位の差分の絶対値の総和SAD(x,y)を使用
することができる。
(n),y+vy(n))) ただし、 ref(x,y)：保存された画像を重み付け加算して生成した
参照画像の水平ｘ位置及び垂直ｙの位置にある画素値 x,y：入力画像の画素の水平及び垂直位置 Ｎ：加算する画像数 w(n)：保存された画像(n)の重み付け係数 image(n,x,y)：保存された画像(n)の水平ｘ位置及び垂
直ｙの位置にある画素値 vx(n),vy(n)：動きベクトル探索手段３１１により検出
された保存画像(n)の動きベクトルの水平、垂直成分 画像加算手段３０２は、加算して得られる画像が入力画
像に最も類似するような重み付け係数w(n)及び画像数
(N)を求め参照画像を生成する。類似度としては、例え
ば、ピクセル単位の差分の絶対値の総和SAD(x,y)を使用
することができる。
【００５７】エンコード手段３０３は、画像加算手段３
０２から得られる参照画像と入力画像の差分画像を生成
し、ＤＣＴ変換・符号化を行うと同時に、参照した画像
を特定するパラメータ、それらの重み付け係数等も符号
化する。復号器は上記図１０と同じものを用いることが
できる。
０２から得られる参照画像と入力画像の差分画像を生成
し、ＤＣＴ変換・符号化を行うと同時に、参照した画像
を特定するパラメータ、それらの重み付け係数等も符号
化する。復号器は上記図１０と同じものを用いることが
できる。
【００５８】尚、画像加算手段３０２は、保存された各
画像を、エンコード単位、複数のエンコード単位からな
る領域、あるいは画像全体のいずれかで加算するように
構成することができる。
画像を、エンコード単位、複数のエンコード単位からな
る領域、あるいは画像全体のいずれかで加算するように
構成することができる。
【００５９】図１２にエンコード手段３０３の構成例を
示す。図１２において、図５に示した素子と同じ素子に
は同じ符号を付し説明を省略する。図１２のエンコード
手段は、参照領域抽出部２２が輝度補正手段１０２では
なく画像加算手段３０２に接続される点で図５のエンコ
ード手段と異なる。
示す。図１２において、図５に示した素子と同じ素子に
は同じ符号を付し説明を省略する。図１２のエンコード
手段は、参照領域抽出部２２が輝度補正手段１０２では
なく画像加算手段３０２に接続される点で図５のエンコ
ード手段と異なる。
【００６０】実施形態７は、実施形態６の利点に加え、
各画像ごとに動きベクトルを探索するので、動きが大き
い場合にも高精度に動きベクトルを検出でき、Ｐピクチ
ャだけでなくＢピクチャにも適用できるという利点を有
する。
各画像ごとに動きベクトルを探索するので、動きが大き
い場合にも高精度に動きベクトルを検出でき、Ｐピクチ
ャだけでなくＢピクチャにも適用できるという利点を有
する。
【００６１】
【発明の効果】本発明によれば、フレーム間で画像の輝
度成分の平均レベルに変動があっても、圧縮係数の低下
を抑制し、画像歪を防止することができる。
度成分の平均レベルに変動があっても、圧縮係数の低下
を抑制し、画像歪を防止することができる。
【００６２】本発明によればまた、動きベクトルの差分
の符号化に必要な符号量がＤＣＴ係数の符号化に割り当
てられる符号量を圧迫し、画質を低下させることを防止
することができる。
の符号化に必要な符号量がＤＣＴ係数の符号化に割り当
てられる符号量を圧迫し、画質を低下させることを防止
することができる。
【００６３】本発明によればまた、符号化しようとする
フレームの画像と、直前・直後のフレーム画像の差分が
大きい場合に、画質の低下を抑制することができる。
フレームの画像と、直前・直後のフレーム画像の差分が
大きい場合に、画質の低下を抑制することができる。
【図１】本発明の画像圧縮装置の実施形態１の構成図で
ある。
ある。
【図２】本発明の画像圧縮装置の実施形態２の構成図で
ある。
ある。
【図３】実施形態２の装置からの符号を復号する復号器
の構成図である。
の構成図である。
【図４】本発明の画像圧縮装置の実施形態３の構成図で
ある。
ある。
【図５】実施形態３のエンコード手段の構成図である。
【図６】本発明の画像圧縮装置の実施形態４の構成図で
ある。
ある。
【図７】本発明の画像圧縮装置の実施形態５の構成図で
ある。
ある。
【図８】実施形態５のエンコード手段の構成図である。
【図９】本発明の画像圧縮装置の実施形態６の構成図で
ある。
ある。
【図１０】実施形態６の装置の符号を復号する復号器の
構成図である。
構成図である。
【図１１】本発明の画像圧縮装置の実施形態７の構成図
である。
である。
【図１２】実施形態７のエンコード手段の構成図であ
る。
る。
１０１、２０１、３０１ 動きベクトル探索手段 １０２ 輝度補正手段 １０３、２０４、３０３ エンコード手段 １０４、１０６、３０４、３０７ メモリ １０５、３０６ デコード手段 １１０、２１０、３１０ ブロック化手段 ２０２ ベクトル符号量計算手段 ２０３ 動きベクトル判定手段 ３０２、３０９ 画像加算手段 ３１１ 加算器
Claims (11)
- 【請求項１】 フレーム画像間の動きベクトルを検出す
る動きベクトル検出手段と、検出された動きベクトルに
基づき動き補償を行ってフレーム画像間の差分画像を生
成する差分画像生成手段と、該差分画像を圧縮符号化す
る圧縮符号化手段とを含む画像圧縮装置において、 前記動きベクトル検出手段は、フレーム画像間の輝度レ
ベルの差を補償してから動きベクトルを検出することを
特徴とする画像圧縮装置。 - 【請求項２】 フレーム画像間の動きベクトルを検出す
る動きベクトル検出手段と、検出された動きベクトルに
基づき動き補償を行ってフレーム画像間の差分画像を生
成する差分画像生成手段と、該差分画像を圧縮符号化す
る圧縮符号化手段とを含む画像圧縮装置において、 前記差分画像生成手段は、フレーム画像間の輝度レベル
の差を補償してから差分画像を生成することを特徴とす
る画像圧縮装置。 - 【請求項３】 フレーム画像間の動きベクトルを検出す
る動きベクトル検出手段と、検出された動きベクトルに
基づき動き補償を行ってフレーム画像間の差分画像を生
成する差分画像生成手段と、該差分画像を圧縮符号化す
る圧縮符号化手段とを含む画像圧縮装置において、 前記動きベクトル検出手段は、フレーム画像間の輝度レ
ベルの差を補償してから動きベクトルを検出し、前記差
分画像生成手段は、該検出された動きベクトルに基づき
動き補償を行い且つフレーム画像間の輝度レベルの差を
補償してから差分画像を生成することを特徴とする画像
圧縮装置。 - 【請求項４】 輝度レベルの補正は、入力される画像信
号中の輝度信号及び色差信号の少なくとも一方に対して
行われることを特徴とする請求項１から３のいずれか一
項に記載の画像圧縮装置。 - 【請求項５】 フレーム画像間の動きベクトルを検出す
る動きベクトル検出手段と、検出された動きベクトルに
基づき動き補償を行ってフレーム画像間の差分画像を生
成する差分画像生成手段と、前記動き補償が行われる領
域内のマクロブロックのそれぞれの動きベクトルを求
め、前記検出された動きベクトルとの差分を求めるベク
トル差分生成手段と、前記差分画像と前記ベクトル差分
とを圧縮符号化する圧縮符号化手段とを含む画像圧縮装
置において、 前記ベクトル差分生成手段は、少なくとも前記差分画像
の符号化に要する符号量と前記ベクトル差分の符号化に
必要な符号量とを決定要因としてマクロブロックの動き
ベクトルを決定する動きベクトル判定手段を有すること
を特徴とする画像圧縮装置。 - 【請求項６】 フレーム画像間の動きベクトルを検出す
る動きベクトル検出手段と、検出された動きベクトルに
基づき動き補償を行ってフレーム画像間の差分画像を生
成する差分画像生成手段と、前記動き補償が行われる領
域内のマクロブロックのそれぞれの動きベクトルを求
め、前記検出された動きベクトルとの差分を求めるベク
トル差分生成手段と、前記差分画像と前記ベクトル差分
とを圧縮符号化する圧縮符号化手段とを含む画像圧縮装
置において、 フレーム画像間の類似度をマクロブロック内のブロック
単位で算出する手段と、算出された類似度に基づき差分
の符号化をスキップするブロックを決定するブロックス
キップ判定手段とを備え、前記ベクトル差分生成手段
は、少なくとも前記差分画像の符号化に要する符号量と
前記ベクトル差分の符号化に必要な符号量とスキップさ
れるブロックの数とを決定要因としてマクロブロックの
動きベクトルを決定する動きベクトル判定手段を有する
ことを特徴とする画像圧縮装置。 - 【請求項７】 前記動きベクトル判定手段は、更に前記
圧縮符号化手段での量子化に用いる量子化係数の値を動
きベクトルの決定要因に含めることを特徴とする請求項
５または６に記載の画像圧縮装置。 - 【請求項８】 フレーム画像間の差分を圧縮符号化する
圧縮符号化手段を含む画像圧縮装置において、複数のフ
レーム画像を保存する記憶手段と、該記憶手段に保存さ
れている複数のフレーム画像をそれぞれ重み付けして加
算することにより入力画像に類似する参照画像を生成す
る参照画像手段とを備え、前記圧縮符号化手段は前記参
照画像と入力画像との差分を圧縮符号化することを特徴
とする画像圧縮装置。 - 【請求項９】 前記参照画像と入力画像との間の動きベ
クトルを検出する動きベクトル検出手段を備え、前記圧
縮符号化手段は、該検出された動きベクトルに基づき前
記参照画像に動き補償を行ってから入力画像との差分を
圧縮符号化することを特徴とする請求項８に記載の画像
圧縮符号化装置。 - 【請求項１０】 入力フレーム画像と前記記憶手段に保
存されている複数のフレーム画像との動きベクトルをそ
れぞれ検出する複数の動きベクトル検出手段を備え、前
記参照画像生成手段は、前記記憶手段に保存されている
複数のフレーム画像にそれぞれ検出された動きベクトル
に基づき動き補償を行ってから参照画像を生成すること
を特徴とする請求項８に記載の画像圧縮装置。 - 【請求項１１】 画像圧縮装置から送られてくるフレー
ム画像間の差分画像を表す符合からフレーム画像を再生
する手段を含む画像復号装置において、複数の再生され
たフレーム画像を保存する記憶手段と、該記憶手段に保
存されている複数のフレーム画像を前記画像圧縮装置か
ら送られてくるパラメータに従いそれぞれ重み付けして
加算することにより参照画像を生成する参照画像生成手
段と、前記画像圧縮装置から送られてくるフレーム画像
間の差分画像と前記参照画像とを加算してフレーム画像
を再生し、前記記憶手段に保存する加算手段とを備えた
ことを特徴とする画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000116318A JP2001309384A (ja) | 2000-04-18 | 2000-04-18 | 画像圧縮装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000116318A JP2001309384A (ja) | 2000-04-18 | 2000-04-18 | 画像圧縮装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001309384A true JP2001309384A (ja) | 2001-11-02 |
Family
ID=18627796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000116318A Withdrawn JP2001309384A (ja) | 2000-04-18 | 2000-04-18 | 画像圧縮装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001309384A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002259988A (ja) * | 2001-03-05 | 2002-09-13 | Telecommunication Advancement Organization Of Japan | 移動物体領域抽出方法 |
| JP2007221697A (ja) * | 2006-02-20 | 2007-08-30 | Hitachi Ltd | 画像復号化装置及び画像復号化方法 |
| KR100782815B1 (ko) | 2005-08-09 | 2007-12-06 | 삼성전자주식회사 | 인텐서티 보상을 위한 영상 디코딩 방법 및 장치 |
| JP2008154071A (ja) * | 2006-12-19 | 2008-07-03 | Canon Inc | 撮像記録装置及び撮像記録方法 |
| JP2010245658A (ja) * | 2009-04-02 | 2010-10-28 | Nikon Corp | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |
| US8126059B2 (en) | 2007-07-31 | 2012-02-28 | Sony Corporation | Motion vector detection device and motion vector detection method |
| JP2012182681A (ja) * | 2011-03-01 | 2012-09-20 | Fujitsu Ltd | 帳票画像管理システム、帳票画像管理方法、及びプログラム |
| KR101460362B1 (ko) | 2007-06-25 | 2014-11-14 | 삼성전자주식회사 | 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 |
| US9549191B2 (en) | 2002-07-15 | 2017-01-17 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
-
2000
- 2000-04-18 JP JP2000116318A patent/JP2001309384A/ja not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4669949B2 (ja) * | 2001-03-05 | 2011-04-13 | 独立行政法人情報通信研究機構 | 移動物体領域抽出方法 |
| JP2002259988A (ja) * | 2001-03-05 | 2002-09-13 | Telecommunication Advancement Organization Of Japan | 移動物体領域抽出方法 |
| US9549191B2 (en) | 2002-07-15 | 2017-01-17 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
| US11102486B2 (en) | 2002-07-15 | 2021-08-24 | Interdigital Vc Holdings, Inc. | Adaptive weighting of reference pictures in video encoding |
| US10721472B2 (en) | 2002-07-15 | 2020-07-21 | Interdigital Vc Holdings, Inc. | Adaptive weighting of reference pictures in video encoding |
| US10326993B2 (en) | 2002-07-15 | 2019-06-18 | Interdigital Vc Holdings, Inc. | Adaptive weighting of reference pictures in video encoding |
| US9930335B2 (en) | 2002-07-15 | 2018-03-27 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
| KR100782815B1 (ko) | 2005-08-09 | 2007-12-06 | 삼성전자주식회사 | 인텐서티 보상을 위한 영상 디코딩 방법 및 장치 |
| JP2007221697A (ja) * | 2006-02-20 | 2007-08-30 | Hitachi Ltd | 画像復号化装置及び画像復号化方法 |
| JP2008154071A (ja) * | 2006-12-19 | 2008-07-03 | Canon Inc | 撮像記録装置及び撮像記録方法 |
| KR101460362B1 (ko) | 2007-06-25 | 2014-11-14 | 삼성전자주식회사 | 다시점 비디오 코딩에서 휘도 보상 방법 및 장치 |
| US8126059B2 (en) | 2007-07-31 | 2012-02-28 | Sony Corporation | Motion vector detection device and motion vector detection method |
| JP4678061B2 (ja) * | 2009-04-02 | 2011-04-27 | 株式会社ニコン | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |
| JP2010245658A (ja) * | 2009-04-02 | 2010-10-28 | Nikon Corp | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |
| JP2012182681A (ja) * | 2011-03-01 | 2012-09-20 | Fujitsu Ltd | 帳票画像管理システム、帳票画像管理方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8325799B2 (en) | Moving picture encoding method, device using the same, and computer program | |
| US7593464B2 (en) | Information processing apparatus and method, and program storage medium | |
| KR100850705B1 (ko) | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 | |
| US20020101924A1 (en) | Video data processing apparatus, video data encoding apparatus, and methods thereof | |
| US7787541B2 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| US6339617B1 (en) | Moving picture compressing apparatus and moving picture compressing method | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
| US20050105612A1 (en) | Digital video stream decoding method and apparatus | |
| JP4560694B2 (ja) | 符号化装置及びその方法 | |
| US6697430B1 (en) | MPEG encoder | |
| WO2002080574A1 (en) | Image processing device, image processing method, image processing program, and recording medium | |
| JP2001309384A (ja) | 画像圧縮装置 | |
| JP2000324498A (ja) | 動画像符号化装置 | |
| JP4644097B2 (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
| JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JP3895414B2 (ja) | 映像復号化装置 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP2000312362A (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| US8326060B2 (en) | Video decoding method and video decoder based on motion-vector data and transform coefficients data | |
| JPH08251597A (ja) | 動画像符号化／復号化装置 | |
| JPH07231449A (ja) | 画像信号符号化装置及び画像信号復号化装置 | |
| JP2002344973A (ja) | 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置 | |
| JPH0951538A (ja) | 画像信号の符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |