JP2000165875A - メモリ量の少ない動画像解像度変換符号化・復号装置 - Google Patents
メモリ量の少ない動画像解像度変換符号化・復号装置Info
- Publication number
- JP2000165875A JP2000165875A JP33577098A JP33577098A JP2000165875A JP 2000165875 A JP2000165875 A JP 2000165875A JP 33577098 A JP33577098 A JP 33577098A JP 33577098 A JP33577098 A JP 33577098A JP 2000165875 A JP2000165875 A JP 2000165875A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- output
- motion
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 使用メモリ及びメモリアクセス量の少ない動
画像符号化復号装置を提供する。 【解決手段】 圧縮符号化された画像信号の入力が可変
長復号手段２１（VLD）に接続され、VLDの可変長復号さ
れた動きベクトルなどの制御情報s２１−２が動き補償
手段２６（MC）に接続され、VLDの可変長復号された画
像データ信号ｓ２１−１が逆量子化手段２２（IQ）に接
続され、IQの出力s２２が、解像度変換離散余弦逆変換
手段１３（IDCT）に接続され、IDCTの出力ｓ１３が加算
手段２４に接続され、加算手段の出力ｓ２４が外部端子
及びデータ圧縮手段１１に接続され、データ圧縮手段の
出力ｓ１１がメモリ２５に接続され、メモリの出力ｓ２
５データ伸長手段１２に接続され、データ伸長手段の出
力ｓ１２が解像度変換動き補償手段１４（MC）に接続さ
れ、MCの出力が加算手段２４に接続されている。
画像符号化復号装置を提供する。 【解決手段】 圧縮符号化された画像信号の入力が可変
長復号手段２１（VLD）に接続され、VLDの可変長復号さ
れた動きベクトルなどの制御情報s２１−２が動き補償
手段２６（MC）に接続され、VLDの可変長復号された画
像データ信号ｓ２１−１が逆量子化手段２２（IQ）に接
続され、IQの出力s２２が、解像度変換離散余弦逆変換
手段１３（IDCT）に接続され、IDCTの出力ｓ１３が加算
手段２４に接続され、加算手段の出力ｓ２４が外部端子
及びデータ圧縮手段１１に接続され、データ圧縮手段の
出力ｓ１１がメモリ２５に接続され、メモリの出力ｓ２
５データ伸長手段１２に接続され、データ伸長手段の出
力ｓ１２が解像度変換動き補償手段１４（MC）に接続さ
れ、MCの出力が加算手段２４に接続されている。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像の符号化・
復号化装置に用いられ、画像符号化復号化時におけるメ
モリ及び演算量の効果的削減に関するものである。
復号化装置に用いられ、画像符号化復号化時におけるメ
モリ及び演算量の効果的削減に関するものである。
【０００２】
【従来の技術】従来このような分野の技術として例え
ば、下記の文献に記載されるものがあった。文献名：藤
原 洋監修、“最新ＭＰＥＧ教科書”、アスキー出版
社、pp129-pp155。
ば、下記の文献に記載されるものがあった。文献名：藤
原 洋監修、“最新ＭＰＥＧ教科書”、アスキー出版
社、pp129-pp155。
【０００３】前記文献には、動画像符号化の国際標準で
あるMPEG2の符号化方法及び復号方法が記載されてい
る。図３は従来の動画像符号化方法の構成図である。図
３において、動画像のフレームあるいはフィールドの入
力信号が動き検出手段４０（ＭＥ）及び減算手段３１に
接続され、動き検出手段の出力ｓ４０が動き補償手段３
９に接続されている。一方、減算手段の出力ｓ３１が離
散余弦変換手段３２（ＤＣＴ）に接続され、ＤＣＴの出
力ｓ３２が量子化手段３３に接続され、量子化手段の出
力ｓ３３が可変長符号化手段３４及び逆量子化手段３５
に接続され、可変長符号化手段の出力ｓ３４が外部端子
に接続され、逆量子化手段の出力ｓ３５が離散余弦逆変
換手段３６（ＩＤＣＴ）に接続され、ＩＤＣＴの出力ｓ
３６が加算手段３７に接続され、加算手段の出力ｓ３７
がメモリ３８に接続され、メモリの出力ｓ３８が動き補
償手段３９（ＭＣ）に接続され、ＭＣの出力ｓ３９が減
算手段３１及び加算手段３７に接続されている。
あるMPEG2の符号化方法及び復号方法が記載されてい
る。図３は従来の動画像符号化方法の構成図である。図
３において、動画像のフレームあるいはフィールドの入
力信号が動き検出手段４０（ＭＥ）及び減算手段３１に
接続され、動き検出手段の出力ｓ４０が動き補償手段３
９に接続されている。一方、減算手段の出力ｓ３１が離
散余弦変換手段３２（ＤＣＴ）に接続され、ＤＣＴの出
力ｓ３２が量子化手段３３に接続され、量子化手段の出
力ｓ３３が可変長符号化手段３４及び逆量子化手段３５
に接続され、可変長符号化手段の出力ｓ３４が外部端子
に接続され、逆量子化手段の出力ｓ３５が離散余弦逆変
換手段３６（ＩＤＣＴ）に接続され、ＩＤＣＴの出力ｓ
３６が加算手段３７に接続され、加算手段の出力ｓ３７
がメモリ３８に接続され、メモリの出力ｓ３８が動き補
償手段３９（ＭＣ）に接続され、ＭＣの出力ｓ３９が減
算手段３１及び加算手段３７に接続されている。
【０００４】図２は従来の動画像復号方法の構成図であ
る。図２において、圧縮符号化された画像信号の入力が
可変長復号手段（以下、VLDと略す）２１に接続され、V
LD２１の可変長復号された動きベクトルなどの制御情報
s２１−２が動き補償手段（以下、 MCと略す）２６に接
続され、VLD２６の可変長復号された画像データ信号ｓ
２１−１が逆量子化手段（以下、 IQと略す）２２に接
続され、IQ２２の出力s２２が、離散余弦逆変換手段
（以下、 IDCTと略す）２３（IDCT）に接続され、IDCT
２３の出力ｓ２３が加算手段２４に接続され、加算手段
２４の出力ｓ２４が外部端子及びメモリ２５に接続さ
れ、メモリ２５の出力ｓ２５がMC２６に接続され、MC２
６の出力が加算手段２４に接続されている。
る。図２において、圧縮符号化された画像信号の入力が
可変長復号手段（以下、VLDと略す）２１に接続され、V
LD２１の可変長復号された動きベクトルなどの制御情報
s２１−２が動き補償手段（以下、 MCと略す）２６に接
続され、VLD２６の可変長復号された画像データ信号ｓ
２１−１が逆量子化手段（以下、 IQと略す）２２に接
続され、IQ２２の出力s２２が、離散余弦逆変換手段
（以下、 IDCTと略す）２３（IDCT）に接続され、IDCT
２３の出力ｓ２３が加算手段２４に接続され、加算手段
２４の出力ｓ２４が外部端子及びメモリ２５に接続さ
れ、メモリ２５の出力ｓ２５がMC２６に接続され、MC２
６の出力が加算手段２４に接続されている。
【０００５】図３の動画像符号化装置において、動画像
のあるフレーム（あるいはフィールド）信号が入力され
ると、動き検出手段４０では、現画像フレームと過去の
参照画像フレームとの動きを検出すると共に、現画像フ
レームに対してフレーム内符号化あるいはフレーム間予
測符号化を行うかを判断し、該判定結果および動き情報
ｓ４０を動き補償手段３９に出力する。減算手段３１で
は、フレーム内符号化の場合に入力されたままの画像信
号を、フレーム間符号化の場合に後述の動き補償手段３
９からの予測画像信号との差分を、ｓ３１として出力す
る。ＤＣＴ３２では、前記画像信号あるいは画像の予測
誤差信号ｓ３１に対して離散余弦変換を行い、変換画像
信号ｓ３２を出力する。量子化手段３３では、前記変換
された画像信号に対して量子化をし、量子化インデクス
ｓ３３を出力する。可変長符号化手段３４では、該量子
化インデクスｓ３３などの信号を可変長符号化し、符号
化ビットストリームｓ３４を外部端子に出力する。逆量
子化手段３５では、入力される量子化インデクスｓ３３
に対して逆量子化をし、変換画像信号ｓ３５を生成す
る。ＩＤＣＴ３６では、該変換画像信号ｓ３５を逆変換
し、画像信号あるいは予測誤差信号ｓ３６を生成する。
加算手段３７では、フレーム内符号化の場合に入力され
たままの画像信号を、フレーム間符号化の場合に後述の
動き補償手段３９からの予測画像信号との和ｓ３７を出
力する。メモリ３８では、加算手段３８より出力される
画像信号ｓ３８を格納し、次のフレームの参照フレーム
として動き補償手段３９に出力する。動き補償手段３９
では、前記メモリ３８から、前記動き検出手段４０より
入力される動き情報ｓ４０に従って、参照画像を読み出
し、該参照画像信号ｓ３９を前記減算手段３１及び加算
手段３７に出力する。参照画像信号ｓ３９は次の画像の
符号化に使用される。
のあるフレーム（あるいはフィールド）信号が入力され
ると、動き検出手段４０では、現画像フレームと過去の
参照画像フレームとの動きを検出すると共に、現画像フ
レームに対してフレーム内符号化あるいはフレーム間予
測符号化を行うかを判断し、該判定結果および動き情報
ｓ４０を動き補償手段３９に出力する。減算手段３１で
は、フレーム内符号化の場合に入力されたままの画像信
号を、フレーム間符号化の場合に後述の動き補償手段３
９からの予測画像信号との差分を、ｓ３１として出力す
る。ＤＣＴ３２では、前記画像信号あるいは画像の予測
誤差信号ｓ３１に対して離散余弦変換を行い、変換画像
信号ｓ３２を出力する。量子化手段３３では、前記変換
された画像信号に対して量子化をし、量子化インデクス
ｓ３３を出力する。可変長符号化手段３４では、該量子
化インデクスｓ３３などの信号を可変長符号化し、符号
化ビットストリームｓ３４を外部端子に出力する。逆量
子化手段３５では、入力される量子化インデクスｓ３３
に対して逆量子化をし、変換画像信号ｓ３５を生成す
る。ＩＤＣＴ３６では、該変換画像信号ｓ３５を逆変換
し、画像信号あるいは予測誤差信号ｓ３６を生成する。
加算手段３７では、フレーム内符号化の場合に入力され
たままの画像信号を、フレーム間符号化の場合に後述の
動き補償手段３９からの予測画像信号との和ｓ３７を出
力する。メモリ３８では、加算手段３８より出力される
画像信号ｓ３８を格納し、次のフレームの参照フレーム
として動き補償手段３９に出力する。動き補償手段３９
では、前記メモリ３８から、前記動き検出手段４０より
入力される動き情報ｓ４０に従って、参照画像を読み出
し、該参照画像信号ｓ３９を前記減算手段３１及び加算
手段３７に出力する。参照画像信号ｓ３９は次の画像の
符号化に使用される。
【０００６】一方、図２の動画像復号装置において、MP
EG2などの圧縮符号化された画像信号が入力されると、V
LD２１では、該符号化された画像信号を解読し、動きベ
クトルなどの情報ｓ２１−２をIMC２６に出力し、画像
データ信号ｓ２１−１をIQ２２に出力する。IQ２２で
は、入力される画像データに対して逆量子化をし、逆量
子化された画像信号ｓ２２を出力する。IDCT２３では、
入力される画像信号に対してIDCTをし、復元画像データ
ｓ２３をする。MC２６では、入力される動きベクトルな
どの情報ｓ２１−２から画像の動きベクトル情報によっ
て示された位置に従って、メモリ２５から参照画像デー
タｓ２６を読み出す。加算手段２４では、該読み出され
た参照画像データｓ２６と前記IDCTの出力する画像デー
タｓ２３との和ｓ２４を出力する。該参照画像データと
IDCT画像データとの和が復元された現画像である。メモ
リ２５では、該復元された現画像を保存し、次の画像の
参照画像とする。
EG2などの圧縮符号化された画像信号が入力されると、V
LD２１では、該符号化された画像信号を解読し、動きベ
クトルなどの情報ｓ２１−２をIMC２６に出力し、画像
データ信号ｓ２１−１をIQ２２に出力する。IQ２２で
は、入力される画像データに対して逆量子化をし、逆量
子化された画像信号ｓ２２を出力する。IDCT２３では、
入力される画像信号に対してIDCTをし、復元画像データ
ｓ２３をする。MC２６では、入力される動きベクトルな
どの情報ｓ２１−２から画像の動きベクトル情報によっ
て示された位置に従って、メモリ２５から参照画像デー
タｓ２６を読み出す。加算手段２４では、該読み出され
た参照画像データｓ２６と前記IDCTの出力する画像デー
タｓ２３との和ｓ２４を出力する。該参照画像データと
IDCT画像データとの和が復元された現画像である。メモ
リ２５では、該復元された現画像を保存し、次の画像の
参照画像とする。
【０００７】
【発明が解決しようとする課題】しかし、このような動
画像復元方法では、参照画像を保存するために、大きい
メモリとそれに伴う多くのメモリアクセスが必要であ
る。特にHDTVなどの大きな画像では、メモリ及びメモリ
アクセスに対する負担がかなり大きい。従って、より多
くのメモリ量とより高速なメモリアクセスが要求され、
より高価な装置となってしまう。また、ＨＤＴＶなどの
高解像度画像をＳＤＴＶなどの低解像度受信機で受信す
る場合には、解像度を変換しなければならないため、メ
モリ及び処理量の軽減が大変重要な課題となる。
画像復元方法では、参照画像を保存するために、大きい
メモリとそれに伴う多くのメモリアクセスが必要であ
る。特にHDTVなどの大きな画像では、メモリ及びメモリ
アクセスに対する負担がかなり大きい。従って、より多
くのメモリ量とより高速なメモリアクセスが要求され、
より高価な装置となってしまう。また、ＨＤＴＶなどの
高解像度画像をＳＤＴＶなどの低解像度受信機で受信す
る場合には、解像度を変換しなければならないため、メ
モリ及び処理量の軽減が大変重要な課題となる。
【０００８】
【課題を解決するための手段】本発明の動画像復号装置
は、離散余弦変換、量子化、および可変長符号化された
画像信号を復号する可変長復号手段と、可変長復号手段
から出力される復号された画像信号を逆量子化する逆量
子化手段と、逆量子化手段から出力される逆量子化され
た画像信号を離散余弦逆変換及び解像度変換する解像度
変換離散余弦逆変換手段と、解像度変換離散余弦逆変換
手段から出力される離散余弦逆変換され解像度変換され
た画像信号と解像度変換された参照画像信号とを加算し
て復元画像を生成する加算手段と、加算手段から出力さ
れる復元画像を圧縮するデータ圧縮手段と、データ圧縮
手段から出力される圧縮された復元画像を格納するメモ
リと、メモリから出力される圧縮された参照画像信号を
伸長するデータ伸長手段と、データ伸長手段から出力さ
れる伸長された参照画像を動き補間する動き補償手段
と、を備える。
は、離散余弦変換、量子化、および可変長符号化された
画像信号を復号する可変長復号手段と、可変長復号手段
から出力される復号された画像信号を逆量子化する逆量
子化手段と、逆量子化手段から出力される逆量子化され
た画像信号を離散余弦逆変換及び解像度変換する解像度
変換離散余弦逆変換手段と、解像度変換離散余弦逆変換
手段から出力される離散余弦逆変換され解像度変換され
た画像信号と解像度変換された参照画像信号とを加算し
て復元画像を生成する加算手段と、加算手段から出力さ
れる復元画像を圧縮するデータ圧縮手段と、データ圧縮
手段から出力される圧縮された復元画像を格納するメモ
リと、メモリから出力される圧縮された参照画像信号を
伸長するデータ伸長手段と、データ伸長手段から出力さ
れる伸長された参照画像を動き補間する動き補償手段
と、を備える。
【０００９】
【発明の実施の形態】《具体例１》以下、本発明による
具体例１の動画像復元装置について詳細に説明する。
具体例１の動画像復元装置について詳細に説明する。
【００１０】＜構成＞図１は本発明による具体例１の動
画像復元装置の構成図である。本発明の具体例１の動画
像復元装置は、図２に示した従来の動画像復元装置にお
いて、解像度変換機能を付加した離散余弦逆変換手段
（以下、解像度変換ＩＤＣＴと略す）１３と、解像度変
換機能を付加した動き補償手段（以下、解像度変換ＭＣ
と略す）１４と、加算手段２４とメモリ２５との間にデ
ータ圧縮手段１１と、を設け、加算手段２４より出力さ
れた復元画像データｓ２４を圧縮してメモリ２５に格納
するようにし、そして、メモリ２５とMC２６の間にデー
タ伸長手段１２を設け、メモリ２５から読み出された圧
縮参照画像データｓ２５を復元させてMC２６に出力する
ように構成している。
画像復元装置の構成図である。本発明の具体例１の動画
像復元装置は、図２に示した従来の動画像復元装置にお
いて、解像度変換機能を付加した離散余弦逆変換手段
（以下、解像度変換ＩＤＣＴと略す）１３と、解像度変
換機能を付加した動き補償手段（以下、解像度変換ＭＣ
と略す）１４と、加算手段２４とメモリ２５との間にデ
ータ圧縮手段１１と、を設け、加算手段２４より出力さ
れた復元画像データｓ２４を圧縮してメモリ２５に格納
するようにし、そして、メモリ２５とMC２６の間にデー
タ伸長手段１２を設け、メモリ２５から読み出された圧
縮参照画像データｓ２５を復元させてMC２６に出力する
ように構成している。
【００１１】＜動作＞図１において、VLD２１、及びIQ
２２、及び加算手段２４、及びメモリ２５は、前記従来
の動画像復号装置のものと同じ動作をする。
２２、及び加算手段２４、及びメモリ２５は、前記従来
の動画像復号装置のものと同じ動作をする。
【００１２】解像度変換ＩＤＣＴ１３では、入力される
逆量子化された画像信号ｓ２２に対して、従来のＩＤＣ
Ｔに加えて、解像度変換をも行うようにしている。該解
像度変換は、例えば、横方向または縦方向の隣接画素間
の平均を求める事による横方向または縦方向の解像度を
1/2に変換する方法がある。この方法は、従来のＩＤＣ
Ｔの後に画素間の平均を求める事によって実現できる
が、ＩＤＣＴ演算の途中経過を出力する事によっても実
現できる。例えば、従来の１次元８画素のＩＤＣＴは、
（１）式のように表す事ができる。この（１）式は
（２）式のように変形する事が出来、（２）式の出力の
上半分が隣接画素同士の平均である。従って、（２）式
の上半分だけを算出すれば、従来のＩＤＣＴの半分の演
算量で、ＩＤＣＴ及び1/2解像度変換を行う事が出来、
高速化が実現できる。
逆量子化された画像信号ｓ２２に対して、従来のＩＤＣ
Ｔに加えて、解像度変換をも行うようにしている。該解
像度変換は、例えば、横方向または縦方向の隣接画素間
の平均を求める事による横方向または縦方向の解像度を
1/2に変換する方法がある。この方法は、従来のＩＤＣ
Ｔの後に画素間の平均を求める事によって実現できる
が、ＩＤＣＴ演算の途中経過を出力する事によっても実
現できる。例えば、従来の１次元８画素のＩＤＣＴは、
（１）式のように表す事ができる。この（１）式は
（２）式のように変形する事が出来、（２）式の出力の
上半分が隣接画素同士の平均である。従って、（２）式
の上半分だけを算出すれば、従来のＩＤＣＴの半分の演
算量で、ＩＤＣＴ及び1/2解像度変換を行う事が出来、
高速化が実現できる。
【００１３】
【数１】
【００１４】
【数２】
【００１５】解像度変換ＭＣ１４では、入力される解像
度変換された画像データに対して、例えば、1/2解像度
変換された画像に対して、アップサンプリングし解像度
を元に戻してから従来と同様にＭＣを行い、そしてダウ
ンサンプリングして1/2解像度に戻すことによって実現
できる。1/2解像度におけるこのアップサンプリング
は、例えば、画素をコピーして２倍に増やす事によって
実現できる。また、1/2解像度へのダウンサンプリング
は、隣接画素の平均を取る事によって実現できる。ま
た、このアップサンプリング及びダウンサンプリングの
演算とＭＣの演算とを同時に行う事が可能で、演算量を
削減することができる。例えば、アップサンプリングさ
れた画像データ（a, a, b, b, c, c,）と現画像データ
（A, B, C, D,）との間の動きベクトルが1/2画素の場合
に、参照画像データが((a+a)/2, (a+b)/2, (b+b)/2, (b
+c)/2, )となり、現画像と参照画像との差分が(A-(a+a)
/2, B-(a+b)/2, C-(b+b)/2, D-(b+c)/2, )となる。それ
をダウンサンプリングすると、差分画像データが((A+B)
/2-(3a+b)/4, (C+D)/2-(3b+c)/4, )となる。それが1/2
解像度変換した現画像データ((A+B)/2, (C+D)/2, )と1/
2解像度における1/4画素動いた時の参照画像（(3a+b)/
4, (3b+c)/4, )との差分と見なす事ができる。すなわ
ち、この解像度変換ＭＣの演算は、動きベクトルを半分
にし、1/2解像度の画像を用いて直接算出できる。演算
対象の画素数が半減するので、演算量も半減する。
度変換された画像データに対して、例えば、1/2解像度
変換された画像に対して、アップサンプリングし解像度
を元に戻してから従来と同様にＭＣを行い、そしてダウ
ンサンプリングして1/2解像度に戻すことによって実現
できる。1/2解像度におけるこのアップサンプリング
は、例えば、画素をコピーして２倍に増やす事によって
実現できる。また、1/2解像度へのダウンサンプリング
は、隣接画素の平均を取る事によって実現できる。ま
た、このアップサンプリング及びダウンサンプリングの
演算とＭＣの演算とを同時に行う事が可能で、演算量を
削減することができる。例えば、アップサンプリングさ
れた画像データ（a, a, b, b, c, c,）と現画像データ
（A, B, C, D,）との間の動きベクトルが1/2画素の場合
に、参照画像データが((a+a)/2, (a+b)/2, (b+b)/2, (b
+c)/2, )となり、現画像と参照画像との差分が(A-(a+a)
/2, B-(a+b)/2, C-(b+b)/2, D-(b+c)/2, )となる。それ
をダウンサンプリングすると、差分画像データが((A+B)
/2-(3a+b)/4, (C+D)/2-(3b+c)/4, )となる。それが1/2
解像度変換した現画像データ((A+B)/2, (C+D)/2, )と1/
2解像度における1/4画素動いた時の参照画像（(3a+b)/
4, (3b+c)/4, )との差分と見なす事ができる。すなわ
ち、この解像度変換ＭＣの演算は、動きベクトルを半分
にし、1/2解像度の画像を用いて直接算出できる。演算
対象の画素数が半減するので、演算量も半減する。
【００１６】データ圧縮手段１１は、例えば、入力され
る復元された画像データに対して、ｍ×ｎのブロックに
分割しアダマル変換などの変換を行い、そして一定の符
号量に符号化する事によって実現できる。
る復元された画像データに対して、ｍ×ｎのブロックに
分割しアダマル変換などの変換を行い、そして一定の符
号量に符号化する事によって実現できる。
【００１７】データ伸長手段１２は、入力される圧縮さ
れた画像データに対して、前記データ符号化手段１１と
逆の動作をし、符号化されたデータを復号し、そして、
アダマル逆変換して画像データを復元する。
れた画像データに対して、前記データ符号化手段１１と
逆の動作をし、符号化されたデータを復号し、そして、
アダマル逆変換して画像データを復元する。
【００１８】＜効果＞以上詳細に説明したように、本発
明の第1の具体例によれば、解像度変換ＩＤＣＴ及び解
像度変換ＩＭＣを設ける事によって、演算量及びメモリ
を大幅に削減する事ができる。しかし、解像度を低下さ
せると画像の品質も低下する。画像品質に対して厳しい
要求がある場合に、多用する事ができない。一方、デー
タ圧縮手段及びデータ伸長手段を設ける事によって効率
よく画像データを圧縮する事ができるので、画像の品質
の低下を最小限に押さえながらメモリを削減する事がで
きる。しかし、データ圧縮手段及びデータ伸長手段を設
ける事によって演算量が増加するという欠点もある。解
像度変換とデータ圧縮を組み合わせて適応的に選択する
事によって、両者の長所を生かし、短所を補う事がで
き、画像の品質の確保と演算量メモリ量の削減を両立さ
せる事ができる。例えば、横方向においてのみ1/2解像
度変換をし、演算量及びメモリ量を半減させ、そしてデ
ータ圧縮手段を用いて画像データを更に2/3に圧縮する
ような組み合わせが考えられる。演算量を増加させる事
なく全体としてメモリを1/3に圧縮できる。また、横方
向のみ解像度変換及び2/3のデータ圧縮を用いているの
で、画像品質の低下も押さえられる。
明の第1の具体例によれば、解像度変換ＩＤＣＴ及び解
像度変換ＩＭＣを設ける事によって、演算量及びメモリ
を大幅に削減する事ができる。しかし、解像度を低下さ
せると画像の品質も低下する。画像品質に対して厳しい
要求がある場合に、多用する事ができない。一方、デー
タ圧縮手段及びデータ伸長手段を設ける事によって効率
よく画像データを圧縮する事ができるので、画像の品質
の低下を最小限に押さえながらメモリを削減する事がで
きる。しかし、データ圧縮手段及びデータ伸長手段を設
ける事によって演算量が増加するという欠点もある。解
像度変換とデータ圧縮を組み合わせて適応的に選択する
事によって、両者の長所を生かし、短所を補う事がで
き、画像の品質の確保と演算量メモリ量の削減を両立さ
せる事ができる。例えば、横方向においてのみ1/2解像
度変換をし、演算量及びメモリ量を半減させ、そしてデ
ータ圧縮手段を用いて画像データを更に2/3に圧縮する
ような組み合わせが考えられる。演算量を増加させる事
なく全体としてメモリを1/3に圧縮できる。また、横方
向のみ解像度変換及び2/3のデータ圧縮を用いているの
で、画像品質の低下も押さえられる。
【００１９】《具体例２》 ＜構成＞本発明の具体例２の動画像復号装置は、図４に
示すように、本発明の具体例１の動画像復号装置におい
て、加算手段２４と外部端子の間にフィルタ手段15を設
けるように構成されている。
示すように、本発明の具体例１の動画像復号装置におい
て、加算手段２４と外部端子の間にフィルタ手段15を設
けるように構成されている。
【００２０】＜動作＞フィルタ手段１５では、加算手段
２４より出力される復元された画像信号の内フレーム内
符号化復号化された画像信号及びそれに続く複数フレー
ム分のフレーム間予測符号化復号された画像信号に対し
て、それぞれ特性の異なる１連のローパスフィルタをか
ける。これらのローパスフィルタは、例えば、（３）式
のようなローパスの特性が徐々に弱まるような係数を持
つフィルタによって構成する事ができる。
２４より出力される復元された画像信号の内フレーム内
符号化復号化された画像信号及びそれに続く複数フレー
ム分のフレーム間予測符号化復号された画像信号に対し
て、それぞれ特性の異なる１連のローパスフィルタをか
ける。これらのローパスフィルタは、例えば、（３）式
のようなローパスの特性が徐々に弱まるような係数を持
つフィルタによって構成する事ができる。
【００２１】
【数３】
【００２２】復号側のみで解像度変換またはデータ圧縮
する事によって、符号化側と復号側とで参照画像が異な
ってくる。予測符号化を重ねていくとこのミスマッチが
累積され画像の品質が徐々に低下する。この累積された
ミスマッチはフレーム内符号化によって取り除く事がで
きるが、フレーム内符号化された画像とその直前のフレ
ーム間予測符号化画像との間に品質のギャップが生じる
というフリッカ現象が起きてしまう。図７の実線は、こ
の画像品質低下の様子を示す図である。一方、このミス
マッチの原因である解像度変換及びデータ圧縮は一種の
ローパスフィルタと考える事ができる。従って、フレー
ム内符号化された画像とその直前のフレーム間予測符号
化画像との間に品質のギャップがローパスフィルタをか
けてない画像とローパスフィルタを複数回かけた画像と
のギャップだと考えられる。そこで、フレーム内符号化
された画像に対して強いローパスフィルタをかけ、それ
に続くフレーム間予測符号化画像に対して徐々に弱くな
るようなローパスフィルタをかける事によって、前述の
ギャップが解消され、安定した品質の画像が得られる。
図７の破線は、フィルタ手段によって、画像品質を安定
化させた様子を示している。
する事によって、符号化側と復号側とで参照画像が異な
ってくる。予測符号化を重ねていくとこのミスマッチが
累積され画像の品質が徐々に低下する。この累積された
ミスマッチはフレーム内符号化によって取り除く事がで
きるが、フレーム内符号化された画像とその直前のフレ
ーム間予測符号化画像との間に品質のギャップが生じる
というフリッカ現象が起きてしまう。図７の実線は、こ
の画像品質低下の様子を示す図である。一方、このミス
マッチの原因である解像度変換及びデータ圧縮は一種の
ローパスフィルタと考える事ができる。従って、フレー
ム内符号化された画像とその直前のフレーム間予測符号
化画像との間に品質のギャップがローパスフィルタをか
けてない画像とローパスフィルタを複数回かけた画像と
のギャップだと考えられる。そこで、フレーム内符号化
された画像に対して強いローパスフィルタをかけ、それ
に続くフレーム間予測符号化画像に対して徐々に弱くな
るようなローパスフィルタをかける事によって、前述の
ギャップが解消され、安定した品質の画像が得られる。
図７の破線は、フィルタ手段によって、画像品質を安定
化させた様子を示している。
【００２３】＜効果＞以上説明したように、本発明の具
体例２によれば、解像度変換またはデータ圧縮を用いた
動画像復号装置において、フレーム内符号化復号化され
た画像及びそれに続く複数枚のフレーム間予測符号化復
号化された画像に対して、ローパスフィルタ特性が徐々
に弱くなるような１系列のローパスフィルタをかける事
によって、動画像の時間方向の品質を安定させる事が出
来、全体としてフリッカ現象が押さえられ画像の品質が
向上する。
体例２によれば、解像度変換またはデータ圧縮を用いた
動画像復号装置において、フレーム内符号化復号化され
た画像及びそれに続く複数枚のフレーム間予測符号化復
号化された画像に対して、ローパスフィルタ特性が徐々
に弱くなるような１系列のローパスフィルタをかける事
によって、動画像の時間方向の品質を安定させる事が出
来、全体としてフリッカ現象が押さえられ画像の品質が
向上する。
【００２４】《具体例３》 ＜構成＞本発明の具体例３の動画像符号化装置は、図５
に示すように、従来例の動画像符号化装置において、Ｉ
ＤＣＴ３６に変えて解像度変換機能を有する解像度変換
ＩＤＣＴ５１と、ＭＣ３９に変えて解像度変換機能を有
する解像度変換ＭＣ５２を設けている。
に示すように、従来例の動画像符号化装置において、Ｉ
ＤＣＴ３６に変えて解像度変換機能を有する解像度変換
ＩＤＣＴ５１と、ＭＣ３９に変えて解像度変換機能を有
する解像度変換ＭＣ５２を設けている。
【００２５】＜動作＞解像度変換ＩＤＣＴ５１では、入
力されるＤＣＴ変換され量子化逆量子化された画像信号
に対して、前記第１の具体例の動画像復号装置にある解
像度変換ＩＤＣＴと同様に、ＩＤＣＴ及び解像度変換を
同時に行い、解像度変換された復元画像信号ｓ５１を出
力する。
力されるＤＣＴ変換され量子化逆量子化された画像信号
に対して、前記第１の具体例の動画像復号装置にある解
像度変換ＩＤＣＴと同様に、ＩＤＣＴ及び解像度変換を
同時に行い、解像度変換された復元画像信号ｓ５１を出
力する。
【００２６】解像度変換ＭＣ５２では、前記第１の具体
例の動画像復号装置にある解像度変換ＭＣと同様に、動
き補償後の参照画像を算出し、フル解像度の参照画像ｓ
５２−１を減算手段３１に出力し、解像度変換された参
照画像ｓ５２−２を加算手段３７に出力する。加算手段
３７においては、解像度変換された画像を生成しメモリ
３８に格納する。従って、解像度変換された分だけメモ
リ使用量が削減されると同時に、動画像解像度変換復号
装置と同じ解像度の参照画像が生成されるので、解像度
変換時の符号化側と復号側との参照画像のミスマッチが
解消され、安定した復元画像品質が得られる。
例の動画像復号装置にある解像度変換ＭＣと同様に、動
き補償後の参照画像を算出し、フル解像度の参照画像ｓ
５２−１を減算手段３１に出力し、解像度変換された参
照画像ｓ５２−２を加算手段３７に出力する。加算手段
３７においては、解像度変換された画像を生成しメモリ
３８に格納する。従って、解像度変換された分だけメモ
リ使用量が削減されると同時に、動画像解像度変換復号
装置と同じ解像度の参照画像が生成されるので、解像度
変換時の符号化側と復号側との参照画像のミスマッチが
解消され、安定した復元画像品質が得られる。
【００２７】＜効果＞以上説明したように、本発明の第
３の具体例によれば、動画像符号化装置において、解像
度変換ＩＤＣＴと解像度変換ＭＣを設ける事によって、
メモリ使用量が削減されると同時に、解像度変換時の符
号化側と復号側との参照画像のミスマッチが解消され、
安定した復元画像品質が得られる。
３の具体例によれば、動画像符号化装置において、解像
度変換ＩＤＣＴと解像度変換ＭＣを設ける事によって、
メモリ使用量が削減されると同時に、解像度変換時の符
号化側と復号側との参照画像のミスマッチが解消され、
安定した復元画像品質が得られる。
【００２８】《具体例４》 ＜構成＞本発明の具体例４の動画像符号化装置は、図６
に示すように、本発明の具体例３の動画像符号化装置に
おいて、さらに、加算手段３７とメモリ３８との間にデ
ータ圧縮手段61、及びメモリ３８と解像度変換ＭＣ手段
５２の間にデータ伸長手段６２を設けている。
に示すように、本発明の具体例３の動画像符号化装置に
おいて、さらに、加算手段３７とメモリ３８との間にデ
ータ圧縮手段61、及びメモリ３８と解像度変換ＭＣ手段
５２の間にデータ伸長手段６２を設けている。
【００２９】＜動作＞データ圧縮手段６１及びデータ伸
長手段６２は、それぞれ前記第１の具体例の動画像復号
装置内のデータ圧縮手段１１及びデータ伸長手段１２と
同じ動作をし、画像データを圧縮してメモリ３８に格納
し、あるいはメモリから圧縮された画像データを読み出
し伸長して解像度変換ＭＣ５２に出力する。
長手段６２は、それぞれ前記第１の具体例の動画像復号
装置内のデータ圧縮手段１１及びデータ伸長手段１２と
同じ動作をし、画像データを圧縮してメモリ３８に格納
し、あるいはメモリから圧縮された画像データを読み出
し伸長して解像度変換ＭＣ５２に出力する。
【００３０】＜効果＞以上説明したように本発明の具体
例４によれば、データ圧縮手段及びデータ伸長手段を設
ける事によって、同画像符号化装置のメモリ使用量を更
に削減すると同時に、具体例１の動画像復号装置と併用
する事によって、符号化側と復号側とで全く同じ参照画
像を生成できるので、ミスマッチによる再生画像品質の
劣化を防ぐ事ができる。
例４によれば、データ圧縮手段及びデータ伸長手段を設
ける事によって、同画像符号化装置のメモリ使用量を更
に削減すると同時に、具体例１の動画像復号装置と併用
する事によって、符号化側と復号側とで全く同じ参照画
像を生成できるので、ミスマッチによる再生画像品質の
劣化を防ぐ事ができる。
【図１】本発明による具体例1の動画像復号装置の構成
図である。
図である。
【図２】従来例の動画像復号装置の構成図である。
【図３】従来例の動画像符号化装置の構成図である。
【図４】本発明による具体例２の動画像復号装置の構成
図である。
図である。
【図５】本発明による具体例３の動画像符号化装置の構
成図である。
成図である。
【図６】本発明による具体例４の動画像符号化装置の構
成図である。
成図である。
【図７】復号時の解像度変換またはデータ圧縮による画
像品質の低下を示す図である。
像品質の低下を示す図である。
11, 61, データ圧縮手段 12, 62, データ伸長手段 13, 51, 解像度変換ＩＤＣＴ 14, 52, 解像度変換ＭＣ 15, フィルタ手段 21, 可変長復号手段（ＶＬＤ） 22, 35, 逆量子化手段（ＩＱ） 23, 36, 離散余弦逆変換手段（ＩＤＣＴ） 24, 37, 加算手段 25, 38, メモリ 26, 39, 動き補償手段（ＭＣ） 31, 減算手段 32, 離散余弦変換手段（ＤＣＴ） 33, 量子化手段（Ｑ） 34, 可変長符号化手段（ＶＬＣ） 40, 動き検出手段（ＭＥ）
Claims (6)
- 【請求項１】 離散余弦変換、量子化、および可変長符
号化された画像信号を復号する可変長復号手段と、 前記可変長復号手段から出力される復号された画像信号
を逆量子化する逆量子化手段と、 前記逆量子化手段から出力される逆量子化された画像信
号を離散余弦逆変換及び解像度変換する解像度変換離散
余弦逆変換手段と、 前記解像度変換離散余弦逆変換手段から出力される離散
余弦逆変換され解像度変換された画像信号と解像度変換
された参照画像信号とを加算して復元画像を生成する加
算手段と、 前記加算手段から出力される復元画像を圧縮するデータ
圧縮手段と、 前記データ圧縮手段から出力される圧縮された復元画像
を格納するメモリと、 前記メモリから出力される圧縮された参照画像信号を伸
長するデータ伸長手段と、 前記データ伸長手段から出力される伸長された参照画像
を動き補間する動き補償手段と、 を備えることを特徴とする動画像復号装置。 - 【請求項２】 フレーム内符号化され復号された画像及
び前記フレーム内符号化され復号された画像に続く複数
フレームのフレーム間予測符号化され復号された画像に
対して異なる特性を有するフィルタをかけるフィルタ手
段を備えることを特徴とする請求項１に記載の動画像復
号装置。 - 【請求項３】 前記フィルタ手段は、フレーム内符号化
され復号された画像及び前記フレーム内符号化され復号
された画像に続く複数フレームのフレーム間予測符号化
され復号された画像に対して、ローパス特性が徐々に弱
まるような特性を持つフィルタであることを特徴とする
請求項２に記載の動画像復号装置。 - 【請求項４】 動画像をフレームあるいはフィールド毎
に入力し、現フレームあるいはフィールドと過去のフレ
ームあるいはフィールド（以下フレームあるいはフィー
ルドを統合してフレームと呼ぶ）との動きを検出して動
き情報を出力し、フレーム内符号化あるいはフレーム間
予測符号化のどちらを行うかを判定する動き検出手段
と、 前記動き検出手段から出力される動き情報に従ってメモ
リから参照画像を読み出して動き補償を行って動き補償
された参照画像を出力し、さらに前記動き補償された参
照画像の解像度を変換し、加算手段に出力する解像度変
換動き補償手段と、 前記解像度変換動き補償手段から出力される動き補償さ
れた参照画像と前記フレーム毎に入力された現画像との
差分を取って動き補償予測誤差画像を生成する減算手段
と、 前記減算手段から出力される動き補償予測誤差画像に対
して離散余弦変換を行う離散余弦変換手段と、 前記離散余弦変換手段から出力される変換された画像を
量子化する量子化手段と、 前記量子化手段から出力される量子化された画像を可変
長符号化する可変長符号化手段と、 前記可変長符号化手段から出力される量子化された画像
を逆量子化する逆量子化手段と、 前記逆量子化手段から出力される逆量子化された画像に
対して離散余弦逆変換及び解像度変換を行う解像度変換
離散余弦逆変換手段と、 前記解像度変換離散余弦逆変換手段から出力される離散
余弦変換され解像度変換された画像と前記解像度変換動
き補償手段から出力される解像度変換された参照画像と
の和を取って画像を復元する加算手段と、 前記加算手段から出力される解像度変換され復元された
画像を格納して後続のフレームの参照画像とするメモリ
と、 を備えることを特徴とする動画像符号化装置。 - 【請求項５】 前記加算手段から出力される解像度変換
され復元された画像を圧縮するデータ圧縮手段と、 前記データ圧縮手段から出力される圧縮された画像信号
を格納するメモリと、 前記メモリから出力される圧縮された画像を伸長して後
続のフレームの参照画像とするデータ伸長手段と、 を備えることを特徴とする請求項４に記載の動画像符号
化装置。 - 【請求項６】 請求項１から３のいずれかに記載の動画
像復号装置と、 請求項４または５に記載の動画像符号化装置と、 を備えることを特徴とする動画像符号化復号装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33577098A JP2000165875A (ja) | 1998-11-26 | 1998-11-26 | メモリ量の少ない動画像解像度変換符号化・復号装置 |
| US09/435,488 US6584154B1 (en) | 1998-11-26 | 1999-11-08 | Moving-picture coding and decoding method and apparatus with reduced computational cost |
| US10/389,890 US6862319B2 (en) | 1998-11-26 | 2003-03-18 | Moving-picture coding and decoding method and apparatus with reduced computational cost |
| US10/389,889 US7027507B2 (en) | 1998-11-26 | 2003-03-18 | Moving-picture coding and decoding method and apparatus with reduced computational cost |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33577098A JP2000165875A (ja) | 1998-11-26 | 1998-11-26 | メモリ量の少ない動画像解像度変換符号化・復号装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000165875A true JP2000165875A (ja) | 2000-06-16 |
Family
ID=18292269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33577098A Pending JP2000165875A (ja) | 1998-11-26 | 1998-11-26 | メモリ量の少ない動画像解像度変換符号化・復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000165875A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020001064A (ko) * | 2000-06-24 | 2002-01-09 | 박종섭 | 고화질 텔레비전의 움직임 보상 및 화면 디스플레이 장치 |
| US7024052B2 (en) | 2001-02-28 | 2006-04-04 | Sanyo Electric Co., Ltd. | Motion image decoding apparatus and method reducing error accumulation and hence image degradation |
| JP2007221697A (ja) * | 2006-02-20 | 2007-08-30 | Hitachi Ltd | 画像復号化装置及び画像復号化方法 |
| JPWO2006070787A1 (ja) * | 2004-12-28 | 2008-08-07 | 日本電気株式会社 | 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム |
| WO2012035766A1 (ja) * | 2010-09-16 | 2012-03-22 | パナソニック株式会社 | 画像復号化方法、画像符号化方法、画像復号化装置、および画像符号化装置 |
| JP2014506442A (ja) * | 2011-01-12 | 2014-03-13 | シーメンス アクチエンゲゼルシヤフト | ビデオコーダにおける参照イメージの圧縮及び伸長方法 |
| JP2017093632A (ja) * | 2015-11-19 | 2017-06-01 | 株式会社藤商事 | 遊技機 |
-
1998
- 1998-11-26 JP JP33577098A patent/JP2000165875A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020001064A (ko) * | 2000-06-24 | 2002-01-09 | 박종섭 | 고화질 텔레비전의 움직임 보상 및 화면 디스플레이 장치 |
| US7024052B2 (en) | 2001-02-28 | 2006-04-04 | Sanyo Electric Co., Ltd. | Motion image decoding apparatus and method reducing error accumulation and hence image degradation |
| JPWO2006070787A1 (ja) * | 2004-12-28 | 2008-08-07 | 日本電気株式会社 | 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム |
| US8325799B2 (en) | 2004-12-28 | 2012-12-04 | Nec Corporation | Moving picture encoding method, device using the same, and computer program |
| JP5234241B2 (ja) * | 2004-12-28 | 2013-07-10 | 日本電気株式会社 | 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム |
| JP2007221697A (ja) * | 2006-02-20 | 2007-08-30 | Hitachi Ltd | 画像復号化装置及び画像復号化方法 |
| WO2012035766A1 (ja) * | 2010-09-16 | 2012-03-22 | パナソニック株式会社 | 画像復号化方法、画像符号化方法、画像復号化装置、および画像符号化装置 |
| JP2014506442A (ja) * | 2011-01-12 | 2014-03-13 | シーメンス アクチエンゲゼルシヤフト | ビデオコーダにおける参照イメージの圧縮及び伸長方法 |
| US9723318B2 (en) | 2011-01-12 | 2017-08-01 | Siemens Aktiengesellschaft | Compression and decompression of reference images in a video encoder |
| JP2017093632A (ja) * | 2015-11-19 | 2017-06-01 | 株式会社藤商事 | 遊技機 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100874518B1 (ko) | 동화상 복호화 방법 및 장치 | |
| JP3966524B2 (ja) | 改善された効率のためにスキュードタイル記憶フォーマットを用いる動き補償を行うシステム及び方法 | |
| US6704358B1 (en) | Method and apparatus for resizing image information | |
| US8009740B2 (en) | Method and system for a parametrized multi-standard deblocking filter for video compression systems | |
| JP4319352B2 (ja) | スケーリング圧縮画像 | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| JPH09247673A (ja) | 符号化動画像再生装置 | |
| JP2005506815A (ja) | 空間拡張可能圧縮のための方法及び装置 | |
| WO1997046021A1 (en) | Device and method for predicting and encoding image, device and method for predicting and decoding image, and recording medium | |
| JPH1175186A (ja) | スケーリングされた順方向および逆方向の離散コサイン変換と、これを使用するビデオ圧縮伸長システム | |
| KR101147744B1 (ko) | 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ | |
| WO2009130886A1 (ja) | 動画像符号化装置、撮像装置及び動画像符号化方法 | |
| US8761246B2 (en) | Encoding/decoding device, encoding/decoding method and storage medium | |
| JPH10243402A (ja) | 画像処理装置及び画像処理方法 | |
| US20080123748A1 (en) | Compression circuitry for generating an encoded bitstream from a plurality of video frames | |
| JP2002515705A (ja) | ビデオデコーダのコストを低減させる方法および装置 | |
| JP5496047B2 (ja) | 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム | |
| JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
| JP2000050263A (ja) | 画像符号化並びに復号化装置及びこれを用いた撮像装置 | |
| JP2012085001A5 (ja) | ||
| JP2007503787A (ja) | メモリ帯域幅要求が低いビデオ処理装置 | |
| JP2000165875A (ja) | メモリ量の少ない動画像解像度変換符号化・復号装置 | |
| KR20080067922A (ko) | 영상 축소 기능을 갖는 영상 복호화 방법 및 장치 | |
| JP4224662B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 | |
| KR20020057525A (ko) | 영상 변환 부호화 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041130 |