JP2000023166A - 動画像符号化処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ノイズ抑制効果と発生符号量低減効果を有す
る動画像符号化処理装置を提供する。 【解決手段】 第１フレームメモリ１０２は、入力され
た入力画像データの１ピクチャ以上の１フレーム前の画
像を格納する。第１加算器１０３は、入力画像データの
現フレーム画素値と１フレームまたは１フィールド前に
入力した画素値間の入力差分信号の差分計算を行う。振
幅抑圧ユニット１０４は、予め定められた入出力特性に
基づき入力差分信号を補正して出力する。第２の加算器
１０５は、振幅抑圧部の出力と前フレーム画素値とを加
算する。第１セレクタ１０６は、現フレーム画素値また
は加算器１０５の出力結果の何れかを選択し出力する。
本構成において、入力画像データの任意な入力差分信号
の補正を施した信号の出力を可能とする。従って、動画
像符号化システムの高画質化、小型化、低価格化が可能
となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像圧縮符号化技
術における動画像符号化処理装置に関し、特に動き補償
予測を用いた動画像符号化処理装置に関する。

【０００２】

【従来の技術】従来の動画像符号化処理装置は、例え
ば、デジタルビデオ信号のノイズリデューサとして適用
される。このデジタルビデオ信号のノイズリデューサ
は、例えば、吹抜敬彦著“ＴＶ画像信号の多次元信号処
理”（１９８８，日刊工業新聞社）pp.188-191に記載さ
れているような、時間軸上の再帰型フィルタが有効に機
能することが知られている。

【０００３】図５は、従来の動画像符号化装置に用いら
れる再帰型フィルタの構成例を示す。図５において、フ
レームメモリ５１には、１フレーム（フィールド）前の
画像データが格納されている。動き判定部５２から特定
の係数Ｋ（０＜Ｋ＜１）が求められ、乗算器５３におい
て１フレーム前の画像データにＫ、また乗算器５４にお
いて現在の画像データに（１−Ｋ）が乗算される。２つ
の乗算器で求められたデータは加算器５５において加算
され、出力データとなるとともに、フレームメモリ５１
に格納され次のフレームでの処理に再利用される。

【０００４】図６には、他の構成例が示されている。図
６において、フレームメモリ６１に格納されている１フ
レーム前の画像データと現在の画像データを第１減算器
６２で減算して差分値を求める。その差分値に対して、
ＲＯＭ６３内へ設定されている補正値を出力し、第２減
算器６４において入力信号から補正値を減算する。ＲＯ
Ｍ６３内の補正値の特性を適切に設定することにより、
前フレームとの差分を小さくすることが可能となる。

【０００５】このような時間軸再帰型ノイズリデューサ
では、本来、時間軸上で同じデータとなる静止領域にお
いては有効にノイズを低減化するが、動領域において
は、本来あるべき前フレームとの差分を抑圧することに
より、図７のフレーム２、３に示すような滲みが発生し
てしまう。この動領域での滲みを低減するには、画像毎
に差分抑圧特性を変更する必要がある。

【０００６】動きを検出して乗算器の係数を変更する例
が、特開平７−２７４０４３号公報で提案されている。
図８に特開平７−２７４０４３号公報の構成を示す。図
８において、遅延器（フレームメモリ）８１と第１の減
算器８２とから求められた差分データが、差分検波器８
３を介して画面単位動き検出器８４に渡される。画面単
位動き検出器８４において判定された画面全体の動きが
数値変換器８５において乗算の係数に変換され、その数
値を減衰器（乗算器）８６において差分データと乗算が
行われ、乗算結果を第２の減算器８７において入力デー
タから減算する。このことにより、動きに応じて差分の
抑圧特性を変更した画像データを得ることができる。

【０００７】もう一つの従来例として特開平６−２４５
１１１号公報を図９に示す。ここでは入力データそのも
のをブロック化回路９１によりブロック化し、特徴量抽
出回路９２によりダイナミックレンジあるいは画素値の
分散を求め、度数分布回路９３、ピーク量検出回路９４
において乗算係数を算出し、乗算器９５に与える。乗算
器９５では、フレームメモリ９６、減算器９７から求め
られた差分データと乗算係数とを乗算し、フレーム間差
分を抑圧する。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、以下のような問題点がある。まず、第
１の問題点は、システムが複雑で実現しようとした場合
には規模が大きくなる。なぜなら、特開平７−２７４０
４３号公報、特開平６−２４５１１１号公報のどちらの
場合でも、フレーム間差分の抑圧特性を変更する。この
ために、入力データあるいはフレーム間差分データを基
に、乗算係数を算出する回路を専用に必要とする。

【０００９】第２の問題点は、動き補償予測符号化方式
において符号量削減効果が不十分である。ＭＰＥＧ−１
（ＩＳＯ／ＩＥＣ ＩＳ 11172-2 ）やＭＰＥＧ−２
（ＩＳＯ／ＩＥＣ ＩＳ 13818-2 ）などの動き補償予
測符号化方式では、正確にはピクチャ内の情報のみで符
号化を行うピクチャ（Ｉピクチャ）とピクチャ間の動き
補償予測符号化を行うピクチャ（Ｐ、Ｂピクチャ）が存
在する。ここでフレーム間差分を抑圧すれば動き補償の
結果として得られる予測誤差が小さくなり、発生符号量
が押さえられる。逆に、同一符号量なら高画質化が可能
となる。しかしながら、従来例では符号化のピクチャタ
イプが考慮されておらず、必ずしも発生符号量を最小に
できないという問題点を伴う。

【００１０】本発明は、大規模な回路を増設することな
く、ノイズ抑制効果と発生符号量低減効果を有する動画
像符号化処理装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】前記課題を解決するため
に、請求項１記載の発明は、１ピクチャ以上の容量を備
え、入力された入力画像データの１フレーム前の画像デ
ータを格納する第１フレームメモリと、入力画像データ
の現フレーム画素値と１フレームまたは１フィールド前
に入力した画素値間の入力差分信号との差分計算を行う
第１加算器と、予め定められた入出力特性に基づいて入
力差分信号を補正して出力する振幅抑圧ユニットと、振
幅抑圧ユニットからの出力と前フレーム画素値とを加算
する第２加算器と、入力画像データの現フレーム画素値
または第１加算器および第２加算器からの出力結果のい
ずれかを選択して出力する第１セレクタとを有し、入力
画像データにおいて任意の入力差分信号の補正を施した
信号を出力可能としたことを特徴とする。

【００１２】請求項２記載の発明は、請求項１記載の発
明において、動画像符号化処理装置は、離散コサイン変
換（ＤＣＴ）の直交変換、量子化、逆量子化により構成
され、圧縮符号化を行う符号化ユニットを有し、符号化
ユニットにより圧縮符号化された画像データの出力を可
能としたことを特徴とする。

【００１３】請求項３記載の発明は、請求項２記載の発
明において、動画像符号化処理装置は、符号化ユニット
からの局所復号出力を格納する第２フレームメモリと、
動き探索を行い予測画像を生成する動き補償予測ユニッ
トと、予め定められた規則に基づいて画面内符号化およ
び動き補償予測符号化の符号化タイプを指定する符号化
タイプ設定ユニットと、第１セレクタの出力から動き補
償予測出力を減算する第３加算器と、第１セレクタの出
力と第３加算器の出力とを選択でき、且つ符号化タイプ
設定ユニットから制御を受ける第２セレクタとを有し、
局所的な動画像補正後の画像データの出力を可能とした
ことを特徴とする。

【００１４】請求項４記載の発明は、請求項３記載の発
明において、動画像符号化処理装置において、第２セレ
クタでは、第１セレクタの出力を選択する符号化タイプ
設定ユニットにより符号化タイプ設定時に、第１セレク
タでは、入力される現フレーム画素値を選択し、第２セ
レクタでは、第３の加算器からの出力を選択する動き補
償予測符号化指定時に、第１セレクタでは前フレームと
振幅抑制された差分出力の加算値である第２の加算器か
らの出力を選択して符号化処理を行うように制御するこ
とを特徴とする。

【００１５】請求項５記載の発明は、請求項１から４の
いずれか１項に記載の発明において、振幅抑制ユニット
の入出力特性は、線形、非線形、関数特性のいずれにも
対応可能であることを特徴とする。

【００１６】請求項６記載の発明は、請求項５記載の発
明において、入出力特性の入力ｘ／出力ｙの特性は、入
力が正の区間では、入力範囲０＜ｘ≦Ａでは出力ｙ＝
０、入力範囲Ａ＜ｘ≦Ｂでは出力ｙ＝ｘ−Ａ、入力範囲
ｘ＞Ｂではｙ＝ｘ、であり、入力が負の区間では正の区
間と対称であることを特徴とする。

【００１７】

【発明の実施の形態】次に、添付図面を参照して本発明
による動画像符号化処理装置の実施の形態を詳細に説明
する。図１〜図４を参照すると、本発明の動画像符号化
処理装置の実施形態が示されている。

【００１８】図１は、本発明の実施形態である動画像符
号化処理装置の構成例を示すブロック図である。図１に
おいて、本発明の実施形態である動画像符号化処理装置
は、入力端子１０１と、第１フレームメモリ１０２と、
第１加算器１０３と、振幅抑制ユニット１０４と、第２
加算器１０５と、第１セレクタ１０６と、符号化ユニッ
ト１０７と、第２フレームメモリ１０８と、動き補償予
測ユニット１０９と、第３加算器１１０と、第２セレク
タ１１１と、符号化タイプ設定ユニット１１２とから構
成される。

【００１９】上記の各部により構成される動画像符号化
処理装置において、入力端子１０１から画像信号が入力
される。第１フレームメモリ１０２は、１フレーム以上
の容量を有し、ノイズリデューサ用に用いられる。現フ
レームの入力データと１フレームもしくは１フィールド
前の画像データの差分値が、第１加算器１０３により算
出される。この差分値は、振幅抑制ユニット１０４にお
いて、少なくとも特定の範囲においては絶対値を小さく
抑制される。振幅抑制ユニット１０４の出力は、第２加
算器１０５において第１フレームメモリと加算される。
この第２加算器による出力は、現フレームの入力データ
と比較して、前フレームとの差分が小さい画像データと
なっている。この第２加算器による出力は、入力データ
とともに第１セレクタ１０６の入力となる。第１セレク
タ出力１０６が符号化対象の画像データとなる。

【００２０】符号化ユニット１０７は、直交変換の１つ
である離散コサイン変換（ＤＣＴ）、量子化、逆量子化
等により構成され、画像データの圧縮符号化処理を行
う。符号化ユニット１０７からは、局所復号されたデー
タが第２フレームメモリ１０８に出力され、この第２フ
レームメモリ１０８に格納される。なお、第１フレーム
メモリ１０２と第２フレームメモリ１０８とは、機能的
に分離できるものであれば同一のメモリを領域分割して
使用しても全く問題ない。

【００２１】第２フレームメモリ１０８から動き補償予
測ユニット１０９に対して動き補償のための参照画像と
して局所復号画像データが供給されるとともに、符号化
対象画像データとして第１セレクタ１０６の出力データ
も供給される。動き補償予測ユニット１０９では、動き
探索を行い予測画像を生成する。この予測画像を第３加
算器１１０において、第１セレクタ１０６の出力から減
算されることにより、予測誤差画像データが生成され
る。この予測誤差画像データである第３加算器による出
力と第１セレクタの出力とが、第２セレクタ１１１の入
力となっている。第１セレクタ１０６および第２セレク
タ１１１は、符号化タイプ設定ユニット１１２から切り
替え動作の制御を受ける。

【００２２】図２は、振幅抑制ユニット１０４の特性例
を示す図である。この特性例において、入力値が正の区
間で説明すると、入力の値ｘに対して、 入力範囲０＜ｘ≦Ａでは、出力ｙ＝０、 入力範囲Ａ＜ｘ≦Ｂでは、出力ｙ＝ｘ−Ａ、 入力範囲ｘ＞Ｂでは、出力ｙ＝ｘ となっている。

【００２３】入力値が負の場合も対称な特性である。図
２に示される特性に限らず、一部の入力範囲あるいは全
ての入力範囲に対して、入力値の絶対値を小さくして出
力するものであれば、他の特性、例えば線形、非線形、
関数特性等の何れでも構わない。

【００２４】ＭＰＥＧ−１、２等で用いられている順方
向および両方向動き補償予測符号化について、図３を用
いて説明する。図中のＩは画面内符号化（イントラ）ピ
クチャ、Ｐは順方向予測符号化ピクチャ、Ｂは両方向予
測符号化ピクチャを示す。例えば、Ｉ３ピクチャはＩ３
ピクチャ内の情報だけを用いて符号化する。Ｐ６ピクチ
ャはＩ３ピクチャを参照画像として動き補償予測符号化
する。Ｂ４ピクチャはＩ３およびＰ６ピクチャを参照画
像として動き補償予測符号化を行う。Ｉピクチャと次の
Ｉピクチャとの距離はＧＯＰ（Group Of Picture）と呼
ばれ、ここではＧＯＰを１５としている。ただし図３中
には次のＩピクチャは記載されていない。また、Ｉピク
チャあるいはＰピクチャ間の距離をＭＰＥＧ−１、２で
はＭ値と呼ぶ。図３においてＭ値は３となっている。こ
のように動き補償予測符号化方式では、ピクチャ毎に異
なるタイプの符号化方式を用いる。このため、その符号
化装置内には、図１における符号化タイプ設定ユニット
１１２に相当する機能が本質的に含まれていることに注
意が必要である。

【００２５】図３において、動き補償予測符号化ピクチ
ャ、例えばＰ６ピクチャではＩ３ピクチャを参照してい
る。このときＩ３ピクチャからＰ６ピクチャまでの間で
ノイズが重畳すると、動き補償後の予測誤差画像データ
に多くのノイズ成分が混じってしまい、そのノイズ成分
を符号化してしまう結果、符号量が増えてしまう。そこ
で図２に示すような振幅抑圧特性を有するノイズリデュ
ーサを用いることにより、ノイズ成分に基づく不要な符
号発生を低減化することができる。これは図１に示す構
成図で、第１セレクタ１０６では第２加算器１０５出力
を、第２セレクタ１１１では第３加算器出力１１０を、
それぞれ選択することで実現できる。

【００２６】一方、図３における画面内符号化ピクチャ
Ｉ３の符号化時は、図１に示す構成図で、第１セレクタ
１０６では入力画像データを、第２セレクタ１１１では
第１セレクタ出力１１０を、同時に選択するのが本発明
の実施形態における特徴である。

【００２７】Ｉピクチャは、前後のフレームとの差分情
報を符号化する訳ではない。当然画面内の空間的なノイ
ズは画質や符号量に影響を与えるが、前後フレームとの
差分は大きくても構わない。このようにＩピクチャ符号
化時に、入力画像データをそのまま用いる利点を図４を
用いて説明する。ここでは簡単に説明するため画像デー
タを１次元化して表現し、画素データが一定である均一
な背景の中を山形のデータ特性をもつ移動領域があると
している。

【００２８】また、図４では、簡潔に説明するためフレ
ーム１が入力開始フレームでフレーム４をＩピクチャと
している。図４中、左側実線が入力画像データ、中央が
常に振幅抑圧を行った場合の図１における第１セレクタ
出力画像データ、右側がＩピクチャ時に振幅抑圧を行わ
なかった場合の図１における第１セレクタ出力画像デー
タである。従来の技術の問題点でも指摘したように、振
幅抑圧を用いた時間軸上の再帰型ノイズリデューサで
は、動領域の後に滲みが残る。

【００２９】図４の中央に示した常に振幅抑圧をかけた
場合だと、山の左側がずっと尾を引いた形の滲みが発生
してしまう。この滲みは、入力画像データにより大きな
変化がある限り消えることはない。それに対し、図４の
右側に示した本発明の実施形態では、Ｉピクチャである
フレーム４において入力画像をそのまま出力しているの
で、動領域の後ろで尾を引く現象は最大でも１ＧＯＰ
と、短時間で抑えることが可能となる。

【００３０】このように、Ｉピクチャのみ振幅抑圧を取
りやめると、Ｉピクチャを後方参照しているＢピクチ
ャ、すなわち図３におけるＢ１、Ｂ２に関しては、Ｉ３
ピクチャとの間での差分が増えるのは避けられない。し
かしながら、全体における割合で考えるとその影響は小
さい。

【００３１】例えば、図３に示すＧＯＰ＝１５、Ｍ＝３
の場合だと、１ＧＯＰのうち４枚のＰピクチャの予測は
振幅抑圧が有効であり、また１０枚のＢピクチャの合計
２０種類の予測のうち、１８種類の予測でも振幅抑圧が
有効となっている。Ｂ１、Ｂ２に関していえば、Ｉ３と
の間の差分には振幅抑圧がかからない。しかし、前のＧ
ＯＰであるＰ１５’との間では、振幅抑圧がかかってい
るので、そちらを参照する順方向予測を行えば、発生符
号量の増加は微々たるものである。

【００３２】（実施例）続いて本発明の実施例について
説明する。ここでは、ワークステーション上にＭＰＥＧ
−２方式による符号化処理を行うソフトウェア動画層符
号化装置を構築した。ここでは、符号化方式としてＭＰ
ＥＧ−２を用いたが、動き補償予測符号化を用いるもの
であれば他の方式でも構わない。ＭＰＥＧ−２符号化条
件は、以下に示す通りである。

【００３３】・ＧＯＰ： １５ ・Ｍ： ３ ・ビットレート： ９Ｍｂｐｓ ・動き探索： １次探索水平間引き２段階探索 ・水平動き探索範囲＋／−３２ ｘ ピクチャ間距離 ・垂直動き探索範囲＋／−１６ 固定 ・入力ビデオソース： ＭＰＥＧテストシーケンス ch
eer leaders, mobile＆ calendar に標準偏差４のガウ
ス分布ノイズを重畳したものである。

【００３４】振幅抑圧ユニットとしては、図２に示すＡ
を４、Ｂを１６とした特性のものを用いた。６０フレー
ムを符号化した結果、ノイズ重畳前の原画像に対する輝
度信号のピークＳＮＲの平均値は、以下の通りであっ
た。

【００３５】 ・振幅抑圧なし： cheer 33.04 dB, mobile 31.29 dB ・常に振幅抑圧： cheer 33.23 dB, mobile 31.43 dB ・本実施例： cheer 33.21 dB, mobile 31.39 dB

【００３６】このように、本実施例の手法によれば、振
幅抑圧しない場合に比べて、ちらつき感のあるノイズが
低減されるとともに、ｃｈｅｅｒで０．１７ｄＢ、ｍｏ
ｂｉｌｅで０．１０ｄＢのＳＮＲ向上が実現できる。

【００３７】常に振幅抑圧した場合と比較した場合、Ｓ
ＮＲではｃｈｅｅｒで０．０２ｄＢ、ｍｏｂｉｌｅで
０．０４ｄＢほど値が小さくなっているが、その差は非
常に小さい。また、主観評価を行ったところ、ｃｈｅｅ
ｒでは、いずれの方式でも動領域の後に顕著な滲みは認
められなかった。一方、ｍｏｂｉｌｅでは、常に振幅抑
圧をした場合に画面内の数カ所で滲みがあるが、それに
対し本発明の手法によれば滲みが低減していることが確
認できる。

【００３８】尚、上述の実施形態は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。

【００３９】

【発明の効果】以上の説明より明かなように、本発明の
動画像符号化処理装置によれば、入力された入力画像デ
ータの１ピクチャ以上の１フレーム前の画像を格納し、
入力画像データの現フレーム画素値と１フレームまたは
１フィールド前に入力した画素値間の入力差分信号の差
分計算を行い、予め定められた入出力特性に基づき入力
差分信号を補正を行う。従って、動画像の静止領域での
ノイズを抑制し、動領域において発生する滲みを低減す
ることができる。また、その実現には複雑な動き判定や
特徴抽出は不要であることにより、動画像符号化システ
ムの高画質化、小型化、低価格化が可能となる。

【図面の簡単な説明】

【図１】本発明の動画像符号化処理装置の実施形態の構
成例を示すブロック図である。

【図２】振幅抑圧特性例を示す図である。

【図３】ピクチャ毎の符号化タイプを説明するための図
である。

【図４】動領域の後ろに発生する滲みを説明するための
図である。

【図５】従来の技術その１の構成図である。

【図６】従来の技術その２の構成図である。

【図７】動領域における滲みの例を示した図である。

【図８】従来の技術その３の構成図である。

【図９】従来の技術その４の構成図である。

【符号の説明】

５１、６１、８１、９６ フレームメモリ（遅延器） ５２ 動き判定部 ５３、５４、８６、９５ 乗算器（減衰器） ５５、６２、６４、８２、８７、９７、９８ 加算器
（減算器） ６３ ＲＯＭ ９１ ブロック化回路 １０１ 入力端子 １０２ 第１フレームメモリ １０３ 第１加算器 １０４ 振幅抑制ユニット １０５ 第２加算器 １０６ 第１セレクタ １０７ 符号化ユニット １０８ 第２フレームメモリ １０８ 動き補償予測ユニット １１０ 第３加算器 １１１ 第２セレクタ １１２ 符号化タイプ設定ユニット

Claims (6)

【特許請求の範囲】
1. 【請求項１】 １ピクチャ以上の容量を備え、入力され
   た入力画像データの１フレーム前の画像データを格納す
   る第１フレームメモリと、 前記入力画像データの現フレーム画素値と１フレームま
   たは１フィールド前に入力した画素値間の入力差分信号
   との差分計算を行う第１加算器と、 予め定められた入出力特性に基づいて前記入力差分信号
   を補正して出力する振幅抑圧ユニットと、 該振幅抑圧ユニットからの出力と前フレーム画素値とを
   加算する第２加算器と、 前記入力画像データの現フレーム画素値または前記第１
   加算器および前記第２加算器からの出力結果のいずれか
   を選択して出力する第１セレクタとを有し、 前記入力画像データにおいて任意の入力差分信号の補正
   を施した信号を出力可能としたことを特徴とする動画像
   符号化処理装置。
2. 【請求項２】 前記動画像符号化処理装置は、離散コサ
   イン変換（ＤＣＴ）の直交変換、量子化、逆量子化によ
   り構成され、圧縮符号化を行う符号化ユニットを有し、 該符号化ユニットにより圧縮符号化された画像データの
   出力を可能としたことを特徴とする請求項１記載の動画
   像符号化処理装置。
3. 【請求項３】 前記動画像符号化処理装置は、前記符号
   化ユニットからの局所復号出力を格納する第２フレーム
   メモリと、 動き探索を行い予測画像を生成する動き補償予測ユニッ
   トと、 予め定められた規則に基づいて画面内符号化および動き
   補償予測符号化の符号化タイプを指定する符号化タイプ
   設定ユニットと、 前記第１セレクタの出力から動き補償予測出力を減算す
   る第３加算器と、 前記第１セレクタの出力と前記第３加算器の出力とを選
   択でき、且つ符号化タイプ設定ユニットから制御を受け
   る第２セレクタとを有し、 局所的な動画像補正後の画像データの出力を可能とした
   ことを特徴とする請求項２記載の動画像符号化処理装
   置。
4. 【請求項４】 前記動画像符号化処理装置において、前
   記第２セレクタでは、前記第１セレクタの出力を選択す
   る符号化タイプ設定ユニットにより符号化タイプ設定時
   に、前記第１セレクタでは、入力される現フレーム画素
   値を選択し、 前記第２セレクタでは、前記第３の加算器からの出力を
   選択する動き補償予測符号化指定時に、前記第１セレク
   タでは前フレームと振幅抑制された差分出力の加算値で
   ある前記第２の加算器からの出力を選択して符号化処理
   を行うように制御することを特徴とする請求項３記載の
   動画像符号化処理装置。
5. 【請求項５】 前記振幅抑制ユニットの入出力特性は、
   線形、非線形、関数特性のいずれにも対応可能であるこ
   とを特徴とする請求項１から４のいずれか１項に記載の
   動画像符号化処理装置。
6. 【請求項６】 前記入出力特性の入力ｘ／出力ｙの特性
   は、 入力が正の区間では、 入力範囲０＜ｘ≦Ａでは出力ｙ＝０、 入力範囲Ａ＜ｘ≦Ｂでは出力ｙ＝ｘ−Ａ、 入力範囲ｘ＞Ｂではｙ＝ｘ、であり、 入力が負の区間では正の区間と対称であることを特徴と
   する請求項５記載の動画像符号化処理装置。