JPH04311195A

JPH04311195A - 画像信号符号化装置及び画像信号復号化装置

Info

Publication number: JPH04311195A
Application number: JP3077975A
Authority: JP
Inventors: Hiroyuki Fukuda; 弘之福田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1991-04-10
Filing date: 1991-04-10
Publication date: 1992-11-02
Anticipated expiration: 2015-08-28
Also published as: JP3081658B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像信号を圧縮，画像デ
ータを再生する画像処理装置に係り、特に画像データの
符号及び復号時のノイズ発生を抑圧する画像信号符号化
装置及び画像信号復号化装置に関する。

【０００２】

【従来の技術】一般にＣＣＤ（電荷結合素子）に代表さ
れる固体撮像装置等により撮像された画像信号をメモリ
カード、磁気ディスクあるいは、磁気テープ等の記憶装
置にデジタルデータとして記憶する場合、そのデータ量
は膨大なものとなる。このようなデータを限られた記憶
容量の範囲で記憶しようとするには、何らかの高能率な
圧縮を行うことが必要となる。

【０００３】この高能率な画像データの圧縮方式として
、特開昭６２−１９６９９０号公報に記載されるような
直交変換符号化を利用した方式が一般に広く知られてい
る。図６を参照して、この直交変換符号化方式を説明す
る。

【０００４】まず固体撮像装置等から画像データ（ｆ）
が入力されると（１）、その画像データ（ｆ）を所定の
大きさのブロックに分割して値（ｆｂ）を得る（２）。この分割されたブロック毎に直交変換として２次元のＤ
ＣＴ（離散コサイン変換）をおこなって値（Ｆ）に変換
する（３）。次に各周波数成分に応じた線形量子化を行
い（４）、この量子化された値（ＦＱ）に対し、可変長
符号化としてハフマン符号化を行い（５）、その結果が
圧縮データ（Ｃ）として伝送または記録される。この時
、前記線形量子化の量子化幅は、各周波数に対する視覚
特性を考慮した相対的な量子化特性を表す量子化マトリ
ックスを用意し、この量子化マトリックスを定数倍する
ことで量子化幅を決定している。

【０００５】一方、圧縮データから画像データを再生す
るとき、可変長符号（Ｃ）をデコード（復号）すること
で変換係数の量子化値（ＦＱ）が得られる（６）がこの
値から量子化前の真値（Ｆ）を得ることは不可能で、逆
量子化によって得られる結果は、誤差を含んだ値（Ｆ´
）になる（７）。従って、この値に対してＩＤＣＴ（逆
離散コサイン変換）を行い（８）、その結果の値（ｆｂ
´）を逆ブロック化して（９）、得られる画像データ（
ｆ´）も、誤差を含んだものとなる。よって、画像再生
装置などにて再生出力される再生画像（ｆ´）は画質が
劣化してしまう。　　即ち、逆量子化によって得られる
結果の値（Ｆ´）の誤差が、いわゆる量子化誤差として
再生画像（ｆ´）の画質劣化の原因となっている。

【０００６】以上の動作を図７を参照して具体的に説明
する。まず図７（ａ）に示すように、１フレームの画像
データを所定の大きさのブロック（例えば、８×８の画
素よりなるブロックＡ，Ｂ，Ｃ，…）に分割し、この分
割されたブロック毎に直交変換として２次元のＤＣＴを
行い、８×８のマトリックス上に順次格納する。

【０００７】画像データは２次元平面に捕えてみると、
濃淡情報の分布に基づく周波数情報である空間周波数を
有している。従って、前記ＤＣＴを行うことにより、画
像データは、図７（ｂ）に示すように、直流成分ＤＣと
交流成分ＡＣに変換され、８×８のマトリックス上には
、原点位置（（０，０）位置）に直流成分ＤＣの値を示
すデータが格納され、（０，７）位置には、横軸方向の
交流成分ＡＣの最大周波数値を示すデータが格納される
。また（７，０）位置には、縦軸方向の交流成分ＡＣの
最大周波数値を示すデータが格納され、（７，７）位置
には、斜め方向の交流成分ＡＣの最大周波数値を示すデ
ータが格納される。さらに中間位置では、それぞれの座
標位置により関係付けられる方向における周波数データ
においては、原点側より順次高い周波数のものが出現す
る形で格納されることになる。

【０００８】次に、このマトリックスにおける各座標位
置の格納データを各周波数成分ごとの量子化幅で割るこ
とにより、各周波数成分に応じた線形量子化を行い、こ
の量子化された値に対し、可変長符号化としてハフマン
符号化を行う。この時、直流成分ＤＣに関しては、近傍
ブロックの直流成分との差分値をハフマン符号化する。　　交流成分ＡＣに関しては、ジグザグスキャンと称さ
れる低い周波数成分から高い周波数成分へのスキャンを
行い、無効（値が「０」）の成分の連続する個数（零の
ラン数）と、それに続く有効な成分の値の２次元のハフ
マン符号化を行い符号化データとする。

【０００９】この方式において、圧縮率は前記量子化の
量子化幅を変化させることによって制御されるのが一般
的で、圧縮率が高くなるほど、量子化幅は大きくなり、
従って量子化誤差が大きくなり再生画像の画質劣化が目
立つようになる。

【００１０】この変換係数の量子化誤差は、再生画像に
おいて主に、２種類の歪みとして、現れる傾向にある。その一方は、ブロック境界部分に不連続が発生するいわ
ゆるブロック歪みであり、原画には存在しなかったブロ
ックの境界が見えてくるといったものである。他方は、
ブロック毎のＤＣＴ係数の量子化誤差の影響が逆変換に
よってブロック全体に出たために起こるモスキートノイ
ズと呼ばれるものである。このモスキートノイズは、Ｄ
ＣＴ係数の各シーケンス毎の量子化誤差が原因なので、
非常に低い周波数成分から高い周波数成分までを含んで
いる可能性があり、一般には強い輝点の周りや、エッヂ
の付近にもやもやとしたパターンが現れる傾向にある。これら２種類の歪みは視覚的に目立つために、たとえＳ
／Ｎが良好であっても主観的な印象は悪くなってしまう
。

【００１１】そこで復号器によって再生された画像に、
歪み除去処理として、低域通過（ローパス）フィルタを
施す方式が考えられた。この後置フィルタは、高周波を
含んだ歪みを比較的良好に除去することができる。

【００１２】

【発明が解決しようとする課題】しかし、前述したよう
な歪み除去方式では、ブロック境界の不連続による歪み
のような比較的高い周波数成分を含むものに対しては有
効であるが、モスキートノイズのようにブロック内でゆ
っくりと変化する歪みを除去することは出来ない欠点が
あった。

【００１３】また視聴者の視感度は、輝度信号に比べ、
色差信号に関しては、感度が低いので、一般的な画像圧
縮では、色差信号に割り当てられる情報量は、輝度信号
のそれよりも少なくなるようにして、圧縮率を上げてい
る。そのため、一般的に色差信号の量子化ステップは輝
度信号のものよりも大きくなり、発生する歪み量も大き
くなっている。特にモスキードノイズは、低い周波数の
ノイズとして現われやすくなり、その結果画像中に色に
じみや色付きのパターンとして目立つために問題となっ
ている。

【００１４】そこで本発明は、高圧縮の画像信号符号化
及び、復号化によって再生される画像中に色にじみや色
付きのパターンノイズとして、知覚されるような色差信
号のモスキートノイズの発生を抑圧する画像信号符号化
装置及び画像信号復号化装置を提供することを目的とす
る。

【００１５】

【課題を解決するための手段】本発明は上記目的を達成
するために、入力した画像信号を輝度信号と色差信号に
分離する画像信号分離手段と、前記画像信号分離手段に
より分離出力された輝度信号の値から注目した画素が飽
和画素か否か判定する画素判定手段と、前記画素判定手
段により飽和画素と判定された注目画素の色差信号値を
周囲の画素の色差信号値との急峻な変化を緩和化させ、
歪みを抑圧する色差信号歪み抑圧手段と、前記色差信号
歪み抑圧手段による歪み抑圧処理された色差信号及び、
前記輝度信号を符号化して出力する変換符号化手段とで
構成する画像信号符号化装置が提供できる。

【００１６】また、符号化されて入力される画像データ
を輝度信号と色差信号に復号する復号化手段と、前記復
号化手段により復号された輝度信号の値から注目した画
素が飽和画素か否か判定する画素判定手段と、画素判定
手段により飽和画素と判定された注目画素の色差信号値
を適当な値に変更する信号値変更手段と、前記信号値変
更手段からの出力の色差信号及び、前記輝度信号とを合
成して画像信号として出力する合成化手段とで構成され
る画像信号復号化装置が提供される。

【００１７】

【作用】以上のような構成の画像信号符号化装置及び画
像信号復号化装置によれば、

【００１８】画像信号の符号時に、「飽和画素」と判定
された画素の色差信号に対して、「飽和画素」の色差“
０”値を周辺の「飽和画素」でない色差信号の値に置き
換えて歪み抑圧処理を行い、色差信号の急峻な変化を緩
和化させる。

【００１９】また復号時には、「飽和画素」と判定され
た画素の色差信号の値を“０”に変更している。その後
、変更された色差信号と、輝度信号をそれぞれＹ／Ｃ合
成回路１８で合成して、再生信号として出力する。

【００２０】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図１は、本発明の実施例として、画像符号
化装置の構成を示すブロック図である。

【００２１】まず入力された画像信号は、Ｙ／Ｃ分離回
路１０で輝度信号Ｙと色差信号Ｃｒ及びＣｂに分離され
る。前記輝度信号Ｙは、変換符号化回路１３及び、輝度
信号画素判定回路１１に送られる。

【００２２】前記輝度信号画素判定回路１１では、各画
素の輝度値を２つの閾値との比較を行い、一方のｔｈ１
は「白とび」を検出し、他方のｔｈ２は「黒つぶれ」を
検出するもので、以下の条件により判定する。Ｙ≧ｔｈ１，Ｙ≦ｔｈ２　　　　　　…（１）但し、ｔ
ｈ１＞ｔｈ２である。

【００２３】この条件式を満足する画素が「白とび」も
しくは、「黒つぶれ」である「飽和画素」と判定される
。但し、本実施例では、Ｙは輝度信号を表す８ビットデ
ータであり、ｔｈ１＝２３０，ｔｈ２＝１５と設定され
ている。次に「飽和画素」と判別された画素の色差信号
に対して、歪み抑圧処理を行うために、色差信号歪み抑
圧処理回路１２へ信号を送る。

【００２４】この色差信号歪み抑圧処理回路１２では、
歪みの発生を抑圧するように、色差信号の急激な変化を
緩和化させる。具体的には、「飽和画素」と同じ位置の
色差信号は色差が、ほぼ“０”の値になっているが、こ
れを周辺の「飽和画素」でない色差信号の値に置き換え
るようにしている。この歪み抑圧処理をＣｒ，Ｃｂのそ
れぞれに対して、行った結果は、輝度信号と同様に変換
符号化回路１３へ送られ、圧縮符号化されて出力される
。このような歪み抑圧処理を１次元に簡略した例を図２
（ａ）〜（ｄ）に示し、説明する。

【００２５】図２（ａ）では、輝度信号がゆっくりと変
化している中に輝点が存在し、閾値ｔｈ１との比較によ
って、「白とび」と判定されている。同じ位置の色差信
号Ｃは図２（ｂ）のように白とび部で“０”に近い値に
なっている。この色差信号Ｃを圧縮符号化し復号・再生
すると図２（ｃ）のように急峻な変化が鈍って、もとも
と平坦であった部分に変化が生じて来てしまう。この図
中での斜線で示した部分が色にじみや色付きのパターン
として現れる。これは変化が急でコントラストが大きい
ほど、顕著になる傾向がある。

【００２６】そこで、白とび部の色差信号をその近傍の
白とびでない部分の色差信号と置き換えたのが、図２（
ｄ）である。このようになった信号は、かなりの高圧縮
率の符号化・復号化を行っても、ほとんど変化が起こら
ない。つまり白とび部以外の部分は忠実に再現される。次に、図３のブロック図に画像信号復号装置の構成のブ
ロック図を示し、説明する。

【００２７】まず前述した図２（ｄ）に示すような信号
に符号化，復号化された色差信号は、白とび部以外では
、ほとんど歪みが発生していないが、白とび部は実際の
値とは大きく異なっている。しかしながら、この部分の
真の値は、ほぼ“０”であったことが判明している。そこで、復号化回路１５で復号化された輝度信号に対し
て、「白とび」もしくは「黒つぶれ」の「飽和画素」を
求めるために、まず輝度信号を輝度信号画素判定回路１
６に導き、符号器と同様な構成によって、「飽和画素」
であるか否かを判定する。そして前記判定結果に基づい
て、色差信号変更回路１７に導かれた前記復号化回路１
５からの出力の色差信号の「飽和画素」と判定された画
素の値を“０”に変更している。

【００２８】その後、前記色差信号変更回路１７で値の
変更された色差信号と、前記復号化回路１５からの出力
された輝度信号をそれぞれＹ／Ｃ合成回路１８で合成し
て、再生信号として出力する。

【００２９】本発明の画像信号符号化装置に使用される
歪み抑圧手段は、前述したようなものの他に、飽和画素
と判定された画素の色差信号を注目画素として適当なサ
イズ（例えば、７×７）のウィンド内の飽和画素でない
画素の色差信号の平均値に置き換えるものや、注目画素
の値を近傍の飽和画素でない画素の色差信号から外挿や
内挿によって求めた値に置き換えるようにしても構わな
い。また、前述した本実施例の歪み抑圧処理と共に、低
域通過フィルタを用いることが好ましい。

【００３０】それは前述したように色にじみや色付きの
パターンが色差信号の急峻な変化によって、顕著になる
ので、その変化の度合いを緩和化させることによって、
歪みを抑圧することができる。

【００３１】その一例として、図４に示すように、色差
信号歪み抑圧処理回路２２の出力に対して、低域通過フ
ィルタリングを行なうように低域通過フィルタ２３を接
続している。この例において、Ｙ／Ｃ分離回路２０、輝
度信号画素判定回路２１、色差信号歪み抑圧処理回路２
２及び変換符号化回路２４は、本実施例と同様の働きを
するものである。このとき、輝度信号画素判定回路２１
から低域通過フィルタ２３に対して、飽和画素の情報を
送り、その情報に従って、低域通過フィルタ２３にて、
フィルタ処理を行なう画素を決定できるように構成して
あるが、もちろん全画面に一様にフィルタリングを行な
っても構わない。このフィルタリングによる効果を図５
を用いて説明する。

【００３２】図５（ａ），（ｂ）は、青空を背景に黒い
木の枝がのびている画像の輝度信号と色差信号をそれぞ
れ１次元で表した例である。輝度信号Ｙと閾値ｔｈ２と
を比較して枝の部分を「黒つぶれ」と判定している。そ
の判定結果に従って、色差信号Ｃに対して、実施例に述
べたような歪み抑圧処理を行なった結果Ｃ´が図５（ｃ
）に示すものである。

【００３３】これは、色差のコントラストに関しては、
低減されているが閾値処理の関係で閾値ぎりぎりで「黒
つぶれ」と判定されなかった画素が残ってしまうために
、リップル状の変化点が出る可能性がある。従って、依
然として歪みが発生してしまう。しかし、図５（ｄ）に
示すように、このリップル状の変化点は、低域通過フィ
ルタで、ほとんど除去することができる。

【００３４】つまり、色差信号歪み抑圧処理回路２２と
低域通過フィルタ２３の両方の処理によって、色差信号
中の高コントラストで急峻な変化点は、ほとんど除去す
ることができるようになる。そしてこの時に用いる低域
通過フィルタは、図５（ｃ）のようなリップル状の変化
を軽減させる程度のものでよいので、そのローパスの度
合いは、比較的弱くても十分な性能を示すことができる
。

【００３５】また本発明は、前述した実施例に限定され
るものではなく、輝度信号と色差信号の定義は、テレビ
ジョン信号で用いるようなＹ，Ｉ，Ｑであったり、色度
座標で表されるＹ，ｕ，ｖであったり、人間の視覚情報
をシミュレートした強度、色相、彩度であるようなもの
でも構わない。

【００３６】また、データ圧縮方式に関しても、任意で
あって変換符号化の他にもベクトル量子化やＤＰＣＭ方
式、動画像圧縮システムにも採用することができる。他
にも発明の要旨を逸脱しない範囲で種々の変形や応用が
可能であることは勿論である。

【００３７】

【発明の効果】以上詳述したように本発明によれば、画
像信号の符号化及び、画像データの復号化によって再生
される画像中に色にじみや色付きパターンノイズとして
知覚される色差信号のモスキートノイズの発生を抑圧で
きる画像信号符号化装置及び画像信号復号化装置を提供
することができる。

【図面の簡単な説明】

【図１】図１は、本発明の実施例の画像符号化装置の構
成を示すブロック図である。

【図２】図２は、歪み抑圧処理を１次元に簡略した例を
示す図である。

【図３】図３は、本発明の実施例の画像復号化装置の構
成を示すブロック図である。

【図４】図４は、本発明の実施例として、低域通過フィ
ルタを付加した画像符号化装置の構成を示すブロック図
である。

【図５】図５は、青空を背景に黒い木の枝がのびている
画像のそれぞれの輝度信号と色差信号を１次元で表した
例である。

【図６】図６は、従来の画像データの圧縮方式の直交交
換符号化の一例を示したブロック図である。

【図７】図７は、１フレームの画像データを所定の大き
さのブロック分割した例を示す図である。

【符号の説明】

１０…Ｙ／Ｃ分離回路、１１…輝度信号画素判定回路、
１２…色差信号歪み抑圧処理回路、１３…変換符号化回
路、Ｙ…輝度信号、Ｃｒ，Ｃｂ…色差信号、１５…復号
化回路、１６…輝度信号画素判定回路、１７…色差信号
変更回路、１８…Ｙ／Ｃ合成回路、２０…Ｙ／Ｃ分離回
路、２１…輝度信号画素判定回路、２２…色差信号歪み
抑圧処理回路、２３…低域通過フィルタ、２４…変換符
号化回路。

Claims

【特許請求の範囲】

【請求項１】　　入力した画像信号を輝度信号と色差信
号に分離する画像信号分離手段と、前記画像信号分離手
段により分離された輝度信号の値から注目した画素が飽
和画素か否か判定する画素判定手段と、前記画素判定手
段により飽和画素と判定された注目画素の色差信号値を
周囲の画素の色差信号値との急峻な変化を緩和化させ、
歪みを抑圧する色差信号歪み抑圧手段と、前記色差信号
歪み抑圧手段による歪み抑圧処理された色差信号及び、
前記輝度信号を符号化して出力する変換符号化手段とを
具備することを特徴とする画像信号符号化装置。
【請求項２】　　符号化されて入力される画像データを
輝度信号と色差信号に復号する復号化手段と、前記復号
化手段により復号された輝度信号の値から注目した画素
が飽和画素か否か判定する画素判定手段と、前記画素判
定手段により飽和画素と判定された注目画素の色差信号
値を適当な値に変更する信号値変更手段と、前記信号値
変更手段からの出力の色差信号及び、前記輝度信号とを
合成して画像信号として出力する合成化手段とを具備す
ることを特徴とする画像信号復号化装置。