JP3955910B2 - 画像信号処理方法 - Google Patents

Description

本発明は、画像信号処理方法に関し、詳しくは画像障害を起こすことなく画像圧縮率を上げる画像信号処理方法に関する。

従来、デジタル画像の普及は、目を見張るものがあり、携帯電話、インターネット等で１日に送信される画像は膨大な情報量となる。この送受信をストレスなく行うため種々の画像圧縮符号化法が開発された。

これらをまとめて世界標準としたのが、静止画ではＪＰＥＧ（特許文献１）、動画ではＭＰＥＧである。これらは安定性、効率の観点から選ばれたもので複数の手法を組み合わせたものである。このうち最も多用されている手法がＤＣＴ・サブブロック符号化法である。

これは殆どのデジタルカメラに内蔵されており、圧縮効率も高く安定性に優れた手法である。

しかしこれは圧縮率を上げると不自然なノイズブロックが現れる。このデジタル特有の劣化は視覚的に大きな画質障害となる。
米国特許第４６９８６７２号

本発明者は、現在の圧縮率よりもさらに１／４の圧縮率を、画質障害を起こすことなく実現できる方法の開発を試み、同じ情報量で４倍の情報が送信できることになり、インターネットや携帯電話における膨大な情報量の送信ニーズに応えることが出来る画像信号処方法を完成し、本発明に至った。この発明はこの業界の市場にインパクトを与える非常に画期的なものである。

本発明の課題は、圧縮画像を作成する際、画質障害を起こすことなく、圧縮率を大幅に上げる画像信号処理方法を提供することにある。

本発明の他の課題は以下の記載によって明らかとなる。

上記課題は、以下の発明によって解決される。

（請求項１）
２以上の自然数であるＮに対してＮ×Ｎ画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第１の画像、第２の画像・・・第ｎの画像（ｎ＝Ｎ ^２ ）からなる複数の画像に分解し、複数の分解画像を取得する第１の工程と、
前記第１の工程で取得した複数の分解画像のうち、第１の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第２の工程と、
前記第１の工程で取得した複数の分解画像のうち、第１の画像以外の複数の分解画像から前記第２の工程で取得したエッジ位置情報と同一位置の画素値である前記Ｎ×Ｎ画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第３の工程とを有することを特徴とする画像信号処理方法。

（請求項２）
２以上の自然数であるＮに対してＮ×Ｎ画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第１の画像、第２の画像・・・第ｎの画像（ｎ＝Ｎ ^２ ）からなる複数の画像に分解し、複数の分解画像を取得する第１の工程と、
前記第１の工程で取得した複数の分解画像のうち、第１の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第２の工程と、
前記第１の工程で取得した複数の分解画像のうち、第１の画像以外の複数の分解画像から前記第２の工程で取得したエッジ位置情報と同一位置の画素値である前記Ｎ×Ｎ画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第３の工程と、
前記第１の工程で取得した複数の分解画像のうち、第１の画像から前記第１の画像以外の複数の分解画像のエッジ位置情報に対応する画素の推定画素値をそれぞれ推定算出し、エッジ位置に対応する推定画素値を取得する第４の工程と、
前記第４の工程で取得したエッジ位置に対応する推定画素値と、前記第３の工程で取得したエッジ位置に対応する画素値との差分を算出し、エッジ位置に対応する差分値を取得する第５の工程とを有することを特徴とする画像信号処理方法。

本発明によれば、圧縮画像を作成する際、画質障害を起こすことなく、圧縮率を大幅に上げる画像信号処理方法を提供できる。

以下、本発明の好ましい実施の形態について説明する。

図１は、本発明の画像信号処理方法を実施する画像信号処理装置の一例を示す機能ブロック図であり、同図において、１は入力部、２は画像処理部、３は符号化処理部、４は伝送部、５は復号化処理部、６は出力部である。

入力部１は、カメラなどの撮影手段を用いることができる。カメラにより人物の顔や顔写真のような被写体を、撮像レンズを介して撮影し、ＣＣＤ（撮像素子）の撮像面上に結像し、ＣＣＤにより結像された光学像を画素単位で光量に応じた信号電荷に光電変換され、光電変換された信号はＡ／Ｄ変換器によりデジタル信号に変換される。

画像処理部２は、入力画像処理部と出力画像処理部に分けられ、入力画像処理部は、分解処理部２００、エッジ位置情報取得部２０１、画素値取得部２０２、画素値推定算出部２０３、差分値算出部２０４を少なくとも備えている。

分解処理部２００は、Ｎ×Ｎ画素の引き続くブロックからなる原画像信号を各ブロックの同一位置の画素を取り出して第１の画像、第２の画像・・・第ｎの画像からなる複数の画像に分解する。

本実施例では２×２画素の引き続くブロックからなる原画像信号を４分解する例について説明する。従って、原画像は第１の画像、第２の画像、第３の画像、第４の画像に分解される。

エッジ位置情報取得部２０１は、前記分解処理部２００で分解された画像のうち、第１の画像からエッジ位置を検出し、そのエッジ位置情報を取得する。取得したエッジ位置情報は、図示しないメモリーに一時的に保存する。

本発明では、画像の平坦部とエッジ部のうち、エッジ部位置のみを検出する点に特徴がある。エッジ部は画像の輪郭を表し、人間の目が敏感に反応する個所だからである。

画素値取得部２０２は、前記分解処理部２００で分解された画像のうち、前記第１の画像以外の画像、具体的には第２の画像、第３の画像、第４の画像から前記エッジ位置情報取得部２０１により取得したエッジ位置情報に対応した画素値をそれぞれの画像から取得する。取得した画素値は、図示しないメモリーに一時的に保存する。

画素値推定算出部２０３は、前記エッジ位置情報取得部２０１により取得したエッジ位置情報に対応する第１の画像以外の画像、具体的には第２の画像、第３の画像、第４の画像の画素値を第１の画像から推定算出する。推定算出の手法については、後述の処理フローで詳述する。推定算出された画素値は、図示しないメモリーに一時的に保存する。

差分値算出部２０４は、前記画素値推定算出部２０３で推定算出した画素値と、前記画素値取得部２０２により取得した画素値との差分値を算出する。

本発明では、図３に示すように、エッジ位置情報取得部２０１で取得したエッジ位置情報と、差分値算出部２０４で算出された差分値を関連付けてテーブルに保存することも好ましいことである。

前記符号化処理部３は、該差分値算出部２０４で算出された差分値と、前記分解処理部２００で分解された第１の画像とを取得して圧縮処理して処理データを生成する。圧縮処理の手法は後述する。

前記復号化処理部５は、前記符号化処理部３から伝送部４を介して伝送された前記処理データを符号化処理部３と同じルールに基づいて伸長する。ここで同じルールというのは、符号化手法と逆手法（可逆変換）を意味している。

前記画像処理部２における出力画像処理部は、推定画像作成部２０５と加算処理部２０６と復元画像生成部２０７とを少なくとも備えている。

推定画像作成部２０５は、前記復号化処理部５で伸長されたデータのうち、第１の画像から該第１の画像以外の画像、具体的には第２の画像、第３の画像、第４の画像に相当する画像を推定・作成する。

加算処理部２０６は、前記推定画像作成部２０５で作成された画像に、前記伸長されたデータのうちの差分値を前記作成された画像のエッジに加算する。

復元画像生成部２０７は、該加算処理部２０６で加算された画像と前記伸長された第１の画像を合成して、復元画像を作成する。

伝送部４としては、例えば伝送路や蓄積装置などを用いることができ、伝送路としては通信回線などが挙げられ、蓄積装置としてはハードディスクなどの補助記憶装置などが挙げられる。

出力部６は復元画像の出力部であり、例えばディスプレイを用いることができる。

次に、図２のフローチャートに基づいて本発明の画像信号処理方法の一例を説明する。

まず、図１に示す分解処理部２００で、画像分解工程を行う（Ｓ１）。ここでは図４に示す原画像を４分解して図５（ａ）〜図５（ｄ）の分解画像を得た場合の例で説明する。

原画像をｆ（ｉ，ｊ）とし、４分解した画像をＦ_１（ｍ，ｎ）、Ｆ_２（ｍ，ｎ）、Ｆ_３（ｍ，ｎ）、Ｆ_４（ｍ，ｎ）とした時の、画像を下記数式で示す。

（数１）
Ｆ_１（ｍ，ｎ）＝ｆ（２ｍ，２ｎ）・・・・・・・（１）
Ｆ_２（ｍ，ｎ）＝ｆ（２ｍ，２ｎ＋１）・・・・・（２）
Ｆ_３（ｍ，ｎ）＝ｆ（２ｍ＋１，２ｎ）・・・・・（３）
Ｆ_４（ｍ，ｎ）＝ｆ（２ｍ＋１，２ｎ＋１）・・・（４）
（ｍ＝０，１，２，… ｉ／２、ｎ＝０，１，２，… ｊ／２）

すなわち、原画像ｆ（ｉ，ｊ）をすべて２×２画素の引き続くブロックと考えて、各ブロックから０行０列目の画素だけ取り出して作った画像がＦ_１（ｍ，ｎ）、０行１列目の画素のみから作られた画像がＦ_２（ｍ，ｎ）、１行０列目の画素から作られる画像がＦ_３（ｍ，ｎ）、残りの画素（１行１列目）から作られる画像がＦ_４（ｍ，ｎ）である。

図５（ａ）〜図５（ｄ）に示す分解画像Ｆ_１〜Ｆ_４は、図４に示す原画像に対して１／２×１／２画素の画像となる。

つまりＦ_１〜Ｆ_４は、原画像に対して１／４のサイズの画像となる。一見すべてが同じように見える画像であるが、これらはすべて１画素分だけシフトした画像であり、微妙な差が存在する。

一般に、原画像ｆ（ｉ，ｊ）のサイズが大きければ大きいほど、分解画像Ｆ_１〜Ｆ_４の差は小さくなる。例えば、原画像が５１２×５１２画素の画像だとした場合、分解画像Ｆ_１〜Ｆ_４はそれぞれ２５６×２５６画素の画像になる。

次に、図１に示すエッジ位置情報取得部２０１で、エッジ情報取得工程を行う（Ｓ２）。この工程は、４分解した画像の一つ、例えばＦ_１（ｍ，ｎ）画像からエッジ部（画像輪郭部）を検出して取得する工程である。

エッジ部を検出する手法としては、ラプラシアンフィルタやゾーベル、プレビッツフィルタ等があるが、ここではラプラシアンフィルタを用いて、エッジ部を検出する。

図６には、図５（ａ）をラプラシアンフィルタにより検出したエッジ部が示されている。なお、図６は、ラプラシアンフィルタリング後の数値を閾値処理し、二値化した画像の例である。

このエッジ部は、図５（ａ）〜（ｄ）のどのエッジ部も非常によく似ており、同じ手法で得られたエッジ部はほぼ同一場所となる。

即ち、このことは分解画像Ｆ_２〜Ｆ_４のエッジ部や平坦部の位置情報は分解画像Ｆ_１から得られるということになる。

ここで、ラプラシアンフィルタとは、画像エッジ検出や先鋭化に用いられるフィルタリング処理方法で、その計算は２次微分を用いた方法で計算される。中心画素に対して近傍画素を以下のように係数をふってそれぞれ乗算して和を出す手法である。図７には４方向に対して行った場合、図８には８方向に対して行った場合の例が示されている。

次に、図１に示す画素値取得部２０２で、エッジ部の画素値取得工程を行う（Ｓ３）。この工程は、前記Ｓ２の処理により取得したエッジ部の位置情報を、前記Ｓ１の処理により分解された画像Ｆ_２、Ｆ_３、Ｆ_４に対応するエッジ部の位置の画素値を取得する。

本発明の画像信号処理方法の第１の特徴は、以上のＳ１〜Ｓ３までの工程を少なくとも備えていることである。

以上のＳ１〜Ｓ３までの工程を備えていれば、従来のＪＰＥＧ基本方式を採用しても、画質障害を起こすことなく、圧縮率を大幅に上げることが可能となり、また画像の復元以外にも利用可能である。

次に本発明の画像信号処理方法の第２の特徴について説明する。第２の特徴は上記Ｓ１〜Ｓ３の処理に続いて、以下の処理を行うことである。

即ち、上記Ｓ１〜Ｓ３の処理に続いて、図１に示す画素値推定算出部２０３で、エッジ部の画素値推定工程を行う（Ｓ４）。この工程は、分解工程により分解されたＦ_１以外の画像をＦ_１から推定してエッジ部の画素値を推定算出する工程である。本発明の例では４分解した場合の処理方法であるため、１つの画像をＦ_１（ｍ,ｎ）としたとき、推定画素は、Ｆ´_２（ｍ,ｎ）, Ｆ´_３（ｍ,ｎ）, Ｆ´_４（ｍ,ｎ）とする。

このとき、推定画像は以下のような数式により算出することができる。

（数２）
Ｆ´_２（ｍ,ｎ）＝（Ｆ_１（ｍ，ｎ）＋Ｆ_１（ｍ，ｎ＋１））／２
＝（ｆ（２ｍ，２ｎ）＋ｆ（２ｍ，２ｎ＋２））／２・・・（５）
Ｆ´_３（ｍ,ｎ）＝（Ｆ_１（ｍ，ｎ）＋Ｆ_１（ｍ＋１，ｎ））／２
＝（ｆ（２ｍ，２ｎ）＋ｆ（２ｍ＋２，２ｎ））／２・・・（６）
Ｆ´_４（ｍ,ｎ）＝（Ｆ_１（ｍ，ｎ）＋Ｆ_１（ｍ，ｎ＋１）＋Ｆ_１（ｍ＋１，ｎ）＋Ｆ_１（ｍ＋１，ｎ＋１））／４
＝（ｆ（２ｍ，２ｎ）＋ｆ（２ｍ，２ｎ＋２）＋ｆ（２ｍ＋２，２ｎ）＋ｆ（２ｍ＋２，２ｎ＋２））／４・・・（７）

上記算出された式により、全てＦ_１の画像により推定することができるということがわかる。ここでは、エッジ部位置の画素値を推定すれば足りる。

なお、本発明では、Ｓ３とＳ４の処理はいずれを先に行ってもよい。

次に、図１に示す差分値算出部２０４で、差分値算出工程を行う（Ｓ５）。この工程は、前記Ｓ３とＳ４の処理によりそれぞれ取得した画素値の差分値を算出する工程である。

この工程では、エッジ部とエッジ部以外の部分（平坦部）を考えたとき、Ｓ３の処理において、推定値のみで画像を表現した場合には、エッジ部も平坦部も推定値から求められてしまい、画像の劣化が激しくなってしまうため、エッジ部に関してだけは、推定値ではなく真値を用いることにしている点が特徴である。即ち、本発明において、このＳ５の処理を行うことにより、本発明の課題である画像劣化をなくすことが可能となる。

エッジ部は、以下の数式により算出することができる。

（数３）
Ｄ_２（ｍ，ｎ）＝Ｆ_２（ｍ，ｎ）−Ｆ´_２（ｍ，ｎ）・・・（８）
Ｄ_３（ｍ，ｎ）＝Ｆ_３（ｍ，ｎ）−Ｆ´_３（ｍ，ｎ）・・・（９）
Ｄ_４（ｍ，ｎ）＝Ｆ_４（ｍ，ｎ）−Ｆ´_４（ｍ，ｎ）・・・（１０）

ここで、ｍ，ｎとしては、エッジ位置情報取得工程により取得した位置情報が用いられる。

算出されたＤ_２、Ｄ_３、Ｄ_４は、図３に示すようなテーブルに、エッジ位置ｍ、ｎと関連付けて保存することもできる。

またこのＤ_２〜Ｄ_４の値は、バラツキが小さな値であるため、圧縮しやすい形になる。

以上のＳ５までの処理を行うのが、本発明の第２の特徴である。かかるＳ１〜Ｓ５までの処理を行うことにより、画質障害を起こすことなく、圧縮率を大幅に上げる効果が更に向上する。またこのＳ１〜Ｓ５までの処理を行って得られたデータを画像の復元以外にも利用できる

次に、本発明の画像信号処理方法の第３の特徴について説明する。第３の特徴は上記Ｓ１〜Ｓ５処理に続いて、以下の処理を行うことである。

即ち、上記Ｓ１〜Ｓ５処理に続いて、図１に示す符号化処理部３において、圧縮工程を行う（Ｓ６）。この工程は、Ｓ１の処理で分解された画像のうち、Ｆ_１画像と、Ｓ５の処理で算出された差分値を伝送に適した状態にする工程である。

Ｆ_１画像は、復元画像の要となる画像であるため、劣化が少ない圧縮が必要である。

例えば、Ｆ_１画像をＤＣＴ変換した後、エントロピー符号化で符号化して送るようにする。この場合、ほぼ可逆変換となるため、復号した場合、画像の劣化がなくなる。このため、本発明のＦ_１画像を伝送する際に好ましい圧縮手法となる。

また、差分値の圧縮においては、差分値を１次元数列に構成することが好ましい。例えば、エッジ位置情報に対応する差分値Ｄ_２を上から下に走査して１次元数列を構成する。この構成された数列を１次元ＤＣＴにより符号化しやすい形に変換する。変換されたものを符号化する。符号化する過程で、ＤＣＴ係数の出現確率を計測し、エントロピーテーブルを基に対応する符号を割り当てる。これにより、圧縮された処理データが出来上がる。

次に、圧縮された処理データを伝送部４（図１参照）で伝送する（Ｓ７）。また、このとき伝送路でなく蓄積装置を用いた場合は、例えばハードディスクに記憶しておくことが好ましい。

次に、図１に示す復号化処理部５で、伸長工程を行う（Ｓ８）。この工程は、Ｓ６の処理で圧縮された処理データを圧縮された方法により、伸長する。伸長に際しては、前記処理データを符号化処理部３で圧縮するのと同じルールに基づいて伸長する。ここで同じルールというのは、符号化手法と逆手法（可逆変換）を採用することを意味している。

次に、図１に示す推定画像作成部２０５で、画像推定工程を行う（Ｓ９）。この工程は、Ｓ８の処理で伸長されたデータのうち、Ｆ_１画像を基に、式（５）、（６）、（７）の手法により画像を推定する処理を行う。

これにより、分解された画像のうち、Ｆ_１以外の画像を推定し、推定画像Ｆ´_２, Ｆ´_３, Ｆ´_４が作成される。

次に、図１に示す加算処理部２０６で、差分値加算工程を行う（Ｓ１０）。この工程は、Ｓ９の処理により作成された推定画像Ｆ´_２, Ｆ´_３, Ｆ´_４に、前記伸長されたデータのうち、差分値のデータを加算する。

つまり、Ｆ´_２にはＤ_２を加算し、Ｆ´_３にはＤ_３を加算し、Ｆ´_４にはＤ_４を加算する。エッジ部については、原画像とほぼ同様な鮮明さを持つように処理する。

次に、図１に示す復元画像生成部２０７で、画像復元を行う（Ｓ１１）。この工程は、Ｆ_１画像と、Ｓ１０の処理により加算された３つの画像を合成し、復元画像を構成するものである。

この復元画像の例を図９（ａ）に示す。図９（ａ）には、本発明を用いた復元画像、図９（ｂ）には、同一ビットレートの場合のＪＰＥＧ手法を用いた復元画像、図９（ｃ）には、同一ノイズでの復元画像が示されている。図９（ａ）は、ビットレート１画素当り０．５ビット、ノイズ値（ＳＮ）＝３０ｄＢという結果であった。これに対し、図９（ｂ）は、ビットレート１画素当り０．５ビット、ノイズ値（ＳＮ）＝２６ｄＢという結果であり、図９（ｃ）は、ビットレート１画素当り１．７、ノイズ値（ＳＮ）＝３０ｄＢという結果であった。

つまり、同一ビットレート（圧縮率を同じにすること）の場合の復元画像では、本発明による復元画像とＪＰＥＧによる復元画像では、ＪＰＥＧ手法による復元画像のほうがノイズが目立つ。また、ＪＰＥＧ手法による復元画像のノイズを同一にしようとすると、ビットレートを上げなくてはならない（圧縮率を下げなければならない）。

本発明の画像信号処理方法を実施する画像信号処理装置の一例を示す機能ブロック図 本発明の画像信号処理方法の一例を説明するフローチャート エッジ位置とＤ_２、Ｄ_３、Ｄ_４を対応させたテーブル例を示す図 原画像の例を示す図 （ａ）〜（ｄ）は原画像を４分解して得られた分解画像の例を示す図 ラプラシアンフィルタリング後の数値を閾値処理し、二値化した画像の例を示す図 ラプラシアンフィルタリングを４方向に対して行った場合を示す例を示す図 ラプラシアンフィルタリングを８方向に対して行った場合を示す例を示す図 （ａ）は本発明を用いた復元画像、（ｂ）は同一ビットレートの場合のＪＰＥＧ手法を用いた復元画像、（ｃ）は同一ノイズの場合のＪＰＥＧ手法を用いた復元画像の例を示す図

符号の説明

１：入力部
２：画像処理部
２００：分解処理部
２０１：エッジ位置情報取得部
２０２：画素値取得部
２０３：画素値推定算出部
２０４：差分値算出部
２０５：推定画像作成部
２０６：加算処理部
２０７：復元画像生成部
３：符号化処理部
４：伝送部
５：復号化処理部
６：出力部

Claims (2)

1. ２以上の自然数であるＮに対してＮ×Ｎ画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第１の画像、第２の画像・・・第ｎの画像（ｎ＝Ｎ ^２ ）からなる複数の画像に分解し、複数の分解画像を取得する第１の工程と、
   前記第１の工程で取得した複数の分解画像のうち、第１の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第２の工程と、
   前記第１の工程で取得した複数の分解画像のうち、第１の画像以外の複数の分解画像から前記第２の工程で取得したエッジ位置情報と同一位置の画素値である前記Ｎ×Ｎ画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第３の工程とを有することを特徴とする画像信号処理方法。
2. ２以上の自然数であるＮに対してＮ×Ｎ画素の引き続くブロックからなる入力された原画像信号を各ブロックの同一画素を取り出して第１の画像、第２の画像・・・第ｎの画像（ｎ＝Ｎ ^２ ）からなる複数の画像に分解し、複数の分解画像を取得する第１の工程と、
   前記第１の工程で取得した複数の分解画像のうち、第１の画像からエッジ位置を検出し、そのエッジ位置情報を取得する第２の工程と、
   前記第１の工程で取得した複数の分解画像のうち、第１の画像以外の複数の分解画像から前記第２の工程で取得したエッジ位置情報と同一位置の画素値である前記Ｎ×Ｎ画素のブロックから抽出した画素値をそれぞれ得て、エッジ位置に対応する画素値を取得する第３の工程と、
   前記第１の工程で取得した複数の分解画像のうち、第１の画像から前記第１の画像以外の複数の分解画像のエッジ位置情報に対応する画素の推定画素値をそれぞれ推定算出し、エッジ位置に対応する推定画素値を取得する第４の工程と、
   前記第４の工程で取得したエッジ位置に対応する推定画素値と、前記第３の工程で取得したエッジ位置に対応する画素値との差分を算出し、エッジ位置に対応する差分値を取得する第５の工程とを有することを特徴とする画像信号処理方法。