JP2014238657A - 空間・階調削減装置及びプログラム - Google Patents

空間・階調削減装置及びプログラム Download PDF

Info

Publication number
JP2014238657A
JP2014238657A JP2013120010A JP2013120010A JP2014238657A JP 2014238657 A JP2014238657 A JP 2014238657A JP 2013120010 A JP2013120010 A JP 2013120010A JP 2013120010 A JP2013120010 A JP 2013120010A JP 2014238657 A JP2014238657 A JP 2014238657A
Authority
JP
Japan
Prior art keywords
gradation
reduction
space
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013120010A
Other languages
English (en)
Other versions
JP6190170B2 (ja
Inventor
康孝 松尾
Yasutaka Matsuo
康孝 松尾
境田 慎一
Shinichi Sakaida
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2013120010A priority Critical patent/JP6190170B2/ja
Publication of JP2014238657A publication Critical patent/JP2014238657A/ja
Application granted granted Critical
Publication of JP6190170B2 publication Critical patent/JP6190170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】効率的且つ高精度に空間・階調削減画像を得る。【解決手段】空間・階調削減装置1は、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部10と、階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj?k枚(但し、j?k≧2)の空間・階調削減画像を生成する空間縮小部20と、j?k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部30と、を備える。【選択図】図2

Description

本発明は、原画像の解像度(標本化周波数)の縮小(空間縮小)及び階調数の削減(階調削減)を行い、空間・階調削減画像を生成する空間・階調削減装置及びプログラムに関する。
従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である(非特許文献1及び2参照)。
その他、空間縮小した後でRGB空間からYIQ空間へ変換後、量子化及び符号化を行うことを特徴とし、色空間をRGBからYIQに変換することで,人の目につきにくい色差成分等の情報量を削減する方法が知られている(特許文献1参照)。
特開平3−267880号公報
S.P.Lloyd, "Least squares quantization in PCM", IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982 J.Max, "Quantizing for minimum distortion", IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960
しかし、原画像の空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要がある。このため、効率的な処理を行うことができず、また、空間縮小処理と階調削減処理とを一元的に最適化することはできなかった。
かかる事情に鑑みてなされた本発明の目的は、効率的且つ高精度に空間・階調削減画像を得ることができる空間・階調削減装置及びプログラムを提供することにある。
上記課題を解決するため、本発明に係る空間・階調削減装置は、原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する空間・階調削減装置であって、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、を備えることを特徴とする。
さらに、本発明に係る空間・階調削減装置において、前記階調削減部は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、を備えることを特徴とする。
さらに、本発明に係る空間・階調削減装置において、前記雑音閾値又は前記グラデーション閾値は、原画像を周波数分解して複数の周波数帯域成分を生成し、該周波数帯域成分を解析することにより決定されることを特徴とする。
さらに、本発明に係る空間・階調削減装置において、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。
さらに、本発明に係る空間・階調削減装置において、前記空間縮小部は、解像度の縮小劣化過程を模擬した関数、又はウェーブレット分解を用いて前記空間縮小画像を生成することを特徴とする。
さらに、本発明に係る空間・階調削減装置において、前記最適化部は、前記原画像に対する空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を選択することを特徴とする。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間・階調削減装置として機能させることを特徴とする。
本発明によれば、効率的且つ高精度に空間・階調削減画像を得ることができるようになる。
本発明に係る空間・階調削減処理の概要を説明する図である。 本発明の第1の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における階調削減部の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における周波数分解部の処理を説明する図である。 本発明の第1の実施形態に係る空間・階調削減装置における雑音除去画像生成部の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における孤立点検出部の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置におけるグラデーション画像生成部の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第1の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第2の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における階調削減初期情報生成部の第3の構成例を示すブロック図である。 本発明の第1の実施形態に係る空間・階調削減装置における空間縮小部の処理例を説明する図である。 本発明の第1の実施形態に係る空間・階調削減装置における最適化部の処理例を説明する図である。 本発明の第2の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。 本発明の第2の実施形態に係る空間・階調削減装置における階調削減部の構成例を示すブロック図である。
まず、本発明の概要について説明する。以下の説明において、原画像を階調削減処理し、且つ空間縮小処理することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。
図1は、本発明に係る空間・階調削減処理の概要を説明する図である。図1に示す例では、「8K×4K解像度、10bit階調」の原画像から「4K×2K解像度、8bit階調」の空間・階調削減画像を生成する際の処理概要を示している。本発明に係る空間・階調削減装置は、原画像をまず階調削減処理して「8K×4K解像度、8bit階調」の複数の階調削減画像を生成する。次に、この複数の階調削減画像を「4K×2K解像度、8bit階調」の画像に空間縮小し、複数の空間・階調削減画像を生成する。そして、原画像を基準として、階調削減処理及び空間縮小処理に用いたパラメータを一元的に最適化し、最適な空間・階調削減画像を選択する。
以下、本発明の実施形態について、詳細に説明する。
(第1の実施形態)
図2は、本発明の第1の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。図2に示すように、空間・階調削減装置1は、階調削減部10と、空間縮小部20と、最適化部30とを備える。
[階調削減部について]
まず、階調削減部10について説明する。階調削減部10は、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20に出力する。階調削減処理は、従来の階調数の単純削減やLloyd-Max法などにより行うことができる。ただし、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、以下に説明するように雑音、グラデーション、又は双方を考慮して階調削減処理を行うのが好適である。
図3は、階調削減部10の構成例を示すブロック図である。図3に示す例では、階調削減部10は、周波数分解部11と、雑音閾値決定部12と、雑音除去画像生成部13と、グラデーション閾値決定部14と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部12及び雑音除去画像生成部13を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部14及びグラデーション画像生成部15を備えないで原画像の雑音のみを考慮するようにしてもよい。
周波数分解部11は、原画像を周波数分解(例えば、ウェーブレットパケット分解)して、複数の周波数帯域成分を生成し、雑音閾値決定部12、雑音除去画像生成部13、グラデーション閾値決定部14、及びグラデーション画像生成部15に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。
図4は、周波数分解部11による空間方向の周波数分解処理を説明する図である。図4では、原画像を空間方向に2階ウェーブレットパケット分解した場合の分解図を示しており、太線は1階ウェーブレットパケット分解の各周波数帯域を示している。図4に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図4に示すように、左上は空間最低周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分)となり、右下は空間最高周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分)となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。
図4では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部131にて原画像の画素単位で孤立点(雑音)を除去することができるようにするために、周波数分解部11はデシメーション無し(すなわち、周波数帯域成分の画像サイズの縮小無し)で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。
雑音閾値決定部12は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合(以下、「空間最高周波数帯域成分の割合」という)を、各要素位置について算出する。そして、雑音閾値決定部12は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部13に出力する。例えば、0%から、空間最高周波数帯域成分の割合の平均値までをa等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が10%、a=5とすると、2%、4%、6%、8%、10%が雑音閾値となる。雑音閾値決定部12により決定された雑音閾値は、補助情報(パラメータ情報)として最適化部30に出力される。
雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び雑音閾値決定部12により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。
図5は、雑音除去画像生成部13の構成例を示すブロック図である。図5に示すように、雑音除去画像生成部13は、孤立点検出部131と、再構成部132とを備える。
孤立点検出部131は、周波数分解部11により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部131は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部131は、雑音閾値決定部12により決定された複数の雑音閾値のうちの1つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Thを超える要素の値を1とし、雑音閾値Th以下の要素の値を0とする2値化画像Bを生成する。
孤立点検出部131は、2値化画像Bの要素値が1である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Thとを比較する。2値化画像Bの判定領域内の要素値の合計値が閾値Thを超える場合には、当該要素は孤立点要素ではないと判定し、2値化画像Bの判定領域内の要素値の合計値が閾値Th以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。
図6は、孤立点検出部131による孤立点判定処理を説明する図である。図6に示す例では、判定領域は3×3要素である。閾値Thを1とすると、2値化画像Bの要素値が1となる要素素の周囲の8要素の要素値が0であるときのみ、2値化画像Bの要素値が1である要素を孤立要素とみなす。よって、閾値Th=1の場合、図中の要素P1は孤立点要素であると判定され、要素P2と要素P3は孤立点要素と判定されない。
そして、孤立点検出部131は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を0とし、再構成部132に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。
再構成部132は、孤立点検出部131から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をn階ウェーブレットパケット再構成する。
グラデーション閾値決定部14は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合(以下、「空間最低周波数帯域成分の割合」という)を、各要素位置について算出する。そして、グラデーション閾値決定部14は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部15に出力する。例えば、空間最低周波数帯域成分の割合の平均値から100%までをb等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が90%、b=5とすると、90%、92%、94%、96%、98%がグラデーション閾値となる。グラデーション閾値決定部14により決定されたグラデーション閾値は、補助情報として最適化部30に出力される。
グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及びグラデーション閾値決定部14により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。
図7は、グラデーション画像生成部15の構成例を示すブロック図である。図7に示すように、グラデーション画像生成部15は、グラデーション領域検出部151と、再構成部152とを備える。
グラデーション領域検出部151は、周波数分解部11により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部151は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部151は、グラデーション閾値決定部14により決定された複数のグラデーション閾値のうちの1つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部152に出力する。
再構成部152は、グラデーション領域検出部151から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をn階ウェーブレット再構成する。
階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率(階調削減ビット数)に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。
図8は、階調削減初期情報生成部16の構成例を示すブロック図である。図8に示すように、階調削減初期情報生成部16は、ヒストグラム生成部161と、重み付け部162と、階調変換テーブル生成部163とを備える。
ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。
重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部17に出力する。例えば、グラデーション画像の階調値の度数を、所定の1を超える値(例えば、1.2)を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部17にて階調削減を行う際に、グラデーション領域により多くの階調を割り当てることができる。
階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成し、階調決定部17に出力する。階調変換テーブルは、原画像の色深度がnビット(階調数2)、階調削減ビット数がmビットの場合、nビットを(n−m)ビットに線形変換する階調変換テーブルである。
図9は、階調削減部10がグラデーション閾値決定部14及びグラデーション画像生成部15を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。
図10は、階調削減部10が雑音閾値決定部12及び雑音除去画像生成部13を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。
階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部17は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。
また、階調決定部17は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部30に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。
雑音除去画像生成部13は、雑音閾値決定部12により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部15は、グラデーション閾値決定部14により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部12により決定された雑音閾値がa個、グラデーション閾値決定部14により決定されたグラデーション閾値がb個の場合には、階調削減初期情報生成部16によりa×b種類の訓練データが生成され、階調決定部17によりj=a×b枚の階調削減画像(階調削減画像群)が生成される。
[空間縮小部について]
次に、空間縮小部20について説明する。空間縮小部20は、階調削減部10により生成されたj枚の階調削減画像をそれぞれk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成し、最適化部30に出力する。
図11は、空間縮小部20の構成例を示すブロック図である。図11に示す例では、空間縮小部20は、平滑化部21と、縮小部22とを備える。
平滑化部21は、階調削減画像群をそれぞれ平滑化処理して平滑化画像群を生成し、縮小部22に出力する。平滑化は、解像度の縮小劣化過程(ぼやけ)を模擬した関数を用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数(PSF:Point spread function)又はガウシアン関数を用いることができる。平滑化部21は、タップ数、分散値、ゲイン情報などを変更したk個の関数(パラメータ)を用いて平滑化処理を行う。また、平滑化部21は、用いた関数のタップ数、分散値、ゲイン情報を、補助情報として最適化部30に出力する。
縮小部22は、平滑化部21により生成された平滑化画像群をそれぞれ目標解像度になるように空間縮小処理し、空間・階調削減画像群を生成し、最適化部30に出力する。空間縮小処理は、単純間引きにより行ってもよいし、平滑化画像を目標解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調削減画像としてもよい。ウェーブレット分解を行った場合には、そのフィルタの情報も補助情報として最適化部30に出力される。
[最適化部について]
次に、最適化部30について説明する。最適化部30は、空間縮小部20により生成されたj×k枚(但し、j×k≧2)の空間・階調削減画像から、原画像と比較して最も劣化の少ない(最も差分の少ない)画像を選択して出力する。例えば、原画像とパワースペクトルの概形、ヒストグラムの概形、又はその両者の概形が最も近い画像を最も劣化の少ない画像とすることができる。また、最適化部30は、階調削減部10及び空間縮小部20により生成された補助情報を入力し、選択した空間・階調削減画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び空間・階調削減画像を用いて、元の原画像を復元することができるようになる。
図12は、最適化部30の処理の一例を説明する図である。図12に示す例では、最適化部30は、原画像に対する各空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を最も劣化の少ない画像として選択する。
具体的には、最適化部30は、パワースペクトル差分値を算出するために、原画像及び空間・階調削減画像群をそれぞれn階ウェーブレット分解する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各n階帯域のRMS(Root Mean Square)パワー値の差分合計値のα倍の値を算出する。なお、図12では空間・階調削減画像の水平方向の解像度が原画像の1/2倍の場合を示している。
また、最適化部30は、ヒストグラム差分値を算出するために、原画像及び空間・階調削減画像群のヒストグラムを求め、各ヒストグラムのレベルをmレベルに量子化する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各mレベルの頻度の差合計値のβ倍の値を計算する。なお、図12では空間・階調削減画像の階調数が原画像の1/4倍の場合を示している。ここで、α及びβは外部から設定可能であり、空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与えることができる。
最後に、最適化部30は、パワースペクトル差分値及びヒストグラム差分値の和をパワースペクトル・ヒストグラム差分値として算出し、この値が最小となる空間・階調削減画像を選択する。
以上説明したように、空間・階調削減装置1は、階調削減部10により原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20によりj枚の階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する。そして、最適化部30によりj×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する。このため、空間・階調削減装置1によれば、階調削減処理と空間縮小処理とを個別に行う場合よりも、効率的且つ高精度に空間・階調削減画像を得ることができる。
また、前記階調削減部10は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部(雑音除去画像生成部13又はグラデーション画像生成部15)と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したj枚の階調削減画像を生成する階調決定部17と、を備えるのが好適である。雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。
なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部13によりa個の雑音閾値を用いて、原画像から孤立点を除去したa枚の雑音除去画像を生成し、b個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるb枚のグラデーション画像を生成し、階調決定部17によりj=a×b枚の階調削減画像を生成する。
(第2の実施形態)
次に、本発明による第2の実施形態について説明する。図13は、本発明の第2の実施形態に係る空間・階調削減装置の構成を示すブロック図である。図13に示すように、空間・階調削減装置2は、階調削減閾値決定部40と、階調削減部100と、空間縮小部20と、最適化部30とを備える。第2の実施形態の空間・階調削減装置2は、第1の実施形態の空間・階調削減装置1と比較して、階調削減閾値決定部40を更に設けて、第1の実施形態の空間・階調削減装置1と異なる方法で階調削減時の閾値を決定する。空間縮小部20及び最適化部30については第1の実施形態と同一であるため、説明を省略する。
階調削減閾値決定部40は、空間縮小率及び/又は階調削減率に基づいて、雑音閾値及び/又はグラデーション閾値を決定し、階調削減部100に出力する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。
階調削減閾値決定部40は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表1に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表1では、N<N<N<N、G<G<G<Gとする。
Figure 2014238657
表1の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が1/2、階調削減率が1/8の場合に表1を用いて雑音閾値N及びグラデーション閾値Gを求めると、N=(αN+βN)/2、G=(αG+βG)/2となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。
図14は、階調削減部100の構成例を示すブロック図である。図14に示す例では、階調削減部10は、周波数分解部11と、雑音除去画像生成部13と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。各構成部の詳細な処理内容は第1の実施形態で説明した通りであるため、ここでは概略のみ述べる。
雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。
グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。
階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。
階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。また、階調決定部17は逆量子化テーブルを生成し、補助情報として最適化部30に出力する。
以上説明したように、空間・階調削減装置2は、階調削減閾値決定部40を更に備え、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、空間・階調削減装置2によれば、第1の実施形態の空間・階調削減装置1と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。
なお、上述した空間・階調削減装置1,2として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、空間・階調削減装置1,2の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。
1,2 空間・階調削減装置
10 階調削減部
11 周波数分解部
12 雑音閾値決定部
13 雑音除去画像生成部
14 グラデーション閾値決定部
15 グラデーション画像生成部
16 階調削減初期情報生成部
17 階調決定部
20 空間縮小部
21 平滑化部
22 縮小部
30 最適化部
40 階調削減閾値決定部
100 階調削減部
131 孤立点検出部
132 再構成部
151 グラデーション領域検出部
152 再構成部
161 ヒストグラム生成部
162 重み付け部
163 階調変換テーブル生成部

Claims (7)

  1. 原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する空間・階調削減装置であって、
    原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、
    前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、
    前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、
    を備えることを特徴とする空間・階調削減装置。
  2. 前記階調削減部は、
    j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、
    前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、
    を備えることを特徴とする請求項1に記載の空間・階調削減装置。
  3. 前記雑音閾値又は前記グラデーション閾値は、原画像を周波数分解して複数の周波数帯域成分を生成し、該周波数帯域成分を解析することにより決定されることを特徴とする、請求項2に記載の空間・階調削減装置。
  4. 前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
    前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする、請求項2に記載の空間・階調削減装置。
  5. 前記空間縮小部は、解像度の縮小劣化過程を模擬した関数、又はウェーブレット分解を用いて前記空間縮小画像を生成することを特徴とする、請求項1から4のいずれか一項に記載の空間・階調削減装置。
  6. 前記最適化部は、前記原画像に対する空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を選択することを特徴とする、請求項1から5のいずれか一項に記載の空間・階調削減装置。
  7. コンピュータを、請求項1から6のいずれか一項に記載の空間・階調削減装置として機能させるためのプログラム。
JP2013120010A 2013-06-06 2013-06-06 空間・階調削減装置及びプログラム Active JP6190170B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013120010A JP6190170B2 (ja) 2013-06-06 2013-06-06 空間・階調削減装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120010A JP6190170B2 (ja) 2013-06-06 2013-06-06 空間・階調削減装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014238657A true JP2014238657A (ja) 2014-12-18
JP6190170B2 JP6190170B2 (ja) 2017-08-30

Family

ID=52135789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120010A Active JP6190170B2 (ja) 2013-06-06 2013-06-06 空間・階調削減装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6190170B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174933A (ja) * 2018-03-27 2019-10-10 日本放送協会 画像雑音除去装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288585A (ja) * 2002-03-27 2003-10-10 Fuji Photo Film Co Ltd 減色処理装置及び減色処理方法
JP2011228974A (ja) * 2010-04-21 2011-11-10 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288585A (ja) * 2002-03-27 2003-10-10 Fuji Photo Film Co Ltd 減色処理装置及び減色処理方法
JP2011228974A (ja) * 2010-04-21 2011-11-10 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松尾 康孝,外3名: "パラメータ最適化を伴う階調削減と階調復元を用いた超高精細映像符号化の検討", 画像符号化シンポジウム(PCSJ2012) 第27回シンポジウム資料 THE PROCEEDINGS OF THE 27TH PI, JPN6017015364, 2012, JP, pages 7 - 8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174933A (ja) * 2018-03-27 2019-10-10 日本放送協会 画像雑音除去装置及びプログラム
JP7057694B2 (ja) 2018-03-27 2022-04-20 日本放送協会 画像雑音除去装置及びプログラム

Also Published As

Publication number Publication date
JP6190170B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
US9118345B2 (en) Data compression profiler for configuration of compression
Rahman et al. Tripartite sub-image histogram equalization for slightly low contrast gray-tone image enhancement
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
JP2006295877A5 (ja)
Lee et al. Two-stage false contour detection using directional contrast and its application to adaptive false contour reduction
Sonker et al. Comparison of histogram equalization techniques for image enhancement of grayscale images of dawn and dusk
Ernawan et al. The optimal quantization matrices for JPEG image compression from psychovisual threshold
Maragatham et al. Contrast enhancement by object based histogram equalization
JP2014146988A (ja) 動画像符号化装置
JP6174903B2 (ja) 空間・階調超解像装置及びプログラム
JP6190170B2 (ja) 空間・階調削減装置及びプログラム
JP2015132930A (ja) 空間超解像・階調補間装置及びプログラム
JP2018174470A (ja) 雑音除去装置及びプログラム
KR102401783B1 (ko) 영상 디스플레이 장치 및 그 제어 방법
JP5878785B2 (ja) 階調削減装置及びプログラム
JP5934031B2 (ja) 階調削減装置及びプログラム
CN103793892B (zh) 图像处理装置和图像处理方法
Taujuddin et al. Progressive Pixel-to-Pixel Evaluation to Obtain the Hard and Smooth Region for Image Compression
JP5837844B2 (ja) 擬似輪郭領域検出装置及びプログラム
JP6163022B2 (ja) 符号化装置及びプログラム
JP6030896B2 (ja) 階調削減装置及びプログラム
Agarwal Bit planes histogram equalization for tone mapping of high contrast images
KR101854611B1 (ko) 엔트로피를 이용한 가중치 할당에 기초한 이미지 처리 방법
JP6388476B2 (ja) 符号化装置及びプログラム
JP6101009B2 (ja) 階調削減符号化装置、階調復元復号装置及びそれらのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250