JP2016076168A - 超解像装置及びプログラム - Google Patents

Abstract

【課題】画像の解像度を向上する超解像装置及びプログラムを提供する。
【解決手段】第一補間処理部は、入力画像を補間して画素数を増加し、補間画像を生成する。高域抽出処理部は入力画像の高域成分に関連する高域画像を生成する。第二補間処理部は、前記高域画像に対し水平および垂直方向に標本位置をずらしつつ不均一標本化を行うことで等価的に前記高域画像の有する高域成分の空間周波数を周波数変調しつつ補強画像を生成する。合成処理部は、前記補間画像に対し前記補強画像を必要に応じてレベル変換して重畳することで、出力映像を生成する。
【選択図】図１

Description

本発明は、画像の解像度を向上する装置に関し、特に、入力画像のナイキスト周波数を超える信号成分を生成する超解像装置及びプログラムに関する。

近年、画像表示装置の画面の大型化、画素の微細化に伴い、表示画面の画素数・解像度が向上しており、入力信号の解像度が表示画面の解像度に満たない場合に、入力画像のアップコンバートを行い、画像の補間技術等を利用して、画像の解像度を変換することが行われている。

画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。また、特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。

画像が時系列で与えられる場合には、注目する画像と、時刻の近い他の画像とを、画像領域ごとにサブピクセル精度で動き補償（位置合わせ）し、当該位置合わせのされた画像同士を重畳することでナイキスト周波数を超える信号成分を再生する複数フレーム超解像技術がある。

一方、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法もあり、単一フレーム超解像技術と呼ばれる。

単一フレーム超解像技術には、画素値レベルに対し非線形関数を適用することで波形を歪ませ、高調波を発生することで、ナイキスト周波数を超える信号成分を生成する技術が実用に供せられている。特許文献１においては、入力信号Ｓ_inに対して、一般式
Ｓ₁＝Ｓ_in ^p/q （ｐ／ｑは任意の有理数を意味する。）
で表される非線形関数により演算処理を行って、入力信号よりも高周波成分を含む信号Ｓ₁を生成し、その後、信号Ｓ₁にＨＰＦ（ハイパスフィルタ）処理を行って高周波成分を抽出し、これを入力画像信号Ｓ_inに加算することにより、画像輪郭部の鮮鋭化を行っている。

特許第５３９６６２６号公報

従来の補間関数を畳み込む手法では、特に出力画像の解像度の方が入力画像の解像度よりも高い場合にはぼやけを生じる。

複数フレーム超解像技術では、入力画像に折り返し歪が含まれ、なおかつ被写体が適切な動きをすれば、正確な動き補償と画像重畳により折り返し歪をキャンセルしつつナイキスト周波数を超える信号成分を再生することができる。しかし、実際には、折り返し歪の不足、被写体の動きの不適切な動き（完全静止や、単一方向の移動など）や動き推定の誤差などに起因して十分な精細感が得られないことがあるばかりか、動き推定の誤差に起因してブロックノイズといったアーチファクトを生じる危険もある。また、複数の時点の画像を用いるこの手法は、演算負荷やメモリ消費が大きく、実現にはコストが高くなる。

特許文献１の単一フレーム超解像技術によれば、画素値のレベル方向の非線形演算等によって比較的低コストに超解像効果を得ることができる。しかし、レベル方向に非線形演算を適用するため、画像の明暗によって高精細化の度合いに影響が生じるほか、非線形演算処理後のレベルオーバ等に対応させるためのリミッタ処理が必要となり、その結果アーチファクトを生じる危険がある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、比較的簡易な演算処理により、ナイキスト周波数を超える信号成分を創出することができる超解像装置及びプログラムを提供することにある。

上記課題を解決するために本発明に係る超解像装置は、入力画像を補間して画素数を増加する第一補間処理部と、前記入力画像の高域成分に関連する高域画像を生成する高域抽出処理部と、前記高域抽出処理部の出力する前記高域画像に対し、水平および垂直方向に２以上の整数画素周期で標本位置をずらしつつ不均一標本化を行うことで画素数を増大する第二補間処理部と、前記第一補間処理部の出力する画像に対し、前記第二補間処理部の出力に基づく画像を重畳する合成処理部と、を備えることを特徴とする。

また、前記高域抽出処理部は、前記入力画像の空間２階差分を抽出するラプラシアン演算を行うことが望ましい。

また、前記第二補間処理部の不均一標本化は、最近傍補間によることが望ましい。

また、前記合成処理部において、前記第一補間処理部の出力する画像に、前記第二補間処理部の出力する画像をレベル変換して重畳することが望ましい。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明の超解像装置によれば、画素値レベル方向の非線形処理ではなく、標本化位置に対する非線形的な摂動によってナイキスト周波数を超える信号成分を創出することができる。これにより、特許文献１の場合に生じ得る画像の明暗への依存性等の問題が改善できる。さらに、高調波の信号成分を生成するための、標本位置をずらしつつ不均一に標本化する操作を、最近傍補間という簡易な演算で実現でき、演算コストが低減できる。

本発明の超解像装置の構成例を示したブロック図である。 実施の形態の第一補間処理の概要を示す図である。 入力画像の標本点と補間画像の標本点を、同じ画像領域に配置した図である。 実施の形態の第二補間処理の概要を示す図である。 従来技術（単純補間）による解像度変換画像の例を示す図である。 従来技術（単純補間後のラプラシアン強調）による解像度変換画像の例を示す図である。 本発明による解像度変換画像の例を示す図である。

以下、本発明の実施の形態について説明する。

図１に、本発明の実施の形態に係る超解像装置の構成のブロック図を例示する。本発明の超解像装置１０は、入力画像Ｌを入力し、入力画像Ｌよりも解像度の高い出力画像Ｈを出力する。

入力画像Ｌの画像座標（ｘ，ｙ）における画素値をＬ（ｘ，ｙ）のように表記する。他の画像についても同様とする。なお、入力及び出力の画像信号は、（ｘ，ｙ）が整数のときに画素値が定義された離散関数信号と考えてよい。入力画像Ｌの画素数を水平方向Ｃ_x画素、垂直方向Ｃ_y画素とし、出力画像Ｈの画素数を水平方向Ｄ_x画素、垂直方向Ｄ_y画素とする。ここで、Ｄ_x＞Ｃ_x、Ｄ_y＞Ｃ_yである。

以下、超解像装置１０の構成を具体的に説明する。超解像装置１０は、第一補間処理部１１と、高域抽出処理部１２と、第二補間処理部１３と、合成処理部１４とによって構成される。

第一補間処理部１１は、入力画像Ｌに対して画素の補間を行うことにより、入力画像Ｌよりも画素数を増加した補間画像Ｍを生成する。

以下において、処理の過程で画像の範囲外の画素を参照する場合（例えば、Ｌ（−１，５）やＬ（２，Ｃ_y＋１０））には、該画素に最も近い画像内の画素の画素値（例えば、Ｌ（０，５）やＬ（２，Ｃ_y−１））が設定されているものとみなすか、あるいは所定の定数（例えば、０）が設定されているものとして処理を行うものとする。

第一補間処理部１１の出力する補間画像Ｍの画素数を、水平方向Ｄ_x画素、垂直方向Ｄ_y画素とする。補間処理としては様々な手段を利用することができるが、本発明の実施の形態においては、第一補間処理部１１は、入力画像Ｌと補間画像Ｍとの間の画素数の違いを考慮して、入力画像Ｌの画像座標系において標本化位置を水平方向Ｏ_x、垂直方向Ｏ_yだけオフセットしつつ解像度を変換するものとする。

図２に、第一補間処理の概要を示す。例として、一次元の入力信号Ｌに対して、解像度を２倍に向上させる補間処理を示す。

図２（ａ）は、入力信号Ｌに対して、信号Ｌの画素点（サンプリング位置：Ａ）の中間に補間点をとった場合（Ｂ）の概念図である。この場合は、増加した画素（補間点の画素）に対して、例えば、両側に隣接する又は周囲の入力画像Ｌの画素値の平均化処理から求めた画素値を与えることが可能である。しかしながら、元の信号のサンプリング位置の画素値は誤差がなく、補間点の画素値のみに誤差（ノイズ）が生じるため、画素ごとの誤差量の差が大きい。

そこで、図２（ｂ）のように、元の信号の画素点（サンプリング位置：Ａ）の中間に補間点を加え、さらに全体の画素点を１／４画素（オフセット）ずらした点（Ｃ）を、補間画像Ｍの画素点とする。

補間画像Ｍの画素値を求めるには、離散関数である入力信号Ｌを、一度、畳み込み処理等により、元の画像に近い連続関数Ｌ'に変換して、この連続関数Ｌ'から、補間画像Ｍの各画素点の画素値を読み取ることとする。これにより、各画素に生じる誤差量を均一化することができる。

具体的には、２次元画像では、次のように処理を行う。Ｌ（ｘ，ｙ）の標本点から求められる推定入力画像をＬ'（ｘ，ｙ）として、Ｌ'（ｘ，ｙ）を次式で求める。

数式（１）において、ｈ（ｘ，ｙ）は、連続関数からなる補間関数であり、記号「＊」は畳み込み処理を意味するものとする。例えば、ｈ（ｘ，ｙ）は、ある範囲で定められたガウシアン（Gaussian）関数やsinc(x)関数、Lanczos関数等を利用できる。この畳み込み処理により、連続関数としての推定入力画像Ｌ'を得て、この推定入力画像Ｌ'から、次の式により、オフセットを考慮した補間画像Ｍの各画素値を得る。

Ｃ_x：Ｄ_x＝１：２、Ｃ_y：Ｄ_y＝１：２の場合の標本点の配置を、図３に例示する。図３は、入力画像Ｌの標本点と補間画像Ｍの標本点を、同じ画像領域２０に配置して対比した図である。入力画像Ｌの標本点（白丸）に対して、補間画像Ｍの標本点（黒丸）の個数が、縦横２倍に増大し、且つ、１／４のオフセットを有して配置されている。

なお、入力画像の標本点（白丸）は、後述する高域画像の標本点でもあり、また、補間画像の標本点（黒丸）は、後述する補強画像及び出力画像の標本点でもある。

数式（１）及び数式（２）の処理をまとめて、第一補間処理部１１は、次式（３）のように補間関数ｈを畳み込むことによって非整数画素位置を含む画素位置の画素値を求めるよう動作させてもよい。

数式（３）において、ｈは補間関数、Ａは補間に用いる画素の範囲を表す集合である。数式（３）の分母は、正規化のために関数ｈの係数の総和で除する処理を行っている。補間関数ｈとしては、好ましくは遮断周波数が入力画像Ｌの標本化間隔におけるナイキスト周波数付近にある低域通過型のフィルタを用いる。例えば、補間関数ｈとして、次式（４）に示す２次元Lanczos-3関数を用いることができる。

このとき、集合Ａは次のように定める。

なお、数式（５）における丸括弧は開区間を、演算子×は直積をそれぞれ表す。

補間関数ｈに数式（４）の２次元Lanczos-3関数を用い、補間画像Ｍの画素数が入力画像Ｌの水平方向２倍、垂直方向２倍である場合には、数式（３）は、次式（６）のように書ける。

次に、補強画像Γを作成するための、高域抽出処理部１２と、第二補間処理部１３の処理について説明する。

高域抽出処理部１２は、入力画像Ｌから高周波数成分を抽出又は生成する処理を行い、高域画像Λを出力する。高域抽出処理部１２の演算処理として、高域通過特性を有する任意のフィルタ（ハイパスフィルタ）処理を適用することができ、例えば、ラプラシアン演算子（数式（７））を用いることができる。

本実施形態においては、高域抽出処理部１２は、入力画像Ｌにラプラシアン演算子又はこれを離散近似した演算を適用することで、入力画像Ｌの高域成分に関連する画像を生成し、これを高域画像Λとして出力する。高域画像Λは、次式（８）で表される。

したがって、高域抽出処理部１２は、空間の２階差分に基づいて、例えば、次式（９）の演算により高域（ラプラシアン）画像Λを得る。

高域抽出処理はこれに限られるものではないが、ラプラシアン演算により、簡易で高速な処理が可能となる。

第二補間処理部１３は、高域画像Λに対して、第一補間処理部１１とは異なる手段で画素の補間を行うことにより、補間画像Ｍと同じ水平・垂直画素数の補強画像Γを生成する。

具体的には、第二補間処理部１３は、高域画像Λに対し、水平および垂直に整数画素周期（例えば、Ｄ_x／Ｃ_xおよびＤ_y／Ｃ_yが２以上の整数であれば、水平方向にＤ_x／Ｃ_x画素周期かつ垂直方向にＤ_y／Ｃ_y画素周期）で標本位置をずらしつつ不均一標本化（均等間隔ではない標本化）を行う。これにより、高域画像Λの有する高域成分の空間周波数が等価的に周波数変調された補強画像Γが生成される。

例えば、第二補間処理部１３における補間方法として、次式の最近傍補間を用いる。

Ｄ_x／Ｃ_xおよびＤ_y／Ｃ_yが２以上の整数であれば、数式（１０）は水平方向にＤ_x／Ｃ_x画素かつ垂直方向Ｄ_y／Ｃ_y画素の周期性のある不均一なパターンで標本化が行われることになる。

図４に、最近傍補間を利用した、第二補間処理の概要を示す。

Ｄ_x／Ｃ_xおよびＤ_y／Ｃ_yが２のとき、図４のように、高域画像Λの標本点（白丸）と補強画像Γの標本点（黒丸）が配置され、各高域画像Λの値が、図の矢印のように、その画素を中心として隣接する４つの補強画像Γの画素値となる。例えば、数式（１０）に基づいて、Γ（０，０）、Γ（０，１）、Γ（１，０）、Γ（１，１）の画素値として、Λ（０，０）の画素値が与えられる。

このとき、図で破線に囲まれた４つの補強画像Γの標本点（黒丸）に注目すると、高域画像Λで距離１．０×１．０の正方形の頂点（白丸）上にあった画素値Λを、Γの０．５×０．５の４標本点（黒丸）に適用することとなるため、ラプラシアンで抽出された画像（エッジ）情報を縦横半分に圧縮していることとなる。結果として、この部分で入力画像のナイキスト周波数よりも高い周波数成分が発生する。本発明は、この高周波成分を利用して、画像の精細感を生じさせる。なお、高域画像Λの標本点を中心とする４つの補強画像の標本点は、画素値が同一のためエッジ形状を無限大に拡大していることとなるが、これによる視覚的な悪影響は少ない。

合成処理部１４は補間画像Ｍと補強画像Γとを合成し、出力画像Ｈを得る。このとき、合成処理部１４は、補強画像Γの画素値を関数ｆに通して変換し、高域成分の補強の度合いを調整することもできる。例えば、合成処理部１４は、次式により出力画像を得る。

関数ｆには、例えば、奇関数を用いる。高域画像Λの算出にラプラシアン演算を用いた場合、関数ｆは、例えば、広義単調減少関数を用いる。

とくに、関数ｆとして、次式（１２）の一次関数を用いてもよい。

このとき、合成処理部１４は、次式（１３）により出力画像Ｈを得る。

なお、高域画像Λの算出にラプラシアン演算を用いた場合、係数αは負の実数とする。この係数αの値は外部から設定可能としてもよい。

以上により、補強画像Γのない補間画像Ｍよりも精細感がある状態でアップコンバートされた出力画像Ｈを得ることができる。

図５〜図７に比較例と共に本発明の処理の実例を示す。この例ではＣ_x＝３８４０、Ｃ_y＝２１６０、Ｄ_x＝７６８０、Ｄ_y＝４３２０として、処理を行った（但し、図５〜図７は処理結果の７６８０×４３２０画素のうち、４００×４００画素の部分領域を切り出したものである）。

図５は、Lanczos-3補間を利用した単純補間（従来技術）による画像である。単純補間の結果にはぼやけが見られる。

図６は、図５の結果（Lanczos-3補間）を更にラプラシアン強調（従来技術）したものである。図６ではエッジが強くなったものの、不自然に太みを帯びたエッジが強調されており精細感の向上にはつながっていない。これは、ナイキスト周波数以上の成分を有しない図５を高域強調したところで、ナイキスト周波数を超える周波数が生成し得ないことによる。

図７が本発明による出力画像である。この実施例では、合成処理部１４の関数は数式（１３）によった。このとき、係数αはα＝−０．１５とした。本発明により得られた画像は、図５よりも精細感があり、かつ図６の不自然さも解消できている。特に、図６との比較においては、枝の部分のギザギザが解消され、自然な画像となっており、本発明の効果が明らかである。

上述のとおり、本発明の超解像装置は、比較的簡単な演算処理でナイキスト周波数を超える信号成分を創出することができ、高精細な画像を表示することができる。

なお、上述した超解像装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成ブロック等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックを１つに組み合わせたり、或いは分割したりすることが可能である。

１０ 超解像装置
１１ 第一補間処理部
１２ 高域抽出処理部
１３ 第二補間処理部
１４ 合成処理部
２０ 画素領域

Claims (5)

1. 入力画像を補間して画素数を増加する第一補間処理部と、
   前記入力画像の高域成分に関連する高域画像を生成する高域抽出処理部と、
   前記高域抽出処理部の出力する前記高域画像に対し、水平および垂直方向に２以上の整数画素周期で標本位置をずらしつつ不均一標本化を行うことで画素数を増加する第二補間処理部と、
   前記第一補間処理部の出力する画像に対し、前記第二補間処理部の出力に基づく画像を重畳する合成処理部と、
   を備えることを特徴とする超解像装置。
2. 前記高域抽出処理部は、前記入力画像の空間２階差分を抽出するラプラシアン演算を行うことを特徴とする、請求項１に記載の超解像装置。
3. 前記第二補間処理部の不均一標本化は、最近傍補間によることを特徴とする、請求項１又は２に記載の超解像装置。
4. 前記合成処理部において、前記第一補間処理部の出力する画像に、前記第二補間処理部の出力する画像をレベル変換して重畳することを特徴とする、請求項１乃至３のいずれか一項に記載の超解像装置。
5. コンピュータを、請求項１乃至４のいずれか一項に記載の超解像装置として機能させるためのプログラム。