JP2013026659A - 超解像画像処理装置及び超解像画像処理用辞書作成装置 - Google Patents
超解像画像処理装置及び超解像画像処理用辞書作成装置 Download PDFInfo
- Publication number
- JP2013026659A JP2013026659A JP2011156515A JP2011156515A JP2013026659A JP 2013026659 A JP2013026659 A JP 2013026659A JP 2011156515 A JP2011156515 A JP 2011156515A JP 2011156515 A JP2011156515 A JP 2011156515A JP 2013026659 A JP2013026659 A JP 2013026659A
- Authority
- JP
- Japan
- Prior art keywords
- principal component
- bitmap
- field
- super
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】
汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置101は、先ず、処理対象とする画像をシーンに分けた。そして、シーンに適合する辞書テーブル106を用いて、失われた高周波成分を辞書に対するツリー検索にて類推した。そして、辞書テーブル106の検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを施し、その平均値を算出することで、辞書テーブル106の必要レコード数を大幅に低減することに成功した。
【選択図】図1
Description
より詳細には、低解像度の原画像から高解像度の画像を出力する、超解像画像処理装置と、この超解像画像処理装置が利用する辞書テーブルを作成する超解像画像処理用辞書作成装置に関する。
例えば、携帯電話に付属する比較的低解像度のカメラで撮影した画像を高解像度のディスプレイで閲覧する場合や、アナログテレビ時代に作成された低解像度の動画コンテンツを高解像度のテレビで閲覧する場合、或は低解像度の動画ストリーミングデータを高解像度のディスプレイで閲覧する場合等に、この超解像技術が用いられる。
更には、監視カメラ等の撮影画像データを高詳細化することで、社会基盤の安全性向上に寄与できる可能性もある。
例えば、ある画像データのピクセルサイズを縦横半分ずつ、1/4倍に縮小する場合、隣り合う二つのピクセルの平均値を算出して、一つのピクセルに変換する。この平均値演算は、積分の一種といえる。そして、ピクセルの羅列を信号として捉えた場合、平均値演算を行ってピクセルを間引くことは、信号の高周波成分を除去することと等価である。
逆に、ある画像データのピクセルサイズを縦横4倍ずつ、4倍に拡大する場合、一番簡単な方法としては、隣り合う二つのピクセルの中間値を算出して、間のピクセルを得る方法であるが、この算出方法では失われた高周波成分が再現されない。このため、中間値演算による拡大画像はあたかもピンぼけのような、境界線が曖昧な画像になる。
つまり、超解像技術は、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、「失われた高周波成分を類推する」技術である。
辞書テーブルは検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを施し、その平均値を算出することで、辞書テーブルの必要レコード数が大幅に低減されている。
図1は、本発明の実施形態の例である、超解像画像処理装置と辞書作成装置の概略図である。
超解像画像処理装置101は、デジタルカメラ102や画像ファイル103等から、縦mピクセル×横nピクセルの入力画像データ104を受け取ると、縦k・mピクセル×横l・nピクセルの出力画像データ105を生成する。ここで、k、l、m及びnは2以上の自然数である。したがって、超解像画像処理装置101は、最低限、縦2倍及び横2倍の、4倍に拡大した画像を生成する。
超解像画像処理装置101が処理する画像は、静止画像であっても動画像であってもよい。本実施形態では説明を簡単にするため、静止画像を中心に説明する。
辞書作成装置109は、一つ以上のサンプル画像ファイル110を受け取ると、後述する所定の演算処理を行うことで、辞書テーブル106と、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を生成する。
ここで、辞書テーブル106、第一主成分基底ベクトル107及び第二主成分基底ベクトル108は、これら三つで一つの組である。これ以降、辞書テーブル106、第一主成分基底ベクトル107及び第二主成分基底ベクトル108をまとめて「辞書テーブル等」と呼ぶ。
例えば、周知のパソコンにインストールするプログラムとして実現することができる。その際、辞書テーブル等はハードディスク装置等の不揮発性ストレージに格納されるであろう。
また、デジタルカメラ102のファームウェアとして、デジタルカメラ102に組み込むこともできる。
更には、FPGA(Field Programmable Gate Array)等のPLD(programmable logic device)やASIC(Application Specific Integrated Circuit)等を用いて実現することもできる。特に本実施形態の超解像画像処理装置101は、そのベースとなるMPウェーブレット変換が整数の加減算及び比較演算のみで構成されるため、これらハードウェアの実装面積は極めて少なく済む。
シーンとは、画像の特色である。例えば風景の撮影画像であったり、医療用レントゲン画像であったり、或はアニメーション等である。風景の撮影画像の場合、そのピクセルパターンには中間色や中間輝度が多く現れる。一方、アニメーションの画像の場合、輪郭が明確であり、色彩や輝度がある境界で急激に変化する(エッジの効いた)ピクセルパターンが多く見受けられる。このように、画像にはそのシーンに応じた特色がある。そこで、サンプル画像ファイル110はシーンに応じた画像が集められ、辞書テーブル等の基となる。どのようなシーンに対しても最適な超解像処理ができる万能な辞書テーブル等を作成することは困難であるが、シーンに最適化した辞書テーブル等を作成することで、超解像画像処理装置101が適用されるシーンに適した辞書テーブル等を与えることができる。勿論、複数の辞書テーブル等を用意して、超解像画像処理装置101がシーンに応じて辞書テーブル等を切り替えることで、シーンに最適な超解像画像処理を実現することができる。また、シーンを細分化すればするほど、そのシーンにより適合した辞書テーブル等を作成することができ、以てより再現度の高い超解像画像処理を実現することができる。
図2は、辞書作成装置109の機能ブロック図である。
図3は、一時テーブルのフィールド構成図である。
一以上のサンプル画像ファイル110は、分解処理部201によって所定の大きさの分割ビットマップに分解されて、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、「分解ビットマップ−3」フィールド及び「分解ビットマップ−4」フィールドに格納される。
次に、代数変換処理部ともいえるMPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−1」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−1」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−2」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−2」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−3」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−3」フィールドに格納する。
同様に、MPウェーブレット変換部203は、一時テーブル202の「分解ビットマップ−4」フィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを「変換ビットマップ−4」フィールドに格納する。
次に、主成分分析処理部205は、一時テーブル202の全レコードの「インデックス」フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を算出する。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第一主成分基底ベクトル107とを内積演算し、得られた第一主成分データを「第一主成分」フィールドに格納する。
同様に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第二主成分基底ベクトル108とを内積演算し、得られた第二主成分データを「第二主成分」フィールドに格納する。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第三高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第三高周波」フィールドに格納する。
図4は、辞書作成装置109による辞書作成処理のフローチャートである。
処理を開始すると(S401)、分解処理部201はサンプル画像ファイル110を読み込み、km×lnピクセルの分割ビットマップに分割する。更にこの分割ビットマップを、m×nピクセルの分解ビットマップに分解して、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、…「分解ビットマップ−(k×l)」フィールドに格納する(S402)。
次に、MPウェーブレット変換部203は、一時テーブル202の分解ビットマップが格納されているフィールドのデータを読み込み、MPウェーブレット変換を施して、得られた変換ビットマップを変換ビットマップを格納するフィールドに格納する。この動作をk×l回繰り返す(S403)。
次に、主成分分析処理部205は、一時テーブル202の全レコードの「インデックス」フィールドのデータを読み込み、周知の主成分分析を行い、第一主成分基底ベクトル107と、第二主成分基底ベクトル108を算出する(S405)。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと第一主成分基底ベクトル107とを内積演算して、得られた第一主成分データを「第一主成分」フィールドに格納し、一時テーブル202の「インデックス」フィールドのデータと第二主成分基底ベクトル108とを内積演算して、得られた第二主成分データを「第二主成分」フィールドに格納する(S406)。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す(S408)。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第(k×l−1)高周波」フィールドに格納される各スカラ値毎にそれぞれ平均値を算出して、辞書テーブル106の「第(k×l−1)高周波」フィールドに格納する(S409)。そして、一連の処理を終了する(S410)。
図5(a)、(b)、(c)、(d)及び(e)と、図6(f)及び(g)は、辞書作成装置109が実行する辞書作成処理による、画像データから辞書テーブル106が生成される過程を示す概要図である。なお、図5及び図6では説明を簡単にするため、k、l、m及びnは「2」に設定して説明する。
先ず、分解処理部201は図5(a)に示す、サンプル画像ファイル110から縦4ピクセル×横4ピクセルよりなる、16ピクセルの分割ビットマップ501を抜き出す。これが一時テーブル202の1レコード分に相当する。なお、分解処理部201はサンプル画像ファイル110から1ピクセルずつずらして分割ビットマップ501を抜き出して、一時テーブル202のレコードとして追記する。
次に、分解処理部201は図5(b)に示すように、分割ビットマップ501を縦と横に二等分して、合計4個の分解ビットマップ502a、502b、502c及び502dを作成する。そして、この分解ビットマップ502a、502b、502c及び502dが、分解処理部201によって一時テーブル202のフィールドとして格納される。
「分解ビットマップ−1」フィールドには、分割ビットマップ501の「1、2、5、6」番目のピクセルである分解ビットマップ502aが格納される。
「分解ビットマップ−2」フィールドには、分割ビットマップ501の「3、4、7、8」番目のピクセルである分解ビットマップ502bが格納される。
「分解ビットマップ−3」フィールドには、分割ビットマップ501の「9、10、13、14」番目のピクセルである分解ビットマップ502cが格納される。
「分解ビットマップ−4」フィールドには、分割ビットマップ501の「11、12、15、16」番目のピクセルである分解ビットマップ502dが格納される。
こうして、一時テーブル202の「分解ビットマップ−1」フィールド、「分解ビットマップ−2」フィールド、「分解ビットマップ−3」フィールド及び「分解ビットマップ−4」フィールドに、分解処理部201による分解処理されたデータ列が記録される。
今、分解ビットマップ502が「x、y、z、w」というピクセルで構成されている場合、MPウェーブレット変換は、以下の(1)式で変換ビットマップ503に変換する。
h=y−x
v=z−x
d=w−x (1)
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「3、4、7、8」番目のピクセルよりなる「分解ビットマップ−2」フィールドに格納されている分解ビットマップ502bのデータを読み込み、「a2、h2、v2、d2」という「変換ビットマップ−2」データを作成する。
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「9、10、13、14」番目のピクセルよりなる「分解ビットマップ−3」フィールドに格納されている分解ビットマップ502cのデータを読み込み、「a3、h3、v3、d3」という「変換ビットマップ−3」データを作成する。
同様に、MPウェーブレット変換部203は、分割ビットマップ501の「11、12、15、16」番目のピクセルよりなる「分解ビットマップ−4」フィールドに格納されている分解ビットマップ502dのデータを読み込み、「a4、h4、v4、d4」という「変換ビットマップ−3」データを作成する。
こうして、一時テーブル202の「変換ビットマップ−1」フィールド、「変換ビットマップ−2」フィールド、「変換ビットマップ−3」フィールド及び「変換ビットマップ−4」フィールドに、MPウェーブレット変換部203による演算結果の値であるデータ列が記録される。
具体的には、「変換ビットマップ−1」フィールドのデータの「a1」と、「変換ビットマップ−2」フィールドのデータの「a2」と、「変換ビットマップ−3」フィールドのデータの「a3」と、「変換ビットマップ−4」フィールドのデータの「a4」とを集めて、「a1、a2、a3、a4」よりなる「インデックス」を作成し、一時テーブル202の「インデックス」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「h1」と、「変換ビットマップ−2」フィールドのデータの「h2」と、「変換ビットマップ−3」フィールドのデータの「h3」と、「変換ビットマップ−4」フィールドのデータの「h4」とを集めて、「h1、h2、h3、h4」よりなる「第一高周波」を作成し、一時テーブル202の「第一高周波」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「v1」と、「変換ビットマップ−2」フィールドのデータの「v2」と、「変換ビットマップ−3」フィールドのデータの「v3」と、「変換ビットマップ−4」フィールドのデータの「v4」とを集めて、「v1、v2、v3、v4」よりなる「第二高周波」を作成し、一時テーブル202の「第二高周波」フィールドに格納する。
同様に、「変換ビットマップ−1」フィールドのデータの「d1」と、「変換ビットマップ−2」フィールドのデータの「d2」と、「変換ビットマップ−3」フィールドのデータの「d3」と、「変換ビットマップ−4」フィールドのデータの「d4」とを集めて、「d1、d2、d3、d4」よりなる「第三高周波」を作成し、一時テーブル202の「第三高周波」フィールドに格納する。
こうして、一時テーブル202の「インデックス」フィールド、「第一高周波」フィールド、「第二高周波」フィールド及び「第三高周波」フィールドに、並べ替え処理部204による並べ替え処理されたデータ列が記録される。
次に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第一主成分基底ベクトル107とを内積演算し、得られた第一主成分データを「第一主成分」フィールドに格納する。
同様に、内積演算部206は、一時テーブル202の「インデックス」フィールドのデータと、第二主成分基底ベクトル108とを内積演算し、得られた第二主成分データを「第二主成分」フィールドに格納する。
こうして、一時テーブル202の「第一主成分」フィールド及び「第二主成分」フィールドに、内積演算部206による演算結果のスカラ値が記録される。
更に頻度分割処理部207は、一時テーブル202の「第一主成分グループ番号」フィールドの値が等しいレコードについて、「第二主成分」フィールドのデータでソートした上で、予め定めたレコード数でグルーピングを施し、同一グループについて番号を付す。この番号は、一時テーブル202の「第二主成分グループ番号」フィールドに格納される。
こうして、一時テーブル202の「第一主成分グループ番号」フィールド及び「第二主成分グループ番号」フィールドに、頻度分割処理部207によるグループ番号が記録される。
同様に、「第二主成分」フィールドの値の平均値を算出して、辞書テーブル106の「第二主成分」フィールドに格納する。
同様に、「第一高周波」フィールドに格納される「h1」データの平均値を算出し、「h2」データの平均値を算出し、「h3」データの平均値を算出し、「h4」データの平均値を算出して、これら「h1、h2、h3、h4」の平均値を辞書テーブル106の「第一高周波」フィールドに格納する。
同様に、「第二高周波」フィールドに格納される「v1」データの平均値を算出し、「v2」データの平均値を算出し、「v3」データの平均値を算出し、「v4」データの平均値を算出して、これら「v1、v2、v3、v4」の平均値を辞書テーブル106の「第二高周波」フィールドに格納する。
同様に、「第三高周波」フィールドに格納される「d1」データの平均値を算出し、「d2」データの平均値を算出し、「d3」データの平均値を算出し、「d4」データの平均値を算出して、これら「d1、d2、d3、d4」の平均値を辞書テーブル106の「第三高周波」フィールドに格納する。
こうして、図6(g)に示すように、平均値である「第一主成分」フィールドと、平均値である「第二主成分」フィールドと、平均値の集合である「第一高周波」フィールドと、平均値の集合である「第二高周波」フィールドと、平均値の集合である「第三高周波」フィールドよりなる、辞書テーブルのレコードが作成される。
図7(a)に示すように、分割ビットマップ501は、縦が2×3=6ピクセル、横が2×4=8ピクセルの、合計48ピクセルで構成される。
分解ビットマップ502は、縦(=m)が3ピクセル、横(=n)が2ピクセルの、合計6ピクセルで構成される。分解ビットマップ502は(x、y、z、w、u、t)というピクセルで構成される。
この分解ビットマップ502は、図7(b)に示すように、MPウェーブレット変換部203によって、縦(=m)が3個、横(=n)が2個の、合計6個の変換ビットマップ503に変換される。変換ビットマップ503の数は分解ビットマップ502の数と等しい。図7(a)の場合、分解ビットマップ502が8個あるので、図7(c)に示すように変換ビットマップ503は8個生成される。
次に、図8(d)に示すように、並べ替え処理部204は、変換ビットマップ503の同じ位置に配置されているデータを集めて、インデックス、第一高周波、第二高周波、第三高周波、第四高周波、及び第五高周波を作成する。これらのデータは、縦2個(=k)、横4個(=l)の要素で構成され、6個(=m×n)形成される。
図9は、辞書テーブル106の構成を示す概略図である。
辞書テーブル106のフィールド構成は図6(g)に示したように、平均値である「第一主成分」フィールドと、平均値である「第二主成分」フィールドと、平均値の集合である「第一高周波」フィールドと、平均値の集合である「第二高周波」フィールドと、平均値の集合である「第三高周波」フィールドよりなる。
今、「第一主成分」フィールドの値をf(i)(iは1以上且つ辞書テーブル106の全レコード数までの自然数)とし、「第二主成分」フィールドの値をgi(j)(jは1以上の自然数)とすると、辞書テーブル106には「第一主成分」フィールドの値f(i)が等しい複数のレコードが存在する。そして、それらのレコードは「第二主成分」フィールドの値でユニークである(一意性を有する)。
「第一主成分」フィールドの値と、「第二主成分」フィールドの値は、後述する超解像画像処理装置101がツリー検索を実行するための検索キーである。
図10は、超解像画像処理装置101の機能ブロック図である。
デジタルカメラ102や、不揮発性ストレージに格納されている画像ファイル103等から得られる入力画像データ104は、インデックス作成部1001に供給される。インデックス作成部1001は、入力画像データ104から縦mピクセル×横nピクセルのインデックスビットマップを生成する。このインデックスビットマップは、辞書テーブル106の仕様に合わせて作られる。例えば、図5及び図6の例の場合、2×2=4ピクセルのインデックスビットマップをつくることとなる。インデックス作成部1001は、2×2=4ピクセルのインデックスビットマップを、入力画像データ104から横に2ピクセルずつ、縦に2ピクセルずつずらしながら連続的に作成する。
なお、周知のBMP、JPEG、GIF或はPNG等、所定の圧縮処理を含むものもある、複数の異なるフォーマットの画像データを図示しないRAM内にビットマップとして展開する処理は、このインデックス作成部1001に含まれるものとする。
ここで、インデックスビットマップは縦mピクセル×横nピクセル(本例の場合は4ピクセル)の「行列データ」であるのに対し、第一主成分及び第二主成分は夫々「スカラ値」である。この、行列データをスカラ値に変換することが、本実施形態の超解像画像処理装置101における大きな特色の一つであり、高速動作のために必要な技術である。
マッピング処理部1003は、内積演算部206から引き渡されたインデックス、第一高周波、第二高周波及び第三高周波のデータを並べ替えて、図示しないRAM内に配置する。配置は、図5(d)に示すように、インデックス、第一高周波、第二高周波及び第三高周波の同じ配置のデータを一つの組とする。
図5(d)の場合、インデックスの第一番目のデータ、第一高周波の第一番目のデータ、第二高周波の第一番目のデータ及び第三高周波の第一番目のデータを一つの組にする。
同様に、インデックスの第二番目のデータ、第一高周波の第二番目のデータ、第二高周波の第二番目のデータ及び第三高周波の第二番目のデータを一つの組にする。
同様に、インデックスの第三番目のデータ、第一高周波の第三番目のデータ、第二高周波の第三番目のデータ及び第三高周波の第三番目のデータを一つの組にする。
同様に、インデックスの第四番目のデータ、第一高周波の第四番目のデータ、第二高周波の第四番目のデータ及び第三高周波の第四番目のデータを一つの組にする。
今、変換ビットマップ503が「a、h、v、d」というピクセルで構成されている場合、MPウェーブレット逆変換は、以下の(2)式で分解ビットマップ502に逆変換する。
y=a+max(h−v,h−d,h,0)
z=a+max(v−h,v−d,v,0)
w=a+max(d−h,d−v,d,0) (2)
図11は、超解像画像処理装置101による超解像画像処理のフローチャートである。
処理を開始すると(S1101)、インデックス作成部1001は、入力画像データ104を図示しないRAM内にビットマップ展開した後、そのビットマップの最初のアドレスを注目する(S1102)。
インデックス作成部1001は、現在注目しているRAM内のアドレスから、インデックスビットマップを作成する(S1103)。
作成したインデックスビットマップは、辞書検索及びMPウェーブレット逆変換処理が施される(S1104)。
そして、現在処理を終えたインデックスビットマップは、入力画像データ104のビットマップの、処理すべき最後のアドレスのものなのか否かを確認する(S1105)。未だ処理対象とすべきインデックスビットマップが存在するのであれば(S1105のNO)、入力画像データ104のビットマップの、次のアドレスに移動して(S1106)、再びステップS1103から処理を繰り返す。
ステップS1105において、処理対象とすべきインデックスビットマップが存在しないのであれば(S1105のYES)、一連の処理を終了する(S1107)。
処理を開始すると(S1201)、内積演算部206は、インデックス作成部1001から引き渡されたインデックスビットマップを、第一主成分基底ベクトル107と内積演算を行い、第一主成分を算出する。同様に、インデックスビットマップを、第二主成分基底ベクトル108と内積演算を行い、第二主成分を算出する(S1202)。
先ず、比較部1002は辞書テーブル106のレコードを第一主成分フィールドでグルーピングして、更にソートした上で、第一主成分フィールドの最小値のグループを注目する(S1203)。
比較部1002は辞書テーブル106の現在注目しているグループにおける第一主成分フィールドの値と、内積演算部206から引き渡された第一主成分との距離(以下「現在距離」)を算出する。
次に、比較部1002は辞書テーブル106の現在注目しているグループの、隣のグループにおける第一主成分フィールドの値と、内積演算部206から引き渡された第一主成分との距離(以下「隣接距離」)を算出する(S1204)。そして、算出した距離同士を比較する(S1205)。
現在距離が隣接距離より大きい値である場合(S1205のNO)は、比較対象とする辞書テーブル106のグループを次のグループに移動して(S1206)、再びステップS1204から繰り返す。
現在距離が隣接距離以下の値になった場合(S1205のYES)は、現在注目している第一主成分のグループを選択する(S1207)。
比較部1002は、ステップS1207で選択した、辞書テーブル106の第一主成分のグループに対し、内積演算部206から引き渡された第二主成分を用いて更に絞り込みを行う。
つまり、内積演算部206から引き渡された第二主成分と、ステップS1207で選択した辞書テーブル106における第一主成分のグループに属するレコードの、第二主成分フィールドの値との比較を行う。
先ず、比較部1002はステップS1207で選択した辞書テーブル106における第一主成分のグループに属する辞書テーブル106のレコードを第二主成分フィールドでソートした上で、第二主成分フィールドの最小値のレコードを注目する(S1308)。
比較部1002は辞書テーブル106の現在注目しているレコードにおける第二主成分フィールドの値と、内積演算部206から引き渡された第二主成分との距離(以下「現在距離」)を算出する。
次に、比較部1002は辞書テーブル106の現在注目しているレコードの、次のレコードにおける第二主成分フィールドの値と、内積演算部206から引き渡された第二主成分との距離(以下「隣接距離」)を算出する(S1309)。そして、算出した距離同士を比較する(S1310)。
現在距離が隣接距離より大きい値である場合(S1310のNO)は、比較対象とする辞書テーブル106のレコードを次のレコードに移動して(S1311)、再びステップS1309から繰り返す。
現在距離が隣接距離以下の値になった場合(S1310のYES)は、現在注目している第二主成分のレコードに属する、第一高周波フィールド、第二高周波フィールド及び第三高周波フィールドの値を選択する(S1312)。
並べ替えられたデータはMPウェーブレット逆変換処理部に引き渡される。
MPウェーブレット逆変換処理部は並べ替えられたデータにMPウェーブレット逆変換処理を施し、超解像ビットマップを出力して(S1314)、一連の処理を終了する(S1315)。
図14(a)、(b)及び(c)は、比較部1002が実行する、辞書テーブル106のツリー検索の仕組みを示す概略図である。
内積演算部206によって算出されたインデックスビットマップの第一主成分と第二主成分が、それぞれ(P,Q)であるとする。
第一主成分Pは、辞書テーブル106の第一主成分フィールドの値f(i)との距離、すなわち|P−f(i)|が算出される。iは1番目から順にインクリメントされ、第一主成分Pとの距離が算出されると共に、直前の距離と比較され、直前の距離が短い場合に、その直前の第一主成分フィールドのグループが採用される。
図14(b)及び(c)は、横軸が第一主成分の数直線である。第一主成分Pがf(i)に最も近く、且つf(i)より大きな値である場合、第一主成分Pがf(i)に最も近く、且つf(i)より小さな値である場合の、いずれの場合であっても、以下の式(2)が成り立つ。
|P−f(i)|≦|P−f(i+1)| (2)
図14(c)の場合、距離D1405を直前の距離D1404と比較すると、D1404>D1405という関係である。次に、距離D1406を直前の距離D1405と比較すると、D1405<D1406という関係であり、現在注目している距離と直前の距離との大小関係が反転する。
このように、第一主成分Pに対し、辞書テーブル106の第一主成分フィールドの値f(i)を最小値から上げていく(iを0からインクリメントする)と、第一主成分Pとの大小関係が途中で変わる。この時点の辞書テーブル106の第一主成分フィールドの値f(i)が、第一主成分Pに最も近い距離のグループである。
画像を微視的に観察すると、画像の種類に応じて、隣接するビットマップにはある種の相関性が見受けられる。そこで、微視的にビットマップを抜き出して、その相関性に基づいてビットマップを補完することで、失われた高周波成分を類推することができる。相関性を有する、ということは、ビットマップの補完に用いるデータを辞書テーブル106にして検索をかけることで実現できることを意味する。更に、相関性を有する、ということは、相関性の類似する同一のカテゴリやグループに属するパターンが多いことを示している。
発明者は、MPウェーブレット逆変換処理に辞書を用いて超解像画像処理を実現することを最初に思いついた。予め、辞書に極小なビットマップのパターンと、これに対応する、補完用ビットマップパターンを組にして保持しておく。そして、入力画像データ104から極小なビットマップを抜き出して辞書検索を行い、検索にヒットした補完用ビットマップパターンを用いて、超解像画像処理を実現する。
発明者は、超解像画像処理に要する時間を短縮するために、MPウェーブレット変換を開発した。
そして発明者は今般、超解像画像処理に用いる辞書アクセスに要する時間を短縮するために、主成分分析を用いた辞書の最適化を開発した。
辞書のレコード数を低減する最も素朴な方法としては、クラスタリングが挙げられる。インデックス、第一高周波、第二高周波及び第三高周波の数値パターンが類似するレコードを複数集めて、各々の平均値を取る。しかし、この場合、インデックスに含まれるデータは4個の要素を持つ行列である。複数の要素を持ち、それぞれの要素に重み付けがない場合、検索速度の向上は期待できない。また、クラスタリングの場合、インデックスに含まれる要素数が多くなればなるほど、指数関数的に検索速度が遅くなることが容易に想像できる。
そして更に、重心を通過し、第一主成分軸と直交し、且つ分散が最大になる軸を第二主成分軸として算出する。これも実際に算出するものは第二主成分軸の基底ベクトルである。この第二主成分基底ベクトル108も、目的となる行列とを内積演算すると、第二主成分軸上における重心からの距離を算出できる。
第一主成分軸と第二主成分軸は直交関係にあるので、最初に第一主成分で検索してレコードの絞り込みを行い、次に同じ第一主成分に属する複数のレコードに対して第二主成分で更に絞り込みを行う。これは周知のツリー検索であり、辞書に対するアクセス回数を効果的に低減する方法である。
(1)上述の実施形態では、白黒の静止画を対象とする装置を説明したが、超解像画像処理装置101の入力画像データ104(ソース)は動画像であってもよい。この場合、インデックスビットマップは時間軸を考慮したものとなる。例えば、時間軸上で隣り合う2枚の画像を対象にして、縦2ピクセル×横2ピクセル×2サンプル数=8ピクセルをインデックスとし、第一高周波、第二高周波及び第三高周波を生成する。
勿論、扱う画像はカラーの動画像であってもよい。
同様のことは、超解像画像処理装置101のマッピング処理部1003にも当てはまる。
汎用性の高い超解像画像処理を短時間に実行するため、本実施形態の超解像画像処理装置101は、先ず、処理対象とする画像をシーンに分けた。そして、シーンに適合する辞書テーブル106を用いて、失われた高周波成分を辞書に対するツリー検索にて類推した。
そして、辞書テーブル106の検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを施し、その平均値を算出することで、辞書テーブル106の必要レコード数を大幅に低減することに成功した。
これらの技術の採用により、少ない計算量で高速に実行できる、汎用性が高く実用的な超解像画像処理装置101を実現できる。
Claims (3)
- 入力画像データから所定数のピクセルよりなるインデックスビットマップを生成するインデックス作成部と、
前記インデックスビットマップに対して、第一主成分基底ベクトルとの内積を演算して第一主成分を算出し、第一主成分基底ベクトルとの内積を演算して第二主成分を算出する内積演算部と、
前記第一主成分及び前記第二主成分を用いて辞書テーブルを検索し、前記第一主成分及び前記第二主成分に最も近いレコードを得る比較部と、
前記レコードに含まれている高周波成分と前記インデックスビットマップを用いて超解像ビットマップを算出する超解像ビットマップ生成部と
を具備する超解像画像処理装置。 - 前記比較部は、前記辞書テーブルを前記第一主成分で絞り込み検索した後、前記第二主成分でレコードを特定する、
請求項1記載の超解像画像処理装置。 - 一時テーブルと、
サンプル画像ファイルから所定のアドレスのピクセルを含む一つの範囲に含まれる複数のピクセルを分割ビットマップとして取り出した後、前記分割ビットマップを四以上の数の領域である分解ビットマップとして等分して、複数の前記分解ビットマップをそれぞれ前記一時テーブルの分解ビットマップ格納フィールド群に格納する分解処理部と、
前記分解ビットマップ格納フィールド群に格納されている複数の前記分解ビットマップに対して所定の代数変換処理を施して、得られた演算結果である変換ビットマップをそれぞれ前記一時テーブルの変換ビットマップ格納フィールド群に格納する代数変換処理部と、
前記変換ビットマップ格納フィールド群に格納されている複数の前記変換ビットマップからインデックスとなるデータ列に対して主成分分析を実行して、超解像画像処理装置に用いる第一主成分基底ベクトルと第二主成分基底ベクトルを算出する主成分分析処理部と、
前記一時テーブルの各レコードの前記インデックスと前記第一主成分基底ベクトルを内積演算して前記インデックスの第一主成分を算出して前記一時テーブルの第一主成分フィールドに格納すると共に、前記インデックスと前記第二主成分基底ベクトルを内積演算して前記インデックスの第二主成分を算出して前記一時テーブルの第二主成分フィールドに格納する内積演算部と、
前記一時テーブルのレコードを前記第一主成分フィールドの値及び前記第二主成分フィールドの値でグルーピングする頻度分割処理部と、
前記頻度分割処理部によってグルーピングされた前記一時テーブルの複数のレコードに含まれる各スカラ値に対して平均値を算出して、前記超解像画像処理装置に用いる辞書テーブルを作成する平均値演算部と
を具備する超解像画像処理用辞書作成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156515A JP5769241B2 (ja) | 2011-07-15 | 2011-07-15 | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156515A JP5769241B2 (ja) | 2011-07-15 | 2011-07-15 | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013026659A true JP2013026659A (ja) | 2013-02-04 |
JP5769241B2 JP5769241B2 (ja) | 2015-08-26 |
Family
ID=47784583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011156515A Expired - Fee Related JP5769241B2 (ja) | 2011-07-15 | 2011-07-15 | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5769241B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279933A (zh) * | 2013-06-07 | 2013-09-04 | 重庆大学 | 一种基于双层模型的单幅图像超分辨率重建方法 |
CN103356238A (zh) * | 2013-04-11 | 2013-10-23 | 汕头大学 | 一种高分辨率超声成像方法 |
CN104574336B (zh) * | 2015-01-19 | 2017-08-01 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建系统 |
US9875532B2 (en) | 2013-08-15 | 2018-01-23 | Nec Corporation | Information processing device that implements image processing, and image processing method |
CN108475414A (zh) * | 2015-10-27 | 2018-08-31 | 华为技术有限公司 | 图像处理方法和装置 |
CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
CN109741254A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
US10650283B2 (en) | 2017-12-18 | 2020-05-12 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11074671B2 (en) | 2017-12-18 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11144837B2 (en) | 2014-11-13 | 2021-10-12 | Mizuho Research & Technologies, Ltd. | System, method, and program for predicting information |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152907A (ja) * | 1993-11-29 | 1995-06-16 | Nec Corp | 画像拡大方法及び装置 |
JPH1169145A (ja) * | 1997-08-19 | 1999-03-09 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2002074354A (ja) * | 2000-09-01 | 2002-03-15 | Sony Corp | データ処理装置およびデータ処理方法、並びに記録媒体 |
JP2002170112A (ja) * | 2000-12-04 | 2002-06-14 | Minolta Co Ltd | 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法 |
JP2004303187A (ja) * | 2003-09-12 | 2004-10-28 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法及び画像処理システム |
JP2006350498A (ja) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
US20070103595A1 (en) * | 2005-10-27 | 2007-05-10 | Yihong Gong | Video super-resolution using personalized dictionary |
WO2009019808A1 (ja) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | 画像データを生成する装置、方法およびプログラム |
JP2009134350A (ja) * | 2007-11-28 | 2009-06-18 | Toshiba Corp | 画像の高品質化方法及び装置 |
-
2011
- 2011-07-15 JP JP2011156515A patent/JP5769241B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152907A (ja) * | 1993-11-29 | 1995-06-16 | Nec Corp | 画像拡大方法及び装置 |
JPH1169145A (ja) * | 1997-08-19 | 1999-03-09 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2002074354A (ja) * | 2000-09-01 | 2002-03-15 | Sony Corp | データ処理装置およびデータ処理方法、並びに記録媒体 |
JP2002170112A (ja) * | 2000-12-04 | 2002-06-14 | Minolta Co Ltd | 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法 |
JP2004303187A (ja) * | 2003-09-12 | 2004-10-28 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法及び画像処理システム |
JP2006350498A (ja) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
US20070103595A1 (en) * | 2005-10-27 | 2007-05-10 | Yihong Gong | Video super-resolution using personalized dictionary |
WO2009019808A1 (ja) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | 画像データを生成する装置、方法およびプログラム |
JP2009134350A (ja) * | 2007-11-28 | 2009-06-18 | Toshiba Corp | 画像の高品質化方法及び装置 |
Non-Patent Citations (2)
Title |
---|
CSNG201100506011; 陳 延偉: '学習ベース超解像技術' 電子情報通信学会技術研究報告 第111巻,第127号, 20110705, p61〜66, 社団法人電子情報通信学会 * |
JPN6015007550; 陳 延偉: '学習ベース超解像技術' 電子情報通信学会技術研究報告 第111巻,第127号, 20110705, p61〜66, 社団法人電子情報通信学会 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103356238A (zh) * | 2013-04-11 | 2013-10-23 | 汕头大学 | 一种高分辨率超声成像方法 |
CN103279933A (zh) * | 2013-06-07 | 2013-09-04 | 重庆大学 | 一种基于双层模型的单幅图像超分辨率重建方法 |
CN103279933B (zh) * | 2013-06-07 | 2016-10-26 | 重庆大学 | 一种基于双层模型的单幅图像超分辨率重建方法 |
US9875532B2 (en) | 2013-08-15 | 2018-01-23 | Nec Corporation | Information processing device that implements image processing, and image processing method |
EP4044074A1 (en) | 2014-11-13 | 2022-08-17 | Mizuho Research & Technologies, Ltd. | System, method, and program for predicting information |
US11144837B2 (en) | 2014-11-13 | 2021-10-12 | Mizuho Research & Technologies, Ltd. | System, method, and program for predicting information |
CN104574336B (zh) * | 2015-01-19 | 2017-08-01 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建系统 |
CN108475414B (zh) * | 2015-10-27 | 2020-09-11 | 华为技术有限公司 | 图像处理方法和装置 |
CN108475414A (zh) * | 2015-10-27 | 2018-08-31 | 华为技术有限公司 | 图像处理方法和装置 |
US10650283B2 (en) | 2017-12-18 | 2020-05-12 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11074671B2 (en) | 2017-12-18 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
CN109064399B (zh) * | 2018-07-20 | 2023-01-24 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
CN109741254A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
CN109741254B (zh) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5769241B2 (ja) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5769241B2 (ja) | 超解像画像処理装置及び超解像画像処理用辞書作成装置 | |
Huang et al. | Video super-resolution via bidirectional recurrent convolutional networks | |
CN111104962B (zh) | 图像的语义分割方法、装置、电子设备及可读存储介质 | |
CN113424547A (zh) | 点云属性编解码的加权中值预测的技术和装置 | |
JP2022516232A (ja) | フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム | |
JPH10198337A (ja) | 高速アスペクト比ズーミング及び圧縮及びシーリングを用いるサムネイル操作 | |
JP2007280284A (ja) | 画像の高解像度化方法及び装置 | |
Liu et al. | Bit-depth enhancement via convolutional neural network | |
KR20210109719A (ko) | 비디오 컬러화 방법 및 장치 | |
JP5892592B2 (ja) | 超解像画像処理装置及び超解像画像処理用コードブック作成装置 | |
Wang et al. | Efficient super-resolution using mobilenetv3 | |
Bing et al. | Collaborative image compression and classification with multi-task learning for visual Internet of Things | |
Zou et al. | LMSN: a lightweight multi-scale network for single image super-resolution | |
Hsin | Saliency histogram equalisation and its application to image resizing | |
JP2013008142A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Kamble et al. | Color video compression based on fractal coding using quadtree weighted finite automata | |
Zhong et al. | Steganography in stylized images | |
Huang | A combined image steganographic method using multi-way pixel-value differencing | |
CN112188199A (zh) | 自适应点云属性编码的方法、装置、电子设备和存储介质 | |
Zhang et al. | Cross-CBAM: A Lightweight network for Scene Segmentation | |
CN106604033B (zh) | 图像编码与逻辑运算方法及装置 | |
Kesana et al. | Compressed domain zoom motion classification using local tetra patterns | |
Hsin | Compressed domain image resizing based on saliency histogram equalisation and seam carving | |
Cao et al. | Fast mutual-information-based contrast enhancement | |
Zhang et al. | Old film image enhancements based on sub-pixel convolutional network algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5769241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |