JP2017107378A - 超解像装置、超解像方法、およびプログラム - Google Patents
超解像装置、超解像方法、およびプログラム Download PDFInfo
- Publication number
- JP2017107378A JP2017107378A JP2015240324A JP2015240324A JP2017107378A JP 2017107378 A JP2017107378 A JP 2017107378A JP 2015240324 A JP2015240324 A JP 2015240324A JP 2015240324 A JP2015240324 A JP 2015240324A JP 2017107378 A JP2017107378 A JP 2017107378A
- Authority
- JP
- Japan
- Prior art keywords
- image
- super
- candidate
- fractal
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 87
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000035772 mutation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 229920003776 Reny® Polymers 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 235000019592 roughness Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明の目的は、原画像に表れない細部の特徴を再現可能な超解像装置、超解像方法、およびプログラムを提供することにある。
図1は、一実施形態による超解像装置の構成を示す概略ブロック図である。
本実施形態に係る超解像装置1は、グレイスケールの入力画像の2倍の解像度を有する出力画像を生成する。なお、本明細書において「解像度をX倍にする」とは、画像の1辺当たりの画素数をX倍にすることをいう。つまり、解像度をX倍にすると、画素数はX2倍になる。超解像装置1は、画像入力部101、分割部102、候補生成部103、次元数算出部104、外部明度順位特定部105、内部明度順位特定部106、評価値算出部107、決定部108、結合部109を備える。
分割部102は、画像入力部101に入力された入力画像を複数の部分画像に分割する。分割部102は、例えば入力画像をPピクセル×Pピクセル(例えば、8×8)の部分画像に分割する。
候補生成部103は、分割部102が分割した部分画像それぞれについて、当該部分画像の各画素を、2ピクセル×2ピクセルの平方画素パターンに置換することで、部分画像の2倍のサイズ(すなわち、2Pピクセル×2Pピクセル)を有する候補画像を生成する。なお、候補画像は、部分画像と同じ解像度に縮小することで部分画像と同じ画像が得られる画像である。本実施形態において、部分画像は原画像の一例である。
内部明度順位特定部106は、候補画像を構成する各平方画素パターンについて、その平方画素パターンを構成する4つの画素(左上画素、右上画素、左下画素、および右下画素)の明度の順位を特定する。
決定部108は、評価値算出部107が算出した超解像評価値が最も大きい候補画像を、部分超解像画像に決定する。つまり、本実施形態において部分超解像画像は、超解像画像の一例である。
結合部109は、複数の部分画像それぞれに対応する部分超解像画像を結合することで、画像入力部101に入力された入力画像に対応する出力画像を生成する。
図2は、一実施形態に係る平方画素パターンの例を示す図である。
本実施形態に係る平方画素パターンは、部分画像の対応する画素に第1の明度B1を加算する画素p+B1、部分画像の対応する画素の明度に第2の明度B2を加算する画素p+B2、部分画像の対応する画素の明度に第1の明度B1を減算する画素p−B1、および部分画像の対応する画素の明度に第2の明度B2を減算する画素p−B2の4つの画素の組み合わせによって表される。そのため、平方画素パターンの各画素の平均値は、部分画像の対応する画素の明度と等しくなる。なお、第1の明度および第2の明度としては、例えば−25以上25以下の値が挙げられる。
本実施形態に係る平方画素パターンは、画素p+B1、画素p+B2、画素p−B1、および画素pーB2の配置型として、6種類の画素の配置型を有する。第1の配置型は、図2(A)に示すように、左上の画素が画素p−B1、右上の画素が画素p+B1、左下の画素が画素p+B2、かつ右下の画素が画素p−B2となる配置型である。第2の配置型は、図2(B)に示すように、左上の画素が画素p+B1、右上の画素が画素p−B2、左下の画素が画素p−B1、かつ右下の画素が画素p+B2となる配置型である。第3の配置型は、図2(C)に示すように、左上の画素が画素p−B2、右上の画素が画素p+B2、左下の画素が画素p+B1、かつ右下の画素が画素p−B1となる配置型である。第4の配置型は、図2(D)に示すように、左上の画素が画素p+B2、右上の画素が画素p−B1、左下の画素が画素p−B2、かつ右下の画素が画素p+B1となる配置型である。第5の配置型は、図2(E)に示すように、左上の画素が画素p+B2、右上の画素が画素p+B1、左下の画素が画素p−B1、かつ右下の画素が画素p−B2となる配置型である。第6の配置型は、図2(F)に示すように、左上の画素が画素p+B1、右上の画素が画素p+B2、左下の画素が画素p−B2、かつ右下の画素が画素p−B1となる配置型である。
したがって、平方画素パターンは、配置型、第1の明度、および第2の明度を格納するデータ構造で表現することができる。
図3は、一実施形態に係る超解像装置の動作を示す第1のフローチャートである。図4は、一実施形態に係る超解像装置の動作を示す第2のフローチャートである。
まず、利用者は、超解像処理の対象となる入力画像を超解像装置1に入力する。画像入力部101が入力画像の入力を受け付けると(ステップS1)、分割部102は、入力された入力画像を複数の部分画像に分割する(ステップS2)。
まず、次元数算出部104は、選択された部分画像のフラクタル次元数を、ヒストグラムをQ等分する明度範囲ごとに算出する(ステップS4)。また、外部明度順位特定部105は、部分画像を構成する各画素について、隣接画素の平均明度の順位(外部明度順位)を特定する(ステップS5)。なお、外部明度順位は、0から3の整数により表される。次に、候補生成部103は、分割部102が生成した部分画像の各画素を、ランダムな平方画素パターンに置換することで、N個の候補画像を生成する(ステップS6)。NはGAの個体数であり、2以上の整数(例えば、100)である。
まず、候補生成部103は、選択、交叉、突然変異の何れの操作により次の世代の候補画像を生成するかを、ランダムに決定する(ステップS14)。
決定部108が全ての部分画像について対応する部分超解像画像を決定すると、結合部109は、複数の部分超解像画像を結合することで、入力画像に対応する出力画像を生成する(ステップS21)。
図5は、一実施形態に係る超解像処理の例を示す図である。
本実施例では、図5(A)に示すように、入力画像として64ピクセル×64ピクセルの、グレイスケール256階調の画像を用いた。また、本実施例では、フラクタル次元数の計算対象となる明度の範囲を、ヒストグラムに含まれる画素数を8等分する明度の範囲とした。また、候補生成部103がGAの1世代に生成する候補画像の数Nを100とし、繰り返し世代数Mを20000とした。また、候補生成部103によるGAの交叉率を0.8、突然変異率は0.03とした。また、超解像評価値の算出に用いるフラクタル評価値の重さを0.6とし、スムース評価値の重さを0.4とした。
これらの条件により超解像装置1が生成した出力画像を、図5(B)に示す。また、従来の超解像手法である線形補間処理(バイリニア法)により生成した拡大画像を、図5(C)に示す。図5(C)に示すように、バイリニア法で生成された拡大画像は、細部の特徴が写っておらず、ぼやけた画像となっている。これに対し、本実施形態に係る超解像装置1が生成した出力画像は、図5(B)に示すように、入力画像に写らない細部の特徴が表れ、またエッジが明瞭に表れている。
このように、本実施形態に係る超解像装置1は、解像度の小ささから入力画像に表れない細部の特徴が表れる出力画像を得ることができる。
例えば、上述した実施形態によれば、超解像装置1は、部分画像を構成する画素のそれぞれを、平均明度が画素の明度と等しい正方画素パターンに置換することで、候補画像を生成するが、これに限られない。例えば、他の実施形態において、解像度をS/T倍に拡大する場合、超解像装置1は、部分画像を構成するTピクセル×Tピクセルの画素群を、平均明度が対応する画素群の平均明度と等しいSピクセル×Sピクセルの正方画素パターンに置換してもよい。また、他の実施形態において超解像装置1は、正方画素パターンへの置換以外の方法により候補画像を生成してもよい。
他の評価値の例としては、部分画像が人物を含む場合に画像に写る物体の人物らしさを評価する評価値が挙げられる。具体的には、予め人物の部分が写った画像を複数用意しておき、これらとの類似度のうち最も高い物を、評価値として用いてもよい。
また、他の評価値の例としては、部分画像がエッジ上の点である場合に部分超解像画像にそのエッジが保存されているか否かを評価する評価値が挙げられる。具体的には、部分画像からエッジ成分を抽出し、部分超解像画像のうち抽出したエッジ成分に相当する部分のコントラストの強さを、評価値として用いてもよい。
また、他の評価値の例としては、部分画像の細部に、自己相似性を有する構造が表れているか否かを評価する評価値が挙げられる。具体的には、入力画像において解像度が小さいために細部の構造が写らない範囲(例えば、2ピクセル×2ピクセルの範囲)に対応する部分画像の範囲と、入力画像に写る自己相似性を有する構造との類似度を、評価値として用いてもよい。
コンピュータ9は、CPU901、主記憶装置902、補助記憶装置903、インタフェース904を備える。
上述の超解像装置1は、コンピュータ9に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。
101 画像入力部
102 分割部
103 候補生成部
104 次元数算出部
105 外部明度順位特定部
106 内部明度順位特定部
107 評価値算出部
108 決定部
109 結合部
Claims (7)
- 原画像に基づいて、前記原画像より大きく、かつ縮小操作により前記原画像と同じ画像が得られる複数の候補画像を生成する候補生成部と、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記原画像のフラクタル次元数を算出する次元数算出部と、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と前記原画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部と、
前記フラクタル評価値に基づいて、前記複数の候補画像の中から超解像画像を決定する決定部と
を備える超解像装置。 - 前記候補生成部が、前記原画像を構成する画素のそれぞれを、平均明度が前記画素の明度と等しい所定の正方画素パターンに置換することで、前記複数の候補画像を生成する
請求項1に記載の超解像装置。 - 前記評価値算出部が、前記複数の候補画像ごとに、前記フラクタル評価値と他の評価値とを算出し、
前記決定部が、前記複数の候補画像のうち、前記フラクタル評価値と前記他の評価値の和が最も大きいものを前記超解像画像に決定する
請求項1または請求項2に記載の超解像装置。 - 前記次元数算出部が、前記原画像または前記候補画像の画素のうち、明度が所定の範囲内に存在するものの数に基づいて、前記フラクタル次元数を算出する
請求項1から請求項3の何れか1項に記載の超解像装置。 - 前記次元数算出部が、前記原画像または前記候補画像の明度のヒストグラムに基づいて画素数が一定数となる明度の範囲を特定し、前記原画像または前記候補画像の画素のうち、明度が所定の範囲内に存在するものの数に基づいて、前記フラクタル次元数を算出する
請求項4に記載の超解像装置。 - 原画像に基づいて、前記原画像より大きく、かつ縮小操作により前記原画像と同じ画像が得られる複数の候補画像を生成するステップと、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記原画像のフラクタル次元数を算出するステップと、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と前記原画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出するステップと、
前記フラクタル評価値に基づいて、前記複数の候補画像の中から超解像画像を決定するステップと
を有する超解像方法。 - コンピュータを、
原画像に基づいて、前記原画像より大きく、かつ縮小操作により前記原画像と同じ画像が得られる複数の候補画像を生成する候補生成部、
前記複数の候補画像のそれぞれのフラクタル次元数、および前記原画像のフラクタル次元数を算出する次元数算出部、
前記複数の候補画像ごとに、前記候補画像の前記フラクタル次元数と前記原画像の前記フラクタル次元数の差が小さいほど大きい値を示すフラクタル評価値を算出する評価値算出部、
前記フラクタル評価値に基づいて、前記複数の候補画像の中から超解像画像を決定する決定部
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240324A JP6703732B2 (ja) | 2015-12-09 | 2015-12-09 | 超解像装置、超解像方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240324A JP6703732B2 (ja) | 2015-12-09 | 2015-12-09 | 超解像装置、超解像方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017107378A true JP2017107378A (ja) | 2017-06-15 |
JP6703732B2 JP6703732B2 (ja) | 2020-06-03 |
Family
ID=59060729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015240324A Expired - Fee Related JP6703732B2 (ja) | 2015-12-09 | 2015-12-09 | 超解像装置、超解像方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6703732B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007252892A (ja) * | 2006-02-23 | 2007-10-04 | Masahiro Nakagawa | 皮膚表面の立体形状の目視評価値の推定方法 |
JP2013021623A (ja) * | 2011-07-14 | 2013-01-31 | Jvc Kenwood Corp | 画像解像度変換方法及び画像解像度変換装置 |
JP2013027608A (ja) * | 2011-07-29 | 2013-02-07 | Shimadzu Corp | 骨梁解析装置 |
JP2014222442A (ja) * | 2013-05-14 | 2014-11-27 | 日本放送協会 | 空間・階調超解像装置及びプログラム |
-
2015
- 2015-12-09 JP JP2015240324A patent/JP6703732B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007252892A (ja) * | 2006-02-23 | 2007-10-04 | Masahiro Nakagawa | 皮膚表面の立体形状の目視評価値の推定方法 |
JP2013021623A (ja) * | 2011-07-14 | 2013-01-31 | Jvc Kenwood Corp | 画像解像度変換方法及び画像解像度変換装置 |
JP2013027608A (ja) * | 2011-07-29 | 2013-02-07 | Shimadzu Corp | 骨梁解析装置 |
JP2014222442A (ja) * | 2013-05-14 | 2014-11-27 | 日本放送協会 | 空間・階調超解像装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6703732B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
JP5173898B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
JP2015232869A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5939154B2 (ja) | 画像処理装置およびコンピュータプログラム | |
US20120237121A1 (en) | Image processing device, image processing method, and storage medium for storing image processing program | |
CN110140151A (zh) | 用于生成光强度图像的装置和方法 | |
JP2015226112A (ja) | 画像処理装置及び画像処理方法、プログラム | |
CN111179173B (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
US9235773B2 (en) | Image processing device capable of determining types of images accurately | |
US9990686B2 (en) | Method for generating a data-bearing halftone image, and method for decoding the data-bearing halftone image | |
Ralević | Applications of the fuzzy metrics in image denoising and segmentation | |
JP4756436B2 (ja) | パターン認識装置とそのパターン認識方法、及びパターン認識プログラム | |
CN112116102A (zh) | 一种域适应训练集的扩展方法及系统 | |
CN114677393B (zh) | 深度图像处理方法、装置、摄像设备、会议系统及介质 | |
JP2004199622A (ja) | 画像処理装置、画像処理方法、記録媒体およびプログラム | |
JP6703732B2 (ja) | 超解像装置、超解像方法、およびプログラム | |
TWI622020B (zh) | 使用二階區域二元圖的分群方法及疊代影像測試系統 | |
KR102470242B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
CN110717875B (zh) | 一种高清图像处理方法 | |
CN113689333A (zh) | 一种图像增强的方法及装置 | |
CN108629350B (zh) | 一种识别图片之间相似关系的方法及装置 | |
JP3065332B2 (ja) | 画像処理方法 | |
JP3509397B2 (ja) | マルコフモデル画像符号化装置 | |
CN109242750B (zh) | 图片签名方法、图片匹配方法、装置、设备及存储介质 | |
JPH11296672A (ja) | 画像色情報抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6703732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |