JP2010074416A - 画像データ処理方法、画像データ処理装置及びプログラム - Google Patents
画像データ処理方法、画像データ処理装置及びプログラム Download PDFInfo
- Publication number
- JP2010074416A JP2010074416A JP2008238452A JP2008238452A JP2010074416A JP 2010074416 A JP2010074416 A JP 2010074416A JP 2008238452 A JP2008238452 A JP 2008238452A JP 2008238452 A JP2008238452 A JP 2008238452A JP 2010074416 A JP2010074416 A JP 2010074416A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixels
- histogram
- pixel
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 99
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004220 aggregation Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】周波数解析などの手法を用いることなくより良好に補間画素を形成させることができるようにする。
【解決手段】第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する場合に、増えた画素を補間により形成させる補間画素形成処理を行う。その補間画素形成処理で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【選択図】図1
【解決手段】第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する場合に、増えた画素を補間により形成させる補間画素形成処理を行う。その補間画素形成処理で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
【選択図】図1
Description
本発明は、例えば画像を拡大するために画像データの画素数を増やす処理を行う場合に好適な、画像データ処理方法、及びその処理方法を適用したデータ処理装置、並びにプログラムに関する。
従来、静止画像を拡大する場合、一般に線形補間法や3次スプライン法を用いて、拡大により増えた画素を生成させるようにしてある。即ち、例えば水平方向n画素×垂直方向m画素の1枚の画像データを、水平方向2n画素×垂直方向2m画素にそれぞれ2倍に拡大することを想定すると、元の画像データの各画素の間に補間画素を生成させる必要があり、水平方向や垂直方向に隣接する元の画素の画素値を使用して、その原画素の値を線形補間などを行って、補間画素値を得るようにしてある。
「高解像度画像部分空間と多項式近似による局所画像曲面に基づく画像の高解像度化手法」情報メディア学会誌 第59巻 第11号 1694頁〜1700頁(2005年11月1日発行)
しかしながら、単純な線形補間法などによる補間画素の形成では、画像の高周波成分が欠落して、ぼけた画像になってしまう問題がある。
この問題点を解決するために、画像拡大時に鮮明な高解像度画像を得る手法として、様々な手法が既に提案されている。
それらの手法は、大別すると、複数枚の画像データを使う手法と、1枚の画像データだけを用いる手法に分けることができる。
この問題点を解決するために、画像拡大時に鮮明な高解像度画像を得る手法として、様々な手法が既に提案されている。
それらの手法は、大別すると、複数枚の画像データを使う手法と、1枚の画像データだけを用いる手法に分けることができる。
複数枚の画像データを使う手法の場合には、学習により低解像度画像と高解像度画像との関係を求めて、その求めた関係に基づき、低解像度画像を高解像度化するものである。この場合には、学習した低解像度画像と高解像度画像との関係と、適用する低解像画像及び高解像画像との関係との相関が高ければ、高解像度画像を高精度に推定できる。逆に相関が低ければ、高解像度画像の推定精度が著しく低下する問題がある。
1枚の画像データのみを使って高解像度画像を得る場合には、例えば、高解像度化する原画像を、DCT係数、ウェーブレット係数、ラプラシアンピラミッドの成分に分解し、低周波成分から高周波成分を生成・強調を行うことにより、高解像度画像を推定する手法である。これらの1枚の画像データのみを使って高解像度画像を得る手法の場合には、低周波成分から高周波成分の生成・強調を行うために、リンギングやブロック状のノイズの発生があり、また画像の平坦部においてノイズが強調されてしまうという問題がある。
この問題点を解決するために、本願の発明者らは先に、非特許文献1において、高解像度画像拘束超平面と多項式近似による局所画像超曲面に基づく画像の高解像度化手法を提案した。この画像の高解像度化手法は、周波数解析を用いないため、リンギングやブロック状のノイズの発生を防ぐことが出来、また平坦部においてノイズが強調されることがないなどの効果が得られる。
しかしながら、この先に提案した手法では、高解像度化する画像を高解像度化する画像サイズに間引き、その間引いた箇所の輝度値を多項式近似により推定するために、点状のアーチファクトが生じるという課題が残った。
特に、画像内に表示された物体のエッジ部分の近傍の補間画素の値が、エッジ部分の周辺画素に影響されて、誤った補間値となって、エッジがぼけた画像になってしまうことがあった。
しかしながら、この先に提案した手法では、高解像度化する画像を高解像度化する画像サイズに間引き、その間引いた箇所の輝度値を多項式近似により推定するために、点状のアーチファクトが生じるという課題が残った。
特に、画像内に表示された物体のエッジ部分の近傍の補間画素の値が、エッジ部分の周辺画素に影響されて、誤った補間値となって、エッジがぼけた画像になってしまうことがあった。
本発明はかかる点に鑑みてなされたものであり、周波数解析などの手法を用いることなくより良好に補間画素を形成させることができるようにすることを目的とする。
本発明は、第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する場合に適用される。
その処理としては、第1の画素数の画像データを前記第2の画素数として、増えた画素を補間により形成させる補間画素形成処理を行う。
そして、補間画素形成処理で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。
また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。
そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
その処理としては、第1の画素数の画像データを前記第2の画素数として、増えた画素を補間により形成させる補間画素形成処理を行う。
そして、補間画素形成処理で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理を行う。
また、その領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理を行う。
そして、エッジ検出処理で検出されたエッジ部分の補間画素を、領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理を行う。
本発明によると、画像をヒストグラム解析した結果を使って、補間画素値を得る際のその補間画素が、どの領域に属した画素であるのか判断して、その判断結果に基づいて補間値を得る処理が行われるので、エッジ部分の近傍の画素値を的確に推定でき、画像を高解像度化できるようになる。
特に、リンギング,ブロックノイズ,オーバシュートや点状のアーチファクトを生じることなく、画像を高解像度化することが可能となる。
特に、リンギング,ブロックノイズ,オーバシュートや点状のアーチファクトを生じることなく、画像を高解像度化することが可能となる。
また、ヒストグラム解析による領域分割処理として、画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義して、ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ画像中の異なる領域として設定するようにしたことで、画像データを適切にクラスタリングでき、そのクラスタリングされた結果に基づいて領域分割を適正に行え、良好な高解像度化が行える。
以下、本発明の一実施の形態を、添付図面を参照して説明する。
本実施の形態の例においては、入力した画像データ又は記憶した画像データに対して、1枚の画像データだけを使った処理で、画素数を増やす処理を行うようにしたものである。
本実施の形態で画素数を増やす処理の概要について説明すると、まず、3次スプライン関数により、画像を拡大する。次に、拡大した画像に対して輝度値のヒストグラムに基づく領域分割を行う。そして、各領域の周辺領域の輝度値を領域内部の輝度値から最小二乗近似により推定するようにしたものである。
図1は、本実施の形態の処理を行う構成例を示した図である。
この図1の例では、画像データ記憶部1に記憶された画像データを、画像拡大部2に供給して、画素数を増やす拡大処理を行い、その拡大された画像データを、画像出力部3から外部に出力させる。画像出力部3から出力させる画像データは、例えば、表示やプリントなどを行う。
この図1の例では、画像データ記憶部1に記憶された画像データを、画像拡大部2に供給して、画素数を増やす拡大処理を行い、その拡大された画像データを、画像出力部3から外部に出力させる。画像出力部3から出力させる画像データは、例えば、表示やプリントなどを行う。
画像拡大部2で画像データを拡大処理する際には、ヒストグラム領域分割部4で、画像データの輝度に基づいたヒストグラムを生成し、その生成したヒストグラムの峰ごとに領域分割を行う。その領域分割の詳細については後述する。
ヒストグラム領域分割部4で領域分割された結果は、エッジ抽出部5に供給し、画像拡大部2で画素数が拡大された画像中の、表示物体のエッジ部分の画素を抽出する。ここで抽出する画素は、拡大により発生した補間画素である。
そして、エッジ抽出部5で抽出された、そのエッジ部分の補間画素の画素値を、エッジ輝度判定部6で判定し、その判定結果を画像拡大処理部2に供給する。
エッジ輝度判定部6で輝度を判定する際には、ヒストグラム領域分割部4で判定された領域に基づいて、その補間画素がどの領域に属するかを判定し、その判定された領域内部の輝度値から最小二乗近似により推定する。推定した補間画素値は、画像拡大処理部2に供給し、画像出力部3に供給して出力させる拡大画像内の画素値に反映させる。
ヒストグラム領域分割部4で領域分割された結果は、エッジ抽出部5に供給し、画像拡大部2で画素数が拡大された画像中の、表示物体のエッジ部分の画素を抽出する。ここで抽出する画素は、拡大により発生した補間画素である。
そして、エッジ抽出部5で抽出された、そのエッジ部分の補間画素の画素値を、エッジ輝度判定部6で判定し、その判定結果を画像拡大処理部2に供給する。
エッジ輝度判定部6で輝度を判定する際には、ヒストグラム領域分割部4で判定された領域に基づいて、その補間画素がどの領域に属するかを判定し、その判定された領域内部の輝度値から最小二乗近似により推定する。推定した補間画素値は、画像拡大処理部2に供給し、画像出力部3に供給して出力させる拡大画像内の画素値に反映させる。
図2は、図1に示した処理を実行するデータ処理装置の構成例を示した図である。
ここでは、データ処理装置は、例えばコンピュータ装置とその周辺機器で構成してあり、コンピュータ装置に接続されたカメラ又はスキャナなど構成される画像取り込み部11で、画像を取り込むようにしてあり、拡大された画像をディスプレイ19に表示するようにしてある。コンピュータ装置には、画像データの拡大処理を行うためのソフトウェア(プログラム)がインストールしてある。操作については、例えばコンピュータ装置に接続されたキーボード17を使用する。
ここでは、データ処理装置は、例えばコンピュータ装置とその周辺機器で構成してあり、コンピュータ装置に接続されたカメラ又はスキャナなど構成される画像取り込み部11で、画像を取り込むようにしてあり、拡大された画像をディスプレイ19に表示するようにしてある。コンピュータ装置には、画像データの拡大処理を行うためのソフトウェア(プログラム)がインストールしてある。操作については、例えばコンピュータ装置に接続されたキーボード17を使用する。
画像取り込み部11で取り込まれた画像データは、データ処理部12に送られ、制御部15の制御で拡大処理が行われて、拡大された画像データがデータメモリ13に記憶される。画素値のヒストグラム化などの拡大処理に必要なデータ処理についても、データ処理部12で実行される。このデータ処理部12での処理は、プログラムメモリ16に記憶されたプログラムの指示で、実行される。
図3は、本実施の形態での画像拡大の概要を示したものである。
ここでは、図3(a)に示すように、水平方向X画素×垂直方向Y画素(ここでは水平方向3画素×垂直方向3画素)の1枚の原画像データを想定する。この図3(a)に示す高解像度化を行う画像の横・縦のサイズをそれぞれXN,YNとする。つまり、高解像度化する画像の横・縦を、それぞれN倍の高解像度化を行うものとする。ここでは、N=2として説明する。
この原画像データに対して、水平方向の画素数と垂直方向の画素数をそれぞれ2倍に拡大した、図3(b)に示す拡大画像を得る。この拡大画像の内で、斜線を付与して示す画素が、原画像の画素値をそのまま反映させた画素であり、水平・垂直いずれの方向も1画素間隔で配置されている。そして、拡大により新たに増えた画素(斜線を付与していない空白の画素)については、そのままでは画素値は不定である。この輝度値が不定の画素は、例えば値−1を割当てておく。
ここで、拡大により新たに増えた画素の画素値を、3次スプライン関数により補間画素値を得て、図3(c)に示すように、全ての画素値を確定させる。ここで、ヒストグラム化を行って領域判定した結果を利用して、エッジ部分の補間画素については、領域内の画素の最小二乗近似により補間画素値を得る処理を行う。
なお、図3は拡大の原理を説明するための図であり、実際には水平方向と垂直方向の画素数は、より多い画素数であり、またそれぞれの方向で拡大する画素数も2倍には限らず、3倍などのより多くの画素数への拡大も可能である。
ここでは、図3(a)に示すように、水平方向X画素×垂直方向Y画素(ここでは水平方向3画素×垂直方向3画素)の1枚の原画像データを想定する。この図3(a)に示す高解像度化を行う画像の横・縦のサイズをそれぞれXN,YNとする。つまり、高解像度化する画像の横・縦を、それぞれN倍の高解像度化を行うものとする。ここでは、N=2として説明する。
この原画像データに対して、水平方向の画素数と垂直方向の画素数をそれぞれ2倍に拡大した、図3(b)に示す拡大画像を得る。この拡大画像の内で、斜線を付与して示す画素が、原画像の画素値をそのまま反映させた画素であり、水平・垂直いずれの方向も1画素間隔で配置されている。そして、拡大により新たに増えた画素(斜線を付与していない空白の画素)については、そのままでは画素値は不定である。この輝度値が不定の画素は、例えば値−1を割当てておく。
ここで、拡大により新たに増えた画素の画素値を、3次スプライン関数により補間画素値を得て、図3(c)に示すように、全ての画素値を確定させる。ここで、ヒストグラム化を行って領域判定した結果を利用して、エッジ部分の補間画素については、領域内の画素の最小二乗近似により補間画素値を得る処理を行う。
なお、図3は拡大の原理を説明するための図であり、実際には水平方向と垂直方向の画素数は、より多い画素数であり、またそれぞれの方向で拡大する画素数も2倍には限らず、3倍などのより多くの画素数への拡大も可能である。
図4のフローチャートは、本実施の形態での画像の拡大処理を示すものである。
図4に沿って順に説明すると、まず原画像のデータが入力されると(ステップS11)、その原画像データに対して、3次スプライン関数により補間画素を生成させて、画像を拡大する(ステップS12)。その拡大された画像中の各画素の輝度値を、ヒストグラム化して、領域分割を行う(ステップS13)。
そして、そのヒストグラム化による領域分割で得られた領域のエッジ部分の、推定画素(補間画素)を抽出する(ステップS14)。その抽出した推定画素の画素値を、ステップS13で判断した領域の内部輝度値を使った最小二乗近似により推定し(ステップS15)、全ての画素値を確定させる。なお、以下の説明では、各領域のエッジ部(周辺部)における輝度値を推定する領域を輝度値推定領域と呼ぶ。
図4に沿って順に説明すると、まず原画像のデータが入力されると(ステップS11)、その原画像データに対して、3次スプライン関数により補間画素を生成させて、画像を拡大する(ステップS12)。その拡大された画像中の各画素の輝度値を、ヒストグラム化して、領域分割を行う(ステップS13)。
そして、そのヒストグラム化による領域分割で得られた領域のエッジ部分の、推定画素(補間画素)を抽出する(ステップS14)。その抽出した推定画素の画素値を、ステップS13で判断した領域の内部輝度値を使った最小二乗近似により推定し(ステップS15)、全ての画素値を確定させる。なお、以下の説明では、各領域のエッジ部(周辺部)における輝度値を推定する領域を輝度値推定領域と呼ぶ。
次に、図4のフローチャート中のステップS13で、拡大された画像中の各画素の輝度値を、ヒストグラム化する処理について説明する。
ここでは、ヒストグラム化する際に、重み付き逐次ファジィクラスタリングの手法を使う。
まず、重み付き逐次フアジィクラスタリング手法のベースとなる類似度行列に類似度行列に基づくファジィクラスタリング手法の概要を説明し、次に、重み付き逐次ファジィクラスタリング手法の概要を説明する。
ここでは、ヒストグラム化する際に、重み付き逐次ファジィクラスタリングの手法を使う。
まず、重み付き逐次フアジィクラスタリング手法のベースとなる類似度行列に類似度行列に基づくファジィクラスタリング手法の概要を説明し、次に、重み付き逐次ファジィクラスタリング手法の概要を説明する。
[類似度行列に基づくファジィクラスタリング]
D次元のベクトルデータvがn個あるとすると、i番目のデータviとj番目のデータvjの類似度は、次の式(1)で示される。
D次元のベクトルデータvがn個あるとすると、i番目のデータviとj番目のデータvjの類似度は、次の式(1)で示される。
ただし、vi (d),vj (d)は、それぞれ、vi,vjのd番目の要素とする。
ここで、Sijが大きい、すなわち類似したデータをグループ化する。まず最初に、最も主要なクラスタを1つ抽出することを考える。各データiが、このクラスタに所属する度合いをxiとし、クラスタの凝集度を、次の式(2)で評価する。
ここで、Sijが大きい、すなわち類似したデータをグループ化する。まず最初に、最も主要なクラスタを1つ抽出することを考える。各データiが、このクラスタに所属する度合いをxiとし、クラスタの凝集度を、次の式(2)で評価する。
ここでS=[sij]は類似度行列であり、x=[x1,・・・,xn]Tである。この凝集度が最大となるxを求める。ただし、||x||2=xTx=1と制約する。凝集度が最も高いクラスタのxは、次の式(3)の解である。
この最適化問題の解決はLagrange乗数法により固有値問題に帰着することができる。式(3)を行列Sとベクトルxで表せば、次の式(4)となり、Lagrange関数は式(5)となる。
λは、Lagrange乗数である。
式(3)の解は、式(6)を満たす。
式(3)の解は、式(6)を満たす。
式(6)から、式(7)が得られる。
(3)式の最適化問題解法は、固有値問題に帰着できる。各データの凝集度の値は、式(7)の固有値で与えられる。また、第1クラスタヘの所属度合いxは、行列Sの最大固有値の固有ベクトルとなる。ここで、xiが最大のデータi*がクラスタの代表データであるとし、代表データの所属度が1となるように、mi=xi/xi *と正規化する。ここでは、miをメンバーシップと呼ぶこととする。
[重み付き逐次ファジィクラスタ抽出法]
次に、重み付き逐次ファジィクラスタ抽出法について説明する。ここでは、各データが重みを持つ場合を考える。この場合,式(3)は、次の式(8)となる。
次に、重み付き逐次ファジィクラスタ抽出法について説明する。ここでは、各データが重みを持つ場合を考える。この場合,式(3)は、次の式(8)となる。
ただし,vi,vjは、それぞれxi,xjに対する重みを表す。
ここで、Yi={√(vi)}・(Xi)とすると、式(8)は、次の式(9)となる。
ここで、Yi={√(vi)}・(Xi)とすると、式(8)は、次の式(9)となる。
この最適化問題の解法も、Lagrange乗数法により固有値問題に帰着することができる。式(9)の最適解Y=[y1,・・・,yn]は、
行列S=[sij]:s={√(vi)}{√(vj)}(sij)の固有ベクトルであり、式(8)の解xは、xi=yi/{√(vi)}で与えられる。
{√(vi)}{√(vj)}(sij)(yi)(yn)=(vi)(vj)(sij)(xi)(xn)であるので、行列Sの固有値が凝集度を与える。xiが最大のiを代表データi*とすると、mi=xi/xi *を、データiのメンバーシップ値とする、なお,vi=0の場合、このデータを取り除いて処理すればよいが、vi=0とすると、yi=0となるので、xi=0とすれば、viを含めてもよい。
行列S=[sij]:s={√(vi)}{√(vj)}(sij)の固有ベクトルであり、式(8)の解xは、xi=yi/{√(vi)}で与えられる。
{√(vi)}{√(vj)}(sij)(yi)(yn)=(vi)(vj)(sij)(xi)(xn)であるので、行列Sの固有値が凝集度を与える。xiが最大のiを代表データi*とすると、mi=xi/xi *を、データiのメンバーシップ値とする、なお,vi=0の場合、このデータを取り除いて処理すればよいが、vi=0とすると、yi=0となるので、xi=0とすれば、viを含めてもよい。
次に、重み付き逐次ファジィクラスタ抽出法を用いて、抽出したクラスタに含まれるデータを取り除きながら、遂次的にクラスタを抽出する手法を示す。
まず、1番目のクラスタを上記の手法で抽出する。次に、2番目のクラスクの抽出する際に,1番目のクラスタに所属するデータを取り除いて同様の処理を行う。
各データiが1番目のクラスタに所属するメンバーシップをm1iとすると、データiの残存率は、1−m1iとなり、これが2回目のクラスタ抽出でのデータの重みviとなる。そこで、vi=1−m1iとし、2回目のクラスタ抽出処理を行う。
行列S2=[s2ij]:s2ij={√(1−m1i)}{√(1−mij)}(sij)の第1固有ベクトルを、Y2=[y21,・・・,y2n]とすると、x2i=y2i/{√(1−m1i)}となる。
但し、1番目のクラスタにおける代表データi1 *では、v1 *=1−m1i1 *=0となるので、x2i(1) *=0とする。
まず、1番目のクラスタを上記の手法で抽出する。次に、2番目のクラスクの抽出する際に,1番目のクラスタに所属するデータを取り除いて同様の処理を行う。
各データiが1番目のクラスタに所属するメンバーシップをm1iとすると、データiの残存率は、1−m1iとなり、これが2回目のクラスタ抽出でのデータの重みviとなる。そこで、vi=1−m1iとし、2回目のクラスタ抽出処理を行う。
行列S2=[s2ij]:s2ij={√(1−m1i)}{√(1−mij)}(sij)の第1固有ベクトルを、Y2=[y21,・・・,y2n]とすると、x2i=y2i/{√(1−m1i)}となる。
但し、1番目のクラスタにおける代表データi1 *では、v1 *=1−m1i1 *=0となるので、x2i(1) *=0とする。
このx2iが最大となるデータi2 *が、2番目のクラスタにおける代表データであり、m2i=x2i/x2i(2) *が、各データiの2番目のクラスタヘのメンバーシップ値となる。以下、同様にして各データiのk番目のクラスタに対するメンバーシップ値は、
行列Sk=[skij]:skij=Πl=1 k−1{√(1−m1i)}{√(1−mij)}(sij)
の固有ベクトルYkを求めれば、xki=yki/{√[Πl=1 k−1(1−m1i)]}により、mki=xki/xki *となる。抽出したクラスタの凝縮度はkが増すにつれ、単調に減少するので、凝集度が閾値以下となった場合にクラスタ抽出の処理を終了する。
行列Sk=[skij]:skij=Πl=1 k−1{√(1−m1i)}{√(1−mij)}(sij)
の固有ベクトルYkを求めれば、xki=yki/{√[Πl=1 k−1(1−m1i)]}により、mki=xki/xki *となる。抽出したクラスタの凝縮度はkが増すにつれ、単調に減少するので、凝集度が閾値以下となった場合にクラスタ抽出の処理を終了する。
本実施の形態においては、ここまで説明した、重み付き逐次ファジィクラスタ抽出法を適用して、さらに峰の数が未知の多峰性ヒストグラムを解析するようにしたものである。
以下、その手法の概要について説明すると、本実施の形態においては、ヒストグラムの凝集度を求めるためにデータiとjの類似度sijを、次の式(10)のように再定義する。
そして、再定義した類似度sijを用いて、重み付き逐次ファジィクラスタリング手法により、ヒストグラムの峰毎にクラスタリングする。最後に、主要な峰以外にクラスタリングされたヒストグラムを、主要な峰に所属させることにより、ヒストグラム全体の分峰を完了する。このヒストグラム全体の分峰結果に基づいて、画像中の各画素が、その画素値からどの領域に属すかを判断する。
以下に、図5〜図7を参照して、重み付き逐次ファジィクラスタリング手法を適用した、本実施の形態による具体的なヒストグラムの分峰処理のアルゴリズムについて説明する。
図6は、ヒストグラムの例を示した図である。入力又は記憶したデータをヒストグラムとして表したとき、図6(a)に示すような、複数の峰が存在するヒストグラムであるとする。図6(a)の横軸が各画素の輝度値で、縦軸が各輝度値の頻度を示すヒストグラム値である。このヒストグラムは、1枚(1フレーム)の画像中のヒストグラム値である。この図6(a)のヒストグラムのデータを、峰毎に分峰する処理を行って、領域分割するものである。
図5のフローチャートは、処理の流れを示した図である。図5に基づいて説明すると、まずヒストグラムに対して、式(10)を使用して再定義した類似度の計算を行う(ステップS1)。そして、その再定義した類似度を用いて、上述した重み付き逐次ファジィクラスタリング処理を行う(ステップS2)。そして、ヒストグラム全体の最大値に対して、ある程度の比率で値を小さくした閾値を設定しておく。例えば、ヒストグラム全体の最大値の約20%の値を、閾値とする。
このように設定された閾値と、クラスタリングされたヒストグラムの最大値とを比較する(ステップS3)。この比較で、クラスタリングされたヒストグラムの最大値が閾値以上である場合には、類似度行列の各成分の重み付けを行い(ステップS4)、再度、ステップS2の重み付き逐次ファジィクラスタリング処理を行う。このステップS2の重み付き逐次ファジィクラスタリング処理と、ステップS3の比較処理と、ステップS4の類似度行列の各成分の重み付け処理を繰り返すことで、図6(b)に示すように、ヒストグラム内の各峰の最大値が順に検出されて、その検出された峰のクラスタに所属するデータが分けられて、クラスタリングされたヒストグラムが得られる。
そして、ステップS3の比較で、クラスタリングされたヒストグラムの最大値が閾値以上でない場合には、最後のクラスタに含まれているデータと、ヒストグラム中でまだクラスタリングされていないデータとを、各データに最近傍のクラスタに所属させる処理を行い(ステップS5)、ヒストグラムの分峰結果を得る(ステップS6)。ヒストグラムの分峰結果から、画像内の各画素が、画素値ごとに領域分割されることになる。
このフローチャートに示した処理の詳細例について、以下、数式を用いて、1.〜8.の手順として順に説明する。ここでは、0≦i≦nに対するヒストグラム値h(i)が与えられているとする。
1. k:=1,l(i):=0(1≦i≦n)とし、ヒストグラムの最大値をhmaxとする。
2. 類似度sijを、次の式(11)のように定義する。
2. 類似度sijを、次の式(11)のように定義する。
そして、もし、k=1ならば、式(12)のように設定する。
また、もしk>1ならば、式(13)のように設定する。
この式(13)のように類似度を設定して、重み付き逐次ファジィクラスタリングにより、第kクラスタに対する各データiのメンバーシップ値mkiを求める。
3. mki (max)=argmax1≦i≦n,l(i)=0 m kiとし、mki (max)におけるiを、maxkiとする。各メンバーシップ値に対して、式(14)の演算を行い、新たなメンバーシップ値miを算出する。
4. 0.5≦miを満たすiのヒストグラムをk番目のクラスタとしてラベリング(l(i):=k)する。
5.hkmax=argmax1≦i≦n,l(i)=0hiとし、hkmax/hmaxが閾値Thend以上か否か判断する。
5.1 ここで、もし閾値Thend以上であるならば、k:=k+1として、2.の処理に戻る。
5.2 また、もし閾値Thend以上でないならば、l(i)=kを満たすl(i)を0とし、6.に進む。
6. i:=1とする。
7. l(i)=0であるか。
7.1 もし、l(i)=0である場合には、式(15)の条件を満たすj*を抽出し、l(i) :=l(j*)とする。
5.hkmax=argmax1≦i≦n,l(i)=0hiとし、hkmax/hmaxが閾値Thend以上か否か判断する。
5.1 ここで、もし閾値Thend以上であるならば、k:=k+1として、2.の処理に戻る。
5.2 また、もし閾値Thend以上でないならば、l(i)=kを満たすl(i)を0とし、6.に進む。
6. i:=1とする。
7. l(i)=0であるか。
7.1 もし、l(i)=0である場合には、式(15)の条件を満たすj*を抽出し、l(i) :=l(j*)とする。
7.2 もし、l(i)=0でない場合には、i:=i+1として、7.の判断に戻る。8. i=nであるか。
8.1 もし、i=nであるなら、終了する。
8.2 もし、i=nでない場合には、i:=i+1として、7.の判断に戻る。
8.1 もし、i=nであるなら、終了する。
8.2 もし、i=nでない場合には、i:=i+1として、7.の判断に戻る。
このようにして処理を行うことで、図6(b)、図6(c)に示すように各峰が検出されて、その峰にクラスタされていき、最終的に、ヒストグラム内の全ての画素値が各峰にクラスタリングされる。
次に、このような処理構成を使用して、1枚の画像内の画素値に対して生成させたヒストグラムを分峰した例について、図7に示す。
図7(a)は、輝度値のヒストグラムの例であり、横軸が輝度値であり、縦軸が各輝度値の頻度値である。
この図7(a)に示すヒストグラムを本例の処理で分峰した結果が、図7(b)に示すものである。図7(b)では、それぞれのラベル値l(i)毎に、記号○、×、□を付与して、分峰したデータとして示してある。この図7(b)に示すように、3つの峰が良好に分峰されることが判る。
図7(a)は、輝度値のヒストグラムの例であり、横軸が輝度値であり、縦軸が各輝度値の頻度値である。
この図7(a)に示すヒストグラムを本例の処理で分峰した結果が、図7(b)に示すものである。図7(b)では、それぞれのラベル値l(i)毎に、記号○、×、□を付与して、分峰したデータとして示してある。この図7(b)に示すように、3つの峰が良好に分峰されることが判る。
図8は、実際の画像に対して、その輝度値をヒストグラム化して、そのヒストグラム値を分峰した検出の例を示したものである。図8(a)の左側は、実験に使用した画像であり、右側は、その画像中の各画素の輝度値から生成したヒストグラムである。
この図8(a)のヒストグラムに対して、本実施の形態の分峰処理を行って、領域分割したヒストグラムを示したのが、図8(b)の右側であり、峰ごとに領域分けがされている。この領域分割結果を画像で示したのが、図8(b)の左側の画像であり、領域ごとに異なるレベル(濃度)で示してある。
この図8(b)の画像から判るように、画像中の顔や各物体などが、それぞれ個別の領域に分割されていることが判る。
この図8(a)のヒストグラムに対して、本実施の形態の分峰処理を行って、領域分割したヒストグラムを示したのが、図8(b)の右側であり、峰ごとに領域分けがされている。この領域分割結果を画像で示したのが、図8(b)の左側の画像であり、領域ごとに異なるレベル(濃度)で示してある。
この図8(b)の画像から判るように、画像中の顔や各物体などが、それぞれ個別の領域に分割されていることが判る。
そして本実施の形態の形態においては、このヒストグラム値に基づいた領域分割結果を使って、拡大時の推定画素の内で、領域の境界部(エッジ部)に存在する推定画素を、その推定画素が存在する領域内の画素値から推定するようにしたものである。
この処理は、図4のフローチャートでの、ステップS14でのエッジ輝度推定部分抽出処理と、ステップS15での内部輝度値からのエッジ部分の輝度値の推定処理に相当する。
この処理は、図4のフローチャートでの、ステップS14でのエッジ輝度推定部分抽出処理と、ステップS15での内部輝度値からのエッジ部分の輝度値の推定処理に相当する。
図9のフローチャートは、輝度値の推定領域の設定例を示した図である。このフローチャートにおいて、l(x,y)は画素(x,y)における領域のラベル値、e(x,y)は画素(x,y)における輝度値推定領域のラベル値、l_edge(x,y)は画素(x,y)における各領域のエッジのラベル値をそれぞれ表す。なお、e,l_edgeは、縦・横それぞれXN,YNのサイズで初期値を0にしておく。
図9に従って説明すると、lc=1とし(ステップS31)、lを走査する(ステップS32)。ここでもし、l(x,y)=lcで、かつl(x,y)がlcの領域における異なるエッジ((x,y)の近傍に異なるラベル値が存在する)ならば(ステップS33)、e,l_edge(x,y)=lcとする(ステップS34)。
次に、lc=lc+1とし(ステップS35)、加算したlcがlのラベル値の最大値より大か否か判断し(ステップS36)、最大値以下である場合にはステップS33に戻る。
ステップS36で最大値より大きいと判断した場合には、lc=1とし、end_flag=0とし(ステップS37)、l_edgeを走査する(ステップS38)。ここでもし、l_edge(x,y)=lc、又はe(I,j)(I,j∈{(x,y)の1近傍})≠0ならば(ステップS39)、e(x,y)=lcとする(ステップS40)。ここで、l_edge(x,y)=0、かつEXPAND(x,y)≠−1ならば(ステップS41)、end_flag=1とする(ステップS42)。
ステップS36で最大値より大きいと判断した場合には、lc=1とし、end_flag=0とし(ステップS37)、l_edgeを走査する(ステップS38)。ここでもし、l_edge(x,y)=lc、又はe(I,j)(I,j∈{(x,y)の1近傍})≠0ならば(ステップS39)、e(x,y)=lcとする(ステップS40)。ここで、l_edge(x,y)=0、かつEXPAND(x,y)≠−1ならば(ステップS41)、end_flag=1とする(ステップS42)。
次に、end_flag≠0か否か判断し(ステップS43)、end_flag≠0でなければステップS38に戻る。end_flag≠0である場合には、lc=lc+1とし、end_flag=0とする(ステップS44)。そして、lcがlのラベル値の最大値より大か否か判断し(ステップS45)、最大値以下である場合にはステップS38に戻る。lcがlのラベル値の最大値より大である場合には終了する。
以上の処理により、l_edge、eを決定する。なお、この処理フロー中のend_flagは、輝度値推定領域抽出処理の終了判定用のフラグとする。
以上の処理により、l_edge、eを決定する。なお、この処理フロー中のend_flagは、輝度値推定領域抽出処理の終了判定用のフラグとする。
図10は、この図9のフローチャートの処理の各領域の例を示した図である。
図10(a)は、処理する画像の例である。この例では、2つの大きさの異なる四角形が隣接して中央付近に存在する画像である。図10では、分かり易くするために、四角形の中に模様を付与してあるが、実際には四角形の中の各画素は均一な輝度値であるとする。
この図10(a)に示す画像lを想定すると、その四角形のエッジ部分l_edgeは、図10(b)に示すように抽出される。
そして、抽出されたエッジ部分に隣接した、輝度変化がなまった可能性がある領域eが、図10(c)に示すように抽出される。
図10(a)は、処理する画像の例である。この例では、2つの大きさの異なる四角形が隣接して中央付近に存在する画像である。図10では、分かり易くするために、四角形の中に模様を付与してあるが、実際には四角形の中の各画素は均一な輝度値であるとする。
この図10(a)に示す画像lを想定すると、その四角形のエッジ部分l_edgeは、図10(b)に示すように抽出される。
そして、抽出されたエッジ部分に隣接した、輝度変化がなまった可能性がある領域eが、図10(c)に示すように抽出される。
次に、本例での輝度値推定領域における輝度値の推定処理について説明する。ここでは、最小二乗法に基づく輝度値推定領域における輝度値の推定処理を行う。
まず、図11を参照して、各領域における基準点の抽出処理例について説明する。
輝度値推定領域の輝度値を推定するために、まず、各領域における基準点を、図11のフローチャートの処理により抽出する。なお、e_edge、e_pointsは、縦・横それぞれXN,YNのサイズで、値を0に初期化しておく。
図11に従って説明すると、lc=1とし(ステップS51)、eを走査する(ステップS52)。ここでもし、e(x,y)=lcで、かつe(x,y)がlcの領域におけるエッジ((x,y)の近傍に異なるラベル値が存在する)ならば(ステップS53)、e_edge(x,y)=lcとする(ステップS54)。
まず、図11を参照して、各領域における基準点の抽出処理例について説明する。
輝度値推定領域の輝度値を推定するために、まず、各領域における基準点を、図11のフローチャートの処理により抽出する。なお、e_edge、e_pointsは、縦・横それぞれXN,YNのサイズで、値を0に初期化しておく。
図11に従って説明すると、lc=1とし(ステップS51)、eを走査する(ステップS52)。ここでもし、e(x,y)=lcで、かつe(x,y)がlcの領域におけるエッジ((x,y)の近傍に異なるラベル値が存在する)ならば(ステップS53)、e_edge(x,y)=lcとする(ステップS54)。
次に、lc=lc+1とし(ステップS55)、加算したlcがlのラベル値の最大値より大か否か判断し(ステップS56)、最大値以下である場合にはステップS52に戻る。
ステップS56で最大値より大きいと判断した場合には、lc=1とし(ステップS57)、e_edgeを走査する(ステップS58)。ここでもし、e_edge(x,y)=lc、かつl_edge(x,y)=0であることを判断すると(ステップS59)、e_points=lcとし(ステップS60)、lc=lc+1とし(ステップS61)、加算したlcがlのラベル値の最大値より大か否か判断し(ステップS62)、最大値以下である場合にはステップS58に戻る。lcがlのラベル値の最大値より大である場合には終了する。
以上の処理により、e_edge及びe_pointsを決定する。
ステップS56で最大値より大きいと判断した場合には、lc=1とし(ステップS57)、e_edgeを走査する(ステップS58)。ここでもし、e_edge(x,y)=lc、かつl_edge(x,y)=0であることを判断すると(ステップS59)、e_points=lcとし(ステップS60)、lc=lc+1とし(ステップS61)、加算したlcがlのラベル値の最大値より大か否か判断し(ステップS62)、最大値以下である場合にはステップS58に戻る。lcがlのラベル値の最大値より大である場合には終了する。
以上の処理により、e_edge及びe_pointsを決定する。
図10(d)は、輝度変化がなまった可能性がある領域eの境界部e_edgeを示したものである。また、図10(e)は、エッジ推定に用いる内部領域e_pointsを示したものである。
次に、最小二乗法に基づく輝度値推定領域における輝度値の推定処理について説明する。
このときには、最初にlc=1とし、eを走査する。ここで、もしe(x,y)=lcならば、以下の各処理が行われる。
即ち、(I)輝度値推定領域内における点から最短距離の基準点の抽出処理と、(II)抽出した基準点におけるサンプルデータ取得領域の決定処理と、(III)輝度値領域内における点の輝度値の推定処理を行う。
このときには、最初にlc=1とし、eを走査する。ここで、もしe(x,y)=lcならば、以下の各処理が行われる。
即ち、(I)輝度値推定領域内における点から最短距離の基準点の抽出処理と、(II)抽出した基準点におけるサンプルデータ取得領域の決定処理と、(III)輝度値領域内における点の輝度値の推定処理を行う。
そして、lc=lc+1とし、もしlcがlのラベル値の最大値よりも大きければ、ここでの処理を終了し、そうでなければ、eの走査に戻る。
上述した(I)輝度値推定領域内における点から最短距離の基準点の抽出処理について説明すると、次式を満たす基準点(x^,y^)を抽出する。
但し、ImgRは、基準点探索範囲を表し、(xa,ya)を中心とする(2N+1)×(2N+1)サイズの領域とする。(xa,ya)は、輝度値推定領域内における輝度値を推定する画素の座標とする。なお、基準点探索範囲内で基準点(x,y)が抽出できなければ、次の式を満たす点を抽出し、Isr(xa,ya)=EXPAND(x′,y′)とし、上述した(III)輝度値領域内における点の輝度値の推定処理の後に移る。但し、Isrは最終的に得られる高解像度画像を表す。なお、Isrの輝度値は初期値として−1しておく。
上述した(II)抽出した基準点におけるサンプルデータ取得領域の決定処理について、図12のフローチャートを参照して説明する。
(xa,ya)における輝度値を推定するためのサンプルデータを取得する。そのために、まず図13に示した基準点(x^,y^)を中心とする濃い網を掛けた5×5の領域を設定する。この領域をサンプルデータ探索領域とする。サンプルデータ探索領域内に,さらに図13に示す薄い網を掛けた2×2の領域を設定する。この領域をサンプルデータ取得領域の候補とする。
以下に説明する図12の処理により、(xa,ya)における輝度値を推定するためのサンプルデータ取得領域を決定する。
(xa,ya)における輝度値を推定するためのサンプルデータを取得する。そのために、まず図13に示した基準点(x^,y^)を中心とする濃い網を掛けた5×5の領域を設定する。この領域をサンプルデータ探索領域とする。サンプルデータ探索領域内に,さらに図13に示す薄い網を掛けた2×2の領域を設定する。この領域をサンプルデータ取得領域の候補とする。
以下に説明する図12の処理により、(xa,ya)における輝度値を推定するためのサンプルデータ取得領域を決定する。
まず、2×2の領域内の左上端の点における座標を(m,n)とし、サンプルデータ探索領域の左上端の点に合わせる(ステップS71)。そして、2×2の領域内を走査する(ステップS72)。ここで、すべての画素でe(x,y)=0、かつl(x^,y^)=l(x,y)を満たすか否か判断し(ステップS73)、その条件を満たす場合、注目している2×2の領域をサンプルデータ取得領域のi番目の候補R(i)とし、i=i+1とする(ステップS74)。
次に、2×2の領域がサンプルデータ探索領域内に収まるように、m,nに関してサンプルデータ探索領域内を走査する(ステップS75)。その走査が終了したか否か判断し(ステップS76)、終了していなければステップS73に戻り、走査が終了した場合には、ステップS77へ移る。
ステップS77では、(xa,ya)における輝度値を推定するためのサンプルデータ取得領域は、次式を満たすi番目の領域R(i)とする。
但し、(x(i) min,y(i) min)は、i番目のサンプルデータ取得領域の候補において、(xa,ya)に対して最短距離となる座標を表し、imaxは、iの最大値を表す。
その後、候補が見つかったか否か判断し(ステップS78)、サンプルデータ取得領域の候補を見つけることができなかった場合には、次式を満たす点を抽出し、Isr(xa,ya)=EXPAND(x′,y′)とし、上述した(III)輝度値領域内における点の輝度値の推定処理の後に移る(ステップS79)。
その後、候補が見つかったか否か判断し(ステップS78)、サンプルデータ取得領域の候補を見つけることができなかった場合には、次式を満たす点を抽出し、Isr(xa,ya)=EXPAND(x′,y′)とし、上述した(III)輝度値領域内における点の輝度値の推定処理の後に移る(ステップS79)。
上述した(III)輝度値領域内における点の輝度値の推定処理について説明する。
ここでは、R(i)におけるサンプルデータに対して、x,yに関する線形関数
ここでは、R(i)におけるサンプルデータに対して、x,yに関する線形関数
を最小二乗法によりフィッティングさせ、輝度値推定領域内の(xa,ya)における輝度値Isr(xa,ya)を推定する。図14は、輝度値推定領域内の画素に対する基準点とサンプルデータ取得領域を示したものである。
この輝度値の推定のために、ラスタスキャン順に従って、サンプルデータ取得領域における各画素(x,y)とその輝度値I(x,y)を要素とする以下の行列とベクトルを生成する。
さらに、数20式における係数をベクトルとして、
と設定する。以下のように最小2乗法を用いて、係数のベクトルを決定する。
数23式によって求めたxの各要素を数20式に代入して、Isr(xa,ya)を求める。最後に、Isr(x,y)を走査し、Isr(x,y)=−1となる画素の輝度値は、SPLINE_EXP(x,y)の輝度値で置き換え、最終的な高解像度画像Isrを得る。
ここで、このようにしてヒストグラムによる領域分割とエッジ輝度推定処理を行った画像の例を、他の処理で補間した例と共に図15に示す。
図15(a)は、原画像である。この原画像(512画素×512画素)を1画素おきにサンプリングした間引き画像(256画素×256画素)を図15(b)に示すように得て、その間引き画像から、各補間処理で512画素×512画素の画像を復元した例を、図15(c)〜(g)に示す。各手法において、3原色成分であるR,G,B成分それぞれに対して処理を行い、最後に、推定したR,G,Bの値に基づき高解像度画像を生成した。
図15(a)は、原画像である。この原画像(512画素×512画素)を1画素おきにサンプリングした間引き画像(256画素×256画素)を図15(b)に示すように得て、その間引き画像から、各補間処理で512画素×512画素の画像を復元した例を、図15(c)〜(g)に示す。各手法において、3原色成分であるR,G,B成分それぞれに対して処理を行い、最後に、推定したR,G,Bの値に基づき高解像度画像を生成した。
従来手法の例について説明すると、図15(c)は、DCT法に基づく手法により推定して解像度を高めた画像である。
図15(d)は、ウェーブレット係数に基づく手法により推定して解像度を高めた画像である。
図15(e)は、ラプラシアンピラミッドに基づく手法により推定して解像度を高めた画像である。
図15(f)は、多項式近似に基づく手法により推定して解像度を高めた画像である。
図15(d)は、ウェーブレット係数に基づく手法により推定して解像度を高めた画像である。
図15(e)は、ラプラシアンピラミッドに基づく手法により推定して解像度を高めた画像である。
図15(f)は、多項式近似に基づく手法により推定して解像度を高めた画像である。
そして図15(g)は、本実施の形態による、ヒストグラムによる領域分割とエッジ輝度推定処理により高解像度化した画像である。
各従来手法と本実施の形態の手法とを比較すると、図15(c)のDCT法に基づく手法の場合には、画像中の文字や物体の縁の平坦な部分にリンギングが発生している。また、ブロックノイズも発生している。
図15(d)のウェーブレット係数に基づく手法では、ブロック状のノイズが発生している。
図15(e)のラプラシアンピラミッドに基づく手法では、エッジ部での輝度値のオーバシュートが生じている。
図15(f)の多項式近似に基づく手法では、点状のアーチファクトが生じている。
各従来手法と本実施の形態の手法とを比較すると、図15(c)のDCT法に基づく手法の場合には、画像中の文字や物体の縁の平坦な部分にリンギングが発生している。また、ブロックノイズも発生している。
図15(d)のウェーブレット係数に基づく手法では、ブロック状のノイズが発生している。
図15(e)のラプラシアンピラミッドに基づく手法では、エッジ部での輝度値のオーバシュートが生じている。
図15(f)の多項式近似に基づく手法では、点状のアーチファクトが生じている。
これに対して本実施の形態の処理例では、リンギング,ブロックノイズ,オーバシュートや点状のアーチファクトを生じることがなく、バランスよく画像を高解像度化することができる。
1…画像データ記憶部、2…データ処理部、3…ヒストグラム生成部、4…分峰処理部、5…領域分割画像出力部、11…画像取り込み部、12…データ処理部、13…データメモリ、15…制御部、16…プログラムメモリ、17…キーボード、18…表示制御部、19…ディスプレイ
Claims (7)
- 第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する画像データ処理方法において、
前記第1の画素数の画像データを前記第2の画素数として、増えた画素を補間により形成させる補間画素形成処理と、
前記補間画素形成処理で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割処理と、
前記領域分割処理で分割された各領域のエッジ部分の補間画素を検出するエッジ検出処理と、
前記エッジ検出処理で検出されたエッジ部分の補間画素を、前記領域分割処理で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定処理と
を行うことを特徴とする画像データ処理方法。 - 前記ヒストグラム解析による領域分割処理として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各画素の類似度を、所定の演算式による演算で再定義し、
前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得、
ヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較し、
前記比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理に戻り、
前記比較で閾値以上でないと判断した場合に、最後のクラスタに含まれる画素とクラスタリングされていない画素とを、それぞれ最近傍のクラスタに所属させる処理を行うことで、
ヒストグラムを各クラスタに分峰した結果を得て、得られた各クラスタをそれぞれ異なる領域として設定することを特徴とする
請求項1記載の画像データ処理方法。 - 前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理である
請求項2記載の画像データ処理方法。 - 第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する画像データ処理装置において、
前記第1の画素数の画像データを前記第2の画素数として、増えた画素を補間により形成させる補間画素形成部と、
前記補間画素形成部で補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割部と、
前記領域分割部で分割された各領域のエッジ部分の補間画素を検出するエッジ検出部と、
前記エッジ検出部で検出されたエッジ部分の補間画素を、前記領域分割部で得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定部と
を備えたことを特徴とする画像データ処理装置。 - 前記領域分割部でのヒストグラム解析による領域分割として、
画像データの画素値と各画素値の頻度に基づいて得たヒストグラムについて、そのヒストグラム内の各データの類似度を、所定の演算式による演算で再定義する再定義処理部と、
前記再定義処理部で再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る最大値演算部と、
前記最大値演算部で得たヒストグラム全体の最大値に対して、前記クラスタリングされたヒストグラムの最大値を、予め設定した閾値と比較する比較部と、
前記比較部での比較で閾値以上であると判断した場合に、類似度行列の各成分の重み付けを行い、その重み付け結果により得た類似度を、前記最大値演算部に供給する重み付け手段と、
前記比較部での比較で閾値以上でないと判断した場合に、最後のクラスタに含まれるデータとクラスタリングされていないデータとを、それぞれ最近傍のクラスタに所属させる補助処理部とを備えて、
ヒストグラムを各クラスタに分峰した結果を得ることを特徴とする
請求項4記載の画像データ処理装置。 - 前記再定義した類似度を用いて、クラスタリングされたヒストグラムの最大値を得る処理は、重み付き逐次ファジィクラスタリング処理であることを特徴とする
請求項5記載の画像データ処理装置。 - 第1の画素数の画像データを、前記第1の画素数よりも多い第2の画素数の画像データに変換する処理を実行するプログラムにおいて、
前記第1の画素数の画像データを前記第2の画素数として、増えた画素を補間により形成させる補間画素形成ステップと、
前記補間画素形成ステップで補間して第2の画素数となった画像データの画素値をヒストグラム解析して、得られたヒストグラム内の各データの類似度から、画像データ内の各画素を複数の領域に分類させる領域分割ステップと、
前記領域分割ステップで分割された各領域のエッジ部分の補間画素を検出するエッジ検出ステップと、
前記エッジ検出ステップで検出されたエッジ部分の補間画素を、前記領域分割ステップで得た同じ領域に属する近傍画素からの補間値とするエッジ画素値判定ステップと
を行うことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008238452A JP2010074416A (ja) | 2008-09-17 | 2008-09-17 | 画像データ処理方法、画像データ処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008238452A JP2010074416A (ja) | 2008-09-17 | 2008-09-17 | 画像データ処理方法、画像データ処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010074416A true JP2010074416A (ja) | 2010-04-02 |
Family
ID=42205809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008238452A Pending JP2010074416A (ja) | 2008-09-17 | 2008-09-17 | 画像データ処理方法、画像データ処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010074416A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137829A (ja) * | 2010-12-24 | 2012-07-19 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
CN110619614A (zh) * | 2019-10-24 | 2019-12-27 | 广州酷狗计算机科技有限公司 | 图像处理的方法、装置、计算机设备以及存储介质 |
-
2008
- 2008-09-17 JP JP2008238452A patent/JP2010074416A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012137829A (ja) * | 2010-12-24 | 2012-07-19 | Canon Inc | 画像処理装置及びその制御方法、並びにプログラム |
CN110619614A (zh) * | 2019-10-24 | 2019-12-27 | 广州酷狗计算机科技有限公司 | 图像处理的方法、装置、计算机设备以及存储介质 |
CN110619614B (zh) * | 2019-10-24 | 2023-05-16 | 广州酷狗计算机科技有限公司 | 图像处理的方法、装置、计算机设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6088792B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
JP4952625B2 (ja) | 透視変換歪み発生文書画像補正装置および方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
KR101747216B1 (ko) | 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 | |
JP5500024B2 (ja) | 画像認識方法及び装置並びにプログラム | |
JP5939056B2 (ja) | 画像におけるテキスト領域を位置決めする方法及び装置 | |
JP2007336562A (ja) | デジタル画像の領域分離方法および領域分離システム、ならびに、ラベル付けの方法 | |
CN111553425B (zh) | 一种用于视觉定位的模板匹配lsp算法、介质和设备 | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
CN107301652B (zh) | 一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法 | |
JP5335554B2 (ja) | 画像処理装置及び画像処理方法 | |
CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP2010074416A (ja) | 画像データ処理方法、画像データ処理装置及びプログラム | |
JP6546385B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及系统 | |
JP2022076346A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN114202665A (zh) | 一种图像相似度确定方法及装置、设备、存储介质 | |
CN113887430B (zh) | 一种轮询视频文字定位方法及系统 | |
JP2005071125A (ja) | 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム | |
CN111047604B (zh) | 一种高清图像的透明度遮罩提取方法、装置及存储介质 | |
Hudagi et al. | Performance Analysis of Image Inpainting using K-Nearest Neighbor | |
US20230186447A1 (en) | Efficient focus stacking for large images of palynological samples | |
CN108932729B (zh) | 一种最小障碍距离加权跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110506 |