JP2013131859A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 画像の構成要素の大小に関わらず良好な拡大処理や縮小処理を行える画像処理装置及び画像処理方法を提供する。
【解決手段】元画像に任意の領域を特定する領域特定部１１と、形成された領域を小領域に区分する領域区分部１２と、複数の画像情報領域に分割して近似画像を形成する近似画像形成部１３と、拡大処理又は縮小処理を行う拡大縮小部１５を備えた画像処理装置１であって、画像対比部１４を備え、近似画像形成部１３は、小領域を画像表示領域に分割した第一の近似画像、小領域を第一の近似画像より多い画像情報領域に分割した第二の近似画像を形成し、画像対比部１４は、第一の近似画像及び第二の近似画像と元画像の領域とを対比し、近似画像形成部１３は、対比の結果に基づき、第一の近似画像と第二の近似画像とのうち、元画像に近い方を用いて近似画像を形成する。
【選択図】図１

Description

本発明は、画像の拡大処理や縮小処理を行う画像処理装置及び画像処理方法に関する。

従来より、画像の品位劣化を抑止させながらサイズを拡大させたり縮小させるための技術が存在する。その一つとして、従来、元の画像のうち任意の小さな場所を正方形にサンプリングし、更にその場所を３×３の小単位に区切り、小単位を２つの色領域や輝度領域に分割する分割条件として、色の種類や輝度の大きさ、分割の角度、分割の場所を決定し、元の画像の分割状態に近似した直線で小単位を分割し、分割した小領域のサイズを拡大又は縮小することで画像品位の劣化を抑止する方法が存在する（例えば、非特許文献１参照）。

Subpixel Edge Localization and the Interpolation of Still Images (IEEE TRANSACTIONS ON IMAGE PROCESSING VOL.4. NO.3. MARCH 1995)

しかしながら、写真等に基づく画像は個々の構成要素が大きいので上記非特許文献の方法でも良好な拡大処理や縮小処理が可能であるが、ＣＧに代表される、人工的に作成された画像や文字が含まれる画像の場合、写真の場合に比べて小さい構成要素が多数含まれる場合が多い。従って、例えば図１０のイメージ図に示す、拡大処理や縮小処理の対象となる元画像３０中の、天然物を撮像した領域３１_１においては良好な結果が得られるものの、文字を記載した領域３１_２においては良好な結果が得られない場合があるという問題がある。

本発明はこのような課題に鑑みてなされたものであり、画像の構成要素の大小に関わらず良好な拡大処理や縮小処理を行える画像処理装置及び画像処理方法を提供することを課題としている。

かかる課題を解決するために、請求項１に記載の発明は、拡大処理又は縮小処理が行われる前の画像である元画像の任意の位置で任意の領域を特定する領域特定手段と、該領域特定手段によって形成された前記領域を複数の小領域に区分する領域区分手段と、前記小領域を、該小領域内に存在する輝度値又は色の値としての画像情報のエッジに近似した位置に形成される近似直線に基づいて複数の画像情報領域に分割して近似画像を形成する近似画像形成手段と、前記近似画像を拡大処理又は縮小処理をすることによって前記元画像の拡大処理又は縮小処理を行う拡大縮小手段を備えた画像処理装置であって、前記近似画像と元の前記画像とを対比する画像対比手段を備え、前記近似画像形成手段は、前記小領域を複数の前記画像情報領域に分割した第一の近似画像を形成するとともに、前記小領域を前記第一の近似画像よりも多い数の前記画像情報領域に分割した第二の近似画像を形成し、前記画像対比手段は、前記第一の近似画像と前記元画像の前記領域と、及び、前記第二の近似画像と前記元画像の前記領域とを対比し、前記近似画像形成手段は、前記対比の結果に基づいて、前記第一の近似画像と前記第二の近似画像とのうち、前記元画像に近い方を用いて前記拡大処理又は前記縮小処理に用いられる加工用画像を形成することを特徴とする。

請求項２に記載の発明は、請求項１に記載の構成に加え、前記近似画像形成手段は、前記第二の近似画像を、一対の平行な前記近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることを特徴とする。

請求項３に記載の発明は、請求項１に記載の構成に加え、前記近似画像形成手段は、前記第一の近似画像を、一の前記近似直線で二分割して、一方側を第一の輝度値又は色の値による第一の画像情報領域、他方側を第二の輝度値又は色の値による第二の画像情報領域とし、前記第二の近似画像を、一対の平行な前記近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一つに記載の構成に加え、前記領域区分手段は前記領域を縦３、横３のマトリックスとして９個の前記小領域を形成し、前記近似画像形成手段は、それぞれの前記小領域の内部の前記画像情報を数値化したものに対し、縦３、横３のマトリックスである５種類のフィルタM_０，M_１，M_２，M_３，M_４を畳み込んで５つの前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４を形成し、形成された前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４を、任意のフーリエ展開の式である式（１）に代入し、前記式（１）を求めることで前記第一の近似画像を形成すると共に、それぞれの前記小領域の内部の前記画像情報を数値化したものに対し、縦３、横３のマトリックスである７種類のフィルタM_０，M_１，M_２，M_３，M_４，M_５，M_６を畳み込んで７つの前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６を形成し、形成された前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６を、任意のフーリエ展開の式である式（２）に代入し、前記式（２）を求めることで前記第二の近似画像を形成することを特徴とする。
ａ_ｎ＝ｆ_ｎ（Ａ，Ｂ，θ，ρ）・・・（１）
ただし
ａ：実数
ｎ：整数（但し０≦ｎ≦４）
ｆ：任意のフーリエ展開の式
θ：基準線に対する近似直線の角度
ρ：基準点Ｐから近似直線までの距離
ａ_ｍ＝ｆ_ｍ（Ａ，Ｂ，θ，ρ_１，ρ_２）・・・（２）
ただし
ａ：実数
ｎ：整数（但し０≦ｎ≦６）
ｆ：任意のフーリエ展開の式
θ：基準線に対する第一の近似直線及び第二近似直線の角度
ρ_１：基準点Ｐから第一の近似直線までの距離
ρ_２：基準点Ｐから第二の近似直線までの距離

請求項５に記載の発明は、拡大処理又は縮小処理が行われる前の画像である元画像の任意の位置で任意の領域を特定する領域特定手順と、該領域特定手順によって形成された前記領域を複数の小領域に区分する領域区分手順と、前記小領域を、該小領域内に存在する輝度値又は色の値としての画像情報のエッジに近似した位置に形成される近似直線に基づいて複数の画像情報領域に分割して近似画像を形成する近似画像形成手順と、前記近似画像を拡大処理又は縮小処理をすることによって前記元画像の拡大処理又は縮小処理を行う拡大縮小手順を備えた画像処理装置であって、前記近似画像と元の前記画像とを対比する画像対比手順を備え、前記近似画像形成手順においては、前記小領域を複数の前記画像情報領域に分割した第一の近似画像を形成するとともに、前記小領域を前記第一の近似画像よりも多い数の前記画像情報領域に分割した第二の近似画像を形成し、前記画像対比手順においては、前記第一の近似画像と前記元画像の前記領域と、及び、前記第二の近似画像と前記元画像の前記領域とを対比し、前記近似画像形成手順においては、前記対比の結果に基づいて、前記第一の近似画像と前記第二の近似画像とのうち、前記元画像に近い方を用いて前記拡大処理又は前記縮小処理に用いられる加工用画像を形成することを特徴とする。

請求項１、請求項５に記載の発明によれば、元画像内の領域を区分して形成された小領域を複数の画像情報領域に分割した第一の近似画像を形成するとともに、小領域を第一の近似画像よりも多い数の画像情報領域に分割した第二の近似画像を形成し、第一の近似画像と元画像と、及び、第二の近似画像と元画像とを対比し、対比の結果に基づいて、第一の近似画像と第二の近似画像とのうち、元画像に近い方を用いて拡大処理又は縮小処理を行うことにより、元画像の場所や構成要素の状態に応じて、拡大処理や縮小処理に適した近似画像を選択できる。即ち、元画像のうち、大きい構成要素によって形成された箇所は第一の近似画像として形成すると共に、小さい構成要素によって形成された箇所は第二の近似画像として形成することができる。これにより、画像の構成要素の大小に関わらず良好な拡大処理や縮小処理を行うことができる。

請求項２に記載の発明によれば、第二の近似画像を、一対の平行な近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることにより、細い線等を含む小さい構成要素で形成された領域を小さく分割できる。これにより、画像の構成要素の大小に関わらずより良好な拡大処理や縮小処理を行うことができる。

請求項３に記載の発明によれば、第一の近似画像を、一の近似直線で二分割して、一方側を第一の輝度値又は色の値による第一の画像情報領域、他方側を第二の輝度値又は色の値による第二の画像情報領域とすることにより、大きい構成要素で形成された領域を大きく分割できる。また、第二の近似画像を、一対の平行な近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることにより、細い線等を含む小さい構成要素で形成された領域を小さく分割できる。これにより、画像の構成要素の大小に関わらずより良好な拡大処理や縮小処理を行うことができる。

請求項４に記載の発明によれば、領域を縦３、横３のマトリックスとして９個の小領域を形成することで、領域内の画像情報の分布状態を少ないデータ量で正確に特定できる。また、領域におけるそれぞれの小領域の内部の画像情報を数値化したものに対し、縦３、横３のマトリックスである５種類のフィルタ、及び７種類のフィルタを畳み込むことで５つの実数、及び７つの実数を形成し、これら５つの実数、及び７つの実数をフーリエ展開の式に代入することで第一の近似画像及び第二の近似画像を形成することにより、小領域内の画像情報の分布状態を簡単な周期関数として元画像を正確に特定できる。これにより、画像の構成要素の大小に関わらずより一層良好な拡大処理や縮小処理を行うことができる。

本発明の実施の形態に係る画像処理装置の全体構成を示す機能ブロック図である。 同上実施の形態に係る画像処理装置における、（ａ）原理（１）における第一の輝度領域、第二の輝度領域、エッジ、近似直線の関係を示す図を模式的に示す図、（ｂ）原理（１）における第一の輝度領域、第二の輝度領域、エッジ、近似直線、仮想円の関係を模式的に示す図である。 同上実施の形態に係る画像処理装置における、（ｃ）原理（１）における仮想円と回転角に沿った輝度値の関係を模式的に示す図、（ｄ）原理（１）における第一の輝度領域、第二の輝度領域、エッジ、近似直線、仮想円、小領域の関係を模式的に示す図である。 同上実施の形態に係る画像処理装置において用いられるフィルタＭ_０，Ｍ_１，Ｍ_２，Ｍ_３，Ｍ_４を模式的に示す図である。 同上実施の形態に係る画像処理装置における、（ａ）原理（２）における第一の輝度領域、第二の輝度領域、第三の輝度領域、第一のエッジ、第二のエッジ、第一の近似直線、第二の近似直線の関係を示す図を模式的に示す図、（ｂ）原理（１）における第一の輝度領域、第二の輝度領域、第三の輝度領域、第一のエッジ、第二のエッジ、第一の近似直線、第二の近似直線、仮想円の関係を模式的に示す図である。 同上実施の形態に係る画像処理装置における、（ｃ）原理（２）における仮想円と回転角に沿った輝度値の関係を模式的に示す図、（ｄ）原理（２）における第一の輝度領域、第二の輝度領域、第三の輝度領域、第一のエッジ、第二のエッジ、第一の近似直線、第二の近似直線、仮想円、小領域の関係を模式的に示す図である。 同上実施の形態に係る画像処理装置において用いられるフィルタＭ_０，Ｍ_１，Ｍ_２，Ｍ_３，Ｍ_４，Ｍ_５，Ｍ_６を模式的に示す図である。 同上実施の形態に係る画像処理装置における、拡大処理や縮小処理の手順を示すフローチャートである。 同上実施の形態に係る画像処理装置における、画像対比部における動作手順を模式的に示す図である。 従来技術に係る画像処理装置、及び同上実施の形態に係る画像処理装置において用いられる元画像のイメージ図と、元画像から取得された領域の拡大図のイメージ図である。

図１乃至図１０に本発明の一の実施の形態を示す。

＜基本構成＞
図１は、この発明の実施の形態に係る画像処理装置の全体構成を示す機能ブロック図である。画像処理システム１Ａは、画像の拡大処理や縮小処理に用いられる。なお、この実施の形態における「画像」は、主として画素の集合によって構成される。

画像処理システム１Ａは、この発明に係る画像処理装置１、及び各種処理装置２を備えている。

画像処理装置１は、画像の拡大処理や縮小処理を行う。

各種処理部２は、画像情報の各種処理、記録、外部に対する入出力等を行う。具体的には、画像情報の座標変換や階調補正や圧縮展開等の各種画像処理を行うための構成、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスク等の記憶媒体であって、圧縮されていない画像情報を一時的又は半永久的に記憶したり画像処理装置１との間で画像情報を入出力するための構成、各種インターフェースであって外部の機器等との間で画像情報の入出力を行うための構成等である。

なお、この「画像情報」とは、画像を形成するための構成要素を指す。この実施の形態では「画像情報」として輝度値を用いるが、これに変えて色の値（ＲＧＢ座標系等に基づく情報）を「画像情報」として用いてもよい。

図１に示す通り、画像処理装置１は、「領域特定手段」としての領域特定部１１、「領域区分手段」としての領域区分部１２、「近似画像形成手段」としての近似画像形成部１３、「画像対比手段」としての画像対比部１４、「拡大縮小手段」としての拡大縮小部１５を備えている。

領域特定部１１は、拡大処理又は縮小処理が行われる前の画像である元画像の任意の位置で任意の領域を特定する。領域区分部１２は、領域特定部１１によって特定された領域を複数の小領域に区分する。

近似画像形成部１３は、小領域を、小領域内に存在する輝度値又は色の値としての画像情報のエッジに近似した位置に形成される近似直線に基づいて複数の画像情報領域に分割して近似画像を形成する。画像対比部１４は、近似画像と元の画像情報とを対比する。

拡大縮小部１５は、近似画像を拡大処理又は縮小処理をすることによって元画像の拡大処理又は縮小処理を行う。

＜近似画像形成部における処理の原理（１）＞
この実施の形態においては、近似画像形成部１３が第一の近似画像を形成する。以下、第一の近似画像の形成原理を説明する。

例えば、図１０に示すように、元画像３０の一部に領域３１_１を特定する。図２の（ａ）に示す通り、この領域３１_１には輝度の異なる二つの色が存在し、第一の色が存在する「第一の画像情報領域」としての第一の輝度領域３２と第二の色が存在する「第二の画像情報領域」としての第二の輝度領域３３との間にエッジ３４が形成されている場合を考える。この場合、領域３１_１が微少な大きさであれば、図２の（ａ）に示すように、エッジ３４を近似直線３５として考えることができる。

そして、領域３１_１内の任意の位置（例えば領域３１_１の中心）に基準点Ｐを形成した場合、第一の輝度領域３２の輝度A、第二の輝度領域３３の輝度B、基準点Pから近似直線３５までの距離ρ、基準線（ここでは水平線ｘ）に対する近似直線３５への垂線３６の傾きθの変数Ａ，Ｂ，ρ，θが判れば、この領域３１_１内の輝度およびエッジ３４の状態が判明する。

次に、図２の（ｂ）に示すように、基準点Ｐを中心に半径Ｒの仮想円３７が形成された場合を考える。但し、基準点Ｐから近似直線３５までの距離ρと仮想円３７の半径ＲとがＲ＞ρの関係である。

この場合、第一の輝度領域３２の輝度をＡとし、第二の輝度領域３３の輝度をＢとすると、輝度Ａ及び輝度Ｂは以下の式（Ａ）でモデル化できる。
Ｓ＝Ｂ（if 数式）,Ｓ＝Ａ（otherwise）・・・（Ａ）

このモデルの変数は、Ａ，Ｂ（それぞれ輝度値）、θ（近似直線３５の傾き）、ρ（基準点Ｐから近似直線３５までの距離）の４つである。これら４つの変数が判れば、輝度値Ａ、輝度値Ｂ、近似直線３５の位置が特定できることになる。以下、これらの変数の特定方法を述べる。

θ＝０とし（つまり垂線３６の位置を基準線とし）、仮想円３７に沿って元画像３０の輝度値を確認すると、輝度値は、図３の（ｃ）に示す通り、回転角φをパラメータとする、一次元の周期２πの周期関数となる。この周期関数は、フーリエ展開の複数の式を重畳することで近似できる。このとき、周期関数のフーリエ展開は以下の式（１）で表される。
ａ_ｎ＝ｆ_ｎ（Ａ，Ｂ，θ，ρ）・・・（１）
ただし
ａ：実数
ｎ：整数（但し０≦ｎ≦４）
ｆ：任意のフーリエ展開の式
θ：基準線に対する近似直線３５の角度
ρ：基準点Ｐから近似直線３５までの距離

即ち、式（１）は以下の式（１０）〜式（１４），式（２１）で表すことができる。

ただし、

Ｒ：仮想円３７の半径

なお、これらの式において“σ”は、回転角０°の位置から仮想円３７の円周に沿った近似直線３５までの距離を示す。

一方、後述するように、領域区分部１２は、図３の（ｄ）に示す通り、領域３１_１を９つの小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３に区分している。近似画像形成部１３は、元画像３０から、それぞれの小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の輝度値Ｂ_１１，Ｂ_１２，・・・，Ｂ_３２，Ｂ_３３を検出する。

この輝度値Ｂ_１１，Ｂ_１２，・・・，Ｂ_３２，Ｂ_３３の値に対し、下記及び図４にイメージ図を示す縦３、横３のフィルタＭ_０〜Ｍ_４を畳み込むと、実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，が算出される。

ただし、

ただし、

これにより得た実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４を式（１０）〜式（１４）に代入することで、変数Ａ，Ｂ，θ，ρを求めることができる。
具体的には、まず

よって

となり、ρが求められる。
また、式（１１）より

となり、さらに、式（１０）より

となり、式（１８）と式（１９）を連立させてＡとＢとが求められる。

更に、フーリエ展開の性質より

であるため、

となる。
更に、

より、ρの値も求められる。

以上により、変数Ａ，Ｂ，θ，ρの値が求められ、これにより、近似直線３５の位置を定め、第一の近似画像を形成することができる。

また、第一の近似画像を基本とし、これに適宜画素の補完を行いながら拡大処理や縮小処理を行うことで、領域３１_１の拡大処理や縮小処理を容易に行える。

以上の原理に基づいて処理を行うため、画像処理装置１の近似画像形成部１３には、上述の式（１０）〜式（２１）、フィルタＭ_０〜Ｍ_４、変数Ａ，Ｂ，θ，ρを求めるための上述の式が記録されている。また、近似画像形成部１３は、これらの式やフィルタによって演算を行うための構成を有している。

＜近似画像形成部における処理の原理（２）＞
原理（１）と同様に、近似画像形成部１３は第二の近似画像を形成する。以下、第二の近似画像の形成原理を説明する。

例えば、図１０に示すように、元画像３０の一部に領域３１_２を特定する。図５の（ａ）に示す通り、この領域３１_２には輝度の異なる二つの色が存在し、両端に第一の色、中央に第二の色が存在している場合を考える。即ち、元画像３０には第一の輝度領域３２、第二の輝度領域３３、「第三の画像情報領域」としての第三の輝度領域３８が形成され、第一の輝度領域３２と第二の輝度領域３３との間に第一のエッジ３９、第二の輝度領域３３と第三の輝度領域３８との間に第二のエッジ４０が形成されている場合を考える。この場合も、領域３１_２が微少な大きさであれば、図５の（ａ）に示すように、第一のエッジ３９を第一の近似直線４１として、第二のエッジ４０を第二の近似直線４２として考えることができる。このとき、第一の近似直線４１と第二の近似直線４２とはそれぞれ平行と考える。

そして、領域３１_２内の任意の位置（例えば領域３１_２の中心）に基準点Ｐを形成した場合、第一の輝度領域３２及び第三の輝度領域３８の輝度A、第二の輝度領域３３の輝度B、基準点Pから第一の近似直線４１までの距離ρ_１、基準点Pから第二の近似直線４２までの距離ρ_２、基準線（水平線ｘ）に対する第一の近似直線４１及び第二の近似直線４２への垂線３６の傾きθの変数Ａ，Ｂ，ρ_１，ρ_２，θが判れば、この領域３１_２内の輝度と、第一のエッジ３９及び第二のエッジ４０の状態とが判明する。

次に、図５の（ｂ）に示すように、基準点Ｐを中心に半径Ｒの仮想円３７が形成された場合を考える。但し、基準点Ｐから第一の近似直線４１及び第二の近似直線４２までのそれぞれの距離ρ_１，ρ_２と仮想円３７の半径ＲとがＲ＞ρ_１，Ｒ＞ρ_２の関係である。

この場合、第一の輝度領域３２及び第三の輝度領域３８の輝度をＡ、第二の輝度領域３３の輝度をＢとすると、輝度Ａ及びＢは以下の式（Ｂ）でモデル化できる。

このモデルの変数はＡ，Ｂ（それぞれ輝度値）、θ（第一の近似直線４１及び第二の近似直線４２の傾き）、ρ_１（基準点Ｐから第一の近似直線４１までの距離）、ρ_２（基準点Ｐから第二の近似直線４２までの距離）の５つである。これら５つの変数が判れば、輝度値Ｃ、輝度値Ｄ、第一の近似直線４１及び第二の近似直線４２の位置が特定できることになる。以下、これらの変数の特定方法を述べる。

θ＝０とし（つまり垂線３６の位置を基準線とし）、仮想円３７に沿って元画像３０の輝度値を確認すると、輝度値は、図６の（ｃ）に示す通り、回転角φをパラメータとする、一次元の周期２πの周期関数となり、フーリエ展開の複数の式で近似できる。このとき、周期関数のフーリエ展開は以下の式（２）で表される。
ａ_ｍ＝ｆ_ｍ（Ａ，Ｂ，θ，ρ_１，ρ_２）・・・（２）
ただし
ａ：実数
ｎ：整数（但し０≦ｎ≦６）
ｆ：任意のフーリエ展開の式
θ：基準線に対する第一の近似直線４１及び第二近似直線４２の角度
ρ_１：基準点Ｐから第一の近似直線４１までの距離
ρ_２：基準点Ｐから第二の近似直線４２までの距離

即ち、式（２）は以下の式（２２）〜式（２８），式（３６）で表すことができる。

なお、これらの式において、“σ_１”は回転角０°の位置から仮想円３７の円周に沿った第一近似直線４１までの距離を示し、“σ_２”は回転角０°の位置から仮想円３７の円周に沿った第二の近似直線４２までの距離を示す。

一方、後述するように、領域区分部１２は、図６の（ｄ）に示す通り、領域３１_２を９つの小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３に区分している。近似画像形成部１３は、元画像３０から、それぞれの小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の輝度値Ｂ_４１，Ｂ_４２，・・・，Ｂ_６２，Ｂ_６３を検出する。

この輝度値Ｂ_４１，Ｂ_４２，・・・，Ｂ_６２，Ｂ_６３の値に対し、原理（１）に示したフィルタＭ_０〜Ｍ_４、及び下記及び図７に示す縦３、横３のフィルタＭ_５，Ｍ_６を畳み込むと、実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６が算出される。

但し、

これにより得た実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_６を式（２２）〜式（２８）に代入することで、変数Ａ，Ｂ，θ，ρ_１，ρ_２を求めることができる。

具体的には、まず、

とおいて、

を連立させ、

をｘ^２に対する３次方程式とみなして、解の公式で解くことでσ_１，σ_２が求められる。なお、σ_１，σ_２を求める際は、ｘ^２の平方根を取った結果のarccosを求めることになるので、ｘの値がプラス、マイナスのいずれであってもσ_１，σ_２は同じ値になる。また、arccosを求めることになるので、ｘの値は常に、−１≦ｘ≦１の範囲に限られる。
また、ａ_１より

となり、
ａ_０より

となるため、これらによりＡとＢとが求められる。

更に、フーリエ展開の性質より

であるため、

となる。
更に、

より、ρ_１，ρ_２の値も求められる。
以上により、変数Ａ，Ｂ，θ，ρ_１，ρ_２の値が求められ、これにより、第一の近似直線４１及び第二の近似直線４２の位置を定め、第二の近似画像を形成することができる。

また、第二の近似画像を基本とし、これに適宜画素の補完を行いながら拡大処理や縮小処理を行うことで、領域３１_２の拡大処理や縮小処理を容易に行える。

以上の原理に基づいて処理を行うため、画像処理装置１の近似画像形成部１３には、上述の式（２２）〜式（３６）、フィルタＭ_０〜Ｍ_６、変数Ａ，Ｂ，θ，ρ_１，ρ_２を求めるための上述の式が記録されている。また、近似画像形成部１３は、これらの式やフィルタによって演算を行うための構成を有している。

＜画像の拡大処理及び縮小処理の手順＞
図８は、この実施の形態の画像処理装置１における画像の拡大処理及び縮小処理の手順を示すフローチャートである。以下、このフローチャートに基づいて処理手順を説明する。

画像処理装置１には、各種処理部２から、図１０に示すような元画像３０が入力される（ステップS１）。画像が入力されると、領域特定部１１は、図１０に示すように、元画像３０の一部に略矩形の領域、例えば図１０に示す領域３１_１や領域３１_２を特定する（ステップＳ２、領域特定手順）。なお、説明の簡単のため、特に区別の必要がある場合を除き、以後領域３１_１，３１_２は領域３１と記載する。

次に、領域区分部１２は、領域特定部１１によって領域３１内の元画像３０を複数の小領域に区分する（ステップＳ３、領域区分手順）。即ち、図３の（ｄ）、図６の（ｄ）に示すように、領域３１内に縦３，横３のマトリックスとして９個の小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３を形成する。

次に、近似画像形成部１３は、領域３１内におけるエッジ３４、第一のエッジ３９、第二のエッジ４０を検出し、エッジに近似した近似直線によって複数の画像情報領域に分割して近似画像を形成する（ステップＳ４、近似画像形成手順）。

具体的には、まず、近似画像形成部１３は、上記の原理（１）を用いて、元画像３０の領域３１について第一の近似画像を形成する。これにより、図９に示すように、第一の近似画像５１が形成される。第一の近似画像５１は、小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の輝度値Ｂ_１１，Ｂ_１２，・・・，Ｂ_３２，Ｂ_３３の値が、第一の輝度領域３２及び第二の輝度領域３３のみ有するものとして（つまり第二の近似直線４２が存在しないものとして）形成されている。

次に、近似画像形成部１３は、上記の原理（２）を用いて、同じ領域３１について第二の近似画像を形成する。これにより、図９に示すように、第二の近似画像５２が形成される。第二の近似画像５２は、小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の輝度値Ｂ_４１，Ｂ_４２，・・・，Ｂ_６２，Ｂ_６３の値が、第一の輝度領域３２、第二の輝度領域３３、第三の輝度領域３８を有するものとして（つまり第二の近似直線４２が存在するものとして）形成されている。（図９の第一の近似画像５１、第二の近似画像５２は、斜線の量が小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３毎の輝度値の大きさを示している。）

次に、画像対比部１４は、第一の近似画像５１と元画像３０の領域３１と、及び、第二の近似画像５２と元画像３０の領域３１とを対比する（ステップＳ５、画像対比手順）。具体的には、例えば、画像対比部１４は、第一の近似画像５１と領域３１とを重ねた状態において、小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３毎に、輝度が同一であるかどうか、或いは、輝度の近似状況を確認する。同様に、第二の近似画像５２と領域３１とを重ねた状態において、小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３毎に、輝度が同一であるかどうか、或いは、輝度の近似状況を確認する。

画像対比部１４は、対比の結果、第一の近似画像５１と第二の近似画像５２とのうち、元画像３０に近い方を選択する（ステップＳ６）。具体的には、例えば、一の領域３１において第二の近似画像５２の方が元画像３０に近い場合には、第二の近似画像５２を選択する。図９においては、第二の近似画像５２の方が元画像３０の領域３１に近いと判断できるので、第二の近似画像５２を選択する。

ステップＳ２〜Ｓ６の処理は、元画像３０の全面にマトリックス状に形成された全ての領域３１について順次行われる（ステップＳ７の“Ｎｏ”）。拡大縮小部１５は、対比の結果に基づいて、全ての領域３１の処理が完了したら（ステップＳ７の“Ｙｅｓ”）、拡大縮小部１５は、選択された全ての第一の近似画像５１及び第二の近似画像５２の集合体としての加工用画像（図示せず）を形成し（ステップＳ８）、加工用画像（図示せず）の縮尺を変化させることで元画像３０の拡大処理や縮小処理を行う（ステップＳ９、拡大縮小手順）。なお、特に拡大処理をする際には、拡大縮小部１５は、加工用画像（図示せず）にアンチエイリアシング等の処理も適宜行う。

以上示した通り、この実施の形態においては、元画像３０内の領域３１を区分して形成された小領域４３を複数の画像情報領域に分割した第一の近似画像５１を形成するとともに、小領域４３を第一の近似画像５１よりも多い数の画像情報領域に分割した第二の近似画像５２を形成し、第一の近似画像５１と元画像３０と、及び、第二の近似画像５２と元画像３０とを対比し、対比の結果に基づいて、第一の近似画像５１と第二の近似画像５２とのうち、元画像３０に近い方を用いて拡大処理又は縮小処理を行うことにより、元画像３０の場所や構成要素の状態に応じて、拡大処理や縮小処理に適した近似画像を選択できる。

即ち、元画像３０のうち、大きい構成要素（例えば自然物を撮像した画像等）によって形成された箇所は第一の近似画像５１として形成すると共に、小さい構成要素（例えばＣＧ画像や文字情報等）によって形成された箇所は第二の近似画像５２として形成することができる。これにより、画像の構成要素の大小に関わらず良好な拡大処理や縮小処理を行うことができる。

この実施の形態においては、第一の近似画像５１を、一の近似直線で二分割して、一方側を第一の輝度値による第一の輝度領域３２、他方側を第二の輝度値による第二の輝度領域３３とすることにより、大きい構成要素で形成された領域を大きく分割できる。また、第二の近似画像５２を、一対の平行な第一の近似直線４１、第二の近似直線４２で三分割し、両端側の領域を第一の輝度値による第一の輝度領域３２及び第三の輝度領域３８、中間の領域を第二の色による第二の輝度領域３３とすることにより、細い線等を含む小さい構成要素で形成された領域を小さく分割できる。これにより、画像の構成要素の大小に関わらずより良好な拡大処理や縮小処理を行うことができる。
この実施の形態においては、領域３１を縦３、横３のマトリックスとして９個の小領域４３を形成することで、領域３１内の輝度値の分布状態を少ないデータ量で正確に特定できる。また、領域におけるそれぞれの小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の内部の輝度値を数値化したものに対し、縦３、横３のマトリックスである５種類のフィルタ、及び７種類のフィルタを畳み込むことで５つの実数、及び７つの実数を形成し、これら５つの実数、及び７つの実数をフーリエ展開の式に代入することで第一の近似画像５１及び第二の近似画像５２を形成することにより、小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３内の画像情報の分布状態を簡単な周期関数として元画像３０を正確に特定できる。これにより、画像の構成要素の大小に関わらずより一層良好な拡大処理や縮小処理を行うことができる。

なお、この実施の形態においては、画像情報は輝度値としたが、ＲＧＢ等の色の値としてもよい。

この実施の形態においては、領域区分部１２が形成する小領域３８_１１，３８_１２，・・・，３８_３２，３８_３３の区分の数は縦３、横３としたが、これに限らず、縦２、横２でもよいし、縦４、横４以上であってもよい。ただし、拡大処理や縮小処理によって高品位な画像を形成しつつ、処理時のメモリ資源等の消費増大を抑止するためには、縦３、横３の区分が好ましい。

なお、上記実施形態は本発明の例示であり、本発明が上記実施形態のみに限定されることを意味するものではないことは、いうまでもない。

１・・・画像処理装置
１１・・・領域特定部（領域特定手段）
１２・・・領域区分部（領域区分手段）
１３・・・近似画像形成部（近似画像形成手段）
１４・・・画像対比部（画像対比手段）
１５・・・拡大縮小部（拡大縮小手段）
３０・・・元画像
３１，３１_１，３１_２・・・領域
３２・・・第一の輝度領域（第一の画像情報領域）
３３・・・第二の輝度領域（第二の画像情報領域）
３５・・・近似直線
３８・・・第三の輝度領域（第三の画像情報領域）
３８，３８_１１，３８_２２，・・・，３８_２２，３８_３３・・・小領域
４１・・・第一の近似直線
４２・・・第二の近似直線
５１・・・第一の近似画像
５２・・・第二の近似画像
M_０，M_１，M_２，M_３，M_４，M_５，M_６・・・フィルタ

Claims (5)

1. 拡大処理又は縮小処理が行われる前の画像である元画像の任意の位置で任意の領域を特定する領域特定手段と、
   該領域特定手段によって形成された前記領域を複数の小領域に区分する領域区分手段と、
   前記小領域を、該小領域内に存在する輝度値又は色の値としての画像情報のエッジに近似した位置に形成される近似直線に基づいて複数の画像情報領域に分割して近似画像を形成する近似画像形成手段と、
   前記近似画像を拡大処理又は縮小処理をすることによって前記元画像の拡大処理又は縮小処理を行う拡大縮小手段を備えた画像処理装置であって、
   前記近似画像と元の前記画像とを対比する画像対比手段を備え、
   前記近似画像形成手段は、
   前記小領域を複数の前記画像情報領域に分割した第一の近似画像を形成するとともに、前記小領域を前記第一の近似画像よりも多い数の前記画像情報領域に分割した第二の近似画像を形成し、
   前記画像対比手段は、前記第一の近似画像と前記元画像の前記領域と、及び、前記第二の近似画像と前記元画像の前記領域とを対比し、
   前記近似画像形成手段は、前記対比の結果に基づいて、前記第一の近似画像と前記第二の近似画像とのうち、前記元画像に近い方を用いて前記拡大処理又は前記縮小処理に用いられる加工用画像を形成することを特徴とする画像処理装置。
2. 前記近似画像形成手段は、前記第二の近似画像を、一対の平行な前記近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記近似画像形成手段は、
   前記第一の近似画像を、一の前記近似直線で二分割して、一方側を第一の輝度値又は色の値による第一の画像情報領域、他方側を第二の輝度値又は色の値による第二の画像情報領域とし、
   前記第二の近似画像を、一対の平行な前記近似直線で三分割し、両端側の領域を第一の輝度値又は色の値による第一の画像情報領域及び第三の画像情報領域、中間の領域を第二の輝度値又は色の値による第二の画像情報領域とすることを特徴とする請求項１に記載の画像処理装置。
4. 前記領域区分手段は前記領域を縦３、横３のマトリックスとして９個の前記小領域を形成し、
   前記近似画像形成手段は、
   それぞれの前記小領域の内部の前記画像情報を数値化したものに対し、縦３、横３のマトリックスである５種類のフィルタM_０，M_１，M_２，M_３，M_４を畳み込んで５つの前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４を形成し、形成された前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４を、任意のフーリエ展開の式である式（１）に代入し、前記式（１）を求めることで前記第一の近似画像を形成すると共に、
   それぞれの前記小領域の内部の前記画像情報を数値化したものに対し、縦３、横３のマトリックスである７種類のフィルタM_０，M_１，M_２，M_３，M_４，M_５，M_６を畳み込んで７つの前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６を形成し、形成された前記実数ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６を、任意のフーリエ展開の式である式（２）に代入し、前記式（２）を求めることで前記第二の近似画像を形成することを特徴とする請求項１乃至３の何れか一つに記載の画像処理装置。
   ａ_ｎ＝ｆ_ｎ（Ａ，Ｂ，θ，ρ）・・・（１）
   ただし
   ａ：実数
   ｎ：整数（但し０≦ｎ≦４）
   ｆ：任意のフーリエ展開の式
   θ：基準線に対する近似直線の角度
   ρ：基準点Ｐから近似直線までの距離
   ａ_ｍ＝ｆ_ｍ（Ａ，Ｂ，θ，ρ_１，ρ_２）・・・（２）
   ただし
   ａ：実数
   ｎ：整数（但し０≦ｎ≦６）
   ｆ：任意のフーリエ展開の式
   θ：基準線に対する第一の近似直線及び第二近似直線の角度
   ρ_１：基準点Ｐから第一の近似直線までの距離
   ρ_２：基準点Ｐから第二の近似直線までの距離
5. 拡大処理又は縮小処理が行われる前の画像である元画像の任意の位置で任意の領域を特定する領域特定手順と、
   該領域特定手順によって形成された前記領域を複数の小領域に区分する領域区分手順と、
   前記小領域を、該小領域内に存在する輝度値又は色の値としての画像情報のエッジに近似した位置に形成される近似直線に基づいて複数の画像情報領域に分割して近似画像を形成する近似画像形成手順と、
   前記近似画像を拡大処理又は縮小処理をすることによって前記元画像の拡大処理又は縮小処理を行う拡大縮小手順を備えた画像処理装置であって、
   前記近似画像と元の前記画像とを対比する画像対比手順を備え、
   前記近似画像形成手順においては、
   前記小領域を複数の前記画像情報領域に分割した第一の近似画像を形成するとともに、前記小領域を前記第一の近似画像よりも多い数の前記画像情報領域に分割した第二の近似画像を形成し、
   前記画像対比手順においては、前記第一の近似画像と前記元画像の前記領域と、及び、前記第二の近似画像と前記元画像の前記領域とを対比し、
   前記近似画像形成手順においては、前記対比の結果に基づいて、前記第一の近似画像と前記第二の近似画像とのうち、前記元画像に近い方を用いて前記拡大処理又は前記縮小処理に用いられる加工用画像を形成することを特徴とする画像処理方法。

Images