JP2006236317A - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP2006236317A JP2006236317A JP2006004076A JP2006004076A JP2006236317A JP 2006236317 A JP2006236317 A JP 2006236317A JP 2006004076 A JP2006004076 A JP 2006004076A JP 2006004076 A JP2006004076 A JP 2006004076A JP 2006236317 A JP2006236317 A JP 2006236317A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fractal
- processing method
- unit
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像信号を高解像度化(拡大)する際の画像処理方法に関するものである。 The present invention relates to an image processing method for increasing the resolution (enlargement) of an image signal.
従来、画像信号を高解像度化(拡大)する方法として、フラクタル符号化の技術を用いた方式が提案されている(例えば、特許文献1参照)。この方法では、まず入力画像中の8×8画素の画像データに対し、フラクタルパラメータを検出する。そして、このフラクタルパラメータを利用して16×16画素のフラクタル画像の画像データを生成する。さらに、入力画像から切り出した8×8画素の画像データとフラクタル画像から切り出した16×16の画像データのそれぞれに対して離散コサイン変換(DCT)を施し、この2つのDCT係数行列を合成した後に逆DCTを施すことにより、高解像度(拡大)画像を生成している。
しかしながら、上記従来の方法では、8×8画素ブロックで検出したフラクタルパラメータを用いて16×16画素ブロックの拡大画像を生成するという処理が、ブロック単位で独立して行われている。そのため、ブロック内では忠実度の高い解像度変換を行うことができるが、ブロックの境界部での連続性は考慮されないため隣接ブロック間の境界が視覚的に検知されてしまう現象が生じやすい。 However, in the conventional method, the process of generating an enlarged image of a 16 × 16 pixel block using the fractal parameter detected in the 8 × 8 pixel block is performed independently for each block. For this reason, resolution conversion with high fidelity can be performed within the block, but since the continuity at the boundary portion of the block is not considered, a phenomenon in which the boundary between adjacent blocks is visually detected easily occurs.
そこで、本発明は上記従来の課題を解決するものであり、フラクタルパラメータを用いて高解像度化(拡大)処理を施した場合でも、隣接するブロック間の境界が視覚的に検知されることなく、高画質な高解像度画像を得ることができる画像処理方法を提供することを目的とする。 Therefore, the present invention solves the above-described conventional problems, and even when a high resolution (enlargement) process is performed using a fractal parameter, a boundary between adjacent blocks is not visually detected. An object of the present invention is to provide an image processing method capable of obtaining a high-resolution image with high image quality.
上記目的を達成するために、本発明に係る画像処理方法装置は、フラクタル変換を用いて入力画像を処理する画像処理方法であって、少なくとも一部の境界が異なるL(Lは2以上の整数)通りの分割パターンを用いて、前記入力画像を複数の領域に分割し、前記L通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、L組のフラクタルパラメータを算出し、所定の画像を変換対象画像として、前記変換対象画像に対して前記L組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成することを特徴とする。 In order to achieve the above object, an image processing method apparatus according to the present invention is an image processing method for processing an input image using fractal transformation, wherein at least some of the boundaries are different L (L is an integer of 2 or more) ) By dividing the input image into a plurality of areas using different division patterns, and calculating fractal parameters for each area included in the input image for each of the L division patterns. A set of fractal parameters is calculated, a predetermined image is used as a conversion target image, and fractal conversion is performed on the conversion target image using each of the L sets of fractal parameters to generate a fractal image. .
ここで、前記画像処理方法は、さらに、前記L組のフラクタルパラメータのそれぞれに対して、所定の拡大率に応じた修正を行い、前記フラクタル画像を生成する際に、前記所定の画像を前記拡大率で拡大した画像を前記変換対象画像として、前記変換対象画像に対してL組の修正されたフラクタルパラメータのそれぞれを用いてフラクタル変換を施し、前記入力画像を拡大して高解像度化したフラクタル画像を生成してもよい。 Here, the image processing method further performs correction according to a predetermined enlargement ratio for each of the L sets of fractal parameters, and generates the fractal image when the fractal image is generated. A fractal image obtained by performing fractal transformation using each of L sets of modified fractal parameters on the conversion target image, and enlarging the input image to increase the resolution, using the image expanded at a rate as the conversion target image May be generated.
これによって、入力画像を高解像度化(拡大)する際にフラクタルパラメータを利用することによって、領域内部では忠実度の高い高解像度化(拡大)画像を生成することができる。また、入力画像を複数の領域に分割する際に分割パターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。 Thus, by using the fractal parameter when increasing (enlarging) the input image, it is possible to generate a high-resolution (enlarged) image with high fidelity within the region. In addition, by using multiple division patterns when dividing an input image into multiple regions, high-quality images with high image quality can be obtained without detecting boundaries between adjacent blocks that were detected in the conventional method. Can do.
また、前記フラクタル画像を生成する際に、前記変換対象画像に対して前記L組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施してL個のフラクタル画像を生成し、前記画像処理方法は、さらに、前記L個のフラクタル画像を合成し、合成画像を生成してもよい。 Further, when generating the fractal image, the conversion target image is subjected to fractal conversion using each of the L sets of modified fractal parameters to generate L fractal images, and the image processing method includes: Furthermore, the L fractal images may be combined to generate a combined image.
ここで、前記合成画像を生成する際に、生成した前記合成画像が所定の収束条件を満たしているか否かを判断し、前記フラクタル画像を生成する際に、前記判断において前記合成画像が所定の収束条件を満たしていないと判断された場合には、前記合成画像を前記変換対象画像として、再度、前記L組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施して、L個のフラクタル画像を生成してもよい。 Here, when generating the composite image, it is determined whether the generated composite image satisfies a predetermined convergence condition, and when generating the fractal image, the composite image is When it is determined that the convergence condition is not satisfied, the composite image is used as the conversion target image, and fractal transformation is performed again using each of the L sets of modified fractal parameters, and L fractal images are obtained. It may be generated.
また、前記フラクタル画像を生成する際に、前記L組の修正フラクタルパラメータ毎に、所定の収束条件を満たすまで前記フラクタル変換をそれぞれ繰り返してもよい。 Further, when generating the fractal image, the fractal transformation may be repeated for each of the L sets of modified fractal parameters until a predetermined convergence condition is satisfied.
これによって、隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。 Thereby, a high-resolution high-resolution image can be obtained without detecting a boundary between adjacent blocks.
また、前記画像処理方法は、さらに、前記入力画像からエッジを抽出し、抽出された前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、前記合成画像を生成する際に、前記重みを用いて前記L個のフラクタル画像を合成してもよい。 The image processing method further extracts an edge from the input image, determines a weight of each fractal image when generating the composite image based on the extracted position of the edge, and When dividing into regions, the input image is divided into a plurality of regions based on the positions of the edges, and when generating the composite image, the L fractal images may be combined using the weights. Good.
これによって、エッジ位置についても忠実度の高い高解像度化(拡大)画像を生成することができる。 As a result, a high-resolution (enlarged) image with high fidelity can be generated for the edge position.
また、前記フラクタル画像を生成する際に、前記所定の画像を前記変換対象画像として、前記L組の修正フラクタルパラメータの中の1つの修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、次に、生成された前記フラクタル画像を前記変換対象画像として、他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、以降順次、生成された前記フラクタル画像を前記変換対象画像として、前記L組の修正フラクタルパラメータの中で用いていない他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成してもよい。 Further, when generating the fractal image, the predetermined image is used as the conversion target image, and fractal conversion is performed using one correction fractal parameter among the L sets of correction fractal parameters to generate a fractal image. Next, using the generated fractal image as the conversion target image, fractal conversion is performed using other modified fractal parameters to generate a fractal image, and the generated fractal image is sequentially converted to the conversion target image. As another example, a fractal image may be generated by performing fractal transformation using other modified fractal parameters not used in the L sets of modified fractal parameters.
これによって、2組目以降の修正フラクタルパラメータを用いて変換を行う際に、前の組の修正フラクタルパラメータを用いて収束したフラクタル画像を変換対象画像として用いて変換を行っているので、フラクタルパラメータの各組を用いて生成された収束画像を合成する必要がない。 As a result, when conversion is performed using the second and subsequent sets of modified fractal parameters, the conversion is performed using the fractal image converged using the previous set of modified fractal parameters as the conversion target image. There is no need to synthesize a converged image generated using each set of.
なお、本発明は、このような画像処理方法として実現することができるだけでなく、このような画像処理方法が備える特徴的なステップを手段とする画像処理装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。 Note that the present invention can be realized not only as such an image processing method but also as an image processing apparatus using the characteristic steps provided in such an image processing method as a means, or by performing these steps as a computer. It can also be realized as a program to be executed. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
以上の説明から明らかなように、本発明に係る画像処理方法によれば、処理対象画像からフラクタルパラメータを抽出し、そのフラクタルパラメータを利用することによって、隣接するブロック間の境界が視覚的に検知されることなく、対象画像を高解像度化することができる。 As is clear from the above description, according to the image processing method of the present invention, the fractal parameter is extracted from the processing target image, and the boundary between adjacent blocks is visually detected by using the fractal parameter. Therefore, the resolution of the target image can be increased.
よって本発明により、対象画像から高解像度(拡大)画像を生成することができ、ディジタル化された画像を扱うことが急速に普及している今日における実用的価値は極めて高い。 Therefore, according to the present invention, a high-resolution (enlarged) image can be generated from the target image, and the practical value is very high nowadays when handling digitized images is rapidly spreading.
以下、本発明の実施の形態について、図1から図18を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS.
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理方法を用いた画像処理装置100の構成を示すブロック図である。図1に示すように、画像処理装置100は、入力画像メモリ101、制御部102、パラメータ算出部103、パラメータ修正部104、パラメータメモリ105、初期画像生成部106、画像変換部107、切替部108、L個の生成画像メモリ109〜111、画像合成部112、切替部113、および画像分割部114を備えている。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an
入力画像INは、入力画像メモリ101に保持される。ここで入力画像INは、水平M画素、垂直N画素の大きさを有するものとする。
The input image IN is held in the
パラメータ算出部103は、入力画像メモリ101に保持された入力画像INを逐次読み出して処理を行う。パラメータ算出部103では、入力画像INの部分画像(レンジブロック)に対するフラクタルパラメータを算出する処理を行う。
The
画像分割部114は、少なくとも一部の境界が異なるL通り(Lは2以上の整数)の分割パターンを用いて入力画像INを複数の領域(レンジブロック)に分割する。ここで入力画像INのレンジブロックへの分割は、互いのレンジブロックが重ならないように実施するものとする。また、レンジブロックのフラクタルパラメータを算出する際に参照する領域をドメインブロックと呼ぶ。入力画像INをレンジブロックおよびドメインブロックに分割する分割パターンは、制御部102により指定される。制御部102では、複数の分割パターンを指定することができる。
The
まず入力画像INをレンジブロックに分割する第1の分割パターンとして、図2(a)に示すように、入力画像の左上端を原点(開始点)としてn画素×n画素に分割する場合について説明する。 First, as a first division pattern for dividing the input image IN into range blocks, as shown in FIG. 2A, a case where the input image IN is divided into n pixels × n pixels with the upper left end of the input image as the origin (start point) will be described. To do.
パラメータ算出部103は、入力画像INを分割して得られたレンジブロックri(iはレンジブロックの番号を示す)に対して順にフラクタルパラメータを算出する。フラクタルパラメータを算出する際には、入力画像IN中からドメインブロックdj(jはドメインブロックの番号を示す)を切り出し、そのドメインブロックに対してパラメータを求める。レンジブロックを図2(a)のように分割して得た場合には、入力画像INをドメインブロックに分割する分割パターンとして、例えば図2(b)に示すように2n画素×2n画素の正方形に分割する分割パターンがある。ここでドメインブロックは入力画像IN中から1画素ずつ始点をずらしながら、ドメインブロックd1、ドメインブロックd2、…ドメインブロックdjというように得ることができるものとする。レンジブロックとドメインブロックの位置関係は、例えば図2(c)に示すようにレンジブロックriが最適なドメインブロックdjを参照する。
The
パラメータ算出部103の処理を詳細に説明する。ドメインブロックdj内に存在する画素の画素値f(x,y)(ここでx,yは入力画像IN中の2次元位置を示す)に対して縮小アフィン変換を施し、縮小ドメインブロックdj’を得る。このとき得られる縮小ドメインブロックの画素値fd’(x’’,y’’)は(式1)〜(式3)で定義される。
The process of the
ここで、θはアフィン変換の回転角を示し、0、π/2、π、3π/2(rad)から選択するものとする。またCは+1または−1の値を取り、ドメインブロックの中心を通り垂直な軸に対する反転の有無を示す。e、fは回転及び反転により生じる座標のずれを補正するための定数である。さらにsおよびoは、それぞれスケーリング係数、オフセット係数と呼ばれ、(式4)に示す縮小ドメインブロックとレンジブロックとの誤差を最小とするものが選択される。 Here, θ represents the rotation angle of the affine transformation, and is selected from 0, π / 2, π, and 3π / 2 (rad). C takes a value of +1 or -1, and indicates the presence or absence of inversion with respect to an axis passing through the center of the domain block. e and f are constants for correcting a shift in coordinates caused by rotation and reversal. Furthermore, s and o are called a scaling coefficient and an offset coefficient, respectively, and the one that minimizes the error between the reduced domain block and the range block shown in (Equation 4) is selected.
また、(xri,yri)はレンジブロックriの左上端画素の(入力画像IN中での)位置を示し、(xdj,ydj)はドメインブロックdjの左上端画素の(入力画像IN中での)位置を示す。レンジブロックriに対して、入力画像IN中のドメインブロックの中から(式4)で得られる誤差Eが最小となるドメインブロックを選択し、その際に得られる(xd,yd)、θ、C、s、oをレンジブロックriに対するフラクタルパラメータFPiとする。各レンジブロックに対して算出されたフラクタルパラメータは、パラメータ修正部104に対して出力される。
(Xri, yri) indicates the position (in the input image IN) of the upper left pixel of the range block ri, and (xdj, ydj) indicates the upper left pixel of the domain block dj (in the input image IN). Indicates the position. For the range block ri, a domain block that minimizes the error E obtained by (Expression 4) is selected from among the domain blocks in the input image IN, and (xd, yd), θ, C obtained at that time are selected. , S, o are fractal parameters FPi for the range block ri. The fractal parameter calculated for each range block is output to the
次に入力画像INをレンジブロックに分割する第2の分割パターンの例を図3に示す。この場合、入力画像IN中のレンジブロックの開始位置が入力画像INの左上端からずれた位置となっている。このずれは様々な値を設定することができるが、例えば、水平方向のみにn/2画素(図3(a))、垂直方向のみにn/2画素(図3(b))、水平および垂直方向にn/2画素(図3(c))等の分割パターンを用いることができる。この場合には、ドメインブロックの分割パターンは上記で説明したものと同様の分割パターンを用いれば良い。 Next, an example of a second division pattern for dividing the input image IN into range blocks is shown in FIG. In this case, the start position of the range block in the input image IN is shifted from the upper left end of the input image IN. This deviation can be set to various values, for example, n / 2 pixels only in the horizontal direction (FIG. 3A), n / 2 pixels only in the vertical direction (FIG. 3B), horizontal and A division pattern such as n / 2 pixels (FIG. 3C) can be used in the vertical direction. In this case, the domain block division pattern may be the same division pattern as described above.
このようにして得られた各レンジブロックに対してドメインブロックを用いてフラクタルパラメータを求める方法は、上記で説明した方法と同様である。得られたフラクタルパラメータは、パラメータ修正部104に対して出力される。
The method for obtaining the fractal parameter using the domain block for each range block thus obtained is the same as the method described above. The obtained fractal parameter is output to the
次に入力画像INをレンジブロックに分割する第3の分割パターンの例を図4(a)に示す。図4(a)に示すように、第3の分割パターンでは、入力画像INを45度傾いたm画素×m画素の領域に分割する。この場合、入力画像INからドメインブロックを切り出す場合には、図4(b)に示すように45度傾いた2m画素×2m画素の領域を切り出す。ドメインブロックは1画素ずつずらして切り出すことができる。このようにして得られたレンジブロックとドメインブロックを用いて、各レンジブロックに対するフラクタルパラメータを求める方法は、上記で説明した方法と同様である。得られたフラクタルパラメータは、パラメータ修正部104に対して出力される。
Next, FIG. 4A shows an example of a third division pattern for dividing the input image IN into range blocks. As shown in FIG. 4A, in the third division pattern, the input image IN is divided into an area of m pixels × m pixels inclined by 45 degrees. In this case, when a domain block is cut out from the input image IN, a 2 m pixel × 2 m pixel region inclined by 45 degrees is cut out as shown in FIG. Domain blocks can be cut out by shifting one pixel at a time. The method for obtaining the fractal parameter for each range block using the range block and the domain block thus obtained is the same as the method described above. The obtained fractal parameter is output to the
また、入力画像INをレンジブロックに分割する際に、第1の分割パターンに対して第2の分割パターンが存在するように、第3のパターン(レンジブロックを45度傾いたm画素×m画素の領域として分割)に対しても、開始位置をずらして入力画像INを分割しても良い。 In addition, when the input image IN is divided into range blocks, the third pattern (m pixels × m pixels in which the range block is inclined 45 degrees so that the second division pattern exists with respect to the first division pattern. The input image IN may be divided by shifting the start position.
また、入力画像INをレンジブロックに分割する際に、第2の分割パターンが第1の分割パターンのレンジブロックの開始位置をずらした分割パターンであるように、レンジブロックの開始位置をずらすことにより異なる分割パターンを用いる場合に、レンジブロックの大きさを異ならせても良い。 Further, when the input image IN is divided into range blocks, by shifting the start position of the range block so that the second divided pattern is a divided pattern in which the start position of the range block of the first divided pattern is shifted. When using different division patterns, the size of the range block may be varied.
以上のように、画像分割部114は、制御部102から指定された複数の分割パターンで入力画像INをレンジブロックに分割する。そして、パラメータ算出部103は、各分割パターンで得られるレンジブロックに対して、フラクタルパラメータを算出する。すなわち、フラクタルパラメータは、入力画像INをレンジブロックに分割するパターンの数の組だけ存在することになる。ここでは、L通りのレンジブロック分割パターンを用いたとする。すなわち、フラクタルパラメータはL組存在することになる。
As described above, the
パラメータ修正部104は、パラメータ算出部103により得られたフラクタルパラメータFPを拡大率aに適したフラクタルパラメータFP’に修正する処理を行う。拡大率aは制御部102から指定される。パラメータ修正部104でフラクタルパラメータを修正する場合には、フラクタルパラメータ中のドメインブロックの位置情報(xd,yd)をa倍する。修正されたフラクタルパラメータ(修正フラクタルパラメータ)FP’はパラメータメモリ105に保持される。パラメータ修正部104は、この処理をL組のフラクタルパラメータのそれぞれに対して個別に行う。
The
画像変換部107は、修正フラクタルパラメータFP’を1組ずつ用いてフラクタル画像の生成を行う。フラクタル画像生成においては、まず初期画像としてaM×aN画素(aは拡大率)の大きさを有する任意の画像を用意する。初期画像としては、例えば全画素がグレイレベルの画像や、入力画像INを0次ホールド法、バイリニア法、バイキュービック法等で拡大した画像を用いることができる。この初期画像ITは初期画像生成部106により生成され、画像変換部107に入力され、これが変換対象画像となる。
The
画像変換部107でのフラクタル画像生成の詳細を説明する。まず、変換対象画像を図5に示すようにan×an画素の部分画像(拡大レンジブロック)Riに分割する。各拡大レンジブロックRiの領域に対して、修正フラクタルパラメータを適用し、拡大ドメインブロックの画像を参照画像として用い、フラクタル画像を生成する。拡大ドメインブロックは修正フラクタルパラメータのドメインブロックの位置(axd,ayd)から2an画素×2an画素の部分画像を切り出すことにより得られる。生成されたフラクタル画像は切替部108を通して生成画像メモリに格納される。ここで、1組目の修正フラクタルパラメータを用いて処理されたフラクタル画像G1は生成画像メモリ1(109)に、2組目の修正フラクタルパラメータを用いて処理されたフラクタル画像G2は生成画像メモリ2(110)に、L組目の修正フラクタルパラメータを用いて処理されたフラクタル画像GLは生成画像メモリL(111)に、といったように、用いた修正フラクタルパラメータにより異なる生成画像メモリに保持する。画像変換部107では、ある組のフラクタルパラメータを用いて変換対象画像の全レンジブロックに対する処理が終了すると、次の組のフラクタルパラメータを用いて、変換対象画像に対する変換処理を行い、生成したフラクタル画像を順に生成画像メモリに保持していく。
Details of fractal image generation in the
画像変換部107により、すべての修正フラクタルパラメータの組を用いて変換対象画像の処理が終了すると、画像合成部112は、生成画像メモリ1〜Lに保持されたL個のフラクタル画像(生成画像)G1〜GLを1枚の画像GIに合成する。ここで画像を合成する方法としては、同じ位置に存在するL個の画素毎に中央値を求める方法、平均値を求める方法、拡大レンジブロックの中心部に近い画素のみを合成する方法、等がある。画像合成部112で生成された合成画像GIは、切替部113に入力される。
When the
合成画像GIが収束条件を満たしていれば切替器113は端子dに接続され、合成画像GIは出力画像OTとして出力される。また、合成画像GIが収束条件を満たしていなければ切替器113は端子eに接続され、合成画像GIは画像変換部107に入力され、変換対象画像として処理される。画像変換部107では、処理開始時は初期画像生成部106により生成された初期画像ITを変換対象画像として用いて処理を行ったが、これ以降は画像合成部112により生成された合成画像GIを変換対象画像として用いて処理を行う。このようにして、合成画像GIが収束するまで、画像変換部107と画像合成部112とによる処理が繰り返される。ここで収束条件としては、画像合成部112で生成した前回の合成画像と今回の合成画像との差の和(絶対値和や二乗値和)が所定のしきい値以下であれば収束していると判断する方法や、所定の回数だけ繰り返し処理を施したら収束していると判断する方法等がある。この場合、収束しているか否かは画像合成部112により判断してその結果を制御部102に通知し、制御部102が切替部113を制御すれば良い。
If the composite image GI satisfies the convergence condition, the
次に、上記のように構成された画像処理装置100の動作について説明する。図6は画像処理装置100での動作の流れを示すフローチャートである。
Next, the operation of the
画像分割部114は、入力画像メモリ101に保持された入力画像INを、少なくとも一部の境界が異なるL通りの分割パターンを用いて入力画像INを複数のレンジブロックに分割する(ステップS101)。次に、パラメータ算出部103は、分割されたレンジブロックに対するフラクタルパラメータFPを算出する(ステップS102)。パラメータ修正部104は、フラクタルパラメータFPを拡大率aに適したフラクタルパラメータFP’に修正する(ステップS103)。画像変換部107は、初期画像生成部106により生成された初期画像を変換対象画像として(ステップS104)、修正フラクタルパラメータFP’を1組ずつ用いてフラクタル画像の生成を行う(ステップS105)。次に、画像変換部107により、すべての修正フラクタルパラメータの組を用いて変換対象画像の処理が終了すると、画像合成部112は、生成画像メモリ1〜Lに保持されたL個の生成画像G1〜GLを1枚の合成画像GIに合成する(ステップS106)。そして、画像合成部112は、合成画像GIが収束条件を満たしているか否かを判断する(ステップS107)。この結果、合成画像GIが収束条件を満たしていれば(ステップS107でYes)、切替器113から合成画像GIが出力画像OTとして出力される(ステップS108)。一方、合成画像GIが収束条件を満たしていなければ(ステップS107でNo)、合成画像GIが画像変換部107に入力され、画像変換部107は、これ以降は合成画像GIを変換対象画像として(ステップS109)用いて処理を行う(ステップS105)。そして、合成画像GIが収束するまで、画像変換部107と画像合成部112とによる処理が繰り返される(ステップS105〜S109)。
The
以上のように本発明の画像処理方法では、入力画像をレンジブロックに分割し、各レンジブロックに対してフラクタルパラメータを算出する。このレンジブロックへの分割は、切り出し位置を変更したり、形状を変更したりすることによって複数の方法により行い、分割方法のそれぞれに対してフラクタルパラメータの算出を行う。続いて入力画像の大きさに対して所望の拡大率で拡大した大きさを有する初期画像を用意し、同じ初期画像に対してフラクタルパラメータ(拡大率に応じて修正されたもの)を1組ずつ用いてフラクタル変換画像を生成する。そして、フラクタルパラメータの各組を用いて生成された画像を合成して1枚の合成画像を生成し、この合成画像が収束するまで、フラクタルパラメータを用いた変換および合成を繰り返す。 As described above, in the image processing method of the present invention, an input image is divided into range blocks, and fractal parameters are calculated for each range block. The division into range blocks is performed by a plurality of methods by changing the cutout position or the shape, and fractal parameters are calculated for each of the division methods. Subsequently, an initial image having a size enlarged at a desired enlargement ratio with respect to the size of the input image is prepared, and one set of fractal parameters (corrected according to the enlargement ratio) for the same initial image one by one. To generate a fractal transformed image. Then, an image generated using each set of fractal parameters is combined to generate a single combined image, and conversion and combining using the fractal parameters are repeated until the combined image converges.
よって本発明の画像処理方法を用いることにより、入力画像を高解像度化(拡大)する際にフラクタルパラメータを利用することによって、ブロック内部では忠実度の高い高解像度化(拡大)画像を生成することができる。また、フラクタルパラメータを算出する際にレンジブロックの分割パターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。 Therefore, by using the image processing method of the present invention, a high-resolution (enlarged) image with high fidelity is generated inside the block by using a fractal parameter when the resolution of the input image is increased (enlarged). Can do. In addition, by using a plurality of range block division patterns when calculating the fractal parameter, it is possible to obtain a high-quality high-resolution image without detecting a boundary between adjacent blocks that has been detected in the conventional method. it can.
なお、本発明の画像処理方法では、入力画像をレンジブロックに分割する際に、入力画像の左上端部を始点としてn画素×n画素に分割するパターン(第1のパターン)、入力画像の左上端部から数画素ずれた位置を始点としてn画素×n画素に分割するパターン(第2のパターン)、45度回転したm画素×m画素の領域に分割するパターン(第3のパターン)について説明したが、レンジブロックの形状および分割パターンはこれらのパターンには限らない。例えば、レンジブロックを長方形や平行四辺形等の正方形以外の形状にするパターンや、回転される角度を30度や60度等の45度以外の角度とするパターン等がある。 In the image processing method of the present invention, when the input image is divided into range blocks, a pattern (first pattern) for dividing the input image into n pixels × n pixels starting from the upper left end of the input image, the upper left of the input image A pattern (second pattern) divided into n pixels × n pixels starting from a position shifted by several pixels from the end (second pattern), and a pattern (third pattern) divided into areas of m pixels × m pixels rotated by 45 degrees will be described. However, the shape and division pattern of the range block are not limited to these patterns. For example, there are a pattern in which the range block has a shape other than a square such as a rectangle or a parallelogram, and a pattern in which the rotated angle is an angle other than 45 degrees such as 30 degrees or 60 degrees.
また、本発明の画像処理方法では、画像変換部107で変換対象画像に対して1回のフラクタル変換を行い、それを生成画像メモリ109〜111に保持した後、画像合成部112で合成する方法について説明したが、この画像変換部107での変換処理は1回とは限らず、変換処理を複数回行った後、生成画像メモリ109〜111に保持するようにしても良い。
Further, in the image processing method of the present invention, the
(実施の形態1の変形例1)
上記の実施の形態は、以下のように変形することができる。
(Modification 1 of Embodiment 1)
The above embodiment can be modified as follows.
図7を用いて変形例1を説明する。図7は、本発明の実施の形態1の変形例1に係る画像処理方法を用いた画像処理装置200の構成を示すブロック図である。図7に示すように、画像処理装置200は、入力画像メモリ101、制御部202、パラメータ算出部103、パラメータ修正部104、パラメータメモリ105、初期画像生成部106、画像変換部201、切替部108、L個の生成画像メモリ109〜111、画像合成部112、切替部204、生成画像メモリ203、および画像分割部114を備えている。
Modification 1 will be described with reference to FIG. FIG. 7 is a block diagram showing a configuration of an
図1と図7を比較すればわかるように、画像処理装置200は、画像処理装置100とは画像変換部201以降の処理順序が異なっている。
As can be seen by comparing FIG. 1 and FIG. 7, the
図8は画像処理装置200での動作の流れを示すフローチャートである。入力画像INが入力画像メモリ101に入力されてから修正フラクタルパラメータFP’がパラメータメモリ105に保持されるまでの処理(ステップS101〜S103)は実施の形態1と同様であるので、説明は割愛する。
FIG. 8 is a flowchart showing an operation flow in the
画像変換部201は、初期画像生成部106により生成された初期画像を変換対象画像として(ステップS104)、パラメータメモリ105に保持されたL組の修正フラクタルパラメータの中から、1組ずつ修正フラクタルパラメータを用いてフラクタル画像の生成を行う(ステップS201)。画像変換部201は、生成したフラクタル画像を生成画像メモリ203に保持する。画像変換部201は、生成画像が収束条件を満たしているか否かを判断する(ステップS202)。この結果、生成画像が収束していないと判断した場合(ステップS202でNo)には、切替器204を通して生成画像は再び画像変換部201に入力される。そして、画像変換部201は、生成画像を変換対象画像として(ステップS203)同じ組の修正フラクタルパラメータを用いて変換処理を施す。この処理は生成画像が収束するまで行われ、収束条件を満たす(ステップS202でYes)と、切替器204、108を通して生成画像メモリ1〜Lのいずれかに保持される。この場合、収束しているか否かは画像変換部201により判断してその結果を制御部202に通知し、制御部202が切替部204を制御すれば良い。次に、画像変換部201は、すべての組の修正フラクタルパラメータを用いてフラクタル画像を生成したか否かを判断する(ステップS204)。この結果、すべての修正フラクタルパラメータを用いてフラクタル画像を生成していなければ(ステップS204でNo)、画像変換部201は、次の組の修正フラクタルパラメータを用いて同様の処理(ステップS104〜S203)を行う。そして、順に修正フラクタルパラメータを用いて処理を行うことによって、最終的にL個の収束画像を生成する。ここでは、1組目の修正フラクタルパラメータを用いて処理された画像G1’は生成画像メモリ1(109)に、2組目の修正フラクタルパラメータを用いて処理された画像G2’は生成画像メモリ2(110)に、L組目の修正フラクタルパラメータを用いて処理された画像GL’は生成画像メモリL(111)に、といったように、用いた修正フラクタルパラメータにより異なる生成画像メモリに保持する。
The
すべての修正フラクタルパラメータを用いてフラクタル画像が生成されれば(ステップS204でYes)、画像合成部112は、生成画像メモリ1〜Lに保持されたL個の生成画像G1’〜GL’を1枚の画像に合成する(ステップS205)。ここで画像を合成する方法としては、同じ位置に存在するL個の画素毎に中央値を求める方法、平均値を求める方法、拡大レンジブロックの中心部に近い画素のみを合成する方法、等ある。画像合成部112で生成された合成画像は、出力画像OTとして出力される(ステップS206)。
If the fractal image is generated using all the modified fractal parameters (Yes in step S204), the
以上のように本発明の画像処理方法では、入力画像をレンジブロックに分割し、各レンジブロックに対してフラクタルパラメータを算出する。このレンジブロックへの分割は、切り出し位置を変更したり、形状を変更したりすることによって複数のパターンにより行い、分割パターンのそれぞれに対してフラクタルパラメータの算出を行う。続いて入力画像の大きさに対して所望の拡大率で拡大した大きさを有する初期画像を用意し、フラクタルパラメータ(拡大率に応じて修正されたもの)を1組ずつ用いて変換を行い、生成した画像が収束するまで変換処理を繰り返す。そして、フラクタルパラメータの各組を用いて生成された収束画像を合成して1枚の合成画像を生成する。 As described above, in the image processing method of the present invention, an input image is divided into range blocks, and fractal parameters are calculated for each range block. This division into range blocks is performed with a plurality of patterns by changing the cutout position or the shape, and fractal parameters are calculated for each of the divided patterns. Subsequently, an initial image having a size enlarged at a desired enlargement ratio with respect to the size of the input image is prepared, and conversion is performed using one set of fractal parameters (corrected according to the enlargement ratio). The conversion process is repeated until the generated image converges. Then, a converged image generated using each set of fractal parameters is synthesized to generate one synthesized image.
よって本発明の画像処理方法を用いることにより、入力画像を高解像度化(拡大)する際にフラクタルパラメータを利用することによって、ブロック内部では忠実度の高い高解像度化(拡大)画像を生成することができる。また、フラクタルパラメータを算出する際にレンジブロックの切り出しパターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。 Therefore, by using the image processing method of the present invention, a high-resolution (enlarged) image with high fidelity is generated inside the block by using a fractal parameter when the resolution of the input image is increased (enlarged). Can do. In addition, by using a plurality of range block cutout patterns when calculating the fractal parameter, it is possible to obtain a high-quality high-resolution image without detecting a boundary between adjacent blocks that has been detected in the conventional method. it can.
(実施の形態1の変形例2)
図9は、本発明の実施の形態1の変形例2に係る画像処理方法を用いた画像処理装置300の構成を示すブロック図である。図9に示すように、画像処理装置300は、入力画像メモリ101、制御部302、パラメータ算出部103、パラメータ修正部104、パラメータメモリ105、初期画像生成部106、画像変換部301、切替部204、生成画像メモリ203、および画像分割部114を備えている。
(Modification 2 of Embodiment 1)
FIG. 9 is a block diagram showing a configuration of an
図10は画像処理装置300での動作の流れを示すフローチャートである。入力画像INが入力画像メモリ101に入力されてから修正フラクタルパラメータFP’がパラメータメモリ105に保持されるまでの処理(ステップS101〜S103)は実施の形態1と同様であるので、説明は省略する。
FIG. 10 is a flowchart showing an operation flow in the
画像変換部301は、初期画像生成部106により生成された初期画像を変換対象画像として(ステップS104)、パラメータメモリ105に保持されたL組の修正フラクタルパラメータの中から、1組ずつ修正フラクタルパラメータを用いてフラクタル画像の生成を行う(ステップS201)。画像変換部301は、生成したフラクタル画像を生成画像メモリ203に保持する。画像変換部301は、生成画像が収束条件を満たしているか否かを判断する(ステップS202)。この結果、生成画像が収束していないと判断した場合(ステップS202でNo)には、切替器204を通して生成画像は再び画像変換部301に入力される。そして、画像変換部301は、生成画像を変換対象画像として(ステップS203)同じ組の修正フラクタルパラメータを用いて変換処理を施す。この処理は生成画像が収束するまで行われ、収束条件を満たす(ステップS202でYes)と、画像変換部301は、すべての組の修正フラクタルパラメータを用いたか否かを判断する(ステップS301)。この結果、すべての修正フラクタルパラメータを用いていなければ(ステップS301でNo)、画像変換部301は、収束条件を満たした生成画像を変換対象画像として(ステップS302)、次の組の修正フラクタルパラメータを用いて同様の処理を行う。そして、順に修正フラクタルパラメータを用いて(ステップS303)フラクタル画像の生成を行う(ステップS201〜S203)。すべての修正フラクタルパラメータを用いてフラクタル画像が生成されれば(ステップS301でYes)、最終的に生成されたフラクタル画像を出力画像OTとして出力する(ステップS304)。
The
以上のように本変形例では、2組目以降のフラクタルパラメータ(拡大率に応じて修正されたもの)を用いて変換を行う際に、前の組のフラクタルパラメータを用いて収束したフラクタル画像を変換対象画像として用いて変換を行っているので、フラクタルパラメータの各組を用いて生成された収束画像を合成する必要がない。 As described above, in this modification, when performing conversion using the second and subsequent sets of fractal parameters (corrected according to the enlargement ratio), the fractal images converged using the previous set of fractal parameters are converted. Since conversion is performed using the conversion target image, it is not necessary to synthesize a converged image generated using each set of fractal parameters.
(実施の形態2)
図11は、本発明の実施の形態2に係る画像処理方法を用いた画像処理装置400の構成を示すブロック図である。なお、実施の形態1と同様の部分については同じ符号を付し、説明を省略する。
(Embodiment 2)
FIG. 11 is a block diagram showing a configuration of an
画像処理装置400は、図11に示すように、実施の形態1の画像処理装置100の構成に加えて、エッジ抽出部401および重み決定部403を備えている。
As shown in FIG. 11, the
エッジ抽出部401は、入力画像INからエッジを抽出する。なお、エッジを検出する方法は一般的に用いられる方法でよく、どのような方法であってもよい。
The
制御部402は、エッジ抽出部401で検出されたエッジの位置に基づいて、少なくとも一部の境界が異なるL通り(Lは2以上の整数)の分割パターンを作成する。
Based on the position of the edge detected by the
図12(a)、(b)は入力画像INをレンジブロックに分割する際の分割パターンの一例を示す図である。例えば、図12(a)に示すようにエッジ抽出部401によってエッジ11が検出されたとすると、制御部402は、分割パターンの1つとして、エッジ11がレンジブロックの境界となるように、例えばレンジブロック12、レンジブロック13、およびレンジブロック14というような分割パターンを作成する。また、制御部402は、他の分割パターンとして、例えば図12(b)に示すようにエッジ11がレンジブロックの境界となるように、例えばレンジブロック15、レンジブロック16、レンジブロック17、レンジブロック18、およびレンジブロック19というような分割パターンを作成する。このように、制御部402は、少なくとも一部の境界が異なるL通りの分割パターンを作成する。
FIGS. 12A and 12B are diagrams illustrating an example of a division pattern when the input image IN is divided into range blocks. For example, if the
画像分割部114は、制御部402で作成されたL通りの分割パターンを用いて入力画像INをレンジブロックに分割する。
The
重み決定部403は、エッジ抽出部401で検出されたエッジの位置に基づいて、画像合成部404においてL個のフラクタル画像を合成する際の各フラクタル画像の重みを決定する。
The
図12(c)は重みの決定について説明するための図である。ここでは、入力画像INが3通りの分割パターンで分割され、画像変換部107が、3組の修正フラクタルパラメータを用いて3個のフラクタル画像を生成して、画像合成部404において3つのフラクタル画像を合成するものとして説明する。また、エッジ抽出部401によって、例えば図12(c)に示すようにエッジ21が検出されているものとする。
FIG. 12C is a diagram for explaining determination of weights. Here, the input image IN is divided into three division patterns, the
重み決定部403は、例えば図12(c)に斜線で示す領域25に対して、3通りの分割パターンの中の分割パターン1で分割されたレンジブロック22、分割パターン2で分割されたレンジブロック23、および分割パターン3で分割されたレンジブロック24のそれぞれの重みを決定する。この場合、重み決定部403は、エッジ21を含むレンジブロック22については、エッジ21を含まないレンジブロック23およびレンジブロック24より重みを低く決定する。例えば、レンジブロック22については重みを「1」に、エッジ21を含まないレンジブロック23およびレンジブロック24については重みを「2」に決定する。
The
画像合成部404は、重み決定部403で決定された重みを用いて、L個のフラクタル画像を合成する。上記の例では、画像合成部404は、図12(c)に斜線で示す領域25に対応する領域について、レンジブロック22に対応する分割パターン1に基づいて生成されたフラクタル画像については重みを「1」として、レンジブロック23に対応する分割パターン2に基づいて生成されたフラクタル画像については重みを「2」として、レンジブロック24に対応する分割パターン3に基づいて生成されたフラクタル画像については重みを「2」として、3個のフラクタル画像を合成する。ここで重みを用いて複数のフラクタル画像を合成する場合には、同じ画素位置の画素値の重み付け平均を合成画像の画素値とする方法、重み付けメディアン値を合成画像の画素値とする方法、重みが最大の画素値を合成画像の画素値とする方法、等がある。
The
以上のように、入力画像からエッジを抽出し、このエッジ位置に基づいて少なくとも一部の境界が異なるL通りの分割パターンを作成しているので、隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。また、抽出したエッジ位置に基づいてL個のフラクタル画像を合成する際の各フラクタル画像の重みを決定しているので、ブロック内部では忠実度の高い高解像度化(拡大)画像を生成することができる。 As described above, since an edge is extracted from the input image and L division patterns having different boundaries based on the edge position are created, the boundary between adjacent blocks is not detected. A high-resolution image with high image quality can be obtained. In addition, since the weight of each fractal image when the L fractal images are synthesized is determined based on the extracted edge positions, a high-resolution (enlarged) image with high fidelity can be generated inside the block. it can.
なお、本実施の形態では、抽出したエッジ位置に基づいてL通りの分割パターンを作成し、かつ、フラクタル画像を合成する際の各フラクタル画像の重みを決定しているが、これに限られるものではない。例えば、L通りの分割パターンについては実施の形態1と同様として、フラクタル画像を合成する際の各フラクタル画像の重みだけを抽出したエッジ位置に基づいて決定しても構わない。また、抽出したエッジ位置に基づいてL通りの分割パターンだけを作成し、フラクタル画像を合成する際の各フラクタル画像の重みを決定せずに、実施の形態1と同様に各フラクタル画像を合成しても構わない。 In this embodiment, L division patterns are created based on the extracted edge positions, and the weights of the fractal images when the fractal images are synthesized are determined. However, the present invention is not limited to this. is not. For example, as with the first embodiment, L division patterns may be determined based on edge positions obtained by extracting only the weights of the fractal images when the fractal images are combined. Further, only L division patterns are created based on the extracted edge positions, and the fractal images are synthesized in the same manner as in the first embodiment without determining the weights of the fractal images when the fractal images are synthesized. It doesn't matter.
さらに、抽出したエッジ位置に基づいて分割パターンを作成することは、本実施の形態および実施の形態1で説明したようにL通りの分割パターンを用いてフラクタル画像を生成する場合だけでなく、1通りの分割パターンだけでフラクタル画像を生成する場合にも適用することが可能である。 Furthermore, the creation of the division pattern based on the extracted edge position is not limited to the case where the fractal image is generated using the L division patterns as described in the present embodiment and the first embodiment. The present invention can also be applied to a case where a fractal image is generated using only street division patterns.
(実施の形態2の変形例1)
図13は、本発明の実施の形態2の変形例1に係る画像処理方法を用いた画像処理装置500の構成を示すブロック図である。なお、実施の形態1と同様の部分については同じ符号を付し、説明を省略する。
(Modification 1 of Embodiment 2)
FIG. 13 is a block diagram showing a configuration of an
画像処理装置500は、図11に示すように、実施の形態1の画像処理装置100の構成に加えて、エッジ推定部501および重み決定部502を備えている。
As illustrated in FIG. 11, the
エッジ推定部501は、入力画像INを拡大率aで拡大し、aM×aN画素の大きさを有する拡大画像を作成する。ここで、入力画像INを拡大する方法としては、例えば0次ホールド法、バイリニア法、バイキュービック法等を用いることができる。また、エッジ推定部501は、作成した拡大画像からエッジを検出する。なお、エッジを検出する方法は一般的に用いられる方法でよく、どのような方法であってもよい。
The
重み決定部502は、エッジ推定部501で検出されたエッジの位置に基づいて、画像合成部503においてL個のフラクタル画像を合成する際の各フラクタル画像の重みを決定する。なお、重み決定部502および画像合成部503の動作については、実施の形態2の重み決定部403および画像合成部404と同様である。
The
以上のように、拡大画像を作成した上で、エッジを検出しているので、ブロック内部ではさらに忠実度の高い高解像度化(拡大)画像を生成することができる。 As described above, since an edge is detected after an enlarged image is created, a high-resolution (enlarged) image with higher fidelity can be generated inside the block.
なお、上記各実施の形態では、入力画像を拡大して高解像度化する場合について説明を行っているが、これに限られるものではない。例えば、入力画像を拡大しない場合にも、上記のようにL通りの分割パターンを用いて入力画像を処理しても構わない。 In each of the above embodiments, the case where the input image is enlarged and the resolution is increased is described, but the present invention is not limited to this. For example, even when the input image is not enlarged, the input image may be processed using the L division patterns as described above.
(実施の形態3)
さらに、上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 3)
Further, by recording a program for realizing the image processing method shown in each of the above embodiments on a recording medium such as a flexible disk, the processing shown in each of the above embodiments can be performed by an independent computer. It can be easily implemented in the system.
図14は、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 14 is an explanatory diagram when the image processing method of each of the above embodiments is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
図14(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図14(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。 FIG. 14B shows an appearance, a cross-sectional structure, and a flexible disk as seen from the front of the flexible disk, and FIG. 14A shows an example of a physical format of the flexible disk that is a recording medium body. The flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically on the surface of the disk from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
また、図14(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法を実現する上記画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 14C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program for realizing the image processing method is recorded on the flexible disk FD, the program is written from the computer system Cs via the flexible disk drive. When the image processing method for realizing the image processing method by the program in the flexible disk is constructed in the computer system, the program is read from the flexible disk by the flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
(実施の形態4)
さらにここで、上記実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。
(Embodiment 4)
Further, an application example of the image processing method shown in the above embodiment and a system using it will be described.
図15は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。 FIG. 15 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. The communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。 The content supply system ex100 includes, for example, a computer ex111, a PDA (personal digital assistant) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex100は図15のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 15, and any combination may be connected. Further, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。 The camera ex113 is a device capable of shooting a moving image such as a digital video camera. The mobile phone is a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global System for Mobile Communications) system mobile phone, Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113 or may be performed by a server or the like that performs data transmission processing. Further, the moving image data shot by the camera 116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device that can shoot still images and moving images, such as a digital camera. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile telephone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 In this content supply system ex100, the content (for example, video shot of music live) captured by the user with the camera ex113, camera ex116, etc. is encoded and transmitted to the streaming server ex103 as in the above embodiment. On the other hand, the streaming server ex103 distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, and the like that can decode the encoded data. In this way, the content supply system ex100 can receive and reproduce the encoded data at the client, and also realize personal broadcasting by receiving, decoding, and reproducing in real time at the client. It is a system that becomes possible.
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。 The image encoding device or the image decoding device described in the above embodiments may be used for encoding and decoding of each device constituting this system.
その一例として携帯電話について説明する。
図16は、上記実施の形態で説明した画像処理方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 16 is a diagram illustrating the mobile phone ex115 using the image processing method described in the above embodiment. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a camera such as a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for outputting audio, and a voice input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording medium ex207, and slot portion ex20 for enabling the recording medium ex207 to be attached to the mobile phone ex115 The it has. The recording medium ex207 stores a flash memory element, which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory), which is a nonvolatile memory that can be electrically rewritten and erased, in a plastic case such as an SD card.
さらに、携帯電話ex115について図17を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The cellular phone ex115 controls the power supply circuit ex310, the operation input control unit ex304, and the image coding for the main control unit ex311 which is configured to control the respective units of the main body unit including the display unit ex202 and the operation key ex204. Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / reproducing unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。 When the end call and power key are turned on by a user operation, the power supply circuit ex310 activates the camera-equipped digital mobile phone ex115 by supplying power from the battery pack to each unit. .
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。 The mobile phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, and the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After conversion into a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 The image encoding unit ex312 has a configuration including the image encoding device described in the present invention, and an encoding method using the image data supplied from the camera unit ex203 in the image encoding device described in the above embodiment. The encoded image data is converted into encoded image data by compression encoding, and sent to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the audio input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 as digital audio data via the audio processing unit ex305.
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result is a modulation / demodulation circuit unit A spectrum spread process is performed in ex306, a digital analog conversion process and a frequency conversion process are performed in the transmission / reception circuit unit ex301, and then the signal is transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of a moving image file linked to a home page or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Is sent to the demultiplexing unit ex308.
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bitstream of image data and an encoded bitstream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Next, the image decoding unit ex309 is configured to include the image decoding device described in the present invention, and a decoding method corresponding to the encoding method described in the above embodiment for an encoded bit stream of image data. To generate playback moving image data, which is supplied to the display unit ex202 via the LCD control unit ex302, thereby displaying, for example, moving image data included in the moving image file linked to the homepage . At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図18に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。 It should be noted that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. Any of the decoding devices can be incorporated. Specifically, in the broadcasting station ex409, the encoded bit stream of the video information is transmitted to the communication or broadcasting satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bit stream and reproduces it. In addition, the image decoding apparatus described in the above embodiment can also be implemented in a playback apparatus ex403 that reads and decodes an encoded bitstream recorded on a storage medium ex402 such as a CD or DVD that is a recording medium. is there. In this case, the reproduced video signal is displayed on the monitor ex404. Further, a configuration in which an image decoding device is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. At this time, the image decoding apparatus may be incorporated in the television instead of the set top box. It is also possible to receive a signal from the satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has.
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。 Further, the image signal can be encoded by the image encoding device shown in the above embodiment and recorded on a recording medium. As a specific example, there is a recorder ex420 such as a DVD recorder that records an image signal on a DVD disk ex421 or a disk recorder that records on a hard disk. Further, it can be recorded on the SD card ex422. If the recorder ex420 includes the image decoding device described in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced and displayed on the monitor ex408.
なお、カーナビゲーションex413の構成は例えば図17に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。 For example, the configuration of the car navigation ex413 may be a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. 17, and the same applies to the computer ex111 and the television (receiver). ) Ex401 can also be considered.
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。 In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats: a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
このように、上記実施の形態で示した画像処理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 As described above, the image processing method described in the above embodiment can be used in any of the above-described devices and systems, and by doing so, the effects described in the above embodiment can be obtained.
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。 It should be noted that the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the present invention.
また、図1、図7、図9、図11、および図13に示したブロック図の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。(例えばメモリ以外の機能ブロックが1チップ化されていても良い。) Each of the functional blocks in the block diagrams shown in FIGS. 1, 7, 9, 11, and 13 is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. (For example, the functional blocks other than the memory may be integrated into one chip.)
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。 Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明にかかる画像処理方法は、入力画像を高画質に高解像度化(拡大)することができるという効果を有し、蓄積、伝送、通信等における画像処理方法として有用である。 The image processing method according to the present invention has an effect that an input image can be increased in resolution (enlarged) with high image quality, and is useful as an image processing method in storage, transmission, communication, and the like.
100、200、300、400、500 画像処理装置
101 入力画像メモリ
102、202、302、402 制御部
103 パラメータ算出部
104 パラメータ修正部
105 パラメータメモリ
106 初期画像生成部
107、201、301 画像変換部
108 切替部
109〜111 L個の生成画像メモリ
112、404、503 画像合成部
113、204 切替部
114 画像分割部
203 生成画像メモリ
401 エッジ抽出部
403 重み決定部
501 エッジ推定部
502 重み決定部
Cs コンピュータ・システム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
100, 200, 300, 400, 500
Claims (16)
少なくとも一部の境界が異なるL(Lは2以上の整数)通りの分割パターンを用いて、前記入力画像を複数の領域に分割し、
前記L通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、L組のフラクタルパラメータを算出し、
所定の画像を変換対象画像として、前記変換対象画像に対して前記L組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する
ことを特徴とする画像処理方法。 An image processing method for processing an input image using fractal transformation,
Dividing the input image into a plurality of regions by using at least a part of L (L is an integer of 2 or more) division patterns having different boundaries,
For each of the L division patterns, L sets of fractal parameters are calculated by calculating fractal parameters for each region included in the input image.
A fractal image is generated by performing fractal conversion on each of the L sets of fractal parameters, using a predetermined image as a conversion target image, and generating the fractal image.
前記L組のフラクタルパラメータのそれぞれに対して、所定の拡大率に応じた修正を行い、
前記フラクタル画像を生成する際に、前記所定の画像を前記拡大率で拡大した画像を前記変換対象画像として、前記変換対象画像に対してL組の修正されたフラクタルパラメータのそれぞれを用いてフラクタル変換を施し、前記入力画像を拡大して高解像度化したフラクタル画像を生成する
ことを特徴とする請求項1記載の画像処理方法。 The image processing method further includes:
For each of the L sets of fractal parameters, a correction according to a predetermined enlargement ratio is performed,
When generating the fractal image, an image obtained by enlarging the predetermined image at the enlargement ratio is used as the conversion target image, and fractal conversion is performed using each of the L modified fractal parameters for the conversion target image. The image processing method according to claim 1, further comprising: generating a fractal image having a higher resolution by enlarging the input image.
前記画像処理方法は、さらに、
前記L個のフラクタル画像を合成し、合成画像を生成する
ことを特徴とする請求項2記載の画像処理方法。 When generating the fractal image, the conversion target image is subjected to fractal conversion using each of the L sets of modified fractal parameters to generate L fractal images,
The image processing method further includes:
The image processing method according to claim 2, wherein the L fractal images are combined to generate a combined image.
前記フラクタル画像を生成する際に、前記判断において前記合成画像が所定の収束条件を満たしていないと判断された場合には、前記合成画像を前記変換対象画像として、再度、前記L組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施して、L個のフラクタル画像を生成する
ことを特徴とする請求項3記載の画像処理方法。 When generating the composite image, determine whether the generated composite image satisfies a predetermined convergence condition,
When generating the fractal image, if it is determined in the determination that the composite image does not satisfy a predetermined convergence condition, the L sets of modified fractals are again set as the conversion target image. The image processing method according to claim 3, wherein fractal transformation is performed using each of the parameters to generate L fractal images.
ことを特徴とする請求項3記載の画像処理方法。 The image processing method according to claim 3, wherein when generating the fractal image, the fractal transformation is repeated for each of the L sets of modified fractal parameters until a predetermined convergence condition is satisfied.
前記入力画像からエッジを抽出し、
抽出された前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、
前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、
前記合成画像を生成する際に、前記重みを用いて前記L個のフラクタル画像を合成する
ことを特徴とする請求項3記載の画像処理方法。 The image processing method further includes:
Extracting edges from the input image;
Based on the extracted position of the edge, determine the weight of each fractal image when generating the composite image,
When dividing the plurality of regions, the input image is divided into a plurality of regions based on the positions of the edges,
The image processing method according to claim 3, wherein when generating the synthesized image, the L fractal images are synthesized using the weights.
前記合成画像を生成する際に、前記所定の合成領域単位毎に前記重みを用いて前記L個のフラクタル画像を合成する
ことを特徴とする請求項6記載の画像処理方法。 When determining the weight, the weight is determined in a predetermined synthesis area unit, and in the predetermined synthesis area, the weight of the fractal image generated from the area including the edge is determined to be small,
The image processing method according to claim 6, wherein when generating the synthesized image, the L fractal images are synthesized using the weights for each predetermined synthesis area unit.
ことを特徴とする請求項2記載の画像処理方法。 When the fractal image is generated, the predetermined image is used as the conversion target image, and a fractal image is generated by performing fractal conversion using one correction fractal parameter among the L sets of correction fractal parameters. In addition, the generated fractal image is used as the conversion target image to generate a fractal image by performing fractal conversion using other modified fractal parameters, and the generated fractal image is sequentially used as the conversion target image. The image processing method according to claim 2, wherein a fractal image is generated by performing fractal transformation using another modified fractal parameter that is not used in the L sets of modified fractal parameters.
前記入力画像を前記拡大率で拡大した拡大画像からエッジを推定し、
前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、
前記合成画像を生成する際に、前記重みを用いて前記L個のフラクタル画像を合成する
ことを特徴とする請求項2記載の画像処理方法。 The image processing method further includes:
An edge is estimated from an enlarged image obtained by enlarging the input image at the enlargement ratio,
Based on the position of the edge, determine the weight of each fractal image when generating the composite image,
The image processing method according to claim 2, wherein the L fractal images are synthesized using the weights when the synthesized image is generated.
前記入力画像からエッジを抽出し、
前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割する
ことを特徴とする請求項1記載の画像処理方法。 The image processing method further includes:
Extracting edges from the input image;
The image processing method according to claim 1, wherein when the image is divided into the plurality of regions, the input image is divided into a plurality of regions based on the positions of the edges.
ことを特徴とする請求項10記載の画像処理方法。 The image processing method according to claim 10, wherein when the image is divided into the plurality of regions, the input image is divided into a plurality of regions so that the edge position is a boundary.
ことを特徴とする請求項1記載の画像処理方法。 The image processing method according to claim 1, wherein when dividing into the plurality of regions, L division patterns having different division start positions are used for the division patterns.
ことを特徴とする請求項1記載の画像処理方法。 The image processing method according to claim 1, wherein when dividing into the plurality of regions, L division patterns having different division shapes for each division pattern are used.
前記入力画像からエッジを抽出し、
抽出された前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、
前記入力画像に含まれる各前記領域に対してフラクタルパラメータを算出し、
所定の画像を変換対象画像として、前記変換対象画像に対して前記フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成する
を含むことを特徴とする画像処理方法。 An image processing method for processing an input image using fractal transformation,
Extracting edges from the input image;
Dividing the input image into a plurality of regions based on the extracted edge positions;
Calculating a fractal parameter for each of the regions included in the input image;
An image processing method comprising: generating a fractal image by performing fractal conversion on the conversion target image using the fractal parameter with the predetermined image as a conversion target image.
少なくとも一部の境界が異なるL(Lは2以上の整数)通りの分割パターンを用いて、前記入力画像を複数の領域に分割する分割手段と、
前記L通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、L組のフラクタルパラメータを算出するパラメータ算出手段と、
所定の画像を変換対象画像として、前記変換対象画像に対して前記L組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する画像変換手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that processes an input image using fractal transformation,
A dividing unit that divides the input image into a plurality of regions using L (L is an integer of 2 or more) division patterns having different boundaries at least;
Parameter calculating means for calculating L sets of fractal parameters by calculating fractal parameters for each region included in the input image for each of the L division patterns;
Image processing means, comprising: a predetermined image as a conversion target image; and image conversion means for generating a fractal image by performing fractal conversion on the conversion target image using each of the L sets of fractal parameters. apparatus.
少なくとも一部の境界が異なるL(Lは2以上の整数)通りの分割パターンを用いて、前記入力画像を複数の領域に分割する分割ステップと、
前記L通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、L組のフラクタルパラメータを算出するパラメータ算出ステップと、
所定の画像を変換対象画像として、前記変換対象画像に対して前記L組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する画像変換ステップとをコンピュータに実行させる
ことを特徴とするプログラム。 A program for processing an input image using fractal transformation,
A division step of dividing the input image into a plurality of regions using L (L is an integer of 2 or more) division patterns having at least some of the boundaries;
A parameter calculating step of calculating L sets of fractal parameters by calculating fractal parameters for each region included in the input image for each of the L division patterns;
An image conversion step of generating a fractal image by performing a fractal conversion on the conversion target image using each of the L sets of fractal parameters with the predetermined image as a conversion target image is performed. Program to do.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006004076A JP2006236317A (en) | 2005-01-26 | 2006-01-11 | Image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018292 | 2005-01-26 | ||
JP2006004076A JP2006236317A (en) | 2005-01-26 | 2006-01-11 | Image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006236317A true JP2006236317A (en) | 2006-09-07 |
Family
ID=37043843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006004076A Pending JP2006236317A (en) | 2005-01-26 | 2006-01-11 | Image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006236317A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8265426B2 (en) | 2008-08-04 | 2012-09-11 | Kabushiki Kaisha Toshiba | Image processor and image processing method for increasing video resolution |
US8581906B2 (en) | 2008-08-04 | 2013-11-12 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP2015217195A (en) * | 2014-05-20 | 2015-12-07 | キヤノン株式会社 | Image processing apparatus and image processing method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032272A (en) * | 1998-07-09 | 2000-01-28 | Fuji Photo Film Co Ltd | Image data conversion method and recording medium storing image data conversion program |
JP2000312294A (en) * | 1999-02-24 | 2000-11-07 | Oki Data Corp | Image processor |
JP2002152495A (en) * | 2000-11-15 | 2002-05-24 | Seiko Epson Corp | Device and method for processing image |
JP2002163648A (en) * | 2000-11-22 | 2002-06-07 | Seiko Epson Corp | Device and method for processing image |
JP2002185770A (en) * | 2000-12-14 | 2002-06-28 | Seiko Epson Corp | Image processing unit and image processing method |
JP2002197455A (en) * | 2000-12-27 | 2002-07-12 | Seiko Epson Corp | Image processor and image processing method |
JP2003143399A (en) * | 2001-11-07 | 2003-05-16 | Fuji Xerox Co Ltd | Image processing apparatus and program |
-
2006
- 2006-01-11 JP JP2006004076A patent/JP2006236317A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032272A (en) * | 1998-07-09 | 2000-01-28 | Fuji Photo Film Co Ltd | Image data conversion method and recording medium storing image data conversion program |
JP2000312294A (en) * | 1999-02-24 | 2000-11-07 | Oki Data Corp | Image processor |
JP2002152495A (en) * | 2000-11-15 | 2002-05-24 | Seiko Epson Corp | Device and method for processing image |
JP2002163648A (en) * | 2000-11-22 | 2002-06-07 | Seiko Epson Corp | Device and method for processing image |
JP2002185770A (en) * | 2000-12-14 | 2002-06-28 | Seiko Epson Corp | Image processing unit and image processing method |
JP2002197455A (en) * | 2000-12-27 | 2002-07-12 | Seiko Epson Corp | Image processor and image processing method |
JP2003143399A (en) * | 2001-11-07 | 2003-05-16 | Fuji Xerox Co Ltd | Image processing apparatus and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8265426B2 (en) | 2008-08-04 | 2012-09-11 | Kabushiki Kaisha Toshiba | Image processor and image processing method for increasing video resolution |
US8581906B2 (en) | 2008-08-04 | 2013-11-12 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP2015217195A (en) * | 2014-05-20 | 2015-12-07 | キヤノン株式会社 | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4808634B2 (en) | Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, program, and integrated circuit | |
JP4949028B2 (en) | Decoding device, encoding device, decoding method, encoding method | |
JP4594201B2 (en) | Image coding method, image coding apparatus, program, and integrated circuit | |
JP2005006275A (en) | Device, method, and program for generating interpolation frame | |
EP1763251A1 (en) | Image encoding method and image decoding method | |
JP4749415B2 (en) | Video processing method | |
JP2005080301A (en) | Dynamic image encoding method and dynamic image decoding method | |
JP2009005396A (en) | Image decoding method and image decoding apparatus | |
JP4313710B2 (en) | Image encoding method and image decoding method | |
JP2004007382A (en) | Variable length encoding method and variable length decoding method | |
JP2006074777A (en) | Moving picture coding method and decoding method | |
JP5008421B2 (en) | Image processing method, image processing apparatus, integrated circuit, camera, and program | |
JP2006129105A (en) | Visual processing device, method and program, and semiconductor device | |
JP2008079152A (en) | Picture encoding and picture decoding methods | |
JP2006236317A (en) | Image processing method | |
JP4091108B1 (en) | Variable length decoding device and image decoding device | |
JPWO2006003873A1 (en) | Image encoding method and image decoding method | |
JP4091107B1 (en) | Variable length coding apparatus and image coding apparatus | |
JP4437149B2 (en) | Visual processing device, visual processing method, program, recording medium, display device, and integrated circuit | |
JP2005072935A (en) | Method for generating high resolution image | |
JP2005079965A (en) | Representative point information coding method and representative point information decoding method | |
JP4091074B2 (en) | Variable length encoding method and variable length decoding method | |
JP2005086384A (en) | Transform coding method and transform decoding method | |
JP2008108286A (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
JP2005322205A (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |