JP2000242774A - Image processing method and image processor - Google Patents

Image processing method and image processor

Info

Publication number
JP2000242774A
JP2000242774A JP11361766A JP36176699A JP2000242774A JP 2000242774 A JP2000242774 A JP 2000242774A JP 11361766 A JP11361766 A JP 11361766A JP 36176699 A JP36176699 A JP 36176699A JP 2000242774 A JP2000242774 A JP 2000242774A
Authority
JP
Japan
Prior art keywords
kernel
value
mapping
edge
discrete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11361766A
Other languages
Japanese (ja)
Other versions
JP2000242774A5 (en
JP3890175B2 (en
Inventor
Andrew Peter Bradley
ピーター ブラッドリー アンドリュー
Hon Kai
ホン カイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2000242774A publication Critical patent/JP2000242774A/en
Publication of JP2000242774A5 publication Critical patent/JP2000242774A5/ja
Application granted granted Critical
Publication of JP3890175B2 publication Critical patent/JP3890175B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/403Edge-driven scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/17Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G06F17/175Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method of multidimensional data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • H04N1/3935Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

PROBLEM TO BE SOLVED: To make improvable the degradation of the picture quality observed and a blur of a sharp edge by selecting an interpolation kernel corresponding to an edge strength index, an edge direction index and an edge context index concerning the discrete sample of a first set. SOLUTION: Image data are accessed, the text area of high contrast is detected and the edge strength and edge arrangement of image data are measured (S100-S110). The detected text domain and edge domain are coupled to a kernel or kernel parameter and a selection map concerning respective input pixels and cleaning is performed (S120 and S125). The edge domain is arranged on a uniformly directed edge domain or smooth background (S130). The cleaned kernel selection map is interpolated by using an NN interpolation kernel, and the kernel selection map or kernel parameter selection map is generated concerning respective output pixels (S135 and S140).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、たとえばディジタ
ル画像データなどの多次元ディジタルデータの解像度変
換の分野に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to the field of resolution conversion of multidimensional digital data such as digital image data.

【0002】[0002]

【従来の技術】ディジタルデータの解像度変換には、い
くつかの方法が使用可能である。普及している方法は、
部分フーリエ変換(fractional Fourier transform:部
分FFTまたはChirp−Z変換)、離散コサイン変
換(DCT)、離散ウェーブレット変換(DWT)など
の領域変換法(transform domain method)である。さら
に、再サンプリング、及び有限インパルス応答フィルタ
(FIR)と無限インパルス応答フィルタ(IIR)と
を使用したディジタルフィルタリング、通常は3次スプ
ラインを使用した連続的な補間などの、多くの空間的領
域法(spatial domain method)もある。連続的なカーネ
ル(kernel)が元のデータポイントを通過するデータを生
成するとき、そのカーネルはしばしば補間カーネルと呼
ばれる。生成された補間されたデータが元のデータポイ
ントを通過するような制限を受けていない場合、そのカ
ーネルはしばしば近似カーネルと呼ばれる。これらの連
続的なカーネルの設計には、充たさなければならない多
くの制約がある。
2. Description of the Related Art Several methods are available for converting the resolution of digital data. A popular method is
It is a transform domain method such as a partial Fourier transform (partial FFT or Chirp-Z transform), a discrete cosine transform (DCT), and a discrete wavelet transform (DWT). In addition, many spatial domain methods such as resampling and digital filtering using finite impulse response filters (FIR) and infinite impulse response filters (IIR), usually continuous interpolation using cubic splines, etc. spatial domain method). When a continuous kernel produces data that passes through the original data points, the kernel is often called an interpolation kernel. If the generated interpolated data is not constrained to pass through the original data points, the kernel is often called an approximate kernel. The design of these continuous kernels has many constraints that must be met.

【0003】補間のために通常使用される連続的なカー
ネルは近傍(nearest neighbour:NN)カーネル、線形
カーネル、2次(quadratic)カーネル、3次(cubic)カー
ネルである。NNカーネルは補間のもっとも簡単な方法
であり、補間が必要な画像に空間的にもっとも近いピク
セル値で画像を補間するものである。この方法は、スケ
ーリング比が元のデータの整数倍である場合には、新し
い値を導入せず(すなわち新しい色を導入せず)鋭いエ
ッジを保存するため、非常によく機能する。しかし整数
比でない場合は、特にテキストや細い線による細部を含
む画像においては、出力画像内にしばしば目に見える歪
みを生み出す、エッジ位置の移動という欠点を有する。
他方、線形補間はサブピクセル位置においてエッジの位
置付けをするために効果的に使用される新しいグレーレ
ベル(あるいは色)の導入を可能にする。これはエッジ
位置の移動による効果を軽減する利点を有するが、鋭い
エッジはぼけて見える可能性がある。2次元補間(quadr
atic interpolation)と3次補間(cubic interpolation)
はより急なステップ応答を提供し、そのためエッジのぼ
けをより少なくするが、より急な応答は、エッジのどち
らかの側でのオーバーシュートという結果をもたらす。
これらのオーバーシュートは自然な画像のエッジをより
鋭く見せることができるが、テキストや細かい線や他の
コンピュータで生成されたグラフィクス上では、これら
のオーバーシュートははっきりと目に見え、知覚された
画質とテキストの読みやすさを損なう。
[0003] The continuous kernels commonly used for interpolation are the nearest neighbor (NN) kernel, the linear kernel, the quadratic kernel, and the cubic kernel. The NN kernel is the simplest method of interpolation, and interpolates an image with pixel values that are spatially closest to the image that requires interpolation. This method works very well when the scaling ratio is an integer multiple of the original data, because it preserves sharp edges without introducing new values (ie, without introducing new colors). However, non-integer ratios have the disadvantage of edge position shifting, which often produces visible distortions in the output image, especially in images containing text and fine line details.
On the other hand, linear interpolation allows the introduction of new gray levels (or colors) that are used effectively to locate edges at sub-pixel locations. This has the advantage of mitigating the effect of shifting edge positions, but sharp edges can appear blurry. Two-dimensional interpolation (quadr
atic interpolation) and cubic interpolation
Provides a steeper step response and therefore less blur at the edge, but a steeper response results in overshoot on either side of the edge.
These overshoots can make the edges of natural images look sharper, but on text, fine lines, and other computer-generated graphics, these overshoots are clearly visible and perceived image quality And impairs the readability of the text.

【0004】上記から、各カーネルにはそれぞれ独自の
強みと弱みがあるという結論が得られる。さらに、異な
る形のカーネルを使用すると最良に補間できる種類の画
像領域もある。単一の連続的畳み込みカーネルを各画像
ピクセルに適用しただけでは、汎用の解像度変換応用に
ついてすべての要件を充たさない。
From the above, it can be concluded that each kernel has its own strengths and weaknesses. In addition, there are certain types of image regions that can best be interpolated using differently shaped kernels. Applying a single continuous convolution kernel to each image pixel does not meet all requirements for general-purpose resolution conversion applications.

【0005】急なステップ応答があるがオーバーシュー
トのないカーネルを生成する1つの周知の方法は、ステ
ップ応答内のオーバーシュートを除去するように、画像
情報に従って3次カーネルのパラメータを調整すること
である。2パラメータのCatmull−Rom3次方
程式は次式のような形のカーネルを有する。
One well-known method of generating a kernel with a steep step response but no overshoot is to adjust the parameters of the third order kernel according to the image information so as to eliminate the overshoot in the step response. is there. The two-parameter Catmull-Rom cubic equation has a kernel of the form:

【数5】 (Equation 5)

【0006】よく使用されるパラメータbとcの選択
は、(b=0,c=0.5)及び(b=1,c=0)で
ある。前者は元の画像のテイラー級数展開の最初の3項
に相当する補間3次方程式であり、後者は近似3次Bス
プラインである。周知の方法の1つは、パラメータbを
b=0に固定し、cは、ガウスのラプラシアン(Laplaci
an of Gaussian:LOG)エッジ検出装置を使用して測定
されたエッジ強度に応じて、0,0.5,1の間を変化
させる。鋭いエッジc=0においては、得られる3次方
程式は次式の通りである。
[0006] The choices of parameters b and c that are frequently used are (b = 0, c = 0.5) and (b = 1, c = 0). The former is an interpolated cubic equation corresponding to the first three terms of the Taylor series expansion of the original image, and the latter is an approximate cubic B-spline. One well-known method is to fix the parameter b to b = 0 and c to be Gaussian Laplacian.
an of Gaussian: LOG) Vary between 0, 0.5 and 1 depending on the edge strength measured using an edge detector. For a sharp edge c = 0, the resulting cubic equation is:

【数6】 (Equation 6)

【0007】[0007]

【発明が解決しようとする課題】しかしながら、たとえ
ば再サンプリング比が10/11または11/10な
ど、再サンプリングされたピクセルの変位が元のピクセ
ルの変位とあまり異ならない場合、このカーネルを使用
して画像データを補間することには問題がある。この例
で、テキスト及び他の細い線のエッジにあるピクセル
は、元の黒値あるいは白値ではなくグレー値をとる。こ
のため、鋭いエッジのぼけと観察される画質の低減とい
う結果がここでも生じる。
However, if the displacement of the resampled pixel is not very different from the displacement of the original pixel, for example when the resampling ratio is 10/11 or 11/10, this kernel is used. There is a problem with interpolating image data. In this example, pixels at the edges of text and other thin lines take on gray values instead of the original black or white values. This again results in sharp edges blurred and reduced image quality observed.

【0008】従来の連続畳み込みカーネルに伴うさらな
る問題は、これを画像平面の斜めの方向にあるエッジへ
適用するときに生じる。既存のカーネルは分離可能な方
法、すなわち、まず画像の行に適用し次に列に適用する
という方法でも適用できるし、または、カーネルが直接
2次元画像データに畳み込まれる2次元の形式で適用す
ることもできる。しかしながらこれらの実施におけるカ
ーネルの方向は、水平、垂直、あるいは対称のどれかに
限られている。斜めのエッジに遭遇すると、エッジに沿
ったピクセルではなくエッジのどちらかの側にあるピク
セルが主に補間に使用される。このため補間されたエッ
ジはもはや鮮やかでスムースには見えず、ぎざぎざがつ
いたりぼけたり、あるいはその両方であるように見える
結果となる。上記の問題の解決法は、双線形補間におい
てエッジのもう一方の側にあるピクセルについてピクセ
ル値の推定値を使用することによって、エッジを横切る
方向についての補間を防ぐことによるものが知られてい
る。しかしながらこの方法は、出力解像度における非常
に正確なサブピクセルエッジの推定値と、連続的な近似
手順を使用した反復的な後処理を必要とする。上記の方
法は両方とも、多くのメモリ及び処理リソースを要求す
る。この問題に対する他の方法は、画像補間の間、エッ
ジの線に沿って方向付けることのできる1セットの2次
元の「操向可能な」カーネルを利用することである。こ
の手法では、エッジ線に沿ってスムーズになる(エッジ
のぎざぎざは低減される)が、エッジを横切る方向につ
いてはスムーズにならない(エッジの鋭さは保持され
る)。
A further problem with conventional continuous convolution kernels arises when applying this to edges that are in the diagonal direction of the image plane. Existing kernels can be applied in a separable way, ie first applied to the rows of the image and then applied to the columns, or in a two-dimensional form where the kernel is directly convolved with the two-dimensional image data You can also. However, the orientation of the kernel in these implementations is limited to either horizontal, vertical, or symmetric. When a diagonal edge is encountered, pixels on either side of the edge, rather than along the edge, are used primarily for interpolation. This results in the interpolated edges no longer appearing vivid and smooth, but appear to be jagged, blurred, or both. A solution to the above problem is known to prevent interpolation in the direction across the edge by using pixel value estimates for pixels on the other side of the edge in bilinear interpolation. . However, this method requires very accurate sub-pixel edge estimates at the output resolution and iterative post-processing using a continuous approximation procedure. Both of the above methods require a lot of memory and processing resources. Another approach to this problem is to utilize a set of two-dimensional "steerable" kernels that can be directed along the edge line during image interpolation. In this method, smoothing is performed along the edge line (jagging of the edge is reduced), but smoothing is not performed in a direction crossing the edge (the sharpness of the edge is maintained).

【0009】エッジ強度あるいはユーザの入力に基づい
て補間カーネルを選択する方法は知られている。しか
し、この方法が最適に機能することを妨げるいくつかの
欠点がある。第1に、エッジの強度だけをカーネル選択
の基礎として使用しても、信頼できるカーネルの選択に
十分な情報が提供されない(特に斜めのエッジにおい
て)。第2に、ユーザの入力だけに基づくカーネルの選
択は実際的ではなく、十分に詳細なカーネルの選択が指
定されない。たとえば図7(a)に示されたサブ画像内
では、サブ画像全体に理想的なカーネルは1つもない。
一般的に、ユーザによって指定できない解像度において
異なるカーネルが要求される。
[0009] Methods for selecting an interpolation kernel based on edge strength or user input are known. However, there are some drawbacks that prevent this method from working optimally. First, using only edge strength as the basis for kernel selection does not provide enough information for reliable kernel selection (especially at diagonal edges). Second, kernel selection based solely on user input is impractical and does not specify a sufficiently detailed kernel selection. For example, in the sub-image shown in FIG. 7A, there is no ideal kernel for the entire sub-image.
Generally, different kernels are required at resolutions that cannot be specified by the user.

【0010】本発明の目的は、従来技術の1つまたは複
数の欠点を改善することである。
It is an object of the present invention to remedy one or more of the disadvantages of the prior art.

【0011】[0011]

【課題を解決するための手段】本発明によれば、複数の
補間カーネルのうち1つを使用して離散サンプル値の第
1のセットを補間し、離散サンプル値の第2のセットを
生成する方法であって、前記補間カーネルが、前記第1
のセットの離散サンプル値について、エッジ強度指標、
エッジ方向指標、エッジコンテキスト指標に応じて選択
されることを特徴とした方法が提供される。
According to the present invention, one of a plurality of interpolation kernels is used to interpolate a first set of discrete sample values to produce a second set of discrete sample values. The method, wherein the interpolation kernel comprises:
For a set of discrete sample values, the edge strength index,
A method is provided, wherein the method is selected according to an edge direction indicator and an edge context indicator.

【0012】本発明のさらなる態様によれば、1つの補
間カーネルを使用して離散サンプル値の第1のセットを
補間し、離散サンプル値の第2のセットを生成する方法
であって、前記補間カーネルが、前記第1のセットの離
散サンプル値について、エッジ強度指標、エッジ方向指
標、エッジコンテキスト指標に応じて選択されることを
特徴とした方法が提供される。
According to a further aspect of the invention, there is provided a method of interpolating a first set of discrete sample values using a single interpolation kernel to generate a second set of discrete sample values, the method comprising: A method is provided, wherein a kernel is selected for the first set of discrete sample values in response to an edge strength indicator, an edge direction indicator, and an edge context indicator.

【0013】本発明のさらなる態様によれば、画像デー
タ補間の方法であって、前記方法が、前記画像データの
離散サンプル値の第1のセットにアクセスするステップ
と、前記各離散サンプル値について、エッジ配置指標、
エッジ強度指標、エッジコンテキスト指標に応じて複数
のカーネルのうち1つを使用して前記各離散サンプル値
のカーネル値を計算するステップと、前記カーネル値に
前記離散サンプル値を畳み込み、離散サンプル値の第2
のセットを提供するステップを含む方法が提供される。
According to a further aspect of the invention, there is provided a method of image data interpolation, the method comprising: accessing a first set of discrete sample values of the image data; Edge placement index,
Calculating a kernel value of each of the discrete sample values using one of a plurality of kernels according to an edge strength indicator and an edge context indicator; convolving the discrete sample value with the kernel value; Second
A method comprising providing a set of

【0014】本発明のさらなる態様によれば、画像デー
タを補間するための装置であって、前記装置が、前記画
像データの離散サンプル値の第1のセットにアクセスす
るための手段と、前記各離散サンプル値について、エッ
ジ配置指標、エッジ強度指標、エッジコンテキスト指標
に応じて複数のカーネルのうち1つを使用して前記各離
散サンプル値のカーネル値を計算するための計算器手段
と、前記カーネル値に前記離散サンプル値を畳み込み、
離散サンプル値の第2のセットを提供するための畳み込
み手段を含む装置が提供される。
According to a further aspect of the invention, there is provided an apparatus for interpolating image data, the apparatus comprising: means for accessing a first set of discrete sample values of the image data; Calculator means for calculating a kernel value of each of the discrete sample values using one of a plurality of kernels according to an edge arrangement index, an edge strength index, and an edge context index for the discrete sample values; Convolve the discrete sample value with the value,
An apparatus is provided that includes convolution means for providing a second set of discrete sample values.

【0015】本発明のさらなる態様によれば、データを
処理し、前記処理が画像データ補間方法を含む装置のた
めのプログラムを格納するコンピュータで読出し可能な
媒体であって、前記プログラムが、前記画像データの離
散サンプル値の第1のセットにアクセスするためのコー
ドと、前記各離散サンプル値について、エッジ配置指
標、エッジ強度指標、エッジコンテキスト指標に応じて
複数のカーネルのうち1つを使用して前記各離散サンプ
ル値のカーネル値を計算するためのコードと、前記カー
ネル値に前記離散サンプル値を畳み込み、離散サンプル
値の第2のセットを提供するための畳み込みのためのコ
ードを含むプログラムが提供される。
According to a further aspect of the invention, there is provided a computer readable medium for processing data, the program storing a program for an apparatus including an image data interpolation method, wherein the program comprises Code for accessing a first set of discrete sample values of the data, and for each of the discrete sample values, using one of a plurality of kernels according to an edge location indicator, an edge strength indicator, an edge context indicator. A program is provided that includes code for calculating a kernel value for each discrete sample value, and code for convolving the kernel value with the discrete sample value and providing a second set of discrete sample values. Is done.

【0016】本発明のさらなる態様によれば、離散サン
プル値の第1のマッピングを含む画像データを補間する
方法であって、前記方法が、(i)前記第1のマッピン
グ内でテキスト領域を識別し、各テキスト領域内で各離
散サンプル値にラベル付けするステップと、(ii)前
記画像データの前記各離散サンプル値についてエッジ情
報を計算してエッジサンプル値を識別し、前記各エッジ
サンプル値のための配置角度を保存するステップと、
(iii)前記各離散サンプル値について前記ラベルと
前記配置角度を結合して、前記離散サンプル値の第2の
マッピングを形成するステップと、(iv)前記第2の
マッピング内で各エッジサンプル値について前記配置角
度を操作して前記離散サンプル値の第3のマッピングを
形成するステップと、(v)前記第3のマッピングの前
記画像データを操作して前記画像データの第4のマッピ
ングを形成するステップと、(vi)前記第4のマッピ
ングの前記各サンプル値の前記ラベルと前記配置角度に
応じて、前記第4のマッピングの各サンプル値を複数の
カーネルのうち第1のカーネルで補間して、前記画像デ
ータの第5のマッピングを形成するステップを含む方法
が提供される。
According to a further aspect of the present invention, there is provided a method for interpolating image data comprising a first mapping of discrete sample values, the method comprising: (i) identifying a text region in the first mapping. Labeling each discrete sample value within each text region; and (ii) calculating edge information for each discrete sample value of the image data to identify an edge sample value; Saving the placement angle for
(Iii) combining the label and the placement angle for each of the discrete sample values to form a second mapping of the discrete sample values; and (iv) for each edge sample value within the second mapping. Manipulating the placement angle to form a third mapping of the discrete sample values; and (v) manipulating the image data of the third mapping to form a fourth mapping of the image data. And (vi) interpolating each sample value of the fourth mapping with a first kernel among a plurality of kernels according to the label and the arrangement angle of each sample value of the fourth mapping, A method is provided that includes forming a fifth mapping of the image data.

【0017】本発明のさらなる態様によれば、離散サン
プル値の第1のマッピングを含む画像データを補間する
ための装置であって、前記装置が前記第1のマッピング
内のテキスト領域を識別し、各テキスト領域内の各離散
サンプル値にラベリングするための手段と、前記画像デ
ータの前記各離散サンプル値についてエッジ情報を計算
してエッジサンプル値を識別し、前記各エッジサンプル
値について配置角度を格納するための第1の計算手段
と、前記各離散サンプル値について前記ラベルと前記配
置角度を結合し、前記離散サンプル値の第2のマッピン
グを形成するための結合手段と、前記第2のマッピング
内で各エッジサンプルについて前記配置角度を操作して
前記離散サンプル値の第3のマッピングを形成し、前記
第3のマッピングの前記画像データを操作して前記画像
データの第4のマッピングを形成するための操作手段
と、前記第4のマッピングの前記各サンプル値の前記ラ
ベルと前記配置角度によって前記第4のマッピングの各
サンプル値を複数のカーネルのうち第1のカーネルで補
間して前記画像データの第5のマッピングを形成するた
めの補間手段を含む装置が提供される。
According to a further aspect of the present invention, there is provided an apparatus for interpolating image data including a first mapping of discrete sample values, the apparatus identifying a text region in the first mapping, Means for labeling each discrete sample value in each text region; identifying edge sample values by calculating edge information for each discrete sample value of the image data; storing an arrangement angle for each edge sample value First calculating means for combining the label and the placement angle for each of the discrete sample values to form a second mapping of the discrete sample values; and Manipulating the placement angle for each edge sample to form a third mapping of the discrete sample values; Operating means for manipulating the image data to form a fourth mapping of the image data; and each sample of the fourth mapping according to the label and the arrangement angle of each sample value of the fourth mapping. An apparatus is provided that includes interpolating means for interpolating a value with a first kernel of a plurality of kernels to form a fifth mapping of the image data.

【0018】本発明のさらなる態様によれば、データを
処理する装置のためにプログラムを格納するためのコン
ピュータで読出し可能な媒体で、前記処理が離散サンプ
ル値の第1のマッピングを含む画像データを補間する方
法を含み、前記プログラムが、前記第1のマッピング内
のテキスト領域を識別し、各テキスト領域内の各離散サ
ンプル値にラベリングするためのコードと、前記画像デ
ータの前記各離散サンプル値についてエッジ情報を計算
してエッジサンプル値を識別し、前記各エッジサンプル
値について配置角度を格納するためのコードと、前記各
離散サンプル値について前記ラベルと前記配置角度を結
合し、前記離散サンプル値の第2のマッピングを形成す
るためのコードと、前記第2のマッピング内で各エッジ
サンプルについて前記配置角度を操作して前記離散サン
プル値の第3のマッピングを形成するためのコードと、
前記第3のマッピングの前記画像データを操作して前記
画像データの第4のマッピングを形成するためのコード
と、前記第4のマッピングの前記各サンプル値の前記ラ
ベルと前記配置角度に応じて前記第4のマッピングの各
サンプル値を複数のカーネルのうち第1のカーネルで補
間して前記画像データの第5のマッピングを形成するた
めのコードを含む媒体が提供される。
According to a further aspect of the invention, there is provided a computer readable medium for storing a program for an apparatus for processing data, wherein the processing comprises the step of transferring image data comprising a first mapping of discrete sample values. A code for identifying a text region in the first mapping and labeling each discrete sample value in each text region, the program comprising: Calculate edge information to identify edge sample values, code for storing an arrangement angle for each edge sample value, and combine the label and the arrangement angle for each discrete sample value; Code for forming a second mapping, and for each edge sample in the second mapping Code for operating the serial arrangement angle to form a third mapping of the discrete sample values,
A code for manipulating the image data of the third mapping to form a fourth mapping of the image data, and the label of each of the sample values of the fourth mapping and the arrangement angle. A medium is provided that includes code for interpolating each sample value of a fourth mapping with a first kernel of a plurality of kernels to form a fifth mapping of the image data.

【0019】[0019]

【発明の実施の形態】ディジタル画像を再サンプリング
する時、スムーズな領域とエッジ領域は異なった方法で
再サンプリングする必要がある。パラメータc=0.5
を伴う従来のCatmull−Rom3次方程式などの
長い対称カーネルはスムーズ画像領域に理想的である。
パラメータc=0を伴うCatmull−Rom3次方
程式などの短いカーネルは、エッジや角、高度にテキス
チャ化された領域に一般的に適している。しかし、斜め
エッジのぎざぎざの印象を低減するためには、補間プロ
セスでエッジ方向も考慮に入れる必要がある。補間によ
りエッジを横切ってではなくエッジに沿ってスムーズに
できるためにはエッジの方向も重要である。このように
してエッジの輪郭はスムーズに保たれる一方、エッジの
変化は鋭いままで保たれる。
DESCRIPTION OF THE PREFERRED EMBODIMENTS When resampling a digital image, smooth areas and edge areas need to be resampled in different ways. Parameter c = 0.5
Long symmetric kernels such as conventional Catmull-Rom cubic equations with are ideal for smooth image regions.
Short kernels, such as Catmull-Rom cubic equations with parameter c = 0, are generally suitable for edges and corners, and highly textured regions. However, in order to reduce the jagged impression of the oblique edge, the edge direction must be taken into account in the interpolation process. The direction of the edge is also important so that interpolation can be smooth along the edge, not across the edge. In this way, the contour of the edge is kept smooth, while the change of the edge is kept sharp.

【0020】本発明の第1の実施の形態は、各画像領域
について適切な補間カーネルを自動的に選択する画像補
間方法を開示する。この選択はエッジ強度情報だけでは
なく、エッジ方向情報と局所的なエッジコンテキスト情
報にも基づいている。さらに、テキストの形状とコント
ラストを保存するように高コントラストのテキスト領域
も検出され補間される。
The first embodiment of the present invention discloses an image interpolation method for automatically selecting an appropriate interpolation kernel for each image area. This selection is based not only on edge strength information, but also on edge direction information and local edge context information. In addition, high contrast text regions are detected and interpolated to preserve the shape and contrast of the text.

【0021】本発明の第2の実施の形態では、画像内の
各領域についてカーネルを適切な形に形成しなおすよう
に、単一の補間カーネルのパラメータを調整する。
In a second embodiment of the present invention, the parameters of a single interpolation kernel are adjusted so that the kernel is reshaped appropriately for each region in the image.

【0022】提案された解像度変換方法はまず、高コン
トラストのテキスト領域を識別し、画像データのエッジ
強度とエッジ方向の両方を測定する。第1の実施の形態
では、その後テキスト情報とエッジ情報を使用して、使
用する適切な補間カーネルを選択する。第2の実施の形
態では、エッジ強度とエッジ配置(edge orientation)デ
ータを使用して補間カーネルのパラメータを調節する。
その後、テキストとエッジマップからのコンテキスト情
報を使用して不必要なカーネルの変化を除去し、不適切
なカーネルの選択を防ぐ。生のエッジ情報についてのこ
の後処理は、補間による人為的な結果を軽減し削除する
ために必要である。
The proposed resolution conversion method first identifies high-contrast text regions and measures both edge strength and edge direction of the image data. In the first embodiment, text information and edge information are then used to select an appropriate interpolation kernel to use. In a second embodiment, the parameters of the interpolation kernel are adjusted using edge strength and edge orientation data.
Thereafter, unnecessary kernel changes are removed using text and contextual information from the edge map to prevent inappropriate kernel selection. This post-processing on raw edge information is necessary to reduce and eliminate artifacts due to interpolation.

【0023】好ましい実施の形態による開示された補間
方法を、図1を参照して簡単に説明する。この方法は本
明細書の後半でさらに詳しく説明される一連のステップ
から構成される。プロセスはステップ100から始ま
り、ここで画像データがアクセスされる。このプロセス
はステップ105に続き、ここで高コントラストのテキ
スト領域が検出される。ステップ110では、画像デー
タのエッジ強度とエッジ配置が測定される。検出された
テキスト領域は、それらはテキストとして分類される孤
立したピクセルやピクセルグループのケースを含む。不
必要な補間カーネル切替えの可能性を低減するために、
これらのケースは取り除く必要がある。これは好ましい
実施の形態では、2値テキストマップについて従来の画
像処理において知られた形態開放動作(morphological
opening operation)を使用して次のステップ115で実
行される。プロセスは次のステップ120に続き、検出
されたテキスト領域とエッジ領域は、各入力ピクセルに
ついてカーネル、またはカーネルパラメータ、選択マッ
プに結合される。次のステップ125においては、カー
ネル選択マップ、またはカーネルパラメータ選択マップ
はクリーニングされる。これは、ステップ130におい
てクリーニングされたカーネル選択マップを生成するた
めに、エッジ領域を、一様に方向付けられたエッジ領域
あるいはスムーズな背景を下にして再配置することを含
む。クリーニングされたカーネル選択マップは入力ピク
セル解像度にある。プロセスは次のステップ135に続
き、ここでクリーニングされたカーネル選択マップはN
N補間カーネルを使用して補間される。NN補間の結果
は、ステップ140において各出力ピクセルについてカ
ーネル選択マップ、またはカーネルパラメータ選択マッ
プを生成することである。次のステップ145では、出
力解像度カーネル選択マップに基づいて適切な補間カー
ネルが画像データに適用される。ステップ145におい
て画像データに適用される補間カーネルは、好ましい実
施の形態によれば、汎用3次カーネル150とすること
もでき、これは本明細書の後半で開示される。プロセス
はステップ155で終わり、ここで解像度が変換された
出力画像は、好ましくは表示されるか、あるいはグラフ
ィックスプロセッサなどでさらに処理される。
The disclosed interpolation method according to the preferred embodiment will be briefly described with reference to FIG. The method comprises a series of steps described in more detail later in this specification. The process begins at step 100, where image data is accessed. The process continues at step 105, where high contrast text regions are detected. In step 110, the edge strength and the edge arrangement of the image data are measured. The detected text regions include cases of isolated pixels or pixel groups that are classified as text. To reduce the possibility of unnecessary interpolation kernel switching,
These cases need to be removed. Which in the preferred embodiment, the binary text map known form opening operation in the conventional image processing for (morphological
It is performed in the next step 115 using an opening operation. The process continues to the next step 120, where the detected text and edge regions are combined into a kernel, or kernel parameter, selection map for each input pixel. In the next step 125, the kernel selection map or kernel parameter selection map is cleaned. This involves rearranging the edge regions with a uniformly oriented edge region or a smooth background down to produce a kernel selection map that has been cleaned in step 130. The cleaned kernel selection map is at the input pixel resolution. The process continues to the next step 135 where the cleaned kernel selection map is N
Interpolated using an N interpolation kernel. The result of the NN interpolation is to generate a kernel selection map, or kernel parameter selection map, for each output pixel at step 140. In the next step 145, an appropriate interpolation kernel is applied to the image data based on the output resolution kernel selection map. The interpolation kernel applied to the image data at step 145 may be, according to a preferred embodiment, a generic cubic kernel 150, which is disclosed later in this specification. The process ends at step 155, where the resolution converted output image is preferably displayed or further processed, such as by a graphics processor.

【0024】上記のステップは一時に画像全体について
動作する必要はない。しかし簡単に説明するために、好
ましい実施の形態は、入力ピクセルの画像全体の処理に
ついて説明されている。入力画像の限定された数の行
(好ましくはラスタ走査方向に5行)だけが一時に要求
されるように、好ましい実施の形態によるアルゴリズム
は、メモリに配置された形で動作することが、必須では
ないものの望ましい。代替方法として、アルゴリズム
を、任意の画像副領域あるいはブロックに適用すること
もできる。
The above steps need not operate on the entire image at one time. However, for simplicity, the preferred embodiment describes the processing of the entire image of input pixels. It is imperative that the algorithm according to the preferred embodiment operate in a memory-located manner, such that only a limited number of rows of the input image (preferably 5 rows in the raster scan direction) are required at a time. Not desirable though. As an alternative, the algorithm can be applied to any image sub-region or block.

【0025】好ましい実施の形態の以下の説明は、赤、
緑、青(RGB)色空間で表現された色画像について記
述されている。適切な変更をすると、この技術はグレー
レベル画像(色平面が1つだけ)または任意の色空間表
現(YUV、YCbCrなど)に簡単に適用することが
できる。あるいは、画像が他の色空間で与えられている
場合、これらをRGB色空間に変換してから処理するこ
とができる。
The following description of the preferred embodiment will refer to red,
This document describes a color image expressed in a green, blue (RGB) color space. With appropriate changes, this technique can be easily applied to gray level images (only one color plane) or any color space representation (YUV, YCbCr, etc.). Alternatively, if the images are provided in another color space, they can be converted to the RGB color space before processing.

【0026】本発明の上記のステップを図1から図6を
参照してさらに詳細に説明する。
The above steps of the present invention will be described in more detail with reference to FIGS.

【0027】テキストの検出とテキストマップのクリー
ニングステップ テキストの検出とテキストマップのクリーニングを図2
に関して説明する。隣接するピクセル間の局所的なコン
トラストは、テキスト領域検出の基礎として使用され
る。テキスト領域は通常、局所的なコントラストが高
く、色数が限定されており、テキスチャが単純である領
域である。これらの基準を使用すると、高コントラスト
で表現された多言語のテキスト情報の検出も可能にな
る。
[0027] Text Detection and Text Map Creeping
Figure the cleaning of detection and text map of the training step text 2
Will be described. Local contrast between adjacent pixels is used as a basis for text region detection. Text regions are typically regions with high local contrast, a limited number of colors, and a simple texture. The use of these criteria also allows for the detection of multilingual text information expressed in high contrast.

【0028】プロセスはステップ200で始まり、ここ
ではテキストマップはスムーズになるよう初期化され
る。次のステップ205において、続くステップ215
から230が画像内の各色平面と各ピクセルについて実
行される。入力画像の各ピクセルと色平面は3×3近傍
演算子で走査される。ステップ215においては、値C
の各中央ピクセルP0は、閾値Ttxtと比較され、こ
こでCは以下のように与えられる。 C=max(|P−P|),i∈1,..,8 (3) 上式でiは、中央ピクセルP0にもっとも近い8つの近
傍ピクセルの指数(index)である。好適な実施の形態で
は、Ttxt=220という値が使用される。次のステ
ップ220では、Cの値は閾値Ttxtと比較される。
Cの値が閾値Ttxtを超えているとき、ピクセルP0
はステップ225においてテキスト領域としてラベル付
けされる。
The process begins at step 200, where the text map is initialized to be smooth. In the next step 205, the following step 215
Through 230 are performed for each color plane and each pixel in the image. Each pixel and color plane of the input image is scanned with a 3 × 3 neighborhood operator. In step 215, the value C
Are compared to a threshold value Ttxt, where C is given by: C = max (| P 0 −P i |), i∈1,. . , 8 (3) where i is the index of the eight neighboring pixels closest to the center pixel P0. In the preferred embodiment, a value of Ttxt = 220 is used. In the next step 220, the value of C is compared with a threshold value Ttxt.
When the value of C exceeds the threshold Ttxt, the pixel P0
Are labeled in step 225 as text areas.

【0029】検出されたテキスト領域は、テキストとし
てラベル付けされた、孤立したピクセルやピクセルグル
ープのケースを含む。不必要な補間カーネル切替えのチ
ャンスを低減するために、これらのケースは削除する必
要がある。これは好ましい実施の形態では、バイナリテ
キストマップについて従来の画像処理において知られて
いる形態開放動作を使用して次のステップ230で実行
される。マトリックスSによって定義された構造要素
は、次のようにテキスト検出マップをクリーニングする
ために使用される。
The detected text regions include the case of isolated pixels or groups of pixels, labeled as text. These cases need to be eliminated to reduce the chance of unnecessary interpolation kernel switching. This is performed in a preferred embodiment in the next step 230 using a form opening operation known in conventional image processing for binary text maps. The structuring element defined by the matrix S is used to clean the text detection map as follows.

【数7】 (Equation 7)

【0030】形態開放動作は、Sを用いた侵食とそれに
続く膨張として定義され、以下のパターンを除去する
(この回転された型も含む)。
The form release operation is defined as erosion with S followed by dilation and removes the following pattern (including this rotated mold):

【数8】 (Equation 8)

【0031】テキストの検出とテキストマップのクリー
ニングプロセスは、画像内の各ピクセルについてステッ
プ215から230が実行された後に完了する。
The process of detecting text and cleaning the text map is completed after steps 215 through 230 have been performed for each pixel in the image.

【0032】エッジ強度と方向検出ステップ エッジ強度と方向検出ステップは図3を参照して説明さ
れる。プロセスはステップ300で始まり、ここでEd
geMapはスムーズに初期化される。次のステップ3
05において、続くステップ315から335は、画像
内の各色平面と各ピクセルについて実行される。ステッ
プ315においては、それぞれGhとGvと呼ぶ水平エ
ッジ応答と垂直エッジ応答は、各入力画像ピクセルにつ
いて計算される。好適な実施の形態では、これは当技術
では周知の5タップ最適エッジ検出器を利用して実行さ
れる。GhとGvを形成するために使用される係数は表
1に示される。
Edge strength and direction detection step The edge strength and direction detection step will be described with reference to FIG. The process begins at step 300, where Ed
GeMap is initialized smoothly. Next step 3
At 05, the following steps 315 to 335 are performed for each color plane and each pixel in the image. In step 315, horizontal and vertical edge responses, referred to as Gh and Gv, respectively, are calculated for each input image pixel. In the preferred embodiment, this is performed using a 5-tap optimal edge detector as is known in the art. The coefficients used to form Gh and Gv are shown in Table 1.

【表1】 表1は、好適な実施の形態で使用されるエッジ検出係数
である。示されているのは、低域(補間)カーネルと高
域(第1導関数(derivative))カーネルである。
[Table 1] Table 1 shows the edge detection coefficients used in the preferred embodiment. Shown are a low-pass (interpolated) kernel and a high-pass (first derivative) kernel.

【0033】次のステップ320では、勾配マグニチュ
ードGmは、次式を使用してこれらの2つの構成要素の
強度から得られる。 G=√(Gv 2+Gh 2) (5)
In the next step 320, a gradient magnitude Gm is obtained from the intensities of these two components using the following equation: G m = √ (G v 2 + G h 2 ) (5)

【0034】R色成分、G色成分、B色成分の最大の勾
配値は、全体のエッジ勾配強度を決定するために使用さ
れる。プロセスは次のステップ320に続き、ここでは
勾配マグニチュードGmが閾値Gthと比較される。こ
れがその閾値より小さい場合、ピクセルはエッジ以外の
ピクセルとして分類される。そうでない場合、ステップ
330において、ピクセルはエッジピクセルとして分類
され、エッジ方向GθがEdgeMapに記録される。
したがって、最大勾配強度を伴う色平面は、各入力ピク
セルについてエッジ方向を推定するために使用される。
エッジ勾配方向Gθは、次式を使用して推定される。 Gθ=tan-1(Gv /Gh) (4)
The maximum gradient values of the R, G, and B components are used to determine the overall edge gradient strength. The process continues to the next step 320, where the gradient magnitude Gm is compared to a threshold Gth. If this is less than the threshold, the pixel is classified as a non-edge pixel. If not, at step 330, the pixel is classified as an edge pixel and the edge direction Gθ is recorded in EdgeMap.
Therefore, the color plane with the highest gradient strength is used to estimate the edge direction for each input pixel.
The edge gradient direction Gθ is estimated using the following equation. Gθ = tan -1 (G v / G h) (4)

【0035】プロセスはステップ335に続き、ここで
はエッジピクセル方向は水平(0)、垂直(π/2)、
対角(π/4)、逆対角(3π/4)の4つのケースの
うち1つに量子化される。
The process continues at step 335, where the edge pixel directions are horizontal (0), vertical (π / 2),
It is quantized to one of four cases of diagonal (π / 4) and anti-diagonal (3π / 4).

【0036】エッジ強度とエッジ方向の検出プロセス
は、画像内の各ピクセルについてステップ315から3
35が実行された後に完了する。
The process of detecting the edge strength and the edge direction comprises the steps 315 to 3 for each pixel in the image.
Complete after 35 has been performed.

【0037】量子化ビンの数を増大し、対応して配置さ
れた操向可能なカーネルで補間することによって、より
よい補間出力が生成されることに注意されたい。しか
し、これは実施の複雑さを増大させるので、好ましい実
施の形態では4方向への量子化が使用される。
It should be noted that increasing the number of quantization bins and interpolating with correspondingly located steerable kernels produces better interpolated output. However, this increases the complexity of the implementation, so quantization in four directions is used in the preferred embodiment.

【0038】テキスト情報とエッジ情報とのカーネル選
択マップへの組み合わせ 次に、テキスト情報とエッジ情報を組み合わせてカーネ
ル選択マップにすることを、図4を参照して説明する。
入力画像は、エッジ領域やテキスト領域が検出されたピ
クセル以外ではスムーズであると仮定されている。した
がって、カーネル選択マップはステップ400で初期化
され、一般的なスムージングカーネルを選択する。好適
な実施の形態では、パラメータc=0.5を伴う3次補
間カーネルが、これらのスムーズ領域内でピクセルを補
間するために使用される。プロセスはステップ405へ
と続き、ここでステップ410から425が入力画像内
のピクセルについて実行され、入力画像において、テキ
スト領域情報とエッジ領域(エッジ方向)情報がカーネ
ル選択マップの上に重ねられる。テキスト領域とエッジ
領域の両方がある場合、テキスト領域情報が優先され
る。テキスト領域内には多くのエッジ活動があり、これ
らを方向性エッジと見なすことは過剰なカーネル切替え
の原因となり、したがって視覚上の作為的構造(artefac
ts)をもたらす可能性があるため、テキスト領域がエッ
ジ領域より優先されることは重要である。プロセスは4
10へと続き、ここでEdgeMap内の現在のピクセ
ルがスムーズとして分類されるかどうかを確認するため
にチェックが実行される。EdgeMap内の現在のピ
クセルがスムーズでない場合、EdgeMap情報はス
テップ415においてKernelMap内に記録され
る。次のステップ420においては、TextMap内
の現在のピクセルがスムーズとして分類されるかどうか
を確認するためにチェックが実行される。TextMa
p内の現在のピクセルがスムーズでない場合、Text
Map情報はステップ425においてKernelMa
p内に記録される。テキスト情報とエッジ情報をカーネ
ル選択マッププロセスに組み合わせることは、画像内の
各ピクセルについてステップ410から425が実行さ
れた後に完了する。
Kernel selection of text information and edge information
Next, the combination of text information and edge information into a kernel selection map will be described with reference to FIG.
The input image is assumed to be smooth except for pixels where edge regions or text regions are detected. Therefore, the kernel selection map is initialized at step 400 to select a general smoothing kernel. In the preferred embodiment, a cubic interpolation kernel with a parameter c = 0.5 is used to interpolate pixels within these smooth regions. The process continues to step 405, where steps 410 through 425 are performed on the pixels in the input image, where text region information and edge region (edge direction) information are overlaid on the kernel selection map. If there is both a text area and an edge area, the text area information has priority. There are many edge activities in the text area, and considering them as directional edges causes excessive kernel switching, and therefore visual artifacts (artefac
It is important that text regions take precedence over edge regions because they can result in ts). Process 4
Continuing to 10, where a check is performed to see if the current pixel in the EdgeMap is classified as smooth. If the current pixel in EdgeMap is not smooth, EdgeMap information is recorded in KernelMap in step 415. In the next step 420, a check is performed to see if the current pixel in the TextMap is classified as smooth. TextMa
Text if the current pixel in p is not smooth
The Map information is set to KernelMa
Recorded in p. Combining the text and edge information into the kernel selection map process is complete after steps 410 through 425 have been performed for each pixel in the image.

【0039】カーネル選択マップのクリーニング カーネル選択マッププロセスのクリーニングは図5を参
照して説明される。孤立したエッジ方向が、その他の点
は一様に方向付けられた局所領域内で発生する場合があ
る。これらのまばらに分布したエッジ領域は、る一様に
配置されたエッジ領域やスムーズ背景を下にして再配置
されることが最良である。これはまた、補間された画像
内の視覚的アーチファクトを引き起こす場合のある過剰
なカーネル切替えを防ぐ。
Cleaning the Kernel Selection Map The cleaning of the kernel selection map process is described with reference to FIG. Isolated edge directions may occur in local areas where other points are uniformly oriented. It is best for these sparsely distributed edge regions to be rearranged with uniformly arranged edge regions or a smooth background. This also prevents excessive kernel switching that can cause visual artifacts in the interpolated image.

【0040】プロセスはステップ500で始まり、ここ
で累算器が初期化される。次のステップ505では、ス
テップ510から540がKernelMap内の各5
×5ブロックについて実行される。ステップ510で
は、5×5近傍において、各エッジ配置のエッジピクセ
ルの数(テキストと背景を含む)が累算される。このプ
ロセスはステップ515へと続き、ここで多数のエッジ
配置が識別される。次のステップ520では、少数のエ
ッジ配置が識別される。多数のエッジ配置と少数のエッ
ジ配置は識別され、少数のエッジピクセルは次のステッ
プ内で多数の配置に再び割り当てられるが、テキスト領
域と識別されたピクセルは例外である。次のステップ5
25では、計算された多数のエッジ配置はTmajor
と比較され、計算された少数のエッジ配置はTmino
rと比較される。ステップ530では、5×5領域内に
Tmajorより多いピクセルがあった場合には配置は
多数の配置に設定され、5×5領域内にTminorよ
り少ないピクセルがあった場合に配置は少数配置に設定
される。好適な実施の形態では、多数閾値Tmajor
は15であり、少数閾値Tminorは5である。5×
5領域内のピクセルの合計数は25である。累計された
エッジピクセルが多数閾値より多い場合、多数のエッジ
方向があてがわれる。累計されたエッジピクセルが多数
閾値より多くない場合、ピクセル領域は変更されない。
多数の配置あるいは少数の配置は背景である場合もあ
り、テキスト領域である場合もある。次のステップ53
5においては、5×5ピクセルブロックは画像バッファ
に沿って1列移動し、プロセスは次の隣接5×5ピクセ
ルブロックについて繰り返す。これらのブロックは画像
のどの単一パス内でも互いに重ならない。プロセスは固
定された回数を繰返し、プロセスが完了する点で5回の
繰返しが完了したかどうかを確認するためにステップ5
40でチェックが実行される。好適な実施の形態では、
5回の繰返しは妥当な程度でマップをクリーンするため
には十分であるが、5回の繰返しが必須であるわけでは
ない。
The process begins at step 500, where the accumulator is initialized. In the next step 505, steps 510 to 540 are executed for each 5 in the
Executed for × 5 blocks. In step 510, the number of edge pixels (including text and background) of each edge arrangement is accumulated in the vicinity of 5 × 5. The process continues to step 515, where a number of edge locations are identified. In a next step 520, a small number of edge configurations are identified. A large number of edge arrangements and a small number of edge arrangements are identified, and a small number of edge pixels are reassigned to a large number of arrangements in the next step, with the exception of pixels identified as text regions. Next Step 5
At 25, the calculated multiple edge placements are Tmajor
And the calculated small number of edge locations is Tmino
r. In step 530, if there are more pixels than Tmajor in the 5 × 5 area, the arrangement is set to many arrangements, and if there are fewer pixels than Tminor in the 5 × 5 area, the arrangement is set to few arrangements. Is done. In a preferred embodiment, the multiple threshold Tmajor
Is 15, and the minority threshold Tminor is 5. 5x
The total number of pixels in the five regions is 25. If the accumulated edge pixels are greater than the multiple threshold, multiple edge directions are assigned. If the accumulated edge pixels are not more than the majority threshold, the pixel area is not changed.
A large number or a small number of arrangements may be a background or a text area. Next step 53
At 5, the 5x5 pixel block moves one column along the image buffer and the process repeats for the next adjacent 5x5 pixel block. These blocks do not overlap each other in any single pass of the image. The process repeats a fixed number of times, step 5 to see if 5 iterations have been completed at the point where the process is completed.
At 40, a check is performed. In a preferred embodiment,
Five repetitions are sufficient to clean the map to a reasonable extent, but five repetitions are not required.

【0041】補間をクリーンされたカーネル選択マップ
に適用する クリーニングされたカーネル選択マップに補間を適用す
るステップを、図6を参照して説明する。プロセスはス
テップ600で始まり、ここでカーネル選択マップ(K
ernelMap)は出力画像と同じ大きさに補間され
る。近傍(NN)補間法が、要求される出力解像度でカ
ーネル選択マップを得るために使用される。NN補間
は、出力画質を大幅に低減することなく、より複雑な補
間方法(線形や3次など)に伴う計算コストを削減する
ために使用される。その代わりに、NN補間は実際には
実行されずに、カーネルはKernelMap内のもっ
とも近いピクセルに応じてO/P画像内で選択される。
Kernel selection map with interpolation cleaned
The steps of applying interpolation to the cleaned kernel selection map applied to are described with reference to FIG. The process begins at step 600 where the kernel selection map (K
ernMap) is interpolated to the same size as the output image. Neighbor (NN) interpolation is used to obtain a kernel selection map at the required output resolution. NN interpolation is used to reduce the computational costs associated with more complex interpolation methods (linear, cubic, etc.) without significantly reducing the output image quality. Instead, the NN interpolation is not actually performed, and the kernel is selected in the O / P image according to the closest pixel in the KernelMap.

【0042】カーネル選択マップ(KernelMa
p)が出力画像と同じ大きさに補間された後、正しい補
間カーネルを使用できるように各入力が読み出される。
次のステップ610では、KernelMap情報がテ
キストとして分類されるかどうかを確認するためにチェ
ックが実行される。KernelMap=テキストの場
合、ステップ615でテキストピクセルは修正された3
次カーネルで補間される。好適な実施の形態の修正され
た3次カーネルh(s)は、次式によって与えられる。
The kernel selection map (KernelMa)
After p) is interpolated to the same size as the output image, each input is read so that the correct interpolation kernel can be used.
In the next step 610, a check is performed to see if the KernelMap information is classified as text. If KernelMap = text, then in step 615 the text pixel was modified 3
Interpolated by the next kernel. The modified cubic kernel h (s) of the preferred embodiment is given by:

【数9】 上式において、s=t/Δtは、サンプル点で整数値を
有する正規化座標である。
(Equation 9) In the above equation, s = t / Δt is a normalized coordinate having an integer value at the sample point.

【0043】好適な実施の形態では、パラメータdは
0.2に設定される。このカーネルが2×2という縮小
された大きさを有することに注意されたい。
In the preferred embodiment, parameter d is set to 0.2. Note that this kernel has a reduced size of 2x2.

【0044】KernelMapがテキストとして分類
されていない場合には、プロセスはステップ620へと
続き、ここでKernelMap情報がエッジとして分
類されているかどうかを確認するためにチェックが実行
される。KernelMap=エッジの場合、ステップ
625においてエッジピクセルは4つの操向可能な3次
カーネルのうち1つで補間される。h(s,s)と
して、好ましい実施の形態の操向可能なカーネルは次式
によって与えられる。
If the KernelMap has not been classified as text, the process continues to step 620 where a check is performed to see if the KernelMap information has been classified as an edge. If KernelMap = Edge, then in step 625 the edge pixels are interpolated with one of the four steerable cubic kernels. As h (s x , s y ), the steerable kernel of the preferred embodiment is given by:

【数10】 上式でsx=x/Δx、sy=y/Δyは、それぞれ水
平方向と垂直方向の再サンプリング距離であり、「・」
はマトリクスの乗算を示す。量子化されたエッジ配置
は、操向可能な3次カーネルの必要とされる配置、すな
わち0,π/4,π/2,または3π/4のいずれかを
定義する。
(Equation 10) In the above equation, sx = x / Δx and sy = y / Δy are resampling distances in the horizontal and vertical directions, respectively.
Indicates matrix multiplication. The quantized edge constellation defines the required constellation of steerable cubic kernels, either 0, π / 4, π / 2, or 3π / 4.

【0045】プロセスはステップ630へと続き、ここ
でKernelMapがエッジとして分類されない場
合、KernelMap情報がスムーズかどうか確認す
るためにチェックが実行される。KernelMap=
スムーズの場合、ピクセルは従来のCatmull−R
om3次カーネル(b=0,c=0.5)で補間され
る。
The process continues at step 630, where if the KernelMap is not classified as an edge, a check is performed to see if the KernelMap information is smooth. KernelMap =
In the smooth case, the pixel is a conventional Catmull-R
Interpolated by an om3 order kernel (b = 0, c = 0.5).

【0046】図7から図9は、多くの典型的な画像上で
の本発明の補間効力を図示する。図7(a)は、補間が
行われる前の、ある解像度における元の画像を示す。図
7(b)は、従来の3次カーネルを使用して補間された
後の、より高い解像度における図7(a)の画像を示
す。これに対して、図7(c)は、本発明の好適な実施
の形態によって補間された後の、より高い解像度におけ
る図7(a)の画像を示す。図7(c)が図7(b)よ
り鋭いエッジと少ないぼけを伴う画像を示していること
が分かる。
FIGS. 7-9 illustrate the interpolation effectiveness of the present invention on many typical images. FIG. 7A shows an original image at a certain resolution before interpolation is performed. FIG. 7 (b) shows the image of FIG. 7 (a) at a higher resolution after interpolation using a conventional cubic kernel. In contrast, FIG. 7 (c) shows the image of FIG. 7 (a) at a higher resolution after interpolation according to the preferred embodiment of the present invention. It can be seen that FIG. 7 (c) shows an image with sharper edges and less blur than FIG. 7 (b).

【0047】図8(b)は本発明の好適な実施の形態に
よる補間方法を使用して、両方向に2.7倍拡大された
図8(a)のテキスト画像を示す。
FIG. 8 (b) shows the text image of FIG. 8 (a) enlarged 2.7 times in both directions using the interpolation method according to the preferred embodiment of the present invention.

【0048】図9(a)は、従来のNNカーネルを使用
して補間されたグラフィック画像を示す。図9(b)は
本発明の好適な実施の形態による補間方法を使用して補
間された同じグラフィック画像を示す。図9(b)の画
像から、斜めの線は図9(a)に比べ、その方向に沿っ
てスムーズになっていることが分かる。
FIG. 9A shows a graphic image interpolated using a conventional NN kernel. FIG. 9 (b) shows the same graphic image interpolated using the interpolation method according to the preferred embodiment of the present invention. From the image of FIG. 9B, it can be seen that the oblique line is smoother along that direction than in FIG. 9A.

【0049】本発明の第2の実施の形態では、Kern
elMapは補間に使用可能な異なるカーネルについて
の符号化を含まず、1つの「汎用」カーネルに適用され
るパラメータ値を含む。方程式(1)の従来のカーネ
ル、方程式(5)の修正されたカーネル、方程式
(6),(7),(8),(9)の十分に操向可能な3
次カーネルの組合せである汎用3次補間カーネルの定義
は次の通りである。
According to the second embodiment of the present invention, Kern
The elMap does not include encoding for different kernels that can be used for interpolation, but includes parameter values that apply to one "generic" kernel. Conventional kernel of equation (1), modified kernel of equation (5), fully steerable 3 of equations (6), (7), (8), (9)
The definition of the general-purpose cubic interpolation kernel , which is a combination of the next kernels , is as follows.

【数11】 [Equation 11]

【0050】ここで、交差エッジ重み付け係数(the acr
oss edge weighting factor)w(θ)は、θ=0,π/
s,πの時には1を通し、θ=π/4,3π/4の時に
は√2を通すように限定されているスムーズ関数であ
る。好適な実施の形態に使用される関数は次の通りであ
る。
Here, the intersection edge weighting coefficient (the acr
oss edge weighting factor) w (θ) is θ = 0, π /
This is a smooth function limited to pass 1 when s and π and pass √2 when θ = π / 4 and 3π / 4. The functions used in the preferred embodiment are as follows:

【数12】 そして汎用補間カーネルh(s)は次式によって与えら
れる。
(Equation 12) Then, the general-purpose interpolation kernel h (s) is given by the following equation.

【数13】 上式で、dは3次補間カーネルの「デッドゾーン」の幅
を制御するパラメータである。
(Equation 13) In the above equation, d is a parameter that controls the width of the “dead zone” of the cubic interpolation kernel.

【0051】カーネルパラメータマップに基づいて、入
力画像領域は次のように設定されたパラメータを伴う汎
用3次カーネルで補間される。
Based on the kernel parameter map, the input image area is interpolated with a general cubic kernel with parameters set as follows:

【0052】テキスト領域は、エッジ配置角度パラメー
タθ=0、「デッドゾーン」パラメータd=0.2、3
次方程式パラメータb=0とc=0を用いて補間され
る。これは、縮小された2×2サイズのカーネルを与
え、すなわち残りのカーネル係数はすべてゼロである。
The text area has an edge arrangement angle parameter θ = 0, a “dead zone” parameter d = 0.2,
It is interpolated using the following equation parameters b = 0 and c = 0. This gives a reduced 2 × 2 size kernel, ie the remaining kernel coefficients are all zero.

【0053】エッジ領域は、0,π/4,π/2,また
は3π/4(エッジ角度Gθに依存する)のどれかに設
定されたθと、d=0,b=0,c=0.5を用いて補
間されている。これらの係数の6または8は、配置角度
(θ)に応じてゼロになるであろうが、これは4×4カ
ーネルである。
The edge region has θ set to one of 0, π / 4, π / 2, or 3π / 4 (depending on the edge angle Gθ), d = 0, b = 0, c = 0. .5. Six or eight of these coefficients will be zero depending on the placement angle (θ), which is a 4 × 4 kernel.

【0054】スムーズ領域は、θ=0,d=0,b=
0,c=0.5を用いて補間される。これは4×4の非
ゼロカーネルである。
In the smooth region, θ = 0, d = 0, b =
Interpolated using 0, c = 0.5. This is a 4x4 non-zero kernel.

【0055】装置の好適な実施の形態 好適な方法は、好ましくは、図10に示されたシステム
1000のような従来の汎用コンピュータシステムを使
用して実行され、この中で図1から6のプロセスはコン
ピュータ上で実行されるソフトウェアとして実施でき
る。特に、この方法のステップは、コンピュータによっ
て実行されるソフトウェア内の命令によって実行され
る。ソフトウェアは、好適な実施の形態の方法を実行す
る1つの部分と、後者とユーザの間のユーザインタフェ
ースを管理するもう1つの部分の別々の2つの部分に分
割することができる。このソフトウェアは、たとえば後
述する保存装置を含むコンピュータで読出し可能な媒体
に格納することができる。ソフトウェアはコンピュータ
で読出し可能な媒体からコンピュータにロードされ、次
にコンピュータによって実行される。このようなソフト
ウェアまたはそのうえに記録されたコンピュータプログ
ラムを有するコンピュータで読出し可能な媒体は、コン
ピュータプログラム製品である。コンピュータにおける
コンピュータプログラム製品の使用は、好ましくは、本
発明の実施の形態による文字ストロークあるいはn次元
の有限スペースカーブを方向付けるために有利な装置を
実行する。
Preferred Embodiment of the Apparatus The preferred method is preferably implemented using a conventional general purpose computer system, such as the system 1000 shown in FIG. 10, in which the processes of FIGS. Can be implemented as software running on a computer. In particular, the steps of the method are performed by instructions in software executed by a computer. The software can be split into two parts, one part performing the method of the preferred embodiment and another part managing the user interface between the latter and the user. This software can be stored in a computer-readable medium including a storage device described later, for example. The software is loaded onto the computer from a computer readable medium and then executed by the computer. A computer readable medium having such software or a computer program recorded thereon is a computer program product. The use of a computer program product in a computer preferably implements an advantageous device for directing character strokes or n-dimensional finite space curves according to embodiments of the present invention.

【0056】コンピュータシステム1000はコンピュ
ータモジュール1002、ビデオ表示1016、入力装
置1018、1020を有する。さらに、コンピュータ
システム1000は、コンピュータモジュール1002
に接続されたラインプリンタ、レーザープリンタ、プロ
ッタ、そのほかの再生装置を含む任意の多数の他の出力
装置を有することが可能である。コンピュータシステム
1000は、モデム通信パス、コンピュータネットワー
クなどの適切な通信チャネル1030を使用して、通信
インタフェース1008cを介して1つまたは複数の他
のコンピュータに接続することができる。コンピュータ
ネットワークは、ローカルエリアネットワーク(LA
N)、広域ネットワーク(WAN)、イントラネット、
および/またはインターネットを含むことができる。
The computer system 1000 has a computer module 1002, a video display 1016, and input devices 1018 and 1020. Further, the computer system 1000 includes a computer module 1002
It is possible to have any number of other output devices, including line printers, laser printers, plotters, and other playback devices connected to the device. Computer system 1000 can connect to one or more other computers via communication interface 1008c using a suitable communication channel 1030, such as a modem communication path, a computer network, or the like. The computer network is a local area network (LA)
N), wide area network (WAN), intranet,
And / or the Internet.

【0057】コンピュータモジュール1002は、中央
処理装置(複数可)(以下簡単にプロセッサと称する)
1004、ランダムアクセスメモリ(RAM)とリード
オンリメモリ(ROM)を含むことのできるメモリ10
06、入力/出力(IO)インタフェース1008、ビ
デオインタフェース1010、図10の中で一般的にブ
ロック1012によって表わされる1つまたは複数の保
存装置を有する。保存装置(複数可)1012は、フロ
ッピディスク、ハードディスクドライブ、光磁気ディス
クドライブ、CD−ROM、磁気テープ、あるいは当業
者には周知の他の多くの非揮発性の保存装置のうち1つ
か複数を含むことができる。構成要素1004から10
12のそれぞれは、典型的にはバス1014を介して1
つまたは複数の他の装置に接続され、バス1014は、
データ、アドレス、制御バスを有する。
The computer module 1002 is a central processing unit (a plurality of units) (hereinafter simply referred to as a processor).
1004, a memory 10 that can include a random access memory (RAM) and a read only memory (ROM)
06, an input / output (IO) interface 1008, a video interface 1010, and one or more storage devices generally represented by block 1012 in FIG. Storage device (s) 1012 may include one or more of a floppy disk, hard disk drive, magneto-optical disk drive, CD-ROM, magnetic tape, or many other non-volatile storage devices known to those skilled in the art. Can be included. Components 1004 to 10
Each of the 12 typically 1 via a bus 1014
Connected to one or more other devices, bus 1014 comprises:
It has data, address, and control buses.

【0058】ビデオインタフェース1010はビデオ表
示1016に接続され、ビデオ表示1016上で表示す
るためにコンピュータ1002からのビデオ信号を供給
する。コンピュータ1002を動作するユーザ入力は、
1つまたは複数の入力装置1008によって供給でき
る。たとえば、オペレータはキーボード1018、およ
び/またはマウス1020などのポインティングデバイ
スを使用して、コンピュータ1002に入力を供給でき
る。
Video interface 1010 is connected to video display 1016 and provides video signals from computer 1002 for display on video display 1016. User inputs operating the computer 1002 include:
It can be provided by one or more input devices 1008. For example, an operator can provide input to computer 1002 using a keyboard 1018 and / or a pointing device such as a mouse 1020.

【0059】コンピュータシステム1000はただ説明
のために提供されたものであり、本発明の範囲と精神か
ら逸脱することなく、他の構成を採用することもでき
る。本実施の形態を実行することのできるコンピュータ
の例は、IBM−PC/ATまたは互換機、マッキント
ッシュ(TM)シリーズの1つのPC、Sun Spa
rcstation(TM)、あるいはこれらから発展
した構成などを含む。前述のコンピュータは、本発明の
実施の形態を実行できるコンピュータのタイプの例に過
ぎない。典型的には、次に説明する実施の形態のプロセ
スは、コンピュータで読出し可能な媒体としてのハード
ディスクドライブ上(一般的には図10の中でブロック
1012として描かれている)に記録されたソフトウェ
アやプログラムとして常駐しており、プロセッサ100
4を使用して読み出されたり制御されたりする。ネット
ワークから取り込まれたプログラム、ピクセルデータ、
任意のデータの中間保存は、半導体メモリ1006を使
用して達成され、ハードディスクドライブ1012と協
動する場合もある。
[0059] Computer system 1000 is provided for purposes of illustration only, and other configurations may be employed without departing from the scope and spirit of the invention. An example of a computer that can execute the present embodiment is an IBM-PC / AT or compatible machine, one PC of the Macintosh (TM) series, Sun Spa
rcstation (TM) or a configuration developed from these. The foregoing computers are merely examples of the types of computers on which embodiments of the present invention may be implemented. Typically, the processes of the embodiments described below involve software recorded on a hard disk drive (typically depicted as block 1012 in FIG. 10) as a computer-readable medium. And a resident program.
4 to be read and controlled. Programs, pixel data,
Intermediate storage of any data is achieved using the semiconductor memory 1006 and may cooperate with the hard disk drive 1012.

【0060】いくつかの例では、プログラムはCD−R
OMあるいはフロッピーディスク(共に一般的にブロッ
ク1012によって描かれる)上で符号化されてユーザ
に供給され、代替方法としては、たとえばコンピュータ
に接続されたモデム装置を介してネットワークからユー
ザによって読み込まれる。さらに、ソフトウェアは磁気
テープ、ROMまたは集積回路、光磁気ディスク、コン
ピュータと他の装置の間の無線あるいは赤外線送信チャ
ネル、PCMCIAカードのようなコンピュータで読出
し可能なカード、電子メール送信やウェブサイトに記録
された情報を含むインターネットやイントラネットを含
む、他のコンピュータで読出し可能な媒体からコンピュ
ータシステム1000にロードできる。前述の媒体は、
関連するコンピュータで読出し可能な媒体の例に過ぎな
い。他のコンピュータで読出し可能な媒体も、本発明の
範囲と精神を逸脱することなく実行可能である。
In some examples, the program is a CD-R
It is encoded on an OM or floppy disk (both generally depicted by block 1012) and supplied to the user, or alternatively is read by the user from a network, for example, via a modem device connected to a computer. In addition, software may be stored on magnetic tape, ROM or integrated circuits, magneto-optical disks, wireless or infrared transmission channels between computers and other devices, computer readable cards such as PCMCIA cards, e-mail transmissions and websites The information can be loaded into the computer system 1000 from another computer-readable medium, including the Internet and an intranet, containing the information. The aforementioned medium is
It is merely an example of the relevant computer-readable media. Other computer readable media can be executed without departing from the scope and spirit of the invention.

【0061】連続的な信号を再構築する好ましい方法も
代替方法として、方法のステップの機能あるいは副機能
を実行する1つまたは複数の集積回路などの専用ハード
ウェア内で実行することができる。このような専用ハー
ドウェアは、グラフィックプロセッサ、ディジタル信号
プロセッサ、または1つまたは複数のマイクロプロセッ
サと関連するメモリを含むことができる。
The preferred method of reconstructing a continuous signal can alternatively be implemented in dedicated hardware, such as one or more integrated circuits that perform the functions or sub-functions of the method steps. Such dedicated hardware may include a graphics processor, a digital signal processor, or memory associated with one or more microprocessors.

【0062】前述した内容は、本発明の2つの実施の形
態だけを記述したものであるが、当業者であれば本発明
の範囲と精神から逸脱することなく、これに対して修正
および/または変更することが可能である。
While the foregoing describes only two embodiments of the present invention, those skilled in the art will be able to modify and / or modify the same without departing from the scope and spirit of the present invention. It is possible to change.

【発明の効果】以上説明したように、本発明によれば、
画像をその特徴に応じた領域に分類し、分類された各領
域に対して、信頼できるカーネルを選択するために十分
な情報を用いて最適な補間カーネルを選択して画像の補
間を行うことができる。また、このため、ユーザの入力
に基づいてカーネルを選択する必要がなくなり、ユーザ
が指定できない領域に対しても最適なカーネルを選択し
て画像の補間を行うことができる。
As described above, according to the present invention,
It is possible to classify an image into regions according to its features, and perform image interpolation by selecting the optimal interpolation kernel for each of the classified regions using sufficient information to select a reliable kernel. it can. Therefore, it is not necessary to select a kernel based on a user's input, and an image can be interpolated by selecting an optimal kernel even in an area that cannot be specified by the user.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態による、補間の方法
を示すフローチャートである。
FIG. 1 is a flowchart showing a method of interpolation according to a first embodiment of the present invention.

【図2】図1の補間の方法によるテキスト検出の方法を
示すフローチャートである。
FIG. 2 is a flowchart illustrating a text detection method according to the interpolation method of FIG. 1;

【図3】図1の補間の方法によるエッジ強度と配置検出
の方法を示すフローチャートである。
FIG. 3 is a flowchart illustrating a method of detecting edge intensity and arrangement by the interpolation method of FIG. 1;

【図4】図1の補間の方法によるテキストマップとエッ
ジマップを結合する方法を示すフローチャートである。
FIG. 4 is a flowchart illustrating a method of combining a text map and an edge map according to the interpolation method of FIG. 1;

【図5】図1の補間の方法によるカーネル選択マップの
クリーニングの方法を示すフローチャートである。
FIG. 5 is a flowchart illustrating a method of cleaning a kernel selection map by the interpolation method of FIG. 1;

【図6】図1の補間の方法による出力画像の補間の方法
を示すフローチャートである。
FIG. 6 is a flowchart illustrating a method of interpolating an output image by the interpolation method of FIG. 1;

【図7】(a)所定の解像度の元の画像を示す図であ
る。 (b)従来の3次カーネルを使用して補間された後のよ
り高い解像度における図7aの画像を示す図である。 (c)本発明の第1の実施の形態によって補間された後
のより高い解像度における図7aの画像を示す図であ
る。
FIG. 7A illustrates an original image having a predetermined resolution. FIG. 7 (b) shows the image of FIG. 7a at a higher resolution after interpolation using a conventional cubic kernel. FIG. 7c shows the image of FIG. 7a at a higher resolution after interpolation according to the first embodiment of the invention.

【図8】(a)元のテキスト画像を示す図である。 (b)本発明の実施の形態によって補間された後の図8
(a)のテキスト画像を示す図である。
FIG. 8A is a diagram showing an original text image. (B) FIG. 8 after interpolation by the embodiment of the present invention
It is a figure showing the text image of (a).

【図9】(a)従来のNNカーネルを使用して補間され
たグラフィック画像を示す図である。 (b)本発明の第1の実施の形態によって補間された後
の図9aのグラフィック画像を示す図である。
FIG. 9A illustrates a graphic image interpolated using a conventional NN kernel. FIG. 9B shows the graphic image of FIG. 9A after being interpolated according to the first embodiment of the present invention.

【図10】実施の形態を実行できる汎用コンピュータの
構成図である。
FIG. 10 is a configuration diagram of a general-purpose computer that can execute the embodiment.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 カイ ホン オーストラリア国 2113 ニュー サウス ウエールズ州,ノース ライド,トーマ ス ホルト ドライブ 1 キャノン イ ンフォメーション システムズ リサーチ オーストラリア プロプライエタリー リミテッド内 ──────────────────────────────────────────────────の Continued on the front page (72) Inventor Kai Hong 2113 Thomas Holt Drive, North Ryde, New South Wales 1 Canon Information Systems Research Australia Proprietary Limited

Claims (108)

【特許請求の範囲】[Claims] 【請求項1】 複数の補間カーネル(kernel)のうち1つ
を使用して離散サンプル値の第1のセットを補間し、離
散サンプル値の第2のセットを生成する方法であって、 前記補間カーネルが、前記第1のセットの各離散サンプ
ル値について、エッジ強度指標、エッジ方向指標、エッ
ジコンテキスト指標に応じて選択されることを特徴とし
た方法。
1. A method for interpolating a first set of discrete sample values using one of a plurality of interpolation kernels to generate a second set of discrete sample values, the method comprising: A method wherein a kernel is selected for each of the first set of discrete sample values in response to an edge strength indicator, an edge direction indicator, and an edge context indicator.
【請求項2】 前記補間カーネルが汎用補間カーネルh
(s)である請求項1に記載の方法。
2. The method according to claim 1, wherein the interpolation kernel is a general-purpose interpolation kernel h.
The method of claim 1, wherein (s).
【請求項3】 前記汎用補間カーネルh(s)が、s=
t/Δtおよび0≦d<0.5として、 【数1】 の形である請求項2に記載の方法。
3. The general-purpose interpolation kernel h (s) is given by s =
Assuming that t / Δt and 0 ≦ d <0.5, 3. The method of claim 2 in the form:
【請求項4】 s=x/Δxとs=y/Δyがそれ
ぞれ水平方向と垂直方向の再サンプリング距離であり、
「・」がマトリックス乗法を示すものとして、前記複数
のカーネルは、 【数2】 によって与えられる請求項1に記載の方法。
4. The s x = x / Δx and s y = y / Δy are horizontal and vertical resampling distances, respectively.
Assuming that “·” indicates a matrix multiplication, the plurality of kernels are represented by The method of claim 1 provided by:
【請求項5】 前記離散サンプル値の第1のセットが、
前記離散サンプル値の第2のセットと異なる解像度であ
る請求項1に記載の方法。
5. The method of claim 1, wherein the first set of discrete sample values comprises:
The method of claim 1, wherein the resolution is different than the second set of discrete sample values.
【請求項6】 1つの補間カーネルを使用して離散サン
プル値の第1のセットを補間し、離散サンプル値の第2
のセットを生成する方法であって、 前記補間カーネルが、前記第1のセットの離散サンプル
値について、エッジ強度指標、エッジ方向指標、エッジ
コンテキスト指標に応じて選択されることを特徴とした
方法。
6. Interpolating a first set of discrete sample values using a single interpolation kernel, and interpolating a second set of discrete sample values.
Wherein the interpolation kernel is selected for the first set of discrete sample values according to an edge strength indicator, an edge direction indicator, and an edge context indicator.
【請求項7】 前記補間カーネルが汎用補間カーネルh
(s)である請求項6に記載の方法。
7. The interpolation kernel according to claim 1, wherein the interpolation kernel is a general-purpose interpolation kernel h.
7. The method of claim 6, wherein (s).
【請求項8】 s=t/Δtおよび0≦d<0.5とし
て、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項7に記載の方法。
8. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: The method of claim 7 in the form of:
【請求項9】 前記離散サンプル値の第1のセットが、
前記離散サンプル値の第2のセットと異なる解像度であ
る請求項6に記載の方法。
9. The first set of discrete sample values comprises:
The method of claim 6, wherein the resolution is different than the second set of discrete sample values.
【請求項10】 画像データ補間の方法であって、 前記画像データの離散サンプル値の第1のセットにアク
セスするステップと、 前記各離散サンプル値について、エッジ配置指標、エッ
ジ強度指標、エッジコンテキスト指標に応じて複数のカ
ーネルのうち1つを使用して前記各離散サンプル値のカ
ーネル値を計算するステップと、 前記カーネル値に前記離散サンプル値を畳み込み、離散
サンプル値の第2のセットを提供するステップとを含む
方法。
10. A method of image data interpolation, comprising: accessing a first set of discrete sample values of the image data; and for each of the discrete sample values, an edge placement indicator, an edge intensity indicator, and an edge context indicator. Computing a kernel value for each of the discrete sample values using one of a plurality of kernels in response to: convolving the kernel value with the discrete sample value to provide a second set of discrete sample values. And a method comprising:
【請求項11】 前記カーネルが汎用補間カーネルh
(s)である請求項10に記載の方法。
11. The kernel according to claim 1, wherein the kernel is a general-purpose interpolation kernel h.
The method of claim 10, wherein (s).
【請求項12】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項11に記載の方法。
12. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: The method of claim 11 in the form:
【請求項13】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
複数のカーネルは、 【数2】 によって与えられる請求項11に記載の方法。
13. Assuming that s x = x / Δx and s y = y / Δy are horizontal and vertical resampling distances, respectively, and that “·” indicates a matrix multiplication, the plurality of kernels are: Equation 2 A method according to claim 11, wherein the method is provided by:
【請求項14】 前記離散サンプル値の第1のセット
が、前記離散サンプル値の第2のセットと異なる解像度
である請求項10に記載の方法。
14. The method of claim 10, wherein the first set of discrete sample values has a different resolution than the second set of discrete sample values.
【請求項15】 画像データを補間するための装置であ
って、 前記画像データの離散サンプル値の第1のセットにアク
セスする手段と、 前記各離散サンプル値について、エッジ配置指標、エッ
ジ強度指標、エッジコンテキスト指標に応じて複数のカ
ーネルのうち1つを使用して前記各離散サンプル値のカ
ーネル値を計算するための計算器手段と、 前記カーネル値に前記離散サンプル値を畳み込み、離散
サンプル値の第2のセットを提供するための畳み込み手
段とを含む装置。
15. An apparatus for interpolating image data, comprising: means for accessing a first set of discrete sample values of the image data; and for each of the discrete sample values, an edge placement indicator, an edge intensity indicator, Calculator means for calculating a kernel value of each discrete sample value using one of a plurality of kernels according to an edge context index; convolving the discrete sample value with the kernel value; Convolving means for providing a second set.
【請求項16】 前記補間カーネルが汎用補間カーネル
h(s)である請求項15に記載の装置。
16. The apparatus according to claim 15, wherein said interpolation kernel is a universal interpolation kernel h (s).
【請求項17】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項16に記載の装置。
17. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: 17. The device of claim 16, wherein the device is in the form:
【請求項18】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
複数のカーネルは、 【数2】 によって与えられる請求項15に記載の装置。
18. The plurality of kernels, where s x = x / Δx and s y = y / Δy are horizontal and vertical resampling distances respectively, and “·” indicates a matrix multiplication, Equation 2 16. The device according to claim 15, provided by:
【請求項19】 前記離散サンプル値の第1のセット
が、前記離散サンプル値の第2のセットと異なる解像度
である請求項15に記載の装置。
19. The apparatus of claim 15, wherein the first set of discrete sample values has a different resolution than the second set of discrete sample values.
【請求項20】 データを処理し、前記処理が画像デー
タ補間方法を含む装置のためにプログラムを格納するた
めのコンピュータで読出し可能な媒体であって、前記プ
ログラムが、 前記画像データの離散サンプル値の第1のセットにアク
セスするためのコードと、 前記各離散サンプル値について、エッジ配置指標、エッ
ジ強度指標、エッジコンテキスト指標に応じて複数のカ
ーネルのうち1つを使用して前記各離散サンプル値のカ
ーネル値を計算するためのコードと、 前記カーネル値に前記離散サンプル値を畳み込み、離散
サンプル値の第2のセットを提供するための畳み込みの
ためのコードとを含むコンピュータで読出し可能な媒
体。
20. A computer readable medium for processing data, the program storing a program for an apparatus including an image data interpolation method, the program comprising: discrete sampled values of the image data. Code for accessing a first set of discrete sample values for each of the discrete sample values using one of a plurality of kernels according to an edge placement indicator, an edge intensity indicator, and an edge context indicator. A computer-readable medium comprising: code for calculating a kernel value of; and code for convolving the kernel value with the discrete sample values and providing a second set of discrete sample values.
【請求項21】 前記補間カーネルが汎用補間カーネル
h(s)である請求項20に記載のコンピュータで読出
し可能な媒体。
21. The computer readable medium according to claim 20, wherein said interpolation kernel is a universal interpolation kernel h (s).
【請求項22】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項21に記載のコンピュータで読出し可
能な媒体。
22. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: 22. The computer readable medium of claim 21 in the form of:
【請求項23】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
カーネルは、 【数2】 によって与えられる請求項21に記載のコンピュータで
読出し可能な媒体。
23. Assuming that s x = x / Δx and s y = y / Δy are resampling distances in the horizontal and vertical directions, respectively, and that “·” indicates matrix multiplication, the kernel is expressed as ] 22. The computer readable medium of claim 21 provided by:
【請求項24】 前記離散サンプル値の第1のセット
が、前記離散サンプル値の第2のセットと異なる解像度
である請求項20に記載のコンピュータで読出し可能な
媒体。
24. The computer readable medium of claim 20, wherein the first set of discrete sample values has a different resolution than the second set of discrete sample values.
【請求項25】 離散サンプル値の第1のマッピングを
含む画像データを補間する方法であって、前記方法が、 (i)前記第1のマッピング内でテキスト領域を識別
し、各テキスト領域内で各離散サンプル値にラベル付け
するステップと、 (ii)前記画像データの前記各離散サンプル値につい
てエッジ情報を計算してエッジサンプル値を識別し、前
記各エッジサンプル値について配置角度を格納するステ
ップと、 (iii)前記各離散サンプル値について前記ラベルと
前記配置角度を組み合わせて、前記離散サンプル値の第
2のマッピングを形成するステップと、 (iv)前記第2のマッピング内で各エッジサンプル値
について前記配置角度を操作して前記離散サンプル値の
第3のマッピングを形成するステップと、 (v)前記第3のマッピングの前記画像データを操作し
て前記画像データの第4のマッピングを形成するステッ
プと、 (vi)前記第4のマッピングの前記各サンプル値の前
記ラベルと前記配置角度に応じて、前記第4のマッピン
グの各サンプル値を複数のカーネルのうち第1のカーネ
ルで補間して、前記画像データの第5のマッピングを形
成するステップとを含む方法。
25. A method for interpolating image data comprising a first mapping of discrete sample values, the method comprising: (i) identifying text regions in the first mapping; Labeling each discrete sample value; (ii) calculating edge information for each discrete sample value of the image data to identify an edge sample value, and storing an arrangement angle for each edge sample value. (Iii) combining the label and the placement angle for each of the discrete sample values to form a second mapping of the discrete sample values; and (iv) for each edge sample value within the second mapping. Manipulating the placement angle to form a third mapping of the discrete sample values; (v) the third mapping Manipulating the image data of the ping to form a fourth mapping of the image data; and (vi) responsive to the label and the placement angle of each sample value of the fourth mapping, the fourth mapping. Interpolating each sample value of said mapping with a first kernel of a plurality of kernels to form a fifth mapping of said image data.
【請求項26】 ステップ(v)が、 (v)(a)前記第4のマッピングの各離散サンプル値
を前記第3のマッピングの対応する離散サンプル値に関
連付けるサブステップと、 (v)(b)前記関連付けに基づいて前記画像データの
前記第3のマッピングをスケールするサブステップとを
含む請求項25に記載の方法。
26. Step (v) comprises: (v) (a) associating each discrete sample value of the fourth mapping with a corresponding discrete sample value of the third mapping; And b.) Scaling the third mapping of the image data based on the association.
【請求項27】 ステップ(v)が、第2のカーネルを
使用して前記第3のマッピングの前記画像データを補間
するステップを含む請求項25に記載の方法。
27. The method of claim 25, wherein step (v) includes interpolating the image data of the third mapping using a second kernel.
【請求項28】 前記第2のカーネルがNN(nearest n
eighbour)補間カーネルである請求項26に記載の方
法。
28. The method according to claim 28, wherein the second kernel is NN (nearest n
27. The method of claim 26, which is an interpolation kernel.
【請求項29】 前記第4のマッピングの前記各サンプ
ル値の前記ラベルと前記配置角度を使用して、前記第1
のカーネルのカーネルパラメータ値を選択する請求項2
5に記載の方法。
29. The method of claim 1, wherein the label and the placement angle of each sample value of the fourth mapping are used to determine the first
Selecting a kernel parameter value for the kernel of the second step.
5. The method according to 5.
【請求項30】 前記第1のカーネルが汎用補間カーネ
ルh(s)である請求項25に記載の方法。
30. The method according to claim 25, wherein said first kernel is a generic interpolation kernel h (s).
【請求項31】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項30に記載の方法。
31. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: 31. The method of claim 30, wherein the method is in the form:
【請求項32】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
複数のカーネルは、 【数2】 によって与えられる請求項25に記載の方法。
32. A s x = x / Δx and s y = y / Δy is resampling distance in the horizontal and vertical directions, respectively, as "-" indicates a matrix multiplication, the plurality of kernels, [ Equation 2 26. The method of claim 25, provided by:
【請求項33】 前記ステップ(i)乃至(vi)が、
前記画像データの離散サンプル値の前記第1のマッピン
グの複数の部分のうち1つの部分について実行される請
求項25に記載の方法。
33. Steps (i) to (vi) include:
26. The method of claim 25, wherein the method is performed on one of a plurality of portions of the first mapping of discrete sample values of the image data.
【請求項34】 前記離散サンプル値の前記第2のマッ
ピングを形成すときに、ラベルが前記配置角度よりも優
先される請求項25に記載の方法。
34. The method of claim 25, wherein a label takes precedence over said placement angle when forming said second mapping of said discrete sample values.
【請求項35】 前記第4のマッピングが前記第1のマ
ッピングと異なる解像度である請求項25に記載の方
法。
35. The method of claim 25, wherein the fourth mapping has a different resolution than the first mapping.
【請求項36】 前記画像データが色画像データである
請求項25に記載の方法。
36. The method according to claim 25, wherein said image data is color image data.
【請求項37】 ステップ(i)と(ii)が、前記色
画像データの各色平面(colour plane)について実行され
る請求項36に記載の方法。
37. The method of claim 36, wherein steps (i) and (ii) are performed for each color plane of the color image data.
【請求項38】 ステップ(i)と(ii)が、前記色
画像データの輝度成分について実行される請求項36に
記載の方法。
38. The method according to claim 36, wherein steps (i) and (ii) are performed on a luminance component of the color image data.
【請求項39】 ステップ(i)は、 (i)(a)テキスト指標値Cを計算するサブステップ
と、 (i)(b)前記テキスト指標値を閾値と比較し、各テ
キスト領域内の各離散サンプル値の前記ラベリングが前
記比較に基づくサブステップとを含む請求項25に記載
の方法。
39. Step (i) comprises: (i) (a) calculating a text index value C; and (i) (b) comparing the text index value with a threshold value, and Wherein said labeling of discrete sample values comprises a sub-step based on said comparison.
【請求項40】 前記テキスト指標Cが、C=max
(|P−P|),i∈1,..,8の形であり、i
が、中央離散サンプル値Pにもっとも近い8近傍離散
サンプルの指数(index)である請求項39に記載の方
法。
40. The text index C is: C = max
(| P 0 −P i |), i∈1,. . , 8 and i
There The method of claim 39 which is closest eight neighboring discrete sample index to the central discrete sample values P 0 (index).
【請求項41】 ステップ(i)が、 (i)(c)前記テキストラベル上のクリーニング動作
を実行するサブステップを含む請求項39に記載の方
法。
41. The method of claim 39, wherein step (i) comprises: (i) (c) performing a cleaning operation on the text label.
【請求項42】 前記クリーニング動作が、形態開放動
作(morphological opening operation)である請求項4
1に記載の方法。
42. The cleaning operation is a morphological opening operation.
2. The method according to 1.
【請求項43】 ステップ(ii)は、 (ii)(a)前記各離散サンプル値についてエッジ応
答値を計算するサブステップと、 (ii)(b)前記エッジ応答値に基づいて勾配マグニ
チュード値を計算するサブステップと、 (ii)(c)前記勾配マグニチュード値を閾値と比較
するサブステップと、 (ii)(d)前記比較に基づいて現ピクセルを分類す
るサブステップと、 (ii)(e)前記比較に基づいて現ピクセルについて
前記配置角度を計算するサブステップと、 (ii)(f)前記配置角度を格納するサブステップと
を含む請求項25に記載の方法。
43. Step (ii) comprises: (ii) (a) calculating an edge response value for each of the discrete sample values; and (ii) (b) calculating a gradient magnitude value based on the edge response value. (Ii) (c) comparing the gradient magnitude value to a threshold; (ii) (d) classifying a current pixel based on the comparison; (ii) (e). 26. The method of claim 25, comprising :)) calculating the placement angle for a current pixel based on the comparison; and (ii) (f) storing the placement angle.
【請求項44】 GとGをそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記勾配マグニチュー
ド値Gは、 G=√(Gv 2+Gh 2) である請求項43に記載の方法。
44. The gradient magnitude value G m , where G v and G h are a vertical edge response and a horizontal edge response, respectively, wherein G m = エ ッ ジ (G v 2 + G h 2 ). the method of.
【請求項45】 GとGをそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記エッジ勾配値Gθ
は、 Gθ=tan-1(Gv /Gh) である請求項43に記載の方法。
45. Assume that G v and G h are a vertical edge response and a horizontal edge response, respectively, and
The method of claim 43 which is Gθ = tan -1 (G v / G h).
【請求項46】 ステップ(iv)は、 (iv)(a)前記離散データ値の複数の部分のうち1
つについて各配置角度のいくつかの離散データ値を累計
するサブステップと、 (iv)(b)各配置角度について離散サンプル値の最
大値と最小値を計算するサブステップと、 (iv)(c)前記最大値と最小値をそれぞれ最大閾値
と最小閾値に比較するサブステップと、 (iv)(d)前記比較に基づいて前記部分の前記離散
データ値の配置角度を再割り当てするサブステップと、 (iv)(e)前記離散データ値の前記各部分について
ステップ(iv)(a)から(iv)(e)を繰り返す
サブステップとを含む請求項25に記載の方法。
46. Step (iv) comprises: (iv) (a) one of a plurality of portions of said discrete data value.
(Iv) (b) calculating the maximum and minimum values of the discrete sample values for each configuration angle; and (iv) (c) Iv) comparing the maximum value and the minimum value to a maximum threshold value and a minimum threshold value, respectively; and (iv) re-assigning an arrangement angle of the discrete data values of the portion based on the comparison. (Iv) (e) repeating steps (iv) (a) through (iv) (e) for each portion of the discrete data value.
【請求項47】 前記離散データ値の前記複数の部分が
5つの部分である請求項46に記載の方法。
47. The method of claim 46, wherein said plurality of portions of said discrete data values are five portions.
【請求項48】 修正された3次補間カーネルが、テキ
ストとしてラベル付けされた離散データ値に適用される
請求項25に記載の方法。
48. The method of claim 25, wherein the modified cubic interpolation kernel is applied to discrete data values labeled as text.
【請求項49】 s=t/Δtが、サンプル点において
整数値を有する正規化座標であり、0≦d<0.5であ
るとして、前記修正された3次補間カーネルh(s)
は、 【数3】 の形である請求項48に記載の方法。
49. The modified cubic interpolation kernel h (s), where s = t / Δt is a normalized coordinate having an integer value at a sample point and 0 ≦ d <0.5.
Is: 49. The method of claim 48 in the form.
【請求項50】 操向可能な(steerable)3次補間カー
ネルが、エッジと分類される離散データ値に適用される
請求項25に記載の方法。
50. The method of claim 25, wherein a steerable cubic interpolation kernel is applied to discrete data values classified as edges.
【請求項51】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
操向可能な3次補間カーネルは、 【数2】 の形である請求項50に記載の方法。
51. Assuming that s x = x / Δx and s y = y / Δy are resampling distances in the horizontal and vertical directions, respectively, and that “·” indicates matrix multiplication, The interpolation kernel is 51. The method of claim 50 in the form:
【請求項52】 従来の3次補間カーネルが、スムーズ
と分類される離散データ値に適用される請求項50に記
載の方法。
52. The method of claim 50, wherein a conventional cubic interpolation kernel is applied to discrete data values classified as smooth.
【請求項53】 b=0、c=0.5として、前記従来
の3次補間カーネルは、 【数4】 の形である請求項52に記載の方法。
53. Assuming that b = 0 and c = 0.5, the conventional cubic interpolation kernel is given by: 53. The method of claim 52 in the form:
【請求項54】 離散サンプル値の第1のマッピングを
含む画像データを補間するための装置であって、 前記第1のマッピング内のテキスト領域を識別し、各テ
キスト領域内の各離散サンプル値にラベル付けする手段
と、 前記画像データの前記各離散サンプル値についてエッジ
情報を計算してエッジサンプル値を識別し、前記各エッ
ジサンプル値について配置角度を格納するための第1の
計算手段と、 前記各離散サンプル値について前記ラベルと前記配置角
度を結合し、前記離散サンプル値の第2のマッピングを
形成するための結合手段と、 前記第2のマッピング内で各エッジサンプルについて前
記配置角度を操作して前記離散サンプル値の第3のマッ
ピングを形成し、前記第3のマッピングの前記画像デー
タを操作して前記画像データの第4のマッピングを形成
するための操作手段と、 前記第4のマッピングの前記各サンプル値の前記ラベル
と前記配置角度に応じて前記第4のマッピングの各サン
プル値を複数のカーネルのうち第1のカーネルで補間し
て前記画像データの第5のマッピングを形成するための
補間手段とを含む装置。
54. An apparatus for interpolating image data including a first mapping of discrete sample values, comprising identifying text regions in the first mapping and applying each discrete sample value in each text region. Means for labeling; first calculating means for calculating edge information for each of the discrete sample values of the image data to identify edge sample values, and storing an arrangement angle for each of the edge sample values; Combining means for combining the label and the placement angle for each discrete sample value to form a second mapping of the discrete sample values; and operating the placement angle for each edge sample in the second mapping. Forming a third mapping of the discrete sample values and manipulating the image data of the third mapping to generate a third mapping of the image data. Operating means for forming four mappings; and, according to the label and the arrangement angle of each of the sample values of the fourth mapping, each of the sample values of the fourth mapping is a first of a plurality of kernels. Interpolating means for interpolating with a kernel to form a fifth mapping of the image data.
【請求項55】 前記装置はさらに、 前記第4のマッピングの各離散サンプル値を、前記第3
のマッピングの対応する離散サンプル値に関連付けるた
めの関連付け手段と、 前記関連付けに基づいて前記画像データの前記第3のマ
ッピングをスケーリングするためのスケーリング手段を
さらに含む請求項54に記載の装置。
55. The apparatus according to claim 55, further comprising: converting each discrete sample value of the fourth mapping to the third
55. The apparatus of claim 54, further comprising: associating means for associating a corresponding one of the mappings with corresponding discrete sample values; and scaling means for scaling the third mapping of the image data based on the associating.
【請求項56】 第2のカーネルを使用した前記第3の
マッピングの前記画像データを補間するための補間手段
をさらに含む請求項54に記載の装置。
56. The apparatus of claim 54, further comprising interpolating means for interpolating said image data of said third mapping using a second kernel.
【請求項57】 前記第2のカーネルがNN補間カーネ
ルである請求項56に記載の装置。
57. The apparatus according to claim 56, wherein said second kernel is an NN interpolation kernel.
【請求項58】 前記第4のマッピングの前記各サンプ
ル値の前記ラベルと前記配置角度を使用して、前記第1
のカーネルのカーネルパラメータ値を選択する請求項5
4に記載の装置。
58. Using the label and the placement angle of each of the sample values of the fourth mapping to determine the first
6. Selecting a kernel parameter value for the kernel of claim 5.
An apparatus according to claim 4.
【請求項59】 前記第1のカーネルが汎用補間カーネ
ルh(s)である請求項54に記載の装置。
59. The apparatus according to claim 54, wherein said first kernel is a generic interpolation kernel h (s).
【請求項60】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項59に記載の装置。
60. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: 60. The device of claim 59 in the form:
【請求項61】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
の複数のカーネルは、 【数2】 によって与えられる請求項54に記載の装置。
61. a resampling distance s x = x / Δx and s y = y / Δy are the horizontal and vertical directions, respectively, as "-" indicates a matrix multiplication, a plurality of kernels above, (Equation 2) 56. The device of claim 54, provided by:
【請求項62】 前記離散サンプル値の前記第2のマッ
ピングを形成するときに、ラベルが前記配置角度よりも
優先される請求項54に記載の装置。
62. The apparatus of claim 54, wherein a label takes precedence over the placement angle when forming the second mapping of the discrete sample values.
【請求項63】 前記第4のマッピングが前記第1のマ
ッピングと異なる解像度である請求項54に記載の装
置。
63. The apparatus of claim 54, wherein the fourth mapping has a different resolution than the first mapping.
【請求項64】 前記画像データが色画像データである
請求項54に記載の装置。
64. The apparatus according to claim 54, wherein said image data is color image data.
【請求項65】 テキスト指標値Cを計算するための第
2の計算手段と、 前記テキスト指標値を閾値と比較し、各テキスト領域内
の各離散サンプル値の前記ラベリングが前記比較に基づ
く比較手段とをさらに含む請求項54に記載の装置。
65. Second calculating means for calculating a text index value C, comparing the text index value with a threshold value, and comparing the labeling of each discrete sample value in each text region based on the comparison. The apparatus of claim 54, further comprising:
【請求項66】 前記テキスト指標Cが、C=max
(|P−P|),i∈1,..,8の形であり、i
が、中央離散サンプル値P0にもっとも近い8つの近傍
離散サンプルの指数(index)である請求項65に記載の
装置。
66. The text index C is: C = max
(| P 0 −P i |), i∈1,. . , 8 and i
66. The apparatus of claim 65, wherein is the index of the eight nearest discrete samples closest to the central discrete sample value P0.
【請求項67】 前記識別のための手段が前記テキスト
ラベルのクリーニング動作を実行する請求項65に記載
の装置。
67. The apparatus according to claim 65, wherein said means for identifying performs a cleaning operation of said text label.
【請求項68】 前記クリーニング動作が、形態開放動
作(morphological opening operation)である請求項6
7に記載の装置。
68. The cleaning operation according to claim 6, wherein the cleaning operation is a morphological opening operation.
An apparatus according to claim 7.
【請求項69】 前記第1の計算手段は、 前記各離散サンプル値についてエッジ応答値を計算する
機能と、 前記エッジ応答値に基づいて勾配マグニチュード値を計
算する機能と、 前記勾配マグニチュード値を閾値と比較する機能と、 前記比較に基づいて現ピクセルを分類する機能と、 前記比較に基づいて現ピクセルについて前記配置角度を
計算する機能と、 前記配置角度を格納する機能を実行するように構成され
ている請求項54に記載の装置。
69. A function for calculating an edge response value for each of the discrete sample values, a function for calculating a gradient magnitude value based on the edge response value, and a threshold value for the gradient magnitude value. A function of classifying the current pixel based on the comparison, a function of calculating the arrangement angle for the current pixel based on the comparison, and a function of storing the arrangement angle. 55. The apparatus of claim 54, wherein
【請求項70】 GとGがそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記勾配マグニチュー
ド値Gは、 G=√(Gv 2+Gh 2) である請求項69に記載の装置。
70. The gradient magnitude value G m is G m = (G v 2 + G h 2 ), where G v and G h are the vertical edge response and the horizontal edge response, respectively. Equipment.
【請求項71】 GとGをそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記エッジ勾配値Gθ
は、 Gθ=tan-1(Gv /Gh) である請求項69に記載の装置。
71. Assume that G v and G h are a vertical edge response and a horizontal edge response, respectively, and
The apparatus of claim 69 which is Gθ = tan -1 (G v / G h).
【請求項72】 前記操作手段は、 (i)前記離散データ値の複数の部分のうち1つについ
て各配置角度の多数の離散データ値を累計する機能と、 (ii)各配置角度について離散サンプル値の最大値と
最小値を計算する機能と、 (iii)前記最大値と最小値をそれぞれ最大閾値と最
小閾値に比較する機能と、 (iv)前記比較に基づいて前記部分の前記離散データ
値の配置角度を再割り当てする機能と、 (v)前記離散データ値の前記各部分について上記機能
(i)から(iv)を繰り返す機能とを実行するように
構成されている請求項54に記載の装置。
72. The operating means includes: (i) a function of accumulating a large number of discrete data values at each arrangement angle for one of a plurality of parts of the discrete data values; and (ii) a discrete sample for each arrangement angle. (Iii) comparing the maximum value and the minimum value to a maximum threshold value and a minimum threshold value, respectively; and (iv) the discrete data value of the portion based on the comparison. 55. The method according to claim 54, wherein the function is configured to perform a function of reassigning the arrangement angle of (i) and (v) a function of repeating the functions (i) to (iv) for each of the portions of the discrete data value. apparatus.
【請求項73】 前記離散データ値の前記複数の部分が
5つの部分である請求項72に記載の装置。
73. The apparatus of claim 72, wherein the plurality of portions of the discrete data value are five portions.
【請求項74】 修正された3次補間カーネルが、テキ
ストとしてラベル付けされた離散データ値に適用される
請求項54に記載の装置。
74. The apparatus of claim 54, wherein the modified cubic interpolation kernel is applied to discrete data values labeled as text.
【請求項75】 s=t/Δtが、サンプル点において
整数値を有する正規化座標であり、0≦d<0.5であ
るとして、前記修正された3次補間カーネルh(s)
は、 【数3】 の形である請求項74に記載の装置。
75. The modified cubic interpolation kernel h (s), where s = t / Δt is a normalized coordinate having an integer value at a sample point, where 0 ≦ d <0.5.
Is: 75. The device of claim 74 in the form of:
【請求項76】 操向可能な3次補間カーネルが、エッ
ジと分類される離散データ値に適用される請求項74に
記載の装置。
76. The apparatus of claim 74, wherein a steerable cubic interpolation kernel is applied to discrete data values classified as edges.
【請求項77】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
操向可能な3次補間カーネルは、 【数2】 の形である請求項76に記載の装置。
77. The steerable third order, where s x = x / Δx and s y = y / Δy are horizontal and vertical resampling distances respectively, and “·” indicates matrix multiplication. The interpolation kernel is 77. The device of claim 76 in the form:
【請求項78】 従来の3次補間カーネルが、スムーズ
と分類される離散データ値に適用される請求項76に記
載の装置。
78. The apparatus of claim 76, wherein a conventional cubic interpolation kernel is applied to discrete data values classified as smooth.
【請求項79】 b=0、c=0.5として、前記従来
の3次補間カーネルは、 【数4】 の形である請求項78に記載の装置。
79. Assuming that b = 0 and c = 0.5, the conventional cubic interpolation kernel is given by: 79. The device of claim 78 in the form of:
【請求項80】 データを処理する装置のためにプログ
ラムを格納するためのコンピュータで読出し可能な媒体
であって、前記処理が離散サンプル値の第1のマッピン
グを含む画像データを補間する方法を含み、前記プログ
ラムは、 前記第1のマッピング内のテキスト領域を識別し、各テ
キスト領域内の各離散サンプル値にラベリングするため
のコードと、 前記画像データの前記各離散サンプル値についてエッジ
情報を計算してエッジサンプル値を識別し、前記各エッ
ジサンプル値について配置角度を格納するためのコード
と、 前記各離散サンプル値について前記ラベルと前記配置角
度を結合し、前記離散サンプル値の第2のマッピングを
形成するためのコードと、 前記第2のマッピング内で各エッジサンプルについて前
記配置角度を操作して前記離散サンプル値の第3のマッ
ピングを形成するためのコードと、 前記第3のマッピングの前記画像データを操作して前記
画像データの第4のマッピングを形成するためのコード
と、 前記第4のマッピングの前記各サンプル値の前記ラベル
と前記配置角度に応じて前記第4のマッピングの各サン
プル値を複数のカーネルのうち第1のカーネルで補間し
て前記画像データの第5のマッピングを形成するための
コードとを含むコンピュータで読出し可能な媒体。
80. A computer readable medium for storing a program for an apparatus for processing data, wherein the processing includes a method for interpolating image data including a first mapping of discrete sample values. A code for identifying a text region in the first mapping and labeling each discrete sample value in each text region; and calculating edge information for each discrete sample value in the image data. A code for identifying an edge sample value and storing an arrangement angle for each edge sample value; combining the label and the arrangement angle for each discrete sample value to form a second mapping of the discrete sample values. Code for forming; and manipulating the placement angle for each edge sample in the second mapping A code for forming a third mapping of the discrete sample values, a code for manipulating the image data of the third mapping to form a fourth mapping of the image data, Forming a fifth mapping of the image data by interpolating each sample value of the fourth mapping with a first kernel among a plurality of kernels according to the label of the respective sample values of the mapping and the arrangement angle. And a computer readable medium containing code for performing
【請求項81】 前記プログラムはさらに、 前記第4のマッピングの各離散サンプル値を、前記第3
のマッピングの対応する離散サンプル値に関連付けるた
めのコードと、 前記関連付けに基づいて前記画像データの前記第3のマ
ッピングをスケーリングするためのコードとをさらに含
む請求項80に記載のコンピュータで読出し可能な媒
体。
81. The program further comprises: converting each discrete sample value of the fourth mapping to the third
81. The computer readable code of claim 80, further comprising: code for associating the mapping with a corresponding discrete sample value; and code for scaling the third mapping of the image data based on the association. Medium.
【請求項82】 第2のカーネルを使用した前記第3の
マッピングの前記画像データを補間するためのコードを
さらに含む請求項80に記載のコンピュータで読出し可
能な媒体。
82. The computer-readable medium of claim 80, further comprising code for interpolating the image data of the third mapping using a second kernel.
【請求項83】 前記第2のカーネルがNN補間カーネ
ルである請求項82に記載のコンピュータで読出し可能
な媒体。
83. The computer readable medium according to claim 82, wherein said second kernel is an NN interpolation kernel.
【請求項84】 前記第4のマッピングの前記各サンプ
ル値の前記ラベルと前記配置角度を使用して、前記第1
のカーネルのカーネルパラメータ値を選択する請求項8
0に記載のコンピュータで読出し可能な媒体。
84. The method of claim 1, wherein the label of the sample values of the fourth mapping and the placement angle are used.
Selecting a kernel parameter value for the kernel of claim 8.
0. The computer-readable medium according to 0.
【請求項85】 前記第1のカーネルが汎用補間カーネ
ルh(s)である請求項80に記載のコンピュータで読
出し可能な媒体。
85. The computer readable medium according to claim 80, wherein said first kernel is a universal interpolation kernel h (s).
【請求項86】 s=t/Δtおよび0≦d<0.5と
して、前記汎用補間カーネルh(s)は、 【数1】 の形である請求項85に記載のコンピュータで読出し可
能な媒体。
86. Assuming that s = t / Δt and 0 ≦ d <0.5, the general-purpose interpolation kernel h (s) is given by: 86. The computer readable medium of claim 85 in the form of:
【請求項87】 s=x/Δxとs=y/Δyがそ
れぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
の複数のカーネルは、 【数2】 によって与えられる請求項80に記載のコンピュータで
読出し可能な媒体。
87. Assuming that s x = x / Δx and s y = y / Δy are horizontal and vertical resampling distances respectively, and “·” indicates a matrix multiplication, the plurality of kernels are (Equation 2) 81. The computer readable medium of claim 80 provided by:
【請求項88】 前記離散サンプル値の前記第2のマッ
ピングを形成するときに、ラベルが前記配置角度よりも
優先される請求項80に記載のコンピュータで読出し可
能な媒体。
88. The computer readable medium of claim 80, wherein a label takes precedence over said placement angle when forming said second mapping of said discrete sample values.
【請求項89】 前記第4のマッピングが前記第1のマ
ッピングと異なる解像度である請求項80に記載のコン
ピュータで読出し可能な媒体。
89. The computer readable medium according to claim 80, wherein the fourth mapping has a different resolution than the first mapping.
【請求項90】 前記画像データが色画像データである
請求項80に記載のコンピュータで読出し可能な媒体。
90. The computer readable medium according to claim 80, wherein said image data is color image data.
【請求項91】 前記プログラムはさらに、 テキスト指標値Cを計算するためのコードと、 前記テキスト指標値を閾値と比較し、各テキスト領域内
の各離散サンプル値の前記ラベリングが前記比較に基づ
く、比較のためのコードとを含む請求項80に記載のコ
ンピュータで読出し可能な媒体。
91. The program further comprises: code for calculating a text index value C; comparing the text index value to a threshold; wherein the labeling of each discrete sample value in each text region is based on the comparison. 81. The computer readable medium of claim 80, comprising: code for comparison.
【請求項92】 前記テキスト指標Cが、C=max
(|P−P|),i∈1,..,8の形であり、i
が、中央離散サンプル値P0にもっとも近い8つの近傍
離散サンプルの指数(index)である請求項91に記載の
コンピュータで読出し可能な媒体。
92. The text index C is: C = max
(| P 0 −P i |), i∈1,. . , 8 and i
92. The computer-readable medium of claim 91, wherein is the index of the eight nearest discrete samples closest to the central discrete sample value P0.
【請求項93】 前記プログラムはさらに、 前記テキストラベルのクリーニング動作を実行するため
のコードを含む請求項91に記載のコンピュータで読出
し可能な媒体。
93. The computer-readable medium according to claim 91, wherein the program further includes code for executing an operation of cleaning the text label.
【請求項94】 前記クリーニング動作が、形態開放動
作(morphological opening operation)である請求項9
3に記載のコンピュータで読出し可能な媒体。
94. The cleaning operation according to claim 9, wherein the cleaning operation is a morphological opening operation.
4. The computer readable medium according to claim 3.
【請求項95】 前記プログラムはさらに、 前記各離散サンプル値についてエッジ応答値を計算する
ためのコードと、 前記エッジ応答値に基づいて勾配マグニチュード値を計
算するためのコードと、 前記勾配マグニチュード値を閾値と比較するためのコー
ドと、 前記比較に基づいて現ピクセルを分類するためのコード
と、 前記比較に基づいて現ピクセルについて前記配置角度を
計算するためのコードと、 前記配置角度を格納するためのコードとを含む請求項8
0に記載のコンピュータで読出し可能な媒体。
95. The program further comprises: a code for calculating an edge response value for each of the discrete sample values; a code for calculating a gradient magnitude value based on the edge response value; A code for comparing with a threshold value, a code for classifying a current pixel based on the comparison, a code for calculating the layout angle for the current pixel based on the comparison, and storing the layout angle 9. The code of claim 8,
0. The computer-readable medium according to 0.
【請求項96】 GとGがそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記勾配マグニチュー
ド値Gは、 G=√(Gv 2+Gh 2) である請求項95に記載のコンピュータで読出し可能な
媒体。
96. The gradient magnitude value G m is G m = (G v 2 + G h 2 ), where G v and G h are the vertical edge response and the horizontal edge response, respectively. Computer readable media.
【請求項97】 GとGがそれぞれ垂直エッジ応答
と水平エッジ応答であるとして、前記エッジ勾配値Gθ
は、 Gθ=tan-1(Gv /Gh) である請求項95に記載のコンピュータで読出し可能な
媒体。
97. Assuming that G v and G h are a vertical edge response and a horizontal edge response, respectively,
Is, Gθ = tan -1 (G v / G h) a The computer program of claim 95 is.
【請求項98】 前記プログラムはさらに、 前記離散データ値の複数の部分のうち1つについて各配
置角度の多数の離散データ値を累計するためのコード
と、 各配置角度について離散サンプル値の最大値と最小値を
計算するためのコードと、 前記最大値と最小値をそれぞれ最大閾値と最小閾値に比
較するためのコードと、 前記比較に基づいて前記部分の前記離散データ値の配置
角度を再割り当てするためのコードとを含む請求項80
に記載のコンピュータで読出し可能な媒体。
98. The program further comprises: code for accumulating a number of discrete data values for each of the configuration angles for one of the plurality of portions of the discrete data value; and a maximum value of the discrete sample values for each of the configuration angles. And a code for calculating a minimum value, a code for comparing the maximum value and the minimum value with a maximum threshold value and a minimum threshold value, respectively, and reassigning the arrangement angle of the discrete data value of the portion based on the comparison And a code for performing
A computer-readable medium according to claim 1.
【請求項99】 修正された3次補間カーネルが、テキ
ストとしてラベル付けされた離散データ値に適用される
請求項80に記載のコンピュータで読出し可能な媒体。
99. The computer readable medium of claim 80, wherein the modified cubic interpolation kernel is applied to discrete data values labeled as text.
【請求項100】 s=t/Δtが、サンプル点におい
て整数値を有する正規化座標であり、0≦d<0.5で
あるとして、前記変調された3次補間カーネルh(s)
は、 【数3】 の形である請求項98に記載のコンピュータで読出し可
能な媒体。
100. The modulated cubic interpolation kernel h (s), where s = t / Δt is a normalized coordinate having an integer value at a sample point, where 0 ≦ d <0.5.
Is: The computer-readable medium of claim 98, wherein the medium is in the form of:
【請求項101】 操向可能な3次補間カーネルが、エ
ッジと分類される離散データ値に適用される請求項80
に記載のコンピュータで読出し可能な媒体。
101. The steerable cubic interpolation kernel applied to discrete data values classified as edges.
A computer-readable medium according to claim 1.
【請求項102】 s=x/Δxとs=y/Δyが
それぞれ水平方向と垂直方向の再サンプリング距離であ
り、「・」がマトリックス乗法を示すものとして、前記
操向可能な3次補間カーネルは、 【数2】 の形である請求項101に記載のコンピュータで読出し
可能な媒体。
102. Assuming that s x = x / Δx and s y = y / Δy are resampling distances in the horizontal direction and the vertical direction, respectively, and The interpolation kernel is 102. The computer readable medium of claim 101 in the form of:
【請求項103】 従来の3次補間カーネルが、スムー
ズと分類される離散データ値に適用される請求項101
に記載のコンピュータで読出し可能な媒体。
103. A conventional cubic interpolation kernel applied to discrete data values classified as smooth.
A computer-readable medium according to claim 1.
【請求項104】 b=0、c=0.5として、前記の
従来の3次補間カーネルは、 【数4】 の形である請求項101に記載のコンピュータで読出し
可能な媒体。
104. Assuming that b = 0 and c = 0.5, the conventional cubic interpolation kernel is given by: 102. The computer readable medium of claim 101 in the form of:
【請求項105】 複数の補間カーネルのうち1つを使
用して離散サンプル値の第1のセットを補間し、離散サ
ンプル値の第2のセットを生成する方法であって、付随
する図面に図示されたいずれかの実施の形態のように記
述されている方法。
105. A method for interpolating a first set of discrete sample values using one of a plurality of interpolation kernels to generate a second set of discrete sample values, as illustrated in the accompanying drawings. Described as in any of the described embodiments.
【請求項106】 画像データを補間する方法であっ
て、付随する図面に図示されたいずれかの実施の形態の
ように実質的に記述されている方法。
106. A method of interpolating image data, substantially as described in any of the embodiments illustrated in the accompanying drawings.
【請求項107】 画像データを補間する装置であっ
て、付随する図面に図示されたいずれかの実施の形態の
ように実質的に記述されている装置。
107. An apparatus for interpolating image data, substantially as described in any of the embodiments illustrated in the accompanying drawings.
【請求項108】 データを処理する装置のためのプロ
グラムを格納するコンピュータで読出し可能な媒体であ
って、前記処理が画像データを補間する方法を含み、前
記プログラムが付随する図面に図示されたいずれかの実
施の形態のように実質的に記述されているコンピュータ
で読出し可能な媒体。
108. A computer readable medium storing a program for an apparatus for processing data, wherein the processing includes a method of interpolating image data, the program including any of the methods illustrated in the accompanying drawings. A computer-readable medium substantially as described in any of the embodiments.
JP36176699A 1998-12-18 1999-12-20 Image processing method and apparatus Expired - Fee Related JP3890175B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU7798 1998-12-18
AUPP7798A AUPP779898A0 (en) 1998-12-18 1998-12-18 A method of kernel selection for image interpolation

Publications (3)

Publication Number Publication Date
JP2000242774A true JP2000242774A (en) 2000-09-08
JP2000242774A5 JP2000242774A5 (en) 2005-07-21
JP3890175B2 JP3890175B2 (en) 2007-03-07

Family

ID=3812002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36176699A Expired - Fee Related JP3890175B2 (en) 1998-12-18 1999-12-20 Image processing method and apparatus

Country Status (3)

Country Link
US (1) US7054507B1 (en)
JP (1) JP3890175B2 (en)
AU (1) AUPP779898A0 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004215163A (en) * 2003-01-08 2004-07-29 Seiko Epson Corp Image interpolation system, image interpolation method, and image interpolation program
JP2005528643A (en) * 2002-06-03 2005-09-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Video scaling
JP2007510951A (en) * 2003-10-28 2007-04-26 クレアボワイヤント,インコーポレーテッド Display system with improved multiple modes for displaying image data from multiple input source formats
JP2007511789A (en) * 2003-10-28 2007-05-10 クレアボワイヤント,インコーポレーテッド System and method for performing image reconstruction and sub-pixel rendering to perform scaling for multi-mode displays
US7429994B2 (en) 2000-06-20 2008-09-30 Mitsubishi Denki Kabushiki Kaisha Image processing method and apparatus, and image display method and apparatus for changing edge sharpness
JP2009522935A (en) * 2006-01-06 2009-06-11 マイクロソフト コーポレーション Resampling and image resizing operations for multi-resolution video encoding and decoding
JP2010283601A (en) * 2009-06-04 2010-12-16 Canon Inc Resolution conversion device and control method thereof
JP2011501835A (en) * 2007-09-19 2011-01-13 トムソン ライセンシング System and method for scaling an image
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP2012221117A (en) * 2011-04-06 2012-11-12 Fuji Xerox Co Ltd Image processing device and program
JP2012243048A (en) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
JP2016062430A (en) * 2014-09-19 2016-04-25 富士通テン株式会社 Image processing apparatus, image processing method, and program
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7405740B1 (en) * 2000-03-27 2008-07-29 Stmicroelectronics, Inc. Context sensitive scaling device and method
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US7312898B2 (en) * 2002-10-31 2007-12-25 Hewlett-Packard Development Company, L.P. Transformation of an input image to produce an output image
JP4144377B2 (en) * 2003-02-28 2008-09-03 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP4196782B2 (en) * 2003-08-26 2008-12-17 セイコーエプソン株式会社 Image processing apparatus and image processing program causing computer to execute image processing
JP3833212B2 (en) * 2003-11-19 2006-10-11 シャープ株式会社 Image processing apparatus, image processing program, and readable recording medium
JP4407801B2 (en) * 2003-12-16 2010-02-03 セイコーエプソン株式会社 Edge generation apparatus, edge generation method, and edge generation program
JP4455364B2 (en) * 2004-03-09 2010-04-21 キヤノン株式会社 Resolution conversion method and apparatus
JP4864332B2 (en) * 2004-07-13 2012-02-01 株式会社リコー Resolution conversion interpolation method, image processing apparatus, image display apparatus, program, and recording medium
US7817871B2 (en) * 2004-08-18 2010-10-19 Adobe Systems Incorporated Scaling of raster images without blurring of edges
US7379626B2 (en) * 2004-08-20 2008-05-27 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
US7471820B2 (en) * 2004-08-31 2008-12-30 Aptina Imaging Corporation Correction method for defects in imagers
FR2906386B1 (en) * 2006-09-22 2009-04-03 Canon Kk METHOD AND APPARATUS FOR IMAGE OVER-SAMPLING, COMPUTER PROGRAM EMPLOYING THE SAME AND INFORMATION CARRIER FOR IMPLEMENTING THE SAME
US8139894B2 (en) * 2007-12-20 2012-03-20 Intel Corporation Automatic dominant orientation estimation in text images based on steerable filters
US8310592B2 (en) * 2008-10-10 2012-11-13 Panasonic Corporation Signal processing apparatus, signal processing method, and program for signal processing
US8180180B2 (en) * 2008-12-29 2012-05-15 Arcsoft Hangzhou Co., Ltd. Method for magnifying images and videos

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008752A (en) * 1989-06-16 1991-04-16 Eastman Kodak Company Digital image interpolator with multiple interpolation algorithms
JPH04500419A (en) 1989-06-16 1992-01-23 イーストマン・コダック・カンパニー digital image interpolator
US5054100A (en) * 1989-11-16 1991-10-01 Eastman Kodak Company Pixel interpolator with edge sharpening
US5131057A (en) * 1990-02-12 1992-07-14 Wright State University Method for video-to-printing image resolution conversion
CA2171335A1 (en) * 1993-11-30 1995-06-08 Munib A. Wober Coding methods and apparatus for scaling and filtering images using discrete cosine transforms
US5446804A (en) 1994-04-14 1995-08-29 Hewlett-Packard Company Magnifying digital image using edge mapping
GB9422738D0 (en) * 1994-11-10 1995-01-04 Univ Western Ontario Context-based, adaptive, progressive, lossless compression of still continuous -tone images
EP0793836A1 (en) 1994-11-23 1997-09-10 Imation Corp. System and method for adaptive interpolation of image data
US6408109B1 (en) * 1996-10-07 2002-06-18 Cognex Corporation Apparatus and method for detecting and sub-pixel location of edges in a digital image
EP0908845B1 (en) 1997-10-09 2003-12-03 Agfa-Gevaert Image sharpening and re-sampling method
JPH11144053A (en) * 1997-11-11 1999-05-28 Sharp Corp Interpolation processing method for image data
US6208763B1 (en) * 1998-04-14 2001-03-27 General Electric Company Method and apparatus for enhancing discrete pixel images

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7429994B2 (en) 2000-06-20 2008-09-30 Mitsubishi Denki Kabushiki Kaisha Image processing method and apparatus, and image display method and apparatus for changing edge sharpness
JP2005528643A (en) * 2002-06-03 2005-09-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Video scaling
JP2004215163A (en) * 2003-01-08 2004-07-29 Seiko Epson Corp Image interpolation system, image interpolation method, and image interpolation program
JP2007510951A (en) * 2003-10-28 2007-04-26 クレアボワイヤント,インコーポレーテッド Display system with improved multiple modes for displaying image data from multiple input source formats
JP2007511789A (en) * 2003-10-28 2007-05-10 クレアボワイヤント,インコーポレーテッド System and method for performing image reconstruction and sub-pixel rendering to perform scaling for multi-mode displays
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US9479796B2 (en) 2004-10-06 2016-10-25 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US9319729B2 (en) 2006-01-06 2016-04-19 Microsoft Technology Licensing, Llc Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2012191655A (en) * 2006-01-06 2012-10-04 Microsoft Corp Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2009522935A (en) * 2006-01-06 2009-06-11 マイクロソフト コーポレーション Resampling and image resizing operations for multi-resolution video encoding and decoding
US8780272B2 (en) 2006-01-06 2014-07-15 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8493513B2 (en) 2006-01-06 2013-07-23 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP2011501835A (en) * 2007-09-19 2011-01-13 トムソン ライセンシング System and method for scaling an image
US8351730B2 (en) 2007-09-19 2013-01-08 Thomson Licensing System and method for scaling images
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8964854B2 (en) 2008-03-21 2015-02-24 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US10250905B2 (en) 2008-08-25 2019-04-02 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP2010283601A (en) * 2009-06-04 2010-12-16 Canon Inc Resolution conversion device and control method thereof
JP2012221117A (en) * 2011-04-06 2012-11-12 Fuji Xerox Co Ltd Image processing device and program
JP2012243048A (en) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method
JP2016062430A (en) * 2014-09-19 2016-04-25 富士通テン株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
US7054507B1 (en) 2006-05-30
AUPP779898A0 (en) 1999-01-21
JP3890175B2 (en) 2007-03-07

Similar Documents

Publication Publication Date Title
JP3890175B2 (en) Image processing method and apparatus
US7151863B1 (en) Color clamping
US6928196B1 (en) Method for kernel selection for image interpolation
EP1347410B1 (en) Edge-based enlargement and interpolation of images
JP3887245B2 (en) Gradation descreening using sigma filters
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
Su et al. Neighborhood issue in single-frame image super-resolution
Wei et al. Contrast-guided image interpolation
EP0874330A2 (en) Area based interpolation for image enhancement
US20030189579A1 (en) Adaptive enlarging and/or sharpening of a digital image
JPH06245113A (en) Equipment for improving picture still more by removing noise and other artifact
US11854157B2 (en) Edge-aware upscaling for improved screen content quality
JP3890174B2 (en) Image processing method, image processing apparatus, and computer-readable medium
JP3026706B2 (en) Image processing device
AU745562B2 (en) A method of kernel selection for image interpolation
JP3200351B2 (en) Image processing apparatus and method
US6687417B1 (en) Modified kernel for image interpolation
JP2006050481A (en) Image processing apparatus, image processing method and program thereof
Corduneanu et al. Learning spatially-variable filters for super-resolution of text
US7526138B1 (en) Context based adaptive image resampling
AU755947B2 (en) Method and apparatus for optimum interpolation offset selection
AU759341B2 (en) Method for kernel selection for image interpolation
AU745082B2 (en) A steerable kernel for image interpolation
AU745279B2 (en) Colour clamping
AU748831B2 (en) A modified kernel for image interpolation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041208

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20041208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 7

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees